Ein Modell, das auf den großen KI-Leaderboards ganz oben steht, muss für eine Bank noch lange nicht taugen. Eine neue Arbeit aus der Commonwealth Bank of Australia zeigt, warum – und liefert gleich das Werkzeug mit, um es nachzuprüfen.
Wer heute ein Sprachmodell für den Einsatz in einer Bank auswählen will, orientiert sich fast automatisch an den bekannten Ranglisten: Welches Modell schneidet bei MMLU am besten ab, wer führt bei Programmieraufgaben, wer bei allgemeinem Reasoning? Diese Ranglisten sind beeindruckend detailliert – und für die Praxis einer Bank trotzdem nur bedingt hilfreich. Ein Modell, das in einem Mathematik- oder Coding-Wettbewerb glänzt, sagt damit noch nichts darüber aus, ob es einen Kreditvertrag korrekt gegen aufsichtsrechtliche Vorgaben prüft oder ein mehrstufiges Kundengespräch souverän führt. Genau an dieser Lücke setzt eine im Juli 2026 veröffentlichte Arbeit von Blair Hudson an, der bei der Commonwealth Bank of Australia arbeitet.
Das Grundproblem: Durchschnitt verschleiert Eignung
Die großen Leaderboards bilden einen Durchschnitt über sehr unterschiedliche Aufgaben – von Universitätswissen bis zu Programmierwettbewerben. Für eine Bank zählt aber nicht der Durchschnitt, sondern die Frage: Wie gut ist ein Modell ausgerechnet bei den Tätigkeiten, die in einer Bank tatsächlich anfallen? Dokumente auswerten, Vorschriften anwenden, mit Kunden kommunizieren, Risiken einschätzen. Diese Tätigkeiten kommen in generischen Ranglisten kaum eigenständig vor, sie gehen im Gesamtscore unter.
Hudsons Lösung ist kein neuer Test, sondern eine Neuordnung des bereits Vorhandenen. Er greift auf 452 öffentlich dokumentierte Benchmarks zurück und ordnet sie 41 allgemeinen Arbeitstätigkeiten zu, wie sie aus der amerikanischen Berufstaxonomie O*NET bekannt sind – etwa “Informationen bewerten”, “mit anderen k…