Der “Test­kri­te­ri­en­ka­ta­log für KI-Sys­te­me im Finanz­we­sen” des Bun­des­am­tes für Sicher­heit in der Infor­ma­ti­ons­tech­nik (BSI) wur­de im Rah­men des Pro­jekts “AICRIV Finan­ce” erstellt. Sein Haupt­ziel ist es, einen umfas­sen­den Satz von pra­xis­na­hen Prüf­kri­te­ri­en und geeig­ne­ten Test­me­tho­den für die Bewer­tung von KI-Anwen­dun­gen im Finanz­sek­tor bereit­zu­stel­len. Der Kata­log soll die Sicher­heit und Ver­trau­ens­wür­dig­keit von KI-Sys­te­men gewähr­leis­ten, indem er sowohl tra­di­tio­nel­le IT-Sicher­heit als auch KI-spe­zi­fi­sche Aspek­te wie Daten­qua­li­tät, Funk­tio­na­li­tät, Sicher­heit, Trans­pa­renz und Bias abdeckt.

Das Doku­ment ist in zwei Haupt­tei­le geglie­dert: Der ers­te Teil beschreibt die Struk­tur des Kata­logs, ein­schließ­lich sei­ner the­ma­ti­schen Dimen­sio­nen und der detail­lier­ten Ver­knüp­fung mit den Anfor­de­run­gen des EU AI Act. Der zwei­te Teil ent­hält den eigent­li­chen Kri­te­ri­en­ka­ta­log mit über hun­dert detail­lier­ten Bewertungskriterien.

Der Kata­log ist in zehn the­ma­ti­sche Dimen­sio­nen unter­teilt, die jeweils spe­zi­fi­sche Berei­che der KI-Sys­tem­be­wer­tung adres­sie­ren. Dazu gehören:

1. KI-Sicher­heit & Robust­heit: Umgang mit sicher­heits­re­le­van­ten Vor­fäl­len, fort­lau­fen­de Bedro­hungs­ana­ly­se und Wider­stands­fä­hig­keit gegen­über ver­schie­de­nen Angriffsarten.
2. Daten­qua­li­tät & ‑manage­ment: Umfas­sen­de Pla­nung, sorg­fäl­ti­ge Erfas­sung, stren­ge Qua­li­täts­si­che­rung, Nach­ver­folg­bar­keit und Inte­gri­tät von Daten über den gesam­ten Lebenszyklus.
3. Ent­wick­lung: Detail­lier­te Doku­men­ta­ti­on von Modell­ent­wick­lungs­pro­zes­sen, der Nut­zung vor­trai­nier­ter Model­le und Spe­zi­fi­ka­tio­nen der Laufzeitumgebung.
4. Fair­ness: Sys­te­ma­ti­sche Erken­nung und effek­ti­ve Min­de­rung von Vor­ein­ge­nom­men­heit (Bias) sowie Gewähr­leis­tung der Zugäng­lich­keit für alle Nutzergruppen.
5. Gover­nan­ce: Kla­re Richt­li­ni­en, ein eta­blier­tes Manage­ment-Sys­tem, Risi­ko­be­wer­tung (inklu­si­ve Risi­ken durch Gene­ra­ti­ve AI), Com­pli­ance und die Zuwei­sung von Verantwortlichkeiten.
6. Mensch­li­che Auf­sicht: Imple­men­tie­rung von Mecha­nis­men zur mensch­li­chen Über­wa­chung und die Mög­lich­keit zur Kor­rek­tur auto­ma­ti­sier­ter Entscheidungen.
7. IT-Sicher­heit: Anwen­dung kon­ven­tio­nel­ler IT-Sicher­heits­maß­nah­men, Sicher­stel­lung der Lie­fer­ket­ten­si­cher­heit und prä­zi­se Ver­wal­tung von Zugriffsrechten.
8. Moni­to­ring: Kon­ti­nu­ier­li­che Über­wa­chung der Sys­tem­leis­tung, auto­ma­ti­sche Feh­ler­er­ken­nung und robus­te Incident-Response-Verfahren.
9. Per­for­mance: Defi­ni­ti­on kla­rer Leis­tungs­an­for­de­run­gen, Veri­fi­zie­rung der Gene­ra­li­sie­rungs­fä­hig­keit mit­tels XAI und Maß­nah­men gegen Overfitting.
10. Trans­pa­renz: Bewer­tung der erfor­der­li­chen Erklär­bar­keit von KI-Ent­schei­dun­gen, ein­deu­ti­ge Kenn­zeich­nung von KI-gene­rier­ten Inhal­ten und Schutz vor über­mä­ßi­ger Abhän­gig­keit der Nutzer.

Der Kata­log betont die Rele­vanz die­ser Kri­te­ri­en für die Ein­hal­tung der Bestim­mun­gen des EU AI Act, weist jedoch dar­auf hin, dass die Erfül­lung eines Kri­te­ri­ums nicht auto­ma­tisch die voll­stän­di­ge Kon­for­mi­tät mit dem EU AI Act bedeu­tet. Er dient als prak­ti­sches Werk­zeug für Ent­wick­ler, Anbie­ter, Betrei­ber und Prüf­or­ga­ni­sa­tio­nen im Finanz­sek­tor, um ihre KI-Sys­te­me zu bewer­ten und deren Ver­trau­ens­wür­dig­keit zu sichern.