Ein korea­ni­sches Finanz­in­sti­tut hat einen voll­stän­dig On-Pre­mi­se betrie­be­nen gene­ra­ti­ven Agen­ten für per­so­na­li­sier­te Anla­ge­be­ra­tung ent­wi­ckelt. Das Sys­tem kom­bi­niert hybri­de Retrie­val-Archi­tek­tu­ren, mehr­stu­fi­ge Emp­feh­lungs­me­cha­nis­men und spe­zia­li­sier­te Sicher­heits­mo­del­le, um regel­kon­for­me und fak­ten­treue Finanz­be­ra­tung im Pri­vat­kun­den­ge­schäft zu ermöglichen.

Die Imple­men­tie­rung gene­ra­ti­ver KI-Sys­te­me in regu­lier­ten Bran­chen steht vor spe­zi­fi­schen Her­aus­for­de­run­gen: Daten­schutz­be­stim­mun­gen, Com­pli­ance-Anfor­de­run­gen und die Not­wen­dig­keit fak­ten­treu­er Aus­ga­ben schlie­ßen kon­ven­tio­nel­le Chat­bot-Ansät­ze weit­ge­hend aus.

AI PB adres­siert die­se Anfor­de­run­gen durch eine spe­zia­li­sier­te Sys­tem­ar­chi­tek­tur, die für den Ein­satz im Retail Ban­king unter korea­ni­schen Finanz­vor­schrif­ten kon­zi­piert wur­de^[1]AI PB: A Groun­ded Gene­ra­ti­ve Agent for Per­so­na­li­zed Invest­ment Insights.

Sys­tem­ar­chi­tek­tur und tech­ni­sche Infrastruktur

Das Sys­tem ope­riert voll­stän­dig On-Pre­mi­se und nutzt Docker Swarm zur Orches­trie­rung, vLLM für Infe­renz sowie NVIDIA H100 GPUs als Hard­ware-Basis. Die­se Infra­struk­tur­ent­schei­dung ermög­licht die voll­stän­di­ge Kon­trol­le über sen­si­ble Finanz­da­ten und die Ein­hal­tung loka­ler Datenschutzbestimmungen.

Die zen­tra­le tech­ni­sche Inno­va­ti­on liegt in der kom­po­nen­ten­ba­sier­ten Orches­trie­rung. Das Sys­tem rou­tet Anfra­gen deter­mi­nis­tisch zwi­schen inter­nen und exter­nen Lar­ge Lan­guage Models, wobei die Daten­sen­si­bi­li­tät – ins­be­son­de­re per­so­nen­be­zo­ge­ne Infor­ma­tio­nen (PII) – als Ent­schei­dungs­kri­te­ri­um dient. Die­ser Ansatz gewähr­leis­tet, dass kri­ti­sche Daten ausschli…