Agenten, die auf großen Sprachmodellen basieren, werden als kostengünstiger Mechanismus zur Bereitstellung personalisierter Gesprächsberatung immer beliebter und haben in relativ einfachen Szenarien, wie z. B. Filmempfehlungen, beeindruckende Fähigkeiten bewiesen. Aber wie verhalten sich diese Agenten in komplexen Bereichen, in denen viel auf dem Spiel steht, wo Fachwissen unerlässlich ist und Fehler ein erhebliches Risiko darstellen? Diese Arbeit untersucht die Effektivität von LLM-Beratern im Finanzbereich und konzentriert sich dabei auf drei verschiedene Herausforderungen: (1) die Ermittlung von Benutzerpräferenzen, wenn die Benutzer selbst nicht genau wissen, was sie brauchen, (2) die Bereitstellung von personalisierter Beratung für unterschiedliche Investitionspräferenzen und (3) die Nutzung der Persönlichkeit des Beraters, um Beziehungen aufzubauen und Vertrauen zu fördern. Anhand einer laborbasierten Nutzerstudie mit 64 Teilnehmern zeigen wir, dass LLM-Berater bei der Ermittlung von Präferenzen häufig mit der Leistung menschlicher Berater übereinstimmen, obwohl sie Schwierigkeiten haben können, widersprüchliche Nutzerbedürfnisse zu lösen. Bei der Bereitstellung von personalisierten Ratschlägen konnte das LLM das Nutzerverhalten positiv beeinflussen, zeigte aber auch klare Fehlermöglichkeiten. Unsere Ergebnisse zeigen, dass eine genaue Erfassung der Präferenzen von entscheidender Bedeutung ist, da der LLM-Berater andernfalls nur wenig Einfluss hat oder den Anleger sogar zu ungeeigneten Anlagen führen kann.
Noch besorgniserregender ist, dass die Nutzer offenbar nicht auf die Qualität der erteilten Ratschläge achten, oder schlimmer noch, dass diese in einem umgekehrten Verhältnis stehen können. In der Tat berichteten die Nutzer über eine Präferenz für und eine erhöhte Zufriedenheit sowie emotionales Vertrauen mit LLMs, die eine extrovertierte Persönlichkeit annahmen, obwohl diese Agenten schlechtere Ratschläge gaben.
Quelle: Are Generative AI Agents Effective Personalized Financial Advisors?
Schlussfolgerungen
In diesem Beitrag haben wir eine laborgestützte Nutzerstudie durchgeführt, um zu untersuchen, wie effektiv große Sprachmodelle als Finanzberater sind. Wir konzentrieren uns auf drei zentrale Herausforderungen: Präferenzerhebung, Anlagepersonalisierung und Beraterpersönlichkeit.
Erstens zeigt unsere Analyse, dass LLMs effektive Werkzeuge für die Präferenzerhebung durch Konversation sind. In den meisten Fällen sind sie in der Lage, die Präferenzen der Anleger mit einer Genauigkeit zu ermitteln, die der eines erfahrenen menschlichen Beraters nahe kommt oder ihr entspricht. Allerdings gibt es auch einige eindeutige Fehler, da LLMs anfällig für widersprüchliche Aussagen und Halluzinationen sind, die bei komplexen Anlegerprofilen die Genauigkeit der Erhebung auf ein zufälliges Niveau senken können. Obwohl LLMs für die Erhebung vielversprechend sind, verstehen Investoren in einem komplexen Bereich wie dem Finanzwesen ihre eigenen Präferenzen nicht immer vollständig (oder sie haben Schwierigkeiten, sie auszudrücken). Daher sollten zukünftige Arbeiten die Entwicklung von LLM-Beratern untersuchen, die in der Lage sind, widersprüchliche Nutzerbedürfnisse zu lösen.
Zweitens kann die Personalisierung von LLMs zur Anlageberatung die Entscheidungen der Anleger verbessern, allerdings nur, wenn der personalisierte LLM-Berater genaue Informationen über die Präferenzen des Anlegers erhält. Wenn die Präferenzerhebung nicht erfolgreich ist, leitet der Agent die Anleger aktiv zu den falschen Vermögenswerten, in die sie investieren sollten. Dies unterstreicht, wie entscheidend eine gute Präferenzerhebung für eine sinnvolle Finanzberatung ist.
Schließlich deuten unsere Ergebnisse darauf hin, dass die Anleger nicht unbedingt wissen, was eine gute Finanzberatung ausmacht, und daher anfällig dafür sind, auf schlechte Ratschläge von LLMs zu reagieren. Beim Vergleich zwischen einem nicht-personalisierten und einem personalisierten LLM-Berater führte das personalisierte System zwar zu besseren Entscheidungen, aber die Teilnehmer waren nicht in der Lage, zwischen den Systemen zu unterscheiden. Noch besorgniserregender war der Vergleich zwischen zwei personalisierten Beratern mit extrovertierten und gewissenhaften Persönlichkeiten: Obwohl der extrovertierte Berater weniger gute Ratschläge gab, vertrauten die Teilnehmer diesem Berater mehr als dem gewissenhaften.
Anmerkung:
Die Anfälligkeit der Kundinnen und Kunden für extrovertierte LLM-Agenten lässt sich m.E. vollumfänglich auf physischen Kundenberaterinnen und Kundenberater, die mit ähnlichen Charaktermerkmalen wie die extrovertierten LLM-Agenten ausgestattet sind, übertragen.
Zuerst erschienen auf KI‑Agenten