|
Getting your Trinity Audio player ready...
|
Schwerpunkt
Wirtschaftswissenschaftler wenden zunehmend Techniken zur Verarbeitung natürlicher Sprache (NLP) an, um die geldpolitische Kommunikation zu analysieren. Diese Studien bieten zwar wertvolle Einblicke, stützen sich aber häufig auf Sprachmodelle, die auf Sammlungen allgemeiner Texte trainiert wurden. Diese Einschränkung kann dazu führen, dass die Modelle nicht in der Lage sind, die einzigartigen Nuancen des Zentralbankwesens und der Geldwirtschaft vollständig zu erfassen. Die neuere Literatur deutet darauf hin, dass eine Umschulung von Sprachmodellen auf domänenspezifische Daten die Leistung bei spezialisierten NLP-Analysen verbessern kann.
Beitrag
Wir stellen CB-LMs (central bank language models) vor – Sprachmodelle, die auf einer umfangreichen Sammlung von Zentralbanktexten neu trainiert wurden. Durch die Verwendung bekannter Modelle wie BERT und RoBERTa und die Hinzufügung von Texten, die auf das Zentralbankwesen zugeschnitten sind – darunter Reden, politische Notizen und Forschungspapiere – erfassen CB-LMs domänenspezifische Semantik, Terminologien und kontextuelle Nuancen. Unser primäres Ziel ist es, CB-LMs zu entwickeln und zu veröffentlichen, um die NLP-Analyse in der Geldwirtschaft und im Zentralbankwesen voranzutreiben. Darüber hinaus liefert unsere umfassende Bewertung verschiedener großer Sprachmodelle (Large Language Models, LLMs) in verschiedenen Trainingsumgebungen Einblicke in die Modellauswahl, die auf die spezifischen Aufgaben und technischen Anforderungen von Zentralbankern zugeschnitten ist.
Ergebnisse
Wir stellen fest, dass CB-LMs ihre Basismodelle bei der Vorhersage von maskierten Wörtern innerhalb von Redewendungen der Zentralbank übertreffen. Einige CB-LMs übertreffen nicht nur ihre Ausgangsmodelle, sondern auch die modernsten generativen LLMs bei der Klassifizierung geldpolitischer Haltungen aus den Erklärungen des Offenmarktausschusses. CB-LMs zeichnen sich dadurch aus, dass sie nuancierte Ausdrücke der Geldpolitik verstehen, was sie zu wertvollen Werkzeugen für Zentralbanken bei der Echtzeitanalyse und Entscheidungsfindung machen könnte. In schwierigeren Szenarien – wie etwa bei begrenzten Daten für die Feinabstimmung und die Verarbeitung längerer Texteingaben – könnten die größten LLMs wie ChatGPT‑4 und Llama‑3 70B die CB-LMs jedoch übertreffen. Der Einsatz dieser LLMs stellt die Zentralbanken jedoch vor erhebliche Herausforderungen in Bezug auf Vertraulichkeit, Transparenz, Replizierbarkeit und Kosteneffizienz.
Zusammenfassung
Wir stellen Sprachmodelle für Zentralbanken (CB-LMs) vor – spezialisierte Sprachmodelle, die nur mit einem Kodierer arbeiten und auf einem umfassenden Korpus von Reden, politischen Dokumenten und Forschungspapieren von Zentralbanken trainiert wurden. Wir zeigen, dass CB-LMs ihre Basismodelle bei der Vorhersage von maskierten Wörtern in Redewendungen der Zentralbank übertreffen. Einige CB-LMs übertreffen nicht nur ihre Basismodelle, sondern auch modernste generative Large-Language-Modelle (LLMs) bei der Klassifizierung der geldpolitischen Ausrichtung von Aussagen des Federal Open Market Committee (FOMC). In komplexeren Szenarien, die eine Stimmungseinordnung umfangreicher Nachrichten im Zusammenhang mit der US-Geldpolitik erfordern, stellen wir fest, dass die größten LLMs die domänenangepassten reinen Encoder-Modelle übertreffen. Der Einsatz solch großer LLMs stellt die Zentralbanken jedoch vor erhebliche Herausforderungen in Bezug auf Vertraulichkeit, Transparenz, Replizierbarkeit und Kosteneffizienz.
Quelle: CB-LMs: language models for central banking