|
Getting your Trinity Audio player ready...
|
Das Paper Can LLM Improve for Expert Forecast Combination? Evidence from the European Central Bank Survey untersucht das Potenzial von großen Sprachmodellen (LLMs) zur Verbesserung der Prognosekombination von Experten, basierend auf Daten der Umfrage unter professionellen Prognostikern (SPF) der Europäischen Zentralbank (EZB).
Herkömmliche Methoden zur Prognosekombination stehen vor Herausforderungen wie kleinen Stichprobengrößen, fehlenden Beobachtungen und mangelnder Interpretierbarkeit. Das Hauptziel der Studie ist es, zu bewerten, ob LLMs diese Einschränkungen überwinden und die Genauigkeit von Makroökonomieprognosen verbessern können.
Die Forscher schlagen einen Zero-Shot-Lernansatz vor, bei dem die LLMs historische Leistungsdaten von Experten analysieren, um Prognosemuster und ‑verzerrungen zu erkennen und automatisch optimale Kombinationsgewichte zu bestimmen, ohne dass eine Feinabstimmung oder zusätzliches Training erforderlich ist. Die Methodik umfasst Prompt Engineering mit drei Schlüsselkomponenten: Gewichtung basierend auf historischer Genauigkeit, Kompensation von Verzögerungen und Verbesserung von Trends.
Die Ergebnisse zeigen, dass das LLM-Ensemble die einfache Durchschnittsbildung übertrifft, insbesondere bei kurzfristigen Prognosen (ein Jahr im Voraus). Dieser Vorteil ist besonders ausgeprägt bei Indikatoren wie dem BIP-Wachstum und der Arbeitslosenquote. Die Studie stellt fest, dass das LLM-Ensemble widerstandsfähiger gegenüber Meinungsverschiedenheiten unter Experten ist und eine stabilere Leistung bei unterschiedlichen Aufmerksamkeitsniveaus der Prognostiker aufweist. Robustheitstests, einschließlich der Verwendung alternativer Fehlermetriken und LLM-Modelle, bestätigen diese Ergebnisse.
Die Interpretation des LLM-Ensembles zeigt einen mehrstufigen Denkprozess, der eine fehlergesteuerte Gewichtung, die Identifizierung und Korrektur von Verzögerungseffekten sowie die Optimierung der Trendkonsistenz umfasst. Darüber hinaus kann die Integration emotionaler Prompts die Prognoseergebnisse beeinflussen, was die Sensibilität des Modells für Marktstimmung und Erwartungen unterstreicht.
Die Studie kommt zu dem Schluss, dass LLMs die makroökonomische Prognosekombination erheblich verbessern können, indem sie statistische Genauigkeit mit verhaltensbezogenen Erkenntnissen verbinden und eine sofort einsetzbare Lösung für Praktiker bieten