Der Anbieter von Finanzinformationen, Bloomberg, arbeitet an einer Art ChatGPT für Finanzinformationen namens BloombergGPT.
Große Sprachmodelle (Large Language Models, LLMs) hätten sich bei einer Vielzahl von Aufgaben als effektiv erwiesen; in der Literatur sei laut der Autoren von BloombergGPT: A Large Language Model for Finance jedoch noch kein LLM, das für den Finanzbereich spezialisiert ist, beschrieben. In dem Paper wird BloombergGPT vorgestellt, ein Sprachmodell mit 50 Milliarden Parametern. “Wir konstruieren einen 363 Milliarden Token umfassenden Datensatz, der auf Bloombergs umfangreichen Datenquellen basiert, dem vielleicht größten domänenspezifischen Datensatz. Wir validieren BloombergGPT mit Standard LLM-Benchmarks, offenen Finanz-Benchmarks und einer Reihe von internen Benchmarks, die unsere beabsichtigte Nutzung am genauesten widerspiegeln. Unser Training mit gemischten Datensätzen führt zu einem Modell, das bestehende Modelle bei Finanzaufgaben deutlich übertrifft”. Daneben verwendet BloombergGPT noch eine Reihe anderer, überwiegend englischsprachiger Datenquellen (non-finance-specific-data).
Die firmenspezifischen Datensätze namens FinPile “bestehen aus einer Vielzahl englischsprachiger Finanzdokumente, darunter Nachrichten, Berichte, Pressemitteilungen, im Internet gescrapte Finanzdokumente und soziale Medien aus den Bloomberg-Archiven”. Hinzu kommen noch SEC-Berichte, Bloomberg-TV-Protokolle, Fed-Daten und andere für die Finanzmärkte relevante Daten. Die nicht finanzspezifischen Datensätze werden als “The Pile” bezeichnet. Darin enthalten sind sämtliche YouTube-Titel über Project Gutenberg bis hin zu den Enron-E-Mails, die beim KI-Training immer wieder auftauchen. Ebenfalls enthalten ist eine vollständige Kopie von Wikipedia mit Stand vom Juli letzten Jahres[1]What if ChatGPT was trained on decades of financial news and data? BloombergGPT aims to be a domain-specific AI for business news((
References