Gene­ra­ti­ve Sprach­mo­del­le, wie sie bei ChatGPT zum Ein­satz kom­men, lie­fern bereits Ergeb­nis­se, die dem eines mensch­li­chen Exper­ten schon sehr nahe­kom­men. Trotz­dem wei­sen die heu­ti­gen gene­ra­ti­ven Sprach­mo­del­le eini­ge fun­da­men­ta­le Defi­zi­te auf. Es ist frag­lich, ob sie jemals in der Lage sein wer­den, die mensch­li­che Erkennt­nis- und Aus­drucks­fä­hig­keit voll­stän­dig nach­zu­ah­men. Gren­zen wer­den u.a. durch Tech­nik, Gram­ma­tik und Seman­tik gesetzt.

Die tech­ni­schen Begren­zun­gen gene­ra­ti­ver Sprach­mo­del­le haben kürz­lich For­scher der Stan­ford Uni­ver­si­ty her­aus­ge­ar­bei­tet^[1]Lost in the Midd­le: How Lan­guage Models Use Long Con­texts. Bei gene­ra­ti­ven Sprach­mo­del­len bezieht sich ein Kon­text­fens­ter auf die Län­ge des Tex­tes, den ein Modell in einem bestimm­ten Fall ver­ar­bei­ten und auf den es reagie­ren kann. Man kann es als Arbeits­spei­cher für eine bestimm­te Text­ana­ly­se oder Chat­bot-Kon­ver­sa­ti­on betrachten.

Bis­lang war man davon aus­ge­gan­gen, dass der Trend zu grö­ße­ren Kon­text­fens­tern die Leis­tung von Sprach­mo­del­len und ihre Nütz­lich­keit für ver­schie­de­ne Anwen­dun­gen wei­ter ver­bes­sern wür­de. Wenn ein Sprach­mo­dell ein gan­zes Doku­ment oder einen gan­zen Arti­kel als Ein­ga­be für sein Kon­text­fens­ter ver­wen­den könn­te, so die gän­gi­ge Mei­nung, könn­te das Sprach­mo­dell ein per­fek­tes Ver­ständ­nis des gesam­ten Umfangs die­ses Doku­ments lie­fern. Die erwähn­te Stu­die zeigt jedoch, dass eini­ge Annah­men rund um das Kon­text­fens­ter fehlerh…