Kürz­lich auf den Markt gebrach­te „Agen­ten“ mit künst­li­cher Intel­li­genz (KI) kön­nen Com­pu­ter nut­zen, indem sie die Kon­trol­le über Tas­ta­tur und Maus über­neh­men. Die­se KI-Agen­ten kön­nen einen Com­pu­ter genau­so bedie­nen wie ein Mensch und kön­nen Anwei­sun­gen in eng­li­scher Spra­che emp­fan­gen. Es wird erwar­tet, dass die­se KI-Agen­ten bis Ende 2025 all­täg­lich wer­den und die Art und Wei­se, wie wir arbei­ten und das Inter­net nut­zen, ver­än­dern wer­den. Wir haben die­se KI-Agen­ten auf die all­ge­mei­nen Fähig­kei­ten geprüft, die zum Spie­len von Spie­len wie Word­le erfor­der­lich sind: Erken­nen, wenn Kacheln die Far­be wech­seln, Nut­zung von Feed­back, um zu fun­dier­ten Ver­mu­tun­gen zu gelan­gen, und Ein­ga­be die­ser Ver­mu­tun­gen mit Hil­fe der Com­pu­ter­tas­ta­tur und Maus.

Bei­trag

Eine Schlüs­sel­fra­ge in Bezug auf die Rol­le von KI-Agen­ten ist, ob sie die mensch­li­chen Fähig­kei­ten ver­bes­sern, indem sie als „Co-Pilo­ten“ die­nen, oder ob sie gut genug sind, um zu auto­no­men Werk­zeu­gen zu wer­den, die die mensch­li­chen Bedie­ner erset­zen kön­nen. Unser Test soll Licht in die­se Fra­ge brin­gen. KI-Agen­ten zei­gen beein­dru­cken­de Fähig­kei­ten bei eng defi­nier­ten Auf­ga­ben wie stan­dar­di­sier­ten Tests in Mathe­ma­tik, Medi­zin und Recht sowie ande­ren Tests, für die sie trai­niert wer­den kön­nen. Für all­ge­mei­ne Auf­ga­ben in der rea­len Welt ist jedoch mehr erfor­der­lich. Um rea­le Auf­ga­ben zu bewäl­ti­gen, müs­sen KI-Agen­ten vie­le zusam­men­hän­gen­de Auf­ga­ben lösen, kom­ple­xe Situa­tio­nen ver­ste­hen, mit Unstim­mig­kei­ten umge­hen und vor allem in der Lage sein, sich selbst zu bewer­ten, zu expe­ri­men­tie­ren und auto­ma­tisch zu kor­ri­gie­ren. Wir haben KI-Agen­ten gebe­ten, mit Tas­ta­tur und Maus Spie­le wie Word­le zu spie­len, um her­aus­zu­fin­den, wie sie sich im Ver­gleich zu Men­schen schlagen.

Ergeb­nis­se

Wir haben fest­ge­stellt, dass KI-Agen­ten in den wich­tigs­ten Aspek­ten unzu­rei­chend sind. Sie sind beein­dru­ckend bei eng umris­se­nen Auf­ga­ben. Aber es fehlt ihnen an Selbst­er­kennt­nis, um zu wis­sen, wann sie etwas falsch gemacht haben und ihren Kurs im Lich­te der Bewei­se zu ändern, und es fehlt ihnen die Fähig­keit, auf opti­ma­le Wei­se zu expe­ri­men­tie­ren, um ihre Unwis­sen­heit zu behe­ben. Bei eini­gen sich wie­der­ho­len­den Auf­ga­ben machen sie zu vie­le Feh­ler, was den Fort­schritt bei der Lösung des Gesamt­pro­blems ver­lang­samt. Auch Men­schen machen sol­che Feh­ler, aber sie sind in der Lage, sich von die­sen Feh­lern zu erho­len. Im Gegen­satz dazu blei­ben KI-Agen­ten ste­cken, weil sie nicht expe­ri­men­tie­ren und aus ihren Feh­lern ler­nen kön­nen. Auch wenn künf­ti­ge Gene­ra­tio­nen von KI-Agen­ten die­se Män­gel über­win­den kön­nen, wer­den KI-Agen­ten in naher Zukunft wahr­schein­lich eher als Co-Pilo­ten ein­ge­setzt, die die Arbeit mensch­li­cher Bedie­ner ergän­zen, als als auto­no­me Agen­ten, die mensch­li­che Arbeits­kräf­te verdrängen.

Quel­le: Put­ting AI agents through their paces on gene­ral tasks