Kurzfassung: Computer-Use-Agenten, also Systeme, die Ihren Bildschirm sehen und Maus und Tastatur bedienen, haben einen echten Fähigkeitssprung gemacht, und die Demos sind nicht gefälscht. Doch die veröffentlichten Belege ziehen eine scharfe Linie, die die Demos nicht ziehen. Bei OSWorld, dem akademischen Benchmark mit 369 kurzen Aufgaben auf einem echten Desktop, stiegen Agenten von 12,24 Prozent Erfolg beim Start 2024 auf Werte oberhalb der menschlichen Referenz von 72,36 Prozent. Bei OSWorld 2.0, veröffentlicht im Juni 2026 mit 108 langfristigen Abläufen, für die ein Mensch im Median 1,6 Stunden braucht, schließt der beste Spitzenagent 20,6 Prozent ab. Dasselbe Spitzensystem erreicht 83,5 Prozent im kurzen und 20,6 Prozent im langen Benchmark. Diese Lücke ist die wichtigste Zahl dieses Feldes, und sie sagt Ihnen genau, wo Delegation funktioniert und wo sie Wert vernichtet. Dieser Leitfaden liefert die geprüfte Benchmark-Tabelle, eine abgeleitete Kostenanalyse je fertiggestellter Aufgabe, die veröffentlichte sechsteilige Fehlertaxonomie und ein dreistufiges Delegationsmodell, das Büroarbeit der tatsächlich nötigen Aufsicht zuordnet. Eine Führungskraft kauft Zuverlässigkeit, keine Demos; ein Lernender prüft erneut, wenn das nächste Modell erscheint.
In den letzten zwei Jahren hat sich wirklich etwas verändert. Ein KI-System kann nun auf Ihren Bildschirm schauen, die Schaltfläche finden, klicken, in das Feld tippen, zwischen Anwendungen wechseln und weitermachen. Nicht über eine maßgeschneiderte Schnittstelle, die Ihre IT-Abteilung gebaut hat, sondern genau so wie Sie es tun, durch Hinsehen und Handeln. Das ist die Fähigkeit, die man sich seit dem ersten Chatbot vorgestellt hat, denn sie berührt endlich die tatsächliche Gestalt von Büroarbeit, die kein Gespräch ist, sondern eine lange Folge kleiner Handgriffe über ein halbes Dutzend Anwendungen hinweg, die nie richtig miteinander sprechen.
Die Demovideos sind überzeugend, und wichtig: sie sind nicht gefälscht. Das Problem ist, dass eine Demo eine Stichprobe von eins aus einer Verteilung ist, die Ihnen niemand zeigt. Die nützliche Frage lautet nicht, ob ein Agent einen Flug buchen oder eine Tabelle abstimmen kann, denn die Antwort darauf ist ja, manchmal. Die nützliche Frage lautet: wie oft, bei welcher Art von Aufgabe, und was passiert in der übrigen Zeit. Auf diese Frage gibt es inzwischen echte Antworten aus begutachteter und als Preprint veröffentlichter Benchmark-Forschung, und diese Antworten sind weit handlungsrelevanter als Hype oder Gegenreaktion.
Der Benchmark, der das Feld definiert, und der, der es neu definierte
OSWorld, vorgestellt auf der NeurIPS 2024, war der erste ernsthafte Versuch, dies sauber zu messen. Es setzt einen Agenten in ein echtes Betriebssystem mit echten Anwendungen und stellt ihm 369 Aufgaben aus tatsächlicher Computernutzung: Dateiverwaltung, Websurfen, Dokumentbearbeitung und Abläufe über mehrere Anwendungen hinweg. Jede Aufgabe hat eine skriptbasierte, ausführungsgestützte Prüfung, Erfolg bedeutet also, dass die Datei tatsächlich im richtigen Zustand landete, nicht dass ein Bewertungsmodell das Protokoll mochte.
Zwei Zahlen aus dieser Arbeit verankern bis heute alles. Menschen lösen 72,36 Prozent der Aufgaben, was für sich genommen bemerkenswert ist, denn es bedeutet, dass dies selbst für eine Person keine trivialen Botengänge sind. Und das beste Modell schaffte beim Start im April 2024 12,24 Prozent. Die Autoren führten die Lücke vor allem auf die Verortung auf der Oberfläche zurück, also darauf zu wissen, wo auf dem Bildschirm etwas tatsächlich ist, sowie auf Bedienwissen, also die übliche Art zu kennen, wie eine Anwendung bedient werden will.
Diese Lücke schloss sich schnell. Über rund zwei Jahre kletterten die berichteten OSWorld-Werte über die menschliche Referenz, und Mitte 2026 melden führende Systeme Werte im achtziger Bereich. Isoliert gelesen ist das eine Geschichte von gelöst und ausgeliefert, und ein Großteil der Kommentare des Jahres 2026 las sie genau so.
Dann veröffentlichte dieselbe Forschungsgruppe im Juni 2026 OSWorld 2.0, und das Bild änderte sich. Der neue Benchmark enthält 108 Abläufe, von denen jeder eine realistische durchgängige Arbeit ist statt einer einzelnen Besorgung. Die Entwurfsvorgabe ist der interessante Teil: jede Aufgabe kostet einen Menschen im Median etwa 1,6 Stunden. Wo eine Aufgabe im ursprünglichen Benchmark rund 30 Werkzeugaufrufe erforderte, benötigen die neuen im Schnitt 318,4 Aufrufe für ein Spitzenmodell mit maximalem Denkaufwand. Das ist keine schwerere Fassung desselben Tests. Es ist ein anderes Regime und es liegt viel näher an dem, wie ein echter Job aussieht.
In diesem Benchmark schließt der beste Spitzenagent bei einem Budget von 500 Schritten 20,6 Prozent der Aufgaben ab.
Die Ergebnistabelle richtig lesen
Die folgende Tabelle zeigt die veröffentlichten Ergebnisse von OSWorld 2.0 bei einem Budget von 500 Schritten und maximalem Denkaufwand, wie von den Benchmark-Autoren dokumentiert. Binäre Fertigstellung bedeutet, dass der gesamte Ablauf korrekt endete. Der Teilwert rechnet den Fortschritt unterwegs an. Die Kosten sind die berichteten ungefähren Ausgaben je Versuch.
| System (wie berichtet) | Binäre Fertigstellung | Teilwert | Ungefähre Kosten je Versuch |
|---|---|---|---|
| Claude Opus 4.8 (gebündelt) | 20,6 % | 54,8 % | 72,4 $ |
| Claude Opus 4.8 (einzeln) | 18,5 % | 49,3 % | 76,1 $ |
| Claude Opus 4.7 (gebündelt) | 18,2 % | 48,9 % | 33,6 $ |
| Claude Opus 4.7 (einzeln) | 13,9 % | 49,1 % | 35,8 $ |
| GPT-5.5 (gebündelt) | 13,0 % | 49,5 % | 25,5 $ |
| Claude Sonnet 4.6 | 8,3 % | 41,5 % | 22,3 $ |
| MiniMax M3 | 4,6 % | 22,3 % | 2,4 $ |
| Kimi 2.6 | 4,6 % | 22,1 % | 6,6 $ |
| Qwen 3.7-Plus | 2,8 % | 21,5 % | 3,8 $ |
Zwei Eigenschaften dieser Tabelle wiegen schwerer als die Rangfolge.
Die erste ist der Abstand zwischen binärer und Teilspalte. Das führende System schließt eine von fünf Aufgaben vollständig ab, erreicht aber 54,8 Prozent beim Teilfortschritt. Agenten scheitern nicht an der Startlinie. Sie kommen bei langen Abläufen erheblich weit und bringen sie dann nicht zu Ende. Für eine Führungskraft, die über Delegation entscheidet, ist das die ganze Geschichte: das Ergebnis eines Computer-Use-Agenten bei einer langen Aufgabe ist meist eine halbfertige Arbeit, keine Verweigerung. Halbfertige Arbeit, die fertig aussieht, ist die teuerste Art von Ergebnis, denn jemand muss sie prüfen, bevor er ihr trauen kann, und einen Ablauf zu prüfen, den man nicht selbst ausgeführt hat, dauert oft länger, als ihn auszuführen.
Die zweite ist die Benchmark-Klippe. Die Autoren merken an, dass dieselbe Konfiguration von Claude Opus 4.8, die im langen Benchmark nur 20,6 Prozent binäre Fertigstellung erreicht, im ursprünglichen OSWorld 83,5 Prozent erzielt. Ein System, ein Zeitpunkt, zwei Zahlen im Verhältnis vier zu eins. Jede Aussage über die Zuverlässigkeit von Agenten, die die Aufgabenlänge nicht nennt, ist nahezu bedeutungslos.
Was Unzuverlässigkeit tatsächlich kostet
Die veröffentlichte Tabelle nennt Kosten je Versuch, doch das ist nicht die Zahl, die ein Unternehmen interessiert. Sie wollen die Kosten je fertiggestellter Aufgabe wissen, also die Ausgaben geteilt durch die Wahrscheinlichkeit, dass der Versuch tatsächlich gelingt. Die folgende Tabelle, ein auf die obigen veröffentlichten Zahlen angewandtes redaktionelles CEOtudent-Framework, leitet das ab.
| System (wie berichtet) | Binäre Fertigstellung | Kosten je Versuch | Abgeleitete Kosten je fertiger Aufgabe |
|---|---|---|---|
| MiniMax M3 | 4,6 % | 2,4 $ | ~52 $ |
| Qwen 3.7-Plus | 2,8 % | 3,8 $ | ~136 $ |
| Kimi 2.6 | 4,6 % | 6,6 $ | ~143 $ |
| Claude Opus 4.7 (gebündelt) | 18,2 % | 33,6 $ | ~185 $ |
| GPT-5.5 (gebündelt) | 13,0 % | 25,5 $ | ~196 $ |
| Claude Opus 4.7 (einzeln) | 13,9 % | 35,8 $ | ~258 $ |
| Claude Sonnet 4.6 | 8,3 % | 22,3 $ | ~269 $ |
| Claude Opus 4.8 (gebündelt) | 20,6 % | 72,4 $ | ~352 $ |
| Claude Opus 4.8 (einzeln) | 18,5 % | 76,1 $ | ~411 $ |
Lesen Sie das als Veranschaulichung dessen, was Unzuverlässigkeit kostet, nicht als Angebot. Die Rechnung unterstellt, dass Versuche unabhängig sind und ein gescheiterter Versuch wertlos ist, und beides stimmt nicht ganz: ein gescheiterter Lauf hinterlässt oft brauchbare Teilarbeit, und eine Aufgabe, an der ein Agent einmal scheitert, scheitert häufig aus demselben strukturellen Grund erneut, statt beim nächsten Wurf zu gelingen. Nehmen Sie diese Werte als Obergrenze der naiven Kosten stumpfen Wiederholens.
Selbst als Obergrenze ist die Form lehrreich. Das je fertiger Aufgabe günstigste System ist zugleich jenes, das fast nichts abschließt, niedrige Kosten je Erfolg sind also kein Kaufsignal, wenn die Grundrate bei 4,6 Prozent liegt; Sie würden einundzwanzig Versuche abwarten. Und das leistungsfähigste System ist je Erfolg mit deutlichem Abstand das teuerste, weil Sie Spitzenpreise auch für jeden gescheiterten Versuch zahlen.
Stellen Sie nun einen Menschen daneben. Der Benchmark sagt uns, dass diese Abläufe eine Person im Median 1,6 Stunden kosten. Bei Vollkosten einer Wissensarbeitskraft von etwa 30 bis 80 Dollar je Stunde, einer je nach Rolle und Markt stark schwankenden Spanne, die wir rein illustrativ anführen, erledigt der Mensch die Arbeit für ungefähr 48 bis 128 Dollar, bei nahezu sicherer Fertigstellung und mit dem Urteilsvermögen, zu melden, wenn die Aufgabe selbst falsch gestellt war. Die reine Rechenleistung des Agenten für einen Versuch ist damit konkurrenzfähig. Seine Kosten je tatsächlich fertiggestelltem langem Ablauf sind es noch nicht.
Das ist kein Argument gegen die Technologie. Es ist ein Argument darüber, auf welche Aufgaben man sie richtet, und das ist eine andere und weit nützlichere Schlussfolgerung.
Warum lange Aufgaben scheitern: die veröffentlichte Fehlertaxonomie
Die Autoren von OSWorld 2.0 haben die wirklich wertvolle Arbeit geleistet, zu kategorisieren, wie Agenten scheitern, statt nur zu zählen, dass sie es tun. Sechs Muster wiederholen sich:
Informationsverfolgung. Agenten übersehen Informationen, die in der Anweisung standen, in der Umgebung sichtbar waren oder über den Nutzerkanal geliefert wurden.
Zeitempfindlichkeit. Bei zeitkritischen Schritten führen lange Abstände zwischen Beobachten und Handeln dazu, dass die Aktion auf einen bereits veränderten Oberflächenzustand trifft.
Fachspezifische Artefakte. Agenten haben Mühe, fachspezifische Dateiformate und Konventionen korrekt zu deuten und zu erzeugen.
Prüflücken. Agenten prüfen vor der Abgabe häufig keine aufgabenkritischen Eigenschaften und korrigieren, bemerkenswerterweise, Fehler nicht, die sie bereits bemerkt hatten.
Zustandsdrift. Früh gesammelte Informationen gehen verloren, wenn der Aufgabenzustand nur im komprimierten Denkkontext existiert statt in der Umgebung.
Verborgener Zustand. Jedes getestete System schneidet dort am schwächsten ab, wo Erfolg das Erschließen von nie Gesagtem verlangt: unausgesprochene Anforderungen, das gleichzeitige Verfolgen mehrerer Elemente, das Auflösen widersprüchlicher Anweisungen und die Anpassung an Umgebungen, die sich unter ihnen verändern.
Unter allen sechs liegt ein Befund, der die Schlagzeile verdient. Die Autoren berichten, dass jedes Modell fast nichts von seinem Budget darauf verwendet, eigene Fehler zu erkennen und zu beheben, wobei Wiederherstellung und Reparatur zusammen über alle Systeme hinweg unter 7 Prozent des Aufwands bleiben.
Das ist der Mechanismus. Diese Systeme sind nicht schwach darin, Dinge zu tun. Sie sind schwach darin zu bemerken, dass das eben Getane falsch war. Ein kompetenter Mensch verwendet bei einem Ablauf von 1,6 Stunden einen erheblichen Teil dieser Zeit auf die Prüfung der eigenen Arbeit und prüft nach jeder Überraschung reflexhaft erneut. Ein Agent, der unter 7 Prozent seines Budgets auf Selbstkorrektur verwendet, trägt einen kleinen frühen Fehler bis zum Ende und übergibt Ihnen ein selbstbewusst fertiggestelltes, falsches Ergebnis. Genau dieses Fehlerprofil beschreibt die Delegationsdecke: die Grenze ist nicht die Fähigkeit, sondern die Prüflast, die diese Fähigkeit an Sie zurückgibt.
Das Stufenmodell der Delegation
Fügt man die Belege zusammen, ergibt sich eine praktische Regel. Zuverlässigkeit ist eine Funktion der Aufgabenlänge, der Zahl der Anwendungen und der Frage, ob das Ergebnis in kürzerer Zeit prüfbar ist, als seine Erstellung dauerte. Das folgende dreistufige Modell, ein auf den obigen Fehlermustern aufgebautes redaktionelles CEOtudent-Framework, ordnet Büroarbeit der tatsächlich nötigen Aufsicht zu.
| Stufe | Aufgabenprofil | Grundlage der Belege | Durchführung | Realistische Haltung 2026 |
|---|---|---|---|---|
| Stufe 1: Delegieren | Kurz, eine Anwendung, ein klarer Endzustand, Ergebnis auf einen Blick prüfbar (einen Stapel umbenennen und ablegen, Felder aus einem Formular ziehen, ein Dokument umformatieren, einen definierten Bericht abrufen) | Leistung bei kurzen Aufgaben übertrifft inzwischen die menschliche Referenz von 72,36 % | Starten und stichprobenartig prüfen. Das Ergebnis stichprobenweise sichten statt jeden Posten zu prüfen | Echte Zeitersparnis heute verfügbar |
| Stufe 2: Beaufsichtigen | Mehrstufig, zwei bis drei Anwendungen, 15 bis 45 Minuten menschlicher Arbeit, bei Fehlern umkehrbar (eine Wettbewerbsübersicht aus benannten Quellen, eine wiederkehrende Präsentation, den Abgleich zweier Listen) | Teilwerte nahe 50 % bedeuten erheblichen Fortschritt, niedrige binäre Fertigstellung bedeutet schwaches Abschließen | Der Agent erstellt den Entwurf, Sie prüfen an benannten Kontrollpunkten. Den Endzustand nie ungelesen annehmen | Der realistische Idealbereich; Sie kaufen einen Erstentwurf, kein Ergebnis |
| Stufe 3: Noch nicht delegieren | Langfristig, vier oder mehr Anwendungen, über eine Stunde, oder jede unumkehrbare Aktion (Senden, Zahlen, Veröffentlichen, Löschen, Einreichen) | 20,6 % binäre Fertigstellung bei Abläufen von 1,6 Stunden; unter 7 % des Budgets für Selbstkorrektur | In Einheiten der Stufen 1 und 2 mit menschlichen Kontrollpunkten zerlegen, oder selbst erledigen | Unbeaufsichtigte Ausführung wird von den Belegen nicht gestützt |
Die Zerlegung in Stufe 3 ist der Zug, der sich auszahlt. Ein Ablauf, der als einzelne Anweisung über 318 Aufrufe scheitert, gelingt oft als fünf beaufsichtigte Abschnitte, weil Sie die Prüfung einfügen, die der Agent für sich selbst nicht vornimmt. Sie umgehen weniger eine Beschränkung, als dass Sie den fehlenden Baustein liefern.
Die Regel der Unumkehrbarkeit
Eine Linie durchzieht alle drei Stufen und verdient es, eigens genannt zu werden, denn sie verhindert die teure Art von Fehler.
Erteilen Sie niemals unbeaufsichtigte Befugnis über eine Aktion, die sich nicht rückgängig machen lässt. Eine E-Mail senden, ein Formular einreichen, eine Zahlung leisten, einen Beitrag veröffentlichen, einen Datensatz löschen, Bedingungen akzeptieren. Die Benchmark-Belege liefern eine ungewöhnlich klare Begründung: ein System, das unter 7 Prozent seines Aufwands auf Selbstkorrektur verwendet und bei langen Abläufen 20,6 Prozent erreicht, wird bei den meisten Versuchen den unumkehrbaren Schritt in einem Zustand erreichen, den es nicht geprüft hat. Der Fehlermodus ist nicht, dass es sich weigert. Er ist, dass es selbstbewusst fortfährt.
Die Kostenasymmetrie erledigt den Rest des Arguments. Ein umkehrbarer Fehler kostet Sie die Zeit der Wiederholung. Ein unumkehrbarer kostet, was er kostet, und Sie erfahren es hinterher. An genau den unumkehrbaren Schritten eine menschliche Bestätigung zu verlangen, dauert Sekunden und beseitigt den gesamten Randbereich. Das ist gewöhnliches operatives Risikomanagement und gilt hier unverändert.
Wie Sie das nächste Modell selbst bewerten
Die konkreten Zahlen in diesem Artikel werden altern, und das ist in Ordnung, denn die Methode wird es nicht. Wenn der nächste Agent mit einer beeindruckenden Zahl erscheint, trennen vier Fragen eine echte Fähigkeitsaussage von einer Demo.
Welcher Benchmark, und wie lang sind die Aufgaben? Ein Wert bei kurzen Aufgaben in einer Anwendung sagt nichts über stundenlange anwendungsübergreifende Arbeit. Fragen Sie ausdrücklich nach der Zahl für lange Abläufe. Der Faktor vier zwischen den beiden OSWorld-Generationen ist der Grund.
Binäre Fertigstellung oder Teilanrechnung? Teilwerte nahe 50 Prozent neben binären Werten nahe 20 Prozent beschreiben ein System, das fast ans Ziel kommt und nicht landet. Das sind verschiedene Produkte. Bestehen Sie auf der binären Zahl.
Welches Schritt- und Kostenbudget? Ergebnisse bei 500 Schritten und maximalem Denkaufwand entsprechen nicht der Konfiguration, die Sie standardmäßig erhalten, und die Kosten je Versuch können bei dieser Einstellung beträchtlich sein.
Wie hoch ist die Selbstkorrekturrate? Das ist der Frühindikator. Wenn der veröffentlichte Aufwand für Wiederherstellung und Reparatur deutlich über den derzeitigen Bereich unter 7 Prozent steigt, wird sich das Zuverlässigkeitsbild wesentlich ändern und Stufe 3 wird sich zu öffnen beginnen. Bis dahin gilt unbeaufsichtigte langfristige Ausführung ungeachtet der Schlagzeilenzahl als nicht gestützt.
Es ist dieselbe Bewertungsdisziplin, die für die Modellwahl bei jeder Aufgabe gilt: lesen Sie den Benchmark, der zu Ihrer tatsächlichen Arbeit passt, nicht den, der den Marktstart schmeichelhaft aussehen lässt.
Die Führungskraft und der Lernende
Eine Führungskraft kauft eine Fähigkeit nicht, weil eine Vorführung beeindruckend war. Sie fragt, was zuverlässig geliefert wird, zu welchen Kosten, mit welchem Fehlermodus und was dieser Fehler kostet, wenn er eintritt. Nach diesem Maßstab sind Computer-Use-Agenten 2026 ein klarer Kauf für kurze, abgegrenzte Aufgaben, ein starker Kauf für beaufsichtigte Entwürfe mittlerer Abläufe und ein klares Abwarten für unbeaufsichtigte langfristige Ausführung. Das ist keine Ausflucht. Es sind drei getrennte Entscheidungen, und die Belege stützen jede einzeln.
Der lernende Teil hält dies davon ab, zu erstarren. Dieses Feld bewegte sich bei kurzen Aufgaben in etwa zwei Jahren von 12,24 Prozent über die menschliche Referenz hinaus. Auch die Zahl für lange Abläufe wird sich bewegen. Wer Agenten 2024 wegen einer schlechten Demo abschrieb, liegt heute falsch, und wer heute langfristige Delegation für gelöst erklärt, wird in die andere Richtung falsch liegen. Was beide Fehler überdauert, ist die Gewohnheit, zum Benchmark zurückzukehren, die vier obigen Fragen zu stellen und eine Aufgabe erst dann eine Stufe höher zu ziehen, wenn die Belege es erlauben.
Erstellen Sie jetzt die Stufenkarte für Ihre eigene Arbeit. Die meisten stellen fest, dass sie mehr Aufgaben der Stufe 1 haben als erwartet, und dort liegt der unmittelbare Ertrag, und dass einige ihrer Abläufe der Stufe 3 sich sauber in beaufsichtigte Abschnitte zerlegen lassen. Das ist die ganze Chance des Jahres 2026: nicht das autonome Büro, sondern ein erheblich schnelleres, geführt von jemandem, der genau weiß, wo hinzusehen ist.
Häufig gestellte Fragen
Unterscheiden sich agentische Browser von Computer-Use-Agenten?
Ein agentischer Browser arbeitet innerhalb des Browsers, seine Welt sind also Webseiten, Tabs und Formulare. Ein Computer-Use-Agent bedient den gesamten Desktop einschließlich lokaler Anwendungen und Dateisystem. Browsergebundene Agenten sind in ihrem engeren Bereich tendenziell zuverlässiger, da die Umgebung einheitlicher ist, doch die meisten echten Büroabläufe überschreiten die Grenze zwischen Browser und Desktop, und genau dort treten anwendungsübergreifende Fehlermodi auf.
Wenn Agenten die menschliche Referenz bei OSWorld übertreffen, warum nicht alles delegieren?
Weil diese Referenz für kurze, überwiegend in einer Anwendung ablaufende Aufgaben gilt. Sowohl die menschlichen 72,36 Prozent als auch die höheren Agentenwerte stammen aus dem Benchmark mit 369 Aufgaben. Im Benchmark für lange Abläufe, in dem Aufgaben einen Menschen im Median 1,6 Stunden kosten, schließt der beste Agent 20,6 Prozent ab. Die entscheidende Variable ist die Aufgabenlänge, nicht der Schlagzeilenwert.
Ist Teilfertigstellung nützlich oder wertlos?
Das hängt vollständig davon ab, ob Sie die Arbeit ohnehin prüfen wollten. Erwarteten Sie ein fertiges Ergebnis, ist Teilfertigstellung schlimmer als wertlos, denn sie sieht fertig aus und schiebt Ihnen stillschweigend eine Prüfaufgabe zu. Baten Sie um einen Erstentwurf und wollten ihn durchsehen, ist ein Teilwert nahe 50 Prozent echter Wert. Deshalb existiert Stufe 2 als eigene Kategorie.
Was ist der beste einzelne Indikator dafür, dass die Zuverlässigkeit steigt?
Der Anteil des Aufwands, den ein System auf das Erkennen und Beheben eigener Fehler verwendet. Veröffentlichte Zahlen setzen Wiederherstellung und Reparatur derzeit über alle getesteten Systeme hinweg unter 7 Prozent. Da die meisten Fehler bei langen Abläufen auf unkorrigierte frühe Fehler zurückgehen, ist ein Anstieg dieser Zahl das Signal, dass unbeaufsichtigte Ausführung tragfähig wird.
Sollten kleine Teams warten, bis die Technik reift?
Nein. Delegation der Stufe 1 funktioniert jetzt und dort liegt der unmittelbare Ertrag. Kleine Teams sollten lediglich keinen Prozess bauen, der auf unbeaufsichtigter langfristiger Ausführung beruht, denn die derzeitigen Belege stützen das nicht, und ein Prozess, der auf einer noch nicht vorhandenen Fähigkeit ruht, scheitert leise und teuer.
Quellen
- Xie und andere, OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments, NeurIPS 2024, Track Datensätze und Benchmarks (arXiv:2404.07972)
- Yuan und andere, OSWorld 2.0: Benchmarking Computer Use Agents on Long-Horizon Real-World Tasks, Juni 2026 (arXiv:2606.29537)
- XLANG Lab, Universität Hongkong, OSWorld-Benchmark-Dokumentation und Methodik der geprüften Ergebnisse
- OECD, Künstliche Intelligenz und die Zukunft der Arbeit, Politikanalyse zu Automatisierung auf Aufgabenebene und Komplementarität
- Stanford Institute for Human-Centered Artificial Intelligence, AI Index Report, Kapitel zu technischer Leistung und Benchmark-Sättigung
Dieser Inhalt wurde nach eingehender Recherche mit Unterstützung von KI zusammengestellt und vom CEOtudent-Redaktionsteam geschrieben und für die Veröffentlichung aufbereitet.
This post is also available in:
