Menschliche Aufsicht by Design: Wo Kontrollpunkte hingehören, wenn KI-Agenten die Arbeit machen

TL;DR: “Halten Sie einen Menschen in der Schleife” ist zur Standardantwort auf jede Frage über KI-Agenten geworden, und es ist keine Antwort. Eine Schleife hat eine Form: wo der Mensch sitzt, was ihm gezeigt wird, was er stoppen kann und was passiert, wenn er etwas übersieht. Die öffentlichen Messungen erlauben es, diese Form zu entwerfen statt zu raten. METRs Arbeit zum Zeithorizont zeigt, dass die Aufgabenlänge, die ein Agent mit 80 Prozent Erfolgsquote bewältigt, rund fünfmal kürzer ist als bei 50 Prozent, mit einer Spanne von 59 zu 15 Minuten beim stärksten Modell der Stichprobe, und dass beide Horizonte sich etwa gleich schnell verdoppeln, ungefähr alle sieben Monate. Der Benchmark tau-bench maß bei hochmodernen Function-Calling-Agenten eine Einzelversuchsquote unter 50 Prozent und eine Achtfachkonsistenz unter 25 Prozent, weit über dem, was zufälliges Scheitern je Versuch erzeugen würde, woraus folgt, dass Fehler sich in bestimmten Aufgaben konzentrieren. Aus diesen beiden Befunden sowie Artikel 14 der EU-KI-Verordnung und der Literatur zum Automatisierungsbias baut dieser Beitrag eine Platzierungsmatrix mit zwei Leitfragen: Wie teuer ist es rückgängig zu machen, und würden Sie es bemerken, wenn es schiefgeht?

Es gibt einen Moment, der sich in der Berufspraxis derzeit ständig wiederholt. Ein Agent läuft, produziert einen selbstsicheren Block Ausgabe, und ein Mensch schaut elf Sekunden darauf und genehmigt ihn. Nichts an diesem Moment ist ein Kontrollpunkt. Er hat die Form von Aufsicht und keine ihrer Funktionen, und wer es tut, weiß das meistens.

Der Impuls, das durch genaueres Hinschauen zu beheben, geht fehl, denn das Problem ist nicht die Aufmerksamkeit. Es ist die Platzierung. Ein Kontrollpunkt an der falschen Stelle kostet dieselbe Aufmerksamkeit und fängt nichts.

Was die Zuverlässigkeitsdaten tatsächlich sagen

Zwei Messungen leisten hier den Großteil der Arbeit, und keine handelt davon, wie klug die Modelle sind.

Die erste ist METRs Zeithorizont-Forschung, die eine ungewöhnlich praxisnah geformte Frage stellt: Wie lang darf eine Aufgabe sein, gemessen daran, wie lange eine menschliche Fachkraft dafür braucht, damit ein Modell sie mit einer bestimmten Erfolgsquote erledigt? Über die zwischen 2019 und 2025 veröffentlichten Modelle hinweg wuchs der 50-Prozent-Zeithorizont exponentiell mit einer Verdopplungszeit von rund sieben Monaten. Diese Schlagzeile wird ständig zitiert. Der Teil, der für den Entwurf von Kontrollpunkten zählt, fast nie.

METR berechnete den Horizont auch für 80 Prozent Erfolgsquote. Die Verdopplungszeit ist nahezu identisch, 213 Tage gegenüber 212 Tagen beim 50-Prozent-Horizont; die Wachstumsrate ist also nicht das Problem. Die Niveaus sind es. In METRs Formulierung sind die Horizonte bei der höheren Zuverlässigkeitsschwelle über die untersuchten Modelle hinweg etwa fünfmal kürzer, und das Modell mit dem längsten 80-Prozent-Horizont der Stichprobe, Claude 3.7 Sonnet, lag bei rund 15 Minuten gegenüber einem 50-Prozent-Horizont von 59 Minuten, für dieses Modell also knapp der Faktor vier.

Messgröße (METR, Modelle von 2019 bis 2025)	50 Prozent Erfolgsquote	80 Prozent Erfolgsquote
Längster gemessener Horizont der Stichprobe (Claude 3.7 Sonnet)	59 Minuten	etwa 15 Minuten
Frühere Spitzenmodelle (GPT-4, Claude 3 Opus) auf der schwierigeren Aufgabensammlung	Bereich 5 bis 30 Minuten	Nicht gesondert berichtet
Verdopplungszeit des Horizonts	212 Tage	213 Tage
Horizont bei sehr hohen Erfolgsquoten, etwa 95 Prozent	Nicht gemessen; METR gibt an, dies mit seinem Datensatz nicht verlässlich messen zu können	Nicht gemessen

Geprüfte Daten. Quelle: METR, Measuring AI Ability to Complete Long Tasks, Abschnitt zum Vergleich der Zeithorizonte bei 50 und 80 Prozent Erfolgsquote.

Lesen Sie die letzte Zeile aufmerksam, denn sie ist die nützlichste der Tabelle. Niemand hat eine verlässliche Messung dazu veröffentlicht, wie lang eine Aufgabe sein darf, die ein Agent auf jenem Zuverlässigkeitsniveau erledigt, das Sie tatsächlich verlangen würden, bevor Sie etwas unbeaufsichtigt laufen lassen. Der redliche Stand der Belege lautet: Der Hochzuverlässigkeitshorizont ist nicht lang, er ist ungemessen.

Die zweite Messung betrifft Konsistenz statt Länge. Der von Yao, Shinn, Razavi und Narasimhan gebaute Benchmark tau-bench bewertet Agenten in simulierten Einzelhandels- und Airline-Domänen, in denen sie Werkzeuge nutzen, einer geschriebenen Domänenrichtlinie folgen und mit einer simulierten Nutzerin sprechen müssen. Er führte eine Metrik namens pass^k ein, die nicht fragt, ob ein Agent einmal erfolgreich ist, sondern ob er bei allen k unabhängigen Versuchen an derselben Aufgabe erfolgreich ist. Der Befund der Arbeit ist unmissverständlich: Hochmoderne Function-Calling-Agenten wie gpt-4o lösen weniger als 50 Prozent der Aufgaben, und pass^8 fällt in der Einzelhandelsdomäne unter 25 Prozent.

Die Schlussfolgerung, die aus pass^8 niemand zieht

Hier hören die beiden Datensätze auf, Hintergrund zu sein, und werden zur Entwurfsvorgabe.

Wären die Fehlschläge von Versuch zu Versuch zufällig, würde ein Agent mit 50 Prozent Chance pro Versuch bei etwa 0,4 Prozent der Aufgaben achtmal hintereinander bestehen. Das ist 0,5 hoch acht. Der gemessene Wert liegt unter 25 Prozent. Beide Benchmark-Werte sind als Obergrenzen berichtet, das genaue Vielfache lässt sich also nicht festnageln, aber die gemessene Konsistenz liegt mehr als eine Größenordnung über dem, was zufälliges Scheitern je Versuch erzeugen würde.

Fehlermodell	Vorhergesagter Anteil der Aufgaben mit acht Erfolgen	Gemessen
Fehlschläge je Versuch unabhängig, einheitlich 50 Prozent Chance	0,4 %	Nicht anwendbar
tau-bench Einzelhandel, hochmoderner Function-Calling-Agent	Nicht anwendbar	Unter 25 %

CEOtudent-Redaktionsrahmen: Der Unabhängigkeitswert wurde von CEOtudent aus der im Benchmark berichteten Einzelversuchsquote berechnet, zum Vergleich mit dem dort berichteten pass^8-Ergebnis. Der Befund ist die Lücke zwischen beiden, nicht eine der beiden Zahlen.

Die Lücke verrät die Struktur der Fehlschläge. Läge die beobachtete Acht-von-acht-Quote nahe der Unabhängigkeitsvorhersage, wären Agentenfehler im Wesentlichen Rauschen, und die richtige Antwort wäre Redundanz: zweimal laufen lassen, vergleichen. Sie liegt nicht nahe daran. Ein großer Teil der Aufgaben gelingt jedes Mal, ein großer Teil scheitert jedes Mal. Die Varianz sitzt in der Aufgabe, nicht im Durchlauf.

Dieser eine strukturelle Umstand schließt die beiden gebräuchlichsten Aufsichtsstrategien aus.

Zufällige Stichproben sind falsch, weil die Fehlschläge nicht zufällig verteilt sind. Eine von zehn Ausgaben aus einem gemischten Pool zu prüfen bestätigt immer wieder die zuverlässigen Aufgaben, während die unzuverlässigen unbeobachtet konsistent scheitern.

Zweimal laufen lassen und vergleichen ist aus demselben Grund falsch. Eine Aufgabe, an der der Agent konsistent scheitert, liefert zwei selbstsichere, übereinstimmende, falsche Antworten. Übereinstimmung zwischen zwei Durchläufen ist kein Beleg, wenn der Fehlermodus aufgabenspezifisch ist.

Was die Struktur stattdessen verlangt, ist Klassifikation. Sie müssen wissen, welche Aufgaben in den zuverlässigen Pool gehören und welche nicht, und der einzige Weg dorthin ist gemessen zu haben, also jene Disziplin, die in der Delegationsdecke beschrieben wird. Der Kontrollpunkt gehört an die Klasse, nicht an die Stichprobe.

Wohin ein Kontrollpunkt gehört: zwei Fragen, vier Antworten

Alles Bisherige verengt sich zu einer Platzierungsregel. Zwei Eigenschaften einer Aufgabe bestimmen, wo der Mensch sitzen muss, und keine davon betrifft die Schwierigkeit.

Die erste ist Umkehrbarkeit: Wie teuer ist es, das rückgängig zu machen? Die zweite ist Erkennbarkeit: Falls der Agent es falsch gemacht hat, meldet sich der Fehler von selbst, oder sitzt er sechs Wochen still in einer Tabelle?

	Fehler ist offensichtlich	Fehler ist still
Billig rückgängig zu machen	Frei laufen lassen. Kein Kontrollpunkt. Bei Entdeckung korrigieren, denn die Entdeckung ist sicher und die Korrektur billig. Entwürfe, explorative Recherche, Gliederungen, erste Zusammenfassungen.	Stichprobe ziehen und bewerten. Prüfung eines festen Anteils mit schriftlicher Bewertungsregel, auf einer definierten Aufgabenklasse statt zufällig. Datenextraktion, Verschlagwortung, Kategorisierung, Transkription.
Teuer rückgängig zu machen	Tor vor dem Commit. Eine verpflichtende Freigabe unmittelbar vor dem unumkehrbaren Schritt, nicht früher in der Kette. Veröffentlichen, Senden, Einreichen, Mergen.	Vorab autorisieren und unabhängig verifizieren. Legen Sie die erlaubte Aktionsmenge vor dem Lauf fest und prüfen Sie das Ergebnis gegen eine Quelle, die nicht die Zusammenfassung des Agenten ist. Finanzbuchungen, externe Zusagen, Löschungen, alles, was fremde Datensätze berührt.

CEOtudent-Matrix zur Kontrollpunktplatzierung. Redaktioneller Rahmen. Die Umkehrbarkeitsachse ist entscheidungstheoretische Standardpraxis; die Erkennbarkeitsachse und die vier Platzierungen sind CEOtudents Konstruktion.

Drei Dinge an dieser Matrix müssen ausdrücklich gesagt werden, denn dort liegen die üblichen Fehler.

Die Zelle unten links sagt, das Tor gehöre unmittelbar vor den unumkehrbaren Schritt, und dieses “unmittelbar” trägt Gewicht. Vieles, was als Aufsicht gilt, ist eine Freigabe am Anfang einer Kette, auf einen Plan, gefolgt von unbeaufsichtigter Ausführung dieses Plans. Den Plan freizugeben ist kein Kontrollpunkt auf das Ergebnis. Der Moment ist der Commit; dorthin gehört der Kontrollpunkt.

Die Zelle oben rechts wird von fast allen unterversorgt. Stille Fehler in billig rückgängig zu machender Arbeit fühlen sich harmlos an, und genau deshalb häufen sie sich. Eine falsch eingeordnete Zeile kostet am Tag nichts und im Quartal alles, in dem auf Basis der Summe entschieden wird.

Die Zelle unten rechts enthält die einzige Anweisung der Matrix, die eine zweite Quelle verlangt. Den Agenten zu fragen, ob er die Aufgabe richtig erledigt hat, ist keine Verifikation, sondern die Bitte an den Fehler, sich selbst zu benoten. Die Zusammenfassung des Agenten über seinen eigenen Lauf entsteht durch denselben Prozess, der den Lauf hervorgebracht hat.

Die Aufsichtsstruktur, die sich aus der Regulierung zu leihen lohnt

Es gibt einen Text, der ein Problem löst, über das die meisten individuellen Arbeitsabläufe nie nachgedacht haben, und er steht im Gesetz.

Artikel 14 der KI-Verordnung der Europäischen Union legt Anforderungen an die menschliche Aufsicht über Hochrisiko-KI-Systeme fest. Er bindet Anbieter und Betreiber solcher Systeme, nicht Einzelpersonen, die einen Chatbot nutzen, und dieser Beitrag behauptet nichts anderes. Lesenswert ist er trotzdem, weil er nicht sagt “ein Mensch muss die Ausgabe prüfen”. Er benennt fünf klar getrennte Fähigkeiten, die der aufsichtsführenden Person ermöglicht werden müssen, und diese fünf passen sauber auf die Fehlermodi gewöhnlicher Agentenarbeit.

Anforderung nach Artikel 14 Absatz 4 für Hochrisiko-KI-Systeme	Übersetzung in einen individuellen Agenten-Arbeitsablauf
(a) Fähigkeiten und Grenzen des Systems angemessen verstehen und seinen Betrieb überwachen, einschließlich des Erkennens von Anomalien, Fehlfunktionen und unerwarteter Leistung	Führen Sie eine schriftliche Aufzeichnung darüber, an welchen Aufgabenklassen Ihr Agent scheitert. Ohne diese Aufzeichnung können Sie nicht klassifizieren, und ohne Klassifikation ist die obige Matrix unbrauchbar.
(b) Sich der möglichen Neigung bewusst bleiben, sich automatisch oder übermäßig auf die Ausgabe zu verlassen	Gehen Sie davon aus, dass Sie zu wenig prüfen werden. Machen Sie die Prüfung mechanisch und terminiert statt zur Ermessensfrage im Moment.
(c) Die Ausgabe des Systems richtig interpretieren, unter Berücksichtigung verfügbarer Interpretationswerkzeuge und -methoden	Verlangen Sie Zwischenschritte und Quellen, keine Schlussfolgerungen. Eine Antwort, die Sie nicht zurückverfolgen können, ist eine Antwort, die Sie nicht prüfen können.
(d) Entscheiden, das System nicht zu verwenden oder die Ausgabe zu missachten, zu übergehen oder rückgängig zu machen	Führen Sie eine schriftliche Liste der Aktionen, die der Agent nie unbeaufsichtigt ausführen darf. Eine Grenze, die nur in Ihrem Kopf existiert, ist keine Grenze.
(e) Das System über einen Stopp-Knopf oder ein ähnliches Verfahren unterbrechen, das ein Anhalten in einem sicheren Zustand erlaubt	Definieren Sie vor dem Start, was “sicher gestoppt” bedeutet. Welcher Zustand muss wiederherstellbar bleiben, wenn Sie den Lauf in Minute vier abbrechen?

Die linke Spalte gibt geprüften Verordnungstext sinngemäß nach Artikel 14 Absatz 4 der Verordnung (EU) 2024/1689 wieder. Die rechte Spalte ist CEOtudents redaktionelle Übersetzung und hat keinerlei rechtlichen Status.

Anforderung (e) ist diejenige, die individuellen Arbeitsabläufen systematisch fehlt. Die meisten Menschen können einen Agenten stoppen. Weit weniger haben vorab entschieden, in welchem Zustand die Arbeit dann sein muss. Wenn Ihr Agent mitten im Umbenennen von 400 Dateien steckt, wenn Sie ihn unterbrechen, wurde die Frage der Wiederherstellbarkeit vor dem Start entschieden, nicht beim Drücken des Knopfes.

Derselbe strukturelle Instinkt zeigt sich im Artificial Intelligence Risk Management Framework des National Institute of Standards and Technology, das Risikoarbeit nicht in einen einzigen Prüfschritt, sondern in vier Funktionen gliedert: govern, map, measure und manage. Der gemeinsame Faden beider Dokumente lautet: Aufsicht ist eine vorab entschiedene Systemeigenschaft und kein Aufmerksamkeitsakt am Ende.

Warum ein vorhandener Kontrollpunkt trotzdem versagen kann

Platzierung ist notwendig und nicht hinreichend, und die Belege dafür sind mehr als ein Jahrzehnt älter als die aktuelle Werkzeuggeneration.

Goddard, Roudsari und Wyatt veröffentlichten 2012 im Journal of the American Medical Informatics Association eine systematische Übersichtsarbeit zum Automatisierungsbias, definiert als die Neigung, sich zu sehr auf Automatisierung zu verlassen. Sie sichteten 13.821 Arbeiten und schlossen 74 ein. Die Übersicht behandelt klinische Entscheidungsunterstützung, aber ihre strukturellen Befunde lassen sich direkt übertragen, weil der Mechanismus Menschen betrifft, die Maschinen beaufsichtigen, und nicht die Medizin.

Zwei ihrer Ergebnisse sollten ändern, wie Sie den Kontrollpunkt selbst bauen.

Erstens, was Automatisierungsbias verschlimmert. Die Übersicht identifizierte umgebungsbezogene Faktoren wie Arbeitsbelastung, Aufgabenkomplexität und Zeitdruck, die kognitive Ressourcen unter Druck setzen. Das ist der praktische Grund für die Elf-Sekunden-Freigabe. Ein Kontrollpunkt, der in die geschäftigste Stunde Ihrer Woche gelegt wird, ist ein Kontrollpunkt, den Sie zum Scheitern entworfen haben, und kein Vorsatz, genau hinzusehen, behebt eine strukturelle Zeitknappheit.

Zweitens, was ihn abmildert. Zu den identifizierten Gegenmitteln zählten Umsetzungsfaktoren wie Schulung und das Betonen der Nutzerverantwortlichkeit sowie Gestaltungsfaktoren wie die Position des Ratschlags auf dem Bildschirm, an die Ausgabe geknüpfte aktualisierte Konfidenzangaben und die Bereitstellung von Information statt Empfehlung.

Der letzte Punkt ist die praktisch ergiebigste Zeile der ganzen Übersicht. Information statt Empfehlung. Ein System, das Ihnen eine Empfehlung reicht, lädt zur Freigabe ein; ein System, das Ihnen die Belege reicht, verlangt eine Entscheidung. Übersetzt in Agentenpraxis: Weisen Sie den Agenten an, zurückzugeben, was er gefunden und getan hat, samt Zwischenschritten, statt eines fertigen Urteils zum Absegnen. Derselbe Prompt, der eine sauberer aussehende Ausgabe erzeugt, erzeugt einen schwächeren Kontrollpunkt. Das ist der operative Kern eines ordentlichen Agenten-Briefings und läuft dem Reflex zuwider, die aufgeräumteste mögliche Antwort zu verlangen.

Den Befund zur Verantwortlichkeit sollte man ebenso wörtlich nehmen. Schreiben Sie vor dem Lauf Ihren eigenen Namen in die Aufzeichnung, als die für das Ergebnis verantwortliche Person. Das klingt nach Theater. Die Übersicht fand, dass es wirkt.

Zusammengesetzt: ein durchgerechneter Fall

Nehmen wir einen konkreten Fall. Ein Agent soll 300 Lieferantenrechnungen durchgehen, Beträge und Daten extrahieren, Auffälligkeiten markieren und eine Nachverfolgungstabelle aktualisieren.

Klassifizieren Sie zuerst die Teilaufgaben, denn die Matrix arbeitet auf Aufgabenklassen, und das hier sind vier Aufgaben in einem Mantel.

Die Extraktion von Beträgen und Daten ist billig rückgängig zu machen und im Fehlerfall still: oben rechts. Stichprobe ziehen und bewerten, mit festem Anteil und schriftlicher Regel dafür, was als korrekt gilt. Nicht zufällig über die gesamte Charge, sondern geschichtet nach Rechnungsformat, denn die tau-bench-Struktur sagt voraus, dass Fehler sich nach Aufgabentyp bündeln, und der Aufgabentyp ist hier das Rechnungsformat.

Das Markieren von Auffälligkeiten ist billig rückgängig zu machen und im Fehlerfall offensichtlich, jedenfalls in Richtung falsch positiv: oben links. Frei laufen lassen. Eine falsche Markierung fällt sofort auf, sobald man hinschaut. Die Richtung falsch negativ ist still, was eine echte Einschränkung ist, und die redliche Antwort besteht darin, das Markieren als Hilfe und nicht als Abdeckung zu behandeln.

Das Aktualisieren der Nachverfolgungstabelle ist teuer rückgängig zu machen und still: unten rechts. Autorisieren Sie die erlaubten Operationen vorab, nur anhängen, kein Überschreiben, kein Löschen, und verifizieren Sie eine Stichprobe geschriebener Zeilen gegen die Quellrechnungen statt gegen den Bericht des Agenten darüber, was er geschrieben hat.

Alles, was eine Zahlung auslöst, gehört unten links und ist offensichtlich genug: Tor vor dem Commit, unmittelbar davor, ohne Bündelung von Freigaben.

Beachten Sie, was dabei herauskommt. Vier verschiedene Aufsichtsregime für einen Auftrag, drei davon billiger als alles zu lesen, eines strenger als das, was die meisten heute anwenden. Diese Asymmetrie ist der Punkt. Einheitliche Prüfung ist gleichzeitig zu teuer bei der harmlosen Arbeit und zu schwach bei der gefährlichen, und genau deshalb fühlt sie sich zermürbend an und lässt Fehler dennoch durch.

Den unbeaufsichtigten Block bemessen

Eine letzte praktische Folge der METR-Zahlen.

Wenn Arbeit unbeaufsichtigt mit annähernd 80 Prozent Zuverlässigkeit laufen soll, betrug der veröffentlichte Horizont für das stärkste gemessene Modell rund 15 Minuten äquivalenter menschlicher Arbeit. Das ist die Einheit, um die herum zu entwerfen ist: Segmentieren Sie den Auftrag so, dass keine unbeaufsichtigte Strecke mehr als ungefähr ein Viertel dessen umfasst, was dasselbe System bei Münzwurf-Zuverlässigkeit versuchen kann.

Drei redliche Vorbehalte hängen daran. METRs Aufgaben sind stark auf Softwareentwicklung und Forschung zum maschinellen Lernen verzerrt, die Zahlen übertragen sich also nicht sauber auf Rechnungsbearbeitung oder E-Mail. Die Horizonte verdoppeln sich etwa alle sieben Monate, jede konkrete Minutenzahl hat also eine kurze Haltbarkeit. Und METR sagt ausdrücklich, Horizonte bei sehr hohen Erfolgsquoten nicht verlässlich messen zu können, die Zahl, die Sie am dringendsten bräuchten, ist also die, die niemand hat.

Was alle drei Vorbehalte überlebt, ist das Verhältnis und seine Richtung. Höher geforderte Zuverlässigkeit erkauft dramatisch kürzere autonome Strecken, und beide Horizonte verbessern sich gleich schnell, der Abstand zwischen ihnen schließt sich also nicht. Bessere Modelle werden Agenten länger arbeiten lassen. Sie werden nach dieser Datenlage nicht die Distanz zwischen “funktioniert meistens” und “funktioniert zuverlässig genug, um es allein zu lassen” schließen. In dieser Distanz lebt der Kontrollpunkt, und sie ist strukturell und nicht vorübergehend.

Das ist die Paarung von CEO und Studentin in ihrer wörtlichsten Form. Die CEO entscheidet vorab, wo die unumkehrbaren Schritte liegen und wer dafür einsteht. Die Studentin hält das Fehlerprotokoll aktuell, denn die Klassifikation ist nur so gut wie die Messungen des letzten Monats. Keine Hälfte funktioniert ohne die andere, und kein Maß an Modellverbesserung erledigt eine der beiden Aufgaben für Sie.

Häufig gestellte Fragen

Ist das nur relevant, wenn ich autonome Agenten einsetze?
Nein. Die Matrix knüpft an Umkehrbarkeit und Erkennbarkeit an, nicht an den Autonomiegrad. Eine einzelne Chatbot-Antwort, die Sie in eine Kundenmail einfügen, ist eine teuer rückgängig zu machende Aufgabe mit offensichtlichem Fehler und gehört damit in die Zelle Tor-vor-dem-Commit, ob etwas unbeaufsichtigt lief oder nicht. Entscheidend ist, was die Ausgabe berührt, nicht wie sie entstand. Die verwandte Grenzfrage behandelt welche Entscheidungen delegiert und welche niemals automatisiert werden dürfen.

Warum genügt es nicht, die Aufgabe zweimal laufen zu lassen und zu vergleichen?
Weil das pass^8-Ergebnis von tau-bench darauf hindeutet, dass Fehlschläge sich nach Aufgabe bündeln, statt über Versuche zu streuen. Zwei Durchläufe einer Aufgabe, die der Agent schlecht bewältigt, liefern tendenziell zwei ähnliche, selbstsichere, falsche Antworten. Übereinstimmung zwischen Durchläufen ist nur dann ein Beleg, wenn Fehlschläge unabhängig sind, und die Messdaten sagen, dass sie es nicht sind.

Gilt Artikel 14 der EU-KI-Verordnung für mich?
Mit ziemlicher Sicherheit nicht so, wie er für den Anbieter eines Hochrisikosystems gilt, und der Beitrag legt das auch nicht nahe. Er dient hier als gut formulierte Checkliste dessen, was Aufsicht können muss, weil er fünf konkrete Fähigkeiten benennt, statt vage auf Prüfung zu verweisen. Leihen Sie sich die Struktur; beanspruchen Sie nicht die Konformität.

Wie groß sollte die Stichprobe in der Zelle Stichprobe-und-Bewertung sein?
Die Übersichtsliteratur nennt keine allgemeingültige Zahl, und eine zu erfinden wäre falsche Präzision. Die aus den Daten folgende Entwurfsregel betrifft die Schichtung, nicht die Größe: Ziehen Sie innerhalb von Aufgabenklassen, nicht über die gesamte Charge, denn dort konzentrieren sich die Fehler. Beginnen Sie je Klasse mit so vielen Fällen, dass sich ein konsistenter Fehler von einem Einzelfall unterscheiden lässt, und justieren Sie dann nach Ihrem eigenen Fehlerprotokoll.

Was, wenn mein Kontrollpunkt ständig nichts findet?
Zwei Möglichkeiten, die unterschiedliche Antworten verlangen. Entweder ist diese Aufgabenklasse tatsächlich zuverlässig, dann schieben Sie sie in der Matrix nach oben und gewinnen die Zeit zurück, oder Sie genehmigen statt zu prüfen. Die Übersicht zum Automatisierungsbias zeigt zuerst auf die Umgebung: Prüfen Sie, ob die Kontrolle in einem Zeitfenster mit echter Zeit liegt und ob der Agent Ihnen eine Empfehlung zum Absegnen statt Belege zum Beurteilen reicht.

Quellen

Thomas Kwa, Ben West, Joel Becker und Kolleginnen und Kollegen, Measuring AI Ability to Complete Long Tasks, METR, 2025, einschließlich des Abschnitts zum Vergleich der Zeithorizonte bei 50 und 80 Prozent Erfolgsquote.

Shunyu Yao, Noah Shinn, Pedram Razavi und Karthik Narasimhan, tau-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains, 2024, mit der Einführung der Zuverlässigkeitsmetrik pass^k.

Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz, Artikel 14 zur menschlichen Aufsicht, insbesondere die Absätze 1, 2 und 4.

Kate Goddard, Abdul Roudsari und Jeremy C. Wyatt, Automation bias: a systematic review of frequency, effect mediators, and mitigators, Journal of the American Medical Informatics Association, Band 19, Heft 1, 2012.

National Institute of Standards and Technology, Artificial Intelligence Risk Management Framework 1.0, 2023, und seine vier Kernfunktionen.

METR, Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity, 2025, sowie die Notiz vom Februar 2026, die die Einschätzung der Organisation zu diesem Ergebnis revidiert.

United States Census Bureau, Business Trends and Outlook Survey, Schätzungen zur KI-Nutzung für den Zeitraum Dezember 2025 bis Mai 2026.

---

Dieser Inhalt wurde nach eingehender Recherche mit Unterstützung von KI zusammengestellt und vom CEOtudent-Redaktionsteam geschrieben und für die Veröffentlichung aufbereitet.

This post is also available in: