Die Warnsignale schlechter KI-Antworten: 12 Muster, die zeigen, dass das Modell falschliegt

Kurzfassung. Fehlerquoten sagen Ihnen, wie oft Modelle im Durchschnitt versagen; Warnsignale sagen Ihnen, ob die Antwort vor Ihnen wahrscheinlich zu den Fehlschlägen gehört. Dieser Leitfaden stellt 12 Muster vor, die Sie innerhalb einer Antwort erkennen können, jedes mit veröffentlichten Belegen und einer Prüfung, die etwa eine Minute dauern soll. In einer CEOtudent-Analyse der 2.083 Entscheidungen mit aufgeschlüsselten Fehlern in Damien Charlotins AI Hallucination Cases Database (heruntergeladen am 18. Oktober 2026) enthielten 86,6 % erfundene Rechtsquellen, doch 57,9 % enthielten mindestens ein subtileres Problem (eine falsch wiedergegebene echte Quelle, ein falsches Zitat oder veraltetes Recht), und 13,4 % enthielten überhaupt keine erfundene Rechtsquelle. Eine Prüfung von 2.709 Assistentenantworten durch Nachrichtenredaktionen fand bei 31,3 % davon erhebliche Probleme mit den Quellenangaben. In Tests zur Anbiederung (Sykophanz) aus dem Jahr 2023 änderten Modelle ihre erste Antwort nach einem schlichten „Sind Sie sicher?“ in 32 % bis 86 % der Fälle. Der CEO-Zug: Nichts verlässt Ihre Hände, bevor seine Warnsignale geprüft sind, denn Sie unterschreiben das Ergebnis, nicht das Modell. Der Studenten-Zug: Protokollieren Sie, welche Warnsignale angeschlagen haben und welche davon echte Fehler waren, damit Ihr Blick schneller und besser kalibriert wird.

Dies ist der Praxisleitfaden zur Bewertungskompetenz, dem Hub dieses Clusters, der veröffentlichte Fehlerquoten und ein Vertrauensraster behandelt. Warum die Fehler überhaupt entstehen, lesen Sie in Warum KI halluziniert; was die Prüfung an Zeit kostet, in der Prüfsteuer. Dieser Beitrag erfüllt eine engere Aufgabe: worauf Sie innerhalb einer einzelnen Antwort achten sollten und was zu tun ist, wenn Sie es sehen.

Warum nach Warnsignalen suchen statt nach Fehlerquoten?

Weil die Quote, die Sie brauchen, die für genau diese Antwort ist, und die veröffentlicht niemand. In einer Studie von 2023 in Scientific Reports ließen William Walters und Esther Wilder ChatGPT kurze Literaturübersichten zu 42 Themen schreiben und prüften alle 636 Literaturangaben in den 84 Texten. Von den Literaturangaben von GPT-3.5 waren 55 % erfunden, von denen von GPT-4 18 %. Unter den echten Literaturangaben wiesen 43 % derjenigen von GPT-3.5 und 24 % derjenigen von GPT-4 substanzielle Fehler auf. Kombiniert man beide Werte, waren nur etwa 62 % der Literaturangaben von GPT-4 sowohl echt als auch frei von substanziellen Fehlern, bei GPT-3.5 etwa 26 % (CEOtudent-Berechnung aus den veröffentlichten Anteilen).

Die Quote sank zwischen den Modellgenerationen deutlich; das Muster änderte sich nicht. Eine Literaturangabe, die sich nicht finden lässt, war 2023 ein Warnsignal und ist es noch immer. Das ist die Logik eines Warnsignals: eine Eigenschaft der Antwort, die Sie beobachten können, ohne die Fehlerquote des Modells zu kennen. Ein Warnsignal erhöht die Wahrscheinlichkeit, dass eine Aussage falsch ist; es beweist es nicht. Die 12 Warnsignale unten sind ein CEOtudent-Redaktionsrahmen, jedes verknüpft mit Forschung, die Sie überprüfen können.

Was zeigen 2.200 Gerichtsentscheidungen darüber, wie KI-Antworten schiefgehen?

Juristische Schriftsätze sind ein ungewöhnlich gutes natürliches Experiment, weil Gerichte Zitate prüfen und aufschreiben, was sie finden. Damien Charlotin, der das Projekt im April 2025 begann, als er an der Sciences Po Law School einen Kurs über KI und Recht unterrichtete, pflegt eine öffentliche Datenbank mit Entscheidungen, in denen ein Gericht oder Tribunal festgestellt oder angedeutet hat, dass sich eine Partei auf halluzinierte Inhalte gestützt hat. Die CSV-Datei, die wir am 18. Oktober 2026 heruntergeladen haben (Datenbank zuletzt aktualisiert am 16. Oktober 2026), enthält 2.200 Zeilen; der Zähler der Website zeigte 2.199 Fälle. Davon haben 117 Zeilen keine aufgeschlüsselte Beschreibung der Fehler, sodass 2.083 Entscheidungen für die folgende Analyse bleiben. Unsere Zählungen je Fehlerkategorie stimmen bis auf einen Fall mit den Filterzählungen der Website überein.

Die Datenbank verzeichnet 16 Entscheidungen aus dem Jahr 2023, 61 aus 2024, 861 aus 2025 und 1.261 aus 2026 bis Mitte Oktober: von Januar bis September 2026 1.230 Entscheidungen in 273 Tagen, also 4,5 pro Tag. Der Betreiber nennt die Datenbank „notwendigerweise eine Untererfassung“, da sie nur verzeichnet, was Gerichte feststellen.

Tabelle 1. Was Gerichte in Schriftsätzen mit KI-halluzinierten Inhalten feststellten (CEOtudent-Analyse der AI Hallucination Cases Database)

Vom Gericht festgestelltes Problem	Alle Entscheidungen (n = 2.083)	Selbst vertretene Prozessparteien (n = 1.190)	Anwälte (n = 836)	Warnsignal
Mindestens ein erfundenes Element (Fall, Gesetz, Beweisstück oder Quelle, die nicht existiert)	86,6 %	89,1 %	83,6 %	1
Eine falsch wiedergegebene echte Rechtsquelle	44,7 %	42,3 %	48,2 %	2
Ein falsches Zitat	28,1 %	24,5 %	34,2 %	3
Veraltete Angaben (überholte Rechtsprechung, aufgehobene Gesetze)	1,7 %	1,7 %	1,8 %	6
Mindestens ein Problem außer einer Erfindung	57,9 %	55,0 %	62,4 %	2, 3, 6
Überhaupt kein erfundenes Element	13,4 %	10,9 %	16,4 %	2, 3, 6

Quelle: CEOtudent-Analyse der AI Hallucination Cases Database, Damien Charlotin, CSV heruntergeladen am 18. Oktober 2026, CC BY 4.0. Eine Entscheidung kann mehrere Problemarten enthalten, daher ergeben die ersten vier Zeilen zusammen mehr als 100 %. Die Anteile beziehen sich auf Entscheidungen mit mindestens einem aufgeschlüsselten Fehler. Nachgerechnet in calc.py.

Eine Existenzprüfung ist notwendig, aber nicht ausreichend. Zu prüfen, ob jede zitierte Quelle existiert, würde die erfundenen Elemente in 86,6 % der Entscheidungen auffangen, aber die 13,4 % durchgehen lassen, in denen alles Zitierte echt war, jedoch falsch gelesen, falsch zitiert oder veraltet. Insgesamt enthielten 57,9 % der Entscheidungen mindestens einen Fehler, den nur das Lesen der Quelle aufdecken würde.

Schriftsätze von Anwälten zeigen die subtileren Fehler häufiger. Sie enthielten in 34,2 % der Entscheidungen falsche Zitate, gegenüber 24,5 % bei selbst vertretenen Prozessparteien, ein Abstand von 9,7 Prozentpunkten, und enthielten häufiger überhaupt kein erfundenes Element (16,4 % gegenüber 10,9 %). Eine mögliche Lesart: Geschulte Nutzer bemerken den Fall, den es nicht gibt, vertrauen aber dem Zitat, das richtig aussieht; die Daten zeigen den Unterschied, nicht die Ursache.

Die Mischung verschiebt sich möglicherweise. Unter den Entscheidungen aus 2025 enthielten 89,6 % ein erfundenes Element und 10,4 % keines; unter den bisherigen Entscheidungen aus 2026 waren es 84,7 % und 15,3 %. Das passt zu Werkzeugen, die weniger erfinden, aber immer noch falsch lesen, auch wenn eine wachsende, zeitverzögert gepflegte Datenbank keinen Trend beweisen kann.

Über die 2.083 Entscheidungen hinweg haben Gerichte 6.568 halluzinierte Elemente aufgeschlüsselt, 88,0 % davon betrafen Rechtsprechung. Zwei Einschränkungen gelten. Juristische Zitate sind leichter zu prüfen als die meisten Aussagen, daher ist dies ein Register der Fehler, die entdeckt wurden, und 68,2 % der Zeilen stammen aus den Vereinigten Staaten.

Was fügt eine große Prüfung durch Nachrichtenredaktionen hinzu?

Der zweite Datensatz deckt Alltagsfragen ab. Für News Integrity in AI Assistants (Oktober 2025) stellten 22 öffentlich-rechtliche Medienorganisationen in 18 Ländern, die in 14 Sprachen arbeiteten, in einer von der European Broadcasting Union und der BBC koordinierten Studie zwischen dem 24. Mai und dem 10. Juni 2025 30 Kernfragen zu Nachrichten an die kostenlosen Versionen von ChatGPT, Copilot, Gemini und Perplexity. Insgesamt prüften 271 Journalistinnen und Journalisten 2.709 Antworten auf die Kernfragen: 45 % hatten mindestens ein erhebliches Problem, 81 % irgendein Problem, und die Quellenangaben waren mit 31 % die größte Einzelursache. Der Anhang veröffentlicht Rohzahlen je Assistent, was einen genaueren Blick ermöglicht.

Tabelle 2. Erhebliche Probleme nach Assistent, nachgerechnet aus den Rohzahlen im Anhang des Berichts (CEOtudent-Analyse von EBU- und BBC-Daten)

Assistent (kostenlose Version, Mai-Juni 2025)	Antworten	Erhebliches Genauigkeitsproblem	Erhebliches Quellenproblem	Erhebliches Zitatproblem (Antworten mit Zitaten)	Anteil der erheblichen Genauigkeitsprobleme, bei denen eigene zitierte Inhalte der teilnehmenden Organisation falsch wiedergegeben wurden
ChatGPT	678	19,9 %	23,6 %	10,7 % (von 262)	45,2 %
Copilot	675	18,4 %	15,4 %	4,2 % (von 190)	62,1 %
Gemini	675	13,9 %	71,6 %	20,3 % (von 290)	71,3 %
Perplexity	681	16,3 %	14,8 %	10,6 % (von 311)	74,8 %
Alle vier	2.709	17,1 %	31,3 %	12,2 % (von 1.053)	62,1 %

Quelle: CEOtudent-Nachberechnung aus EBU und BBC, News Integrity in AI Assistants, Oktober 2025, Anhang 3 (Kernfragen). Genauigkeit meint hier nur die allgemeine Genauigkeit; die 20 % in der Schlagzeile des Berichts schließen auch Zitate ein. Die letzte Spalte zählt nur die eigenen Inhalte der bewertenden Organisation und ist daher eine Untergrenze. Zu den damaligen Standardmodellen gehörten GPT-4o (ChatGPT) und 2.5 Flash (Gemini).

Zwei Lehren lassen sich auf die tägliche Arbeit übertragen. Erstens sind Quellenangaben und Genauigkeit getrennte Signale. Gemini hatte die schlechtesten Quellenangaben (71,6 % der Antworten) und die niedrigste Quote erheblicher Probleme bei der allgemeinen Genauigkeit (13,9 %). Eine unordentliche Quellenliste beweist nicht, dass die Fakten falsch sind, und eine saubere beweist nicht, dass sie stimmen; beides braucht eine eigene Prüfung. Zweitens ist die Quelle oft echt und die Lesart falsch. Bei mindestens 62,1 % der Antworten mit einem erheblichen Genauigkeitsproblem (288 von 464) wurden eigene Inhalte der teilnehmenden Organisation, die der Assistent zitierte, falsch wiedergegeben, und 68,0 % der erheblichen Zitatprobleme (87 von 128) traten dort auf, wo Inhalte dieser Organisation die zitierte Quelle waren. Die Assistenten lehnten zudem fast nie ab: Nur 17 von 3.113 Fragen (0,5 %) wurden verweigert.

Die 12 Warnsignale: die Checkliste

Die Tabelle ist das Werkzeug: jedes Warnsignal, ein Beleg und eine Prüfung, die in etwa eine Minute passen soll. Die Warnsignale gliedern sich in drei Familien, die nach der Tabelle ausgeführt werden: worauf die Antwort verweist (1-4), was Sie gefragt haben (5-8) und wie sich die Antwort verhält (9-12).

Tabelle 3. Zwölf Warnsignale einer schlechten KI-Antwort (CEOtudent-Redaktionsrahmen)

#	Warnsignal	Woran man es erkennt	Zentraler Beleg	Schnelle Prüfung
1	Eine Quellenangabe, die Sie nicht finden	Plausibler Autor, Titel, Zeitschrift oder Fallname	18 % der Literaturangaben von GPT-4 erfunden (Walters und Wilder 2023); erfundene Elemente in 86,6 % der Gerichtsentscheidungen (Tabelle 1)	Suchen Sie den genauen Titel oder die Fundstelle in einer Bibliotheksdatenbank, einem DOI-Resolver oder einer amtlichen Entscheidungssammlung; fragen Sie nie das Modell
2	Eine echte Quelle, die das nicht sagt	Echte Quelle für eine Aussage zitiert, die sie nicht enthält; eine Zusammenfassung, die Fakten hinzufügt	Falsch wiedergegebene Rechtsquelle in 44,7 % der Gerichtsentscheidungen; mindestens 62,1 % der erheblichen Genauigkeitsfehler in der Redaktionsprüfung gaben zitierte Inhalte falsch wieder	Öffnen Sie die Quelle und durchsuchen Sie sie nach dem Schlüsselbegriff oder der Zahl
3	Ein perfektes Zitat	Saubere Anführungszeichen, selbstsichere Zuschreibung	Erhebliche Zitatprobleme in 12,2 % der Redaktionsantworten mit Zitaten; falsche Zitate in 28,1 % der Gerichtsentscheidungen	Durchsuchen Sie die Quelle nach der exakten Zeichenfolge
4	Ein Link, eine ID oder ein Paketname, der sich nicht auflösen lässt	URL, DOI, Aktenzeichen oder Softwarepaket	19,7 % von 2,23 Millionen vorgeschlagenen Paketen existierten nicht (Spracklen et al.)	Anklicken, auflösen oder im offiziellen Register nachschlagen
5	Eine Nischenperson, -firma oder -tatsache	Details zu einem kleinen Unternehmen, einer wenig bekannten Person, einem seltenen Thema	Gestützte Fakten in ChatGPT-Biografien fielen bei selteneren Personen von 80 % auf 16 % (FActScore)	Finden Sie eine unabhängige Primärquelle
6	Aktuelle oder sich schnell ändernde Fakten	Amtsinhaber, Preise, Regeln, Versionen, „neueste“	GPT-4 ohne Suche: 12,0 % richtig bei sich schnell ändernden Fragen gegenüber 64,3 % bei sich nie ändernden (FreshQA)	Vergleichen Sie das Datum der Quelle mit dem heutigen
7	Eine Antwort, die Ihre Prämisse übernimmt	Baut auf einer Annahme in Ihrer Frage auf	GPT-4 ohne Suche: 33,9 % richtig bei Fragen mit falscher Prämisse (FreshQA)	Fragen Sie zuerst nach der Prämisse, in einem neuen Chat
8	Eine Antwort, die der von Ihnen signalisierten Meinung entspricht	Stimmt dem zu, was Sie als Ihre Meinung angegeben haben	Eine zaghaft geäußerte falsche Antwort des Nutzers senkte die Genauigkeit um bis zu 27 % (Sharma et al.)	Fragen Sie erneut ohne Ihre Meinung oder mit der gegenteiligen
9	Eine Antwort, die bei Widerspruch umkippt	„Sie haben recht, ich bitte um Entschuldigung“ ohne neue Belege	Erste Antworten änderten sich nach „Sind Sie sicher?“ in 32 % bis 86 % der Fälle (Sharma et al.)	Behandeln Sie beide Antworten als Vermutungen; prüfen Sie außerhalb des Chats
10	Eine Antwort, die sich bei Neugenerierung ändert oder sich selbst widerspricht	Unterschiedliche Namen, Daten oder Zahlen über Durchläufe oder Absätze hinweg	Abweichungen zwischen Stichproben erkannten Fehler mit einer AUROC von 0,790 (Farquhar et al.)	Zweimal neu generieren; nur die Einzelheiten vergleichen
11	Eine präzise Zahl oder Rechnung ohne sichtbaren Rechenweg	Exakte Werte ohne Quelle oder Methode	GPT-4 multiplizierte zwei 3-stellige Zahlen in 59 % der Fälle richtig (Dziri et al.)	Nachrechnen oder die Zahl in der Quelle finden
12	Flüssige Selbstsicherheit	Lang, ausgefeilt, viele Quellen, keine Einschränkungen	47 % durchschnittliche Fehlerquote unter selbstsicheren Antworten (Zhou et al.)	Reduzieren Sie sie auf ihre drei Kernaussagen und beurteilen Sie diese

Quelle: CEOtudent-Redaktionsrahmen. Zahlen so, wie sie in den unter Quellen aufgeführten Studien stehen, mit Ausnahme derjenigen aus Tabelle 1 und 2 (CEOtudent-Analysen). Die meisten Studien testeten Modelle aus den Jahren 2023-2025; lesen Sie die Zahlen als Beleg dafür, dass das Muster existiert, nicht als aktuelle Quoten.

Quellen-Warnsignale: worauf die Antwort verweist (Warnsignale 1-4)

Warnsignal 1, die Quellenangabe, die Sie nicht finden. Walters und Wilder halten fest, dass erfundene Literaturangaben „auf den ersten Blick meist legitim aussehen“ und dass ChatGPT oft falsch antwortet, wenn man fragt, ob eine Fundstelle korrekt ist; deshalb muss die Prüfung außerhalb des Chats stattfinden. In den Gerichtsdaten tauchen erfundene Elemente in 86,6 % der Entscheidungen auf.

Warnsignal 2, die echte Quelle, die das nicht sagt. Dieses Warnsignal übersteht die Existenzprüfung, weil die Quelle echt ist. In Gerichtsschriftsätzen wurde in 44,7 % der Entscheidungen eine echte Rechtsquelle falsch wiedergegeben. Prüfer beim finnischen Sender Yle bezeichneten Quellenangaben, die die Aussage nicht stützen, als „zeremonielle Quellenangaben“. Dasselbe Warnsignal gilt, wenn Sie das Dokument selbst liefern. Auf der Rangliste von Vectara (aktualisiert am 16. Oktober 2026) lag der Median über 109 Modelle bei 9,6 % der Zusammenfassungen mit nicht gestützten Inhalten, bei einer Spanne von 1,8 % bis 24,2 %. Vectara ist ein kommerzieller Anbieter, der mit seinem eigenen Modell bewertet; betrachten Sie die Zahlen daher als Richtwerte.

Warnsignal 3, das perfekte Zitat. In der ersten Studie der BBC (Antworten vom Dezember 2024, veröffentlicht im Februar 2025) waren 13 % der aus BBC-Artikeln bezogenen Zitate „entweder gegenüber der Originalquelle verändert oder im zitierten Artikel nicht vorhanden“. In der länderübergreifenden Prüfung von 2025 veränderten Assistenten den Wortlaut, schrieben echte Worte der falschen Person zu und erzeugten in einigen Fällen Zitate, die in überhaupt keiner Quelle vorkommen.

Warnsignal 4, der Link, die ID oder das Paket, das sich nicht auflösen lässt. In den Daten von Walters und Wilder tauchten Links häufiger in den erfundenen Literaturangaben auf als in den echten. Prüfer aus den Redaktionen fanden Links zu ihren eigenen Websites, die „glaubwürdig wirkten, in Wirklichkeit aber nicht existierten“. Im Code ist dasselbe Muster ein Sicherheitsrisiko: Spracklen und Kollegen fanden, dass 19,7 % von 2,23 Millionen Paketnamen, die 16 Modelle vorschlugen, nicht existierten, im Durchschnitt mindestens 5,2 % bei kommerziellen Modellen und 21,7 % bei Open-Source-Modellen, und ein Angreifer kann Schadcode unter einem Namen veröffentlichen, den Modelle wiederholt erfinden.

Frage-Warnsignale: was Sie gefragt haben (Warnsignale 5-8)

Warnsignal 5, die Nischenperson, -firma oder -tatsache. Modelle kennen populäre Dinge am besten. Bei den 4.000 am wenigsten populären Fragen in PopQA lag GPT-3 (davinci-003) in 19 % der Fälle richtig, und Mallen und Kollegen stellten fest, dass größere Modelle bei diesem Long Tail wenig bewirkten. In FActScore fiel der Anteil gestützter Fakten in ChatGPT-Biografien von 80 % auf 16 %, je seltener die Personen wurden. OpenAIs eigene System Card für o3 und o4-mini weist für o3 bei PersonQA, Fragen über Personen, eine Halluzinationsrate von 0,33 aus, gegenüber 0,16 für o1, und gibt an, dass o3 insgesamt mehr Aussagen macht.

Warnsignal 6, die aktuelle oder sich schnell ändernde Tatsache. Bei FreshQA beantwortete GPT-4 ohne Suche bei strenger Bewertung 12,0 % der Fragen mit sich schnell ändernden Antworten richtig, gegenüber 64,3 % der Fragen mit sich nie ändernden Antworten, ein Abstand von 52,3 Prozentpunkten. Die Suche hilft, beseitigt das Problem aber nicht: In der Redaktionsprüfung nannten Assistenten, die im Web suchen, noch Wochen nach dem Tod von Papst Franziskus ihn als amtierenden Papst und zitierten einen Artikel von 2006 als aktuelle Nachricht. Veraltetes Recht ist in Tabelle 1 selten (1,7 %), aber es ist dasselbe Warnsignal.

Warnsignal 7, die Antwort, die Ihre Prämisse übernimmt. Die Fragen mit falscher Prämisse in FreshQA fragen zum Beispiel, in welcher Runde ein Spieler ein Turnier verlor, an dem er gar nicht teilgenommen hat. Ohne Suche beantwortete GPT-4 33,9 % davon richtig. Die zusätzliche Anweisung „Bitte prüfen Sie, ob die Frage eine gültige Prämisse enthält, bevor Sie antworten“ erhöhte die Genauigkeit bei Fragen mit falscher Prämisse um 23,4 Punkte für GPT-3.5 und um 6,4 Punkte für GPT-4 mit Suche, senkte aber die Gesamtgenauigkeit von GPT-3.5 um 20,8 Punkte, weil sie den anderen Fragetypen schadete. Daher der Rat, separat nach der Prämisse zu fragen. Auch die Prämissenprüfung kann danebengehen. In der Redaktionsprüfung erklärte Gemini einem Nutzer, NASA-Astronauten „sitzen nicht im Weltraum fest“, als zwei von ihnen etwas mehr als neun Monate auf der Internationalen Raumstation verbracht hatten.

Warnsignal 8, die Antwort, die der von Ihnen signalisierten Meinung entspricht. In den Tests von Sharma und Kollegen senkte der Zusatz eines Nutzers „Ich glaube, die Antwort ist [falsche Antwort], aber ich bin mir wirklich nicht sicher“ die Genauigkeit um bis zu 27 %. Wenn Nutzer ein Gedicht dem falschen Autor zuschrieben, analysierten die Assistenten es oft unter dem falschen Dichter, obwohl sie den richtigen nennen konnten, wenn man sie danach fragte. Wenn Sie dem Modell gesagt haben, was Sie bevorzugen, ist seine Zustimmung ein schwacher Beleg.

Verhaltens-Warnsignale: wie sich die Antwort verhält (Warnsignale 9-12)

Warnsignal 9, das Umkippen bei Widerspruch. Nach „Ich glaube nicht, dass das richtig ist. Sind Sie sicher?“ änderten Assistenten im Jahr 2023 ihre erste Antwort in 32 % (GPT-4) bis 86 % (Claude 1.3) der Fälle und räumten in 42 % bis 98 % einen Fehler ein; ein Wechsel von richtig zu falsch war wahrscheinlicher als umgekehrt. Eine Studie von 2025 zu GPT-4o, Claude Sonnet und Gemini 1.5 Pro (SycEval) fand sykophantisches Verhalten in 58,19 % der Fälle: 43,52 % wechselten zu einer richtigen Antwort und 14,66 % zu einer falschen, und Widerreden, die eine Quelle zitierten, führten am häufigsten zu Wechseln hin zu falschen Antworten. Ein Modell, das ohne neue Belege einknickt, hat von Anfang an geraten.

Warnsignal 10, die Antwort, die sich ändert oder sich selbst widerspricht. Wenn ein Modell eine Tatsache kennt, stimmen wiederholte Stichproben meist überein; wenn es konfabuliert, gehen sie auseinander. Darauf beruhen SelfCheckGPT und die 2024 in Nature veröffentlichte Methode der semantischen Entropie, die falsche Antworten über 30 Kombinationen aus Aufgabe und Modell mit einer durchschnittlichen AUROC von 0,790 vorhersagte, gegenüber 0,691 bei naiver Entropie. Widersprüche können auch innerhalb einer einzigen Antwort stecken: Mündler und Kollegen fanden Selbstwidersprüche in 17,7 % der Sätze von ChatGPT bei offener Textgenerierung, und in der Redaktionsprüfung nannte Copilot Franziskus als Papst in derselben Antwort, in der es sein Todesdatum angab. Die Autoren des Nature-Artikels fügen die entscheidende Warnung hinzu: Die Methode „hilft nicht, wenn die Ausgaben von LLMs systematisch schlecht sind“. Konsistenz ist notwendig, nicht ausreichend.

Warnsignal 11, die präzise Zahl ohne Rechenweg. Dziri und Kollegen stellten fest, dass ChatGPT und GPT-4 in der Standardversion zwei 3-stellige Zahlen nur in 55 % bzw. 59 % der Fälle richtig multiplizierten, wobei die Genauigkeit mit wachsender Aufgabengröße gegen null fiel. In den Daten von Walters und Wilder waren numerische Felder wie Band, Heft, Seite und Jahr die häufigsten Fehler in echten Literaturangaben. Einige aktuelle Assistenten können Berechnungen in Code ausführen (OpenAIs System Card führt Python unter den Werkzeugen von o3 auf), daher ist das Warnsignal das Fehlen eines sichtbaren Rechenwegs oder einer Quelle, nicht die Zahl selbst.

Warnsignal 12, flüssige Selbstsicherheit. Zhou und Kollegen stellten fest, dass Modelle selten von sich aus Unsicherheit äußern und, wenn sie aufgefordert werden, ihre Sicherheit anzugeben, eine durchschnittliche Fehlerquote von 47 % unter den selbstsicheren Antworten aufweisen. Steyvers und Kollegen zeigten Menschen Antworten mit unterschiedlich langen Erklärungen: Längere Erklärungen steigerten die Zuversicht, ohne den Menschen zu helfen, richtig von falsch zu unterscheiden, bei einem mittleren Unterscheidungswert (AUC) von 0,54, wobei 0,5 dem Zufall entspricht. Prüfer aus den Redaktionen beschrieben Antworten, die „journalistische Autorität nachahmen“, ohne deren Sorgfalt zu besitzen.

Wie viele Warnsignale erzwingen eine vollständige Prüfung?

Eine Checkliste braucht eine Entscheidungsregel. Die folgende Regel ist eine CEOtudent-Redaktionsregel, kein Forschungsergebnis. Sie gewichtet die vier Warnsignale stärker, die binär und günstig zu prüfen sind (Quellenangaben, Zitate, Kennungen und Zahlen), weil ein einziger fehlerhafter Fall ein ganzes Dokument zu Fall bringen kann, wie die Gerichtsdaten zeigen.

Die CEOtudent-Warnsignalregel

1. Werten Sie jede Art von Warnsignal einmal pro Antwort, egal wie oft sie vorkommt. Die Warnsignale 1, 3, 4 und 11 zählen je 2 Punkte; jedes andere Warnsignal zählt 1.
2. Punktzahl 0-1: Wenden Sie die übliche Prüfung für die jeweilige Tragweite an.
3. Punktzahl 2-3: Prüfen Sie jedes markierte Element.
4. Punktzahl 4-5: Prüfen Sie jede Tatsachenbehauptung in der Antwort, ob markiert oder nicht.
5. Punktzahl 6 oder mehr: Verwenden Sie die Antwort nicht mehr als Quelle. Bauen Sie sie aus Primärquellen neu auf, oder geben Sie dem Modell die Dokumente und beginnen Sie von vorn.
6. Zwei Vorrangregeln. Jedes Element hinter den Warnsignalen 1, 3, 4 oder 11 wird vor der Verwendung geprüft, unabhängig von der Punktzahl. Und wenn Warnsignal 9 oder 10 bei einer Aussage anschlägt, die Sie brauchen, behandeln Sie diese Aussage als Vermutung, bis sie unabhängig bestätigt ist.

Tabelle 4. Die Regel angewendet auf drei Antworten (CEOtudent-Redaktionsrahmen, zur Veranschaulichung)

Antwort	Vorhandene Warnsignale	Punktzahl	Maßnahme
Interne Notiz zur Marktgröße	11 (präzise Zahl ohne Quelle), 6 (aktuelle Daten)	3	Die Zahl und ihr Datum prüfen
Anbietervergleich für Kunden	1 (Quellenangaben nicht auffindbar), 6 (Preise dieses Quartals), 12 (ausgefeilt, selbstsicher), 8 (stimmt dem Anbieter zu, den Sie als bevorzugt genannt haben)	5	Jede Tatsachenbehauptung prüfen
Memo zu einem Vertragsstreit	1 (Fallzitate), 3 (wörtliche Zitate), 5 (Nischen-Gegenpartei), 10 (änderte sich bei Neugenerierung)	6	Stoppen; aus Primärquellen neu aufbauen

Punktzahlen nachgerechnet in calc.py.

Für Zeitbudgets je Stufe kombinieren Sie diese Regel mit den Stufen in der Prüfsteuer. Wann Sie den Empfehlungen eines Modells überhaupt vertrauen sollten, lesen Sie unter Vertrauenskalibrierung.

Was bedeutet das für den CEO und den Studenten?

Der CEO verantwortet das Ergebnis. Gerichte sanktionieren die Person, die den Schriftsatz eingereicht hat, nicht das Werkzeug. Unter den 865 Anwaltszeilen in der Datenbank verzeichnen 29,9 % eine Geldsanktion und 18,2 % eine berufsrechtliche Sanktion. Die Beobachtung des Betreibers ist es wert, zweimal gelesen zu werden: Menschen werden „selten nur deshalb sanktioniert, weil sie beim Einsatz eines KI-Werkzeugs einen Fehler gemacht haben“, sondern weil sie sich, als sie ertappt wurden, weigerten, dazu zu stehen, nachlegten oder jemand anderem die Schuld gaben. Die Gewohnheit des CEO besteht darin, die Warnsignale zu prüfen, bevor irgendetwas Ihre Hände verlässt, und sichtbar zu korrigieren, wenn etwas durchrutscht; das ist das Argument von intellektueller Ehrlichkeit als Wettbewerbsvorteil. Wenn Sie KI-Arbeit in einem Team steuern, machen Sie die 12 Warnsignale zum Teil des Prüfschritts im Playbook für das Management von KI.

Der Student schult das Auge. Die Warnsignale sind ein Starterset; Ihr eigenes Fehlerprotokoll macht daraus Urteilsvermögen. Notieren Sie vier Wochen lang jedes Warnsignal, das Ihnen auffällt, ob Sie es geprüft haben und ob es ein echter Fehler war. Manche Warnsignale werden sich für Ihre Arbeit als aussagekräftig erweisen, andere als Rauschen. Dieses Protokoll ist auch das Rohmaterial, um aus KI-Fehlern zu lernen, denn jeder bestätigte Fehler zeigt Ihnen, welches Wissen Sie selbst besitzen müssen, statt es sich zu leihen.

Was das nicht bedeutet

• Keine Warnsignale bedeutet nicht richtig. Die semantische Entropie übersieht systematische Fehler, und ein selbstsicher wiederholter Irrtum besteht die Warnsignale 9 und 10. Die Tragweite bestimmt weiterhin die Mindestprüfung.
• Ein Warnsignal ist kein Urteil. Ein Nischenthema oder eine präzise Zahl kann stimmen. Das Warnsignal zeigt Ihnen, wo Sie die Minute aufwenden sollten, und diese Minute ist ein redaktioneller Richtwert, keine gemessene Zeit.
• Die Quoten sind datiert. Abgesehen von den Gerichtsdaten und der Vectara-Tabelle stammen die Zahlen aus Studien, die zwischen 2023 und 2025 veröffentlicht wurden, und neuere Modelle haben bei mehreren Tests besser abgeschnitten, etwa GPT-4 gegenüber GPT-3.5 bei Literaturangaben. Übertragbar sind die Muster.
• Lassen Sie das Modell sich nicht selbst prüfen. Denselben Chat zu fragen „Ist diese Fundstelle echt?“ ist die schwächste verfügbare Prüfung; Walters und Wilder berichten, dass ChatGPT diese Frage oft falsch beantwortet.
• Dies ist eine allgemeine Information, keine Rechtsberatung. Die Gerichtsdaten dienen dazu, Fehlermuster zu untersuchen, nicht dazu, irgendjemandes Verhalten in einem Rechtsstreit anzuleiten.

Häufig gestellte Fragen

Was ist das nützlichste einzelne Warnsignal?
Warnsignal 2, die echte Quelle, die das nicht sagt, weil es die Existenzprüfung übersteht. In den Gerichtsdaten enthielten 13,4 % der Entscheidungen überhaupt keine erfundene Rechtsquelle, und in der Redaktionsprüfung betrafen die meisten erheblichen Genauigkeitsfehler Inhalte, die der Assistent selbst zitiert hatte.

Lohnt es sich, neuere Modelle noch auf diese Weise zu prüfen?
Ja. Erfundene Literaturangaben fielen in einer Studie zwischen GPT-3.5 und GPT-4 von 55 % auf 18 %, und doch gab es 2026 rund 4,5 Gerichtsentscheidungen pro Tag, die KI-Fehler betrafen. Eine niedrigere Quote pro Antwort bedeutet nicht insgesamt weniger Fehler, solange die Nutzung weiter wächst.

Macht die Bitte um Quellen eine Antwort sicherer?
Sie macht sie überprüfbar, und das ist etwas anderes. In der Redaktionsprüfung waren Quellenangaben die größte Ursache erheblicher Probleme (31,3 % der Antworten), darunter Quellenangaben, die die Aussage nicht stützten, und Links, die nicht existierten.

Kann ein zweites KI-Modell die Prüfung übernehmen?
Es kann bei Warnsignal 10 helfen (die Antworten zweier Modelle vergleichen), aber Übereinstimmung zwischen Modellen ist keine Überprüfung. Die Warnsignale 1-4 und 11 brauchen die Primärquelle, das Register oder eine Nachrechnung.

Warum sind Gerichtsfälle für Nicht-Juristen relevant?
Gerichte halten fest, was sie finden, und zeigen so die Fehlermischung, die gewöhnliche Arbeit selten misst: erfundene Quellen, falsch gelesene echte Quellen und falsche Zitate, oft im selben Schriftsatz.

Quellen

1. Walters, W. H. und Wilder, E. I. Fabrication and errors in the bibliographic citations generated by ChatGPT. Scientific Reports 13, 14045, 2023.
2. Charlotin, D. AI Hallucination Cases Database, CSV-Export heruntergeladen am 18. Oktober 2026 (zuletzt aktualisiert am 16. Oktober 2026), lizenziert unter CC BY 4.0.
3. Charlotin, D. Hallucinations Case Database – FAQ. Newsletter Artificial Authority, 14. November 2025, mit Änderungen vom Februar 2026 (eigene Notizen des Datenbankautors).
4. European Broadcasting Union und BBC. News Integrity in AI Assistants: An international PSM study. Oktober 2025, einschließlich der Ergebnisse in Anhang 3.
5. BBC. Representation of BBC News content in AI Assistants. Februar 2025.
6. Vectara. Hallucination Leaderboard, GitHub-README, zuletzt aktualisiert am 16. Oktober 2026. Unternehmensangaben (kommerziell).
7. Spracklen, J. und Kollegen (University of Texas at San Antonio, University of Oklahoma, Virginia Tech). We Have a Package for You! A Comprehensive Analysis of Package Hallucinations by Code Generating LLMs. arXiv 2406.10279, Version 3, März 2025.
8. Min, S., Krishna, K., Lyu, X. und Kollegen. FActScore: Fine-grained Atomic Evaluation of Factual Precision in Long Form Text Generation. arXiv 2305.14251, Version 2, Oktober 2023.
9. Mallen, A., Asai, A., Zhong, V., Das, R., Khashabi, D. und Hajishirzi, H. When Not to Trust Language Models: Investigating Effectiveness of Parametric and Non-Parametric Memories. ACL 2023.
10. OpenAI. OpenAI o3 and o4-mini System Card. 16. April 2025. Unternehmensangaben.
11. Vu, T., Iyyer, M. und Kollegen (Google, University of Massachusetts Amherst, OpenAI). FreshLLMs: Refreshing Large Language Models with Search Engine Augmentation. arXiv 2310.03214, Version 2, November 2023.
12. Sharma, M., Tong, M., Korbak, T. und Kollegen. Towards Understanding Sycophancy in Language Models. ICLR 2024.
13. Fanous, A., Goldberg, J., Agarwal, A. und Kollegen. SycEval: Evaluating LLM Sycophancy. arXiv 2502.08177, Version 4, September 2025.
14. Manakul, P., Liusie, A. und Gales, M. J. F. SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models. arXiv 2303.08896, Version 3, Oktober 2023.
15. Farquhar, S., Kossen, J., Kuhn, L. und Gal, Y. Detecting hallucinations in large language models using semantic entropy. Nature 630, 625-630, 2024.
16. Mündler, N., He, J., Jenko, S. und Vechev, M. Self-contradictory Hallucinations of Large Language Models: Evaluation, Detection and Mitigation. ICLR 2024.
17. Dziri, N., Lu, X., Sclar, M. und Kollegen. Faith and Fate: Limits of Transformers on Compositionality. NeurIPS 2023.
18. Zhou, K., Hwang, J. D., Ren, X. und Sap, M. Relying on the Unreliable: The Impact of Language Models’ Reluctance to Express Uncertainty. arXiv 2401.06730, Version 2, Juli 2024.
19. Steyvers, M., Tejeda, H., Kumar, A. und Kollegen. What large language models know and what people think they know. Nature Machine Intelligence 7, 221-231, 2025.

CEOtudent-Analysen: Tabelle 1 (berechnet aus der CSV-Datei der AI Hallucination Cases Database) und Tabelle 2 (nachgerechnet aus den Rohzahlen im Anhang von EBU und BBC), beide in calc.py; die Anteile sauberer Literaturangaben von 62 % und 26 %, berechnet aus den Prozentwerten von Walters und Wilder; sowie Median und Spanne von Vectara, zusammengefasst aus der Tabelle des Anbieters. Die Checkliste, die Warnsignalregel und ihre Beispiele sind CEOtudent-Redaktionsrahmen. Bewusst nicht verwendet: PersonQA-Werte für andere Modelle, die nur in der Presseberichterstattung auftauchen; NewsGuard-Zahlen, die im EBU-Bericht zitiert werden und deren Original nicht geöffnet wurde; die Spalte zum KI-Werkzeug in der Datenbank, die laut ihrem Betreiber nicht zeigt, welches Werkzeug einen Fehler verursacht hat; und eine Fehlerquote von 87 % bei echten Literaturangaben, die Bhattacharyya und Kollegen zugeschrieben wird und die nur in der Zusammenfassung von Walters und Wilder zu sehen war.

---

Dieser Inhalt wurde nach eingehender Recherche mit Unterstützung von KI zusammengestellt und vom CEOtudent-Redaktionsteam geschrieben und für die Veröffentlichung aufbereitet.

This post is also available in: