\n| HLE<\/td>\n | Multiple Choice \/ \u00c4quivalenzbewertung<\/td>\n | Ja<\/td>\n | Keine<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n Quelle: Kalai, Nachum, Vempala und Zhang, “Why Language Models Hallucinate”, arXiv-Preprint 2509.04664v1, September 2025, Tabelle 2. Unsere Ausz\u00e4hlung ihrer Zeilen: 9 von 10 benoten bin\u00e4r, 9 von 10 geben keine Punkte f\u00fcr Abwinken, 0 von 10 geben volle Punkte f\u00fcr ein kalibriertes Abwinken. Die Rubrik von WildBench bietet nur Teilpunkte, und die Autoren merken an, dass die Skala von 1 bis 10 ein Abwinken weiterhin schlechter bewerten kann als eine selbstbewusste, aber halluzinierte Antwort.<\/em><\/p>\nDiese letzte Zeile enth\u00e4lt das ganze Problem im Kleinen. Selbst der eine Benchmark, der nicht bin\u00e4r benotet, kann eine selbstbewusste Unwahrheit \u00fcber ein ehrliches “Ich wei\u00df es nicht” stellen.<\/p>\n Der vorgeschlagene Ausweg ist kein neuer Halluzinations-Benchmark, sondern eine \u00c4nderung der Bewertung jener Benchmarks, die die Bestenlisten ohnehin dominieren: Die Anweisung soll eine Konfidenzschwelle nennen. Antworte nur, wenn du zu mehr als t sicher bist, denn Fehler werden mit t\/(1-t) Punkten bestraft, richtige Antworten erhalten 1 Punkt, und “Ich wei\u00df es nicht” erh\u00e4lt 0.<\/p>\n Eine Anmerkung zu dieser Formel f\u00fcr alle, die nachrechnen. Der Preprint nennt als nat\u00fcrliche Werte t = 0,5 (Strafe 1), t = 0,75 (Strafe 2) und t = 0,9 (Strafe 9). Wendet man die im Papier selbst angegebene Formel t\/(1-t) an, ergibt sich 1 f\u00fcr t = 0,5 und 9 f\u00fcr t = 0,9, beides stimmig, aber 3 f\u00fcr t = 0,75, nicht 2. Der Klammerwert f\u00fcr den mittleren Fall widerspricht der Formel, die er begleitet. Das ist ein kleiner Ausrutscher in einem sonst sorgf\u00e4ltigen Preprint und \u00e4ndert nichts am Argument. Wir weisen darauf hin, weil es genau die Art abgeleiteter Zahl ist, deren Nachrechnen dieser Beitrag empfiehlt, und die Lektion endet nicht bei Papieren aus Spitzenlaboren. Die Beobachtung bezieht sich auf Version 1 des arXiv-Preprints vom 4. September 2025; sp\u00e4ter ver\u00f6ffentlichte Fassungen k\u00f6nnen abweichen.<\/p>\n <\/span>Die Bluffquote: eine eigene Spalte<\/span><\/h2>\nHier wird die Theorie messbar.<\/p>\n OpenAI ver\u00f6ffentlichte im November 2024 SimpleQA, einen Benchmark aus 4.326 kurzen Faktenfragen, die f\u00fcr GPT-4o schwierig sein sollten und jeweils genau eine unstrittige Antwort haben. Die Bewertung kennt drei statt zwei Ausg\u00e4nge: richtig, falsch und nicht versucht, wobei die letzte Kategorie Antworten umfasst, die die Referenzantwort nicht vollst\u00e4ndig geben, einschlie\u00dflich eines klaren “Ich wei\u00df es nicht”.<\/p>\n Diese dritte Kategorie macht den Datensatz hier n\u00fctzlich, denn sie trennt zwei Dinge, die bin\u00e4re Benchmarks verschmelzen: etwas nicht zu wissen und so zu tun, als w\u00fcsste man es.<\/p>\n Die ver\u00f6ffentlichte Tabelle weist f\u00fcr acht Modelle richtig, nicht versucht und falsch aus. Sie weist nicht das Verh\u00e4ltnis aus, das f\u00fcr Berufst\u00e4tige am meisten z\u00e4hlt. Wenn ein Modell Sie im Stich l\u00e4sst, wie sieht dieses Scheitern aus? Sagt es Ihnen, dass es nichts wei\u00df, oder reicht es Ihnen mit unbewegter Miene etwas Falsches?<\/p>\n Das ist eine einzige Division: falsch geteilt durch die Summe aus falsch und nicht versucht. Wir haben sie f\u00fcr jede Zeile berechnet.<\/p>\n \n\n\n| Modell<\/th>\n | Richtig (%)<\/th>\n | Nicht versucht (%)<\/th>\n | Falsch (%)<\/th>\n | Bluffquote (%)<\/th>\n<\/tr>\n<\/thead>\n | \n\n| GPT-4o-mini<\/td>\n | 8,6<\/td>\n | 0,9<\/td>\n | 90,5<\/td>\n | 99,0<\/td>\n<\/tr>\n | \n| GPT-4o<\/td>\n | 38,2<\/td>\n | 1,0<\/td>\n | 60,8<\/td>\n | 98,4<\/td>\n<\/tr>\n | \n| OpenAI o1-preview<\/td>\n | 42,7<\/td>\n | 9,2<\/td>\n | 48,1<\/td>\n | 83,9<\/td>\n<\/tr>\n | \n| OpenAI o1-mini<\/td>\n | 8,1<\/td>\n | 28,5<\/td>\n | 63,4<\/td>\n | 69,0<\/td>\n<\/tr>\n | \n| Claude-3.5-sonnet (2024-06-20)<\/td>\n | 28,9<\/td>\n | 35,0<\/td>\n | 36,1<\/td>\n | 50,8<\/td>\n<\/tr>\n | \n| Claude-3-opus (2024-02-29)<\/td>\n | 23,5<\/td>\n | 39,6<\/td>\n | 36,9<\/td>\n | 48,2<\/td>\n<\/tr>\n | \n| Claude-3-haiku (2024-03-07)<\/td>\n | 5,1<\/td>\n | 75,3<\/td>\n | 19,6<\/td>\n | 20,7<\/td>\n<\/tr>\n | \n| Claude-3-sonnet (2024-02-29)<\/td>\n | 5,7<\/td>\n | 75,0<\/td>\n | 19,3<\/td>\n | 20,5<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n CEOtudent-Redaktionsrahmen. Die Spalten richtig, nicht versucht und falsch sind w\u00f6rtlich \u00fcbernommen aus OpenAI, “Measuring short-form factuality in large language models”, arXiv-Preprint 2411.04368, Tabelle 3. Die Bluffquote ist unsere Berechnung: falsch \/ (falsch + nicht versucht), also der Anteil der nicht korrekten Antworten, bei denen das Modell eine falsche Antwort behauptete statt abzuwinken. Jede Zeile der Quelltabelle summiert sich auf 100,0, was wir gepr\u00fcft haben. Modelle und Daten entsprechen dem Stand Ende 2024, heutige Systeme weichen ab; die Spalte zeigt die Spannweite im Abwinkverhalten, nicht ein aktuelles Anbieterranking.<\/em><\/p>\nZwei Lesarten, und die zweite ist die wichtigere.<\/p>\n Die naheliegende Lesart ist die Spannweite. GPT-4o-mini sagt Ihnen, wenn es etwas nicht wei\u00df, in 99 von 100 F\u00e4llen trotzdem etwas. Claude-3-sonnet lehnt in derselben Lage in vier von f\u00fcnf F\u00e4llen ab. Das ist ein Unterschied von 4,8 darin, wie sich Scheitern zeigt.<\/p>\n Die wichtigere Lesart: Die Bluffquote ist von der Genauigkeit weitgehend entkoppelt. GPT-4o-mini beantwortete 8,6% der Fragen richtig, Claude-3-haiku 5,1%. Ein Unterschied von 3,5 Prozentpunkten in der Kompetenz und 78 Punkte Unterschied im Verhalten, wenn sie \u00fcberfordert sind. Diese beiden Modelle wissen fast gleich wenig. Eines sagt es, das andere nicht.<\/p>\n Genau das sagt das Halluzinationspapier voraus. Abwinkverhalten ist kein Nebenprodukt von Leistungsf\u00e4higkeit, sondern eine eigene, antrainierte Haltung, geformt davon, was Training und Evaluation belohnt haben. Und weil neun von zehn f\u00fchrenden Benchmarks f\u00fcr Abwinken nichts zahlen, zeigt das Anreizgef\u00e4lle in eine Richtung.<\/p>\n Die praktische Folge: Vertrauensw\u00fcrdigkeit l\u00e4sst sich nicht aus Benchmark-Werten ableiten. Das Modell an der Spitze einer Bestenliste kann dasjenige sein, das Ihnen am ehesten eine erfundene Quelle liefert, denn Listenplatz und Bluffbereitschaft entstehen aus demselben Druck.<\/p>\n <\/span>Das zweite Regime: was passiert, wenn Sie die Fakten liefern<\/span><\/h2>\nAlles bisher Gesagte betrifft Abruf aus dem Ged\u00e4chtnis, bei dem das Modell allein aus Parametern antwortet. Die meiste berufliche Arbeit ist nicht so. Sie f\u00fcgen ein Dokument ein, h\u00e4ngen einen Bericht an, zeigen auf eine Codebasis. Behebt das den Fehler?<\/p>\n Vectara pflegt eine \u00f6ffentliche Halluzinations-Bestenliste auf Basis seines Hallucination Evaluation Model. Die Aufgabe ist bewusst eng: Jedes Modell erh\u00e4lt ein Dokument und soll es ausschlie\u00dflich mit darin enthaltenen Fakten zusammenfassen, danach wird die Zusammenfassung auf Aussagen gepr\u00fcft, die die Quelle nicht st\u00fctzt. Der Datensatz umfasst mehr als 7.700 Artikel aus Nachrichten, Technik, Wissenschaft, Medizin, Recht, Sport, Wirtschaft und Bildung, zwischen 50 und 24.000 W\u00f6rtern, wird zur Vermeidung von \u00dcberanpassung nicht ver\u00f6ffentlicht, und die Modelle werden bei Temperatur 0 aufgerufen. Die nachfolgende Fassung wurde zuletzt am 11. Mai 2026 aktualisiert und umfasst 106 Modelle.<\/p>\n \u00dcber die gesamte Liste reichen die Halluzinationsraten bei vorgelegter Quelle von 1,8% im besten bis 24,2% im schlechtesten Fall.<\/p>\n Vergleichen Sie das mit den Werten ohne Quelle weiter oben, wo GPT-4o 60,8% der SimpleQA-Fragen falsch beantwortete. Das sind andere Aufgaben, andere Modelle und andere Zeitpunkte, es ist also kein direkter Modellvergleich und sollte auch nicht so gelesen werden. Es ist ein Vergleich zweier Regime, und der Abstand dazwischen betr\u00e4gt rund eine Gr\u00f6\u00dfenordnung. Die Tatsache ins Kontextfenster zu legen, ist der gr\u00f6\u00dfte verf\u00fcgbare Einzeleingriff, und er steht bei jeder Aufgabe kostenlos und sofort zur Verf\u00fcgung.<\/p>\n Auf null bringt es die Rate aber nicht, und die Form des verbleibenden Fehlers ist der interessante Teil.<\/p>\n | |