Konfidenzkalibrierung: So erkennen Sie, wie sicher Sie sich wirklich sein sollten

TL;DR. Kalibrierung ist die Übereinstimmung zwischen der Sicherheit, die Sie angeben, und der Häufigkeit, mit der Sie tatsächlich richtig liegen. In vierteljährlichen Umfragen von Juni 2001 bis März 2011 gaben US-Finanzvorstände (CFOs) 80-Prozent-Konfidenzintervalle für die Rendite des S&P 500 im Folgejahr an, die die realisierte Rendite nur in 36 Prozent der Fälle enthielten. In einem dreijährigen geopolitischen Prognoseturnier mit Brier-Score-Feedback waren die Prognostiker zu 65,4 Prozent sicher und lagen zu 63,3 Prozent richtig. In einer Laborstudie hob allein eine Änderung des Frageformats die Trefferquote von 90-Prozent-Intervallen von 73,79 auf 88,35 Prozent. CEO-Schritt: Keine Prognose wird ohne eine Zahl, eine Spanne und einen Eintrag in einem Register abgezeichnet, das später ausgewertet wird. Student-Schritt: Absolvieren Sie eine Intervallübung mit 10 Fragen auf 90-Prozent-Niveau und eine Brier-Übung mit 20 Aussagen, bis Ihre Trefferquoten Ihrer angegebenen Zuversicht entsprechen.

Dieser Beitrag gehört zum Cluster Denkmodelle von CEOtudent. In Wetten denken behandelt Entscheidungen unter Unsicherheit, und der Leitfaden zu Basisraten zeigt, woher eine erste Schätzung kommen sollte. Dieser Artikel behandelt den Schritt dazwischen: die Prüfung der Zuversichtszahl selbst.

Was bedeutet es, gut kalibriert zu sein?

Ein Prognostiker ist kalibriert, wenn das Ereignis über alle Gelegenheiten hinweg, bei denen er „70 Prozent“ sagt, in etwa 70 Prozent der Fälle eintritt. Bei einer Spanne ist der Test die Trefferquote: wie oft das angegebene Intervall den wahren Wert enthält. McKenzie, Liersch und Yaniv formulieren es so: Bei gut kalibrierten Menschen würden 90 Prozent ihrer 90-Prozent-Intervalle den wahren Wert enthalten.

Unter dem Wort „Selbstüberschätzung“ verbergen sich drei Fehler:

• Überpräzision: zu enge Spannen. Haran, Moore und Morewedge nennen sie die robusteste Form der Selbstüberschätzung.
• Überzogene Wahrscheinlichkeiten: 90 Prozent für Aussagen angeben, die sich in 70 Prozent der Fälle bewahrheiten.
• Zu geringe Zuversicht: mehr Absicherung, als die Evidenz rechtfertigt; sie zeigt sich weiter unten in einer Studie über erfahrene Geheimdienstanalysten.

Kalibrierung ist nicht die ganze Aufgabe: Wer immer die Basisrate angibt, kann perfekt kalibriert und trotzdem nutzlos sein. Diese zweite Eigenschaft heißt Auflösung oder Diskrimination (Trennschärfe); in der Studie von Bickel, Floehr und Kim zu US-Wettervorhersagen war der Auflösungsterm deutlich größer als der Zuverlässigkeitsabzug für Fehlkalibrierung.

Wie weit liegen angegebene Zuversicht und tatsächliche Trefferquote auseinander?

Tabelle 1. Die Kalibrierungslücke (CEOtudent-Analyse von sieben veröffentlichten Studien)

Gruppe und Aufgabe	Angegebene Zuversicht	Tatsächliche Trefferquote	Lücke (Punkte)
US-CFOs, 80-%-Intervalle für die 1-Jahres-Rendite des S&P 500, alle Quartale	80 %	36 %	+44,0
Dieselben CFOs, nur die am wenigsten volatilen Quartale	80 %	59 %	+21,0
Online-Teilnehmende, 90-%-Intervalle, Temperatur in Washington DC einen Monat im Voraus	90 %	29,17 %	+60,8
Laborteilnehmende, 90-%-Intervalle, Wahljahre von US-Präsidenten	90 %	54,34 %	+35,7
Einwohner Pittsburghs, 90-%-Intervalle, lokale Temperatur einen Monat im Voraus	90 %	73,79 %	+16,2
Dieselben Einwohner, 90-%-Intervalle aus Wahrscheinlichkeitsklassen (SPIES)	90 %	88,35 %	+1,7
Internisten, leichtere diagnostische Fallvignetten	7,2 von 10 (gelesen als 72 %)	55,3 %	+16,7
Internisten, schwierigere diagnostische Fallvignetten	6,4 von 10 (gelesen als 64 %)	5,8 %	+58,2
Prognostiker im geopolitischen Turnier, alle Bedingungen	65,4 %	63,3 %	+2,1
Dasselbe Turnier, Teams mit einer Stunde Training	64,3 %	63,6 %	+0,7
Kanadische strategische Geheimdienstanalysten, 1.514 Prognosen	vorzeichenbehafteter Index	vorzeichenbehafteter Index	-7,6
National Weather Service, 1-Tages-Regenwahrscheinlichkeit, kühle Jahreszeit, Durchschnitt	20,1 %	21,8 %	-1,7
The Weather Channel, Tage mit vorhergesagter Regenwahrscheinlichkeit von 70 %	70 %	84 %	-14,0
GPT-4 vor dem Post-Training, Teilmenge eines Multiple-Choice-Tests	klassiert	klassiert	0,7 (ohne Vorzeichen)
GPT-4 nach dem Post-Training, dieselbe Teilmenge	klassiert	klassiert	7,4 (ohne Vorzeichen)

Quellen: Ben-David, Graham und Harvey; Haran, Moore und Morewedge 2010; Meyer et al. 2013 (nur Abstract); Moore et al. 2016; Mandel und Barnes 2014; Bickel, Floehr und Kim 2011; GPT-4 Technical Report, Abbildung 8. Lücken von CEOtudent in calc.py berechnet; positive Werte bedeuten Selbstüberschätzung. Die Konfidenzskala der Internisten von 0 bis 10 als Prozentwert zu lesen, ist eine Umskalierung durch CEOtudent. Die Geheimdienstzeile zeigt den vorzeichenbehafteten Kalibrierungsindex der Autoren (minus 0,076). Die GPT-4-Zeilen zeigen den erwarteten Kalibrierungsfehler (expected calibration error), einen Durchschnitt ohne Vorzeichen.

Lesen Sie dies als Beschreibung, nicht als Rangliste: Die Studien unterscheiden sich in Aufgabe, Stichprobe, Zeitraum, Schwierigkeit und Bewertung. Vier Muster stechen hervor.

1. Spannen scheitern weit häufiger als Wahrscheinlichkeiten. Jede Intervallzeile außer der SPIES-Zeile zeigt 16 bis 61 Punkte Selbstüberschätzung, während die Zeilen zu Turnier, Geheimdienst und Wetter innerhalb von 8 Punkten um null liegen, abgesehen von einer Wahrscheinlichkeitsstufe bei The Weather Channel. Soll und Klayman fanden denselben Kontrast in einer Studie: Entscheidungen zwischen zwei Antworten zeigten deutlich weniger Selbstüberschätzung als Intervalle.
2. Das Format schafft, was Willenskraft nicht schafft. Dieselben Einwohner Pittsburghs kamen von einer Lücke von 16,2 Punkten auf 1,7 Punkte, als sie Wahrscheinlichkeit auf Klassen verteilen sollten, statt zwei Endpunkte zu nennen.
3. Schwierigkeit verändert die Treffsicherheit weit stärker als die Zuversicht. Die 118 Ärztinnen und Ärzte von Meyer und Kollegen diagnostizierten 55,3 Prozent der leichteren und 5,8 Prozent der schwierigeren Fälle richtig, doch die Zuversicht sank nur von 7,2 auf 6,4 von 10. Die Treffsicherheit fiel um 49,5 Punkte, relativ etwa 89,5 Prozent; die Zuversicht fiel um etwa 11,1 Prozent.
4. Feedbackreiche Umgebungen landen nahe null. Meteorologen erfahren das Ergebnis am nächsten Tag; Turnierprognostiker sahen Brier-Ranglisten, die aktualisiert wurden, sobald Fragen abgeschlossen waren.

Warum sind Konfidenzintervalle so viel schlechter als Ja-Nein-Wahrscheinlichkeiten?

Soll und Klayman diagnostizieren, dass subjektive Intervalle für die Genauigkeit der dahinterliegenden Informationen systematisch zu eng sind, manchmal nur 40 Prozent so breit wie nötig. Die CFO-Daten zeigen das in Marktbegriffen: Das durchschnittliche CFO-Intervall war 14,5 Prozent breit, während die Spanne zwischen dem 10. und dem 90. Perzentil der realisierten Einjahresrenditen des S&P 500 bei 42,2 Prozent lag, etwa 2,91-mal so groß. Nur 3,4 Prozent der CFOs gaben ein Intervall an, das breiter als 42,2 Prozent war.

Das Format gehört zu den wirksamsten Hebeln. Tabelle 2 vergleicht herkömmliche 90-Prozent-Intervalle mit Subjective Probability Interval Estimates (SPIES): Der Bereich möglicher Werte wird in Klassen aufgeteilt, jede Klasse erhält eine Wahrscheinlichkeit, und die 90-Prozent-Spanne wird anschließend abgelesen.

Tabelle 2. Trefferquoten von 90-Prozent-Intervallen nach Erhebungsmethode (Zahlen wie veröffentlicht)

Experiment	Teilnehmende	Geschätzte Größe	Trefferquote 90-%-Intervall	Trefferquote 90-%-SPIES	SPIES-Vorteil (Punkte, CEOtudent-Berechnung)
1	103 Einwohner Pittsburghs	Höchsttemperatur in Pittsburgh einen Monat im Voraus	73,79 %	88,35 %	14,56
2	116 Online-Teilnehmende aus den USA	Höchsttemperatur in Washington DC einen Monat im Voraus	29,17 %	73,91 %	44,74
3	334 Laborteilnehmende in Pittsburgh	Jahr der ersten Wahl jedes US-Präsidenten des 20. Jahrhunderts	54,34 %	76,91 %	22,57

Quelle: Haran, Moore und Morewedge, Judgment and Decision Making, 2010. In Experiment 1 erreichten Intervalle aus dem 5. und 95. Fraktil dieselben 73,79 Prozent wie herkömmliche, und Urteilende, die zuerst SPIES-Urteile abgegeben hatten, zogen danach auch breitere herkömmliche Intervalle. Die beiden Grenzen getrennt abzufragen, hilft nur wenig (Haran und Kollegen beschreiben die Fraktilmethode von Soll und Klayman als moderate Verringerung der Überpräzision); was die Spannen verbreitert, ist die erzwungene Aufmerksamkeit für jedes mögliche Ergebnis, die Randbereiche eingeschlossen.

Expertise behebt das nicht. McKenzie, Liersch und Yaniv fanden IT-Fachleute und Studierende ungefähr gleich überzogen zuversichtlich: Die Fachleute zentrierten ihre Intervalle näher an der Wahrheit, zogen sie aber enger, und die Effekte hoben sich auf. Ihr Fazit aus der Literatur: 90-Prozent-Intervalle enthalten den wahren Wert typischerweise in etwa 50 Prozent der Fälle.

Wie viel breiter? Unter der illustrativen Annahme normalverteilter Fehler muss ein 90-Prozent-Intervall, das in 50 Prozent der Fälle trifft, etwa 2,44-mal breiter werden, und die 80-Prozent-Intervalle der CFOs, die in 36 Prozent der Fälle trafen, etwa 2,74-mal, nahe am obigen Verhältnis von 2,91. Betrachten Sie das als erste Korrektur, nicht als Gesetz.

Wie sieht gute Kalibrierung in der Praxis aus?

Meteorologen. Bickel, Floehr und Kim überprüften fast 13 Millionen Prognosen der Regenwahrscheinlichkeit an 734 Stationen vom 1. November 2008 bis zum 31. Oktober 2010. Die 1-Tages-Prognosen des National Weather Service von 0,1 und 0,9 waren gut kalibriert, die von 0,2 und 0,3 sehr nahe daran. Die Hauspolitik spielt eine Rolle: Wenn The Weather Channel 70 Prozent ansagte, regnete es in 84 Prozent der Fälle, und der Sender vermeidet 50 Prozent, weil er glaubt, dass Nutzer dies als Mangel an Wissen deuten.

Turnierprognostiker. Moore und Kollegen analysierten 494.552 Prognosen zu 344 Fragen von 2.860 Prognostikern aus drei Jahren eines von IARPA geförderten Turniers, bewertet mit der Brier-Regel. Die Autoren schreiben, dass eine Stunde Training die Selbstüberschätzung im Folgejahr halbiert: Allein arbeitende Prognostiker kamen von 4,3 Punkten Selbstüberschätzung ohne Training auf 2,0 mit Training, eine Verringerung um 53,5 Prozent, und trainierte Teams erreichten 0,7.

Geheimdienstanalysten, in die andere Richtung. Mandel und Barnes bewerteten 1.514 strategische Prognosen von 15 Analysten der Abteilung Naher Osten und Afrika des kanadischen Intelligence Assessment Secretariat. Die Diskrimination war sehr gut (94 Prozent der Prognosen lagen auf der richtigen Seite von 50 Prozent), doch die Analysten waren zu wenig zuversichtlich, besonders bei schwierigeren und politisch relevanteren Prognosen. Wurden ihre Zahlen extremer gemacht, sank die mittlere absolute Abweichung von perfekter Kalibrierung von 12,7 Prozent auf 4,2 Prozent, ein Rückgang um 66,9 Prozent.

Der gemeinsame Faktor ist eine bewertete Feedbackschleife, ein Thema, das der CEOtudent-Leitfaden zur Entwicklung guten Urteilsvermögens ausführlich untersucht.

Wie funktioniert ein Brier-Score, und was gilt als gut?

Der Brier-Score ist die mittlere quadrierte Differenz zwischen einer Wahrscheinlichkeitsprognose und dem Ergebnis, kodiert als 1, wenn das Ereignis eintrat, und als 0, wenn nicht. Niedriger ist besser: 0 ist perfekt, und wer bei Ja-Nein-Fragen immer 50 Prozent antwortet, erzielt 0,25. Mandel und Barnes bezeichnen ihn als korrekte Bewertungsregel (proper scoring rule), sodass ehrliche Angaben die beste Strategie sind.

Der nützliche Teil ist die Zerlegung, die Mandel und Barnes nach Murphys Partition von 1973 anwenden: Brier-Score = Varianzindex minus Diskriminationsindex plus Kalibrierungsindex. Die Varianz spiegelt wider, wie unsicher die Fragen waren; die Diskrimination belohnt die Trennung von Ereignissen und Nicht-Ereignissen; die Kalibrierung bestraft Lücken zwischen angegebenen und beobachteten Häufigkeiten. Für die kanadischen Analysten ergibt 0,240 minus 0,182 plus 0,016 exakt ihren veröffentlichten Brier-Score von 0,074.

Tabelle 3. Veröffentlichte Brier-Scores, nur zur Orientierung

Prognosemenge	Brier-Score	Quelle
Kanadische strategische Geheimdienstanalyse, 1.514 Prognosen	0,074	Mandel und Barnes 2014
Dieselbe, reine Wortprognosen („could“, „might“) mit 0,5 hinzugerechnet	0,097	Mandel und Barnes 2014
National Weather Service, 1-Tages-Regenwahrscheinlichkeit, kühle Jahreszeit (mittlerer quadratischer Fehler)	0,090	Bickel, Floehr und Kim 2011, Tabelle 4
Turnierprognostiker, letzter Tag jeder Frage	0,10	Moore et al. 2016
Meteorologen, Regen am nächsten Tag (Murphy und Winkler 1977)	0,13	wie berichtet von Moore et al. 2016
Turnierprognostiker, letzte Woche jeder Frage	0,14	Moore et al. 2016
Immer 50 % bei einer Ja-Nein-Frage	0,25	Arithmetik

Mandel und Barnes merken an, dass der Score nicht nur von der Fähigkeit des Prognostikers, sondern auch von der Unsicherheit der Prognoseumgebung beeinflusst wird, sodass Scores über verschiedene Fragensätze hinweg nicht vergleichbar sind. Vergleichen Sie sich mit Ihren eigenen früheren Scores bei ähnlichen Fragen und mit dem Score, den die ständige Angabe der Basisrate erzielt.

Tabelle 4. Ein durchgerechnetes Beispiel mit zehn Aussagen (alle Eingaben sind illustrative Annahmen)

Klasse	Aussagen	Angegebene Wahrscheinlichkeit	Bewahrheitet	Trefferquote
Hohe Zuversicht	5	90 %	4	80 %
Mittlere Zuversicht	5	60 %	3	60 %
Ergebnis	Brier 0,205	Immer 70 % (Basisrate): 0,21	Immer 50 %: 0,25	Kalibrierung 0,005, Diskrimination 0,01, Varianz 0,21

Rechnung in calc.py. Die hohe Klasse ist um 10 Punkte überzogen zuversichtlich, daher ist der Kalibrierungsabzug klein; die eigentliche Schwäche ist die Diskrimination, denn 0,205 schlägt die 0,21, die man mit 70 Prozent für alles erzielt, nur knapp. Würden die 90-Prozent-Aussagen auf 80 Prozent gesenkt, fiele der Score auf 0,200. Lesen Sie in jeder Übung zwei Zahlen: Der Kalibrierungsterm sagt, ob die Zuversicht angepasst werden muss, und der Abstand zum Basisraten-Score sagt, ob die Urteile Information tragen.

Warum taugen „wahrscheinlich“ und „unwahrscheinlich“ nicht als Zahlen?

Sherman Kent, der laut Mandel und Barnes weithin als Vater der modernen Geheimdienstanalyse gilt, hielt fest, wann das Problem offensichtlich wurde. Das National Intelligence Estimate 29-51 bezeichnete einen Angriff auf Jugoslawien im Jahr 1951 als „serious possibility“ („ernsthafte Möglichkeit“). Kent meinte eine Chance von etwa 65 zu 35 dafür; politische Planer hatten deutlich geringere Chancen herausgelesen; und unter seinen Kollegen im Board of National Estimates hatte der Niedrigste etwa 20 zu 80 gemeint und der Höchste 80 zu 20. Sein Essay von 1964 schlug Wörter mit zugeordneten Zahlen vor. Offizielle Skalen gibt es inzwischen, aber sie widersprechen einander.

Tabelle 5. Dasselbe Wort, vier offizielle Bedeutungen (CEOtudent-Analyse von ICD 203, IPCC-Leitlinien, NWS-Praxis und Kent 1964)

Wort (Begriff in ICD 203)	US-Geheimdienste, ICD 203	IPCC AR5 und AR6 (nächster Begriff)	NWS-Formulierung (nächster Begriff)	Kent 1964 (nächster Begriff)	Abstand der Mittelpunkte ICD vs. IPCC (Punkte)	Überlappung ICD und IPCC (Punkte)
Wahrscheinlich („Likely“)	55-80 %	66-100 %	55-74 %	Wahrscheinlich („Probable“) 63-87 %	15,5	14
Sehr wahrscheinlich („Very likely“)	80-95 %	90-100 %	Kategorisch („Categorical“) 75 % oder mehr	Fast sicher („Almost certain“) 87-99 %	7,5	5
Ungefähr gleiche Chance („Roughly even chance“)	45-55 %	Etwa ebenso wahrscheinlich wie nicht („About as likely as not“) 33-66 %	Möglich („Chance“) 25-54 %	Etwa gleiche Chancen („Chances about even“) 40-60 %	-0,5	10
Unwahrscheinlich („Unlikely“)	20-45 %	0-33 %	kein Begriff	Wahrscheinlich nicht („Probably not“) 20-40 %	-16,0	13
Sehr unwahrscheinlich („Very unlikely“)	5-20 %	0-10 %	kein Begriff	Fast sicher nicht („Almost certainly not“) 2-12 %	-7,5	5

Quellen: ODNI, ICD 203 (2015, in geänderter Fassung); Mastrandrea et al., IPCC AR5 guidance note (2010), im AR6 Summary for Policymakers (2021) als mit AR5 übereinstimmend bestätigt; Auswertung des NWS-Büros Salt Lake City für den Winter 2007-08; Kent, dessen Spannen Zentralwerte plus oder minus seiner angegebenen Toleranz sind (75 Prozent, plus oder minus etwa 12). Mittelpunkte, Abstände und Überlappungen in calc.py berechnet; ein negativer Abstand bedeutet, dass die IPCC-Lesart niedriger ist.

Die Kategorien von ICD 203 überlappen sich nicht; die IPCC-Kategorien sind verschachtelt („very likely“, sehr wahrscheinlich, mit 90-100 Prozent ist zugleich „likely“, wahrscheinlich), mit Grenzen, die die Leitlinie als „unscharf“ („fuzzy“) bezeichnet. Bei „likely“ (wahrscheinlich) teilen sich die beiden 14 Punkte, etwa 56 Prozent der Geheimdienstspanne und 41 Prozent der IPCC-Spanne. Die traditionelle NWS-Einteilung beginnt bei „slight chance“ (geringe Möglichkeit, 15 bis 24 Prozent) und hat darunter keinen Begriff.

Tabelle 6. Übersetzungstest: das Wort, das jedes System für dieselbe Wahrscheinlichkeit verwenden würde (CEOtudent-Analyse)

Wahrscheinlichkeit	ICD 203	IPCC	NWS	Kent 1964
18 %	Sehr unwahrscheinlich („Very unlikely“)	Unwahrscheinlich („Unlikely“)	Geringe Möglichkeit („Slight chance“)	Kein Begriff (Lücke zwischen seinen Kategorien)
38 %	Unwahrscheinlich („Unlikely“)	Etwa ebenso wahrscheinlich wie nicht („About as likely as not“)	Möglich („Chance“)	Wahrscheinlich nicht („Probably not“)
70 %	Wahrscheinlich („Likely“)	Wahrscheinlich („Likely“)	Wahrscheinlich („Likely“)	Wahrscheinlich („Probable“)
85 %	Sehr wahrscheinlich („Very likely“)	Wahrscheinlich („Likely“)	Kategorisch („Categorical“)	Wahrscheinlich („Probable“)

Nur bei 70 Prozent stimmen alle vier überein. Die Leser schließen die Lücke nicht: Budescu, Broomell und Por fanden, dass die numerischen Lesarten von IPCC-Begriffen signifikant von den Leitlinien abwichen, selbst wenn die Leser die Leitlinien vor sich hatten (nur Abstract). In den Daten von Mandel und Barnes trugen etwa 16 Prozent der Prognosen überhaupt keine Zahl, sondern nur Wörter wie „could“ (könnte) oder „might“ (möglicherweise). Die Lösung ist billig: Schreiben Sie die Zahl jedes Mal neben das Wort. „Wahrscheinlich (70 Prozent)“ übersteht die Weiterleitung an jemanden, der eine andere Skala gelernt hat.

Sind KI-Modelle besser kalibriert als Menschen?

Das hängt von ihrem Training ab. Kadavath und Kollegen fanden größere Sprachmodelle bei vielfältigen Multiple-Choice- und Wahr-Falsch-Fragen im richtigen Format gut kalibriert, und mit menschlichem Feedback feinabgestimmte Modelle scheinbar fehlkalibriert, nach einer einfachen Temperaturanpassung aber recht gut kalibriert. Der GPT-4 Technical Report zeigt die Kosten des Post-Trainings: Bei einer Teilmenge des MMLU-Datensatzes stieg der erwartete Kalibrierungsfehler von 0,007 beim vortrainierten Modell auf 0,074 nach dem Post-Training, etwa 10,6-mal so viel.

Steyvers und Kollegen ergänzen eine weitere Lücke, die zwischen dem menschlichen Vertrauen in Modellantworten und der eigenen Zuversicht der Modelle; darum geht es in den CEOtudent-Leitfäden zu Warnsignalen in KI-Antworten und zur Vertrauenskalibrierung. Eine angegebene Zuversicht, ob von einem Kollegen oder einem Modell, ist eine Behauptung, die bewertet werden muss.

Ein Trainingsprotokoll für Kalibrierung (redaktionelles CEOtudent-Framework)

Die vierteljährliche Überprüfung der Zuversichtsbänder ist bereits Teil des Protokolls für das Entscheidungsjournal von CEOtudent; diese vier Übungen liefern ihm zu.

Übung 1. Intervallübung mit zehn Fragen auf 90-Prozent-Niveau (wöchentlich, 15 Minuten). Wählen Sie zehn Größen aus Ihrem Fachgebiet, die Sie später überprüfen können (die Abwanderungsrate des letzten Quartals, die Mitarbeiterzahl eines Wettbewerbers). Teilen Sie für jede den plausiblen Bereich in fünf bis zehn Klassen auf, geben Sie jeder Klasse eine Wahrscheinlichkeit, sodass die Summe 100 ergibt, die Randbereiche eingeschlossen, und lesen Sie dann die engste Spanne ab, die 90 Prozent enthält. Zählen Sie die Treffer.

Übung 2. Brier-Übung mit zwanzig Aussagen (monatlich). Schreiben Sie 20 Ja-Nein-Aussagen, die sich innerhalb von 30 bis 90 Tagen klären, und geben Sie jeder eine Wahrscheinlichkeit von 55, 65, 75, 85 oder 95 Prozent. Berechnen Sie nach der Auflösung Ihren Brier-Score, den Score bei ständiger Angabe der Basisrate und die Trefferquote jedes Bandes.

Übung 3. Äquivalenzwetten-Check (vor dem Abzeichnen jeder 90-Prozent-Aussage). Würden Sie lieber einen Preis gewinnen, wenn die Aussage zutrifft, oder indem Sie aus einer Losbox mit neun Gewinnlosen und einer Niete ziehen? Wenn Sie die Box vorziehen, liegt Ihre Zuversicht unter 90 Prozent; senken Sie die Zahl oder verbreitern Sie die Spanne. Dies ist ein Bauchcheck von CEOtudent, keine wissenschaftlich validierte Methode.

Übung 4. Wörter-zu-Zahlen-Check (bei jedem Memo). Kreisen Sie jedes Wahrscheinlichkeitswort ein, schreiben Sie eine Zahl daneben und drucken Sie die Skala des Teams oben auf das Dokument.

Tabelle 7. Bewertungsbogen zur Selbstprüfung (redaktionelles CEOtudent-Framework)

Kennzahl	Bewertung	Vereinbar mit Kalibrierung	Warnsignal	Erste Korrektur
Trefferquote der 90-%-Intervalle (Übung 1)	Treffer von 10	9 oder 10	7 oder weniger	Spannen etwa um das 2-Fache verbreitern; Randklassen mehr Gewicht geben
Brier-Score (Übung 2)	Mittlerer quadratischer Fehler, 20 Aussagen	Unter dem Basisraten-Score	Über 0,25	Weniger extreme Wahrscheinlichkeiten
Trefferquote je Band (Übung 2)	Anteil zutreffender Aussagen in den Bändern 85-95 %	Nahe am Band	Zwei Monate in Folge deutlich darunter	Diese Aussagen ein Band tiefer einstufen
Fehlschläge beim Äquivalenzwetten-Check (Übung 3)	90-%-Aussagen, bei denen die Box gewann	Keine	Schon einer	Aussage oder Zahl neu fassen
Wörter ohne Zahlen (Übung 4)	Anzahl pro Memo	Null	Schon eines	Die Zahl ergänzen

Warum diese Schwellen in Übung 1? Wer auf 90-Prozent-Niveau wirklich kalibriert ist, erzielt in etwa 26,4 Prozent der Fälle 8 oder weniger, in etwa 7,0 Prozent 7 oder weniger und in etwa 1,3 Prozent 6 oder weniger (Binomialrechnung in calc.py). Eine einzelne 8 sagt wenig; wiederholte 7er sagen viel. Bei einer Trefferquote von 60 Prozent legt die Annahme normalverteilter Fehler eine Verbreiterung um etwa das 1,95-Fache nahe.

Der CEO-Schritt: Versehen Sie jede Prognose, die Sie abzeichnen, mit einer Zahl und einer Spanne

Ben-David, Graham und Harvey fanden mehr als einen Prognosefehler. Führungskräfte, die den Markt fehlkalibriert einschätzten, zeigten eine ähnliche Fehlkalibrierung in Bezug auf die Aussichten ihrer eigenen Unternehmen, und Unternehmen mit fehlkalibrierten Führungskräften schienen eine aggressivere Politik zu verfolgen: Sie investierten mehr und nutzten mehr Fremdfinanzierung. Dieser Zusammenhang beweist keine Ursache, macht Überpräzision aber zu einem Geschäftsrisiko statt zu einer Kuriosität aus Umfragen.

Ein Prognoseregister macht die Gewohnheit konkret: Halten Sie für jede Prognose, die eine Entscheidung trägt, die Aussage, das Auflösungsdatum, die Wahrscheinlichkeit oder die 90-Prozent-Spanne, die im Memo verwendeten Wörter, den Verantwortlichen und später das Ergebnis und seinen Brier-Beitrag fest. Berechnen Sie jedes Quartal Trefferquoten und Brier-Scores nach Person und Thema. Führen Sie ein Pre-Mortem für jeden Plan durch, dessen Schlüsselprognose in einem Band liegt, in dem das Register Selbstüberschätzung zeigt. Die Prognose-Bilanz von CEOtudent wendet dieselbe Bewertung auf ein Jahrzehnt von Experten- und KI-Vorhersagen an. Die Student-Seite ist dasselbe Register, gelesen als Lehrplan: Jeder Fehlgriff zeigt, wo Sie überpräzise sind.

Was dies nicht bedeutet

• Zuversicht ist nicht schlecht. Das Ziel ist Übereinstimmung, nicht Absenkung; die kanadischen Analysten stellten aus zu großer Vorsicht geringer dar, was sie wussten.
• Die Lückentabelle ist keine Rangliste von Berufen. Eine Marktprognose für das kommende Jahr und eine Regenprognose für den nächsten Tag sind verschiedene Aufgaben.
• Ein niedriger Brier-Score beweist keine Fähigkeit. Leichte Fragen erzeugen niedrige Scores; vergleichen Sie mit einer Basislinie bei denselben Fragen.
• Laborergebnisse lassen sich womöglich nicht vollständig übertragen. Die SPIES-Gewinne stammen aus Temperatur- und Geschichtsquiz, nicht aus Geschäftsprognosen.
• Dieser Artikel ist eine allgemeine Information über Forschung zum Urteilsvermögen; er ist keine medizinische, Anlage- oder Finanzberatung.

Häufig gestellte Fragen

Was ist Konfidenzkalibrierung, einfach erklärt?
Die Übereinstimmung zwischen der Sicherheit, die Sie angeben, und der Häufigkeit, mit der Sie richtig liegen. Sie ist nicht dasselbe wie Treffsicherheit: Ein Prognostiker kann kalibriert und dennoch wenig aussagekräftig sein, weshalb die Brier-Zerlegung beides trennt.

Warum liegen 90-Prozent-Spannen so oft daneben?
Sie werden zu eng gezogen: laut Soll und Klayman manchmal nur 40 Prozent so breit wie nötig, und laut der von McKenzie und Kollegen zusammengefassten Literatur enthalten sie den wahren Wert typischerweise nur in etwa der Hälfte der Fälle.

Was ist ein guter Brier-Score?
Es gibt keine universelle Schwelle. Ein nützlicher Prognostiker schlägt 0,25 (immer 50 Prozent) und den Basisraten-Score bei denselben Fragen.

Lässt sich Kalibrierung trainieren?
Ja, mit Feedback. Eine Stunde Training halbierte die Selbstüberschätzung von Turnierprognostikern ungefähr, und Wahrscheinlichkeitsklassen erhöhten im Labor die Trefferquoten von Intervallen.

Sollte man Zuversichtswerten von KI vertrauen?
Bewerten Sie sie wie jede angegebene Zuversicht. Der GPT-4-Bericht zeigt, dass das Post-Training den Kalibrierungsfehler bei seiner Testteilmenge von 0,007 auf 0,074 erhöhte.

Quellen

1. Ben-David, Itzhak, John R. Graham und Campbell R. Harvey. Managerial Miscalibration. NBER Working Paper 16215, Juli 2010, überarbeitet September 2013; veröffentlicht im Quarterly Journal of Economics 128(4), 2013.
2. Moore, D. A. et al. Confidence Calibration in a Multiyear Geopolitical Forecasting Competition. Management Science, Articles in Advance, 2016.
3. Haran, U., Moore, D. A. und Morewedge, C. K. A simple remedy for overprecision in judgment. Judgment and Decision Making 5(7), 2010.
4. Soll, J. B. und Klayman, J. Overconfidence in interval estimates. Journal of Experimental Psychology: Learning, Memory, and Cognition 30(2), 2004 (nur Abstract).
5. McKenzie, Craig R. M., Michael J. Liersch und Ilan Yaniv. Overconfidence in interval estimates: What does expertise buy you? Organizational Behavior and Human Decision Processes 107, 2008.
6. Meyer, A. N. D. et al. Physicians’ diagnostic accuracy, confidence, and resource requests: a vignette study. JAMA Internal Medicine 173(21), 2013 (nur Abstract).
7. Mandel, D. R. und Barnes, A. Accuracy of forecasts in strategic intelligence. Proceedings of the National Academy of Sciences 111(30), 2014.
8. Bickel, J. E., Floehr, E. und Kim, S. D. Comparing NWS PoP Forecasts to Third-Party Providers. Monthly Weather Review 139, 2011.
9. Graham, R. A Review of PoP Reliability and PoP Bias Trends at WFO SLC for the Winter of 2007-08. National Weather Service, Büro Salt Lake City.
10. Office of the Director of National Intelligence. Intelligence Community Directive 203, Analytic Standards, unterzeichnet am 2. Januar 2015, mit späteren technischen Änderungen.
11. Mastrandrea, M. D. et al. Guidance Note for Lead Authors of the IPCC Fifth Assessment Report on Consistent Treatment of Uncertainties. IPCC, 2010.
12. IPCC. Summary for Policymakers. Climate Change 2021: The Physical Science Basis, Sixth Assessment Report, 2021.
13. Kent, S. Words of Estimative Probability. Studies in Intelligence, CIA Center for the Study of Intelligence, 1964; zur Veröffentlichung freigegeben 1993.
14. Budescu, D. V., Broomell, S. und Por, H.-H. Improving communication of uncertainty in the reports of the Intergovernmental Panel on Climate Change. Psychological Science 20(3), 2009 (nur Abstract).
15. Kadavath, S. et al. Language Models (Mostly) Know What They Know. arXiv-Preprint 2207.05221, 2022.
16. OpenAI. GPT-4 Technical Report. arXiv-Preprint 2303.08774, Version 6, 2024.
17. Steyvers, M. et al. What large language models know and what people think they know. Nature Machine Intelligence 7, 2025.

Die Tabellen 1, 5, 6 und 7 sind CEOtudent-Analysen oder redaktionelle CEOtudent-Frameworks; Tabelle 4 ist ein illustratives Beispiel auf Basis von Annahmen; die Tabellen 2 und 3 geben Zahlen wie veröffentlicht wieder. Das Abstract von Moore und Kollegen nennt etwa 3 Prozent Selbstüberschätzung; der Artikel verwendet den Wert von 2,1 Punkten aus ihren Ergebnissen, der zu 65,4 und 63,3 Prozent passt. Bewusst nicht verwendet: die Varianten von 36,3 und 36,6 Prozent aus der CFO-Studie (verwendet werden die 36 Prozent aus deren Abstract), die Wetterstudie von Murphy und Winkler sowie Briers Studie von 1950 (nicht eingesehen; zitiert über Moore und Kollegen, Mandel und Barnes sowie Bickel und Kollegen) und die Brier-Trainingstabellen, die bereits im CEOtudent-Beitrag zum Entscheidungsjournal stehen.

---

Dieser Inhalt wurde nach eingehender Recherche mit Unterstützung von KI zusammengestellt und vom CEOtudent-Redaktionsteam geschrieben und für die Veröffentlichung aufbereitet.

This post is also available in: