{"id":326698,"date":"2026-10-21T05:06:32","date_gmt":"2026-10-21T02:06:32","guid":{"rendered":"https:\/\/ceotudent.com\/konfidenzkalibrierung-wie-sicher-sie-sich-wirklich-sein-sollten"},"modified":"2026-10-21T05:06:32","modified_gmt":"2026-10-21T02:06:32","slug":"konfidenzkalibrierung-wie-sicher-sie-sich-wirklich-sein-sollten","status":"publish","type":"post","link":"https:\/\/ceotudent.com\/de\/konfidenzkalibrierung-wie-sicher-sie-sich-wirklich-sein-sollten","title":{"rendered":"Konfidenzkalibrierung: So erkennen Sie, wie sicher Sie sich wirklich sein sollten"},"content":{"rendered":"<p><strong>TL;DR.<\/strong> Kalibrierung ist die \u00dcbereinstimmung zwischen der Sicherheit, die Sie angeben, und der H\u00e4ufigkeit, mit der Sie tats\u00e4chlich richtig liegen. In viertelj\u00e4hrlichen Umfragen von Juni 2001 bis M\u00e4rz 2011 gaben US-Finanzvorst\u00e4nde (CFOs) 80-Prozent-Konfidenzintervalle f\u00fcr die Rendite des S&amp;P 500 im Folgejahr an, die die realisierte Rendite nur in 36 Prozent der F\u00e4lle enthielten. In einem dreij\u00e4hrigen geopolitischen Prognoseturnier mit Brier-Score-Feedback waren die Prognostiker zu 65,4 Prozent sicher und lagen zu 63,3 Prozent richtig. In einer Laborstudie hob allein eine \u00c4nderung des Frageformats die Trefferquote von 90-Prozent-Intervallen von 73,79 auf 88,35 Prozent. CEO-Schritt: Keine Prognose wird ohne eine Zahl, eine Spanne und einen Eintrag in einem Register abgezeichnet, das sp\u00e4ter ausgewertet wird. Student-Schritt: Absolvieren Sie eine Intervall\u00fcbung mit 10 Fragen auf 90-Prozent-Niveau und eine Brier-\u00dcbung mit 20 Aussagen, bis Ihre Trefferquoten Ihrer angegebenen Zuversicht entsprechen.<\/p>\n<p>Dieser Beitrag geh\u00f6rt zum <a href=\"\/de\/denkmodelle-die-2026-wirklich-zaehlen\">Cluster Denkmodelle<\/a> von CEOtudent. <a href=\"\/de\/in-wetten-denken-leitfaden-probabilistische-entscheidungen\">In Wetten denken<\/a> behandelt Entscheidungen unter Unsicherheit, und <a href=\"\/de\/basisraten-aussensicht-unterschaetztes-mittel-gegen-schlechte-prognosen\">der Leitfaden zu Basisraten<\/a> zeigt, woher eine erste Sch\u00e4tzung kommen sollte. Dieser Artikel behandelt den Schritt dazwischen: die Pr\u00fcfung der Zuversichtszahl selbst.<\/p>\n<div id=\"ez-toc-container\" class=\"ez-toc-v2_0_84 counter-hierarchy ez-toc-counter ez-toc-grey ez-toc-container-direction\">\n<div class=\"ez-toc-title-container\">\n<p class=\"ez-toc-title\" style=\"cursor:inherit\">Table of Contents<\/p>\n<span class=\"ez-toc-title-toggle\"><a href=\"#\" class=\"ez-toc-pull-right ez-toc-btn ez-toc-btn-xs ez-toc-btn-default ez-toc-toggle\" aria-label=\"Toggle Table of Content\"><span class=\"ez-toc-js-icon-con\"><span class=\"\"><span class=\"eztoc-hide\" style=\"display:none;\">Toggle<\/span><span class=\"ez-toc-icon-toggle-span\"><svg style=\"fill: #999;color:#999\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" class=\"list-377408\" width=\"20px\" height=\"20px\" viewBox=\"0 0 24 24\" fill=\"none\"><path d=\"M6 6H4v2h2V6zm14 0H8v2h12V6zM4 11h2v2H4v-2zm16 0H8v2h12v-2zM4 16h2v2H4v-2zm16 0H8v2h12v-2z\" fill=\"currentColor\"><\/path><\/svg><svg style=\"fill: #999;color:#999\" class=\"arrow-unsorted-368013\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" width=\"10px\" height=\"10px\" viewBox=\"0 0 24 24\" version=\"1.2\" baseProfile=\"tiny\"><path d=\"M18.2 9.3l-6.2-6.3-6.2 6.3c-.2.2-.3.4-.3.7s.1.5.3.7c.2.2.4.3.7.3h11c.3 0 .5-.1.7-.3.2-.2.3-.5.3-.7s-.1-.5-.3-.7zM5.8 14.7l6.2 6.3 6.2-6.3c.2-.2.3-.5.3-.7s-.1-.5-.3-.7c-.2-.2-.4-.3-.7-.3h-11c-.3 0-.5.1-.7.3-.2.2-.3.5-.3.7s.1.5.3.7z\"\/><\/svg><\/span><\/span><\/span><\/a><\/span><\/div>\n<nav><ul class='ez-toc-list ez-toc-list-level-1 ' ><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-1\" href=\"https:\/\/ceotudent.com\/de\/konfidenzkalibrierung-wie-sicher-sie-sich-wirklich-sein-sollten\/#Was-bedeutet-es-gut-kalibriert-zu-sein\" >Was bedeutet es, gut kalibriert zu sein?<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-2\" href=\"https:\/\/ceotudent.com\/de\/konfidenzkalibrierung-wie-sicher-sie-sich-wirklich-sein-sollten\/#Wie-weit-liegen-angegebene-Zuversicht-und-tatsaechliche-Trefferquote-auseinander\" >Wie weit liegen angegebene Zuversicht und tats\u00e4chliche Trefferquote auseinander?<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-3\" href=\"https:\/\/ceotudent.com\/de\/konfidenzkalibrierung-wie-sicher-sie-sich-wirklich-sein-sollten\/#Warum-sind-Konfidenzintervalle-so-viel-schlechter-als-Ja-Nein-Wahrscheinlichkeiten\" >Warum sind Konfidenzintervalle so viel schlechter als Ja-Nein-Wahrscheinlichkeiten?<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-4\" href=\"https:\/\/ceotudent.com\/de\/konfidenzkalibrierung-wie-sicher-sie-sich-wirklich-sein-sollten\/#Wie-sieht-gute-Kalibrierung-in-der-Praxis-aus\" >Wie sieht gute Kalibrierung in der Praxis aus?<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-5\" href=\"https:\/\/ceotudent.com\/de\/konfidenzkalibrierung-wie-sicher-sie-sich-wirklich-sein-sollten\/#Wie-funktioniert-ein-Brier-Score-und-was-gilt-als-gut\" >Wie funktioniert ein Brier-Score, und was gilt als gut?<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-6\" href=\"https:\/\/ceotudent.com\/de\/konfidenzkalibrierung-wie-sicher-sie-sich-wirklich-sein-sollten\/#Warum-taugen-%E2%80%9Ewahrscheinlich%E2%80%9C-und-%E2%80%9Eunwahrscheinlich%E2%80%9C-nicht-als-Zahlen\" >Warum taugen \u201ewahrscheinlich\u201c und \u201eunwahrscheinlich\u201c nicht als Zahlen?<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-7\" href=\"https:\/\/ceotudent.com\/de\/konfidenzkalibrierung-wie-sicher-sie-sich-wirklich-sein-sollten\/#Sind-KI-Modelle-besser-kalibriert-als-Menschen\" >Sind KI-Modelle besser kalibriert als Menschen?<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-8\" href=\"https:\/\/ceotudent.com\/de\/konfidenzkalibrierung-wie-sicher-sie-sich-wirklich-sein-sollten\/#Ein-Trainingsprotokoll-fuer-Kalibrierung-redaktionelles-CEOtudent-Framework\" >Ein Trainingsprotokoll f\u00fcr Kalibrierung (redaktionelles CEOtudent-Framework)<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-9\" href=\"https:\/\/ceotudent.com\/de\/konfidenzkalibrierung-wie-sicher-sie-sich-wirklich-sein-sollten\/#Der-CEO-Schritt-Versehen-Sie-jede-Prognose-die-Sie-abzeichnen-mit-einer-Zahl-und-einer-Spanne\" >Der CEO-Schritt: Versehen Sie jede Prognose, die Sie abzeichnen, mit einer Zahl und einer Spanne<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-10\" href=\"https:\/\/ceotudent.com\/de\/konfidenzkalibrierung-wie-sicher-sie-sich-wirklich-sein-sollten\/#Was-dies-nicht-bedeutet\" >Was dies nicht bedeutet<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-11\" href=\"https:\/\/ceotudent.com\/de\/konfidenzkalibrierung-wie-sicher-sie-sich-wirklich-sein-sollten\/#Haeufig-gestellte-Fragen\" >H\u00e4ufig gestellte Fragen<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-12\" href=\"https:\/\/ceotudent.com\/de\/konfidenzkalibrierung-wie-sicher-sie-sich-wirklich-sein-sollten\/#Quellen\" >Quellen<\/a><\/li><\/ul><\/nav><\/div>\n<h2 id=\"was-bedeutet-es-gut-kalibriert-zu-sein\"><span class=\"ez-toc-section\" id=\"Was-bedeutet-es-gut-kalibriert-zu-sein\"><\/span>Was bedeutet es, gut kalibriert zu sein?<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Ein Prognostiker ist kalibriert, wenn das Ereignis \u00fcber alle Gelegenheiten hinweg, bei denen er \u201e70 Prozent\u201c sagt, in etwa 70 Prozent der F\u00e4lle eintritt. Bei einer Spanne ist der Test die Trefferquote: wie oft das angegebene Intervall den wahren Wert enth\u00e4lt. McKenzie, Liersch und Yaniv formulieren es so: Bei gut kalibrierten Menschen w\u00fcrden 90 Prozent ihrer 90-Prozent-Intervalle den wahren Wert enthalten.<\/p>\n<p>Unter dem Wort \u201eSelbst\u00fcbersch\u00e4tzung\u201c verbergen sich drei Fehler:<\/p>\n<ul>\n<li><strong>\u00dcberpr\u00e4zision:<\/strong> zu enge Spannen. Haran, Moore und Morewedge nennen sie die robusteste Form der Selbst\u00fcbersch\u00e4tzung.<\/li>\n<li><strong>\u00dcberzogene Wahrscheinlichkeiten:<\/strong> 90 Prozent f\u00fcr Aussagen angeben, die sich in 70 Prozent der F\u00e4lle bewahrheiten.<\/li>\n<li><strong>Zu geringe Zuversicht:<\/strong> mehr Absicherung, als die Evidenz rechtfertigt; sie zeigt sich weiter unten in einer Studie \u00fcber erfahrene Geheimdienstanalysten.<\/li>\n<\/ul>\n<p>Kalibrierung ist nicht die ganze Aufgabe: Wer immer die Basisrate angibt, kann perfekt kalibriert und trotzdem nutzlos sein. Diese zweite Eigenschaft hei\u00dft Aufl\u00f6sung oder Diskrimination (Trennsch\u00e4rfe); in der Studie von Bickel, Floehr und Kim zu US-Wettervorhersagen war der Aufl\u00f6sungsterm deutlich gr\u00f6\u00dfer als der Zuverl\u00e4ssigkeitsabzug f\u00fcr Fehlkalibrierung.<\/p>\n<h2 id=\"wie-weit-liegen-angegebene-zuversicht-und-tatschliche-trefferquote-auseinander\"><span class=\"ez-toc-section\" id=\"Wie-weit-liegen-angegebene-Zuversicht-und-tatsaechliche-Trefferquote-auseinander\"><\/span>Wie weit liegen angegebene Zuversicht und tats\u00e4chliche Trefferquote auseinander?<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p><strong>Tabelle 1. Die Kalibrierungsl\u00fccke (CEOtudent-Analyse von sieben ver\u00f6ffentlichten Studien)<\/strong><\/p>\n<table>\n<thead>\n<tr>\n<th>Gruppe und Aufgabe<\/th>\n<th>Angegebene Zuversicht<\/th>\n<th>Tats\u00e4chliche Trefferquote<\/th>\n<th>L\u00fccke (Punkte)<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>US-CFOs, 80-%-Intervalle f\u00fcr die 1-Jahres-Rendite des S&amp;P 500, alle Quartale<\/td>\n<td>80 %<\/td>\n<td>36 %<\/td>\n<td>+44,0<\/td>\n<\/tr>\n<tr>\n<td>Dieselben CFOs, nur die am wenigsten volatilen Quartale<\/td>\n<td>80 %<\/td>\n<td>59 %<\/td>\n<td>+21,0<\/td>\n<\/tr>\n<tr>\n<td>Online-Teilnehmende, 90-%-Intervalle, Temperatur in Washington DC einen Monat im Voraus<\/td>\n<td>90 %<\/td>\n<td>29,17 %<\/td>\n<td>+60,8<\/td>\n<\/tr>\n<tr>\n<td>Laborteilnehmende, 90-%-Intervalle, Wahljahre von US-Pr\u00e4sidenten<\/td>\n<td>90 %<\/td>\n<td>54,34 %<\/td>\n<td>+35,7<\/td>\n<\/tr>\n<tr>\n<td>Einwohner Pittsburghs, 90-%-Intervalle, lokale Temperatur einen Monat im Voraus<\/td>\n<td>90 %<\/td>\n<td>73,79 %<\/td>\n<td>+16,2<\/td>\n<\/tr>\n<tr>\n<td>Dieselben Einwohner, 90-%-Intervalle aus Wahrscheinlichkeitsklassen (SPIES)<\/td>\n<td>90 %<\/td>\n<td>88,35 %<\/td>\n<td>+1,7<\/td>\n<\/tr>\n<tr>\n<td>Internisten, leichtere diagnostische Fallvignetten<\/td>\n<td>7,2 von 10 (gelesen als 72 %)<\/td>\n<td>55,3 %<\/td>\n<td>+16,7<\/td>\n<\/tr>\n<tr>\n<td>Internisten, schwierigere diagnostische Fallvignetten<\/td>\n<td>6,4 von 10 (gelesen als 64 %)<\/td>\n<td>5,8 %<\/td>\n<td>+58,2<\/td>\n<\/tr>\n<tr>\n<td>Prognostiker im geopolitischen Turnier, alle Bedingungen<\/td>\n<td>65,4 %<\/td>\n<td>63,3 %<\/td>\n<td>+2,1<\/td>\n<\/tr>\n<tr>\n<td>Dasselbe Turnier, Teams mit einer Stunde Training<\/td>\n<td>64,3 %<\/td>\n<td>63,6 %<\/td>\n<td>+0,7<\/td>\n<\/tr>\n<tr>\n<td>Kanadische strategische Geheimdienstanalysten, 1.514 Prognosen<\/td>\n<td>vorzeichenbehafteter Index<\/td>\n<td>vorzeichenbehafteter Index<\/td>\n<td>-7,6<\/td>\n<\/tr>\n<tr>\n<td>National Weather Service, 1-Tages-Regenwahrscheinlichkeit, k\u00fchle Jahreszeit, Durchschnitt<\/td>\n<td>20,1 %<\/td>\n<td>21,8 %<\/td>\n<td>-1,7<\/td>\n<\/tr>\n<tr>\n<td>The Weather Channel, Tage mit vorhergesagter Regenwahrscheinlichkeit von 70 %<\/td>\n<td>70 %<\/td>\n<td>84 %<\/td>\n<td>-14,0<\/td>\n<\/tr>\n<tr>\n<td>GPT-4 vor dem Post-Training, Teilmenge eines Multiple-Choice-Tests<\/td>\n<td>klassiert<\/td>\n<td>klassiert<\/td>\n<td>0,7 (ohne Vorzeichen)<\/td>\n<\/tr>\n<tr>\n<td>GPT-4 nach dem Post-Training, dieselbe Teilmenge<\/td>\n<td>klassiert<\/td>\n<td>klassiert<\/td>\n<td>7,4 (ohne Vorzeichen)<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>Quellen: Ben-David, Graham und Harvey; Haran, Moore und Morewedge 2010; Meyer et al. 2013 (nur Abstract); Moore et al. 2016; Mandel und Barnes 2014; Bickel, Floehr und Kim 2011; GPT-4 Technical Report, Abbildung 8. L\u00fccken von CEOtudent in calc.py berechnet; positive Werte bedeuten Selbst\u00fcbersch\u00e4tzung. Die Konfidenzskala der Internisten von 0 bis 10 als Prozentwert zu lesen, ist eine Umskalierung durch CEOtudent. Die Geheimdienstzeile zeigt den vorzeichenbehafteten Kalibrierungsindex der Autoren (minus 0,076). Die GPT-4-Zeilen zeigen den erwarteten Kalibrierungsfehler (expected calibration error), einen Durchschnitt ohne Vorzeichen.<\/p>\n<p><strong>Lesen Sie dies als Beschreibung, nicht als Rangliste:<\/strong> Die Studien unterscheiden sich in Aufgabe, Stichprobe, Zeitraum, Schwierigkeit und Bewertung. Vier Muster stechen hervor.<\/p>\n<ol>\n<li><strong>Spannen scheitern weit h\u00e4ufiger als Wahrscheinlichkeiten.<\/strong> Jede Intervallzeile au\u00dfer der SPIES-Zeile zeigt 16 bis 61 Punkte Selbst\u00fcbersch\u00e4tzung, w\u00e4hrend die Zeilen zu Turnier, Geheimdienst und Wetter innerhalb von 8 Punkten um null liegen, abgesehen von einer Wahrscheinlichkeitsstufe bei The Weather Channel. Soll und Klayman fanden denselben Kontrast in einer Studie: Entscheidungen zwischen zwei Antworten zeigten deutlich weniger Selbst\u00fcbersch\u00e4tzung als Intervalle.<\/li>\n<li><strong>Das Format schafft, was Willenskraft nicht schafft.<\/strong> Dieselben Einwohner Pittsburghs kamen von einer L\u00fccke von 16,2 Punkten auf 1,7 Punkte, als sie Wahrscheinlichkeit auf Klassen verteilen sollten, statt zwei Endpunkte zu nennen.<\/li>\n<li><strong>Schwierigkeit ver\u00e4ndert die Treffsicherheit weit st\u00e4rker als die Zuversicht.<\/strong> Die 118 \u00c4rztinnen und \u00c4rzte von Meyer und Kollegen diagnostizierten 55,3 Prozent der leichteren und 5,8 Prozent der schwierigeren F\u00e4lle richtig, doch die Zuversicht sank nur von 7,2 auf 6,4 von 10. Die Treffsicherheit fiel um 49,5 Punkte, relativ etwa 89,5 Prozent; die Zuversicht fiel um etwa 11,1 Prozent.<\/li>\n<li><strong>Feedbackreiche Umgebungen landen nahe null.<\/strong> Meteorologen erfahren das Ergebnis am n\u00e4chsten Tag; Turnierprognostiker sahen Brier-Ranglisten, die aktualisiert wurden, sobald Fragen abgeschlossen waren.<\/li>\n<\/ol>\n<h2 id=\"warum-sind-konfidenzintervalle-so-viel-schlechter-als-ja-nein-wahrscheinlichkeiten\"><span class=\"ez-toc-section\" id=\"Warum-sind-Konfidenzintervalle-so-viel-schlechter-als-Ja-Nein-Wahrscheinlichkeiten\"><\/span>Warum sind Konfidenzintervalle so viel schlechter als Ja-Nein-Wahrscheinlichkeiten?<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Soll und Klayman diagnostizieren, dass subjektive Intervalle f\u00fcr die Genauigkeit der dahinterliegenden Informationen systematisch zu eng sind, manchmal nur 40 Prozent so breit wie n\u00f6tig. Die CFO-Daten zeigen das in Marktbegriffen: Das durchschnittliche CFO-Intervall war 14,5 Prozent breit, w\u00e4hrend die Spanne zwischen dem 10. und dem 90. Perzentil der realisierten Einjahresrenditen des S&amp;P 500 bei 42,2 Prozent lag, etwa 2,91-mal so gro\u00df. Nur 3,4 Prozent der CFOs gaben ein Intervall an, das breiter als 42,2 Prozent war.<\/p>\n<p>Das Format geh\u00f6rt zu den wirksamsten Hebeln. Tabelle 2 vergleicht herk\u00f6mmliche 90-Prozent-Intervalle mit Subjective Probability Interval Estimates (SPIES): Der Bereich m\u00f6glicher Werte wird in Klassen aufgeteilt, jede Klasse erh\u00e4lt eine Wahrscheinlichkeit, und die 90-Prozent-Spanne wird anschlie\u00dfend abgelesen.<\/p>\n<p><strong>Tabelle 2. Trefferquoten von 90-Prozent-Intervallen nach Erhebungsmethode (Zahlen wie ver\u00f6ffentlicht)<\/strong><\/p>\n<table>\n<thead>\n<tr>\n<th>Experiment<\/th>\n<th>Teilnehmende<\/th>\n<th>Gesch\u00e4tzte Gr\u00f6\u00dfe<\/th>\n<th>Trefferquote 90-%-Intervall<\/th>\n<th>Trefferquote 90-%-SPIES<\/th>\n<th>SPIES-Vorteil (Punkte, CEOtudent-Berechnung)<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>1<\/td>\n<td>103 Einwohner Pittsburghs<\/td>\n<td>H\u00f6chsttemperatur in Pittsburgh einen Monat im Voraus<\/td>\n<td>73,79 %<\/td>\n<td>88,35 %<\/td>\n<td>14,56<\/td>\n<\/tr>\n<tr>\n<td>2<\/td>\n<td>116 Online-Teilnehmende aus den USA<\/td>\n<td>H\u00f6chsttemperatur in Washington DC einen Monat im Voraus<\/td>\n<td>29,17 %<\/td>\n<td>73,91 %<\/td>\n<td>44,74<\/td>\n<\/tr>\n<tr>\n<td>3<\/td>\n<td>334 Laborteilnehmende in Pittsburgh<\/td>\n<td>Jahr der ersten Wahl jedes US-Pr\u00e4sidenten des 20. Jahrhunderts<\/td>\n<td>54,34 %<\/td>\n<td>76,91 %<\/td>\n<td>22,57<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>Quelle: Haran, Moore und Morewedge, Judgment and Decision Making, 2010. In Experiment 1 erreichten Intervalle aus dem 5. und 95. Fraktil dieselben 73,79 Prozent wie herk\u00f6mmliche, und Urteilende, die zuerst SPIES-Urteile abgegeben hatten, zogen danach auch breitere herk\u00f6mmliche Intervalle. Die beiden Grenzen getrennt abzufragen, hilft nur wenig (Haran und Kollegen beschreiben die Fraktilmethode von Soll und Klayman als moderate Verringerung der \u00dcberpr\u00e4zision); was die Spannen verbreitert, ist die erzwungene Aufmerksamkeit f\u00fcr jedes m\u00f6gliche Ergebnis, die Randbereiche eingeschlossen.<\/p>\n<p>Expertise behebt das nicht. McKenzie, Liersch und Yaniv fanden IT-Fachleute und Studierende ungef\u00e4hr gleich \u00fcberzogen zuversichtlich: Die Fachleute zentrierten ihre Intervalle n\u00e4her an der Wahrheit, zogen sie aber enger, und die Effekte hoben sich auf. Ihr Fazit aus der Literatur: 90-Prozent-Intervalle enthalten den wahren Wert typischerweise in etwa 50 Prozent der F\u00e4lle.<\/p>\n<p>Wie viel breiter? Unter der illustrativen Annahme normalverteilter Fehler muss ein 90-Prozent-Intervall, das in 50 Prozent der F\u00e4lle trifft, etwa 2,44-mal breiter werden, und die 80-Prozent-Intervalle der CFOs, die in 36 Prozent der F\u00e4lle trafen, etwa 2,74-mal, nahe am obigen Verh\u00e4ltnis von 2,91. Betrachten Sie das als erste Korrektur, nicht als Gesetz.<\/p>\n<h2 id=\"wie-sieht-gute-kalibrierung-in-der-praxis-aus\"><span class=\"ez-toc-section\" id=\"Wie-sieht-gute-Kalibrierung-in-der-Praxis-aus\"><\/span>Wie sieht gute Kalibrierung in der Praxis aus?<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p><strong>Meteorologen.<\/strong> Bickel, Floehr und Kim \u00fcberpr\u00fcften fast 13 Millionen Prognosen der Regenwahrscheinlichkeit an 734 Stationen vom 1. November 2008 bis zum 31. Oktober 2010. Die 1-Tages-Prognosen des National Weather Service von 0,1 und 0,9 waren gut kalibriert, die von 0,2 und 0,3 sehr nahe daran. Die Hauspolitik spielt eine Rolle: Wenn The Weather Channel 70 Prozent ansagte, regnete es in 84 Prozent der F\u00e4lle, und der Sender vermeidet 50 Prozent, weil er glaubt, dass Nutzer dies als Mangel an Wissen deuten.<\/p>\n<p><strong>Turnierprognostiker.<\/strong> Moore und Kollegen analysierten 494.552 Prognosen zu 344 Fragen von 2.860 Prognostikern aus drei Jahren eines von IARPA gef\u00f6rderten Turniers, bewertet mit der Brier-Regel. Die Autoren schreiben, dass eine Stunde Training die Selbst\u00fcbersch\u00e4tzung im Folgejahr halbiert: Allein arbeitende Prognostiker kamen von 4,3 Punkten Selbst\u00fcbersch\u00e4tzung ohne Training auf 2,0 mit Training, eine Verringerung um 53,5 Prozent, und trainierte Teams erreichten 0,7.<\/p>\n<p><strong>Geheimdienstanalysten, in die andere Richtung.<\/strong> Mandel und Barnes bewerteten 1.514 strategische Prognosen von 15 Analysten der Abteilung Naher Osten und Afrika des kanadischen Intelligence Assessment Secretariat. Die Diskrimination war sehr gut (94 Prozent der Prognosen lagen auf der richtigen Seite von 50 Prozent), doch die Analysten waren zu wenig zuversichtlich, besonders bei schwierigeren und politisch relevanteren Prognosen. Wurden ihre Zahlen extremer gemacht, sank die mittlere absolute Abweichung von perfekter Kalibrierung von 12,7 Prozent auf 4,2 Prozent, ein R\u00fcckgang um 66,9 Prozent.<\/p>\n<p>Der gemeinsame Faktor ist eine bewertete Feedbackschleife, ein Thema, das der CEOtudent-Leitfaden zur <a href=\"\/de\/gutes-urteilsvermoegen-entwickeln-forschung-expertenintuition\">Entwicklung guten Urteilsverm\u00f6gens<\/a> ausf\u00fchrlich untersucht.<\/p>\n<h2 id=\"wie-funktioniert-ein-brier-score-und-was-gilt-als-gut\"><span class=\"ez-toc-section\" id=\"Wie-funktioniert-ein-Brier-Score-und-was-gilt-als-gut\"><\/span>Wie funktioniert ein Brier-Score, und was gilt als gut?<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Der Brier-Score ist die mittlere quadrierte Differenz zwischen einer Wahrscheinlichkeitsprognose und dem Ergebnis, kodiert als 1, wenn das Ereignis eintrat, und als 0, wenn nicht. Niedriger ist besser: 0 ist perfekt, und wer bei Ja-Nein-Fragen immer 50 Prozent antwortet, erzielt 0,25. Mandel und Barnes bezeichnen ihn als korrekte Bewertungsregel (proper scoring rule), sodass ehrliche Angaben die beste Strategie sind.<\/p>\n<p>Der n\u00fctzliche Teil ist die Zerlegung, die Mandel und Barnes nach Murphys Partition von 1973 anwenden: Brier-Score = Varianzindex minus Diskriminationsindex plus Kalibrierungsindex. Die Varianz spiegelt wider, wie unsicher die Fragen waren; die Diskrimination belohnt die Trennung von Ereignissen und Nicht-Ereignissen; die Kalibrierung bestraft L\u00fccken zwischen angegebenen und beobachteten H\u00e4ufigkeiten. F\u00fcr die kanadischen Analysten ergibt 0,240 minus 0,182 plus 0,016 exakt ihren ver\u00f6ffentlichten Brier-Score von 0,074.<\/p>\n<p><strong>Tabelle 3. Ver\u00f6ffentlichte Brier-Scores, nur zur Orientierung<\/strong><\/p>\n<table>\n<thead>\n<tr>\n<th>Prognosemenge<\/th>\n<th>Brier-Score<\/th>\n<th>Quelle<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>Kanadische strategische Geheimdienstanalyse, 1.514 Prognosen<\/td>\n<td>0,074<\/td>\n<td>Mandel und Barnes 2014<\/td>\n<\/tr>\n<tr>\n<td>Dieselbe, reine Wortprognosen (\u201ecould\u201c, \u201emight\u201c) mit 0,5 hinzugerechnet<\/td>\n<td>0,097<\/td>\n<td>Mandel und Barnes 2014<\/td>\n<\/tr>\n<tr>\n<td>National Weather Service, 1-Tages-Regenwahrscheinlichkeit, k\u00fchle Jahreszeit (mittlerer quadratischer Fehler)<\/td>\n<td>0,090<\/td>\n<td>Bickel, Floehr und Kim 2011, Tabelle 4<\/td>\n<\/tr>\n<tr>\n<td>Turnierprognostiker, letzter Tag jeder Frage<\/td>\n<td>0,10<\/td>\n<td>Moore et al. 2016<\/td>\n<\/tr>\n<tr>\n<td>Meteorologen, Regen am n\u00e4chsten Tag (Murphy und Winkler 1977)<\/td>\n<td>0,13<\/td>\n<td>wie berichtet von Moore et al. 2016<\/td>\n<\/tr>\n<tr>\n<td>Turnierprognostiker, letzte Woche jeder Frage<\/td>\n<td>0,14<\/td>\n<td>Moore et al. 2016<\/td>\n<\/tr>\n<tr>\n<td>Immer 50 % bei einer Ja-Nein-Frage<\/td>\n<td>0,25<\/td>\n<td>Arithmetik<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>Mandel und Barnes merken an, dass der Score nicht nur von der F\u00e4higkeit des Prognostikers, sondern auch von der Unsicherheit der Prognoseumgebung beeinflusst wird, sodass Scores \u00fcber verschiedene Fragens\u00e4tze hinweg nicht vergleichbar sind. Vergleichen Sie sich mit Ihren eigenen fr\u00fcheren Scores bei \u00e4hnlichen Fragen und mit dem Score, den die st\u00e4ndige Angabe der Basisrate erzielt.<\/p>\n<p><strong>Tabelle 4. Ein durchgerechnetes Beispiel mit zehn Aussagen (alle Eingaben sind illustrative Annahmen)<\/strong><\/p>\n<table>\n<thead>\n<tr>\n<th>Klasse<\/th>\n<th>Aussagen<\/th>\n<th>Angegebene Wahrscheinlichkeit<\/th>\n<th>Bewahrheitet<\/th>\n<th>Trefferquote<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>Hohe Zuversicht<\/td>\n<td>5<\/td>\n<td>90 %<\/td>\n<td>4<\/td>\n<td>80 %<\/td>\n<\/tr>\n<tr>\n<td>Mittlere Zuversicht<\/td>\n<td>5<\/td>\n<td>60 %<\/td>\n<td>3<\/td>\n<td>60 %<\/td>\n<\/tr>\n<tr>\n<td><strong>Ergebnis<\/strong><\/td>\n<td>Brier 0,205<\/td>\n<td>Immer 70 % (Basisrate): 0,21<\/td>\n<td>Immer 50 %: 0,25<\/td>\n<td>Kalibrierung 0,005, Diskrimination 0,01, Varianz 0,21<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>Rechnung in calc.py. Die hohe Klasse ist um 10 Punkte \u00fcberzogen zuversichtlich, daher ist der Kalibrierungsabzug klein; die eigentliche Schw\u00e4che ist die Diskrimination, denn 0,205 schl\u00e4gt die 0,21, die man mit 70 Prozent f\u00fcr alles erzielt, nur knapp. W\u00fcrden die 90-Prozent-Aussagen auf 80 Prozent gesenkt, fiele der Score auf 0,200. Lesen Sie in jeder \u00dcbung zwei Zahlen: Der Kalibrierungsterm sagt, ob die Zuversicht angepasst werden muss, und der Abstand zum Basisraten-Score sagt, ob die Urteile Information tragen.<\/p>\n<h2 id=\"warum-taugen-wahrscheinlich-und-unwahrscheinlich-nicht-als-zahlen\"><span class=\"ez-toc-section\" id=\"Warum-taugen-%E2%80%9Ewahrscheinlich%E2%80%9C-und-%E2%80%9Eunwahrscheinlich%E2%80%9C-nicht-als-Zahlen\"><\/span>Warum taugen \u201ewahrscheinlich\u201c und \u201eunwahrscheinlich\u201c nicht als Zahlen?<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Sherman Kent, der laut Mandel und Barnes weithin als Vater der modernen Geheimdienstanalyse gilt, hielt fest, wann das Problem offensichtlich wurde. Das National Intelligence Estimate 29-51 bezeichnete einen Angriff auf Jugoslawien im Jahr 1951 als \u201eserious possibility\u201c (\u201eernsthafte M\u00f6glichkeit\u201c). Kent meinte eine Chance von etwa 65 zu 35 daf\u00fcr; politische Planer hatten deutlich geringere Chancen herausgelesen; und unter seinen Kollegen im Board of National Estimates hatte der Niedrigste etwa 20 zu 80 gemeint und der H\u00f6chste 80 zu 20. Sein Essay von 1964 schlug W\u00f6rter mit zugeordneten Zahlen vor. Offizielle Skalen gibt es inzwischen, aber sie widersprechen einander.<\/p>\n<p><strong>Tabelle 5. Dasselbe Wort, vier offizielle Bedeutungen (CEOtudent-Analyse von ICD 203, IPCC-Leitlinien, NWS-Praxis und Kent 1964)<\/strong><\/p>\n<table>\n<thead>\n<tr>\n<th>Wort (Begriff in ICD 203)<\/th>\n<th>US-Geheimdienste, ICD 203<\/th>\n<th>IPCC AR5 und AR6 (n\u00e4chster Begriff)<\/th>\n<th>NWS-Formulierung (n\u00e4chster Begriff)<\/th>\n<th>Kent 1964 (n\u00e4chster Begriff)<\/th>\n<th>Abstand der Mittelpunkte ICD vs. IPCC (Punkte)<\/th>\n<th>\u00dcberlappung ICD und IPCC (Punkte)<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>Wahrscheinlich (\u201eLikely\u201c)<\/td>\n<td>55-80 %<\/td>\n<td>66-100 %<\/td>\n<td>55-74 %<\/td>\n<td>Wahrscheinlich (\u201eProbable\u201c) 63-87 %<\/td>\n<td>15,5<\/td>\n<td>14<\/td>\n<\/tr>\n<tr>\n<td>Sehr wahrscheinlich (\u201eVery likely\u201c)<\/td>\n<td>80-95 %<\/td>\n<td>90-100 %<\/td>\n<td>Kategorisch (\u201eCategorical\u201c) 75 % oder mehr<\/td>\n<td>Fast sicher (\u201eAlmost certain\u201c) 87-99 %<\/td>\n<td>7,5<\/td>\n<td>5<\/td>\n<\/tr>\n<tr>\n<td>Ungef\u00e4hr gleiche Chance (\u201eRoughly even chance\u201c)<\/td>\n<td>45-55 %<\/td>\n<td>Etwa ebenso wahrscheinlich wie nicht (\u201eAbout as likely as not\u201c) 33-66 %<\/td>\n<td>M\u00f6glich (\u201eChance\u201c) 25-54 %<\/td>\n<td>Etwa gleiche Chancen (\u201eChances about even\u201c) 40-60 %<\/td>\n<td>-0,5<\/td>\n<td>10<\/td>\n<\/tr>\n<tr>\n<td>Unwahrscheinlich (\u201eUnlikely\u201c)<\/td>\n<td>20-45 %<\/td>\n<td>0-33 %<\/td>\n<td>kein Begriff<\/td>\n<td>Wahrscheinlich nicht (\u201eProbably not\u201c) 20-40 %<\/td>\n<td>-16,0<\/td>\n<td>13<\/td>\n<\/tr>\n<tr>\n<td>Sehr unwahrscheinlich (\u201eVery unlikely\u201c)<\/td>\n<td>5-20 %<\/td>\n<td>0-10 %<\/td>\n<td>kein Begriff<\/td>\n<td>Fast sicher nicht (\u201eAlmost certainly not\u201c) 2-12 %<\/td>\n<td>-7,5<\/td>\n<td>5<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>Quellen: ODNI, ICD 203 (2015, in ge\u00e4nderter Fassung); Mastrandrea et al., IPCC AR5 guidance note (2010), im AR6 Summary for Policymakers (2021) als mit AR5 \u00fcbereinstimmend best\u00e4tigt; Auswertung des NWS-B\u00fcros Salt Lake City f\u00fcr den Winter 2007-08; Kent, dessen Spannen Zentralwerte plus oder minus seiner angegebenen Toleranz sind (75 Prozent, plus oder minus etwa 12). Mittelpunkte, Abst\u00e4nde und \u00dcberlappungen in calc.py berechnet; ein negativer Abstand bedeutet, dass die IPCC-Lesart niedriger ist.<\/p>\n<p>Die Kategorien von ICD 203 \u00fcberlappen sich nicht; die IPCC-Kategorien sind verschachtelt (\u201every likely\u201c, sehr wahrscheinlich, mit 90-100 Prozent ist zugleich \u201elikely\u201c, wahrscheinlich), mit Grenzen, die die Leitlinie als \u201eunscharf\u201c (\u201efuzzy\u201c) bezeichnet. Bei \u201elikely\u201c (wahrscheinlich) teilen sich die beiden 14 Punkte, etwa 56 Prozent der Geheimdienstspanne und 41 Prozent der IPCC-Spanne. Die traditionelle NWS-Einteilung beginnt bei \u201eslight chance\u201c (geringe M\u00f6glichkeit, 15 bis 24 Prozent) und hat darunter keinen Begriff.<\/p>\n<p><strong>Tabelle 6. \u00dcbersetzungstest: das Wort, das jedes System f\u00fcr dieselbe Wahrscheinlichkeit verwenden w\u00fcrde (CEOtudent-Analyse)<\/strong><\/p>\n<table>\n<thead>\n<tr>\n<th>Wahrscheinlichkeit<\/th>\n<th>ICD 203<\/th>\n<th>IPCC<\/th>\n<th>NWS<\/th>\n<th>Kent 1964<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>18 %<\/td>\n<td>Sehr unwahrscheinlich (\u201eVery unlikely\u201c)<\/td>\n<td>Unwahrscheinlich (\u201eUnlikely\u201c)<\/td>\n<td>Geringe M\u00f6glichkeit (\u201eSlight chance\u201c)<\/td>\n<td>Kein Begriff (L\u00fccke zwischen seinen Kategorien)<\/td>\n<\/tr>\n<tr>\n<td>38 %<\/td>\n<td>Unwahrscheinlich (\u201eUnlikely\u201c)<\/td>\n<td>Etwa ebenso wahrscheinlich wie nicht (\u201eAbout as likely as not\u201c)<\/td>\n<td>M\u00f6glich (\u201eChance\u201c)<\/td>\n<td>Wahrscheinlich nicht (\u201eProbably not\u201c)<\/td>\n<\/tr>\n<tr>\n<td>70 %<\/td>\n<td>Wahrscheinlich (\u201eLikely\u201c)<\/td>\n<td>Wahrscheinlich (\u201eLikely\u201c)<\/td>\n<td>Wahrscheinlich (\u201eLikely\u201c)<\/td>\n<td>Wahrscheinlich (\u201eProbable\u201c)<\/td>\n<\/tr>\n<tr>\n<td>85 %<\/td>\n<td>Sehr wahrscheinlich (\u201eVery likely\u201c)<\/td>\n<td>Wahrscheinlich (\u201eLikely\u201c)<\/td>\n<td>Kategorisch (\u201eCategorical\u201c)<\/td>\n<td>Wahrscheinlich (\u201eProbable\u201c)<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>Nur bei 70 Prozent stimmen alle vier \u00fcberein. Die Leser schlie\u00dfen die L\u00fccke nicht: Budescu, Broomell und Por fanden, dass die numerischen Lesarten von IPCC-Begriffen signifikant von den Leitlinien abwichen, selbst wenn die Leser die Leitlinien vor sich hatten (nur Abstract). In den Daten von Mandel und Barnes trugen etwa 16 Prozent der Prognosen \u00fcberhaupt keine Zahl, sondern nur W\u00f6rter wie \u201ecould\u201c (k\u00f6nnte) oder \u201emight\u201c (m\u00f6glicherweise). Die L\u00f6sung ist billig: Schreiben Sie die Zahl jedes Mal neben das Wort. \u201eWahrscheinlich (70 Prozent)\u201c \u00fcbersteht die Weiterleitung an jemanden, der eine andere Skala gelernt hat.<\/p>\n<h2 id=\"sind-ki-modelle-besser-kalibriert-als-menschen\"><span class=\"ez-toc-section\" id=\"Sind-KI-Modelle-besser-kalibriert-als-Menschen\"><\/span>Sind KI-Modelle besser kalibriert als Menschen?<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Das h\u00e4ngt von ihrem Training ab. Kadavath und Kollegen fanden gr\u00f6\u00dfere Sprachmodelle bei vielf\u00e4ltigen Multiple-Choice- und Wahr-Falsch-Fragen im richtigen Format gut kalibriert, und mit menschlichem Feedback feinabgestimmte Modelle scheinbar fehlkalibriert, nach einer einfachen Temperaturanpassung aber recht gut kalibriert. Der GPT-4 Technical Report zeigt die Kosten des Post-Trainings: Bei einer Teilmenge des MMLU-Datensatzes stieg der erwartete Kalibrierungsfehler von 0,007 beim vortrainierten Modell auf 0,074 nach dem Post-Training, etwa 10,6-mal so viel.<\/p>\n<p>Steyvers und Kollegen erg\u00e4nzen eine weitere L\u00fccke, die zwischen dem menschlichen Vertrauen in Modellantworten und der eigenen Zuversicht der Modelle; darum geht es in den CEOtudent-Leitf\u00e4den zu <a href=\"\/de\/warnsignale-schlechter-ki-antworten-12-muster-modell-liegt-falsch\">Warnsignalen in KI-Antworten<\/a> und zur <a href=\"\/de\/vertrauenskalibrierung-wann-ki-empfehlungen-vertrauen\">Vertrauenskalibrierung<\/a>. Eine angegebene Zuversicht, ob von einem Kollegen oder einem Modell, ist eine Behauptung, die bewertet werden muss.<\/p>\n<h2 id=\"ein-trainingsprotokoll-fur-kalibrierung-redaktionelles-ceotudent-framework\"><span class=\"ez-toc-section\" id=\"Ein-Trainingsprotokoll-fuer-Kalibrierung-redaktionelles-CEOtudent-Framework\"><\/span>Ein Trainingsprotokoll f\u00fcr Kalibrierung (redaktionelles CEOtudent-Framework)<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Die viertelj\u00e4hrliche \u00dcberpr\u00fcfung der Zuversichtsb\u00e4nder ist bereits Teil des <a href=\"\/de\/entscheidungsjournal-vorlage-und-protokoll-fuer-besseres-urteilsvermoegen\">Protokolls f\u00fcr das Entscheidungsjournal<\/a> von CEOtudent; diese vier \u00dcbungen liefern ihm zu.<\/p>\n<p><strong>\u00dcbung 1. Intervall\u00fcbung mit zehn Fragen auf 90-Prozent-Niveau (w\u00f6chentlich, 15 Minuten).<\/strong> W\u00e4hlen Sie zehn Gr\u00f6\u00dfen aus Ihrem Fachgebiet, die Sie sp\u00e4ter \u00fcberpr\u00fcfen k\u00f6nnen (die Abwanderungsrate des letzten Quartals, die Mitarbeiterzahl eines Wettbewerbers). Teilen Sie f\u00fcr jede den plausiblen Bereich in f\u00fcnf bis zehn Klassen auf, geben Sie jeder Klasse eine Wahrscheinlichkeit, sodass die Summe 100 ergibt, die Randbereiche eingeschlossen, und lesen Sie dann die engste Spanne ab, die 90 Prozent enth\u00e4lt. Z\u00e4hlen Sie die Treffer.<\/p>\n<p><strong>\u00dcbung 2. Brier-\u00dcbung mit zwanzig Aussagen (monatlich).<\/strong> Schreiben Sie 20 Ja-Nein-Aussagen, die sich innerhalb von 30 bis 90 Tagen kl\u00e4ren, und geben Sie jeder eine Wahrscheinlichkeit von 55, 65, 75, 85 oder 95 Prozent. Berechnen Sie nach der Aufl\u00f6sung Ihren Brier-Score, den Score bei st\u00e4ndiger Angabe der Basisrate und die Trefferquote jedes Bandes.<\/p>\n<p><strong>\u00dcbung 3. \u00c4quivalenzwetten-Check (vor dem Abzeichnen jeder 90-Prozent-Aussage).<\/strong> W\u00fcrden Sie lieber einen Preis gewinnen, wenn die Aussage zutrifft, oder indem Sie aus einer Losbox mit neun Gewinnlosen und einer Niete ziehen? Wenn Sie die Box vorziehen, liegt Ihre Zuversicht unter 90 Prozent; senken Sie die Zahl oder verbreitern Sie die Spanne. Dies ist ein Bauchcheck von CEOtudent, keine wissenschaftlich validierte Methode.<\/p>\n<p><strong>\u00dcbung 4. W\u00f6rter-zu-Zahlen-Check (bei jedem Memo).<\/strong> Kreisen Sie jedes Wahrscheinlichkeitswort ein, schreiben Sie eine Zahl daneben und drucken Sie die Skala des Teams oben auf das Dokument.<\/p>\n<p><strong>Tabelle 7. Bewertungsbogen zur Selbstpr\u00fcfung (redaktionelles CEOtudent-Framework)<\/strong><\/p>\n<table>\n<thead>\n<tr>\n<th>Kennzahl<\/th>\n<th>Bewertung<\/th>\n<th>Vereinbar mit Kalibrierung<\/th>\n<th>Warnsignal<\/th>\n<th>Erste Korrektur<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>Trefferquote der 90-%-Intervalle (\u00dcbung 1)<\/td>\n<td>Treffer von 10<\/td>\n<td>9 oder 10<\/td>\n<td>7 oder weniger<\/td>\n<td>Spannen etwa um das 2-Fache verbreitern; Randklassen mehr Gewicht geben<\/td>\n<\/tr>\n<tr>\n<td>Brier-Score (\u00dcbung 2)<\/td>\n<td>Mittlerer quadratischer Fehler, 20 Aussagen<\/td>\n<td>Unter dem Basisraten-Score<\/td>\n<td>\u00dcber 0,25<\/td>\n<td>Weniger extreme Wahrscheinlichkeiten<\/td>\n<\/tr>\n<tr>\n<td>Trefferquote je Band (\u00dcbung 2)<\/td>\n<td>Anteil zutreffender Aussagen in den B\u00e4ndern 85-95 %<\/td>\n<td>Nahe am Band<\/td>\n<td>Zwei Monate in Folge deutlich darunter<\/td>\n<td>Diese Aussagen ein Band tiefer einstufen<\/td>\n<\/tr>\n<tr>\n<td>Fehlschl\u00e4ge beim \u00c4quivalenzwetten-Check (\u00dcbung 3)<\/td>\n<td>90-%-Aussagen, bei denen die Box gewann<\/td>\n<td>Keine<\/td>\n<td>Schon einer<\/td>\n<td>Aussage oder Zahl neu fassen<\/td>\n<\/tr>\n<tr>\n<td>W\u00f6rter ohne Zahlen (\u00dcbung 4)<\/td>\n<td>Anzahl pro Memo<\/td>\n<td>Null<\/td>\n<td>Schon eines<\/td>\n<td>Die Zahl erg\u00e4nzen<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>Warum diese Schwellen in \u00dcbung 1? Wer auf 90-Prozent-Niveau wirklich kalibriert ist, erzielt in etwa 26,4 Prozent der F\u00e4lle 8 oder weniger, in etwa 7,0 Prozent 7 oder weniger und in etwa 1,3 Prozent 6 oder weniger (Binomialrechnung in calc.py). Eine einzelne 8 sagt wenig; wiederholte 7er sagen viel. Bei einer Trefferquote von 60 Prozent legt die Annahme normalverteilter Fehler eine Verbreiterung um etwa das 1,95-Fache nahe.<\/p>\n<h2 id=\"der-ceo-schritt-versehen-sie-jede-prognose-die-sie-abzeichnen-mit-einer-zahl-und-einer-spanne\"><span class=\"ez-toc-section\" id=\"Der-CEO-Schritt-Versehen-Sie-jede-Prognose-die-Sie-abzeichnen-mit-einer-Zahl-und-einer-Spanne\"><\/span>Der CEO-Schritt: Versehen Sie jede Prognose, die Sie abzeichnen, mit einer Zahl und einer Spanne<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Ben-David, Graham und Harvey fanden mehr als einen Prognosefehler. F\u00fchrungskr\u00e4fte, die den Markt fehlkalibriert einsch\u00e4tzten, zeigten eine \u00e4hnliche Fehlkalibrierung in Bezug auf die Aussichten ihrer eigenen Unternehmen, und Unternehmen mit fehlkalibrierten F\u00fchrungskr\u00e4ften schienen eine aggressivere Politik zu verfolgen: Sie investierten mehr und nutzten mehr Fremdfinanzierung. Dieser Zusammenhang beweist keine Ursache, macht \u00dcberpr\u00e4zision aber zu einem Gesch\u00e4ftsrisiko statt zu einer Kuriosit\u00e4t aus Umfragen.<\/p>\n<p>Ein Prognoseregister macht die Gewohnheit konkret: Halten Sie f\u00fcr jede Prognose, die eine Entscheidung tr\u00e4gt, die Aussage, das Aufl\u00f6sungsdatum, die Wahrscheinlichkeit oder die 90-Prozent-Spanne, die im Memo verwendeten W\u00f6rter, den Verantwortlichen und sp\u00e4ter das Ergebnis und seinen Brier-Beitrag fest. Berechnen Sie jedes Quartal Trefferquoten und Brier-Scores nach Person und Thema. F\u00fchren Sie ein <a href=\"\/de\/pre-mortem-protokoll-schlechte-plaene-toeten-bevor-sie-scheitern\">Pre-Mortem<\/a> f\u00fcr jeden Plan durch, dessen Schl\u00fcsselprognose in einem Band liegt, in dem das Register Selbst\u00fcbersch\u00e4tzung zeigt. Die <a href=\"\/de\/prognose-bilanz-wie-treffsicher-waren-zehn-jahre-experten-ki-vorhersagen-2016-2026\">Prognose-Bilanz<\/a> von CEOtudent wendet dieselbe Bewertung auf ein Jahrzehnt von Experten- und KI-Vorhersagen an. Die Student-Seite ist dasselbe Register, gelesen als Lehrplan: Jeder Fehlgriff zeigt, wo Sie \u00fcberpr\u00e4zise sind.<\/p>\n<h2 id=\"was-dies-nicht-bedeutet\"><span class=\"ez-toc-section\" id=\"Was-dies-nicht-bedeutet\"><\/span>Was dies nicht bedeutet<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<ul>\n<li><strong>Zuversicht ist nicht schlecht.<\/strong> Das Ziel ist \u00dcbereinstimmung, nicht Absenkung; die kanadischen Analysten stellten aus zu gro\u00dfer Vorsicht geringer dar, was sie wussten.<\/li>\n<li><strong>Die L\u00fcckentabelle ist keine Rangliste von Berufen.<\/strong> Eine Marktprognose f\u00fcr das kommende Jahr und eine Regenprognose f\u00fcr den n\u00e4chsten Tag sind verschiedene Aufgaben.<\/li>\n<li><strong>Ein niedriger Brier-Score beweist keine F\u00e4higkeit.<\/strong> Leichte Fragen erzeugen niedrige Scores; vergleichen Sie mit einer Basislinie bei denselben Fragen.<\/li>\n<li><strong>Laborergebnisse lassen sich wom\u00f6glich nicht vollst\u00e4ndig \u00fcbertragen.<\/strong> Die SPIES-Gewinne stammen aus Temperatur- und Geschichtsquiz, nicht aus Gesch\u00e4ftsprognosen.<\/li>\n<li><strong>Dieser Artikel ist eine allgemeine Information \u00fcber Forschung zum Urteilsverm\u00f6gen; er ist keine medizinische, Anlage- oder Finanzberatung.<\/strong><\/li>\n<\/ul>\n<h2 id=\"hufig-gestellte-fragen\"><span class=\"ez-toc-section\" id=\"Haeufig-gestellte-Fragen\"><\/span>H\u00e4ufig gestellte Fragen<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p><strong>Was ist Konfidenzkalibrierung, einfach erkl\u00e4rt?<\/strong><br \/>\nDie \u00dcbereinstimmung zwischen der Sicherheit, die Sie angeben, und der H\u00e4ufigkeit, mit der Sie richtig liegen. Sie ist nicht dasselbe wie Treffsicherheit: Ein Prognostiker kann kalibriert und dennoch wenig aussagekr\u00e4ftig sein, weshalb die Brier-Zerlegung beides trennt.<\/p>\n<p><strong>Warum liegen 90-Prozent-Spannen so oft daneben?<\/strong><br \/>\nSie werden zu eng gezogen: laut Soll und Klayman manchmal nur 40 Prozent so breit wie n\u00f6tig, und laut der von McKenzie und Kollegen zusammengefassten Literatur enthalten sie den wahren Wert typischerweise nur in etwa der H\u00e4lfte der F\u00e4lle.<\/p>\n<p><strong>Was ist ein guter Brier-Score?<\/strong><br \/>\nEs gibt keine universelle Schwelle. Ein n\u00fctzlicher Prognostiker schl\u00e4gt 0,25 (immer 50 Prozent) und den Basisraten-Score bei denselben Fragen.<\/p>\n<p><strong>L\u00e4sst sich Kalibrierung trainieren?<\/strong><br \/>\nJa, mit Feedback. Eine Stunde Training halbierte die Selbst\u00fcbersch\u00e4tzung von Turnierprognostikern ungef\u00e4hr, und Wahrscheinlichkeitsklassen erh\u00f6hten im Labor die Trefferquoten von Intervallen.<\/p>\n<p><strong>Sollte man Zuversichtswerten von KI vertrauen?<\/strong><br \/>\nBewerten Sie sie wie jede angegebene Zuversicht. Der GPT-4-Bericht zeigt, dass das Post-Training den Kalibrierungsfehler bei seiner Testteilmenge von 0,007 auf 0,074 erh\u00f6hte.<\/p>\n<h2 id=\"quellen\"><span class=\"ez-toc-section\" id=\"Quellen\"><\/span>Quellen<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<ol>\n<li>Ben-David, Itzhak, John R. Graham und Campbell R. Harvey. Managerial Miscalibration. NBER Working Paper 16215, Juli 2010, \u00fcberarbeitet September 2013; ver\u00f6ffentlicht im Quarterly Journal of Economics 128(4), 2013.<\/li>\n<li>Moore, D. A. et al. Confidence Calibration in a Multiyear Geopolitical Forecasting Competition. Management Science, Articles in Advance, 2016.<\/li>\n<li>Haran, U., Moore, D. A. und Morewedge, C. K. A simple remedy for overprecision in judgment. Judgment and Decision Making 5(7), 2010.<\/li>\n<li>Soll, J. B. und Klayman, J. Overconfidence in interval estimates. Journal of Experimental Psychology: Learning, Memory, and Cognition 30(2), 2004 (nur Abstract).<\/li>\n<li>McKenzie, Craig R. M., Michael J. Liersch und Ilan Yaniv. Overconfidence in interval estimates: What does expertise buy you? Organizational Behavior and Human Decision Processes 107, 2008.<\/li>\n<li>Meyer, A. N. D. et al. Physicians&rsquo; diagnostic accuracy, confidence, and resource requests: a vignette study. JAMA Internal Medicine 173(21), 2013 (nur Abstract).<\/li>\n<li>Mandel, D. R. und Barnes, A. Accuracy of forecasts in strategic intelligence. Proceedings of the National Academy of Sciences 111(30), 2014.<\/li>\n<li>Bickel, J. E., Floehr, E. und Kim, S. D. Comparing NWS PoP Forecasts to Third-Party Providers. Monthly Weather Review 139, 2011.<\/li>\n<li>Graham, R. A Review of PoP Reliability and PoP Bias Trends at WFO SLC for the Winter of 2007-08. National Weather Service, B\u00fcro Salt Lake City.<\/li>\n<li>Office of the Director of National Intelligence. Intelligence Community Directive 203, Analytic Standards, unterzeichnet am 2. Januar 2015, mit sp\u00e4teren technischen \u00c4nderungen.<\/li>\n<li>Mastrandrea, M. D. et al. Guidance Note for Lead Authors of the IPCC Fifth Assessment Report on Consistent Treatment of Uncertainties. IPCC, 2010.<\/li>\n<li>IPCC. Summary for Policymakers. Climate Change 2021: The Physical Science Basis, Sixth Assessment Report, 2021.<\/li>\n<li>Kent, S. Words of Estimative Probability. Studies in Intelligence, CIA Center for the Study of Intelligence, 1964; zur Ver\u00f6ffentlichung freigegeben 1993.<\/li>\n<li>Budescu, D. V., Broomell, S. und Por, H.-H. Improving communication of uncertainty in the reports of the Intergovernmental Panel on Climate Change. Psychological Science 20(3), 2009 (nur Abstract).<\/li>\n<li>Kadavath, S. et al. Language Models (Mostly) Know What They Know. arXiv-Preprint 2207.05221, 2022.<\/li>\n<li>OpenAI. GPT-4 Technical Report. arXiv-Preprint 2303.08774, Version 6, 2024.<\/li>\n<li>Steyvers, M. et al. What large language models know and what people think they know. Nature Machine Intelligence 7, 2025.<\/li>\n<\/ol>\n<p><em>Die Tabellen 1, 5, 6 und 7 sind CEOtudent-Analysen oder redaktionelle CEOtudent-Frameworks; Tabelle 4 ist ein illustratives Beispiel auf Basis von Annahmen; die Tabellen 2 und 3 geben Zahlen wie ver\u00f6ffentlicht wieder. Das Abstract von Moore und Kollegen nennt etwa 3 Prozent Selbst\u00fcbersch\u00e4tzung; der Artikel verwendet den Wert von 2,1 Punkten aus ihren Ergebnissen, der zu 65,4 und 63,3 Prozent passt. Bewusst nicht verwendet: die Varianten von 36,3 und 36,6 Prozent aus der CFO-Studie (verwendet werden die 36 Prozent aus deren Abstract), die Wetterstudie von Murphy und Winkler sowie Briers Studie von 1950 (nicht eingesehen; zitiert \u00fcber Moore und Kollegen, Mandel und Barnes sowie Bickel und Kollegen) und die Brier-Trainingstabellen, die bereits im CEOtudent-Beitrag zum Entscheidungsjournal stehen.<\/em><\/p>\n<hr>\n<p><em>Dieser Inhalt wurde nach eingehender Recherche mit Unterst\u00fctzung von KI zusammengestellt und vom CEOtudent-Redaktionsteam geschrieben und f\u00fcr die Ver\u00f6ffentlichung aufbereitet.<\/em><\/p>\n","protected":false},"excerpt":{"rendered":"<p>US-Finanzvorst\u00e4nde gaben 80-Prozent-Konfidenzintervalle f\u00fcr die Rendite des S&#038;P 500 im Folgejahr an, die die tats\u00e4chliche Rendite nur in 36 Prozent der F\u00e4lle enthielten, w\u00e4hrend Turnierprognostiker mit Brier-Feedback zu 65,4 Prozent sicher waren und zu 63,3 Prozent richtig lagen. Dieser Leitfaden stellt zehn Gruppen aus sieben Studien in einer Tabelle der Kalibrierungsl\u00fccke zusammen, zeigt, dass \u201elikely\u201c (wahrscheinlich) in der US-Geheimdienstanalyse 55-80 Prozent bedeutet, beim IPCC aber 66-100 Prozent, und liefert ein Protokoll aus vier \u00dcbungen, mit dem Sie Ihre eigene Zuversicht \u00fcberpr\u00fcfen.<\/p>\n","protected":false},"author":1,"featured_media":326701,"comment_status":"open","ping_status":"","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[4599,18],"tags":[],"class_list":["post-326698","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-gelisim","category-strateji"],"_links":{"self":[{"href":"https:\/\/ceotudent.com\/de\/wp-json\/wp\/v2\/posts\/326698","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/ceotudent.com\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/ceotudent.com\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/ceotudent.com\/de\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/ceotudent.com\/de\/wp-json\/wp\/v2\/comments?post=326698"}],"version-history":[{"count":0,"href":"https:\/\/ceotudent.com\/de\/wp-json\/wp\/v2\/posts\/326698\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/ceotudent.com\/de\/wp-json\/wp\/v2\/media\/326701"}],"wp:attachment":[{"href":"https:\/\/ceotudent.com\/de\/wp-json\/wp\/v2\/media?parent=326698"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/ceotudent.com\/de\/wp-json\/wp\/v2\/categories?post=326698"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/ceotudent.com\/de\/wp-json\/wp\/v2\/tags?post=326698"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}