TL;DR. Im OECD Survey of Adult Skills (Daten von 2023, veröffentlicht im Dezember 2024) lagen 25 Prozent der Erwachsenen in den OECD-Ländern in der alltagsmathematischen Kompetenz auf Stufe 1 oder darunter, und 14 Prozent erreichten die Stufen 4 oder 5. In den Vereinigten Staaten stieg der Anteil mit geringer Alltagsmathematik von 29 Prozent im Jahr 2017 auf 34 Prozent im Jahr 2023. Gleichzeitig produzieren KI-Werkzeuge und Anbieterpräsentationen mehr selbstbewusste Prozentwerte als je zuvor. Nicht-Analysten brauchen etwa zehn Ideen, jede mit einer zugehörigen Frage, die verhindern, dass eine wahre Zahl sie in die Irre führt. Das Format zählt so viel wie der Leser: Als 160 Gynäkologen Testkennzahlen als bedingte Wahrscheinlichkeiten sahen, fanden 21 Prozent die richtige Antwort; nachdem sie gelernt hatten, sie als Häufigkeiten von 1.000 umzuformulieren, waren es 87 Prozent. Der CEO-Schritt: Verlangen Sie, dass jede Zahl, die eine Entscheidung lenkt, mit ihrem Nenner, ihrem Vergleich und ihrer Quelle ankommt, und legen Sie vorab fest, welche Fragen vor dem Handeln Pflicht sind. Der Studenten-Schritt: Übersetzen Sie jeden Prozentwert in „wie viele von 1.000“ und leiten Sie jede Woche eine Behauptung aus ihrer Originalquelle neu her.
Dieser Leitfaden gehört zum Cluster Grundlegende kognitive Fähigkeiten, dessen Anker unser Beitrag über tiefes Lesen als Wettbewerbsvorteil ist. Er ist das numerische Gegenstück zum 5-Schritte-Protokoll für den Faktencheck von KI-Ausgaben und zu den 12 Warnsignalen schlechter KI-Antworten. Diese Beiträge fangen Behauptungen ab, die falsch sind. Dieser hier behandelt einen schwierigeren Fall: Zahlen, die wahr sind und trotzdem in die Irre führen.
Warum braucht ein Nicht-Analyst jetzt Statistik?
Ein Diagramm oder ein Satz wie „die meisten Kunden bevorzugen“ kostet heute fast nichts, also erreichen mehr Zahlen die Entscheider mit weniger Prüfung (siehe unseren Beitrag über die Signal-Rausch-Krise). Die jüngste internationale Messung der alltagsmathematischen Kompetenz Erwachsener zeigt, wie verwundbar Leser sind.
Der OECD Survey of Adult Skills testete Erwachsene im Alter von 16 bis 65 Jahren in 31 teilnehmenden Ländern. Der OECD-Durchschnitt in Alltagsmathematik lag bei 263 Punkten auf einer Skala von 0 bis 500. Erwachsene auf Stufe 1 können laut Beschreibung der Erhebung mit ganzen Zahlen, Dezimalzahlen, gängigen Brüchen und Prozentwerten umgehen und „einfache Strategien mit einem oder zwei Schritten entwickeln“. Ein relatives Risiko, eine bedingte Wahrscheinlichkeit oder einen schiefen Durchschnitt zu lesen, erfordert meist mehr Schritte.
Tabelle 1. Alltagsmathematische Kompetenz Erwachsener in ausgewählten Ländern, OECD Survey of Adult Skills 2023 (Erwachsene von 16-65 Jahren)
| Land oder Volkswirtschaft | Mittlerer Punktwert | Stufe 1 oder darunter | Stufe 4 | Stufe 5 |
|---|---|---|---|---|
| OECD-Durchschnitt | 263 | 25 % | 12 % | 2 % |
| Finnland | 294 | 12 % | 26 % | 5 % |
| Japan | 291 | 10 % | 21 % | 3 % |
| Niederlande | 284 | 15 % | 20 % | 4 % |
| Deutschland | 273 | 20 % | 16 % | 2 % |
| England (Vereinigtes Königreich) | 268 | 21 % | 14 % | 2 % |
| Frankreich | 257 | 28 % | 10 % | 1 % |
| Spanien | 250 | 30 % | 6 % | 0 % |
| Vereinigte Staaten | 249 | 34 % | 10 % | 2 % |
| Italien | 244 | 35 % | 6 % | 0 % |
| Chile | 214 | 56 % | 2 % | 0 % |
Quelle: OECD Survey of Adult Skills 2023, wiedergegeben vom irischen Central Statistics Office (PIAAC 2023 International Comparison, Tabellen 3.2 und 3.5). Gerundete Prozentwerte wie veröffentlicht.
Zwei Lesarten sind wichtig. Die Spannweite ist groß: 80 Punkte trennen den finnischen und den chilenischen Mittelwert, und der Anteil mit geringer Alltagsmathematik reicht von 10 Prozent in Japan bis 56 Prozent in Chile. Und selbst im stärksten Land steht die Mehrheit der Erwachsenen nicht an der Spitze: Die Stufen 4 und 5 zusammen umfassen 31 Prozent der finnischen Erwachsenen und 14 Prozent im OECD-Durchschnitt (CEOtudent-Berechnung aus gerundeten Anteilen). Gehen Sie nicht davon aus, dass die Person, die ein Diagramm präsentiert, zu ihnen gehört.
Das US National Center for Education Statistics liefert einen Trend: Der Anteil der US-Erwachsenen auf Stufe 1 oder darunter in Alltagsmathematik stieg von 29 Prozent im Jahr 2017 auf 34 Prozent im Jahr 2023, mit dem Hinweis, dass die Erhebung 2023 vollständig auf Tablets durchgeführt wurde und sich die Tests unterscheiden.
Konzept 1: Ist das eine relative oder eine absolute Veränderung?
Auf einer kleinen Basis wirken relative Veränderungen dramatisch, während absolute Veränderungen winzig bleiben.
Gerd Gigerenzer und Kollegen beschreiben in einer Monografie von 2007 in Psychological Science in the Public Interest die britische Pillen-Panik. Im Oktober 1995 warnten die Behörden, dass Pillen der dritten Generation das Thromboserisiko verdoppelten, eine Zunahme um 100 Prozent. Die zugrunde liegenden Studien zeigten etwa 1 Fall pro 7.000 Frauen bei den älteren Pillen und etwa 2 pro 7.000 bei den neueren: ein absoluter Anstieg um 1 von 7.000. Die Autoren berichten von geschätzt 13.000 zusätzlichen Schwangerschaftsabbrüchen in England und Wales im folgenden Jahr.
Dieselbe Monografie zeigt das Umgekehrte beim Nutzen. Eine Senkung der Brustkrebstodesfälle um 25 Prozent durch Mammografie-Screening entspricht, in den Worten der Autoren, „1 Frau weniger von 1.000“. In Zufallsstichproben von Frauen in vier Ländern gaben nur 6 Prozent eine Antwort, die die Autoren als richtig akzeptierten (0 bis 5 von 1.000), während 60 Prozent der US-Befragten glaubten, der Nutzen liege bei 80 oder mehr von 1.000. (Beispiele zur Darstellung aus Forschung von 2007, keine Gesundheitsempfehlung.)
Tabelle 2. CEOtudent-Analyse: dasselbe veröffentlichte Ergebnis auf vier Arten ausgedrückt
| Veröffentlichtes Ergebnis | Relative Darstellung | Absolute Darstellung | Häufigkeit pro 1.000 | Einheiten pro zusätzlichem oder vermiedenem Fall |
|---|---|---|---|---|
| Thrombose, neuere vs. ältere Pille (Gigerenzer et al. 2007) | +100 % | +1 von 7.000 (0,014 Prozentpunkte) | 0,14 bis 0,29 | 7.000 Frauen pro zusätzlichem Fall |
| Brustkrebstodesfälle mit Screening (Gigerenzer et al. 2007) | -25 % | 1 weniger von 1.000 | etwa 4 auf 3 (abgeleitete Ausgangsbasis) | 1.000 untersuchte Frauen pro vermiedenem Todesfall |
| Balkendiagramm zum Steuersatz (Correll et al. 2020, Abb. 1b) | +13,1 % | +4,6 Prozentpunkte (35,0 % auf 39,6 %) | 350 bis 396 pro 1.000 Dollar | Balken 5,6-mal so hoch gezeichnet |
CEOtudent-Analyse der Zahlen in Gigerenzer et al. (2007) sowie Correll, Bertini und Franconeri (2020); Berechnungen in calc.py. Die Ausgangsbasis in Zeile 2 ist abgeleitet: Eine relative Senkung um 25 Prozent, die 1 von 1.000 entspricht, impliziert ein Ausgangsrisiko von etwa 4 von 1.000.
Die Frage, die Sie stellen sollten: „Von wie vielen?“
Konzept 2: Was passiert von 1.000? Basisraten und natürliche Häufigkeiten
Unser Beitrag über Basisraten und die Außensicht erklärt, warum typische Ergebnisse Prognosen verankern sollten. Natürliche Häufigkeiten, also Wahrscheinlichkeiten, die als Anzahlen in einer gedachten Gruppe umformuliert werden, machen Basisraten im Moment nutzbar.
Bei einer Fortbildungsveranstaltung im Jahr 2007, die in Gigerenzers Monografie beschrieben wird, erhielten 160 Gynäkologen folgende Angaben: 1 Prozent der Frauen in einer Screening-Population hat Brustkrebs; eine Frau mit Krebs wird in 90 Prozent der Fälle positiv getestet; eine Frau ohne Krebs wird dennoch in 9 Prozent der Fälle positiv getestet. Auf die Frage, was ein positives Ergebnis bedeutet, antworteten die meisten „90 %“ oder „81 %“, die Schätzungen reichten von 1 Prozent bis 90 Prozent, und 21 Prozent wählten die beste Antwort.
Als Häufigkeiten umformuliert: Zehn von 1.000 Frauen haben Brustkrebs, und 9 von ihnen werden positiv getestet. Von den 990 ohne Krebs werden etwa 89 ebenfalls positiv getestet. Von rund 98 positiven Ergebnissen haben also etwa 9 Krebs, ungefähr 1 von 10 oder 9,2 Prozent (CEOtudent-Berechnung). Nach einem Training in dieser Übersetzung wählten 87 Prozent der Gynäkologen die richtige Antwort.
Nicht die Ärzte haben sich verändert, sondern die Darstellung. Die Methode passt zu jedem Filter, von Betrugsmodellen bis zu KI-Textdetektoren: Beginnen Sie mit 1.000 Fällen, wenden Sie die Basisrate, die Trefferquote und die Fehlalarmquote an, und zählen Sie.
Die Frage, die Sie stellen sollten: „Wie viele von allen Markierten sind echt?“
Konzept 3: Wie groß war die Stichprobe?
Kleine Gruppen erzeugen extreme Ergebnisse in beide Richtungen, weil wenige Fälle ihren Durchschnitt stark verschieben. Howard Wainer nannte in einem Essay im American Scientist von 2007 de Moivres Ergebnis von 1730, dass die Streuung eines Durchschnitts mit der Quadratwurzel der Stichprobengröße abnimmt, „die gefährlichste Gleichung“.
Sein zentrales Beispiel war teuer. Ab Ende der 1990er-Jahre förderte die Bill and Melinda Gates Foundation kleine Schulen, mit Bildungszuschüssen von rund 1,7 Milliarden $ bis 2001, teils weil kleine Schulen unter den Spitzenreitern überrepräsentiert waren. Wainer und Harris Zwerling untersuchten die 1.662 Schulen in Pennsylvania, die Leseergebnisse der 5. Klasse meldeten. Unter den besten 50 waren 6 unter den kleinsten 3 Prozent der Schulen: 12 Prozent statt der erwarteten 3 Prozent, eine vierfache Überrepräsentation. Aber 9 der 50 Schulen mit den niedrigsten Ergebnissen (18 Prozent) gehörten ebenfalls zu den 50 kleinsten. Kleine Schulen drängten sich an beiden Extremen, und der Gesamtzusammenhang zwischen Schulgröße und den Ergebnissen der 5. Klasse war im Wesentlichen flach.
Dasselbe gilt für Ranglisten am Arbeitsplatz: Wenn die Filiale mit der besten Konversionsrate oder das bestbewertete KI-Pilotteam zugleich die kleinste Einheit ist, kann die Größe allein den Rang erklären.
Zur Größenordnung eine illustrative Annahme: eine Umfragefrage, deren wahre Antwort 50 Prozent ist. Bei 8 Befragten liegt der Standardfehler bei etwa 17,7 Prozentpunkten, sodass ein grober 95-Prozent-Bereich rund 35 Punkte in jede Richtung umfasst. Bei 400 Befragten sind es 2,5 Punkte. Das Fünfzigfache an Daten bringt nur etwa die siebenfache Präzision (CEOtudent-Berechnung in calc.py).
Die Frage, die Sie stellen sollten: „Auf wie vielen Fällen beruht das, und wo stehen die kleinsten Gruppen im Ranking?“
Konzept 4: Wer fehlt in den Daten? Selektionsfilter
Befragte haben sich entschieden zu antworten, Fallstudien wurden ausgewählt, weil sie erfolgreich waren, Studien wurden teils veröffentlicht, weil die Ergebnisse auffällig waren. Wenn ein Filter bestimmte Ergebnisse begünstigt, überzeichnen die sichtbaren Daten sie.
Die Open Science Collaboration, mit 270 beteiligten Autoren und Unterstützung des Center for Open Science, wiederholte 100 experimentelle und korrelative Studien aus drei psychologischen Fachzeitschriften mit Designs hoher Teststärke. Ihr Bericht von 2015 in Science ergab, dass 97 Prozent der Originalstudien signifikante Ergebnisse hatten, gegenüber 36 Prozent der Replikationen (35 von 97). Die mittlere Effektstärke sank von 0,403 auf 0,197, also etwa auf die Hälfte (CEOtudent-Berechnung: 0,49), und in 82 von 99 vergleichbaren Paaren war der ursprüngliche Effekt größer.
Die Zahlen gelten speziell für die untersuchten Fachzeitschriften, aber jede Fachliteratur und jede Seite mit „Kundengeschichten“ zeigt die Überlebenden eines Filters.
Die Frage, die Sie stellen sollten: „Was ist hier nicht sichtbar?“ Fragen Sie, wer nicht geantwortet hat, was ausgeschlossen wurde und wie viele Versuche dem gezeigten vorausgingen.
Konzept 5: Könnte etwas anderes es erklären? Korrelation und Störfaktoren
Zwei Dinge, die sich gemeinsam bewegen, können eine gemeinsame Ursache haben (einen Störfaktor), in umgekehrter Richtung wirken oder einfach parallel verlaufen.
Ein Lehrbeispiel: 2012 veröffentlichte das New England Journal of Medicine einen kurzen Beitrag von Franz Messerli über eine Korrelation zwischen Schokoladenkonsum und der Zahl der Nobelpreisträger. Wie Pierre Maurage, Alexandre Heeren und Mauro Pesenti in The Journal of Nutrition (2013) zusammenfassen, führte er zu der Vermutung, mehr Schokolade könne über Kakao-Flavanole mehr Preisträger bedeuten. Sie argumentieren, dass die Deutung scheitert, sobald andere flavanolreiche Lebensmittel berücksichtigt werden, und berichten hohe Korrelationen zwischen der Zahl der Preisträger und anderen Größen, „ob sachlich zusammenhängend oder nicht“ (Abstract). Nationaler Wohlstand und Forschungsausgaben sind plausible gemeinsame Ursachen.
Am Arbeitsplatz ist das Muster weniger amüsant. Teams, die ein neues KI-Werkzeug nutzen, melden höhere Leistung, aber frühe Anwender hatten vielleicht auch die stärksten Führungskräfte. Kunden, die eine Funktion nutzen, wandern seltener ab, aber engagierte Kunden nutzen sowohl mehr Funktionen als auch wandern seltener ab.
Die Frage, die Sie stellen sollten: „Was unterscheidet diese Gruppen sonst noch, und wurde jemand zufällig zugeteilt?“
Konzept 6: Kehrt sich das Muster um, wenn Sie die Daten aufteilen? Das Simpson-Paradoxon
Ein Vergleich kann im Gesamtergebnis in eine Richtung zeigen und innerhalb der Untergruppen in die entgegengesetzte, wenn die Gruppen ungleich auf diese Untergruppen verteilt sind. Der klassische Fall sind die Zulassungen zum Graduiertenstudium im Herbst 1973 an der University of California, Berkeley, analysiert von Peter Bickel, Eugene Hammel und William O’Connell in Science im Jahr 1975. Die Daten der sechs größten Fachbereiche werden mit der Statistiksoftware R ausgeliefert, sodass sich die Zahlen exakt nachrechnen lassen.
Tabelle 3. CEOtudent-Analyse: Zulassungen an der UC Berkeley, Herbst 1973, sechs größte Fachbereiche
| Fachbereich | Zugelassene Männer | Quote Männer | Zugelassene Frauen | Quote Frauen | Differenz (Frauen minus Männer) |
|---|---|---|---|---|---|
| A | 512 von 825 | 62,1 % | 89 von 108 | 82,4 % | +20,3 Punkte |
| B | 353 von 560 | 63,0 % | 17 von 25 | 68,0 % | +5,0 Punkte |
| C | 120 von 325 | 36,9 % | 202 von 593 | 34,1 % | -2,9 Punkte |
| D | 138 von 417 | 33,1 % | 131 von 375 | 34,9 % | +1,8 Punkte |
| E | 53 von 191 | 27,7 % | 94 von 393 | 23,9 % | -3,8 Punkte |
| F | 22 von 373 | 5,9 % | 24 von 341 | 7,0 % | +1,1 Punkte |
| Alle sechs zusammen | 1.198 von 2.691 | 44,5 % | 557 von 1.835 | 30,4 % | -14,2 Punkte |
CEOtudent-Analyse des mit R verteilten Datensatzes UCBAdmissions (4.526 Bewerbende), abgeleitet aus Bickel, Hammel und O’Connell (1975); Quoten in calc.py neu berechnet.
Insgesamt wurden Männer zu 44,5 Prozent und Frauen zu 30,4 Prozent zugelassen. Dennoch lagen die Quoten der Frauen in vier der sechs Fachbereiche höher. Die Umkehrung ergibt sich daraus, wo sich die Menschen beworben haben: 51,5 Prozent der Männer bewarben sich bei den Fachbereichen A und B, die die meisten Bewerbenden zuließen, während sich 92,8 Prozent der Frauen bei den Fachbereichen C bis F bewarben, die die meisten ablehnten (CEOtudent-Berechnung). Die R-Dokumentation sagt es deutlich: Der scheinbare Zusammenhang „rührt von Unterschieden in der Neigung von Männern und Frauen her, sich bei den einzelnen Fachbereichen zu bewerben“.
Die Frage, die Sie stellen sollten: „Gilt das Ergebnis innerhalb jedes Segments, und sind die Gruppen über die Segmente gleich verteilt?“
Konzept 7: Wurde es ausgewählt, weil es extrem war? Regression zur Mitte
Alles, was ausgewählt wird, weil es ungewöhnlich hoch oder niedrig ist, misst beim nächsten Mal tendenziell näher am Durchschnitt, mit oder ohne Eingriff. Adrian Barnett, Jolieke van der Pols und Annette Dobson (International Journal of Epidemiology, 2005) beschreiben die Regression zur Mitte als ein Phänomen, das „natürliche Schwankungen in wiederholten Daten wie echte Veränderung aussehen lassen kann“, am stärksten bei großem Messfehler und wenn die Nachbeobachtung nur Fälle umfasst, die nach einem extremen ersten Wert ausgewählt wurden (Abstract).
Daniel Kahnemans Nobel-Autobiografie liefert die Version für den Arbeitsplatz. Ein Fluglehrer widersprach seinem Rat zum Loben: Flugschüler, die für ein sauberes Manöver gelobt wurden, schnitten beim nächsten Mal meist schlechter ab, und Flugschüler, die angeschrien wurden, verbesserten sich meist. Kahneman erkannte, dass extreme Leistungen teils Glück sind, das sich nicht auf Kommando wiederholt, sodass „wir statistisch dafür bestraft werden, andere zu belohnen, und dafür belohnt werden, sie zu bestrafen“.
Die schwächste Region verbessert sich also nach einem Sanierungsprogramm und der beste Leistungsträger rutscht nach einem Bonus ab, und beides beweist nichts.
Die Frage, die Sie stellen sollten: „Wurde das wegen eines extremen Ergebnisses ausgewählt, und was geschah mit einer ähnlichen Gruppe ohne Eingriff?“
Konzept 8: Durchschnitt wovon? Mittelwert, Median und Schiefe
Der Mittelwert addiert alles und teilt; der Median ist der mittlere Fall. Wenn einige Werte sehr groß sind, wie bei Einkommen, Auftragsgrößen, Kostenüberschreitungen oder der durch ein KI-Werkzeug eingesparten Zeit, wird der Mittelwert in Richtung des Ausläufers gezogen.
Der Bericht Income in the United States: 2025 des US Census Bureau (September 2026) beziffert das mittlere Haushaltseinkommen (Median) auf 87.460 $, ein Plus von 2,6 Prozent gegenüber 85.210 $ im Jahr 2024. Die historische Tabelle H-6 des Bureau weist für 2025 einen Mittelwert von 126.700 $ aus: 39.240 $ oder 45 Prozent über dem Median (CEOtudent-Berechnung). Der Bericht hält außerdem fest, dass das Einkommen am 90. Perzentil das 13,06-Fache des Einkommens am 10. Perzentil betrug. „Der durchschnittliche Haushalt“ kann um Zehntausende Dollar danebenliegen, ohne dass eine Zahl falsch ist, und dasselbe gilt für die „durchschnittlich eingesparte Zeit“, wenn einige Intensivnutzer dominieren.
Die Frage, die Sie stellen sollten: „Mittelwert oder Median, und wie sieht die Streuung aus?“
Konzept 9: Wo beginnt die Achse? Irreführende Diagrammgestaltung
Michael Correll, Enrico Bertini und Steven Franconeri (CHI 2020) zeigen ein Fernseh-Balkendiagramm, das einen Spitzensteuersatz von 35,0 Prozent mit 39,6 Prozent vergleicht. Da die y-Achse bei 34 Prozent begann, wurde der zweite Balken etwa sechsmal so hoch gezeichnet, obwohl das Verhältnis der Werte 1,13 zu 1 beträgt. Das Paper nennt den Unterschied „eine Steigerung um 4,6 %“; streng genommen sind es 4,6 Prozentpunkte, ein relativer Anstieg um 13,1 Prozent (CEOtudent-Berechnung). Selbst sorgfältige Forscher verwechseln Prozent und Prozentpunkte.
Ihre Crowdsourcing-Experimente ergaben, dass eine abgeschnittene y-Achse „einen konsistenten und signifikanten Einfluss auf die wahrgenommene Bedeutung von Effektstärken“ hatte, in Liniendiagrammen ebenso wie in Balkendiagrammen, und dass Warnhinweise wie eine unterbrochene Achse oder eine Verlaufsfüllung keine konsistente Wirkung zeigten. Den Trick zu kennen, neutralisiert ihn nicht; Sie müssen die Achsenbeschriftungen lesen.
Die Frage, die Sie stellen sollten: „Welche Werte stehen an der Achse, und welche Veränderung wäre hier tatsächlich relevant?“
Konzept 10: Was sagt Ihnen „statistisch signifikant“?
Am 7. März 2016 veröffentlichte die American Statistical Association sechs Grundsätze zu p-Werten. Grundsatz 2: „P-Werte messen weder die Wahrscheinlichkeit, dass die untersuchte Hypothese wahr ist, noch die Wahrscheinlichkeit, dass die Daten allein durch Zufall entstanden sind.“ Grundsatz 5: Ein p-Wert „misst weder die Größe eines Effekts noch die Bedeutung eines Ergebnisses.“ Grundsatz 3 ergänzt, dass „geschäftliche oder politische Entscheidungen nicht allein darauf beruhen sollten, ob ein p-Wert eine bestimmte Schwelle überschreitet.“
„Signifikant“ heißt nicht groß, wichtig oder wahrscheinlich replizierbar, wie Konzept 4 zeigt.
Eine verwandte Falle ist Präzisionstheater: ein Produktivitätsgewinn, auf zwei Nachkommastellen angegeben, aus einem Pilotprojekt mit einer Handvoll Personen. Nachkommastellen sagen nichts über Unsicherheit. Unsere Prüfung der Behauptung von 35.000 Entscheidungen pro Tag zeigt eine präzise klingende Zahl, die jahrelang ohne nachvollziehbare Messung kursierte, und unser Leitfaden zur Konfidenzkalibrierung zeigt, wie Sie beurteilen, ob eine angegebene Spanne ehrlich ist.
Die Frage, die Sie stellen sollten: „Wie groß ist der Effekt, wie unsicher ist er, und hat ihn noch jemand anderes gefunden?“
Der Feldführer für irreführende Zahlen
Tabelle 4. Redaktionelles CEOtudent-Rahmenwerk: der Feldführer für irreführende Zahlen
| Konzept | Die Falle in einer Zeile | Die eine Frage | Die ehrliche Version | Wo es bei der Arbeit auftaucht |
|---|---|---|---|---|
| Relativ vs. absolut | Großer Prozentwert, winzige Basis | Von wie vielen? | „Von 4 auf 2 pro 1.000 (50 %)“ | Anbieterpräsentationen, Schlagzeilen |
| Basisraten | Testgenauigkeit als Treffergenauigkeit gelesen | Wie viele von allen Markierten sind echt? | Richtig und falsch Positive pro 1.000 | Betrugswarnungen, Lebenslauf-Screening, KI-Detektoren |
| Stichprobengröße | Kleine Einheiten gewinnen und verlieren Rankings | Wie viele Fälle? | n angegeben, mit Spanne | Ranglisten, Pilotprojekte, Teamumfragen |
| Selektion | Nur Überlebende sichtbar | Was ist hier nicht sichtbar? | Rücklaufquote und Ausschlüsse offengelegt | Fallstudien, Testimonials |
| Korrelation | Gemeinsame Bewegung als Ursache gelesen | Was unterscheidet sich sonst? Zufällige Zuteilung? | Kontrollierter Vergleich, Störfaktoren benannt | Dashboards zu Nutzung vs. Leistung |
| Simpson-Paradoxon | Gesamtwert widerspricht den Segmenten | Gilt es in jedem Segment? | Segmenttabelle neben dem Gesamtwert | Umsatz nach Region, Bewertungen nach Team |
| Regression zur Mitte | Extreme driften zurück, die Maßnahme bekommt die Anerkennung | Wegen eines Extrems ausgewählt? Womit verglichen? | Unbehandelte Vergleichsgruppe | Sanierungen, Boni, Pilotprojekte im „schlechtesten Monat“ |
| Mittelwert vs. Median | Ein Ausläufer zieht den Durchschnitt | Mittelwert oder Median? Streuung? | Median plus Perzentile | Gehalt, eingesparte Zeit, Auftragsgröße |
| Diagrammgestaltung | Die Achse erzeugt oder versteckt Dramatik | Welche Werte stehen an der Achse? | Beschriftete Achse, begründete Skala | Vorstandsfolien, KI-generierte Diagramme |
| Signifikanz und Präzision | „Signifikant“ und Nachkommastellen als Bedeutung gelesen | Wie groß, wie unsicher, repliziert? | Effektstärke mit Intervall | A/B-Tests, KI-Zusammenfassungen von Studien |
Redaktionelles CEOtudent-Rahmenwerk; eine Lesehilfe, kein statistisches Verfahren.
Eine Checkliste mit 10 Fragen vor jeder Entscheidung auf Basis einer Statistik
Nutzen Sie sie, bevor eine Zahl ein Budget, eine Einstellung oder eine Strategie verändert.
- Quelle: Lässt sich die Originaltabelle oder das Originalpaper öffnen?
- Nenner: Von wie vielen?
- Vergleich: Verglichen womit: dem Vorjahr, einer Kontrollgruppe, nichts?
- Absolute Größe: Falls relativ, wie lauten die Werte vorher und nachher?
- Basisrate: Wie häufig ist das, was erkannt oder vorhergesagt werden soll?
- Stichprobe: Wie viele Fälle, und wie ausgewählt?
- Fehlende Daten: Wer oder was fehlt in den Daten, und warum?
- Alternativen: Was könnte das sonst hervorbringen, einschließlich der Regression zur Mitte?
- Segmente: Gilt es innerhalb der wichtigsten Untergruppen?
- Unsicherheit: Wie groß ist die Spanne, und hat es jemand repliziert?
Wöchentliche Übungsroutine (etwa 30 Minuten): Montag: Notieren Sie eine Statistik aus der Arbeit oder einer KI-Antwort mit ihrer angegebenen Quelle. Dienstag: Finden Sie das Original, mithilfe unseres Protokolls für den Faktencheck. Mittwoch: Übersetzen Sie die Zahl in Häufigkeiten von 1.000 und schreiben Sie die absolute Version in einem Satz auf. Donnerstag: Gehen Sie die zehn Fragen durch und notieren Sie, welche die ursprüngliche Darstellung übersprungen hat. Freitag: Schreiben Sie zwei Zeilen dazu, welche Entscheidung die Zahl stützen sollte und welche nicht; wie unser Beitrag über Schreiben als Denken argumentiert, prüft das Ausschreiben, ob Sie es verstanden haben.
Tabelle 5. Illustratives Rechenbeispiel: Ein Anbieter sagt, sein KI-Werkzeug „senkt Bearbeitungsfehler um 50 %“
| Posten | Wert | Status |
|---|---|---|
| Transaktionen pro Monat | 10.000 | Illustrative Annahme |
| Aktuelle Fehlerquote | 4 pro 1.000 | Illustrative Annahme |
| Fehlerquote nach einer Senkung um 50 % | 2 pro 1.000 | Aus der Behauptung abgeleitet |
| Absolute Senkung | 0,2 Prozentpunkte; 20 Fehler pro Monat | Abgeleitet |
| Kosten pro Fehler | 120 Währungseinheiten | Illustrative Annahme |
| Monatliche Einsparung | 2.400 | Abgeleitet |
| Monatliche Werkzeugkosten | 3.000 | Illustrative Annahme |
| Monatliches Nettoergebnis | -600 | Abgeleitet |
| Aktuelle Fehlerquote am Break-even | 5 pro 1.000 | Abgeleitet |
Jeder Eingabewert ist eine illustrative Annahme, keine Produktdaten; Berechnungen in calc.py. Die Schlagzeile „50 %“ ist identisch, ob sich das Werkzeug rechnet oder nicht.
Der CEO-Schritt und der Studenten-Schritt
Der CEO-Schritt. Machen Sie drei Felder für jede Zahl, die eine Entscheidung lenkt, verpflichtend: Nenner, Vergleich, Quelle. Legen Sie schriftlich fest, welche Fragen der Checkliste vor dem Handeln beantwortet sein müssen, und schicken Sie jede Folie zurück, die sie nicht beantworten kann, egal wer oder was sie erstellt hat. Kombinieren Sie das mit dem Denken in Wetten, damit unsichere Zahlen als Wahrscheinlichkeiten statt als Gewissheiten verwendet werden.
Der Studenten-Schritt. Trainieren Sie so, wie es die Gynäkologen taten: Ändern Sie die Darstellung, bis die Antwort offensichtlich ist. Übersetzen Sie jeden Prozentwert in Häufigkeiten von 1.000 und leiten Sie jede Woche eine Behauptung aus ihrer Quelle neu her. Über Monate werden die zehn Konzepte zu Reflexen, Teil der umfassenderen Bewertungskompetenz, Ergebnisse zu beurteilen, die Sie nicht selbst erstellt haben.
Was das nicht bedeutet
- Das ist kein Statistikkurs. Die zehn Konzepte sind ein defensives Minimum; Modellierung, kausale Inferenz und Versuchsplanung erfordern eine Ausbildung oder eine Fachperson.
- Relative Zahlen sind nicht unehrlich. Sie eignen sich gut, um Effekte über Gruppen hinweg zu vergleichen. Das Problem ist eine relative Zahl ohne ihre absolute Basis.
- Eine gescheiterte Replikation bedeutet keinen Betrug. Die Open Science Collaboration stellte fest, dass sich der Replikationserfolg besser durch die Stärke der ursprünglichen Evidenz vorhersagen ließ als durch Merkmale der Teams.
- Die Gesundheitsbeispiele sind allgemeine Informationen darüber, wie Statistiken kommuniziert werden, keine medizinische Beratung; die Zahlen stammen aus den zitierten Studien.
Häufig gestellte Fragen
Was ist die nützlichste einzelne Gewohnheit für einen Nicht-Analysten?
Prozentwerte in Häufigkeiten von 1.000 zu übersetzen. Das deckt die Verwechslung von relativ und absolut auf, macht Basisraten sichtbar und brachte die Gynäkologen in der oben genannten Studie von 21 Prozent auf 87 Prozent richtige Antworten.
Wie lässt sich ein irreführendes Diagramm schnell erkennen?
Lesen Sie die Achsenbeschriftungen vor den Balken. Prüfen Sie, wo die y-Achse beginnt, ob zwei Datenreihen unterschiedliche Skalen verwenden und ob die gezeigte Veränderung in der Praxis relevant wäre.
Ist eine größere Stichprobe immer besser?
Eine Vervierfachung der Stichprobe halbiert die Fehlermarge, aber eine große verzerrte Stichprobe bleibt verzerrt.
Was bedeutet p < 0,05 in einfachen Worten?
Dass die Daten ziemlich überraschend wären, wenn es keinen Effekt gäbe, unter dem Modell des Analysten. Laut der American Statistical Association ist es weder die Wahrscheinlichkeit, dass die Hypothese wahr ist, noch ein Maß für die Effektstärke.
Wie lässt sich das auf Zahlen anwenden, die KI-Werkzeuge erzeugen?
Genauso, plus ein Schritt: Bestätigen Sie, dass die Zahl in einer echten Quelle existiert, bevor Sie sie analysieren. Unser Leitfaden zu Warnsignalen behandelt erfundene Zahlen.
Quellen
- Central Statistics Office (Irland). Programme for the International Assessment of Adult Competencies (PIAAC) 2023: International Comparison, Tabellen 3.2 und 3.5. Statistische Veröffentlichung, 10. Dezember 2024 (gibt die Ergebnisse des OECD Survey of Adult Skills 2023 wieder).
- US National Center for Education Statistics. Highlights of the 2023 U.S. PIAAC Results: Highlights of U.S. National Results. Dezember 2024.
- Gigerenzer, G., Gaissmaier, W., Kurz-Milcke, E., Schwartz, L. M. und Woloshin, S. Helping Doctors and Patients Make Sense of Health Statistics. Psychological Science in the Public Interest, 8(2), 53-96, 2007 (Kopie im Repositorium der Universität Konstanz).
- Wainer, H. The Most Dangerous Equation. American Scientist, 95(3), Mai-Juni 2007 (archivierte Kopie der Verlagsseite).
- Open Science Collaboration. Estimating the Reproducibility of Psychological Science. Science, 349(6251), aac4716, 2015 (Autorenversion, Repositorium der University of Dundee).
- American Statistical Association. American Statistical Association Releases Statement on Statistical Significance and P-Values. Pressemitteilung, 7. März 2016 (listet die sechs Grundsätze auf; die vollständige Stellungnahme von Wasserstein und Lazar wurde nicht geöffnet).
- Messerli, F. H. Chocolate Consumption, Cognitive Function, and Nobel Laureates. New England Journal of Medicine, 367(16), 1562-1564, 2012 (nur PubMed-Eintrag; Inhalt wie in Quelle 8 zusammengefasst).
- Maurage, P., Heeren, A. und Pesenti, M. Does Chocolate Consumption Really Boost Nobel Award Chances? The Peril of Over-Interpreting Correlations in Health Studies. Journal of Nutrition, 143(6), 931-933, 2013 (nur Abstract).
- R Core Team. UCBAdmissions: Student Admissions at UC Berkeley. Datendatei und Dokumentation des R-Pakets datasets, mit Verweis auf Bickel, P. J., Hammel, E. A. und O’Connell, J. W., Sex Bias in Graduate Admissions: Data from Berkeley, Science, 187, 1975 (Originalpaper nicht geöffnet).
- Kahneman, D. Biographical. Sveriges Riksbank Prize in Economic Sciences in Memory of Alfred Nobel 2002, Nobel Prize Outreach.
- Barnett, A. G., van der Pols, J. C. und Dobson, A. J. Regression to the Mean: What It Is and How to Deal With It. International Journal of Epidemiology, 34(1), 215-220, 2005 (nur Abstract; 2015 wurde ein Erratum veröffentlicht).
- US Census Bureau. Income in the United States: 2025. Current Population Reports P60-289, September 2026.
- US Census Bureau. Historical Income Tables, Table H-6: Median and Mean Household Income of All Households by Region, 1975 to 2025.
- Correll, M., Bertini, E. und Franconeri, S. Truncating the Y-Axis: Threat or Menace? CHI 2020 Conference on Human Factors in Computing Systems (arXiv-Version 2, Januar 2020).
Die Tabellen 2, 3 und 5 sind CEOtudent-Analysen (Tabelle 5 ist illustrativ, jeder Eingabewert eine Annahme); Tabelle 4 ist ein redaktionelles CEOtudent-Rahmenwerk. Die kombinierten Anteile der Stufen 4 und 5 sind aus gerundeten veröffentlichten Prozentwerten berechnet. Bewusst nicht verwendet: die Untergruppentabelle zu Nierensteinen von Charig et al. (1986) (nur das Abstract ließ sich öffnen), die oft zitierten campusweiten Berkeley-Gesamtzahlen (Originalpaper nicht geöffnet), die Ergebnisse von Pandey et al. (2015) zu täuschenden Diagrammen (kein frei zugänglicher Volltext) und der Korrelationskoeffizient zu Schokolade und Nobelpreisen (Messerli-Artikel nicht zugänglich).
Dieser Inhalt wurde nach eingehender Recherche mit Unterstützung von KI zusammengestellt und vom CEOtudent-Redaktionsteam geschrieben und für die Veröffentlichung aufbereitet.
This post is also available in:
