TL;DR. Dans l’Enquête sur les compétences des adultes de l’OCDE (données 2023, publiées en décembre 2024), 25 % des adultes des pays de l’OCDE se situaient au niveau 1 ou en dessous en numératie, et 14 % atteignaient les niveaux 4 ou 5. Aux États-Unis, la part des adultes à faible numératie est passée de 29 % en 2017 à 34 % en 2023. Pendant ce temps, les outils d’IA et les présentations des fournisseurs produisent plus que jamais des pourcentages affirmés avec aplomb. Les non-analystes ont besoin d’une dizaine de notions, chacune associée à une question, qui empêchent un chiffre exact de les induire en erreur. Le format compte autant que le lecteur : lorsque 160 gynécologues ont vu des statistiques de test présentées comme des probabilités conditionnelles, 21 % ont trouvé la bonne réponse ; après avoir appris à les reformuler en effectifs sur 1 000, 87 % y sont parvenus. Le réflexe du CEO : exiger que chaque chiffre qui guide une décision arrive avec son dénominateur, son point de comparaison et sa source, et décider à l’avance quelles questions sont obligatoires avant d’agir. Le réflexe de l’étudiant : convertir chaque pourcentage en « combien sur 1 000 », et retrouver chaque semaine une affirmation à partir de sa source d’origine.
Ce guide appartient au cluster Compétences cognitives fondamentales, ancré par notre article sur la lecture profonde comme avantage concurrentiel. Il est le pendant chiffré du protocole en 5 étapes pour vérifier les réponses de l’IA et des 12 signaux d’alerte des mauvaises réponses de l’IA. Ces articles repèrent les affirmations fausses. Celui-ci traite un cas plus difficile : les chiffres exacts qui induisent tout de même en erreur.
Pourquoi un non-analyste a-t-il besoin de statistiques aujourd’hui ?
Produire un graphique ou une phrase du type « la plupart des clients préfèrent » ne coûte désormais presque rien, si bien que davantage de chiffres parviennent aux décideurs avec moins de vérification (voir notre article sur la crise du rapport signal/bruit). La plus récente mesure internationale de la numératie des adultes montre à quel point les lecteurs sont exposés.
L’Enquête sur les compétences des adultes de l’OCDE a testé des adultes âgés de 16 à 65 ans dans 31 pays participants. Le score moyen de numératie de l’OCDE était de 263 sur une échelle de 0 à 500. Les adultes de niveau 1, selon la description de l’enquête, manient les nombres entiers, les décimaux, les fractions courantes et les pourcentages et « élaborent des stratégies simples en une ou deux étapes ». Lire un risque relatif, une probabilité conditionnelle ou une moyenne asymétrique demande généralement plus d’étapes que cela.
Tableau 1. Numératie des adultes dans une sélection de pays, Enquête sur les compétences des adultes de l’OCDE 2023 (adultes de 16-65 ans)
| Pays ou économie | Score moyen de numératie | Niveau 1 ou en dessous | Niveau 4 | Niveau 5 |
|---|---|---|---|---|
| Moyenne OCDE | 263 | 25 % | 12 % | 2 % |
| Finlande | 294 | 12 % | 26 % | 5 % |
| Japon | 291 | 10 % | 21 % | 3 % |
| Pays-Bas | 284 | 15 % | 20 % | 4 % |
| Allemagne | 273 | 20 % | 16 % | 2 % |
| Angleterre (Royaume-Uni) | 268 | 21 % | 14 % | 2 % |
| France | 257 | 28 % | 10 % | 1 % |
| Espagne | 250 | 30 % | 6 % | 0 % |
| États-Unis | 249 | 34 % | 10 % | 2 % |
| Italie | 244 | 35 % | 6 % | 0 % |
| Chili | 214 | 56 % | 2 % | 0 % |
Source : Enquête sur les compétences des adultes de l’OCDE 2023, reprise par le Central Statistics Office irlandais (PIAAC 2023 International Comparison, tableaux 3.2 et 3.5). Pourcentages arrondis tels que publiés.
Deux lectures comptent. L’écart est important : 80 points séparent les moyennes finlandaise et chilienne, et la part d’adultes à faible numératie va de 10 % au Japon à 56 % au Chili. Et même dans le pays le plus performant, la plupart des adultes ne sont pas au sommet : les niveaux 4 et 5 réunis couvrent 31 % des adultes finlandais et 14 % en moyenne OCDE (calcul CEOtudent à partir des parts arrondies). Ne supposez pas que la personne qui présente un graphique en fait partie.
Le National Center for Education Statistics américain ajoute une tendance : la part des adultes américains au niveau 1 ou en dessous en numératie est passée de 29 % en 2017 à 34 % en 2023, avec la mise en garde que l’édition 2023 a été entièrement administrée sur tablette et que les évaluations diffèrent.
Notion 1 : s’agit-il d’une variation relative ou d’une variation absolue ?
Sur une base faible, les variations relatives paraissent spectaculaires alors que les variations absolues restent minimes.
Gerd Gigerenzer et ses collègues, dans une monographie de 2007 parue dans Psychological Science in the Public Interest, décrivent la panique britannique autour de la pilule contraceptive. En octobre 1995, les autorités ont averti que les pilules de troisième génération doublaient le risque de thrombose, soit une hausse de 100 %. Les études sous-jacentes montraient environ 1 cas pour 7 000 femmes sous les anciennes pilules et environ 2 pour 7 000 sous les nouvelles : une hausse absolue de 1 sur 7 000. Les auteurs font état d’environ 13 000 avortements supplémentaires en Angleterre et au pays de Galles l’année suivante.
La même monographie montre l’inverse pour les bénéfices. Une réduction de 25 % des décès par cancer du sein grâce au dépistage par mammographie correspond, selon les termes des auteurs, à « 1 femme de moins sur 1 000 ». Dans des échantillons aléatoires de femmes de quatre pays, seules 6 % ont donné une réponse que les auteurs ont jugée correcte (0 à 5 sur 1 000), tandis que 60 % des répondantes américaines pensaient que le bénéfice était de 80 sur 1 000 ou plus. (Exemples de cadrage issus de recherches de 2007, pas des recommandations de santé.)
Tableau 2. Analyse CEOtudent : le même résultat publié exprimé de quatre façons
| Résultat publié | Cadrage relatif | Cadrage absolu | Effectifs pour 1 000 | Unités par cas supplémentaire ou évité |
|---|---|---|---|---|
| Thrombose, nouvelle pilule vs ancienne (Gigerenzer et al. 2007) | +100 % | +1 sur 7 000 (0,014 point de pourcentage) | 0,14 à 0,29 | 7 000 femmes par cas supplémentaire |
| Décès par cancer du sein avec dépistage (Gigerenzer et al. 2007) | -25 % | 1 de moins sur 1 000 | environ 4 à 3 (base implicite) | 1 000 femmes dépistées par décès évité |
| Graphique en barres sur un taux d’imposition (Correll et al. 2020, fig. 1b) | +13,1 % | +4,6 points de pourcentage (35,0 % à 39,6 %) | 350 à 396 pour 1 000 dollars | Barre dessinée 5,6 fois plus haute |
Analyse CEOtudent des chiffres de Gigerenzer et al. (2007) et de Correll, Bertini et Franconeri (2020) ; calculs dans calc.py. La base de la ligne 2 est déduite : une baisse relative de 25 % équivalant à 1 sur 1 000 implique un risque de départ d’environ 4 sur 1 000.
La question à poser : « Sur combien ? »
Notion 2 : que se passe-t-il sur 1 000 ? Taux de base et fréquences naturelles
Notre article sur les taux de base et la vue extérieure explique pourquoi les résultats typiques doivent ancrer les prévisions. Les fréquences naturelles, c’est-à-dire des probabilités reformulées en effectifs dans un groupe imaginaire, rendent les taux de base utilisables sur le moment.
Lors d’une session de formation continue de 2007 décrite dans la monographie de Gigerenzer, on a indiqué à 160 gynécologues : 1 % des femmes d’une population dépistée ont un cancer du sein ; une femme atteinte d’un cancer obtient un test positif dans 90 % des cas ; une femme sans cancer obtient tout de même un test positif dans 9 % des cas. Interrogés sur la signification d’un résultat positif, la plupart ont répondu « 90 % » ou « 81 % », les estimations allaient de 1 % à 90 %, et 21 % ont choisi la meilleure réponse.
Reformulé en effectifs : sur 1 000 femmes, dix ont un cancer du sein, et 9 d’entre elles obtiennent un test positif. Sur les 990 sans cancer, environ 89 obtiennent aussi un test positif. Donc, sur environ 98 tests positifs, environ 9 correspondent à un cancer, soit à peu près 1 sur 10 ou 9,2 % (calcul CEOtudent). Après une formation à cette traduction, 87 % des gynécologues ont choisi la bonne réponse.
Les médecins n’ont pas changé ; la représentation, si. La méthode s’applique à tout filtre, des modèles de détection de fraude aux détecteurs de textes générés par IA : partez de 1 000 cas, appliquez le taux de base, le taux de détection et le taux de fausses alertes, puis comptez.
La question à poser : « Parmi tous les cas signalés, combien sont réels ? »
Notion 3 : quelle était la taille de l’échantillon ?
Les petits groupes produisent des résultats extrêmes dans les deux sens, car quelques cas suffisent à faire beaucoup bouger leur moyenne. Howard Wainer, dans un essai de 2007 paru dans American Scientist, a qualifié le résultat de de Moivre de 1730, selon lequel la variabilité d’une moyenne diminue avec la racine carrée de la taille de l’échantillon, de « l’équation la plus dangereuse ».
Son exemple central a coûté cher. À partir de la fin des années 1990, la Bill and Melinda Gates Foundation a soutenu les petites écoles, avec des subventions à l’éducation d’environ 1,7 milliard $ en 2001, en partie parce que les petites écoles étaient surreprésentées parmi les meilleurs résultats. Wainer et Harris Zwerling ont examiné les 1 662 écoles de Pennsylvanie publiant des scores de lecture en 5e année. Parmi les 50 meilleures, 6 faisaient partie des 3 % d’écoles les plus petites : 12 % au lieu des 3 % attendus, une surreprésentation quadruple. Mais 9 des 50 écoles aux scores les plus faibles (18 %) figuraient aussi parmi les 50 plus petites. Les petites écoles se concentraient aux deux extrêmes, et la relation globale entre la taille et les scores de 5e année était pour l’essentiel nulle.
Il en va de même pour les classements en entreprise : si l’agence au meilleur taux de conversion ou l’équipe pilote d’IA la mieux notée est aussi la plus petite unité, la taille seule peut expliquer son rang.
Pour donner un ordre de grandeur, prenons une hypothèse illustrative : une question d’enquête dont la vraie réponse est 50 %. Avec 8 répondants, l’erreur type est d’environ 17,7 points de pourcentage, si bien qu’un intervalle approximatif à 95 % s’étend sur environ 35 points de part et d’autre. Avec 400 répondants, elle est de 2,5 points. Cinquante fois plus de données n’apportent qu’environ sept fois plus de précision (calcul CEOtudent dans calc.py).
La question à poser : « Sur combien de cas cela repose-t-il, et où se classent les plus petits groupes ? »
Notion 4 : qui manque dans les données ? Les filtres de sélection
Les répondants ont choisi de répondre, les études de cas ont été retenues parce qu’elles ont réussi, les études ont été publiées en partie parce que leurs résultats étaient frappants. Lorsqu’un filtre favorise certains résultats, les données visibles les surestiment.
L’Open Science Collaboration, avec 270 auteurs contributeurs et le soutien du Center for Open Science, a reproduit 100 études expérimentales et corrélationnelles publiées dans trois revues de psychologie, en utilisant des protocoles à forte puissance statistique. Son rapport de 2015 paru dans Science a montré que 97 % des études originales avaient des résultats significatifs, contre 36 % des réplications (35 sur 97). La taille d’effet moyenne est passée de 0,403 à 0,197, soit environ la moitié (calcul CEOtudent : 0,49), et dans 82 des 99 paires comparables l’effet original était plus grand.
Ces chiffres sont propres aux revues étudiées, mais toute littérature ou toute page de « témoignages clients » montre les survivants d’un filtre.
La question à poser : « Qu’est-ce qui n’est pas visible ici ? » Demandez qui n’a pas répondu, ce qui a été exclu et combien de tentatives ont précédé celle qui est montrée.
Notion 5 : autre chose pourrait-il l’expliquer ? Corrélation et facteurs de confusion
Deux éléments qui évoluent ensemble peuvent avoir une cause commune (un facteur de confusion), fonctionner en sens inverse ou simplement suivre la même tendance.
Un cas d’école : en 2012, le New England Journal of Medicine a publié un court article de Franz Messerli sur une corrélation entre la consommation de chocolat et le nombre de lauréats du prix Nobel. Comme le résument Pierre Maurage, Alexandre Heeren et Mauro Pesenti dans The Journal of Nutrition (2013), il a conduit à suggérer que davantage de chocolat pourrait signifier davantage de lauréats grâce aux flavanols du cacao. Ils soutiennent que cette interprétation s’effondre dès que l’on considère d’autres aliments riches en flavanols, et rapportent de fortes corrélations entre le nombre de lauréats et d’autres mesures, « qu’elles soient logiquement liées ou non » (résumé). La richesse nationale et les dépenses de recherche sont des causes communes plausibles.
Au travail, le schéma est moins amusant. Les équipes qui utilisent un nouvel outil d’IA déclarent une production plus élevée, mais les premiers adoptants avaient peut-être aussi les meilleurs managers. Les clients qui utilisent une fonctionnalité résilient moins, mais les clients engagés utilisent à la fois plus de fonctionnalités et résilient moins.
La question à poser : « Qu’est-ce qui diffère d’autre entre ces groupes, et quelqu’un a-t-il été affecté au hasard ? »
Notion 6 : le schéma s’inverse-t-il quand on découpe les données ? Le paradoxe de Simpson
Une comparaison peut pointer dans un sens sur le total et dans le sens opposé à l’intérieur des sous-groupes lorsque les groupes sont inégalement répartis entre ces sous-groupes. Le cas classique est celui des admissions en cycle supérieur de l’automne 1973 à l’University of California, Berkeley, analysées par Peter Bickel, Eugene Hammel et William O’Connell dans Science en 1975. Les données des six plus grands départements sont fournies avec le logiciel statistique R, de sorte que les chiffres peuvent être recalculés exactement.
Tableau 3. Analyse CEOtudent : admissions à UC Berkeley, automne 1973, six plus grands départements
| Département | Hommes admis | Taux des hommes | Femmes admises | Taux des femmes | Écart (femmes moins hommes) |
|---|---|---|---|---|---|
| A | 512 sur 825 | 62,1 % | 89 sur 108 | 82,4 % | +20,3 points |
| B | 353 sur 560 | 63,0 % | 17 sur 25 | 68,0 % | +5,0 points |
| C | 120 sur 325 | 36,9 % | 202 sur 593 | 34,1 % | -2,9 points |
| D | 138 sur 417 | 33,1 % | 131 sur 375 | 34,9 % | +1,8 point |
| E | 53 sur 191 | 27,7 % | 94 sur 393 | 23,9 % | -3,8 points |
| F | 22 sur 373 | 5,9 % | 24 sur 341 | 7,0 % | +1,1 point |
| Les six réunis | 1 198 sur 2 691 | 44,5 % | 557 sur 1 835 | 30,4 % | -14,2 points |
Analyse CEOtudent du jeu de données UCBAdmissions distribué avec R (4 526 candidats), issu de Bickel, Hammel et O’Connell (1975) ; taux recalculés dans calc.py.
Globalement, les hommes ont été admis à 44,5 % et les femmes à 30,4 %. Pourtant, les taux des femmes étaient plus élevés dans quatre des six départements. L’inversion vient de l’endroit où les candidats ont postulé : 51,5 % des hommes ont postulé aux départements A et B, qui admettaient la plupart des candidats, tandis que 92,8 % des femmes ont postulé aux départements C à F, qui en refusaient la plupart (calcul CEOtudent). La documentation de R le dit clairement : l’association apparente « provient de différences dans la tendance des hommes et des femmes à postuler aux différents départements ».
La question à poser : « Le résultat tient-il à l’intérieur de chaque segment, et les groupes sont-ils répartis de la même façon entre les segments ? »
Notion 7 : a-t-il été choisi parce qu’il était extrême ? La régression vers la moyenne
Tout ce qui est sélectionné parce qu’il est inhabituellement élevé ou bas tend à se rapprocher de la moyenne lors de la mesure suivante, qu’il y ait eu intervention ou non. Adrian Barnett, Jolieke van der Pols et Annette Dobson (International Journal of Epidemiology, 2005) décrivent la régression vers la moyenne comme un phénomène qui « peut faire passer la variation naturelle de données répétées pour un changement réel », d’autant plus marqué que l’erreur de mesure est importante et que le suivi ne porte que sur des cas sélectionnés sur une première valeur extrême (résumé).
L’autobiographie Nobel de Daniel Kahneman en donne la version professionnelle. Un instructeur de vol contestait son conseil sur les éloges : les élèves pilotes félicités pour une manœuvre impeccable faisaient généralement moins bien la fois suivante, et ceux qui se faisaient crier dessus progressaient généralement. Kahneman a compris que les performances extrêmes relèvent en partie de la chance, qui ne se répète pas sur commande, de sorte que « nous sommes statistiquement punis quand nous récompensons les autres et récompensés quand nous les punissons ».
Ainsi, la pire région s’améliore après un programme de redressement et le meilleur élément recule après une prime, ce qui ne prouve rien dans un cas comme dans l’autre.
La question à poser : « A-t-il été retenu pour un résultat extrême, et qu’est-il arrivé à un groupe similaire sans intervention ? »
Notion 8 : la moyenne de quoi ? Moyenne, médiane et asymétrie
La moyenne additionne tout et divise ; la médiane est le cas du milieu. Lorsque quelques valeurs sont très élevées, comme pour les revenus, la taille des contrats, les dépassements de budget ou le temps gagné grâce à un outil d’IA, la moyenne est tirée vers la queue de distribution.
Le rapport Income in the United States: 2025 du US Census Bureau (septembre 2026) situe le revenu médian des ménages à 87 460 $, en hausse de 2,6 % par rapport à 85 210 $ en 2024. Le tableau historique H-6 du Bureau situe la moyenne 2025 à 126 700 $ : 39 240 $, soit 45 % au-dessus de la médiane (calcul CEOtudent). Le rapport note aussi que le revenu au 90e centile était 13,06 fois celui du 10e. « Le ménage moyen » peut s’écarter de dizaines de milliers de dollars sans qu’aucun chiffre soit faux, et il en va de même pour le « temps moyen gagné » lorsque quelques utilisateurs intensifs dominent.
La question à poser : « Moyenne ou médiane, et à quoi ressemble la dispersion ? »
Notion 9 : où commence l’axe ? La conception trompeuse des graphiques
Michael Correll, Enrico Bertini et Steven Franconeri (CHI 2020) reproduisent un graphique en barres télévisé comparant un taux d’imposition marginal supérieur de 35,0 % à 39,6 %. Avec un axe des ordonnées commençant à 34 %, la seconde barre était dessinée environ six fois plus haute, alors que le rapport entre les valeurs est de 1,13 pour 1. L’article qualifie la différence d’« une hausse de 4,6 % » ; à strictement parler, il s’agit de 4,6 points de pourcentage, soit une hausse relative de 13,1 % (calcul CEOtudent). Même des chercheurs rigoureux confondent pourcentage et points de pourcentage.
Leurs expériences menées par crowdsourcing ont montré que tronquer l’axe des ordonnées avait « un impact constant et significatif sur l’importance perçue des tailles d’effet », dans les graphiques linéaires comme dans les graphiques en barres, et que des signaux d’avertissement tels qu’un axe brisé ou un remplissage en dégradé n’avaient pas d’effet constant. Connaître l’astuce ne la neutralise pas ; il faut lire les étiquettes des axes.
La question à poser : « Quelles sont les valeurs des axes, et quelle variation compterait réellement ici ? »
Notion 10 : que vous apprend « statistiquement significatif » ?
Le 7 mars 2016, l’American Statistical Association a publié six principes sur les valeurs p. Principe 2 : « Les valeurs p ne mesurent pas la probabilité que l’hypothèse étudiée soit vraie, ni la probabilité que les données aient été produites par le seul hasard. » Principe 5 : une valeur p « ne mesure pas la taille d’un effet ni l’importance d’un résultat ». Le principe 3 ajoute que « les décisions commerciales ou politiques ne devraient pas reposer uniquement sur le fait qu’une valeur p franchit un seuil donné ».
« Significatif » ne veut pas dire grand, important ou susceptible d’être reproduit, comme le montre la notion 4.
Un piège voisin est le théâtre de la précision : un gain de productivité annoncé à deux décimales à partir d’un pilote mené avec une poignée de personnes. Les décimales ne disent rien de l’incertitude. Notre audit de l’affirmation des 35 000 décisions par jour montre un chiffre à l’allure précise qui circule depuis des années sans mesure traçable, et notre guide du calibrage de la confiance montre comment juger si une fourchette annoncée est honnête.
La question à poser : « Quelle est la taille de l’effet, quelle est son incertitude, et quelqu’un d’autre l’a-t-il retrouvé ? »
Le guide de terrain des chiffres trompeurs
Tableau 4. Cadre éditorial CEOtudent : le guide de terrain des chiffres trompeurs
| Notion | Le piège en une ligne | La question unique | La version honnête | Où il apparaît au travail |
|---|---|---|---|---|
| Relatif vs absolu | Gros pourcentage, base minime | Sur combien ? | « De 4 à 2 pour 1 000 (50 %) » | Présentations de fournisseurs, gros titres |
| Taux de base | Précision du test lue comme précision du signalement | Parmi tous les cas signalés, combien sont réels ? | Vrais et faux positifs pour 1 000 | Alertes de fraude, tri de CV, détecteurs d’IA |
| Taille de l’échantillon | Les petites unités gagnent et perdent les classements | Combien de cas ? | n indiqué, avec un intervalle | Classements, pilotes, enquêtes d’équipe |
| Sélection | Seuls les survivants sont visibles | Qu’est-ce qui n’est pas visible ici ? | Taux de réponse, exclusions communiquées | Études de cas, témoignages |
| Corrélation | Évolution conjointe lue comme causalité | Qu’est-ce qui diffère d’autre ? Affectation aléatoire ? | Comparaison contrôlée, facteurs de confusion nommés | Tableaux de bord adoption vs performance |
| Paradoxe de Simpson | Le total contredit les segments | Cela tient-il dans chaque segment ? | Tableau par segment à côté du total | Ventes par région, notes par équipe |
| Régression vers la moyenne | Les extrêmes reviennent vers la moyenne, l’action en récolte le mérite | Choisi pour son caractère extrême ? Comparé à quoi ? | Groupe de comparaison non traité | Redressements, primes, pilotes lancés sur le « pire mois » |
| Moyenne vs médiane | Une queue de distribution tire la moyenne | Moyenne ou médiane ? Dispersion ? | Médiane plus centiles | Salaires, temps gagné, taille des contrats |
| Conception des graphiques | L’axe fabrique ou masque le spectaculaire | Quelles sont les valeurs des axes ? | Axe étiqueté, échelle justifiée | Diapositives de conseil d’administration, graphiques générés par IA |
| Significativité et précision | « Significatif » et décimales lus comme de l’importance | Quelle taille, quelle incertitude, reproduit ? | Taille d’effet avec intervalle | Tests A/B, résumés d’études par l’IA |
Cadre éditorial CEOtudent ; une aide à la lecture, pas une procédure statistique.
Une check-list de 10 questions avant toute décision fondée sur une statistique
Utilisez-la avant qu’un chiffre ne modifie un budget, un recrutement ou une stratégie.
- Source : le tableau ou l’article d’origine peut-il être consulté ?
- Dénominateur : sur combien ?
- Comparaison : par rapport à quoi : l’année dernière, un groupe témoin, rien ?
- Taille absolue : si c’est relatif, quelles sont les valeurs avant et après ?
- Taux de base : à quel point ce que l’on détecte ou prédit est-il courant ?
- Échantillon : combien de cas, choisis comment ?
- Données manquantes : qui ou quoi ne figure pas dans les données, et pourquoi ?
- Alternatives : qu’est-ce qui d’autre pourrait produire ce résultat, y compris la régression vers la moyenne ?
- Segments : cela tient-il au sein des principaux sous-groupes ?
- Incertitude : quelle est la fourchette, et quelqu’un l’a-t-il reproduit ?
Routine d’entraînement hebdomadaire (environ 30 minutes) : lundi, notez une statistique tirée du travail ou d’une réponse d’IA avec la source qu’elle revendique. Mardi, retrouvez l’original à l’aide de notre protocole de vérification des faits. Mercredi, convertissez-la en effectifs sur 1 000 et rédigez la version absolue en une phrase. Jeudi, passez les dix questions et notez celles que la présentation d’origine a omises. Vendredi, écrivez deux lignes sur la décision que ce chiffre devrait et ne devrait pas étayer ; comme le soutient notre article sur l’écriture pour penser, l’écrire permet de vérifier si vous l’avez compris.
Tableau 5. Exemple chiffré illustratif : un fournisseur affirme que son outil d’IA « réduit les erreurs de traitement de 50 % »
| Élément | Valeur | Statut |
|---|---|---|
| Transactions par mois | 10 000 | Hypothèse illustrative |
| Taux d’erreur actuel | 4 pour 1 000 | Hypothèse illustrative |
| Taux d’erreur après une baisse de 50 % | 2 pour 1 000 | Déduit de l’affirmation |
| Réduction absolue | 0,2 point de pourcentage ; 20 erreurs par mois | Déduit |
| Coût par erreur | 120 unités monétaires | Hypothèse illustrative |
| Économie mensuelle | 2 400 | Déduit |
| Coût mensuel de l’outil | 3 000 | Hypothèse illustrative |
| Résultat net mensuel | -600 | Déduit |
| Taux d’erreur actuel au seuil de rentabilité | 5 pour 1 000 | Déduit |
Chaque donnée d’entrée est une hypothèse illustrative, pas une donnée produit ; calculs dans calc.py. Le titre « 50 % » est identique, que l’outil soit rentable ou non.
Le réflexe du CEO et le réflexe de l’étudiant
Le réflexe du CEO. Rendez obligatoires trois champs pour tout chiffre qui guide une décision : dénominateur, comparaison, source. Décidez par écrit quelles questions de la check-list doivent recevoir une réponse avant d’agir, et renvoyez toute diapositive qui ne peut pas y répondre, quelle que soit la personne ou la chose qui l’a produite. Associez cela à la pratique de penser en paris, afin que les chiffres incertains soient utilisés comme des probabilités plutôt que comme des certitudes.
Le réflexe de l’étudiant. Entraînez-vous comme les gynécologues : changez la représentation jusqu’à ce que la réponse devienne évidente. Convertissez chaque pourcentage en effectifs sur 1 000, et retrouvez chaque semaine une affirmation à partir de sa source. Au fil des mois, les dix notions deviennent des réflexes, une composante de la compétence d’évaluation plus large qui consiste à juger un travail que vous n’avez pas produit.
Ce que cela ne veut pas dire
- Ce n’est pas un cours de statistiques. Les dix notions constituent un minimum défensif ; la modélisation, l’inférence causale et la conception expérimentale exigent une formation ou un spécialiste.
- Les chiffres relatifs ne sont pas malhonnêtes. Ils permettent bien de comparer des effets entre groupes. Le problème, c’est un chiffre relatif sans sa base absolue.
- Un échec de réplication ne signifie pas une fraude. L’Open Science Collaboration a constaté que le succès de la réplication était mieux prédit par la solidité des preuves originales que par les caractéristiques des équipes.
- Les exemples de santé sont des informations générales sur la façon dont les statistiques sont communiquées, pas des conseils médicaux ; les chiffres datent des études citées.
Questions fréquentes
Quelle est l’habitude la plus utile pour un non-analyste ?
Convertir les pourcentages en effectifs sur 1 000. Cela met au jour la confusion entre relatif et absolu, rend les taux de base visibles et a fait passer les gynécologues de 21 % à 87 % de bonnes réponses dans l’étude ci-dessus.
Comment repérer rapidement un graphique trompeur ?
Lisez les étiquettes des axes avant les barres. Vérifiez où commence l’axe des ordonnées, si deux séries utilisent des échelles différentes et si la variation affichée compterait en pratique.
Un échantillon plus grand est-il toujours meilleur ?
Quadrupler un échantillon divise la marge d’erreur par deux, mais un grand échantillon biaisé reste biaisé.
Que signifie p < 0,05 en langage courant ?
Que les données seraient assez surprenantes s’il n’y avait aucun effet, dans le cadre du modèle de l’analyste. Selon l’American Statistical Association, ce n’est ni la probabilité que l’hypothèse soit vraie, ni une mesure de la taille d’effet.
Comment cela s’applique-t-il aux chiffres produits par les outils d’IA ?
De la même manière, avec une étape de plus : confirmer que le chiffre existe dans une source réelle avant de l’analyser. Notre guide des signaux d’alerte traite des chiffres inventés.
Sources
- Central Statistics Office (Irlande). Programme for the International Assessment of Adult Competencies (PIAAC) 2023: International Comparison, tableaux 3.2 et 3.5. Publication statistique, 10 décembre 2024 (reprend les résultats de l’Enquête sur les compétences des adultes de l’OCDE 2023).
- US National Center for Education Statistics. Highlights of the 2023 U.S. PIAAC Results: Highlights of U.S. National Results. Décembre 2024.
- Gigerenzer, G., Gaissmaier, W., Kurz-Milcke, E., Schwartz, L. M. et Woloshin, S. Helping Doctors and Patients Make Sense of Health Statistics. Psychological Science in the Public Interest, 8(2), 53-96, 2007 (copie du dépôt de l’Université de Constance).
- Wainer, H. The Most Dangerous Equation. American Scientist, 95(3), mai-juin 2007 (copie archivée de la page de l’éditeur).
- Open Science Collaboration. Estimating the Reproducibility of Psychological Science. Science, 349(6251), aac4716, 2015 (version auteur, dépôt de l’Université de Dundee).
- American Statistical Association. American Statistical Association Releases Statement on Statistical Significance and P-Values. Communiqué de presse, 7 mars 2016 (énumère les six principes ; la déclaration complète de Wasserstein et Lazar n’a pas été consultée).
- Messerli, F. H. Chocolate Consumption, Cognitive Function, and Nobel Laureates. New England Journal of Medicine, 367(16), 1562-1564, 2012 (notice PubMed uniquement ; contenu tel que résumé dans la source 8).
- Maurage, P., Heeren, A. et Pesenti, M. Does Chocolate Consumption Really Boost Nobel Award Chances? The Peril of Over-Interpreting Correlations in Health Studies. Journal of Nutrition, 143(6), 931-933, 2013 (résumé uniquement).
- R Core Team. UCBAdmissions: Student Admissions at UC Berkeley. Fichier de données et documentation du package R datasets, citant Bickel, P. J., Hammel, E. A. et O’Connell, J. W., Sex Bias in Graduate Admissions: Data from Berkeley, Science, 187, 1975 (article original non consulté).
- Kahneman, D. Biographical. Sveriges Riksbank Prize in Economic Sciences in Memory of Alfred Nobel 2002, Nobel Prize outreach.
- Barnett, A. G., van der Pols, J. C. et Dobson, A. J. Regression to the Mean: What It Is and How to Deal With It. International Journal of Epidemiology, 34(1), 215-220, 2005 (résumé uniquement ; un erratum a été publié en 2015).
- US Census Bureau. Income in the United States: 2025. Current Population Reports P60-289, septembre 2026.
- US Census Bureau. Historical Income Tables, Table H-6: Median and Mean Household Income of All Households by Region, 1975 to 2025.
- Correll, M., Bertini, E. et Franconeri, S. Truncating the Y-Axis: Threat or Menace? CHI 2020 Conference on Human Factors in Computing Systems (version arXiv 2, janvier 2020).
Les tableaux 2, 3 et 5 sont des analyses CEOtudent (le tableau 5 est illustratif, chaque donnée d’entrée étant une hypothèse) ; le tableau 4 est un cadre éditorial CEOtudent. Les parts cumulées des niveaux 4 et 5 sont calculées à partir des pourcentages publiés arrondis. Délibérément non utilisés : le tableau par sous-groupes sur les calculs rénaux de Charig et al. (1986) (seul le résumé a pu être consulté), les totaux de Berkeley pour l’ensemble du campus souvent cités (article original non consulté), les résultats de Pandey et al. (2015) sur les graphiques trompeurs (pas de texte intégral en libre accès) et le coefficient de corrélation chocolat-Nobel (article de Messerli inaccessible).
Ce contenu a été compilé avec le soutien de l’IA à la suite d’une recherche approfondie, puis rédigé et préparé pour publication par l’équipe éditoriale de CEOtudent.
