Calibrage de la confiance : comment savoir à quel point vous devriez vraiment être sûr de vous

TL;DR. Le calibrage est la correspondance entre le degré de certitude que vous affichez et la fréquence à laquelle vous avez raison. Dans des enquêtes trimestrielles menées de juin 2001 à mars 2011, des directeurs financiers américains ont donné, pour le rendement du S&P 500 de l’année suivante, des intervalles de confiance à 80 % qui ne contenaient le rendement réalisé que dans 36 % des cas. Dans un tournoi géopolitique de trois ans avec retour sur le score de Brier, les prévisionnistes étaient sûrs à 65,4 % et justes à 63,3 %. Dans une étude en laboratoire, le seul changement du format de la question a fait passer le taux de réussite des intervalles à 90 % de 73,79 à 88,35 %. Le réflexe du CEO : aucune prévision n’est signée sans un chiffre, une fourchette et une ligne dans un registre noté plus tard. Le réflexe de l’étudiant : pratiquer un exercice de 10 questions sur des intervalles à 90 % et un exercice de Brier sur 20 affirmations jusqu’à ce que vos taux de réussite correspondent à la confiance que vous affichez.

Cet article fait partie de la série de CEOtudent consacrée aux modèles mentaux. Penser en paris traite de la décision en situation d’incertitude, et le guide des taux de base explique d’où devrait venir une première estimation. Cet article couvre l’étape intermédiaire : l’audit du chiffre de confiance lui-même.

Que signifie être bien calibré ?

Un prévisionniste est calibré lorsque, sur l’ensemble des occasions où il annonce « 70 % », l’événement se produit environ 70 % du temps. Pour une fourchette, le test est le taux de réussite : la fréquence à laquelle l’intervalle annoncé contient la vraie valeur. Comme le formulent McKenzie, Liersch et Yaniv, chez des personnes bien calibrées, 90 % des intervalles à 90 % contiendraient la vraie valeur.

Trois erreurs se cachent derrière l’expression « excès de confiance » :

• Surprécision : des fourchettes trop étroites. Haran, Moore et Morewedge la qualifient de type d’excès de confiance le plus robuste.
• Probabilités surconfiantes : annoncer 90 % pour des affirmations qui se vérifient 70 % du temps.
• Sous-confiance : se couvrir davantage que ne le justifient les éléments disponibles, ce qui apparaît plus bas dans une étude portant sur des analystes du renseignement expérimentés.

Le calibrage ne fait pas tout : quelqu’un qui annonce toujours le taux de base peut être parfaitement calibré et inutile. Cette seconde propriété s’appelle la résolution ou la discrimination ; dans l’étude de Bickel, Floehr et Kim sur les prévisions météorologiques américaines, le terme de résolution était bien plus important que la pénalité de fiabilité liée au mauvais calibrage.

Quel écart sépare la confiance annoncée des taux de réussite réels ?

Tableau 1. L’écart de calibrage (analyse CEOtudent de sept études publiées)

Groupe et tâche	Confiance annoncée	Taux de réussite réel	Écart (points)
Directeurs financiers américains, intervalles à 80 % pour le rendement du S&P 500 à 1 an, tous trimestres	80 %	36 %	+44,0
Mêmes directeurs financiers, trimestres les moins volatils uniquement	80 %	59 %	+21,0
Participants en ligne, intervalles à 90 %, température à Washington DC un mois à l’avance	90 %	29,17 %	+60,8
Participants en laboratoire, intervalles à 90 %, années d’élection des présidents américains	90 %	54,34 %	+35,7
Habitants de Pittsburgh, intervalles à 90 %, température locale un mois à l’avance	90 %	73,79 %	+16,2
Mêmes habitants, intervalles à 90 % construits à partir de classes de probabilité (SPIES)	90 %	88,35 %	+1,7
Internistes, vignettes diagnostiques plus faciles	7,2 sur 10 (lu comme 72 %)	55,3 %	+16,7
Internistes, vignettes diagnostiques plus difficiles	6,4 sur 10 (lu comme 64 %)	5,8 %	+58,2
Prévisionnistes du tournoi géopolitique, toutes conditions	65,4 %	63,3 %	+2,1
Même tournoi, équipes ayant suivi une heure de formation	64,3 %	63,6 %	+0,7
Analystes canadiens du renseignement stratégique, 1 514 prévisions	indice signé	indice signé	-7,6
National Weather Service, probabilité de pluie à 1 jour, saison froide, moyenne	20,1 %	21,8 %	-1,7
The Weather Channel, jours où la chaîne prévoyait 70 % de risque de pluie	70 %	84 %	-14,0
GPT-4 avant le post-entraînement, sous-ensemble d’un test à choix multiples	par classes	par classes	0,7 (non signé)
GPT-4 après le post-entraînement, même sous-ensemble	par classes	par classes	7,4 (non signé)

Sources : Ben-David, Graham et Harvey ; Haran, Moore et Morewedge 2010 ; Meyer et al. 2013 (résumé uniquement) ; Moore et al. 2016 ; Mandel et Barnes 2014 ; Bickel, Floehr et Kim 2011 ; GPT-4 Technical Report, figure 8. Écarts calculés par CEOtudent dans calc.py ; un écart positif signifie un excès de confiance. Lire l’échelle de confiance de 0 à 10 des internistes comme un pourcentage est une remise à l’échelle effectuée par CEOtudent. La ligne du renseignement correspond à l’indice de calibrage signé des auteurs (moins 0,076). Les lignes GPT-4 indiquent l’erreur de calibrage attendue (expected calibration error), une moyenne non signée.

À lire comme une description, pas comme un classement : les études diffèrent par la tâche, l’échantillon, la période, la difficulté et la notation. Quatre tendances se dégagent.

1. Les fourchettes échouent bien plus que les probabilités. Toutes les lignes d’intervalles, sauf celle des SPIES, montrent 16 à 61 points d’excès de confiance, alors que les lignes du tournoi, du renseignement et de la météo restent à moins de 8 points de zéro, à l’exception d’un niveau de probabilité chez The Weather Channel. Soll et Klayman ont observé le même contraste au sein d’une même étude : les choix entre deux réponses montraient beaucoup moins d’excès de confiance que les intervalles.
2. Le format peut accomplir ce que la volonté ne peut pas. Les mêmes habitants de Pittsburgh sont passés d’un écart de 16,2 points à 1,7 point lorsqu’on leur a demandé de répartir la probabilité entre des classes au lieu de donner deux bornes.
3. La difficulté fait bien plus varier l’exactitude que la confiance. Les 118 médecins de Meyer et ses collègues ont correctement diagnostiqué 55,3 % des cas plus faciles et 5,8 % des cas plus difficiles, alors que leur confiance n’est passée que de 7,2 à 6,4 sur 10. L’exactitude a chuté de 49,5 points, soit environ 89,5 % en termes relatifs ; la confiance a baissé d’environ 11,1 %.
4. Les environnements riches en retours finissent près de zéro. Les prévisionnistes météo connaissent le résultat dès le lendemain ; les prévisionnistes du tournoi voyaient des classements de Brier mis à jour à mesure que les questions étaient clôturées.

Pourquoi les intervalles de confiance sont-ils tellement moins bons que les probabilités oui ou non ?

Le diagnostic de Soll et Klayman est que les intervalles subjectifs sont systématiquement trop étroits au regard de l’exactitude de l’information sur laquelle ils reposent, avec parfois seulement 40 % de la largeur nécessaire. Les données sur les directeurs financiers le montrent en termes de marché : l’intervalle moyen d’un directeur financier était large de 14,5 %, alors que l’écart entre les 10e et 90e centiles des rendements réalisés du S&P 500 sur un an était de 42,2 %, soit environ 2,91 fois plus. Seuls 3,4 % des directeurs financiers ont donné un intervalle plus large que 42,2 %.

Le format fait partie des leviers les plus efficaces. Le tableau 2 compare des intervalles à 90 % classiques avec les estimations d’intervalles de probabilité subjective (Subjective Probability Interval Estimates, SPIES) : la plage des valeurs possibles est découpée en classes, chaque classe reçoit une probabilité, et la fourchette à 90 % est lue ensuite.

Tableau 2. Taux de réussite des intervalles à 90 % selon la méthode d’élicitation (chiffres tels que publiés)

Expérience	Participants	Grandeur estimée	Taux de réussite de l’intervalle à 90 %	Taux de réussite des SPIES à 90 %	Avantage des SPIES (points, calcul CEOtudent)
1	103 habitants de Pittsburgh	Température maximale à Pittsburgh un mois à l’avance	73,79 %	88,35 %	14,56
2	116 participants américains en ligne	Température maximale à Washington DC un mois à l’avance	29,17 %	73,91 %	44,74
3	334 participants en laboratoire à Pittsburgh	Année de première élection de chaque président américain du 20e siècle	54,34 %	76,91 %	22,57

Source : Haran, Moore et Morewedge, Judgment and Decision Making, 2010. Dans l’expérience 1, les intervalles construits à partir des 5e et 95e fractiles ont atteint le même taux de 73,79 % que les intervalles classiques, et les participants qui avaient d’abord formulé des jugements SPIES ont ensuite tracé, eux aussi, des intervalles classiques plus larges. Demander les deux bornes séparément n’aide que peu (Haran et ses collègues décrivent la méthode des fractiles de Soll et Klayman comme une réduction modeste de la surprécision) ; c’est le fait de forcer l’attention sur chaque issue possible, extrêmes compris, qui élargit les fourchettes.

L’expertise ne règle pas le problème. McKenzie, Liersch et Yaniv ont constaté que des professionnels de l’informatique et des étudiants avaient à peu près le même excès de confiance : les experts centraient leurs intervalles plus près de la vérité mais les traçaient plus étroits, et les deux effets s’annulaient. Leur synthèse de la littérature : les intervalles à 90 % contiennent généralement la vraie valeur environ 50 % du temps.

De combien faut-il les élargir ? Sous l’hypothèse illustrative d’erreurs normalement distribuées, un intervalle à 90 % qui atteint 50 % doit être environ 2,44 fois plus large, et les intervalles à 80 % des directeurs financiers, qui atteignent 36 %, environ 2,74 fois, ce qui est proche du rapport de 2,91 mentionné plus haut. À prendre comme une première correction, pas comme une loi.

À quoi ressemble un bon calibrage dans la pratique ?

Les prévisionnistes météo. Bickel, Floehr et Kim ont vérifié près de 13 millions de prévisions de probabilité de pluie dans 734 stations du 1er novembre 2008 au 31 octobre 2010. Les prévisions à 1 jour de 0,1 et 0,9 du National Weather Service étaient bien calibrées, et celles de 0,2 et 0,3 très proches. La politique maison compte aussi : lorsque The Weather Channel annonçait 70 %, la pluie tombait 84 % du temps, et la chaîne évite le 50 % parce qu’elle pense que les utilisateurs y verraient un manque de connaissance.

Les prévisionnistes de tournoi. Moore et ses collègues ont analysé 494 552 prévisions portant sur 344 questions, émises par 2 860 prévisionnistes sur trois ans d’un tournoi financé par l’IARPA et notées selon la règle de Brier. Les auteurs écrivent qu’une heure de formation réduit de moitié l’excès de confiance au cours de l’année suivante : les prévisionnistes travaillant seuls sont passés de 4,3 points d’excès de confiance sans formation à 2,0 avec formation, soit une réduction de 53,5 %, et les équipes formées sont descendues à 0,7.

Les analystes du renseignement, dans l’autre sens. Mandel et Barnes ont noté 1 514 prévisions stratégiques émises par 15 analystes de la division Moyen-Orient et Afrique du Secrétariat de l’évaluation du renseignement du Canada. La discrimination était très bonne (94 % des prévisions tombaient du bon côté de 50 %), mais les analystes étaient sous-confiants, surtout pour les prévisions plus difficiles et plus pertinentes pour les politiques publiques. Rendre leurs chiffres plus extrêmes a réduit l’écart absolu moyen par rapport à un calibrage parfait de 12,7 % à 4,2 %, soit une baisse de 66,9 %.

Le facteur commun est une boucle de retour notée, un thème que le guide CEOtudent sur le développement d’un bon jugement explore en profondeur.

Comment fonctionne le score de Brier, et qu’est-ce qu’un bon score ?

Le score de Brier est la moyenne des carrés des écarts entre une prévision probabiliste et le résultat, codé 1 si l’événement s’est produit et 0 sinon. Plus il est bas, mieux c’est : 0 est parfait, et répondre toujours 50 % à des questions oui ou non donne 0,25. Mandel et Barnes le qualifient de règle de score propre, ce qui fait de la déclaration honnête la meilleure stratégie.

La partie utile est la décomposition, que Mandel et Barnes appliquent selon la partition de Murphy de 1973 : score de Brier = indice de variance moins indice de discrimination plus indice de calibrage. La variance reflète le degré d’incertitude des questions ; la discrimination récompense la capacité à distinguer les événements des non-événements ; le calibrage pénalise les écarts entre fréquences annoncées et fréquences observées. Pour les analystes canadiens, 0,240 moins 0,182 plus 0,016 reproduit exactement leur score de Brier publié de 0,074.

Tableau 3. Scores de Brier publiés, à titre indicatif uniquement

Ensemble de prévisions	Score de Brier	Source
Renseignement stratégique canadien, 1 514 prévisions	0,074	Mandel et Barnes 2014
Idem, en ajoutant à 0,5 les prévisions formulées uniquement en mots (« could », « might »)	0,097	Mandel et Barnes 2014
National Weather Service, probabilité de pluie à 1 jour, saison froide (erreur quadratique moyenne)	0,090	Bickel, Floehr et Kim 2011, tableau 4
Prévisionnistes du tournoi, dernier jour de chaque question	0,10	Moore et al. 2016
Météorologues, pluie du lendemain (Murphy et Winkler 1977)	0,13	selon Moore et al. 2016
Prévisionnistes du tournoi, dernière semaine de chaque question	0,14	Moore et al. 2016
Répondre toujours 50 % à une question oui ou non	0,25	arithmétique

Mandel et Barnes notent que le score dépend non seulement de la compétence du prévisionniste, mais aussi de l’incertitude de l’environnement de prévision, si bien que les scores ne sont pas comparables d’un ensemble de questions à l’autre. Comparez-vous à vos propres scores passés sur des questions similaires et au score obtenu en annonçant toujours le taux de base.

Tableau 4. Un exemple chiffré sur dix affirmations (chaque donnée d’entrée est une hypothèse illustrative)

Classe	Affirmations	Probabilité annoncée	Vérifiées	Taux de réussite
Confiance élevée	5	90 %	4	80 %
Confiance modérée	5	60 %	3	60 %
Résultat	Brier 0,205	Toujours 70 % (taux de base) : 0,21	Toujours 50 % : 0,25	Calibrage 0,005, discrimination 0,01, variance 0,21

Calculs dans calc.py. La classe élevée affiche 10 points d’excès de confiance, la pénalité de calibrage est donc faible ; la vraie faiblesse est la discrimination, puisque 0,205 bat à peine le 0,21 obtenu en annonçant 70 % pour tout. Ramener les affirmations à 90 % à 80 % ferait baisser le score à 0,200. Lisez deux chiffres à chaque exercice : le terme de calibrage indique s’il faut ajuster la confiance, et l’écart avec le score du taux de base indique si les jugements apportent de l’information.

Pourquoi « probable » (« likely ») et « improbable » (« unlikely ») ne fonctionnent-ils pas comme des chiffres ?

Sherman Kent, largement considéré comme le père de l’analyse moderne du renseignement selon Mandel et Barnes, a consigné le moment où le problème est devenu évident. Le National Intelligence Estimate 29-51 qualifiait en 1951 une attaque contre la Yougoslavie de « possibilité sérieuse » (« serious possibility »). Kent entendait par là des chances d’environ 65 contre 35 en faveur d’une attaque ; les responsables de la planification politique avaient compris des chances bien plus faibles ; et, parmi ses collègues du Board of National Estimates, le plus bas avait voulu dire environ 20 contre 80 et le plus haut 80 contre 20. Son essai de 1964 proposait des mots assortis de chiffres. Des échelles officielles existent désormais, mais elles ne concordent pas.

Tableau 5. Le même mot, quatre significations officielles (analyse CEOtudent de l’ICD 203, des orientations du GIEC, de la pratique du NWS et de Kent 1964)

Mot (terme ICD 203)	Renseignement américain, ICD 203	GIEC AR5 et AR6 (terme le plus proche)	Formulation NWS (terme le plus proche)	Kent 1964 (terme le plus proche)	Écart des points médians ICD vs GIEC (points)	Chevauchement ICD et GIEC (points)
Probable (« Likely »)	55-80 %	66-100 %	55-74 %	Probable (« Probable ») 63-87 %	15,5	14
Très probable (« Very likely »)	80-95 %	90-100 %	Catégorique (« Categorical ») 75 % ou plus	Presque certain (« Almost certain ») 87-99 %	7,5	5
Chances à peu près égales (« Roughly even chance »)	45-55 %	À peu près aussi probable qu’improbable (« About as likely as not ») 33-66 %	Possible (« Chance ») 25-54 %	Chances à peu près égales (« Chances about even ») 40-60 %	-0,5	10
Improbable (« Unlikely »)	20-45 %	0-33 %	aucun terme	Probablement pas (« Probably not ») 20-40 %	-16,0	13
Très improbable (« Very unlikely »)	5-20 %	0-10 %	aucun terme	Presque certainement pas (« Almost certainly not ») 2-12 %	-7,5	5

Sources : ODNI, ICD 203 (2015, tel que modifié) ; Mastrandrea et al., note d’orientation du GIEC pour l’AR5 (2010), reprise comme cohérente avec l’AR5 dans le Résumé à l’intention des décideurs de l’AR6 (2021) ; bilan du bureau du NWS de Salt Lake City pour l’hiver 2007-08 ; Kent, dont les fourchettes sont des valeurs centrales plus ou moins la tolérance qu’il indique (75 %, à environ 12 près). Points médians, écarts et chevauchements calculés dans calc.py ; un écart négatif signifie que la lecture du GIEC est plus basse.

Les catégories de l’ICD 203 ne se chevauchent pas ; celles du GIEC sont imbriquées (« très probable » (« very likely »), à 90-100 %, est aussi « probable » (« likely »)) avec des limites que la note d’orientation qualifie de « floues » (« fuzzy »). Sur « probable » (« likely »), les deux partagent 14 points, soit environ 56 % de la fourchette du renseignement et 41 % de celle du GIEC. La grille traditionnelle du NWS commence à « légère possibilité » (« slight chance », 15 à 24 %) et n’a aucun terme en dessous.

Tableau 6. Test de traduction : le mot que chaque système emploierait pour une même probabilité (analyse CEOtudent)

Probabilité	ICD 203	GIEC	NWS	Kent 1964
18 %	Très improbable (« Very unlikely »)	Improbable (« Unlikely »)	Légère possibilité (« Slight chance »)	Aucun terme (lacune entre ses catégories)
38 %	Improbable (« Unlikely »)	À peu près aussi probable qu’improbable (« About as likely as not »)	Possible (« Chance »)	Probablement pas (« Probably not »)
70 %	Probable (« Likely »)	Probable (« Likely »)	Probable (« Likely »)	Probable (« Probable »)
85 %	Très probable (« Very likely »)	Probable (« Likely »)	Catégorique (« Categorical »)	Probable (« Probable »)

Ce n’est qu’à 70 % que les quatre concordent. Les lecteurs ne comblent pas l’écart : Budescu, Broomell et Por ont constaté que les lectures chiffrées des termes du GIEC s’écartaient significativement des lignes directrices, même lorsque les lecteurs avaient ces lignes directrices sous les yeux (résumé uniquement). Dans les données de Mandel et Barnes, environ 16 % des prévisions ne comportaient aucun chiffre, seulement des mots comme « could » ou « might » (« pourrait »). La solution ne coûte presque rien : écrire le chiffre à côté du mot, à chaque fois. « Probable (70 %) » résiste au transfert vers quelqu’un qui a appris une autre échelle.

Les modèles d’IA sont-ils mieux calibrés que les humains ?

Cela dépend de leur entraînement. Kadavath et ses collègues ont constaté que les plus grands modèles de langage étaient bien calibrés sur des questions variées à choix multiples et de type vrai/faux présentées dans le bon format, et que les modèles affinés avec des retours humains semblaient mal calibrés, mais l’étaient assez bien après un simple ajustement de température. Le GPT-4 Technical Report montre le coût du post-entraînement : sur un sous-ensemble du jeu de données MMLU, l’erreur de calibrage attendue est passée de 0,007 pour le modèle pré-entraîné à 0,074 après le post-entraînement, soit environ 10,6 fois plus.

Steyvers et ses collègues ajoutent un écart supplémentaire, entre la confiance que les humains accordent aux réponses des modèles et la confiance propre des modèles, sujet traité dans les guides CEOtudent sur les signaux d’alerte dans les réponses de l’IA et sur le calibrage de la confiance accordée à l’IA. Une confiance annoncée, qu’elle vienne d’un collègue ou d’un modèle, est une affirmation à noter.

Un protocole d’entraînement au calibrage (cadre éditorial CEOtudent)

La revue trimestrielle des bandes de confiance figure déjà dans le protocole du journal de décision de CEOtudent ; ces quatre exercices l’alimentent.

Exercice 1. Exercice de dix questions sur des intervalles à 90 % (chaque semaine, 15 minutes). Choisissez dans votre domaine dix grandeurs que vous pourrez vérifier plus tard (le taux d’attrition du dernier trimestre, l’effectif d’un concurrent). Pour chacune, découpez la plage plausible en cinq à dix classes, attribuez à chaque classe une probabilité de sorte que le total fasse 100, extrêmes compris, puis lisez la fourchette la plus étroite qui contient 90 %. Comptez les réussites.

Exercice 2. Exercice de Brier sur vingt affirmations (chaque mois). Rédigez 20 affirmations de type oui ou non qui se résolvent dans un délai de 30 à 90 jours et attribuez à chacune une probabilité de 55, 65, 75, 85 ou 95 %. À la résolution, calculez votre score de Brier, le score obtenu en annonçant toujours le taux de base et le taux de réussite de chaque bande.

Exercice 3. Test du pari équivalent (avant de signer toute affirmation à 90 %). Préféreriez-vous gagner un prix si l’affirmation est vraie, ou en tirant dans une boîte contenant neuf billets gagnants et un billet perdant ? Si vous préférez la boîte, votre confiance est inférieure à 90 % ; baissez le chiffre ou élargissez la fourchette. Il s’agit d’un test d’intuition CEOtudent, pas d’une méthode validée par la recherche.

Exercice 4. Test des mots aux chiffres (chaque note). Entourez chaque mot de probabilité, écrivez un chiffre à côté, et imprimez l’échelle de l’équipe en tête du document.

Tableau 7. Grille d’autoévaluation (cadre éditorial CEOtudent)

Mesure	Comment noter	Compatible avec un bon calibrage	Signal d’alerte	Première correction
Taux de réussite des intervalles à 90 % (exercice 1)	Réussites sur 10	9 ou 10	7 ou moins	Élargir les fourchettes d’un facteur 2 environ ; donner plus de poids aux classes extrêmes
Score de Brier (exercice 2)	Erreur quadratique moyenne, 20 affirmations	Inférieur au score du taux de base constant	Supérieur à 0,25	Moins de probabilités extrêmes
Taux de réussite par bande (exercice 2)	Part des affirmations vraies dans les bandes 85-95 %	Proche de la bande	Nettement en dessous deux mois de suite	Descendre ces affirmations d’une bande
Échecs au pari équivalent (exercice 3)	Affirmations à 90 % où la boîte l’a emporté	Aucun	Au moins un	Réécrire l’affirmation ou le chiffre
Mots sans chiffres (exercice 4)	Nombre par note	Zéro	Au moins un	Ajouter le chiffre

Pourquoi ces seuils pour l’exercice 1 ? Une personne réellement calibrée à 90 % obtient 8 ou moins environ 26,4 % du temps, 7 ou moins environ 7,0 % du temps, et 6 ou moins environ 1,3 % du temps (calcul binomial dans calc.py). Un seul 8 dit peu de chose ; des 7 répétés en disent long. Avec un taux de réussite de 60 %, l’hypothèse d’erreurs normales suggère d’élargir d’un facteur d’environ 1,95.

Le réflexe du CEO : un chiffre et une fourchette sur chaque prévision que vous signez

Ben-David, Graham et Harvey ont trouvé plus qu’une erreur de prévision. Les dirigeants mal calibrés sur le marché présentaient un mauvais calibrage similaire sur les perspectives de leur propre entreprise, et les entreprises dont les dirigeants étaient mal calibrés semblaient suivre des politiques plus agressives, en investissant davantage et en recourant davantage à l’endettement. Cette association ne prouve pas de lien de cause à effet, mais elle fait de la surprécision un risque d’entreprise plutôt qu’une bizarrerie d’enquête.

Un registre des prévisions rend l’habitude concrète : pour chaque prévision qui oriente une décision, consignez l’affirmation, la date de résolution, la probabilité ou la fourchette à 90 %, les mots employés dans la note, le responsable et, plus tard, le résultat et sa contribution au score de Brier. Chaque trimestre, calculez les taux de réussite et les scores de Brier par personne et par sujet. Menez un pre-mortem sur tout plan dont la prévision clé se situe dans une bande où l’historique montre un excès de confiance. Le bulletin des prévisions de CEOtudent applique la même notation à une décennie de prédictions d’experts et d’IA. Le côté étudiant, c’est le même registre lu comme un programme d’études : chaque erreur montre où vous êtes en surprécision.

Ce que cela ne signifie pas

• La confiance n’est pas un défaut. L’objectif est la correspondance, pas la baisse ; les analystes canadiens sous-estimaient ce qu’ils savaient par excès de prudence.
• Le tableau des écarts ne classe pas les professions. Une prévision de marché à un an et une prévision de pluie pour le lendemain sont des tâches différentes.
• Un score de Brier bas ne prouve pas la compétence. Des questions faciles produisent des scores bas ; comparez avec une référence sur les mêmes questions.
• Les résultats de laboratoire ne se transposent pas forcément entièrement. Les gains des SPIES proviennent de quiz sur la température et l’histoire, pas de prévisions d’entreprise.
• Cet article fournit des informations générales sur la recherche consacrée au jugement ; il ne constitue pas un conseil médical, d’investissement ou financier.

Questions fréquentes

Qu’est-ce que le calibrage de la confiance, en termes simples ?
La correspondance entre le degré de certitude que vous affichez et la fréquence à laquelle vous avez raison. Ce n’est pas l’exactitude : un prévisionniste peut être calibré tout en restant peu informatif, c’est pourquoi la décomposition de Brier sépare les deux.

Pourquoi les fourchettes à 90 % sont-elles si souvent fausses ?
Elles sont tracées trop étroites : parfois seulement 40 % de la largeur nécessaire, selon Soll et Klayman, et ne contenant généralement la vraie valeur qu’environ une fois sur deux, selon la littérature que résument McKenzie et ses collègues.

Qu’est-ce qu’un bon score de Brier ?
Il n’existe pas de seuil universel. Un prévisionniste utile fait mieux que 0,25 (répondre toujours 50 %) et que le score du taux de base constant sur les mêmes questions.

Le calibrage peut-il s’entraîner ?
Oui, avec des retours. Une heure de formation a à peu près réduit de moitié l’excès de confiance des prévisionnistes du tournoi, et les classes de probabilité ont augmenté les taux de réussite des intervalles en laboratoire.

Faut-il se fier aux scores de confiance de l’IA ?
Notez-les comme n’importe quelle confiance annoncée. Le rapport GPT-4 montre que le post-entraînement a fait passer l’erreur de calibrage de 0,007 à 0,074 sur son sous-ensemble de test.

Sources

1. Ben-David, Itzhak, John R. Graham et Campbell R. Harvey. Managerial Miscalibration. NBER Working Paper 16215, juillet 2010, révisé en septembre 2013 ; publié dans le Quarterly Journal of Economics 128(4), 2013.
2. Moore, D. A. et al. Confidence Calibration in a Multiyear Geopolitical Forecasting Competition. Management Science, Articles in Advance, 2016.
3. Haran, U., Moore, D. A. et Morewedge, C. K. A simple remedy for overprecision in judgment. Judgment and Decision Making 5(7), 2010.
4. Soll, J. B. et Klayman, J. Overconfidence in interval estimates. Journal of Experimental Psychology: Learning, Memory, and Cognition 30(2), 2004 (résumé uniquement).
5. McKenzie, Craig R. M., Michael J. Liersch et Ilan Yaniv. Overconfidence in interval estimates: What does expertise buy you? Organizational Behavior and Human Decision Processes 107, 2008.
6. Meyer, A. N. D. et al. Physicians’ diagnostic accuracy, confidence, and resource requests: a vignette study. JAMA Internal Medicine 173(21), 2013 (résumé uniquement).
7. Mandel, D. R. et Barnes, A. Accuracy of forecasts in strategic intelligence. Proceedings of the National Academy of Sciences 111(30), 2014.
8. Bickel, J. E., Floehr, E. et Kim, S. D. Comparing NWS PoP Forecasts to Third-Party Providers. Monthly Weather Review 139, 2011.
9. Graham, R. A Review of PoP Reliability and PoP Bias Trends at WFO SLC for the Winter of 2007-08. National Weather Service, bureau de Salt Lake City.
10. Office of the Director of National Intelligence. Intelligence Community Directive 203, Analytic Standards, signée le 2 janvier 2015, avec des amendements techniques ultérieurs.
11. Mastrandrea, M. D. et al. Guidance Note for Lead Authors of the IPCC Fifth Assessment Report on Consistent Treatment of Uncertainties. IPCC, 2010.
12. IPCC. Summary for Policymakers. Climate Change 2021: The Physical Science Basis, Sixth Assessment Report, 2021.
13. Kent, S. Words of Estimative Probability. Studies in Intelligence, CIA Center for the Study of Intelligence, 1964 ; déclassifié en 1993.
14. Budescu, D. V., Broomell, S. et Por, H.-H. Improving communication of uncertainty in the reports of the Intergovernmental Panel on Climate Change. Psychological Science 20(3), 2009 (résumé uniquement).
15. Kadavath, S. et al. Language Models (Mostly) Know What They Know. Prépublication arXiv 2207.05221, 2022.
16. OpenAI. GPT-4 Technical Report. Prépublication arXiv 2303.08774, version 6, 2024.
17. Steyvers, M. et al. What large language models know and what people think they know. Nature Machine Intelligence 7, 2025.

Les tableaux 1, 5, 6 et 7 sont des analyses ou des cadres éditoriaux CEOtudent ; le tableau 4 est un exemple illustratif fondé sur des hypothèses ; les tableaux 2 et 3 rapportent les chiffres tels que publiés. Le résumé de Moore et ses collègues indique un excès de confiance d’environ 3 % ; l’article retient le chiffre de 2,1 points tiré de leurs résultats, qui correspond à 65,4 et 63,3 %. Délibérément non utilisés : les variantes à 36,3 et 36,6 % de l’article sur les directeurs financiers (c’est le chiffre de 36 % de son résumé qui est retenu), l’article de Murphy et Winkler sur la météo et l’article de Brier de 1950 (non consultés ; cités par l’intermédiaire de Moore et ses collègues, de Mandel et Barnes, et de Bickel et ses collègues), ainsi que les tableaux de Brier d’entraînement déjà présents dans l’article CEOtudent sur le journal de décision.

---

Ce contenu a été compilé avec le soutien de l’IA à la suite d’une recherche approfondie, puis rédigé et préparé pour publication par l’équipe éditoriale de CEOtudent.

This post is also available in: