{"id":326699,"date":"2026-10-21T05:06:34","date_gmt":"2026-10-21T02:06:34","guid":{"rendered":"https:\/\/ceotudent.com\/calibrage-de-la-confiance-a-quel-point-devriez-vous-vraiment-etre-sur"},"modified":"2026-10-21T05:06:34","modified_gmt":"2026-10-21T02:06:34","slug":"calibrage-de-la-confiance-a-quel-point-devriez-vous-vraiment-etre-sur","status":"publish","type":"post","link":"https:\/\/ceotudent.com\/fr\/calibrage-de-la-confiance-a-quel-point-devriez-vous-vraiment-etre-sur","title":{"rendered":"Calibrage de la confiance : comment savoir \u00e0 quel point vous devriez vraiment \u00eatre s\u00fbr de vous"},"content":{"rendered":"<p><strong>TL;DR.<\/strong> Le calibrage est la correspondance entre le degr\u00e9 de certitude que vous affichez et la fr\u00e9quence \u00e0 laquelle vous avez raison. Dans des enqu\u00eates trimestrielles men\u00e9es de juin 2001 \u00e0 mars 2011, des directeurs financiers am\u00e9ricains ont donn\u00e9, pour le rendement du S&amp;P 500 de l&rsquo;ann\u00e9e suivante, des intervalles de confiance \u00e0 80 % qui ne contenaient le rendement r\u00e9alis\u00e9 que dans 36 % des cas. Dans un tournoi g\u00e9opolitique de trois ans avec retour sur le score de Brier, les pr\u00e9visionnistes \u00e9taient s\u00fbrs \u00e0 65,4 % et justes \u00e0 63,3 %. Dans une \u00e9tude en laboratoire, le seul changement du format de la question a fait passer le taux de r\u00e9ussite des intervalles \u00e0 90 % de 73,79 \u00e0 88,35 %. Le r\u00e9flexe du CEO : aucune pr\u00e9vision n&rsquo;est sign\u00e9e sans un chiffre, une fourchette et une ligne dans un registre not\u00e9 plus tard. Le r\u00e9flexe de l&rsquo;\u00e9tudiant : pratiquer un exercice de 10 questions sur des intervalles \u00e0 90 % et un exercice de Brier sur 20 affirmations jusqu&rsquo;\u00e0 ce que vos taux de r\u00e9ussite correspondent \u00e0 la confiance que vous affichez.<\/p>\n<p>Cet article fait partie de la <a href=\"\/fr\/modeles-mentaux-qui-comptent-vraiment-2026\">s\u00e9rie de CEOtudent consacr\u00e9e aux mod\u00e8les mentaux<\/a>. <a href=\"\/fr\/penser-en-paris-guide-prise-de-decision-probabiliste\">Penser en paris<\/a> traite de la d\u00e9cision en situation d&rsquo;incertitude, et <a href=\"\/fr\/taux-de-base-vue-exterieure-remede-sous-utilise-mauvaises-previsions\">le guide des taux de base<\/a> explique d&rsquo;o\u00f9 devrait venir une premi\u00e8re estimation. Cet article couvre l&rsquo;\u00e9tape interm\u00e9diaire : l&rsquo;audit du chiffre de confiance lui-m\u00eame.<\/p>\n<div id=\"ez-toc-container\" class=\"ez-toc-v2_0_84 counter-hierarchy ez-toc-counter ez-toc-grey ez-toc-container-direction\">\n<div class=\"ez-toc-title-container\">\n<p class=\"ez-toc-title\" style=\"cursor:inherit\">Table of Contents<\/p>\n<span class=\"ez-toc-title-toggle\"><a href=\"#\" class=\"ez-toc-pull-right ez-toc-btn ez-toc-btn-xs ez-toc-btn-default ez-toc-toggle\" aria-label=\"Toggle Table of Content\"><span class=\"ez-toc-js-icon-con\"><span class=\"\"><span class=\"eztoc-hide\" style=\"display:none;\">Toggle<\/span><span class=\"ez-toc-icon-toggle-span\"><svg style=\"fill: #999;color:#999\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" class=\"list-377408\" width=\"20px\" height=\"20px\" viewBox=\"0 0 24 24\" fill=\"none\"><path d=\"M6 6H4v2h2V6zm14 0H8v2h12V6zM4 11h2v2H4v-2zm16 0H8v2h12v-2zM4 16h2v2H4v-2zm16 0H8v2h12v-2z\" fill=\"currentColor\"><\/path><\/svg><svg style=\"fill: #999;color:#999\" class=\"arrow-unsorted-368013\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" width=\"10px\" height=\"10px\" viewBox=\"0 0 24 24\" version=\"1.2\" baseProfile=\"tiny\"><path d=\"M18.2 9.3l-6.2-6.3-6.2 6.3c-.2.2-.3.4-.3.7s.1.5.3.7c.2.2.4.3.7.3h11c.3 0 .5-.1.7-.3.2-.2.3-.5.3-.7s-.1-.5-.3-.7zM5.8 14.7l6.2 6.3 6.2-6.3c.2-.2.3-.5.3-.7s-.1-.5-.3-.7c-.2-.2-.4-.3-.7-.3h-11c-.3 0-.5.1-.7.3-.2.2-.3.5-.3.7s.1.5.3.7z\"\/><\/svg><\/span><\/span><\/span><\/a><\/span><\/div>\n<nav><ul class='ez-toc-list ez-toc-list-level-1 ' ><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-1\" href=\"https:\/\/ceotudent.com\/fr\/calibrage-de-la-confiance-a-quel-point-devriez-vous-vraiment-etre-sur\/#Que-signifie-etre-bien-calibre\" >Que signifie \u00eatre bien calibr\u00e9 ?<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-2\" href=\"https:\/\/ceotudent.com\/fr\/calibrage-de-la-confiance-a-quel-point-devriez-vous-vraiment-etre-sur\/#Quel-ecart-separe-la-confiance-annoncee-des-taux-de-reussite-reels\" >Quel \u00e9cart s\u00e9pare la confiance annonc\u00e9e des taux de r\u00e9ussite r\u00e9els ?<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-3\" href=\"https:\/\/ceotudent.com\/fr\/calibrage-de-la-confiance-a-quel-point-devriez-vous-vraiment-etre-sur\/#Pourquoi-les-intervalles-de-confiance-sont-ils-tellement-moins-bons-que-les-probabilites-oui-ou-non\" >Pourquoi les intervalles de confiance sont-ils tellement moins bons que les probabilit\u00e9s oui ou non ?<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-4\" href=\"https:\/\/ceotudent.com\/fr\/calibrage-de-la-confiance-a-quel-point-devriez-vous-vraiment-etre-sur\/#A-quoi-ressemble-un-bon-calibrage-dans-la-pratique\" >\u00c0 quoi ressemble un bon calibrage dans la pratique ?<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-5\" href=\"https:\/\/ceotudent.com\/fr\/calibrage-de-la-confiance-a-quel-point-devriez-vous-vraiment-etre-sur\/#Comment-fonctionne-le-score-de-Brier-et-quest-ce-quun-bon-score\" >Comment fonctionne le score de Brier, et qu&rsquo;est-ce qu&rsquo;un bon score ?<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-6\" href=\"https:\/\/ceotudent.com\/fr\/calibrage-de-la-confiance-a-quel-point-devriez-vous-vraiment-etre-sur\/#Pourquoi-%C2%AB-probable-%C2%BB-%C2%AB-likely-%C2%BB-et-%C2%AB-improbable-%C2%BB-%C2%AB-unlikely-%C2%BB-ne-fonctionnent-ils-pas-comme-des-chiffres\" >Pourquoi \u00ab probable \u00bb (\u00ab likely \u00bb) et \u00ab improbable \u00bb (\u00ab unlikely \u00bb) ne fonctionnent-ils pas comme des chiffres ?<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-7\" href=\"https:\/\/ceotudent.com\/fr\/calibrage-de-la-confiance-a-quel-point-devriez-vous-vraiment-etre-sur\/#Les-modeles-dIA-sont-ils-mieux-calibres-que-les-humains\" >Les mod\u00e8les d&rsquo;IA sont-ils mieux calibr\u00e9s que les humains ?<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-8\" href=\"https:\/\/ceotudent.com\/fr\/calibrage-de-la-confiance-a-quel-point-devriez-vous-vraiment-etre-sur\/#Un-protocole-dentrainement-au-calibrage-cadre-editorial-CEOtudent\" >Un protocole d&rsquo;entra\u00eenement au calibrage (cadre \u00e9ditorial CEOtudent)<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-9\" href=\"https:\/\/ceotudent.com\/fr\/calibrage-de-la-confiance-a-quel-point-devriez-vous-vraiment-etre-sur\/#Le-reflexe-du-CEO-un-chiffre-et-une-fourchette-sur-chaque-prevision-que-vous-signez\" >Le r\u00e9flexe du CEO : un chiffre et une fourchette sur chaque pr\u00e9vision que vous signez<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-10\" href=\"https:\/\/ceotudent.com\/fr\/calibrage-de-la-confiance-a-quel-point-devriez-vous-vraiment-etre-sur\/#Ce-que-cela-ne-signifie-pas\" >Ce que cela ne signifie pas<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-11\" href=\"https:\/\/ceotudent.com\/fr\/calibrage-de-la-confiance-a-quel-point-devriez-vous-vraiment-etre-sur\/#Questions-frequentes\" >Questions fr\u00e9quentes<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-12\" href=\"https:\/\/ceotudent.com\/fr\/calibrage-de-la-confiance-a-quel-point-devriez-vous-vraiment-etre-sur\/#Sources\" >Sources<\/a><\/li><\/ul><\/nav><\/div>\n<h2 id=\"que-signifie-tre-bien-calibr\"><span class=\"ez-toc-section\" id=\"Que-signifie-etre-bien-calibre\"><\/span>Que signifie \u00eatre bien calibr\u00e9 ?<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Un pr\u00e9visionniste est calibr\u00e9 lorsque, sur l&rsquo;ensemble des occasions o\u00f9 il annonce \u00ab 70 % \u00bb, l&rsquo;\u00e9v\u00e9nement se produit environ 70 % du temps. Pour une fourchette, le test est le taux de r\u00e9ussite : la fr\u00e9quence \u00e0 laquelle l&rsquo;intervalle annonc\u00e9 contient la vraie valeur. Comme le formulent McKenzie, Liersch et Yaniv, chez des personnes bien calibr\u00e9es, 90 % des intervalles \u00e0 90 % contiendraient la vraie valeur.<\/p>\n<p>Trois erreurs se cachent derri\u00e8re l&rsquo;expression \u00ab exc\u00e8s de confiance \u00bb :<\/p>\n<ul>\n<li><strong>Surpr\u00e9cision :<\/strong> des fourchettes trop \u00e9troites. Haran, Moore et Morewedge la qualifient de type d&rsquo;exc\u00e8s de confiance le plus robuste.<\/li>\n<li><strong>Probabilit\u00e9s surconfiantes :<\/strong> annoncer 90 % pour des affirmations qui se v\u00e9rifient 70 % du temps.<\/li>\n<li><strong>Sous-confiance :<\/strong> se couvrir davantage que ne le justifient les \u00e9l\u00e9ments disponibles, ce qui appara\u00eet plus bas dans une \u00e9tude portant sur des analystes du renseignement exp\u00e9riment\u00e9s.<\/li>\n<\/ul>\n<p>Le calibrage ne fait pas tout : quelqu&rsquo;un qui annonce toujours le taux de base peut \u00eatre parfaitement calibr\u00e9 et inutile. Cette seconde propri\u00e9t\u00e9 s&rsquo;appelle la r\u00e9solution ou la discrimination ; dans l&rsquo;\u00e9tude de Bickel, Floehr et Kim sur les pr\u00e9visions m\u00e9t\u00e9orologiques am\u00e9ricaines, le terme de r\u00e9solution \u00e9tait bien plus important que la p\u00e9nalit\u00e9 de fiabilit\u00e9 li\u00e9e au mauvais calibrage.<\/p>\n<h2 id=\"quel-cart-spare-la-confiance-annonce-des-taux-de-russite-rels\"><span class=\"ez-toc-section\" id=\"Quel-ecart-separe-la-confiance-annoncee-des-taux-de-reussite-reels\"><\/span>Quel \u00e9cart s\u00e9pare la confiance annonc\u00e9e des taux de r\u00e9ussite r\u00e9els ?<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p><strong>Tableau 1. L&rsquo;\u00e9cart de calibrage (analyse CEOtudent de sept \u00e9tudes publi\u00e9es)<\/strong><\/p>\n<table>\n<thead>\n<tr>\n<th>Groupe et t\u00e2che<\/th>\n<th>Confiance annonc\u00e9e<\/th>\n<th>Taux de r\u00e9ussite r\u00e9el<\/th>\n<th>\u00c9cart (points)<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>Directeurs financiers am\u00e9ricains, intervalles \u00e0 80 % pour le rendement du S&amp;P 500 \u00e0 1 an, tous trimestres<\/td>\n<td>80 %<\/td>\n<td>36 %<\/td>\n<td>+44,0<\/td>\n<\/tr>\n<tr>\n<td>M\u00eames directeurs financiers, trimestres les moins volatils uniquement<\/td>\n<td>80 %<\/td>\n<td>59 %<\/td>\n<td>+21,0<\/td>\n<\/tr>\n<tr>\n<td>Participants en ligne, intervalles \u00e0 90 %, temp\u00e9rature \u00e0 Washington DC un mois \u00e0 l&rsquo;avance<\/td>\n<td>90 %<\/td>\n<td>29,17 %<\/td>\n<td>+60,8<\/td>\n<\/tr>\n<tr>\n<td>Participants en laboratoire, intervalles \u00e0 90 %, ann\u00e9es d&rsquo;\u00e9lection des pr\u00e9sidents am\u00e9ricains<\/td>\n<td>90 %<\/td>\n<td>54,34 %<\/td>\n<td>+35,7<\/td>\n<\/tr>\n<tr>\n<td>Habitants de Pittsburgh, intervalles \u00e0 90 %, temp\u00e9rature locale un mois \u00e0 l&rsquo;avance<\/td>\n<td>90 %<\/td>\n<td>73,79 %<\/td>\n<td>+16,2<\/td>\n<\/tr>\n<tr>\n<td>M\u00eames habitants, intervalles \u00e0 90 % construits \u00e0 partir de classes de probabilit\u00e9 (SPIES)<\/td>\n<td>90 %<\/td>\n<td>88,35 %<\/td>\n<td>+1,7<\/td>\n<\/tr>\n<tr>\n<td>Internistes, vignettes diagnostiques plus faciles<\/td>\n<td>7,2 sur 10 (lu comme 72 %)<\/td>\n<td>55,3 %<\/td>\n<td>+16,7<\/td>\n<\/tr>\n<tr>\n<td>Internistes, vignettes diagnostiques plus difficiles<\/td>\n<td>6,4 sur 10 (lu comme 64 %)<\/td>\n<td>5,8 %<\/td>\n<td>+58,2<\/td>\n<\/tr>\n<tr>\n<td>Pr\u00e9visionnistes du tournoi g\u00e9opolitique, toutes conditions<\/td>\n<td>65,4 %<\/td>\n<td>63,3 %<\/td>\n<td>+2,1<\/td>\n<\/tr>\n<tr>\n<td>M\u00eame tournoi, \u00e9quipes ayant suivi une heure de formation<\/td>\n<td>64,3 %<\/td>\n<td>63,6 %<\/td>\n<td>+0,7<\/td>\n<\/tr>\n<tr>\n<td>Analystes canadiens du renseignement strat\u00e9gique, 1 514 pr\u00e9visions<\/td>\n<td>indice sign\u00e9<\/td>\n<td>indice sign\u00e9<\/td>\n<td>-7,6<\/td>\n<\/tr>\n<tr>\n<td>National Weather Service, probabilit\u00e9 de pluie \u00e0 1 jour, saison froide, moyenne<\/td>\n<td>20,1 %<\/td>\n<td>21,8 %<\/td>\n<td>-1,7<\/td>\n<\/tr>\n<tr>\n<td>The Weather Channel, jours o\u00f9 la cha\u00eene pr\u00e9voyait 70 % de risque de pluie<\/td>\n<td>70 %<\/td>\n<td>84 %<\/td>\n<td>-14,0<\/td>\n<\/tr>\n<tr>\n<td>GPT-4 avant le post-entra\u00eenement, sous-ensemble d&rsquo;un test \u00e0 choix multiples<\/td>\n<td>par classes<\/td>\n<td>par classes<\/td>\n<td>0,7 (non sign\u00e9)<\/td>\n<\/tr>\n<tr>\n<td>GPT-4 apr\u00e8s le post-entra\u00eenement, m\u00eame sous-ensemble<\/td>\n<td>par classes<\/td>\n<td>par classes<\/td>\n<td>7,4 (non sign\u00e9)<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>Sources : Ben-David, Graham et Harvey ; Haran, Moore et Morewedge 2010 ; Meyer et al. 2013 (r\u00e9sum\u00e9 uniquement) ; Moore et al. 2016 ; Mandel et Barnes 2014 ; Bickel, Floehr et Kim 2011 ; GPT-4 Technical Report, figure 8. \u00c9carts calcul\u00e9s par CEOtudent dans calc.py ; un \u00e9cart positif signifie un exc\u00e8s de confiance. Lire l&rsquo;\u00e9chelle de confiance de 0 \u00e0 10 des internistes comme un pourcentage est une remise \u00e0 l&rsquo;\u00e9chelle effectu\u00e9e par CEOtudent. La ligne du renseignement correspond \u00e0 l&rsquo;indice de calibrage sign\u00e9 des auteurs (moins 0,076). Les lignes GPT-4 indiquent l&rsquo;erreur de calibrage attendue (expected calibration error), une moyenne non sign\u00e9e.<\/p>\n<p><strong>\u00c0 lire comme une description, pas comme un classement :<\/strong> les \u00e9tudes diff\u00e8rent par la t\u00e2che, l&rsquo;\u00e9chantillon, la p\u00e9riode, la difficult\u00e9 et la notation. Quatre tendances se d\u00e9gagent.<\/p>\n<ol>\n<li><strong>Les fourchettes \u00e9chouent bien plus que les probabilit\u00e9s.<\/strong> Toutes les lignes d&rsquo;intervalles, sauf celle des SPIES, montrent 16 \u00e0 61 points d&rsquo;exc\u00e8s de confiance, alors que les lignes du tournoi, du renseignement et de la m\u00e9t\u00e9o restent \u00e0 moins de 8 points de z\u00e9ro, \u00e0 l&rsquo;exception d&rsquo;un niveau de probabilit\u00e9 chez The Weather Channel. Soll et Klayman ont observ\u00e9 le m\u00eame contraste au sein d&rsquo;une m\u00eame \u00e9tude : les choix entre deux r\u00e9ponses montraient beaucoup moins d&rsquo;exc\u00e8s de confiance que les intervalles.<\/li>\n<li><strong>Le format peut accomplir ce que la volont\u00e9 ne peut pas.<\/strong> Les m\u00eames habitants de Pittsburgh sont pass\u00e9s d&rsquo;un \u00e9cart de 16,2 points \u00e0 1,7 point lorsqu&rsquo;on leur a demand\u00e9 de r\u00e9partir la probabilit\u00e9 entre des classes au lieu de donner deux bornes.<\/li>\n<li><strong>La difficult\u00e9 fait bien plus varier l&rsquo;exactitude que la confiance.<\/strong> Les 118 m\u00e9decins de Meyer et ses coll\u00e8gues ont correctement diagnostiqu\u00e9 55,3 % des cas plus faciles et 5,8 % des cas plus difficiles, alors que leur confiance n&rsquo;est pass\u00e9e que de 7,2 \u00e0 6,4 sur 10. L&rsquo;exactitude a chut\u00e9 de 49,5 points, soit environ 89,5 % en termes relatifs ; la confiance a baiss\u00e9 d&rsquo;environ 11,1 %.<\/li>\n<li><strong>Les environnements riches en retours finissent pr\u00e8s de z\u00e9ro.<\/strong> Les pr\u00e9visionnistes m\u00e9t\u00e9o connaissent le r\u00e9sultat d\u00e8s le lendemain ; les pr\u00e9visionnistes du tournoi voyaient des classements de Brier mis \u00e0 jour \u00e0 mesure que les questions \u00e9taient cl\u00f4tur\u00e9es.<\/li>\n<\/ol>\n<h2 id=\"pourquoi-les-intervalles-de-confiance-sont-ils-tellement-moins-bons-que-les-probabilits-oui-ou-non\"><span class=\"ez-toc-section\" id=\"Pourquoi-les-intervalles-de-confiance-sont-ils-tellement-moins-bons-que-les-probabilites-oui-ou-non\"><\/span>Pourquoi les intervalles de confiance sont-ils tellement moins bons que les probabilit\u00e9s oui ou non ?<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Le diagnostic de Soll et Klayman est que les intervalles subjectifs sont syst\u00e9matiquement trop \u00e9troits au regard de l&rsquo;exactitude de l&rsquo;information sur laquelle ils reposent, avec parfois seulement 40 % de la largeur n\u00e9cessaire. Les donn\u00e9es sur les directeurs financiers le montrent en termes de march\u00e9 : l&rsquo;intervalle moyen d&rsquo;un directeur financier \u00e9tait large de 14,5 %, alors que l&rsquo;\u00e9cart entre les 10e et 90e centiles des rendements r\u00e9alis\u00e9s du S&amp;P 500 sur un an \u00e9tait de 42,2 %, soit environ 2,91 fois plus. Seuls 3,4 % des directeurs financiers ont donn\u00e9 un intervalle plus large que 42,2 %.<\/p>\n<p>Le format fait partie des leviers les plus efficaces. Le tableau 2 compare des intervalles \u00e0 90 % classiques avec les estimations d&rsquo;intervalles de probabilit\u00e9 subjective (Subjective Probability Interval Estimates, SPIES) : la plage des valeurs possibles est d\u00e9coup\u00e9e en classes, chaque classe re\u00e7oit une probabilit\u00e9, et la fourchette \u00e0 90 % est lue ensuite.<\/p>\n<p><strong>Tableau 2. Taux de r\u00e9ussite des intervalles \u00e0 90 % selon la m\u00e9thode d&rsquo;\u00e9licitation (chiffres tels que publi\u00e9s)<\/strong><\/p>\n<table>\n<thead>\n<tr>\n<th>Exp\u00e9rience<\/th>\n<th>Participants<\/th>\n<th>Grandeur estim\u00e9e<\/th>\n<th>Taux de r\u00e9ussite de l&rsquo;intervalle \u00e0 90 %<\/th>\n<th>Taux de r\u00e9ussite des SPIES \u00e0 90 %<\/th>\n<th>Avantage des SPIES (points, calcul CEOtudent)<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>1<\/td>\n<td>103 habitants de Pittsburgh<\/td>\n<td>Temp\u00e9rature maximale \u00e0 Pittsburgh un mois \u00e0 l&rsquo;avance<\/td>\n<td>73,79 %<\/td>\n<td>88,35 %<\/td>\n<td>14,56<\/td>\n<\/tr>\n<tr>\n<td>2<\/td>\n<td>116 participants am\u00e9ricains en ligne<\/td>\n<td>Temp\u00e9rature maximale \u00e0 Washington DC un mois \u00e0 l&rsquo;avance<\/td>\n<td>29,17 %<\/td>\n<td>73,91 %<\/td>\n<td>44,74<\/td>\n<\/tr>\n<tr>\n<td>3<\/td>\n<td>334 participants en laboratoire \u00e0 Pittsburgh<\/td>\n<td>Ann\u00e9e de premi\u00e8re \u00e9lection de chaque pr\u00e9sident am\u00e9ricain du 20e si\u00e8cle<\/td>\n<td>54,34 %<\/td>\n<td>76,91 %<\/td>\n<td>22,57<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>Source : Haran, Moore et Morewedge, Judgment and Decision Making, 2010. Dans l&rsquo;exp\u00e9rience 1, les intervalles construits \u00e0 partir des 5e et 95e fractiles ont atteint le m\u00eame taux de 73,79 % que les intervalles classiques, et les participants qui avaient d&rsquo;abord formul\u00e9 des jugements SPIES ont ensuite trac\u00e9, eux aussi, des intervalles classiques plus larges. Demander les deux bornes s\u00e9par\u00e9ment n&rsquo;aide que peu (Haran et ses coll\u00e8gues d\u00e9crivent la m\u00e9thode des fractiles de Soll et Klayman comme une r\u00e9duction modeste de la surpr\u00e9cision) ; c&rsquo;est le fait de forcer l&rsquo;attention sur chaque issue possible, extr\u00eames compris, qui \u00e9largit les fourchettes.<\/p>\n<p>L&rsquo;expertise ne r\u00e8gle pas le probl\u00e8me. McKenzie, Liersch et Yaniv ont constat\u00e9 que des professionnels de l&rsquo;informatique et des \u00e9tudiants avaient \u00e0 peu pr\u00e8s le m\u00eame exc\u00e8s de confiance : les experts centraient leurs intervalles plus pr\u00e8s de la v\u00e9rit\u00e9 mais les tra\u00e7aient plus \u00e9troits, et les deux effets s&rsquo;annulaient. Leur synth\u00e8se de la litt\u00e9rature : les intervalles \u00e0 90 % contiennent g\u00e9n\u00e9ralement la vraie valeur environ 50 % du temps.<\/p>\n<p>De combien faut-il les \u00e9largir ? Sous l&rsquo;hypoth\u00e8se illustrative d&rsquo;erreurs normalement distribu\u00e9es, un intervalle \u00e0 90 % qui atteint 50 % doit \u00eatre environ 2,44 fois plus large, et les intervalles \u00e0 80 % des directeurs financiers, qui atteignent 36 %, environ 2,74 fois, ce qui est proche du rapport de 2,91 mentionn\u00e9 plus haut. \u00c0 prendre comme une premi\u00e8re correction, pas comme une loi.<\/p>\n<h2 id=\"quoi-ressemble-un-bon-calibrage-dans-la-pratique\"><span class=\"ez-toc-section\" id=\"A-quoi-ressemble-un-bon-calibrage-dans-la-pratique\"><\/span>\u00c0 quoi ressemble un bon calibrage dans la pratique ?<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p><strong>Les pr\u00e9visionnistes m\u00e9t\u00e9o.<\/strong> Bickel, Floehr et Kim ont v\u00e9rifi\u00e9 pr\u00e8s de 13 millions de pr\u00e9visions de probabilit\u00e9 de pluie dans 734 stations du 1er novembre 2008 au 31 octobre 2010. Les pr\u00e9visions \u00e0 1 jour de 0,1 et 0,9 du National Weather Service \u00e9taient bien calibr\u00e9es, et celles de 0,2 et 0,3 tr\u00e8s proches. La politique maison compte aussi : lorsque The Weather Channel annon\u00e7ait 70 %, la pluie tombait 84 % du temps, et la cha\u00eene \u00e9vite le 50 % parce qu&rsquo;elle pense que les utilisateurs y verraient un manque de connaissance.<\/p>\n<p><strong>Les pr\u00e9visionnistes de tournoi.<\/strong> Moore et ses coll\u00e8gues ont analys\u00e9 494 552 pr\u00e9visions portant sur 344 questions, \u00e9mises par 2 860 pr\u00e9visionnistes sur trois ans d&rsquo;un tournoi financ\u00e9 par l&rsquo;IARPA et not\u00e9es selon la r\u00e8gle de Brier. Les auteurs \u00e9crivent qu&rsquo;une heure de formation r\u00e9duit de moiti\u00e9 l&rsquo;exc\u00e8s de confiance au cours de l&rsquo;ann\u00e9e suivante : les pr\u00e9visionnistes travaillant seuls sont pass\u00e9s de 4,3 points d&rsquo;exc\u00e8s de confiance sans formation \u00e0 2,0 avec formation, soit une r\u00e9duction de 53,5 %, et les \u00e9quipes form\u00e9es sont descendues \u00e0 0,7.<\/p>\n<p><strong>Les analystes du renseignement, dans l&rsquo;autre sens.<\/strong> Mandel et Barnes ont not\u00e9 1 514 pr\u00e9visions strat\u00e9giques \u00e9mises par 15 analystes de la division Moyen-Orient et Afrique du Secr\u00e9tariat de l&rsquo;\u00e9valuation du renseignement du Canada. La discrimination \u00e9tait tr\u00e8s bonne (94 % des pr\u00e9visions tombaient du bon c\u00f4t\u00e9 de 50 %), mais les analystes \u00e9taient sous-confiants, surtout pour les pr\u00e9visions plus difficiles et plus pertinentes pour les politiques publiques. Rendre leurs chiffres plus extr\u00eames a r\u00e9duit l&rsquo;\u00e9cart absolu moyen par rapport \u00e0 un calibrage parfait de 12,7 % \u00e0 4,2 %, soit une baisse de 66,9 %.<\/p>\n<p>Le facteur commun est une boucle de retour not\u00e9e, un th\u00e8me que le guide CEOtudent sur <a href=\"\/fr\/developper-son-jugement-recherche-intuition-experte\">le d\u00e9veloppement d&rsquo;un bon jugement<\/a> explore en profondeur.<\/p>\n<h2 id=\"comment-fonctionne-le-score-de-brier-et-quest-ce-quun-bon-score\"><span class=\"ez-toc-section\" id=\"Comment-fonctionne-le-score-de-Brier-et-quest-ce-quun-bon-score\"><\/span>Comment fonctionne le score de Brier, et qu&rsquo;est-ce qu&rsquo;un bon score ?<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Le score de Brier est la moyenne des carr\u00e9s des \u00e9carts entre une pr\u00e9vision probabiliste et le r\u00e9sultat, cod\u00e9 1 si l&rsquo;\u00e9v\u00e9nement s&rsquo;est produit et 0 sinon. Plus il est bas, mieux c&rsquo;est : 0 est parfait, et r\u00e9pondre toujours 50 % \u00e0 des questions oui ou non donne 0,25. Mandel et Barnes le qualifient de r\u00e8gle de score propre, ce qui fait de la d\u00e9claration honn\u00eate la meilleure strat\u00e9gie.<\/p>\n<p>La partie utile est la d\u00e9composition, que Mandel et Barnes appliquent selon la partition de Murphy de 1973 : score de Brier = indice de variance moins indice de discrimination plus indice de calibrage. La variance refl\u00e8te le degr\u00e9 d&rsquo;incertitude des questions ; la discrimination r\u00e9compense la capacit\u00e9 \u00e0 distinguer les \u00e9v\u00e9nements des non-\u00e9v\u00e9nements ; le calibrage p\u00e9nalise les \u00e9carts entre fr\u00e9quences annonc\u00e9es et fr\u00e9quences observ\u00e9es. Pour les analystes canadiens, 0,240 moins 0,182 plus 0,016 reproduit exactement leur score de Brier publi\u00e9 de 0,074.<\/p>\n<p><strong>Tableau 3. Scores de Brier publi\u00e9s, \u00e0 titre indicatif uniquement<\/strong><\/p>\n<table>\n<thead>\n<tr>\n<th>Ensemble de pr\u00e9visions<\/th>\n<th>Score de Brier<\/th>\n<th>Source<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>Renseignement strat\u00e9gique canadien, 1 514 pr\u00e9visions<\/td>\n<td>0,074<\/td>\n<td>Mandel et Barnes 2014<\/td>\n<\/tr>\n<tr>\n<td>Idem, en ajoutant \u00e0 0,5 les pr\u00e9visions formul\u00e9es uniquement en mots (\u00ab could \u00bb, \u00ab might \u00bb)<\/td>\n<td>0,097<\/td>\n<td>Mandel et Barnes 2014<\/td>\n<\/tr>\n<tr>\n<td>National Weather Service, probabilit\u00e9 de pluie \u00e0 1 jour, saison froide (erreur quadratique moyenne)<\/td>\n<td>0,090<\/td>\n<td>Bickel, Floehr et Kim 2011, tableau 4<\/td>\n<\/tr>\n<tr>\n<td>Pr\u00e9visionnistes du tournoi, dernier jour de chaque question<\/td>\n<td>0,10<\/td>\n<td>Moore et al. 2016<\/td>\n<\/tr>\n<tr>\n<td>M\u00e9t\u00e9orologues, pluie du lendemain (Murphy et Winkler 1977)<\/td>\n<td>0,13<\/td>\n<td>selon Moore et al. 2016<\/td>\n<\/tr>\n<tr>\n<td>Pr\u00e9visionnistes du tournoi, derni\u00e8re semaine de chaque question<\/td>\n<td>0,14<\/td>\n<td>Moore et al. 2016<\/td>\n<\/tr>\n<tr>\n<td>R\u00e9pondre toujours 50 % \u00e0 une question oui ou non<\/td>\n<td>0,25<\/td>\n<td>arithm\u00e9tique<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>Mandel et Barnes notent que le score d\u00e9pend non seulement de la comp\u00e9tence du pr\u00e9visionniste, mais aussi de l&rsquo;incertitude de l&rsquo;environnement de pr\u00e9vision, si bien que les scores ne sont pas comparables d&rsquo;un ensemble de questions \u00e0 l&rsquo;autre. Comparez-vous \u00e0 vos propres scores pass\u00e9s sur des questions similaires et au score obtenu en annon\u00e7ant toujours le taux de base.<\/p>\n<p><strong>Tableau 4. Un exemple chiffr\u00e9 sur dix affirmations (chaque donn\u00e9e d&rsquo;entr\u00e9e est une hypoth\u00e8se illustrative)<\/strong><\/p>\n<table>\n<thead>\n<tr>\n<th>Classe<\/th>\n<th>Affirmations<\/th>\n<th>Probabilit\u00e9 annonc\u00e9e<\/th>\n<th>V\u00e9rifi\u00e9es<\/th>\n<th>Taux de r\u00e9ussite<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>Confiance \u00e9lev\u00e9e<\/td>\n<td>5<\/td>\n<td>90 %<\/td>\n<td>4<\/td>\n<td>80 %<\/td>\n<\/tr>\n<tr>\n<td>Confiance mod\u00e9r\u00e9e<\/td>\n<td>5<\/td>\n<td>60 %<\/td>\n<td>3<\/td>\n<td>60 %<\/td>\n<\/tr>\n<tr>\n<td><strong>R\u00e9sultat<\/strong><\/td>\n<td>Brier 0,205<\/td>\n<td>Toujours 70 % (taux de base) : 0,21<\/td>\n<td>Toujours 50 % : 0,25<\/td>\n<td>Calibrage 0,005, discrimination 0,01, variance 0,21<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>Calculs dans calc.py. La classe \u00e9lev\u00e9e affiche 10 points d&rsquo;exc\u00e8s de confiance, la p\u00e9nalit\u00e9 de calibrage est donc faible ; la vraie faiblesse est la discrimination, puisque 0,205 bat \u00e0 peine le 0,21 obtenu en annon\u00e7ant 70 % pour tout. Ramener les affirmations \u00e0 90 % \u00e0 80 % ferait baisser le score \u00e0 0,200. Lisez deux chiffres \u00e0 chaque exercice : le terme de calibrage indique s&rsquo;il faut ajuster la confiance, et l&rsquo;\u00e9cart avec le score du taux de base indique si les jugements apportent de l&rsquo;information.<\/p>\n<h2 id=\"pourquoi-probable-likely-et-improbable-unlikely-ne-fonctionnent-ils-pas-comme-des-chiffres\"><span class=\"ez-toc-section\" id=\"Pourquoi-%C2%AB-probable-%C2%BB-%C2%AB-likely-%C2%BB-et-%C2%AB-improbable-%C2%BB-%C2%AB-unlikely-%C2%BB-ne-fonctionnent-ils-pas-comme-des-chiffres\"><\/span>Pourquoi \u00ab probable \u00bb (\u00ab likely \u00bb) et \u00ab improbable \u00bb (\u00ab unlikely \u00bb) ne fonctionnent-ils pas comme des chiffres ?<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Sherman Kent, largement consid\u00e9r\u00e9 comme le p\u00e8re de l&rsquo;analyse moderne du renseignement selon Mandel et Barnes, a consign\u00e9 le moment o\u00f9 le probl\u00e8me est devenu \u00e9vident. Le National Intelligence Estimate 29-51 qualifiait en 1951 une attaque contre la Yougoslavie de \u00ab possibilit\u00e9 s\u00e9rieuse \u00bb (\u00ab serious possibility \u00bb). Kent entendait par l\u00e0 des chances d&rsquo;environ 65 contre 35 en faveur d&rsquo;une attaque ; les responsables de la planification politique avaient compris des chances bien plus faibles ; et, parmi ses coll\u00e8gues du Board of National Estimates, le plus bas avait voulu dire environ 20 contre 80 et le plus haut 80 contre 20. Son essai de 1964 proposait des mots assortis de chiffres. Des \u00e9chelles officielles existent d\u00e9sormais, mais elles ne concordent pas.<\/p>\n<p><strong>Tableau 5. Le m\u00eame mot, quatre significations officielles (analyse CEOtudent de l&rsquo;ICD 203, des orientations du GIEC, de la pratique du NWS et de Kent 1964)<\/strong><\/p>\n<table>\n<thead>\n<tr>\n<th>Mot (terme ICD 203)<\/th>\n<th>Renseignement am\u00e9ricain, ICD 203<\/th>\n<th>GIEC AR5 et AR6 (terme le plus proche)<\/th>\n<th>Formulation NWS (terme le plus proche)<\/th>\n<th>Kent 1964 (terme le plus proche)<\/th>\n<th>\u00c9cart des points m\u00e9dians ICD vs GIEC (points)<\/th>\n<th>Chevauchement ICD et GIEC (points)<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>Probable (\u00ab Likely \u00bb)<\/td>\n<td>55-80 %<\/td>\n<td>66-100 %<\/td>\n<td>55-74 %<\/td>\n<td>Probable (\u00ab Probable \u00bb) 63-87 %<\/td>\n<td>15,5<\/td>\n<td>14<\/td>\n<\/tr>\n<tr>\n<td>Tr\u00e8s probable (\u00ab Very likely \u00bb)<\/td>\n<td>80-95 %<\/td>\n<td>90-100 %<\/td>\n<td>Cat\u00e9gorique (\u00ab Categorical \u00bb) 75 % ou plus<\/td>\n<td>Presque certain (\u00ab Almost certain \u00bb) 87-99 %<\/td>\n<td>7,5<\/td>\n<td>5<\/td>\n<\/tr>\n<tr>\n<td>Chances \u00e0 peu pr\u00e8s \u00e9gales (\u00ab Roughly even chance \u00bb)<\/td>\n<td>45-55 %<\/td>\n<td>\u00c0 peu pr\u00e8s aussi probable qu&rsquo;improbable (\u00ab About as likely as not \u00bb) 33-66 %<\/td>\n<td>Possible (\u00ab Chance \u00bb) 25-54 %<\/td>\n<td>Chances \u00e0 peu pr\u00e8s \u00e9gales (\u00ab Chances about even \u00bb) 40-60 %<\/td>\n<td>-0,5<\/td>\n<td>10<\/td>\n<\/tr>\n<tr>\n<td>Improbable (\u00ab Unlikely \u00bb)<\/td>\n<td>20-45 %<\/td>\n<td>0-33 %<\/td>\n<td>aucun terme<\/td>\n<td>Probablement pas (\u00ab Probably not \u00bb) 20-40 %<\/td>\n<td>-16,0<\/td>\n<td>13<\/td>\n<\/tr>\n<tr>\n<td>Tr\u00e8s improbable (\u00ab Very unlikely \u00bb)<\/td>\n<td>5-20 %<\/td>\n<td>0-10 %<\/td>\n<td>aucun terme<\/td>\n<td>Presque certainement pas (\u00ab Almost certainly not \u00bb) 2-12 %<\/td>\n<td>-7,5<\/td>\n<td>5<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>Sources : ODNI, ICD 203 (2015, tel que modifi\u00e9) ; Mastrandrea et al., note d&rsquo;orientation du GIEC pour l&rsquo;AR5 (2010), reprise comme coh\u00e9rente avec l&rsquo;AR5 dans le R\u00e9sum\u00e9 \u00e0 l&rsquo;intention des d\u00e9cideurs de l&rsquo;AR6 (2021) ; bilan du bureau du NWS de Salt Lake City pour l&rsquo;hiver 2007-08 ; Kent, dont les fourchettes sont des valeurs centrales plus ou moins la tol\u00e9rance qu&rsquo;il indique (75 %, \u00e0 environ 12 pr\u00e8s). Points m\u00e9dians, \u00e9carts et chevauchements calcul\u00e9s dans calc.py ; un \u00e9cart n\u00e9gatif signifie que la lecture du GIEC est plus basse.<\/p>\n<p>Les cat\u00e9gories de l&rsquo;ICD 203 ne se chevauchent pas ; celles du GIEC sont imbriqu\u00e9es (\u00ab tr\u00e8s probable \u00bb (\u00ab very likely \u00bb), \u00e0 90-100 %, est aussi \u00ab probable \u00bb (\u00ab likely \u00bb)) avec des limites que la note d&rsquo;orientation qualifie de \u00ab floues \u00bb (\u00ab fuzzy \u00bb). Sur \u00ab probable \u00bb (\u00ab likely \u00bb), les deux partagent 14 points, soit environ 56 % de la fourchette du renseignement et 41 % de celle du GIEC. La grille traditionnelle du NWS commence \u00e0 \u00ab l\u00e9g\u00e8re possibilit\u00e9 \u00bb (\u00ab slight chance \u00bb, 15 \u00e0 24 %) et n&rsquo;a aucun terme en dessous.<\/p>\n<p><strong>Tableau 6. Test de traduction : le mot que chaque syst\u00e8me emploierait pour une m\u00eame probabilit\u00e9 (analyse CEOtudent)<\/strong><\/p>\n<table>\n<thead>\n<tr>\n<th>Probabilit\u00e9<\/th>\n<th>ICD 203<\/th>\n<th>GIEC<\/th>\n<th>NWS<\/th>\n<th>Kent 1964<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>18 %<\/td>\n<td>Tr\u00e8s improbable (\u00ab Very unlikely \u00bb)<\/td>\n<td>Improbable (\u00ab Unlikely \u00bb)<\/td>\n<td>L\u00e9g\u00e8re possibilit\u00e9 (\u00ab Slight chance \u00bb)<\/td>\n<td>Aucun terme (lacune entre ses cat\u00e9gories)<\/td>\n<\/tr>\n<tr>\n<td>38 %<\/td>\n<td>Improbable (\u00ab Unlikely \u00bb)<\/td>\n<td>\u00c0 peu pr\u00e8s aussi probable qu&rsquo;improbable (\u00ab About as likely as not \u00bb)<\/td>\n<td>Possible (\u00ab Chance \u00bb)<\/td>\n<td>Probablement pas (\u00ab Probably not \u00bb)<\/td>\n<\/tr>\n<tr>\n<td>70 %<\/td>\n<td>Probable (\u00ab Likely \u00bb)<\/td>\n<td>Probable (\u00ab Likely \u00bb)<\/td>\n<td>Probable (\u00ab Likely \u00bb)<\/td>\n<td>Probable (\u00ab Probable \u00bb)<\/td>\n<\/tr>\n<tr>\n<td>85 %<\/td>\n<td>Tr\u00e8s probable (\u00ab Very likely \u00bb)<\/td>\n<td>Probable (\u00ab Likely \u00bb)<\/td>\n<td>Cat\u00e9gorique (\u00ab Categorical \u00bb)<\/td>\n<td>Probable (\u00ab Probable \u00bb)<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>Ce n&rsquo;est qu&rsquo;\u00e0 70 % que les quatre concordent. Les lecteurs ne comblent pas l&rsquo;\u00e9cart : Budescu, Broomell et Por ont constat\u00e9 que les lectures chiffr\u00e9es des termes du GIEC s&rsquo;\u00e9cartaient significativement des lignes directrices, m\u00eame lorsque les lecteurs avaient ces lignes directrices sous les yeux (r\u00e9sum\u00e9 uniquement). Dans les donn\u00e9es de Mandel et Barnes, environ 16 % des pr\u00e9visions ne comportaient aucun chiffre, seulement des mots comme \u00ab could \u00bb ou \u00ab might \u00bb (\u00ab pourrait \u00bb). La solution ne co\u00fbte presque rien : \u00e9crire le chiffre \u00e0 c\u00f4t\u00e9 du mot, \u00e0 chaque fois. \u00ab Probable (70 %) \u00bb r\u00e9siste au transfert vers quelqu&rsquo;un qui a appris une autre \u00e9chelle.<\/p>\n<h2 id=\"les-modles-dia-sont-ils-mieux-calibrs-que-les-humains\"><span class=\"ez-toc-section\" id=\"Les-modeles-dIA-sont-ils-mieux-calibres-que-les-humains\"><\/span>Les mod\u00e8les d&rsquo;IA sont-ils mieux calibr\u00e9s que les humains ?<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Cela d\u00e9pend de leur entra\u00eenement. Kadavath et ses coll\u00e8gues ont constat\u00e9 que les plus grands mod\u00e8les de langage \u00e9taient bien calibr\u00e9s sur des questions vari\u00e9es \u00e0 choix multiples et de type vrai\/faux pr\u00e9sent\u00e9es dans le bon format, et que les mod\u00e8les affin\u00e9s avec des retours humains semblaient mal calibr\u00e9s, mais l&rsquo;\u00e9taient assez bien apr\u00e8s un simple ajustement de temp\u00e9rature. Le GPT-4 Technical Report montre le co\u00fbt du post-entra\u00eenement : sur un sous-ensemble du jeu de donn\u00e9es MMLU, l&rsquo;erreur de calibrage attendue est pass\u00e9e de 0,007 pour le mod\u00e8le pr\u00e9-entra\u00een\u00e9 \u00e0 0,074 apr\u00e8s le post-entra\u00eenement, soit environ 10,6 fois plus.<\/p>\n<p>Steyvers et ses coll\u00e8gues ajoutent un \u00e9cart suppl\u00e9mentaire, entre la confiance que les humains accordent aux r\u00e9ponses des mod\u00e8les et la confiance propre des mod\u00e8les, sujet trait\u00e9 dans les guides CEOtudent sur <a href=\"\/fr\/signaux-d-alerte-mauvaises-reponses-ia-12-indices-que-le-modele-se-trompe\">les signaux d&rsquo;alerte dans les r\u00e9ponses de l&rsquo;IA<\/a> et sur <a href=\"\/fr\/calibrage-de-la-confiance-quand-se-fier-aux-recommandations-ia\">le calibrage de la confiance accord\u00e9e \u00e0 l&rsquo;IA<\/a>. Une confiance annonc\u00e9e, qu&rsquo;elle vienne d&rsquo;un coll\u00e8gue ou d&rsquo;un mod\u00e8le, est une affirmation \u00e0 noter.<\/p>\n<h2 id=\"un-protocole-dentrainement-au-calibrage-cadre-ditorial-ceotudent\"><span class=\"ez-toc-section\" id=\"Un-protocole-dentrainement-au-calibrage-cadre-editorial-CEOtudent\"><\/span>Un protocole d&rsquo;entra\u00eenement au calibrage (cadre \u00e9ditorial CEOtudent)<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>La revue trimestrielle des bandes de confiance figure d\u00e9j\u00e0 dans le <a href=\"\/fr\/journal-de-decision-modele-et-protocole-pour-ameliorer-son-jugement\">protocole du journal de d\u00e9cision<\/a> de CEOtudent ; ces quatre exercices l&rsquo;alimentent.<\/p>\n<p><strong>Exercice 1. Exercice de dix questions sur des intervalles \u00e0 90 % (chaque semaine, 15 minutes).<\/strong> Choisissez dans votre domaine dix grandeurs que vous pourrez v\u00e9rifier plus tard (le taux d&rsquo;attrition du dernier trimestre, l&rsquo;effectif d&rsquo;un concurrent). Pour chacune, d\u00e9coupez la plage plausible en cinq \u00e0 dix classes, attribuez \u00e0 chaque classe une probabilit\u00e9 de sorte que le total fasse 100, extr\u00eames compris, puis lisez la fourchette la plus \u00e9troite qui contient 90 %. Comptez les r\u00e9ussites.<\/p>\n<p><strong>Exercice 2. Exercice de Brier sur vingt affirmations (chaque mois).<\/strong> R\u00e9digez 20 affirmations de type oui ou non qui se r\u00e9solvent dans un d\u00e9lai de 30 \u00e0 90 jours et attribuez \u00e0 chacune une probabilit\u00e9 de 55, 65, 75, 85 ou 95 %. \u00c0 la r\u00e9solution, calculez votre score de Brier, le score obtenu en annon\u00e7ant toujours le taux de base et le taux de r\u00e9ussite de chaque bande.<\/p>\n<p><strong>Exercice 3. Test du pari \u00e9quivalent (avant de signer toute affirmation \u00e0 90 %).<\/strong> Pr\u00e9f\u00e9reriez-vous gagner un prix si l&rsquo;affirmation est vraie, ou en tirant dans une bo\u00eete contenant neuf billets gagnants et un billet perdant ? Si vous pr\u00e9f\u00e9rez la bo\u00eete, votre confiance est inf\u00e9rieure \u00e0 90 % ; baissez le chiffre ou \u00e9largissez la fourchette. Il s&rsquo;agit d&rsquo;un test d&rsquo;intuition CEOtudent, pas d&rsquo;une m\u00e9thode valid\u00e9e par la recherche.<\/p>\n<p><strong>Exercice 4. Test des mots aux chiffres (chaque note).<\/strong> Entourez chaque mot de probabilit\u00e9, \u00e9crivez un chiffre \u00e0 c\u00f4t\u00e9, et imprimez l&rsquo;\u00e9chelle de l&rsquo;\u00e9quipe en t\u00eate du document.<\/p>\n<p><strong>Tableau 7. Grille d&rsquo;auto\u00e9valuation (cadre \u00e9ditorial CEOtudent)<\/strong><\/p>\n<table>\n<thead>\n<tr>\n<th>Mesure<\/th>\n<th>Comment noter<\/th>\n<th>Compatible avec un bon calibrage<\/th>\n<th>Signal d&rsquo;alerte<\/th>\n<th>Premi\u00e8re correction<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>Taux de r\u00e9ussite des intervalles \u00e0 90 % (exercice 1)<\/td>\n<td>R\u00e9ussites sur 10<\/td>\n<td>9 ou 10<\/td>\n<td>7 ou moins<\/td>\n<td>\u00c9largir les fourchettes d&rsquo;un facteur 2 environ ; donner plus de poids aux classes extr\u00eames<\/td>\n<\/tr>\n<tr>\n<td>Score de Brier (exercice 2)<\/td>\n<td>Erreur quadratique moyenne, 20 affirmations<\/td>\n<td>Inf\u00e9rieur au score du taux de base constant<\/td>\n<td>Sup\u00e9rieur \u00e0 0,25<\/td>\n<td>Moins de probabilit\u00e9s extr\u00eames<\/td>\n<\/tr>\n<tr>\n<td>Taux de r\u00e9ussite par bande (exercice 2)<\/td>\n<td>Part des affirmations vraies dans les bandes 85-95 %<\/td>\n<td>Proche de la bande<\/td>\n<td>Nettement en dessous deux mois de suite<\/td>\n<td>Descendre ces affirmations d&rsquo;une bande<\/td>\n<\/tr>\n<tr>\n<td>\u00c9checs au pari \u00e9quivalent (exercice 3)<\/td>\n<td>Affirmations \u00e0 90 % o\u00f9 la bo\u00eete l&rsquo;a emport\u00e9<\/td>\n<td>Aucun<\/td>\n<td>Au moins un<\/td>\n<td>R\u00e9\u00e9crire l&rsquo;affirmation ou le chiffre<\/td>\n<\/tr>\n<tr>\n<td>Mots sans chiffres (exercice 4)<\/td>\n<td>Nombre par note<\/td>\n<td>Z\u00e9ro<\/td>\n<td>Au moins un<\/td>\n<td>Ajouter le chiffre<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>Pourquoi ces seuils pour l&rsquo;exercice 1 ? Une personne r\u00e9ellement calibr\u00e9e \u00e0 90 % obtient 8 ou moins environ 26,4 % du temps, 7 ou moins environ 7,0 % du temps, et 6 ou moins environ 1,3 % du temps (calcul binomial dans calc.py). Un seul 8 dit peu de chose ; des 7 r\u00e9p\u00e9t\u00e9s en disent long. Avec un taux de r\u00e9ussite de 60 %, l&rsquo;hypoth\u00e8se d&rsquo;erreurs normales sugg\u00e8re d&rsquo;\u00e9largir d&rsquo;un facteur d&rsquo;environ 1,95.<\/p>\n<h2 id=\"le-rflexe-du-ceo-un-chiffre-et-une-fourchette-sur-chaque-prvision-que-vous-signez\"><span class=\"ez-toc-section\" id=\"Le-reflexe-du-CEO-un-chiffre-et-une-fourchette-sur-chaque-prevision-que-vous-signez\"><\/span>Le r\u00e9flexe du CEO : un chiffre et une fourchette sur chaque pr\u00e9vision que vous signez<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Ben-David, Graham et Harvey ont trouv\u00e9 plus qu&rsquo;une erreur de pr\u00e9vision. Les dirigeants mal calibr\u00e9s sur le march\u00e9 pr\u00e9sentaient un mauvais calibrage similaire sur les perspectives de leur propre entreprise, et les entreprises dont les dirigeants \u00e9taient mal calibr\u00e9s semblaient suivre des politiques plus agressives, en investissant davantage et en recourant davantage \u00e0 l&rsquo;endettement. Cette association ne prouve pas de lien de cause \u00e0 effet, mais elle fait de la surpr\u00e9cision un risque d&rsquo;entreprise plut\u00f4t qu&rsquo;une bizarrerie d&rsquo;enqu\u00eate.<\/p>\n<p>Un registre des pr\u00e9visions rend l&rsquo;habitude concr\u00e8te : pour chaque pr\u00e9vision qui oriente une d\u00e9cision, consignez l&rsquo;affirmation, la date de r\u00e9solution, la probabilit\u00e9 ou la fourchette \u00e0 90 %, les mots employ\u00e9s dans la note, le responsable et, plus tard, le r\u00e9sultat et sa contribution au score de Brier. Chaque trimestre, calculez les taux de r\u00e9ussite et les scores de Brier par personne et par sujet. Menez un <a href=\"\/fr\/protocole-pre-mortem-tuer-les-mauvais-plans-avant-quils-echouent\">pre-mortem<\/a> sur tout plan dont la pr\u00e9vision cl\u00e9 se situe dans une bande o\u00f9 l&rsquo;historique montre un exc\u00e8s de confiance. Le <a href=\"\/fr\/bulletin-previsions-quelle-precision-decennie-predictions-experts-ia-2016-2026\">bulletin des pr\u00e9visions<\/a> de CEOtudent applique la m\u00eame notation \u00e0 une d\u00e9cennie de pr\u00e9dictions d&rsquo;experts et d&rsquo;IA. Le c\u00f4t\u00e9 \u00e9tudiant, c&rsquo;est le m\u00eame registre lu comme un programme d&rsquo;\u00e9tudes : chaque erreur montre o\u00f9 vous \u00eates en surpr\u00e9cision.<\/p>\n<h2 id=\"ce-que-cela-ne-signifie-pas\"><span class=\"ez-toc-section\" id=\"Ce-que-cela-ne-signifie-pas\"><\/span>Ce que cela ne signifie pas<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<ul>\n<li><strong>La confiance n&rsquo;est pas un d\u00e9faut.<\/strong> L&rsquo;objectif est la correspondance, pas la baisse ; les analystes canadiens sous-estimaient ce qu&rsquo;ils savaient par exc\u00e8s de prudence.<\/li>\n<li><strong>Le tableau des \u00e9carts ne classe pas les professions.<\/strong> Une pr\u00e9vision de march\u00e9 \u00e0 un an et une pr\u00e9vision de pluie pour le lendemain sont des t\u00e2ches diff\u00e9rentes.<\/li>\n<li><strong>Un score de Brier bas ne prouve pas la comp\u00e9tence.<\/strong> Des questions faciles produisent des scores bas ; comparez avec une r\u00e9f\u00e9rence sur les m\u00eames questions.<\/li>\n<li><strong>Les r\u00e9sultats de laboratoire ne se transposent pas forc\u00e9ment enti\u00e8rement.<\/strong> Les gains des SPIES proviennent de quiz sur la temp\u00e9rature et l&rsquo;histoire, pas de pr\u00e9visions d&rsquo;entreprise.<\/li>\n<li><strong>Cet article fournit des informations g\u00e9n\u00e9rales sur la recherche consacr\u00e9e au jugement ; il ne constitue pas un conseil m\u00e9dical, d&rsquo;investissement ou financier.<\/strong><\/li>\n<\/ul>\n<h2 id=\"questions-frquentes\"><span class=\"ez-toc-section\" id=\"Questions-frequentes\"><\/span>Questions fr\u00e9quentes<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p><strong>Qu&rsquo;est-ce que le calibrage de la confiance, en termes simples ?<\/strong><br \/>\nLa correspondance entre le degr\u00e9 de certitude que vous affichez et la fr\u00e9quence \u00e0 laquelle vous avez raison. Ce n&rsquo;est pas l&rsquo;exactitude : un pr\u00e9visionniste peut \u00eatre calibr\u00e9 tout en restant peu informatif, c&rsquo;est pourquoi la d\u00e9composition de Brier s\u00e9pare les deux.<\/p>\n<p><strong>Pourquoi les fourchettes \u00e0 90 % sont-elles si souvent fausses ?<\/strong><br \/>\nElles sont trac\u00e9es trop \u00e9troites : parfois seulement 40 % de la largeur n\u00e9cessaire, selon Soll et Klayman, et ne contenant g\u00e9n\u00e9ralement la vraie valeur qu&rsquo;environ une fois sur deux, selon la litt\u00e9rature que r\u00e9sument McKenzie et ses coll\u00e8gues.<\/p>\n<p><strong>Qu&rsquo;est-ce qu&rsquo;un bon score de Brier ?<\/strong><br \/>\nIl n&rsquo;existe pas de seuil universel. Un pr\u00e9visionniste utile fait mieux que 0,25 (r\u00e9pondre toujours 50 %) et que le score du taux de base constant sur les m\u00eames questions.<\/p>\n<p><strong>Le calibrage peut-il s&rsquo;entra\u00eener ?<\/strong><br \/>\nOui, avec des retours. Une heure de formation a \u00e0 peu pr\u00e8s r\u00e9duit de moiti\u00e9 l&rsquo;exc\u00e8s de confiance des pr\u00e9visionnistes du tournoi, et les classes de probabilit\u00e9 ont augment\u00e9 les taux de r\u00e9ussite des intervalles en laboratoire.<\/p>\n<p><strong>Faut-il se fier aux scores de confiance de l&rsquo;IA ?<\/strong><br \/>\nNotez-les comme n&rsquo;importe quelle confiance annonc\u00e9e. Le rapport GPT-4 montre que le post-entra\u00eenement a fait passer l&rsquo;erreur de calibrage de 0,007 \u00e0 0,074 sur son sous-ensemble de test.<\/p>\n<h2 id=\"sources\"><span class=\"ez-toc-section\" id=\"Sources\"><\/span>Sources<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<ol>\n<li>Ben-David, Itzhak, John R. Graham et Campbell R. Harvey. Managerial Miscalibration. NBER Working Paper 16215, juillet 2010, r\u00e9vis\u00e9 en septembre 2013 ; publi\u00e9 dans le Quarterly Journal of Economics 128(4), 2013.<\/li>\n<li>Moore, D. A. et al. Confidence Calibration in a Multiyear Geopolitical Forecasting Competition. Management Science, Articles in Advance, 2016.<\/li>\n<li>Haran, U., Moore, D. A. et Morewedge, C. K. A simple remedy for overprecision in judgment. Judgment and Decision Making 5(7), 2010.<\/li>\n<li>Soll, J. B. et Klayman, J. Overconfidence in interval estimates. Journal of Experimental Psychology: Learning, Memory, and Cognition 30(2), 2004 (r\u00e9sum\u00e9 uniquement).<\/li>\n<li>McKenzie, Craig R. M., Michael J. Liersch et Ilan Yaniv. Overconfidence in interval estimates: What does expertise buy you? Organizational Behavior and Human Decision Processes 107, 2008.<\/li>\n<li>Meyer, A. N. D. et al. Physicians&rsquo; diagnostic accuracy, confidence, and resource requests: a vignette study. JAMA Internal Medicine 173(21), 2013 (r\u00e9sum\u00e9 uniquement).<\/li>\n<li>Mandel, D. R. et Barnes, A. Accuracy of forecasts in strategic intelligence. Proceedings of the National Academy of Sciences 111(30), 2014.<\/li>\n<li>Bickel, J. E., Floehr, E. et Kim, S. D. Comparing NWS PoP Forecasts to Third-Party Providers. Monthly Weather Review 139, 2011.<\/li>\n<li>Graham, R. A Review of PoP Reliability and PoP Bias Trends at WFO SLC for the Winter of 2007-08. National Weather Service, bureau de Salt Lake City.<\/li>\n<li>Office of the Director of National Intelligence. Intelligence Community Directive 203, Analytic Standards, sign\u00e9e le 2 janvier 2015, avec des amendements techniques ult\u00e9rieurs.<\/li>\n<li>Mastrandrea, M. D. et al. Guidance Note for Lead Authors of the IPCC Fifth Assessment Report on Consistent Treatment of Uncertainties. IPCC, 2010.<\/li>\n<li>IPCC. Summary for Policymakers. Climate Change 2021: The Physical Science Basis, Sixth Assessment Report, 2021.<\/li>\n<li>Kent, S. Words of Estimative Probability. Studies in Intelligence, CIA Center for the Study of Intelligence, 1964 ; d\u00e9classifi\u00e9 en 1993.<\/li>\n<li>Budescu, D. V., Broomell, S. et Por, H.-H. Improving communication of uncertainty in the reports of the Intergovernmental Panel on Climate Change. Psychological Science 20(3), 2009 (r\u00e9sum\u00e9 uniquement).<\/li>\n<li>Kadavath, S. et al. Language Models (Mostly) Know What They Know. Pr\u00e9publication arXiv 2207.05221, 2022.<\/li>\n<li>OpenAI. GPT-4 Technical Report. Pr\u00e9publication arXiv 2303.08774, version 6, 2024.<\/li>\n<li>Steyvers, M. et al. What large language models know and what people think they know. Nature Machine Intelligence 7, 2025.<\/li>\n<\/ol>\n<p><em>Les tableaux 1, 5, 6 et 7 sont des analyses ou des cadres \u00e9ditoriaux CEOtudent ; le tableau 4 est un exemple illustratif fond\u00e9 sur des hypoth\u00e8ses ; les tableaux 2 et 3 rapportent les chiffres tels que publi\u00e9s. Le r\u00e9sum\u00e9 de Moore et ses coll\u00e8gues indique un exc\u00e8s de confiance d&rsquo;environ 3 % ; l&rsquo;article retient le chiffre de 2,1 points tir\u00e9 de leurs r\u00e9sultats, qui correspond \u00e0 65,4 et 63,3 %. D\u00e9lib\u00e9r\u00e9ment non utilis\u00e9s : les variantes \u00e0 36,3 et 36,6 % de l&rsquo;article sur les directeurs financiers (c&rsquo;est le chiffre de 36 % de son r\u00e9sum\u00e9 qui est retenu), l&rsquo;article de Murphy et Winkler sur la m\u00e9t\u00e9o et l&rsquo;article de Brier de 1950 (non consult\u00e9s ; cit\u00e9s par l&rsquo;interm\u00e9diaire de Moore et ses coll\u00e8gues, de Mandel et Barnes, et de Bickel et ses coll\u00e8gues), ainsi que les tableaux de Brier d&rsquo;entra\u00eenement d\u00e9j\u00e0 pr\u00e9sents dans l&rsquo;article CEOtudent sur le journal de d\u00e9cision.<\/em><\/p>\n<hr>\n<p><em>Ce contenu a \u00e9t\u00e9 compil\u00e9 avec le soutien de l&rsquo;IA \u00e0 la suite d&rsquo;une recherche approfondie, puis r\u00e9dig\u00e9 et pr\u00e9par\u00e9 pour publication par l&rsquo;\u00e9quipe \u00e9ditoriale de CEOtudent.<\/em><\/p>\n","protected":false},"excerpt":{"rendered":"<p>Des directeurs financiers am\u00e9ricains ont donn\u00e9, pour le rendement du S&#038;P 500 de l&rsquo;ann\u00e9e suivante, des intervalles de confiance \u00e0 80 % qui ne contenaient le rendement r\u00e9el que dans 36 % des cas, tandis que des pr\u00e9visionnistes de tournoi not\u00e9s avec un retour sur leur score de Brier \u00e9taient s\u00fbrs \u00e0 65,4 % et justes \u00e0 63,3 %. Ce guide r\u00e9unit dix groupes issus de sept \u00e9tudes dans un m\u00eame tableau des \u00e9carts de calibrage, montre que \u00ab probable \u00bb (\u00ab likely \u00bb) signifie 55-80 % dans le renseignement am\u00e9ricain mais 66-100 % au GIEC, et propose un protocole en quatre exercices pour auditer votre propre confiance.<\/p>\n","protected":false},"author":1,"featured_media":326701,"comment_status":"open","ping_status":"","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[4599,18],"tags":[],"class_list":["post-326699","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-gelisim","category-strateji"],"_links":{"self":[{"href":"https:\/\/ceotudent.com\/fr\/wp-json\/wp\/v2\/posts\/326699","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/ceotudent.com\/fr\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/ceotudent.com\/fr\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/ceotudent.com\/fr\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/ceotudent.com\/fr\/wp-json\/wp\/v2\/comments?post=326699"}],"version-history":[{"count":0,"href":"https:\/\/ceotudent.com\/fr\/wp-json\/wp\/v2\/posts\/326699\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/ceotudent.com\/fr\/wp-json\/wp\/v2\/media\/326701"}],"wp:attachment":[{"href":"https:\/\/ceotudent.com\/fr\/wp-json\/wp\/v2\/media?parent=326699"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/ceotudent.com\/fr\/wp-json\/wp\/v2\/categories?post=326699"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/ceotudent.com\/fr\/wp-json\/wp\/v2\/tags?post=326699"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}