En bref : Un journal de décision n’est pas un carnet intime. C’est un instrument de mesure, et il ne fonctionne que s’il est conçu pour déjouer une défaillance de mémoire précise et abondamment répliquée. Fischhoff a établi en 1975 que la connaissance du résultat réécrit silencieusement ce que vous croyez avoir anticipé, avec un écart moyen de 9,2 points de pourcentage sur les résultats rapportés, raison pour laquelle l’entrée doit être écrite avant que le résultat existe et doit contenir un nombre. Baron et Hershey ont établi en 1988 que les gens jugent une décision identique meilleure quand le résultat s’est trouvé bon, et continuent de le faire après une consigne explicite contraire, raison pour laquelle le journal doit séparer qualité de décision et qualité de résultat en deux champs notés distinctement. Mellers et ses collègues, rendant compte d’un tournoi de prévision géopolitique de deux ans couvrant 199 questions, ont constaté qu’un module de formation aux probabilités d’environ 45 minutes améliorait la précision sur des périodes de 8 à 10 mois, et que les prévisionnistes d’élite du tournoi faisaient en moyenne 7,8 prévisions par question contre 1,4 pour les prévisionnistes indépendants. Mitchell, Russo et Pennington ont constaté qu’imaginer qu’un résultat s’est déjà produit augmente de 30 pour cent votre capacité à en identifier correctement les raisons. Réunis, ces quatre résultats spécifient l’instrument avec précision : sept champs, une probabilité calibrée, un récit d’échec écrit à l’avance et une boucle de révision déclenchée par un signal plutôt que par une humeur. Ci-dessous : le modèle, un tableau dérivé de ce que la formation au calibrage a réellement apporté à chaque étape d’une prévision, les règles de notation et les limites honnêtes.
Il existe une version du développement personnel qui donne l’impression du progrès et n’en produit aucun. Vous notez ce que vous avez décidé. Des mois plus tard vous relisez, constatez que vous aviez raison sur certains points, vous vous sentez encouragé, et vous ne changez rien.
La raison de cet échec n’est pas la paresse. C’est que le souvenir humain d’une prédiction n’est pas un enregistrement stocké. Il est reconstruit au moment où vous le récupérez, et cette reconstruction est contaminée par tout ce que vous avez appris depuis.
Un journal de décision qui n’en tient pas compte est un carnet intime. Un journal de décision qui en tient compte est l’un des rares instruments capables de déplacer réellement le jugement.
Les quatre résultats auxquels le modèle doit répondre
Tout ce qui est structurel dans le format ci-dessous découle de quatre résultats. Il vaut la peine de les énoncer précisément, car chacun impose un champ particulier.
Votre souvenir de ce que vous attendiez se déplace après avoir appris la réponse. L’article de Baruch Fischhoff de 1975, publié sous le titre Le rétrospectif n’est pas la prospective, présentait à des participants de brèves vignettes historiques et cliniques comportant plusieurs issues plausibles et leur demandait des probabilités. Certains apprenaient quelle issue s’était produite. Sur l’ensemble des issues rapportées, l’écart moyen entre probabilités prospectives et rétrospectives atteignait 9,2 points de pourcentage. Ceux à qui l’on demandait d’ignorer le résultat n’y parvenaient pas. Le résultat est devenu l’un des plus répliqués de la discipline ; la méta-analyse de Christensen-Szalanski et Willham en a regroupé 122 études.
Conséquence de conception : l’entrée doit être horodatée avant que le résultat existe, et elle doit contenir un nombre, car un sentiment mémorisé est exactement ce qui dérive.
Votre évaluation d’une décision se déplace avec le résultat, même lorsque vous savez qu’elle ne devrait pas. L’étude de Baron et Hershey de 1988 dans le Journal of Personality and Social Psychology a montré qu’une décision identique était jugée meilleure, plus importante et plus normative lorsque le résultat était positif. Interrogés, les sujets convenaient que les résultats ne devraient pas affecter l’évaluation. Ils en étaient affectés malgré tout.
Conséquence de conception : qualité de décision et qualité de résultat doivent être deux champs notés séparément, remplis à deux moments distincts. Si un seul champ porte les deux, le bon résultat rehaussera discrètement le raisonnement qui l’a produit.
Un exercice de calibrage court et unique a une longue demi-vie. Mellers et ses collègues ont rendu compte dans Psychological Science d’un tournoi de deux ans où les prévisionnistes répondaient à 199 questions géopolitiques, ouvertes en moyenne 102 jours. Les participants étaient assignés aléatoirement à une formation aux probabilités, à une formation par scénarios ou à aucune formation. La formation aux probabilités a devancé celle par scénarios, laquelle a devancé l’absence de formation. Le module durait environ 45 minutes, et son bénéfice a persisté sur deux périodes d’environ 8 à 10 mois chacune.
Conséquence de conception : il vaut la peine de consacrer une séance à apprendre à formuler correctement des probabilités, et le journal devrait tenir un score de calibrage courant plutôt qu’une impression.
Imaginer l’échec avant qu’il survienne améliore votre raisonnement causal. Mitchell, Russo et Pennington, dans un article de 1989 du Journal of Behavioral Decision Making, ont constaté que le rétrospectif prospectif, c’est-à-dire décrire un événement futur comme s’il s’était déjà produit, augmentait de 30 pour cent la capacité à identifier correctement les raisons des résultats. C’est le mécanisme sous-jacent au pré-mortem.
Conséquence de conception : il existe un champ obligatoire où vous écrivez, au passé, le récit de la façon dont cela a mal tourné.
Ce que 45 minutes de formation au calibrage ont réellement apporté
Les données du tournoi permettent une chose que sa couverture médiatique fait rarement : calculer la taille de l’effet de formation à chaque étape d’une prévision, plutôt que de répéter le titre. Le score de Brier mesure la précision probabiliste et plus bas signifie meilleur, une amélioration est donc une réduction. Le tableau ci-dessous dérive l’amélioration relative de la formation aux probabilités par rapport à la condition sans formation appariée, cellule par cellule, à partir du tableau de scores publié.
Tableau 1. Gain relatif de précision d’un module de formation aux probabilités de 45 minutes, par type de prévisionniste et étape de prévision, cadre éditorial CEOtudent, dérivé des scores de Brier publiés
| Année | Type de prévisionniste | Étape | Brier, sans formation | Brier, formation aux probabilités | Amélioration relative |
|---|---|---|---|---|---|
| 1 | Individuel | Première semaine | 0,44 | 0,40 | 9,1 pour cent meilleur |
| 1 | Individuel | 2 semaines médianes | 0,40 | 0,36 | 10,0 pour cent meilleur |
| 1 | Individuel | Dernière semaine | 0,31 | 0,29 | 6,5 pour cent meilleur |
| 1 | Croyance collective | Première semaine | 0,42 | 0,36 | 14,3 pour cent meilleur |
| 1 | Croyance collective | 2 semaines médianes | 0,39 | 0,34 | 12,8 pour cent meilleur |
| 1 | Croyance collective | Dernière semaine | 0,30 | 0,23 | 23,3 pour cent meilleur |
| 1 | Équipe | Première semaine | 0,42 | 0,35 | 16,7 pour cent meilleur |
| 1 | Équipe | 2 semaines médianes | 0,33 | 0,30 | 9,1 pour cent meilleur |
| 1 | Équipe | Dernière semaine | 0,22 | 0,19 | 13,6 pour cent meilleur |
| 2 | Individuel | Première semaine | 0,46 | 0,42 | 8,7 pour cent meilleur |
| 2 | Individuel | 2 semaines médianes | 0,39 | 0,36 | 7,7 pour cent meilleur |
| 2 | Individuel | Dernière semaine | 0,26 | 0,24 | 7,7 pour cent meilleur |
| 2 | Équipe | Première semaine | 0,38 | 0,40 | 5,3 pour cent moins bon |
| 2 | Équipe | 2 semaines médianes | 0,32 | 0,28 | 12,5 pour cent meilleur |
| 2 | Équipe | Dernière semaine | 0,16 | 0,16 | aucun changement |
Trois choses dans ce tableau comptent davantage que les moyennes.
La première est que le gain est réel mais modeste pour une personne seule : entre 6,5 et 10 pour cent dans chaque cellule individuelle des deux années. Si vous tenez un journal seul, c’est la taille honnête de ce qu’une habitude de calibrage vous apporte directement.
La deuxième est que deux cellules vont dans le mauvais sens. En deuxième année, les prévisionnistes d’équipe formés étaient légèrement moins bons la première semaine et identiques la dernière. Un tableau qui les masquerait serait un document commercial. L’effet est réel et il n’est pas uniforme.
La troisième est que le plus grand nombre du tableau, 23,3 pour cent, ne figure pas dans les lignes individuelles. Il apparaît là où la formation s’est combinée au fait de voir ce que d’autres croyaient, tard dans la vie d’une question, quand l’information s’était accumulée. La formation paie le plus quand elle a de la matière à travailler.
Le résultat qui explique réellement les superprévisionnistes
Les meilleurs performeurs du tournoi ont été promus en équipes d’élite la deuxième année, et leurs scores n’étaient proches de personne : 0,25 la première semaine d’une question, 0,19 au milieu, 0,07 à la fin. Face aux prévisionnistes individuels non formés de la même année, cela fait 45,7 pour cent de mieux tôt, 51,3 pour cent au milieu et 73,1 pour cent à la fin.
La différence de comportement sous-jacente est étonnamment simple, et c’est l’élément le plus important de cet article. Les prévisionnistes indépendants faisaient en moyenne 1,4 prévision par question. Les prévisionnistes de croyance collective 1,3. Les équipes ordinaires en deuxième année 1,6. Les superprévisionnistes 7,8.
C’est un taux de retour environ 5,6 fois supérieur à celui des prévisionnistes indépendants. Pas une meilleure première estimation. Davantage de retours à la même question ouverte, chacun étant une mise à jour face à une information nouvelle.
C’est le résultat qui devrait décider de la façon dont vous construisez votre journal. Presque tous les modèles de journal de décision traitent l’entrée comme le produit. Les données disent que l’entrée est la partie bon marché. La performance vit dans la boucle qui vous ramène à une décision tant qu’elle est encore ouverte, et la plupart des modèles n’ont aucune boucle de ce genre.
Tableau 2. Taux de retour par groupe de prévisionnistes et précision associée, cadre éditorial CEOtudent, dérivé des chiffres publiés du tournoi
| Groupe | Prévisions moyennes par question | Taux de retour vs indépendant | Brier année 2, dernière semaine |
|---|---|---|---|
| Prévisionnistes de croyance collective | 1,3 | 0,9 fois | non rapporté séparément en année 2 |
| Prévisionnistes indépendants | 1,4 | 1,0 fois, référence | 0,26 |
| Équipes ordinaires, année 2 | 1,6 | 1,1 fois | 0,16 |
| Superprévisionnistes | 7,8 | 5,6 fois | 0,07 |
Cette comparaison n’établit pas la direction causale ; les superprévisionnistes ont d’abord été sélectionnés pour leur précision puis placés en équipes d’élite, leur taux de retour et leur précision partagent donc une cause commune dans l’aptitude et l’engagement. Ce que les chiffres établissent, c’est l’association, et elle est assez forte pour faire de la boucle de retour la partie de l’instrument que vous devriez refuser de sauter.
Le modèle : sept champs obligatoires
Chaque champ existe parce que l’un des résultats ci-dessus l’exige. Rien ici n’est décoratif, et les deux champs que vous serez tenté d’abandonner sont précisément ceux qui font le travail.
1. Décision et date. Une phrase, sous la forme « je choisis X plutôt que Y ». Si vous ne pouvez pas nommer l’alternative rejetée, vous n’avez pas pris une décision, vous avez eu une préférence. Horodatez. C’est l’horodatage qui rend l’entrée recevable plus tard.
2. La situation telle qu’elle apparaît maintenant. Trois à cinq phrases. Ce que vous savez, ce que vous ignorez, la pression subie, le temps disponible. Écrite maintenant, tant qu’elle est encore incomplète, car la version dont vous vous souviendrez est la version rangée.
3. La probabilité. Un nombre, pas un mot. « Je pense que ça marchera » est infalsifiable. « J’estime à 65 pour cent la probabilité que cela marche, jugé selon le résultat observable suivant » est une affirmation notable. Définissez la condition de résolution dans le même champ : que se sera-t-il produit précisément, et pour quelle date, pour que cela compte comme ayant marché.
C’est le champ que les gens sautent, et le sauter fait retomber le journal au rang de carnet intime. Les 9,2 points de dérive mesurés par Fischhoff sont exactement l’écart qu’un nombre referme.
4. Le pré-mortem. Au passé, comme si un an s’était écoulé et que cela avait échoué : « Cela n’a pas marché parce que… » Deux ou trois phrases. Les 30 pour cent d’amélioration dans l’identification des raisons viennent du temps verbal, pas de l’effort. Écrire « cela pourrait échouer si » produit un raisonnement nettement plus mince qu’écrire « cela a échoué parce que ».
5. Ce qui me ferait changer d’avis. Un ou deux signaux précis et observables qui devraient vous amener à inverser ou réviser. Ce champ est le déclencheur de la boucle de retour. Sans lui, vous n’avez aucune raison programmée de revenir, et vous reviendrez 1,4 fois par question comme tout le monde.
6. Note de qualité de décision, remplie maintenant. De un à cinq, sur le raisonnement seul, avant qu’aucun résultat n’existe. Avez-vous envisagé l’alternative, cherché des preuves contraires, énoncé un nombre, nommé la condition de retournement ?
7. Note de qualité de résultat, remplie à la résolution. De un à cinq, sur ce qui s’est réellement produit, lors d’une séance distincte. Le résultat de Baron et Hershey est la raison même de ces deux champs. À la révision, les lignes intéressantes sont les discordances : haute qualité de décision avec mauvais résultat, ce qui relève de la variance et ne doit pas être corrigé ; et basse qualité de décision avec bon résultat, la ligne la plus dangereuse du journal parce que rien en elle ne ressemble à un problème.
Le protocole de révision : quatre déclencheurs, pas un calendrier
Les revues mensuelles échouent pour une raison prévisible. Un mois plus tard, la plupart des entrées sont encore ouvertes, et celles qui se sont résolues l’ont fait à un moment aléatoire où vous n’étiez pas présent. La revue doit se déclencher sur des événements.
Déclencheur un : la résolution. Dès qu’un résultat est connu, avant d’en avoir parlé à quiconque, ouvrez l’entrée, lisez la probabilité que vous aviez énoncée sans la modifier, consignez le résultat et remplissez le champ sept. C’est le seul moment où vous pouvez comparer une prédiction conservée à un résultat. Quinze minutes.
Déclencheur deux : le signal de changement d’avis. Quand quelque chose du champ cinq survient, l’entrée est rouverte, que la décision soit résolue ou non. C’est le mécanisme qui vous fait passer de 1,4 retour à un chiffre plus proche de celui qui corrèle avec la précision.
Déclencheur trois : le calibrage groupé, une fois par trimestre. Prenez chaque entrée résolue. Regroupez selon la probabilité énoncée : tout ce qui est dans la bande 60 à 70 pour cent, tout ce qui est dans la bande 70 à 80, et ainsi de suite. Dans chaque bande, comptez la fraction réellement survenue. Si vous avez dit 70 pour cent onze fois et que huit se sont produites, vous êtes calibré dans cette bande. Si vous avez dit 90 pour cent dix fois et que six se sont produites, vous êtes trop confiant, et vous le savez désormais comme un nombre plutôt que comme un soupçon. Vingt entrées suffisent pour voir un motif ; dix non.
Déclencheur quatre : l’audit des discordances, une fois par an. Ne tirez que les lignes où qualité de décision et qualité de résultat divergent de deux points ou plus. Ce sont les entrées qui enseignent. Tout le reste confirme surtout ce que vous croyiez déjà.
Ce que cet instrument ne peut pas faire
Être franc sur les limites fait partie de ce qui rend le reste utilisable.
Les données du tournoi proviennent de questions géopolitiques avec des critères de résolution nets et des échéances définies. La plupart des décisions personnelles et professionnelles conséquentes n’ont ni l’un ni l’autre. Savoir si accepter tel poste était juste peut ne pas se résoudre de façon notable avant des années, voire jamais, et le contrefactuel est définitivement indisponible. La formation au calibrage se transfère à la classe de décisions que vous pouvez réellement noter, sous-ensemble réel mais borné.
L’effet rétrospectif de 9,2 points et le résultat sur le biais de résultat sont des constats de laboratoire obtenus avec des vignettes. Ils établissent solidement le mécanisme. Ils n’établissent pas que tenir un journal retire le biais de votre vie professionnelle, et aucune étude citée ici ne l’a mesuré.
Le chiffre de retour des superprévisionnistes est une association au sein d’un groupe sélectionné, non une démonstration que revenir davantage vous rendra plus précis. Traitez 7,8 comme un indice de l’endroit où se situe plausiblement le levier, non comme une cible à atteindre mécaniquement.
Et le taux de base honnête de cette habitude est que la plupart des gens l’abandonnent. Le mode d’échec est presque toujours le même : le modèle avait trop de champs, la revue n’avait pas de déclencheur, et le champ de probabilité a été sauté parce qu’il paraissait prétentieux. Sept champs, quatre déclencheurs, et le nombre n’est pas facultatif.
Où cela s’inscrit
Un journal de décision est la couche de mesure sous tout le reste de la pratique décisionnelle. C’est ce qui vous dit si les cadres que vous avez adoptés améliorent réellement vos choix, ou si vous vous sentez simplement mieux organisé. Si vous assemblez le système plus large, la pile de décision personnelle est l’architecture que cet instrument mesure, penser en paris est l’origine du champ de probabilité, et comment le bon jugement se développe réellement est la recherche sur ce que la boucle de rétroaction vous fait au fil des années.
Questions fréquentes
Combien de décisions doivent figurer dans le journal ?
Moins que vous ne le pensez. Le seuil est le suivant : voudrai-je savoir, dans un an, ce que j’attendais réellement ici ? Pour la plupart des gens cela fait une à trois entrées par semaine. Un journal de quatre-vingts entrées triviales et d’aucune entrée résolue n’enseigne rien, et le passage trimestriel de calibrage a besoin d’environ vingt entrées résolues dans une bande pour dire quoi que ce soit.
Faut-il l’écrire, ou une conversation avec un modèle d’IA suffit-elle ?
Les données parlent des champs, pas du support. Un modèle peut aider à produire le pré-mortem et vous tenir à énoncer un nombre, deux apports réellement utiles. Ce qu’il ne peut pas faire, c’est préserver l’entrée contre votre propre mémoire, ce qui est tout l’enjeu ; quel que soit l’outil, il doit produire un enregistrement horodaté que vous ne modifiez pas ensuite.
Et si je ne connais pas la probabilité ?
C’est la condition normale et ce n’est pas un obstacle. Donnez le nombre quand même, puis laissez le passage trimestriel vous dire à quel point vos nombres se trompent en tant que classe. Être mal calibré et connaître la taille de l’erreur est strictement préférable à n’avoir aucun nombre, et le résultat du tournoi suggère qu’une séance ciblée sur la formulation des probabilités suffit pour commencer.
Puis-je reproduire la formation de 45 minutes ?
En partie. Le module publié enseignait le raisonnement par classes de référence, corrigeait des biais courants et proposait des heuristiques comme la moyenne de plusieurs estimations. Vous pouvez vous y exercer directement. Ce que vous ne pouvez pas reproduire seul, c’est la densité de rétroaction du tournoi, et le tableau ci-dessus suggère que les plus grands gains sont apparus là où l’on voyait ce que d’autres croyaient.
Pourquoi noter la qualité de décision avant le résultat plutôt qu’à la revue ?
Parce qu’après le résultat vous n’en êtes plus capable. C’est précisément ce que Baron et Hershey ont démontré : la consigne d’ignorer le résultat ne fonctionne pas. La note antérieure au résultat est la seule lecture non contaminée de votre propre raisonnement que vous obtiendrez jamais.
Sources
- Fischhoff, Hindsight is not equal to foresight: The effect of outcome knowledge on judgment under uncertainty, Journal of Experimental Psychology: Human Perception and Performance, volume 1, numéro 3, 1975, pages 288 à 299
- Christensen-Szalanski et Willham, The hindsight bias: A meta-analysis, Organizational Behavior and Human Decision Processes, volume 48, 1991
- Baron et Hershey, Outcome bias in decision evaluation, Journal of Personality and Social Psychology, volume 54, numéro 4, 1988, pages 569 à 579
- Mellers, Ungar, Baron, Ramos, Gurcay, Fincher, Scott, Moore, Atanasov, Swift, Murray, Stone et Tetlock, Psychological Strategies for Winning a Geopolitical Forecasting Tournament, Psychological Science, volume 25, numéro 5, 2014
- Mitchell, Russo et Pennington, Back to the future: Temporal perspective in the explanation of events, Journal of Behavioral Decision Making, volume 2, numéro 1, 1989
- Tetlock, Mellers, Rohrbaugh et Chen, Forecasting Tournaments: Tools for Increasing Transparency and Improving the Quality of Debate, Current Directions in Psychological Science, volume 23, numéro 4, 2014
- Brier, Verification of forecasts expressed in terms of probability, Monthly Weather Review, volume 78, 1950
Ce contenu a été compilé avec le soutien de l’IA à la suite d’une recherche approfondie, puis rédigé et préparé pour publication par l’équipe éditoriale de CEOtudent.
This post is also available in:
