En bref. La plupart des conseils sur la réflexion prospective se vendent sur leur plausibilité plutôt que sur une justesse mesurée, et les deux se recoupent mal. En travaillant uniquement à partir de résultats publiés que nous avons pu ouvrir et recalculer, quatre constats ressortent. Premièrement, l’intervention ayant le plus grand effet mesuré sur la justesse individuelle n’est pas une technique : c’est la sélection par les antécédents. Elle vaut une réduction de 73,1 % de l’erreur dans la condition publiée la plus forte, et de 20 à 23 % dans une étude distincte de 2024. Deuxièmement, la meilleure technique change avec le moment : la première semaine d’une question, la formation aux probabilités a battu la discussion de groupe ; à la dernière semaine, la discussion était un levier 4,5 fois plus fort. Troisièmement, la formation aux scénarios, famille à laquelle appartient l’essentiel de la prospective d’entreprise, a produit exactement 0,0 % d’amélioration pour les individus en période intermédiaire et a dégradé de 9,1 % les prévisions d’équipe la dernière semaine. Quatrièmement, et c’est le plus gênant, une réanalyse publiée en 2025 dans la même revue a montré qu’une fois modélisée la variance de méthode non contrôlée, les effets de formation et d’équipe étaient nettement réduits, éliminés, ou dans un cas inversés. Ce qui reste tient en une courte liste, et ce n’est pas celle que vend l’industrie de la prospective.
Pourquoi cette question a une réponse
La prospective a un problème de mesure qu’elle admet rarement. La plupart des techniques sont évaluées sur le fait que les participants ont trouvé l’atelier utile, non sur le fait que les prévisions produites se sont approchées de ce qui est arrivé. Ce sont deux questions différentes et leurs réponses peuvent s’opposer.
Il existe une grande exception. Entre 2011 et 2015, l’Intelligence Advanced Research Projects Activity a mené le tournoi Aggregative Contingent Estimation, où des équipes de recherche concurrentes ont recruté des milliers de volontaires ordinaires, les ont affectés au hasard à des conditions et ont noté chaque prévision au regard de résultats géopolitiques réels avec une règle de score propre. C’est ce dispositif qui rend un classement possible : les techniques n’ont pas été comparées sur la satisfaction, mais sur l’erreur.
Les résultats ont été publiés par Mellers et ses collègues dans Psychological Science en 2014, et réanalysés par Hauenstein et ses collègues dans la même revue en 2025. Tout ce qui suit s’appuie sur ces deux articles et sur trois autres corpus de preuves publiées. Si vous consignez vos propres décisions, cela se combine directement avec le protocole du journal de décision et avec penser en paris.
Les données brutes
Les scores de Brier mesurent la justesse des prévisions probabilistes. Plus bas vaut mieux. Qui annonce 90 % et a raison obtient 0,02 sur l’échelle utilisée dans l’article ; qui annonce 90 % et se trompe obtient 1,62.
Données vérifiées. Score de Brier moyen par condition et par période de la vie d’une question (Mellers et al., Psychological Science, 2014, tableau 1). Seules les questions ouvertes au moins un mois sont incluses.
| Condition | Première semaine | 2 semaines du milieu | Dernière semaine |
|---|---|---|---|
| Année 1 | |||
| Individuel, sans formation | 0,44 | 0,40 | 0,31 |
| Individuel, formation aux scénarios | 0,41 | 0,40 | 0,29 |
| Individuel, formation aux probabilités | 0,40 | 0,36 | 0,29 |
| Croyance de foule, sans formation | 0,42 | 0,39 | 0,30 |
| Croyance de foule, formation aux probabilités | 0,36 | 0,34 | 0,23 |
| Équipe, sans formation | 0,42 | 0,33 | 0,22 |
| Équipe, formation aux scénarios | 0,36 | 0,33 | 0,24 |
| Équipe, formation aux probabilités | 0,35 | 0,30 | 0,19 |
| Année 2 | |||
| Individuel, sans formation | 0,46 | 0,39 | 0,26 |
| Individuel, formation aux probabilités | 0,42 | 0,36 | 0,24 |
| Équipe, sans formation | 0,38 | 0,32 | 0,16 |
| Équipe, formation aux probabilités | 0,40 | 0,28 | 0,16 |
| Superprévisionnistes | 0,25 | 0,19 | 0,07 |
L’article indique que la formation comme le travail en équipe ont été bénéfiques sur les trois périodes. C’est vrai, et c’est ce qu’il y a de moins intéressant dans ce tableau. Convertissez chaque cellule en pourcentage d’amélioration face à l’individu non formé de la même période, et un motif apparaît que l’article n’énonce jamais en chiffres.
Premier résultat original : le meilleur levier change avec le moment
Cadre éditorial CEOtudent : le basculement temporel. Réduction en pourcentage du score de Brier face à l’individu non formé de la même période, calculée à partir des lignes de l’année 1.
| Période | Formation aux probabilités seule | Discussion d’équipe seule | Les deux ensemble | Discussion divisée par formation |
|---|---|---|---|---|
| Première semaine | 9,1 % de mieux | 4,5 % de mieux | 20,5 % de mieux | 0,50x |
| 2 semaines du milieu | 10,0 % de mieux | 17,5 % de mieux | 25,0 % de mieux | 1,75x |
| Dernière semaine | 6,5 % de mieux | 29,0 % de mieux | 38,7 % de mieux | 4,50x |
La première semaine, la formation valait deux fois ce que valait la discussion. À la dernière semaine, le rapport s’était inversé de près d’un facteur neuf en termes relatifs : la discussion valait 4,5 fois la formation.
Le mécanisme devient évident une fois les chiffres posés. Au début, personne n’a d’information, donc le seul avantage disponible est la discipline de raisonnement : classes de référence, taux de base, moyenne de ses propres estimations. Plus tard, l’information existe dans le monde et l’avantage tient à l’accès, ce que fournit un groupe. L’article note que la meilleure justesse des équipes venait des membres qui collectaient et partageaient de l’information, et que le nombre de commentaires publiés par une personne corrélait avec sa justesse, r = -0,19 en année 1 et -0,22 en année 2, le signe négatif signifiant mieux.
L’instruction pratique pour un individu n’est donc pas « utilisez la technique X ». C’est : quand une question est fraîche, travaillez votre raisonnement ; quand elle mûrit, travaillez vos entrées. La plupart des gens font l’inverse, remuant le plus d’idées au début et se taisant à l’approche de l’échéance.
Deuxième résultat original : la formation aux scénarios est le levier le plus faible mesuré
Dans ce tournoi, la formation aux scénarios apprenait à générer de nouveaux futurs, à envisager activement davantage de possibilités, à utiliser des arbres de décision et à éviter de surestimer le changement. C’est une description reconnaissable de ce que fait la plupart de la prospective d’entreprise. Elle a été affectée au hasard et notée séparément, ce qui en fait la confrontation directe publiée la plus propre entre formation prospective par scénarios et par probabilités.
Cadre éditorial CEOtudent : formation aux scénarios contre formation aux probabilités. Réduction en pourcentage du score de Brier face à la condition sans formation du même type de prévisionniste, année 1.
| Période | Individus : scénarios | Individus : probabilités | En équipe : scénarios | En équipe : probabilités |
|---|---|---|---|---|
| Première semaine | 6,8 % de mieux | 9,1 % de mieux | 14,3 % de mieux | 16,7 % de mieux |
| 2 semaines du milieu | 0,0 % (aucun changement) | 10,0 % de mieux | 0,0 % (aucun changement) | 9,1 % de mieux |
| Dernière semaine | 6,5 % de mieux | 6,5 % de mieux | 9,1 % de pire | 13,6 % de mieux |
La formation aux scénarios a perdu face à la formation aux probabilités dans cinq comparaisons sur six et a fait jeu égal dans la sixième. En période intermédiaire, elle n’a produit aucune amélioration mesurable, ni pour les individus ni en équipe. La dernière semaine en équipe, elle était activement pire que ne rien donner du tout à l’équipe, faisant passer le score de Brier de 0,22 à 0,24.
L’article d’origine rapporte le test de significativité derrière la comparaison individuelle : la formation aux probabilités a été plus efficace que celle aux scénarios, t(1053) = 2,23, p = 0,026, et la formation aux scénarios a battu l’absence de formation, t(1056) = 3,25, p < 0,001. La formation aux scénarios n’est donc pas sans valeur. Elle est simplement la plus faible des deux, et son avantage s’évanouit précisément dans les conditions où la plupart des professionnels l’emploieraient : en groupe, près d’une décision.
Une réserve que la version honnête de cet argument doit porter : la justesse n’est pas la seule chose que la planification par scénarios prétend apporter. Les praticiens soutiennent qu’elle améliore la préparation et la conversation interne plutôt que des prévisions ponctuelles. C’est peut-être vrai, mais c’est une autre revendication, et ce n’est pas celle mesurée ici. Si vous adoptez le travail par scénarios, adoptez-le pour ce sur quoi il a été mesuré, et ce n’est pas la justesse des prévisions.
Troisième résultat original : la sélection bat toutes les techniques
Reprenez la ligne des superprévisionnistes en année 2 : les 2 % les plus performants de l’année 1, placés en équipes d’élite. Face à l’individu non formé de la même période, ils font 45,7 % de mieux la première semaine, 51,3 % au milieu et 73,1 % la dernière semaine. Aucune condition de formation ou d’équipe du tableau n’en approche.
Ce résultat n’est pas isolé. Atanasov et ses collègues, dans un travail publié dans l’International Journal of Forecasting, ont comparé de petites foules d’élite à de plus grandes foules non élitaires, sur deux systèmes de production participative et 136 questions.
Données vérifiées. Scores de Brier agrégés par type de foule et système de prévision (Atanasov et al., International Journal of Forecasting, 2024).
| Système | Foule non élitaire | Foule d’élite | Avantage de l’élite |
|---|---|---|---|
| Marchés prédictifs | 0,215 | 0,173 | 20 % |
| Sondages prédictifs | 0,203 | 0,156 | 23 % |
Recalculer ces pourcentages à partir des moyennes sous-jacentes donne 19,5 % et 23,2 %, cohérent avec les valeurs arrondies de l’article. Dans un modèle à effets mixtes, les auteurs chiffrent l’effet d’élite à b = -0,045, soit une amélioration de 21 %, tandis que le choix entre marché et sondage n’était pas significatif, b = -0,015, p = 0,13.
Deux conclusions en découlent, désagréables chacune à sa façon. Pour une organisation, l’investissement prospectif au meilleur rendement n’est pas l’achat d’une méthodologie ; c’est de trouver la poignée de personnes ayant des antécédents et de leur demander. Pour un individu, il n’existe pas d’autre chemin vers ce groupe que le lent : prévoir, consigner, noter, recommencer, et découvrir si l’on est réellement bon. Notez aussi le comportement des superprévisionnistes : ils ont fait en moyenne 7,8 prévisions par question, contre 1,4 à 1,6 pour tous les autres. Quoi qu’ait capté la sélection, elle a capté des gens qui mettent à jour.
La partie inconfortable : la preuve vedette est contestée
En janvier 2025, Hauenstein, Thomas, Illingworth et Dougherty ont publié dans Psychological Science une réanalyse de ces mêmes données. Leur argument est méthodologique : les prévisionnistes choisissaient quelles questions traiter et quand, et ces choix ne sont pas aléatoires. Quelqu’un en équipe peut traiter d’autres questions, plus tard, qu’une personne prévoyant seule, et cette seule différence peut produire un avantage apparent sans rapport avec la discussion.
Ils ont modélisé la capacité prévisionnelle latente par la théorie de réponse à l’item en incluant ces variables externes. Les tailles d’effet se sont fortement déplacées.
Cadre éditorial CEOtudent : ce que deviennent les effets une fois la variance de méthode contrôlée. Tailles d’effet de la capacité prévisionnelle latente, d de Cohen, d’après Hauenstein et al. (Psychological Science, 2025, tableau 4). M2 est le modèle de base, M7 le modèle complet de variance de méthode.
| Jeu de données | Facteur | d de base (M2) | d variance de méthode (M7) | Évolution |
|---|---|---|---|---|
| Année 1 | Formation | +0,050 | -0,144 | inversion de signe |
| Année 1 | Travail en équipe | +0,766 | -0,285 | inversion de signe, écart de 1,051 |
| Année 2, sans superprévisionnistes | Formation | +0,174 | +0,038 | 78,2 % plus petit |
| Année 2, sans superprévisionnistes | Travail en équipe | +0,256 | +0,065 | 74,6 % plus petit |
| Année 2, avec superprévisionnistes | Formation | +0,328 | +0,227 | 30,8 % plus petit |
| Année 2, avec superprévisionnistes | Travail en équipe | +0,390 | +0,247 | 36,7 % plus petit |
C’est l’effet d’équipe de l’année 1 qu’il faut laisser décanter. Dans le modèle de base il vaut d = +0,766, un effet important et l’ossature empirique d’une décennie de conseils sur la prévision en groupe. Dans le modèle complet il vaut d = -0,285, pointant en sens inverse, soit un déplacement total de 1,051 écart-type.
Pour les données de l’année 2 sans superprévisionnistes, les auteurs formulent leur conclusion sans ambiguïté : à la question de savoir si le travail en équipe et la formation influent sur la justesse, la réponse est « non » dès lors que les modèles intègrent la sélection des items et le moment de réponse. Pour l’année 2, ils rapportent que les modèles au meilleur ajustement ne comportent même pas de paramètres permettant à la compétence prévisionnelle de varier selon l’équipe et la formation.
Deux choses sont à tenir distinctes ici, car il est facile de surinterpréter dans les deux sens. Les écarts bruts de Brier du tableau 1 sont réels ; personne ne conteste que les prévisionnistes formés en équipe ont mieux scoré. Ce qui est contesté est l’attribution causale : la formation et le travail en équipe ont-ils produit l’amélioration ou l’ont-ils seulement accompagnée ? Fait notable, la réanalyse n’a pas dissous l’écart des superprévisionnistes ; elle en a compliqué l’interprétation, en montrant que des traits liés à une stratégie de réponse distinguent eux aussi ce groupe des autres.
Pour un individu qui décide où investir son effort, ce n’est pas un motif de paralysie. C’est un motif de pondérer les méthodes qui résistent le mieux à l’examen, ce que fait la grille ci-dessous.
Deux méthodes extérieures au tournoi
Processus de groupe structuré (Delphi). La revue de littérature d’évaluation de Rowe et Wright compte les études plutôt que d’agréger les effets. Ils rapportent que les groupes Delphi ont battu la simple agrégation statistique des mêmes personnes par 12 études contre 2 avec 2 égalités, et les réunions de groupe traditionnelles non structurées par 5 contre 1. Un écart mineur à signaler à qui cite ce texte : le corps du chapitre parle, pour les comparaisons avec les groupes traditionnels, de « cinq études contre une, avec deux égalités », alors que son propre résumé dit « cinq contre une avec une égalité ». Le comptage de votes est en outre une forme de preuve plus faible que l’agrégation de tailles d’effet ; traitez cela comme un appui directionnel et non comme une amplitude mesurée. Ce qu’il appuie est précis : la structure bat une réunion non structurée, et des estimations indépendantes suivies d’un retour battent un tour unique.
Prévision par classe de référence. Les travaux de Flyvbjerg sur les projets d’infrastructure documentent le problème de base avec des chiffres inhabituellement durs : une inexactitude moyenne des prévisions de coût de 44,7 % pour le ferroviaire, 33,8 % pour les ponts et tunnels et 20,4 % pour les routes, tandis que les prévisions de demande de voyageurs ferroviaires se trompent en moyenne de -51,4 % et que 84 % des projets ferroviaires se trompent de plus de 20 % dans un sens ou dans l’autre. Le remède consiste à prévoir à partir de la distribution des projets comparables achevés plutôt que de l’intérieur du projet en cours. La mise en oeuvre par le ministère britannique des Transports a converti cette distribution en majorations requises : pour les routes, 15 % si l’on accepte 50 % de risque de dépassement et 45 % si l’on n’en accepte que 10 % ; pour le ferroviaire, 40 % et 68 % respectivement. L’American Planning Association a approuvé la méthode en 2005.
Si cela figure dans un classement destiné aux individus, c’est parce que c’est la seule technique ici qu’une personne seule peut exécuter en un après-midi, sans groupe, sans programme de formation et sans antécédents, et qu’elle s’attaque à la plus grande erreur documentée de toute la littérature.
La grille
Cadre éditorial CEOtudent : méthodes de prospective notées pour un usage individuel. La force de la preuve et la robustesse sont des jugements portés sur les publications citées dans cet article, non de nouvelles mesures. La faisabilité en solo et le coût sont des appréciations pratiques.
| Méthode | Meilleur effet mesuré | Résiste à la réanalyse | Faisable seul | Coût | Verdict |
|---|---|---|---|---|---|
| Sélection par antécédents | 73,1 % de réduction d’erreur (tournoi) ; 20 à 23 % (foules d’élite) | L’écart subsiste ; l’interprétation est contestée | Seulement en devenant l’antécédent | Élevé, se compte en années | À faire quand même. Rien n’approche. |
| Prévision par classe de référence | S’attaque à des erreurs de base documentées de 20 à 51 % | Non contestée dans la littérature examinée | Oui, entièrement | Faible, un après-midi par décision | Commencez ici. Meilleur rendement horaire. |
| Formation aux probabilités | 9,1 à 10,0 % tôt dans une question | Fortement réduite ou inversée sous modélisation de la variance de méthode | Oui | Faible, un module a pris environ 45 minutes | Utile pour les habitudes, pas pour le chiffre vedette. |
| Processus de groupe structuré | Delphi a battu l’agrégation statistique 12 à 2 avec 2 égalités | Comptage de votes seulement, pas de tailles d’effet agrégées | Non, il faut trois personnes ou plus | Moyen | À utiliser quand vous avez les gens. |
| Discussion d’équipe | 29,0 % tard dans une question | Réduite à presque zéro, signe inversé en année 1 | Non | Moyen | À utiliser pour l’accès à l’information, pas comme technique. |
| Marchés prédictifs | À égalité statistique avec les sondages d’équipe | Non contestés séparément | Non, il faut une foule | Élevé | Aucun intérêt individuel. |
| Exposition à la croyance de foule | 2,5 à 4,5 % rien qu’en voyant les chiffres des autres | Non modélisée séparément | Oui, si une prévision publique existe | Très faible | Gratuit, modeste, à prendre. |
| Planification et formation par scénarios | 0,0 % en période intermédiaire ; 9,1 % de pire en équipe | Ce n’est pas sa revendication la plus forte | Oui | Moyen à élevé | Pas pour la justesse. À adopter seulement pour ce sur quoi elle a été mesurée. |
Que faire concrètement
Une pratique prospective personnelle défendable au vu de ces preuves tient en quatre points, dont aucun n’exige d’atelier.
- Construisez la classe de référence avant la prévision. Quoi que vous prévoyiez, trouvez les dix à trente cas achevés les plus comparables et regardez ce qui leur est réellement arrivé. Cela s’attaque à la plus grande erreur mesurée de la littérature et ne demande la permission de personne.
- Répartissez votre effort selon la phase. Tôt dans une question ouverte, consacrez votre temps à la discipline de raisonnement : taux de base, estimations indépendantes multiples, moyennes. Plus tard, consacrez-le à collecter et échanger de l’information. Le rapport de levier mesuré entre ces deux gestes passe de 0,50x à 4,50x sur la vie d’une question.
- Tenez le compte, par écrit, avec des chiffres. C’est la seule voie vers le groupe au plus grand avantage mesuré. Une prévision sans probabilité consignée ni date de résolution ne peut être notée, et un prévisionniste non noté ne peut progresser. Mettez à jour souvent : les superprévisionnistes ont mis à jour environ cinq fois plus que les autres.
- Ramenez les exercices de scénarios à ce sur quoi ils ont bien mesuré. Si vous les employez, faites-le pour élargir l’éventail des possibilités envisagées, non pour affiner une probabilité. Pour affiner une probabilité, ils ont ici le plus mauvais score.
Pilotez la pratique comme une dirigeante : retenez les deux méthodes au meilleur rendement mesuré et refusez le reste, si à la mode soit-il. Apprenez comme un étudiant : gardez la grille honnête même quand elle dit que votre technique préférée n’a rien apporté, car toute la valeur de cette littérature tient à ce qu’elle a accepté de publier ce résultat sur elle-même. Deux fois.
Pour la question amont de savoir quoi prévoir, voir comment repérer les signaux faibles ; pour ce que sont devenues une décennie de prédictions d’experts, voir le bilan des prévisions.
Questions fréquentes
La réanalyse de 2025 signifie-t-elle que formation et équipes sont inutiles ?
Non, et l’article ne le prétend pas. Il affirme que les conclusions causales d’origine ne tiennent pas une fois modélisés le choix des questions et le moment de réponse. Les prévisionnistes formés en équipe ont tout de même enregistré de meilleurs scores bruts. Ce qui est en doute, c’est que la formation et l’équipe en soient la cause. En pratique, cela plaide pour pondérer les méthodes non bâties sur cette inférence particulière, raison pour laquelle la prévision par classe de référence passe ici devant la formation aux probabilités.
Pourquoi la planification par scénarios est-elle si populaire si elle a le plus mal mesuré ?
Parce qu’elle est évaluée sur un autre résultat. Le travail par scénarios s’achète pour la préparation, l’alignement et la qualité de la conversation interne, et il les délivre peut-être. Cet article ne mesure que la justesse des prévisions, et sur ce résultat il fut le levier le plus faible testé.
La superprévision, est-ce simplement du talent ?
Les données du tournoi pointent davantage vers le comportement que vers une aptitude innée : les superprévisionnistes ont fait en moyenne 7,8 prévisions par question contre 1,4 à 1,6 dans les autres conditions, et l’identification elle-même était un antécédent, non un test. La réanalyse de 2025 complique la chose en montrant que des traits de stratégie de réponse séparent aussi ce groupe. La réponse honnête est donc que la notation identifie quelque chose de réel dont la composition n’est pas tranchée.
Combien de cas comparables faut-il pour une classe de référence ?
La littérature ne fixe pas de nombre, et tout chiffre que nous vous donnerions serait inventé. Ce que montre la mise en oeuvre britannique, c’est la forme de l’exigence : assez de cas achevés et véritablement comparables pour voir une distribution plutôt qu’un point, établis statistiquement comme similaires en risque avant usage.
Puis-je mener un processus Delphi avec deux collègues ?
Le mécanisme central, des estimations indépendantes recueillies avant que quiconque n’entende quiconque, puis un retour, puis une révision, fonctionne à petite échelle et ne coûte presque rien. La base de preuves compare des panels et non des paires ; traitez donc une version à trois comme une application sensée du principe, non comme quelque chose de mesuré.
Sources
- Mellers, Ungar, Baron, Ramos, Gurcay, Fincher, Scott, Moore, Atanasov, Swift, Murray, Stone et Tetlock, Psychological Strategies for Winning a Geopolitical Forecasting Tournament, Psychological Science, 2014, volume 25, numéro 5, pages 1106 à 1115. Tableau 1 des scores de Brier par condition et période ; les tests de significativité entre formation aux probabilités et aux scénarios ; les corrélations du nombre de commentaires ; le nombre de prévisions par question.
- Hauenstein, Thomas, Illingworth et Dougherty, Rethinking the Role of Teams and Training in Geopolitical Forecasting: The Effect of Uncontrolled Method Variance on Statistical Conclusions, Psychological Science, 2025, volume 36, numéro 1, pages 3 à 18. Réanalyse par théorie de réponse à l’item ; tableau 4 des tailles d’effet de capacité latente pour le modèle de base et le modèle complet ; la conclusion pour les données de l’année 2 sans superprévisionnistes.
- Atanasov, Witkowski, Mellers et Tetlock, Crowd Prediction Systems: Markets, Polls, and Elite Forecasters, International Journal of Forecasting, 2024. Scores de Brier agrégés par type de foule et système sur 136 questions ; le coefficient d’élite du modèle à effets mixtes et la comparaison non significative entre marché et sondage.
- Rowe et Wright, Expert Opinions in Forecasting: The Role of the Delphi Technique, dans Principles of Forecasting, Kluwer Academic Publishers, 2001. Comptages de Delphi face aux groupes statistiques et traditionnels, et les principes de conduite d’un panel Delphi.
- Flyvbjerg, From Nobel Prize to Project Management: Getting Risks Right, Project Management Journal, 2006. Inexactitude moyenne des prévisions de coût et de demande par type de projet ; les majorations pour biais d’optimisme du ministère britannique des Transports aux niveaux 50 % et 80 % ; l’approbation de la prévision par classe de référence par l’American Planning Association en 2005.
Ce contenu a été compilé avec le soutien de l’IA à la suite d’une recherche approfondie, puis rédigé et préparé pour publication par l’équipe éditoriale de CEOtudent.
This post is also available in:
