{"id":325702,"date":"2026-09-05T05:05:39","date_gmt":"2026-09-05T02:05:39","guid":{"rendered":"https:\/\/ceotudent.com\/pourquoi-lia-hallucine-mecanique-erreurs-modeles-detecter-tot"},"modified":"2026-09-05T05:05:39","modified_gmt":"2026-09-05T02:05:39","slug":"pourquoi-lia-hallucine-mecanique-erreurs-modeles-detecter-tot","status":"publish","type":"post","link":"https:\/\/ceotudent.com\/fr\/pourquoi-lia-hallucine-mecanique-erreurs-modeles-detecter-tot","title":{"rendered":"Pourquoi l&rsquo;IA hallucine : la m\u00e9canique des erreurs de mod\u00e8le et comment les d\u00e9tecter t\u00f4t"},"content":{"rendered":"<p><strong>En bref.<\/strong> Un mod\u00e8le de langage qui invente une r\u00e9f\u00e9rence ne dysfonctionne pas. Il fait exactement ce pour quoi il a \u00e9t\u00e9 not\u00e9. En septembre 2025, quatre chercheurs, trois chez OpenAI et un \u00e0 Georgia Tech, ont publi\u00e9 un argument selon lequel l&rsquo;hallucination survit \u00e0 cause de la mani\u00e8re dont les mod\u00e8les sont not\u00e9s : sur une \u00e9chelle binaire juste ou faux, un mod\u00e8le qui devine bat toujours un mod\u00e8le identique qui admet son incertitude. Ils ont pass\u00e9 en revue dix \u00e9valuations de premier plan et constat\u00e9 que neuf utilisent une notation binaire, et qu&rsquo;aucune n&rsquo;accorde le plein cr\u00e9dit \u00e0 un \u00ab je ne sais pas \u00bb calibr\u00e9. Nous avons repris les propres r\u00e9sultats SimpleQA d&rsquo;OpenAI et calcul\u00e9 une colonne que leur article ne rapporte pas : le taux de bluff, c&rsquo;est-\u00e0-dire la part des \u00e9checs o\u00f9 le mod\u00e8le a r\u00e9pondu faux au lieu de s&rsquo;abstenir. Il va de 20,5% \u00e0 99,0%, soit un \u00e9cart de 4,8 fois, et il est presque ind\u00e9pendant de l&rsquo;exactitude. Ensuite nous avons consult\u00e9 le classement des hallucinations de Vectara, mis \u00e0 jour le 11 mai 2026, pour voir ce qui se passe quand les faits sont fournis dans l&rsquo;invite. L&rsquo;ancrage aide beaucoup, mais il a produit un r\u00e9sultat inattendu : sur quatre comparaisons distinctes au sein d&rsquo;une m\u00eame famille, augmenter l&rsquo;effort de raisonnement a fait monter le taux d&rsquo;hallucination, et les r\u00e9sum\u00e9s se sont allong\u00e9s \u00e0 chaque fois sans exception. Voici les cinq m\u00e9canismes v\u00e9rifi\u00e9s, le r\u00e9gime dans lequel se situe votre t\u00e2che, et un test de d\u00e9tection pour chacun.<\/p>\n<p>C&rsquo;est la couche m\u00e9canique sous nos travaux sur <a href=\"https:\/\/ceotudent.com\/en\/the-evaluation-skill-judging-ai-output\">l&rsquo;\u00e9valuation des productions de l&rsquo;IA<\/a> et sur <a href=\"https:\/\/ceotudent.com\/en\/trust-calibration-when-to-trust-ai-recommendations\">le calibrage de la confiance<\/a>. Ces articles disent quand faire confiance. Celui-ci dit pourquoi les d\u00e9faillances surviennent l\u00e0 o\u00f9 elles surviennent.<\/p>\n<div id=\"ez-toc-container\" class=\"ez-toc-v2_0_84 counter-hierarchy ez-toc-counter ez-toc-grey ez-toc-container-direction\">\n<div class=\"ez-toc-title-container\">\n<p class=\"ez-toc-title\" style=\"cursor:inherit\">Table of Contents<\/p>\n<span class=\"ez-toc-title-toggle\"><a href=\"#\" class=\"ez-toc-pull-right ez-toc-btn ez-toc-btn-xs ez-toc-btn-default ez-toc-toggle\" aria-label=\"Toggle Table of Content\"><span class=\"ez-toc-js-icon-con\"><span class=\"\"><span class=\"eztoc-hide\" style=\"display:none;\">Toggle<\/span><span class=\"ez-toc-icon-toggle-span\"><svg style=\"fill: #999;color:#999\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" class=\"list-377408\" width=\"20px\" height=\"20px\" viewBox=\"0 0 24 24\" fill=\"none\"><path d=\"M6 6H4v2h2V6zm14 0H8v2h12V6zM4 11h2v2H4v-2zm16 0H8v2h12v-2zM4 16h2v2H4v-2zm16 0H8v2h12v-2z\" fill=\"currentColor\"><\/path><\/svg><svg style=\"fill: #999;color:#999\" class=\"arrow-unsorted-368013\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" width=\"10px\" height=\"10px\" viewBox=\"0 0 24 24\" version=\"1.2\" baseProfile=\"tiny\"><path d=\"M18.2 9.3l-6.2-6.3-6.2 6.3c-.2.2-.3.4-.3.7s.1.5.3.7c.2.2.4.3.7.3h11c.3 0 .5-.1.7-.3.2-.2.3-.5.3-.7s-.1-.5-.3-.7zM5.8 14.7l6.2 6.3 6.2-6.3c.2-.2.3-.5.3-.7s-.1-.5-.3-.7c-.2-.2-.4-.3-.7-.3h-11c-.3 0-.5.1-.7.3-.2.2-.3.5-.3.7s.1.5.3.7z\"\/><\/svg><\/span><\/span><\/span><\/a><\/span><\/div>\n<nav><ul class='ez-toc-list ez-toc-list-level-1 ' ><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-1\" href=\"https:\/\/ceotudent.com\/fr\/pourquoi-lia-hallucine-mecanique-erreurs-modeles-detecter-tot\/#La-reponse-en-une-phrase\" >La r\u00e9ponse en une phrase<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-2\" href=\"https:\/\/ceotudent.com\/fr\/pourquoi-lia-hallucine-mecanique-erreurs-modeles-detecter-tot\/#Le-taux-de-bluff-une-colonne-inedite\" >Le taux de bluff : une colonne in\u00e9dite<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-3\" href=\"https:\/\/ceotudent.com\/fr\/pourquoi-lia-hallucine-mecanique-erreurs-modeles-detecter-tot\/#Le-second-regime-ce-qui-se-passe-quand-vous-fournissez-les-faits\" >Le second r\u00e9gime : ce qui se passe quand vous fournissez les faits<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-4\" href=\"https:\/\/ceotudent.com\/fr\/pourquoi-lia-hallucine-mecanique-erreurs-modeles-detecter-tot\/#Le-resultat-que-nous-nattendions-pas-leffort-de-raisonnement-aggrave-lhallucination-sur-source-fournie\" >Le r\u00e9sultat que nous n&rsquo;attendions pas : l&rsquo;effort de raisonnement aggrave l&rsquo;hallucination sur source fournie<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-5\" href=\"https:\/\/ceotudent.com\/fr\/pourquoi-lia-hallucine-mecanique-erreurs-modeles-detecter-tot\/#Les-cinq-mecanismes-et-a-quoi-chacun-ressemble\" >Les cinq m\u00e9canismes, et \u00e0 quoi chacun ressemble<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-6\" href=\"https:\/\/ceotudent.com\/fr\/pourquoi-lia-hallucine-mecanique-erreurs-modeles-detecter-tot\/#Un-protocole-operationnel\" >Un protocole op\u00e9rationnel<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-7\" href=\"https:\/\/ceotudent.com\/fr\/pourquoi-lia-hallucine-mecanique-erreurs-modeles-detecter-tot\/#Ce-que-cela-ne-signifie-pas\" >Ce que cela ne signifie pas<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-8\" href=\"https:\/\/ceotudent.com\/fr\/pourquoi-lia-hallucine-mecanique-erreurs-modeles-detecter-tot\/#Questions-frequentes\" >Questions fr\u00e9quentes<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-9\" href=\"https:\/\/ceotudent.com\/fr\/pourquoi-lia-hallucine-mecanique-erreurs-modeles-detecter-tot\/#Sources\" >Sources<\/a><\/li><\/ul><\/nav><\/div>\n<h2 id=\"la-rponse-en-une-phrase\"><span class=\"ez-toc-section\" id=\"La-reponse-en-une-phrase\"><\/span>La r\u00e9ponse en une phrase<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Les mod\u00e8les hallucinent parce que deviner rapporte plus que s&rsquo;abstenir, et tout le reste n&rsquo;est qu&rsquo;un d\u00e9tail sur le moment.<\/p>\n<p>Ce cadrage vient de \u00ab Why Language Models Hallucinate \u00bb, d\u00e9pos\u00e9 sur arXiv le 4 septembre 2025 par Adam Tauman Kalai et Ofir Nachum d&rsquo;OpenAI, Santosh S. Vempala de Georgia Tech et Edwin Zhang d&rsquo;OpenAI. Leur analogie est celle d&rsquo;un candidat \u00e0 un examen. Face \u00e0 une question \u00e0 laquelle vous ne savez pas r\u00e9pondre, une case vide vaut z\u00e9ro et une supposition vaut z\u00e9ro ou un. Sous cette r\u00e8gle, la strat\u00e9gie rationnelle est toujours de deviner, et de deviner pr\u00e9cis\u00e9ment, car \u00ab 30 septembre \u00bb et \u00ab quelque part \u00e0 l&rsquo;automne \u00bb sont not\u00e9s identiquement si les deux sont faux, mais seul le premier peut \u00eatre juste.<\/p>\n<p>Les mod\u00e8les de langage, soutiennent les auteurs, vivent en permanence dans cet examen. Ils sont optimis\u00e9s sur des r\u00e9f\u00e9rentiels qui imitent les tests standardis\u00e9s et se trouvent donc toujours en mode examen.<\/p>\n<p>La contribution la plus concr\u00e8te de l&rsquo;article est un relev\u00e9 de ce que font r\u00e9ellement les r\u00e9f\u00e9rentiels. Les auteurs ont examin\u00e9 dix \u00e9valuations tr\u00e8s utilis\u00e9es et class\u00e9 chacune selon que sa m\u00e9trique principale est une exactitude stricte juste ou faux, et selon qu&rsquo;une abstention peut obtenir le moindre cr\u00e9dit.<\/p>\n<table>\n<thead>\n<tr>\n<th>R\u00e9f\u00e9rentiel<\/th>\n<th>M\u00e9thode de notation<\/th>\n<th>Notation binaire<\/th>\n<th>Cr\u00e9dit pour \u00ab je ne sais pas \u00bb<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>GPQA<\/td>\n<td>Exactitude \u00e0 choix multiples<\/td>\n<td>Oui<\/td>\n<td>Aucun<\/td>\n<\/tr>\n<tr>\n<td>MMLU-Pro<\/td>\n<td>Exactitude \u00e0 choix multiples<\/td>\n<td>Oui<\/td>\n<td>Aucun<\/td>\n<\/tr>\n<tr>\n<td>IFEval<\/td>\n<td>V\u00e9rification programmatique des consignes<\/td>\n<td>Oui<\/td>\n<td>Aucun<\/td>\n<\/tr>\n<tr>\n<td>Omni-MATH<\/td>\n<td>Notation par \u00e9quivalence<\/td>\n<td>Oui<\/td>\n<td>Aucun<\/td>\n<\/tr>\n<tr>\n<td>WildBench<\/td>\n<td>Grille not\u00e9e par un mod\u00e8le de langage<\/td>\n<td>Non<\/td>\n<td>Partiel<\/td>\n<\/tr>\n<tr>\n<td>BBH<\/td>\n<td>Choix multiples \/ correspondance exacte<\/td>\n<td>Oui<\/td>\n<td>Aucun<\/td>\n<\/tr>\n<tr>\n<td>MATH (sous-ensemble niveau 5)<\/td>\n<td>Notation par \u00e9quivalence<\/td>\n<td>Oui<\/td>\n<td>Aucun<\/td>\n<\/tr>\n<tr>\n<td>MuSR<\/td>\n<td>Exactitude \u00e0 choix multiples<\/td>\n<td>Oui<\/td>\n<td>Aucun<\/td>\n<\/tr>\n<tr>\n<td>SWE-bench<\/td>\n<td>Le correctif passe les tests unitaires<\/td>\n<td>Oui<\/td>\n<td>Aucun<\/td>\n<\/tr>\n<tr>\n<td>HLE<\/td>\n<td>Choix multiples \/ notation par \u00e9quivalence<\/td>\n<td>Oui<\/td>\n<td>Aucun<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p><em>Source : Kalai, Nachum, Vempala et Zhang, \u00ab Why Language Models Hallucinate \u00bb, pr\u00e9publication arXiv 2509.04664v1, septembre 2025, tableau 2. Notre comptage de leurs lignes : 9 sur 10 utilisent une notation binaire ; 9 sur 10 n&rsquo;accordent aucun cr\u00e9dit \u00e0 l&rsquo;abstention ; 0 sur 10 accorde le plein cr\u00e9dit \u00e0 une abstention calibr\u00e9e. La grille de WildBench n&rsquo;offre qu&rsquo;un cr\u00e9dit partiel, et les auteurs notent que son \u00e9chelle de 1 \u00e0 10 peut encore noter une abstention en dessous d&rsquo;une r\u00e9ponse assur\u00e9e mais hallucin\u00e9e.<\/em><\/p>\n<p>Cette derni\u00e8re ligne contient tout le probl\u00e8me en miniature. M\u00eame le seul r\u00e9f\u00e9rentiel qui n&rsquo;utilise pas de notation binaire peut encore r\u00e9compenser une fausset\u00e9 assur\u00e9e davantage qu&rsquo;un honn\u00eate \u00ab je ne sais pas \u00bb.<\/p>\n<p>La solution propos\u00e9e n&rsquo;est pas un nouveau r\u00e9f\u00e9rentiel d&rsquo;hallucination. C&rsquo;est de changer la notation des r\u00e9f\u00e9rentiels qui dominent d\u00e9j\u00e0 les classements, en \u00e9non\u00e7ant un seuil de confiance dans les consignes : ne r\u00e9ponds que si tu es s\u00fbr \u00e0 plus de t, car les erreurs sont p\u00e9nalis\u00e9es de t\/(1-t) points, les bonnes r\u00e9ponses valent 1 point et \u00ab je ne sais pas \u00bb vaut 0.<\/p>\n<p>Une note sur cette formule, pour les lecteurs qui v\u00e9rifient les calculs. La pr\u00e9publication cite comme valeurs naturelles t = 0,5 (p\u00e9nalit\u00e9 1), t = 0,75 (p\u00e9nalit\u00e9 2) et t = 0,9 (p\u00e9nalit\u00e9 9). En appliquant la formule que l&rsquo;article \u00e9nonce lui-m\u00eame, t\/(1-t), on obtient 1 pour t = 0,5 et 9 pour t = 0,9, les deux concordent, mais 3 pour t = 0,75, et non 2. La parenth\u00e8se de la valeur interm\u00e9diaire contredit la formule qu&rsquo;elle accompagne. C&rsquo;est un petit d\u00e9rapage dans une pr\u00e9publication par ailleurs soign\u00e9e et cela ne change rien \u00e0 l&rsquo;argument. Nous le signalons parce que c&rsquo;est exactement le type de nombre d\u00e9riv\u00e9 que cet article vous invite \u00e0 recalculer, et la le\u00e7on ne s&rsquo;arr\u00eate pas aux articles des laboratoires de pointe. L&rsquo;observation porte sur la version 1 de la pr\u00e9publication arXiv dat\u00e9e du 4 septembre 2025 ; les versions publi\u00e9es ult\u00e9rieurement peuvent diff\u00e9rer.<\/p>\n<h2 id=\"le-taux-de-bluff-une-colonne-indite\"><span class=\"ez-toc-section\" id=\"Le-taux-de-bluff-une-colonne-inedite\"><\/span>Le taux de bluff : une colonne in\u00e9dite<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>C&rsquo;est ici que la th\u00e9orie devient mesurable.<\/p>\n<p>OpenAI a publi\u00e9 SimpleQA en novembre 2024, un r\u00e9f\u00e9rentiel de 4 326 questions factuelles courtes \u00e9crites pour \u00eatre difficiles pour GPT-4o, chacune ayant une seule r\u00e9ponse incontestable. Sa notation comporte trois issues plut\u00f4t que deux : correcte, incorrecte et non tent\u00e9e, cette derni\u00e8re couvrant les r\u00e9ponses qui ne donnent pas pleinement la r\u00e9ponse de r\u00e9f\u00e9rence, y compris un franc \u00ab je ne sais pas \u00bb.<\/p>\n<p>Cette troisi\u00e8me cat\u00e9gorie rend le jeu de donn\u00e9es utile ici, car elle s\u00e9pare deux choses que les r\u00e9f\u00e9rentiels binaires confondent : ne pas savoir, et faire semblant de savoir.<\/p>\n<p>Le tableau publi\u00e9 rapporte correcte, non tent\u00e9e et incorrecte pour huit mod\u00e8les. Il ne rapporte pas le ratio qui compte le plus pour un professionnel en activit\u00e9. Si un mod\u00e8le doit vous faire d\u00e9faut, \u00e0 quoi ressemble cet \u00e9chec ? Vous dit-il qu&rsquo;il ne sait pas, ou vous tend-il quelque chose de faux sans sourciller ?<\/p>\n<p>C&rsquo;est une simple division : incorrecte divis\u00e9e par la somme d&rsquo;incorrecte et de non tent\u00e9e. Nous l&rsquo;avons calcul\u00e9e pour chaque ligne.<\/p>\n<table>\n<thead>\n<tr>\n<th>Mod\u00e8le<\/th>\n<th>Correcte (%)<\/th>\n<th>Non tent\u00e9e (%)<\/th>\n<th>Incorrecte (%)<\/th>\n<th>Taux de bluff (%)<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>GPT-4o-mini<\/td>\n<td>8,6<\/td>\n<td>0,9<\/td>\n<td>90,5<\/td>\n<td>99,0<\/td>\n<\/tr>\n<tr>\n<td>GPT-4o<\/td>\n<td>38,2<\/td>\n<td>1,0<\/td>\n<td>60,8<\/td>\n<td>98,4<\/td>\n<\/tr>\n<tr>\n<td>OpenAI o1-preview<\/td>\n<td>42,7<\/td>\n<td>9,2<\/td>\n<td>48,1<\/td>\n<td>83,9<\/td>\n<\/tr>\n<tr>\n<td>OpenAI o1-mini<\/td>\n<td>8,1<\/td>\n<td>28,5<\/td>\n<td>63,4<\/td>\n<td>69,0<\/td>\n<\/tr>\n<tr>\n<td>Claude-3.5-sonnet (2024-06-20)<\/td>\n<td>28,9<\/td>\n<td>35,0<\/td>\n<td>36,1<\/td>\n<td>50,8<\/td>\n<\/tr>\n<tr>\n<td>Claude-3-opus (2024-02-29)<\/td>\n<td>23,5<\/td>\n<td>39,6<\/td>\n<td>36,9<\/td>\n<td>48,2<\/td>\n<\/tr>\n<tr>\n<td>Claude-3-haiku (2024-03-07)<\/td>\n<td>5,1<\/td>\n<td>75,3<\/td>\n<td>19,6<\/td>\n<td>20,7<\/td>\n<\/tr>\n<tr>\n<td>Claude-3-sonnet (2024-02-29)<\/td>\n<td>5,7<\/td>\n<td>75,0<\/td>\n<td>19,3<\/td>\n<td>20,5<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p><em>Cadre \u00e9ditorial CEOtudent. Les colonnes correcte, non tent\u00e9e et incorrecte sont reprises verbatim d&rsquo;OpenAI, \u00ab Measuring short-form factuality in large language models \u00bb, pr\u00e9publication arXiv 2411.04368, tableau 3. Le taux de bluff est notre calcul : incorrecte \/ (incorrecte + non tent\u00e9e), soit la part des r\u00e9ponses non correctes dans lesquelles le mod\u00e8le a affirm\u00e9 une r\u00e9ponse fausse plut\u00f4t que de s&rsquo;abstenir. Chaque ligne du tableau source totalise 100,0, ce que nous avons v\u00e9rifi\u00e9. Les mod\u00e8les et les dates correspondent \u00e0 l&rsquo;\u00e9valuation de fin 2024 et les syst\u00e8mes actuels diff\u00e8rent ; la colonne est incluse pour montrer l&rsquo;amplitude des comportements d&rsquo;abstention, non pour classer des fournisseurs aujourd&rsquo;hui.<\/em><\/p>\n<p>Deux lectures, et la seconde est la plus importante.<\/p>\n<p>La lecture \u00e9vidente est l&rsquo;amplitude. GPT-4o-mini, quand il ne sait pas, vous r\u00e9pond quand m\u00eame 99 fois sur 100. Claude-3-sonnet, dans la m\u00eame situation, d\u00e9cline quatre fois sur cinq. C&rsquo;est un \u00e9cart de 4,8 fois dans la mani\u00e8re dont l&rsquo;\u00e9chec se pr\u00e9sente.<\/p>\n<p>La lecture qui compte davantage : le taux de bluff est largement d\u00e9coupl\u00e9 de l&rsquo;exactitude. GPT-4o-mini a r\u00e9pondu correctement \u00e0 8,6% des questions. Claude-3-haiku \u00e0 5,1%. Un \u00e9cart de 3,5 points de pourcentage en comp\u00e9tence, et un \u00e9cart de 78 points dans leur comportement lorsqu&rsquo;ils sont d\u00e9pass\u00e9s. Ces deux mod\u00e8les savent presque aussi peu. L&rsquo;un le dit, l&rsquo;autre non.<\/p>\n<p>C&rsquo;est pr\u00e9cis\u00e9ment ce que pr\u00e9dit l&rsquo;article sur l&rsquo;hallucination. Le comportement d&rsquo;abstention n&rsquo;est pas un sous-produit de la capacit\u00e9. C&rsquo;est une disposition distincte et apprise, fix\u00e9e par ce que le processus d&rsquo;entra\u00eenement et d&rsquo;\u00e9valuation a r\u00e9compens\u00e9. Et puisque neuf r\u00e9f\u00e9rentiels de premier plan sur dix ne paient rien pour l&rsquo;abstention, le gradient d&rsquo;incitation pointe dans une seule direction.<\/p>\n<p>La cons\u00e9quence pratique : vous ne pouvez pas d\u00e9duire la fiabilit\u00e9 des scores de r\u00e9f\u00e9rentiels. Le mod\u00e8le en t\u00eate d&rsquo;un classement peut \u00eatre celui qui a le plus de chances de vous tendre une r\u00e9f\u00e9rence fabriqu\u00e9e, car la position au classement et la propension au bluff sont produites par la m\u00eame pression.<\/p>\n<h2 id=\"le-second-rgime-ce-qui-se-passe-quand-vous-fournissez-les-faits\"><span class=\"ez-toc-section\" id=\"Le-second-regime-ce-qui-se-passe-quand-vous-fournissez-les-faits\"><\/span>Le second r\u00e9gime : ce qui se passe quand vous fournissez les faits<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Tout ce qui pr\u00e9c\u00e8de concerne le rappel \u00e0 livre ferm\u00e9, o\u00f9 le mod\u00e8le r\u00e9pond \u00e0 partir de ses seuls param\u00e8tres. La plupart du travail professionnel n&rsquo;est pas ainsi. Vous collez un document, joignez un rapport, pointez vers une base de code. Cela r\u00e8gle-t-il le probl\u00e8me ?<\/p>\n<p>Vectara tient un classement public des hallucinations \u00e0 l&rsquo;aide de son Hallucination Evaluation Model. La t\u00e2che est d\u00e9lib\u00e9r\u00e9ment \u00e9troite : chaque mod\u00e8le re\u00e7oit un document et doit le r\u00e9sumer en n&rsquo;utilisant que les faits qui y figurent, puis le r\u00e9sum\u00e9 est v\u00e9rifi\u00e9 pour rep\u00e9rer les affirmations que la source ne soutient pas. Le jeu de donn\u00e9es contient plus de 7 700 articles couvrant actualit\u00e9, technologie, science, m\u00e9decine, droit, sport, \u00e9conomie et \u00e9ducation, de 50 \u00e0 24 000 mots, il est tenu priv\u00e9 pour \u00e9viter le surapprentissage, et les mod\u00e8les sont appel\u00e9s \u00e0 temp\u00e9rature 0. La version ci-dessous a \u00e9t\u00e9 mise \u00e0 jour le 11 mai 2026 et couvre 106 mod\u00e8les.<\/p>\n<p>Sur l&rsquo;ensemble du classement, les taux d&rsquo;hallucination sur source fournie vont de 1,8% pour le meilleur \u00e0 24,2% pour le pire.<\/p>\n<p>Comparez cela aux chiffres \u00e0 livre ferm\u00e9 plus haut, o\u00f9 GPT-4o a r\u00e9pondu incorrectement \u00e0 60,8% des questions SimpleQA. Ce sont des t\u00e2ches, des mod\u00e8les et des dates diff\u00e9rents : ce n&rsquo;est donc pas une comparaison de mod\u00e8les \u00e0 p\u00e9rim\u00e8tre \u00e9gal et il ne faut pas la lire ainsi. C&rsquo;est une comparaison de deux r\u00e9gimes, et l&rsquo;\u00e9cart entre eux est d&rsquo;environ un ordre de grandeur. Mettre le fait dans la fen\u00eatre de contexte est la plus grande intervention \u00e0 votre disposition, et elle est disponible sur chaque t\u00e2che, gratuitement, d\u00e8s maintenant.<\/p>\n<p>Mais elle ne ram\u00e8ne pas le taux \u00e0 z\u00e9ro, et la forme de l&rsquo;erreur r\u00e9siduelle est l\u00e0 o\u00f9 cela devient int\u00e9ressant.<\/p>\n<h2 id=\"le-rsultat-que-nous-nattendions-pas-leffort-de-raisonnement-aggrave-lhallucination-sur-source-fournie\"><span class=\"ez-toc-section\" id=\"Le-resultat-que-nous-nattendions-pas-leffort-de-raisonnement-aggrave-lhallucination-sur-source-fournie\"><\/span>Le r\u00e9sultat que nous n&rsquo;attendions pas : l&rsquo;effort de raisonnement aggrave l&rsquo;hallucination sur source fournie<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>En lisant le classement, nous avons remarqu\u00e9 que plusieurs familles de mod\u00e8les y apparaissent plusieurs fois avec des r\u00e9glages de raisonnement diff\u00e9rents. Cela cr\u00e9e des comparaisons contr\u00f4l\u00e9es naturelles : m\u00eame famille, m\u00eame passage du r\u00e9f\u00e9rentiel, m\u00eame date, une seule variable modifi\u00e9e.<\/p>\n<p>Il existe cinq paires de ce type. Voici ce qu&rsquo;elles montrent.<\/p>\n<table>\n<thead>\n<tr>\n<th>Famille<\/th>\n<th>R\u00e9glage effort faible<\/th>\n<th>Taux<\/th>\n<th>Mots<\/th>\n<th>R\u00e9glage effort \u00e9lev\u00e9<\/th>\n<th>Taux<\/th>\n<th>Mots<\/th>\n<th>Variation du taux<\/th>\n<th>Variation de longueur<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>GPT-5.2<\/td>\n<td>faible<\/td>\n<td>8,4%<\/td>\n<td>126,5<\/td>\n<td>\u00e9lev\u00e9<\/td>\n<td>10,8%<\/td>\n<td>186,3<\/td>\n<td>+2,4 pts<\/td>\n<td>+59,8 mots<\/td>\n<\/tr>\n<tr>\n<td>GPT-5.1<\/td>\n<td>faible<\/td>\n<td>10,9%<\/td>\n<td>165,5<\/td>\n<td>\u00e9lev\u00e9<\/td>\n<td>12,1%<\/td>\n<td>254,4<\/td>\n<td>+1,2 pt<\/td>\n<td>+88,9 mots<\/td>\n<\/tr>\n<tr>\n<td>Grok-4.1-fast<\/td>\n<td>sans raisonnement<\/td>\n<td>17,8%<\/td>\n<td>87,5<\/td>\n<td>avec raisonnement<\/td>\n<td>19,2%<\/td>\n<td>99,5<\/td>\n<td>+1,4 pt<\/td>\n<td>+12,0 mots<\/td>\n<\/tr>\n<tr>\n<td>Grok-4-fast<\/td>\n<td>sans raisonnement<\/td>\n<td>19,7%<\/td>\n<td>141,9<\/td>\n<td>avec raisonnement<\/td>\n<td>20,2%<\/td>\n<td>173,9<\/td>\n<td>+0,5 pt<\/td>\n<td>+32,0 mots<\/td>\n<\/tr>\n<tr>\n<td>o4-mini<\/td>\n<td>faible<\/td>\n<td>18,6%<\/td>\n<td>130,9<\/td>\n<td>\u00e9lev\u00e9<\/td>\n<td>18,6%<\/td>\n<td>127,7<\/td>\n<td>0,0 pt<\/td>\n<td>-3,2 mots<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p><em>Cadre \u00e9ditorial CEOtudent. Tous les taux et longueurs moyennes de r\u00e9sum\u00e9 sont repris verbatim du classement des hallucinations de Vectara dans sa version du 11 mai 2026 ; l&rsquo;appariement, les colonnes de variation et la lecture de la longueur sont les n\u00f4tres. Quatre des cinq paires internes \u00e0 une famille montrent le taux d&rsquo;hallucination et la longueur du r\u00e9sum\u00e9 augmentant ensemble avec l&rsquo;effort de raisonnement. La cinqui\u00e8me, o4-mini, ne montre aucun mouvement significatif sur l&rsquo;un ou l&rsquo;autre, ce qui est coh\u00e9rent avec la m\u00eame relation plut\u00f4t qu&rsquo;une exception.<\/em><\/p>\n<p>Quatre paires sur quatre qui ont boug\u00e9 ont boug\u00e9 dans le m\u00eame sens, et sur les deux variables \u00e0 la fois. La cinqui\u00e8me n&rsquo;a boug\u00e9 sur aucune. Dans ces donn\u00e9es, il n&rsquo;existe aucun cas o\u00f9 un effort de raisonnement accru a produit un taux d&rsquo;hallucination plus bas sur source fournie.<\/p>\n<p>La colonne de longueur sugg\u00e8re pourquoi, et le m\u00e9canisme n&rsquo;a rien de spectaculaire. Un effort de raisonnement plus \u00e9lev\u00e9 produit une sortie plus longue. GPT-5.1 \u00e0 effort \u00e9lev\u00e9 \u00e9crit 254 mots l\u00e0 o\u00f9 le r\u00e9glage faible en \u00e9crit 166, soit une hausse de 54%. Chaque phrase suppl\u00e9mentaire dans un r\u00e9sum\u00e9 est une occasion de plus d&rsquo;affirmer quelque chose que le document source ne soutient pas. Le mod\u00e8le ne raisonne pas jusqu&rsquo;\u00e0 la fausset\u00e9 ; il \u00e9crit davantage, et les affirmations non \u00e9tay\u00e9es s&rsquo;accumulent avec le volume.<\/p>\n<p>Le m\u00eame sch\u00e9ma appara\u00eet sur toute la famille OpenAI dans ce seul passage du classement : gpt-5.4-nano, le plus petit mod\u00e8le list\u00e9, est \u00e0 3,1%, tandis qu&rsquo;o3-pro, un vaisseau amiral du raisonnement, est \u00e0 23,3%. C&rsquo;est un \u00e9cart de 7,5 fois au sein de la gamme d&rsquo;un seul fournisseur, allant \u00e0 contresens de la capacit\u00e9 des mod\u00e8les.<\/p>\n<p>Deux mises en garde avant toute surinterpr\u00e9tation. Le r\u00e9f\u00e9rentiel mesure une t\u00e2che \u00e9troite, le r\u00e9sum\u00e9 fid\u00e8le d&rsquo;un document fourni, et les avantages d&rsquo;un mod\u00e8le de raisonnement en math\u00e9matiques, en code et en analyse \u00e0 plusieurs \u00e9tapes ne sont tout simplement pas ce qui est not\u00e9 ici. Et ce sont des mesures uniques sans intervalles de confiance publi\u00e9s : les deux plus petits \u00e9carts, 0,5 et 1,2 point, doivent \u00eatre trait\u00e9s comme indicatifs plut\u00f4t que d\u00e9cisifs. Ce qui porte le poids, c&rsquo;est la coh\u00e9rence entre familles ind\u00e9pendantes, non une ligne isol\u00e9e.<\/p>\n<p>La version actionnable : pour l&rsquo;extraction et le r\u00e9sum\u00e9, o\u00f9 le travail consiste \u00e0 rester \u00e0 l&rsquo;int\u00e9rieur d&rsquo;un document source, se tourner vers le plus gros mod\u00e8le de raisonnement n&rsquo;est pas automatiquement le choix s\u00fbr, et c&rsquo;est peut-\u00eatre l&rsquo;inverse. Demandez une sortie plus courte. C&rsquo;est le m\u00eame levier.<\/p>\n<h2 id=\"les-cinq-mcanismes-et-quoi-chacun-ressemble\"><span class=\"ez-toc-section\" id=\"Les-cinq-mecanismes-et-a-quoi-chacun-ressemble\"><\/span>Les cinq m\u00e9canismes, et \u00e0 quoi chacun ressemble<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>L&rsquo;article sur l&rsquo;hallucination \u00e9num\u00e8re les facteurs statistiques derri\u00e8re ces erreurs. Les voici, associ\u00e9s \u00e0 ce que vous pouvez concr\u00e8tement faire pour chacun. Les m\u00e9canismes sont ceux de l&rsquo;article ; les tests de d\u00e9tection et la colonne d&rsquo;exposition sont les n\u00f4tres.<\/p>\n<table>\n<thead>\n<tr>\n<th>M\u00e9canisme<\/th>\n<th>Cause<\/th>\n<th>\u00c0 quoi cela ressemble<\/th>\n<th>Test de d\u00e9tection<\/th>\n<th>T\u00e2ches les plus expos\u00e9es<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>Faits arbitraires<\/td>\n<td>Le fait n&rsquo;a aucun motif g\u00e9n\u00e9ralisable et est apparu rarement ou jamais \u00e0 l&rsquo;entra\u00eenement. L&rsquo;article formalise cela par un taux de singletons : si une fraction des faits n&rsquo;est apparue qu&rsquo;une seule fois, les mod\u00e8les de base devraient halluciner au moins sur cette fraction<\/td>\n<td>Assur\u00e9, pr\u00e9cis, plausible, faux. Dates, noms, r\u00e9f\u00e9rences, chiffres, num\u00e9ros de page<\/td>\n<td>Posez la m\u00eame question dans trois sessions distinctes. Des r\u00e9ponses instables signifient qu&rsquo;il devine. Des r\u00e9ponses stables ne prouvent pas l&rsquo;exactitude, mais l&rsquo;instabilit\u00e9 est presque une preuve d&rsquo;erreur<\/td>\n<td>R\u00e9f\u00e9rences, d\u00e9tails biographiques, statistiques, entit\u00e9s peu connues<\/td>\n<\/tr>\n<tr>\n<td>Mauvaise ad\u00e9quation du mod\u00e8le<\/td>\n<td>L&rsquo;architecture repr\u00e9sente mal la t\u00e2che, ind\u00e9pendamment des connaissances. L&rsquo;exemple de l&rsquo;article est le comptage de lettres<\/td>\n<td>\u00c9choue sur quelque chose de trivialement facile tout en r\u00e9ussissant quelque chose de difficile. Comptage de caract\u00e8res, manipulation de cha\u00eenes, arithm\u00e9tique exacte<\/td>\n<td>Donnez une t\u00e2che que vous pouvez v\u00e9rifier \u00e0 la main en deux secondes. S&rsquo;il \u00e9choue l\u00e0, m\u00e9fiez-vous de la classe de t\u00e2che, pas du sujet<\/td>\n<td>Comptage, tokenisation, travail exact sur les cha\u00eenes, arithm\u00e9tique sur de longs nombres<\/td>\n<\/tr>\n<tr>\n<td>Difficult\u00e9 computationnelle<\/td>\n<td>Le probl\u00e8me est intraitable. Aucun syst\u00e8me, si capable soit-il, n&rsquo;\u00e9chappe aux limites de complexit\u00e9<\/td>\n<td>Une r\u00e9ponse fluide \u00e0 quelque chose qui n&rsquo;a pas de solution efficace<\/td>\n<td>Demandez si une r\u00e9ponse correcte est seulement calculable \u00e0 cette \u00e9chelle. Sinon, la r\u00e9ponse fluide est d\u00e9corative<\/td>\n<td>Requ\u00eates cryptographiques, grande optimisation combinatoire, recherche exhaustive<\/td>\n<\/tr>\n<tr>\n<td>D\u00e9calage de distribution<\/td>\n<td>L&rsquo;invite ne ressemble \u00e0 rien de l&rsquo;entra\u00eenement. Les entr\u00e9es hors distribution cassent les classifieurs, et les mod\u00e8les ne font pas exception<\/td>\n<td>D\u00e9faillances curieuses sur des questions pi\u00e8ges, des formulations inhabituelles ou des situations r\u00e9ellement nouvelles<\/td>\n<td>Reformulez sous une forme conventionnelle et redemandez. Si la r\u00e9ponse change, la formulation d&rsquo;origine \u00e9tait le probl\u00e8me<\/td>\n<td>Sc\u00e9narios in\u00e9dits, cadrage volontairement inhabituel, \u00e9v\u00e9nements tr\u00e8s r\u00e9cents<\/td>\n<\/tr>\n<tr>\n<td>D\u00e9chets \u00e0 l&rsquo;entr\u00e9e, d\u00e9chets \u00e0 la sortie<\/td>\n<td>L&rsquo;erreur \u00e9tait dans le corpus d&rsquo;entra\u00eenement. Le mod\u00e8le la reproduit fid\u00e8lement<\/td>\n<td>R\u00e9p\u00e8te avec assurance une id\u00e9e fausse r\u00e9pandue, un chiffre p\u00e9rim\u00e9 ou une citation erron\u00e9e largement diffus\u00e9e<\/td>\n<td>V\u00e9rifiez la source primaire, pas un r\u00e9sultat de recherche. Les chiffres tr\u00e8s r\u00e9p\u00e9t\u00e9s sont la cat\u00e9gorie la plus risqu\u00e9e, pr\u00e9cis\u00e9ment parce que c&rsquo;est la r\u00e9p\u00e9tition qui les a mis dans l&rsquo;entra\u00eenement<\/td>\n<td>Statistiques populaires, science de sens commun, histoire contest\u00e9e, normes d\u00e9pass\u00e9es<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p><em>Cadre \u00e9ditorial CEOtudent. Les cinq m\u00e9canismes et leur base technique proviennent de Kalai, Nachum, Vempala et Zhang, pr\u00e9publication arXiv 2509.04664v1, sections 3.3 et 3.4. Les tests de d\u00e9tection, les \u00e9valuations d&rsquo;exposition et la correspondance avec les t\u00e2ches rel\u00e8vent de notre synth\u00e8se et ne sont pas des r\u00e9sultats de cet article.<\/em><\/p>\n<p>La cinqui\u00e8me ligne m\u00e9rite d&rsquo;\u00eatre soulign\u00e9e car c&rsquo;est celle qui pi\u00e8ge les gens rigoureux. Une statistique r\u00e9p\u00e9t\u00e9e dans cent articles a plus de chances d&rsquo;\u00eatre reproduite par un mod\u00e8le qu&rsquo;une statistique rapport\u00e9e une seule fois dans la source primaire, et la r\u00e9p\u00e9tition n&rsquo;est pas une preuve. Nous y avons \u00e9t\u00e9 confront\u00e9s directement : des chiffres omnipr\u00e9sents dans la couverture secondaire et tout simplement absents de l&rsquo;\u00e9tude sous-jacente.<\/p>\n<p>La r\u00e8gle qui en d\u00e9coule est inconfortable et juste. Si un chiffre compte, ouvrez le document primaire et trouvez-y le chiffre. Pas un r\u00e9sum\u00e9 du document. Le document.<\/p>\n<h2 id=\"un-protocole-oprationnel\"><span class=\"ez-toc-section\" id=\"Un-protocole-operationnel\"><\/span>Un protocole op\u00e9rationnel<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Cinq \u00e9tapes, dans l&rsquo;ordre qui attrape le plus pour le moindre effort.<\/p>\n<p><strong>\u00c9tablissez dans quel r\u00e9gime vous \u00eates.<\/strong> La r\u00e9ponse est-elle dans la fen\u00eatre de contexte ou dans les param\u00e8tres du mod\u00e8le ? Le rappel \u00e0 livre ferm\u00e9 est environ un ordre de grandeur plus risqu\u00e9. Si vous pouvez convertir une question \u00e0 livre ferm\u00e9 en question ancr\u00e9e en collant la source, faites-le d&rsquo;abord. C&rsquo;est le geste au plus fort effet de levier.<\/p>\n<p><strong>N&rsquo;acceptez jamais une r\u00e9f\u00e9rence que vous n&rsquo;avez pas ouverte.<\/strong> Titres, auteurs, ann\u00e9es, noms de revues et num\u00e9ros de page sont la d\u00e9faillance canonique par faits arbitraires : aucun motif g\u00e9n\u00e9ralisable, forte plausibilit\u00e9 une fois fabriqu\u00e9s. Traitez toute r\u00e9f\u00e9rence non ouverte comme non v\u00e9rifi\u00e9e.<\/p>\n<p><strong>Reposez la question dans une session neuve.<\/strong> Peu co\u00fbteux, rapide, et cela exploite directement le m\u00e9canisme. Un mod\u00e8le qui devine un fait unique produira des suppositions diff\u00e9rentes. L&rsquo;article sur l&rsquo;hallucination s&rsquo;ouvre exactement l\u00e0-dessus : interrog\u00e9 sur la date de naissance d&rsquo;un auteur lors de trois tentatives, un mod\u00e8le de pointe a produit trois dates fausses diff\u00e9rentes.<\/p>\n<p><strong>Demandez des sorties plus courtes sur les t\u00e2ches ancr\u00e9es.<\/strong> Les paires du classement montrent que la longueur et les affirmations non \u00e9tay\u00e9es montent ensemble. La longueur est le levier que vous contr\u00f4lez.<\/p>\n<p><strong>Demandez la confiance et autorisez explicitement l&rsquo;abstention.<\/strong> Dites explicitement que \u00ab je ne sais pas \u00bb est une r\u00e9ponse acceptable. C&rsquo;est la version c\u00f4t\u00e9 utilisateur de la solution propos\u00e9e dans l&rsquo;article. Vous ne changerez pas la notation des r\u00e9f\u00e9rentiels, mais vous pouvez changer la r\u00e8gle de notation \u00e0 l&rsquo;int\u00e9rieur de votre propre invite.<\/p>\n<h2 id=\"ce-que-cela-ne-signifie-pas\"><span class=\"ez-toc-section\" id=\"Ce-que-cela-ne-signifie-pas\"><\/span>Ce que cela ne signifie pas<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Cela ne signifie pas que les mod\u00e8les sont globalement peu fiables. Des taux ancr\u00e9s de 2 \u00e0 7% pour de bons mod\u00e8les en r\u00e9sum\u00e9 fid\u00e8le constituent un taux d&rsquo;erreur exploitable pour un premier passage, \u00e0 condition de savoir qu&rsquo;il n&rsquo;est pas nul et de v\u00e9rifier les parties qui comptent.<\/p>\n<p>Cela ne signifie pas que l&rsquo;hallucination sera \u00e9limin\u00e9e par l&rsquo;ing\u00e9nierie l&rsquo;an prochain. L&rsquo;argument de l&rsquo;article est structurel : tant que les \u00e9valuations dominantes ne paient rien pour une incertitude calibr\u00e9e, les mod\u00e8les optimis\u00e9s pour ces \u00e9valuations continueront de deviner. Y rem\u00e9dier exige de changer le tableau d&rsquo;affichage, ce qui est un probl\u00e8me de coordination \u00e0 l&rsquo;\u00e9chelle du champ plut\u00f4t qu&rsquo;un probl\u00e8me de mod\u00e9lisation dans un laboratoire.<\/p>\n<p>Et cela ne signifie pas qu&rsquo;il faut tout v\u00e9rifier, ce qui reviendrait \u00e0 refuser d&rsquo;utiliser l&rsquo;outil. Cela signifie qu&rsquo;il faut savoir auquel des cinq m\u00e9canismes votre t\u00e2che pr\u00e9cise est expos\u00e9e, et v\u00e9rifier l\u00e0. Un effort de v\u00e9rification r\u00e9parti uniform\u00e9ment est un effort de v\u00e9rification gaspill\u00e9.<\/p>\n<p>La comp\u00e9tence d\u00e9crite ici n&rsquo;est pas le scepticisme. C&rsquo;est le calibrage : savoir o\u00f9 vivent les erreurs pour cesser de chercher partout ailleurs. C&rsquo;est la comp\u00e9tence abord\u00e9e dans <a href=\"https:\/\/ceotudent.com\/en\/ai-literacy-vs-ai-fluency\">litt\u00e9ratie contre aisance en IA<\/a>, appliqu\u00e9e \u00e0 la surface des d\u00e9faillances plut\u00f4t qu&rsquo;\u00e0 celle des capacit\u00e9s.<\/p>\n<h2 id=\"questions-frquentes\"><span class=\"ez-toc-section\" id=\"Questions-frequentes\"><\/span>Questions fr\u00e9quentes<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p><strong>Les mod\u00e8les r\u00e9cents hallucinent-ils moins ?<\/strong><br \/>\nPas de mani\u00e8re fiable, ni sur toutes les t\u00e2ches. Sur le classement du r\u00e9sum\u00e9 ancr\u00e9 mis \u00e0 jour en mai 2026, le plus petit mod\u00e8le de la famille OpenAI list\u00e9e obtenait 3,1% tandis qu&rsquo;un vaisseau amiral du raisonnement de la m\u00eame famille obtenait 23,3%. Capacit\u00e9 et fid\u00e9lit\u00e9 sont des axes diff\u00e9rents, et sur cette t\u00e2che pr\u00e9cise ils peuvent pointer en sens inverse.<\/p>\n<p><strong>La g\u00e9n\u00e9ration augment\u00e9e par r\u00e9cup\u00e9ration r\u00e8gle-t-elle le probl\u00e8me ?<\/strong><br \/>\nElle vous fait passer dans le meilleur r\u00e9gime, ce qui est un gain important, mais les taux ancr\u00e9s de cet article sont mesur\u00e9s avec le document source d\u00e9j\u00e0 fourni. Chacun de ces chiffres est une erreur r\u00e9siduelle que l&rsquo;ancrage n&rsquo;a pas supprim\u00e9e. La r\u00e9cup\u00e9ration ajoute aussi son propre mode de d\u00e9faillance : r\u00e9cup\u00e9rer le mauvais document produit une r\u00e9ponse assur\u00e9e, fid\u00e8lement ancr\u00e9e dans la mauvaise source.<\/p>\n<p><strong>Pourquoi le mod\u00e8le semble-t-il si s\u00fbr quand il a tort ?<\/strong><br \/>\nParce que la pr\u00e9cision a \u00e9t\u00e9 r\u00e9compens\u00e9e et la prudence non. Sous notation binaire, une r\u00e9ponse vague et une r\u00e9ponse fausse valent identiquement z\u00e9ro, tandis qu&rsquo;une supposition pr\u00e9cise a une chance de valoir un. L&rsquo;assurance fluide est le produit entra\u00een\u00e9 de cette incitation, pas un signal sur la r\u00e9ponse.<\/p>\n<p><strong>Demander au mod\u00e8le s&rsquo;il est s\u00fbr sert-il \u00e0 quelque chose ?<\/strong><br \/>\nFaiblement. La confiance d\u00e9clar\u00e9e est syst\u00e9matiquement surestim\u00e9e. Les auteurs de SimpleQA l&rsquo;ont mesur\u00e9 directement en demandant aux mod\u00e8les d&rsquo;\u00e9noncer un pourcentage de confiance et en le comparant \u00e0 leur exactitude r\u00e9elle, et ils ont constat\u00e9 une surestimation constante. L&rsquo;\u00e9chantillonnage r\u00e9p\u00e9t\u00e9 sur des sessions neuves est un meilleur signal que l&rsquo;auto-d\u00e9claration, car il mesure un comportement plut\u00f4t qu&rsquo;une affirmation sur ce comportement.<\/p>\n<p><strong>Quelle habitude unique attrape le plus d&rsquo;erreurs ?<\/strong><br \/>\nOuvrir les sources primaires pour tout chiffre ou toute r\u00e9f\u00e9rence qui influencera une d\u00e9cision. Cela vise les deux m\u00e9canismes responsables de la plupart des erreurs professionnelles cons\u00e9quentes, les faits arbitraires et les d\u00e9chets \u00e0 l&rsquo;entr\u00e9e, et cela prend environ une minute par \u00e9l\u00e9ment.<\/p>\n<h2 id=\"sources\"><span class=\"ez-toc-section\" id=\"Sources\"><\/span>Sources<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<ul>\n<li>Adam Tauman Kalai, Ofir Nachum, Santosh S. Vempala et Edwin Zhang, \u00ab Why Language Models Hallucinate \u00bb, pr\u00e9publication arXiv 2509.04664 version 1, septembre 2025. Tableau 2 sur la notation des r\u00e9f\u00e9rentiels ; sections 3.3 et 3.4 sur les m\u00e9canismes d&rsquo;erreur ; section 4.2 sur les cibles de confiance explicites.<\/li>\n<li>OpenAI, \u00ab Measuring short-form factuality in large language models \u00bb, pr\u00e9publication arXiv 2411.04368, novembre 2024, pr\u00e9sentant le r\u00e9f\u00e9rentiel SimpleQA. Tableau 3 sur la performance des mod\u00e8les ; section 4 sur le calibrage.<\/li>\n<li>Vectara, Hallucination Leaderboard, calcul\u00e9 avec le Hallucination Evaluation Model sur un corpus priv\u00e9 de plus de 7 700 documents, version du classement mise \u00e0 jour le 11 mai 2026.<\/li>\n<li>Vapnik et Chervonenkis, travaux fondateurs sur la dimension des familles de fonctions, cit\u00e9s par Kalai et ses coll\u00e8gues comme base de l&rsquo;analyse des faits arbitraires.<\/li>\n<li>I. J. Good, sur l&rsquo;estimation des fr\u00e9quences de population des esp\u00e8ces non observ\u00e9es, l&rsquo;estimateur de masse manquante qui sous-tend l&rsquo;argument du taux de singletons.<\/li>\n<li>Stanford Institute for Human-Centered Artificial Intelligence, Artificial Intelligence Index Report, sur les pratiques d&rsquo;\u00e9valuation des mod\u00e8les et la saturation des r\u00e9f\u00e9rentiels.<\/li>\n<\/ul>\n<hr>\n<p><em>Ce contenu a \u00e9t\u00e9 compil\u00e9 avec le soutien de l&rsquo;IA \u00e0 la suite d&rsquo;une recherche approfondie, puis r\u00e9dig\u00e9 et pr\u00e9par\u00e9 pour publication par l&rsquo;\u00e9quipe \u00e9ditoriale de CEOtudent.<\/em><\/p>\n","protected":false},"excerpt":{"rendered":"<p>L&rsquo;hallucination n&rsquo;est pas un myst\u00e8re et ce n&rsquo;est pas un bogue qui sera corrig\u00e9. C&rsquo;est le r\u00e9sultat pr\u00e9visible d&rsquo;un syst\u00e8me de notation qui paie les mod\u00e8les pour deviner et ne leur paie rien pour admettre leur ignorance. Nous avons d\u00e9riv\u00e9 des propres r\u00e9sultats SimpleQA d&rsquo;OpenAI une colonne que l&rsquo;article ne publie pas : le taux de bluff. Quand ces mod\u00e8les \u00e9chouent, l&rsquo;un r\u00e9pond faux 99% du temps tandis qu&rsquo;un autre s&rsquo;abstient quatre fois sur cinq. Puis nous avons examin\u00e9 le classement des hallucinations de Vectara et trouv\u00e9 plus \u00e9trange encore. Sur quatre comparaisons ind\u00e9pendantes au sein d&rsquo;une m\u00eame famille, augmenter l&rsquo;effort de raisonnement a aggrav\u00e9 l&rsquo;hallucination sur source fournie au lieu de l&rsquo;am\u00e9liorer, et les r\u00e9sum\u00e9s se sont allong\u00e9s \u00e0 chaque fois. Cet article explique les cinq m\u00e9canismes v\u00e9rifi\u00e9s, donne un test de d\u00e9tection pour chacun et montre auquel votre t\u00e2che est r\u00e9ellement expos\u00e9e.<\/p>\n","protected":false},"author":1,"featured_media":325704,"comment_status":"open","ping_status":"","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-325702","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry"],"_links":{"self":[{"href":"https:\/\/ceotudent.com\/fr\/wp-json\/wp\/v2\/posts\/325702","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/ceotudent.com\/fr\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/ceotudent.com\/fr\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/ceotudent.com\/fr\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/ceotudent.com\/fr\/wp-json\/wp\/v2\/comments?post=325702"}],"version-history":[{"count":0,"href":"https:\/\/ceotudent.com\/fr\/wp-json\/wp\/v2\/posts\/325702\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/ceotudent.com\/fr\/wp-json\/wp\/v2\/media\/325704"}],"wp:attachment":[{"href":"https:\/\/ceotudent.com\/fr\/wp-json\/wp\/v2\/media?parent=325702"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/ceotudent.com\/fr\/wp-json\/wp\/v2\/categories?post=325702"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/ceotudent.com\/fr\/wp-json\/wp\/v2\/tags?post=325702"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}