\n| Aucun \u00e9l\u00e9ment invent\u00e9<\/td>\n | 13,4 %<\/td>\n | 10,9 %<\/td>\n | 16,4 %<\/td>\n | 2, 3, 6<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n Source : analyse CEOtudent de l’AI Hallucination Cases Database, Damien Charlotin, CSV t\u00e9l\u00e9charg\u00e9 le 18 octobre 2026, CC BY 4.0. Une d\u00e9cision peut contenir plusieurs types de probl\u00e8mes, si bien que les quatre premi\u00e8res lignes totalisent plus de 100 %. Les parts portent sur les d\u00e9cisions comportant au moins une erreur d\u00e9taill\u00e9e. Recalcul\u00e9 dans calc.py.<\/em><\/p>\nUne v\u00e9rification d’existence est n\u00e9cessaire, mais pas suffisante.<\/strong> V\u00e9rifier que chaque source cit\u00e9e existe permettrait de rep\u00e9rer les \u00e9l\u00e9ments invent\u00e9s dans 86,6 % des d\u00e9cisions, mais laisserait passer les 13,4 % o\u00f9 tout ce qui \u00e9tait cit\u00e9 \u00e9tait r\u00e9el, mais mal lu, mal cit\u00e9 ou p\u00e9rim\u00e9. Au total, 57,9 % des d\u00e9cisions contenaient au moins une erreur que seule la lecture de la source permettrait de d\u00e9tecter.<\/p>\nLes \u00e9critures des avocats pr\u00e9sentent plus souvent les erreurs subtiles.<\/strong> Elles contenaient de fausses citations dans 34,2 % des d\u00e9cisions, contre 24,5 % pour les justiciables sans avocat, soit un \u00e9cart de 9,7 points, et elles \u00e9taient plus susceptibles de ne contenir aucun \u00e9l\u00e9ment invent\u00e9 (16,4 % contre 10,9 %). Une lecture possible : les utilisateurs form\u00e9s rep\u00e8rent l’affaire qui n’existe pas, mais font confiance \u00e0 la citation qui semble juste ; les donn\u00e9es montrent la diff\u00e9rence, pas la cause.<\/p>\nLa r\u00e9partition est peut-\u00eatre en train d’\u00e9voluer.<\/strong> Parmi les d\u00e9cisions de 2025, 89,6 % impliquaient un \u00e9l\u00e9ment invent\u00e9 et 10,4 % aucun ; parmi les d\u00e9cisions de 2026 \u00e0 ce jour, 84,7 % et 15,3 %. C’est coh\u00e9rent avec des outils qui inventent moins mais continuent de mal lire, m\u00eame si une base de donn\u00e9es en croissance, aliment\u00e9e avec retard, ne peut pas prouver une tendance.<\/p>\nSur les 2 083 d\u00e9cisions, les tribunaux ont d\u00e9taill\u00e9 6 568 \u00e9l\u00e9ments hallucin\u00e9s, dont 88,0 % concernaient la jurisprudence. Deux limites s’appliquent. Les r\u00e9f\u00e9rences juridiques sont plus faciles \u00e0 v\u00e9rifier que la plupart des affirmations, si bien qu’il s’agit d’un registre des erreurs qui ont \u00e9t\u00e9 rep\u00e9r\u00e9es, et 68,2 % des lignes proviennent des \u00c9tats-Unis.<\/p>\n <\/span>Qu’apporte un vaste audit de r\u00e9dactions ?<\/span><\/h2>\nLe second jeu de donn\u00e9es porte sur des questions du quotidien. Pour News Integrity in AI Assistants (octobre 2025), 22 m\u00e9dias de service public de 18 pays, travaillant en 14 langues dans le cadre d’une \u00e9tude coordonn\u00e9e par l’European Broadcasting Union et la BBC, ont soumis 30 questions d’actualit\u00e9 de base aux versions gratuites de ChatGPT, Copilot, Gemini et Perplexity entre le 24 mai et le 10 juin 2025. Au total, 271 journalistes ont examin\u00e9 2 709 r\u00e9ponses \u00e0 ces questions de base : 45 % pr\u00e9sentaient au moins un probl\u00e8me significatif, 81 % un probl\u00e8me quelconque, et le sour\u00e7age en \u00e9tait la premi\u00e8re cause, \u00e0 31 %. L’annexe publie les d\u00e9comptes bruts par assistant, ce qui permet un examen plus fin.<\/p>\n Tableau 2. Probl\u00e8mes significatifs par assistant, recalcul\u00e9s \u00e0 partir des d\u00e9comptes de l’annexe du rapport (analyse CEOtudent des donn\u00e9es de l’EBU et de la BBC)<\/strong><\/p>\n\n\n\n| Assistant (version gratuite, mai-juin 2025)<\/th>\n | R\u00e9ponses<\/th>\n | Probl\u00e8me d’exactitude significatif<\/th>\n | Probl\u00e8me de sour\u00e7age significatif<\/th>\n | Probl\u00e8me de citation significatif (r\u00e9ponses avec citations)<\/th>\n | Part des probl\u00e8mes d’exactitude significatifs qui reproduisaient de fa\u00e7on erron\u00e9e le contenu cit\u00e9 de l’organisation participante elle-m\u00eame<\/th>\n<\/tr>\n<\/thead>\n | \n\n| ChatGPT<\/td>\n | 678<\/td>\n | 19,9 %<\/td>\n | 23,6 %<\/td>\n | 10,7 % (sur 262)<\/td>\n | 45,2 %<\/td>\n<\/tr>\n | \n| Copilot<\/td>\n | 675<\/td>\n | 18,4 %<\/td>\n | 15,4 %<\/td>\n | 4,2 % (sur 190)<\/td>\n | 62,1 %<\/td>\n<\/tr>\n | \n| Gemini<\/td>\n | 675<\/td>\n | 13,9 %<\/td>\n | 71,6 %<\/td>\n | 20,3 % (sur 290)<\/td>\n | 71,3 %<\/td>\n<\/tr>\n | \n| Perplexity<\/td>\n | 681<\/td>\n | 16,3 %<\/td>\n | 14,8 %<\/td>\n | 10,6 % (sur 311)<\/td>\n | 74,8 %<\/td>\n<\/tr>\n | \n| Les quatre<\/td>\n | 2 709<\/td>\n | 17,1 %<\/td>\n | 31,3 %<\/td>\n | 12,2 % (sur 1 053)<\/td>\n | 62,1 %<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n Source : recalcul CEOtudent \u00e0 partir de EBU et BBC, News Integrity in AI Assistants, octobre 2025, annexe 3 (questions de base). L’exactitude ne couvre ici que l’exactitude g\u00e9n\u00e9rale ; le chiffre global de 20 % du rapport inclut aussi les citations. La derni\u00e8re colonne ne compte que le contenu propre de l’organisation \u00e9valuatrice ; il s’agit donc d’une borne inf\u00e9rieure. Les mod\u00e8les par d\u00e9faut comprenaient alors GPT-4o (ChatGPT) et 2.5 Flash (Gemini).<\/em><\/p>\nDeux le\u00e7ons valent pour le travail quotidien. Premi\u00e8rement, le sour\u00e7age et l’exactitude sont des signaux distincts. Gemini avait le pire sour\u00e7age (71,6 % des r\u00e9ponses) et le plus faible taux de probl\u00e8mes significatifs d’exactitude g\u00e9n\u00e9rale (13,9 %). Une liste de r\u00e9f\u00e9rences d\u00e9sordonn\u00e9e ne prouve pas que les faits sont faux, et une liste soign\u00e9e ne prouve pas qu’ils sont justes ; chacune exige sa propre v\u00e9rification. Deuxi\u00e8mement, la source est souvent r\u00e9elle et c’est la lecture qui est fausse. Au moins 62,1 % des r\u00e9ponses pr\u00e9sentant un probl\u00e8me d’exactitude significatif (288 sur 464) reproduisaient de fa\u00e7on erron\u00e9e le contenu de l’organisation participante que l’assistant citait, et 68,0 % des probl\u00e8mes de citation significatifs (87 sur 128) survenaient lorsque le contenu de cette organisation \u00e9tait la source cit\u00e9e. Par ailleurs, les assistants ne refusaient presque jamais de r\u00e9pondre : seules 17 des 3 113 questions (0,5 %) ont essuy\u00e9 un refus.<\/p>\n <\/span>Les 12 signaux d’alerte : la liste de contr\u00f4le<\/span><\/h2>\nLe tableau est l’outil : chaque signal, un \u00e9l\u00e9ment de preuve et une v\u00e9rification con\u00e7ue pour tenir en une minute environ. Les signaux se r\u00e9partissent en trois familles, d\u00e9taill\u00e9es apr\u00e8s le tableau : ce vers quoi pointe la r\u00e9ponse (1-4), ce que vous avez demand\u00e9 (5-8) et la fa\u00e7on dont la r\u00e9ponse se comporte (9-12).<\/p>\n Tableau 3. Douze signaux d’alerte d’une mauvaise r\u00e9ponse d’IA (cadre \u00e9ditorial CEOtudent)<\/strong><\/p>\n\n\n\n| #<\/th>\n | Signal d’alerte<\/th>\n | \u00c0 quoi il ressemble<\/th>\n | Preuve cl\u00e9<\/th>\n | V\u00e9rification rapide<\/th>\n<\/tr>\n<\/thead>\n | \n\n| 1<\/td>\n | Une r\u00e9f\u00e9rence introuvable<\/td>\n | Auteur, titre, revue ou nom d’affaire plausibles<\/td>\n | 18 % des r\u00e9f\u00e9rences de GPT-4 invent\u00e9es (Walters et Wilder 2023) ; \u00e9l\u00e9ments invent\u00e9s dans 86,6 % des d\u00e9cisions de justice (tableau 1)<\/td>\n | Recherchez le titre ou la r\u00e9f\u00e9rence exacte dans une base de donn\u00e9es de biblioth\u00e8que, un r\u00e9solveur de DOI ou un recueil officiel ; ne demandez jamais au mod\u00e8le<\/td>\n<\/tr>\n | \n| 2<\/td>\n | Une source r\u00e9elle qui ne dit pas cela<\/td>\n | Source authentique cit\u00e9e pour une affirmation qu’elle ne contient pas ; un r\u00e9sum\u00e9 qui ajoute des faits<\/td>\n | Autorit\u00e9 d\u00e9form\u00e9e dans 44,7 % des d\u00e9cisions de justice ; au moins 62,1 % des erreurs d’exactitude significatives relev\u00e9es par les r\u00e9dactions reproduisaient de fa\u00e7on erron\u00e9e le contenu cit\u00e9<\/td>\n | Ouvrez la source et recherchez-y le terme ou le chiffre cl\u00e9<\/td>\n<\/tr>\n | \n| 3<\/td>\n | Une citation parfaite<\/td>\n | Guillemets nets, attribution assur\u00e9e<\/td>\n | Probl\u00e8mes de citation significatifs dans 12,2 % des r\u00e9ponses avec citations examin\u00e9es par les r\u00e9dactions ; fausses citations dans 28,1 % des d\u00e9cisions de justice<\/td>\n | Recherchez la cha\u00eene exacte dans la source<\/td>\n<\/tr>\n | \n| 4<\/td>\n | Un lien, un identifiant ou un nom de paquet qui ne m\u00e8ne nulle part<\/td>\n | URL, DOI, num\u00e9ro d’affaire ou paquet logiciel<\/td>\n | 19,7 % des 2,23 millions de paquets sugg\u00e9r\u00e9s n’existaient pas (Spracklen et al.)<\/td>\n | Cliquez, r\u00e9solvez ou cherchez dans le registre officiel<\/td>\n<\/tr>\n | \n| 5<\/td>\n | Une personne, une entreprise ou un fait de niche<\/td>\n | D\u00e9tail sur une petite entreprise, une personne peu connue, un sujet rare<\/td>\n | La part des faits \u00e9tay\u00e9s dans les biographies r\u00e9dig\u00e9es par ChatGPT est pass\u00e9e de 80 % \u00e0 16 % pour les personnes plus rares (FActScore)<\/td>\n | Trouvez une source primaire ind\u00e9pendante<\/td>\n<\/tr>\n | \n| 6<\/td>\n | Des faits r\u00e9cents ou qui \u00e9voluent vite<\/td>\n | Titulaires de fonctions, prix, r\u00e8gles, versions, \u00ab le plus r\u00e9cent \u00bb<\/td>\n | GPT-4 sans recherche : 12,0 % de r\u00e9ponses correctes sur les questions qui \u00e9voluent vite contre 64,3 % sur celles qui ne changent jamais (FreshQA)<\/td>\n | Comparez la date de la source avec celle du jour<\/td>\n<\/tr>\n | \n| 7<\/td>\n | Une r\u00e9ponse qui accepte votre pr\u00e9misse<\/td>\n | S’appuie sur une hypoth\u00e8se contenue dans votre question<\/td>\n | GPT-4 sans recherche : 33,9 % de r\u00e9ponses correctes aux questions \u00e0 pr\u00e9misse fausse (FreshQA)<\/td>\n | Interrogez d’abord la pr\u00e9misse, dans une nouvelle conversation<\/td>\n<\/tr>\n | \n| 8<\/td>\n | Une r\u00e9ponse qui \u00e9pouse l’avis que vous avez laiss\u00e9 para\u00eetre<\/td>\n | Approuve ce que vous avez dit penser<\/td>\n | Une mauvaise r\u00e9ponse avanc\u00e9e timidement par l’utilisateur a fait baisser l’exactitude de 27 % au maximum (Sharma et al.)<\/td>\n | Reposez la question sans votre avis, ou avec l’avis contraire<\/td>\n<\/tr>\n | \n| 9<\/td>\n | Une r\u00e9ponse qui bascule d\u00e8s que vous contestez<\/td>\n | \u00ab Vous avez raison, je vous prie de m’excuser \u00bb sans nouvel \u00e9l\u00e9ment<\/td>\n | Premi\u00e8res r\u00e9ponses modifi\u00e9es dans 32 % \u00e0 86 % des cas apr\u00e8s \u00ab \u00cates-vous s\u00fbr ? \u00bb (Sharma et al.)<\/td>\n | Traitez les deux r\u00e9ponses comme des suppositions ; v\u00e9rifiez hors de la conversation<\/td>\n<\/tr>\n | \n| 10<\/td>\n | Une r\u00e9ponse qui change quand on la r\u00e9g\u00e9n\u00e8re, ou qui se contredit<\/td>\n | Noms, dates ou chiffres diff\u00e9rents d’une ex\u00e9cution ou d’un paragraphe \u00e0 l’autre<\/td>\n | La divergence entre \u00e9chantillons a d\u00e9tect\u00e9 les erreurs avec un AUROC de 0,790 (Farquhar et al.)<\/td>\n | R\u00e9g\u00e9n\u00e9rez deux fois ; ne comparez que les d\u00e9tails pr\u00e9cis<\/td>\n<\/tr>\n | \n| 11<\/td>\n | Un nombre ou un calcul pr\u00e9cis sans d\u00e9marche visible<\/td>\n | Chiffres exacts sans source ni m\u00e9thode<\/td>\n | GPT-4 a multipli\u00e9 correctement deux nombres \u00e0 3 chiffres dans 59 % des cas (Dziri et al.)<\/td>\n | Refaites le calcul, ou trouvez le nombre dans la source<\/td>\n<\/tr>\n | \n| 12<\/td>\n | Une assurance fluide<\/td>\n | Longue, soign\u00e9e, nombreuses sources, aucune nuance<\/td>\n | Taux d’erreur moyen de 47 % parmi les r\u00e9ponses assur\u00e9es (Zhou et al.)<\/td>\n | R\u00e9duisez-la \u00e0 ses trois affirmations cl\u00e9s et jugez celles-ci<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n Source : cadre \u00e9ditorial CEOtudent. Chiffres tels que publi\u00e9s dans les \u00e9tudes \u00e9num\u00e9r\u00e9es sous Sources, \u00e0 l’exception de ceux des tableaux 1 et 2 (analyses CEOtudent). La plupart des \u00e9tudes ont test\u00e9 des mod\u00e8les de 2023-2025 ; lisez ces chiffres comme la preuve que le sch\u00e9ma existe, non comme des taux actuels.<\/em><\/p>\n<\/span>Signaux li\u00e9s aux sources : ce vers quoi pointe la r\u00e9ponse (signaux 1-4)<\/span><\/h2>\nSignal 1, la r\u00e9f\u00e9rence introuvable.<\/strong> Walters et Wilder notent que les r\u00e9f\u00e9rences invent\u00e9es \u00ab ont tendance \u00e0 para\u00eetre l\u00e9gitimes au premier abord \u00bb et que ChatGPT r\u00e9pond souvent de travers lorsqu’on lui demande si une r\u00e9f\u00e9rence est correcte, raison pour laquelle la v\u00e9rification doit se faire hors de la conversation. Dans les donn\u00e9es judiciaires, des \u00e9l\u00e9ments invent\u00e9s apparaissent dans 86,6 % des d\u00e9cisions.<\/p>\nSignal 2, la source r\u00e9elle qui ne dit pas cela.<\/strong> Ce signal r\u00e9siste \u00e0 la v\u00e9rification d’existence, puisque la source est r\u00e9elle. Dans les \u00e9critures judiciaires, une autorit\u00e9 r\u00e9elle a \u00e9t\u00e9 d\u00e9form\u00e9e dans 44,7 % des d\u00e9cisions. Les \u00e9valuateurs de la Yle, en Finlande, ont qualifi\u00e9 de \u00ab citations c\u00e9r\u00e9monielles \u00bb les r\u00e9f\u00e9rences qui n’\u00e9tayent pas l’affirmation. Le m\u00eame signal s’applique lorsque c’est vous qui fournissez le document. Dans le classement de Vectara (mis \u00e0 jour le 16 octobre 2026), la m\u00e9diane des 109 mod\u00e8les s’\u00e9tablissait \u00e0 9,6 % de r\u00e9sum\u00e9s contenant du contenu non \u00e9tay\u00e9, avec une fourchette allant de 1,8 % \u00e0 24,2 %. Vectara est un \u00e9diteur commercial qui note avec son propre mod\u00e8le ; consid\u00e9rez donc ces chiffres comme indicatifs.<\/p>\nSignal 3, la citation parfaite.<\/strong> Dans la premi\u00e8re \u00e9tude de la BBC (r\u00e9ponses de d\u00e9cembre 2024, publi\u00e9e en f\u00e9vrier 2025), 13 % des citations tir\u00e9es d’articles de la BBC \u00e9taient \u00ab soit modifi\u00e9es par rapport \u00e0 la source originale, soit absentes de l’article cit\u00e9 \u00bb. Dans l’audit multinational de 2025, les assistants ont modifi\u00e9 la formulation, attribu\u00e9 de vraies paroles \u00e0 la mauvaise personne et, dans certains cas, produit des citations qui ne figurent dans aucune source.<\/p>\nSignal 4, le lien, l’identifiant ou le paquet qui ne m\u00e8ne nulle part.<\/strong> Dans les donn\u00e9es de Walters et Wilder, les liens apparaissaient plus souvent dans les r\u00e9f\u00e9rences invent\u00e9es que dans les r\u00e9f\u00e9rences r\u00e9elles. Les \u00e9valuateurs des r\u00e9dactions ont trouv\u00e9 des liens vers leurs propres sites qui \u00ab semblaient cr\u00e9dibles mais n’existaient en r\u00e9alit\u00e9 pas \u00bb. Dans le code, le m\u00eame sch\u00e9ma constitue un risque de s\u00e9curit\u00e9 : Spracklen et ses coll\u00e8gues ont constat\u00e9 que 19,7 % des 2,23 millions de noms de paquets sugg\u00e9r\u00e9s par 16 mod\u00e8les n’existaient pas, en moyenne au moins 5,2 % pour les mod\u00e8les commerciaux et 21,7 % pour les mod\u00e8les open source, et un attaquant peut publier du code malveillant sous un nom que les mod\u00e8les inventent de fa\u00e7on r\u00e9p\u00e9t\u00e9e.<\/p>\n<\/span>Signaux li\u00e9s \u00e0 la question : ce que vous avez demand\u00e9 (signaux 5-8)<\/span><\/h2>\nSignal 5, la personne, l’entreprise ou le fait de niche.<\/strong> Les mod\u00e8les connaissent mieux ce qui est populaire. Sur les 4 000 questions les moins populaires de PopQA, GPT-3 (davinci-003) avait raison dans 19 % des cas, et Mallen et ses coll\u00e8gues ont constat\u00e9 que l’augmentation de la taille des mod\u00e8les n’apportait pas grand-chose pour cette longue tra\u00eene. Dans FActScore, la part des faits \u00e9tay\u00e9s dans les biographies r\u00e9dig\u00e9es par ChatGPT est pass\u00e9e de 80 % \u00e0 16 % \u00e0 mesure que les personnes devenaient plus rares. La fiche syst\u00e8me publi\u00e9e par OpenAI elle-m\u00eame pour o3 et o4-mini fait \u00e9tat d’un taux d’hallucination de 0,33 pour o3 sur PersonQA, des questions portant sur des personnes, contre 0,16 pour o1, et indique qu’o3 formule davantage d’affirmations au total.<\/p>\nSignal 6, le fait r\u00e9cent ou qui \u00e9volue vite.<\/strong> Sur FreshQA, GPT-4 sans recherche a r\u00e9pondu correctement, selon une notation stricte, \u00e0 12,0 % des questions dont la r\u00e9ponse \u00e9volue vite, contre 64,3 % de celles dont la r\u00e9ponse ne change jamais, soit un \u00e9cart de 52,3 points. La recherche aide mais ne supprime pas le probl\u00e8me : dans l’audit des r\u00e9dactions, des assistants qui effectuent des recherches sur le web d\u00e9signaient encore Fran\u00e7ois comme pape des semaines apr\u00e8s sa mort et citaient un article de 2006 comme une actualit\u00e9. Le droit p\u00e9rim\u00e9 est rare dans le tableau 1 (1,7 %), mais il rel\u00e8ve du m\u00eame signal.<\/p>\nSignal 7, la r\u00e9ponse qui accepte votre pr\u00e9misse.<\/strong> Les questions \u00e0 pr\u00e9misse fausse de FreshQA demandent par exemple \u00e0 quel tour un joueur a perdu un tournoi qu’il n’a pas disput\u00e9. Sans recherche, GPT-4 en a trait\u00e9 correctement 33,9 %. L’ajout de l’instruction \u00ab Veuillez v\u00e9rifier si la question contient une pr\u00e9misse valide avant de r\u00e9pondre \u00bb a augment\u00e9 l’exactitude sur les questions \u00e0 pr\u00e9misse fausse de 23,4 points pour GPT-3.5 et de 6,4 points pour GPT-4 avec recherche, mais a r\u00e9duit l’exactitude globale de GPT-3.5 de 20,8 points, car elle p\u00e9nalisait les autres types de questions. D’o\u00f9 le conseil d’interroger la pr\u00e9misse s\u00e9par\u00e9ment. La v\u00e9rification de la pr\u00e9misse peut aussi d\u00e9railler. Dans l’audit des r\u00e9dactions, Gemini a affirm\u00e9 \u00e0 un utilisateur que des astronautes de la NASA \u00ab n’ont pas \u00e9t\u00e9 bloqu\u00e9s dans l’espace \u00bb alors que deux d’entre eux venaient de passer un peu plus de neuf mois \u00e0 bord de la Station spatiale internationale.<\/p>\nSignal 8, la r\u00e9ponse qui \u00e9pouse l’avis que vous avez laiss\u00e9 para\u00eetre.<\/strong> Dans les tests de Sharma et de ses coll\u00e8gues, l’ajout par l’utilisateur de la phrase \u00ab Je pense que la r\u00e9ponse est [r\u00e9ponse incorrecte], mais je n’en suis vraiment pas s\u00fbr \u00bb a fait baisser l’exactitude de 27 % au maximum. Lorsque des utilisateurs attribuaient un po\u00e8me au mauvais auteur, les assistants l’analysaient souvent sous le nom du mauvais po\u00e8te, alors qu’ils savaient nommer le bon quand on le leur demandait. Si vous avez indiqu\u00e9 au mod\u00e8le ce que vous pr\u00e9f\u00e9rez, son accord ne constitue qu’une preuve faible.<\/p>\n | | |