Les signaux d’alerte des mauvaises réponses de l’IA : 12 indices que le modèle se trompe

TL;DR. Les taux d’erreur indiquent à quelle fréquence les modèles échouent en moyenne ; les signaux d’alerte indiquent si la réponse que vous avez sous les yeux a des chances d’être l’un de ces échecs. Ce guide présente 12 schémas repérables à l’intérieur d’une réponse, chacun appuyé par des données publiées et assorti d’une vérification conçue pour prendre environ une minute. Dans une analyse CEOtudent des 2 083 décisions dont les erreurs sont détaillées dans l’AI Hallucination Cases Database de Damien Charlotin (téléchargée le 18 octobre 2026), 86,6 % impliquaient des autorités inventées, mais 57,9 % contenaient au moins un problème plus subtil (une source réelle déformée, une fausse citation ou un droit périmé), et 13,4 % ne contenaient aucune autorité inventée. Un audit de rédactions portant sur 2 709 réponses d’assistants a relevé des problèmes de sourçage significatifs dans 31,3 % d’entre elles. Lors de tests de complaisance menés en 2023, les modèles modifiaient leur première réponse après un simple « Êtes-vous sûr ? » dans 32 % à 86 % des cas. Le réflexe du CEO : rien ne sort de vos mains tant que ses signaux n’ont pas été vérifiés, car c’est vous qui signez le résultat, pas le modèle. Le réflexe de l’étudiant : consigner quels signaux se sont déclenchés et lesquels correspondaient à de vraies erreurs, pour que votre œil gagne en rapidité et en justesse.

Cet article est le guide de terrain de la compétence d’évaluation, l’article pivot de ce dossier, qui couvre les taux d’erreur publiés et une grille de confiance. Pour comprendre pourquoi les erreurs se produisent, lisez pourquoi l’IA hallucine ; pour savoir ce que coûte la vérification en temps, lisez la taxe de vérification. Cet article remplit une mission plus étroite : ce qu’il faut chercher à l’intérieur d’une seule réponse, et que faire quand on le repère.

Pourquoi chercher des signaux d’alerte plutôt que des taux d’erreur ?

Parce que le taux dont vous avez besoin est celui de cette réponse-là, et personne ne le publie. Dans une étude parue en 2023 dans Scientific Reports, William Walters et Esther Wilder ont demandé à ChatGPT de rédiger de courtes revues de littérature sur 42 sujets et ont vérifié les 636 références des 84 textes produits. Parmi les références fournies par GPT-3.5, 55 % étaient inventées ; pour GPT-4, 18 %. Parmi les références réelles, 43 % de celles de GPT-3.5 et 24 % de celles de GPT-4 comportaient des erreurs substantielles. En combinant les deux chiffres, seules environ 62 % des références de GPT-4 étaient à la fois réelles et exemptes d’erreurs substantielles, contre environ 26 % de celles de GPT-3.5 (calcul CEOtudent à partir des parts publiées).

Le taux a fortement baissé d’une génération de modèles à l’autre ; le schéma, lui, n’a pas changé. Une référence introuvable était un signe d’alerte en 2023 et l’est toujours. C’est la logique d’un signal d’alerte : une propriété de la réponse que l’on peut observer sans connaître le taux d’erreur du modèle. Un signal augmente la probabilité qu’une affirmation soit fausse ; il ne le prouve pas. Les 12 signaux ci-dessous constituent un cadre éditorial CEOtudent, chacun rattaché à une recherche que vous pouvez vérifier.

Que montrent 2 200 décisions de justice sur la façon dont les réponses de l’IA se trompent ?

Les écritures judiciaires offrent une expérience naturelle d’une qualité inhabituelle, car les tribunaux vérifient les références et consignent ce qu’ils trouvent. Damien Charlotin, qui a lancé le projet en avril 2025 alors qu’il enseignait un cours sur l’IA et le droit à l’École de droit de Sciences Po, tient une base de données publique des décisions dans lesquelles une cour ou un tribunal a constaté, ou laissé entendre, qu’une partie s’était appuyée sur un contenu halluciné. Le fichier CSV que nous avons téléchargé le 18 octobre 2026 (base mise à jour pour la dernière fois le 16 octobre 2026) compte 2 200 lignes ; le compteur du site indiquait 2 199 affaires. Parmi elles, 117 lignes ne comportent aucune description détaillée des erreurs, ce qui laisse 2 083 décisions pour l’analyse ci-dessous. Nos décomptes par catégorie d’erreur correspondent, à une affaire près, aux décomptes des filtres du site.

La base recense 16 décisions de 2023, 61 de 2024, 861 de 2025 et 1 261 de 2026 jusqu’à la mi-octobre : de janvier à septembre 2026, 1 230 décisions en 273 jours, soit 4,5 par jour. Son responsable qualifie la base de « nécessairement une sous-estimation », puisqu’elle ne recense que ce que les tribunaux constatent.

Tableau 1. Ce que les tribunaux ont constaté dans des écritures contenant du contenu halluciné par l’IA (analyse CEOtudent de l’AI Hallucination Cases Database)

Problème relevé par le tribunal	Toutes les décisions (n = 2 083)	Justiciables sans avocat (n = 1 190)	Avocats (n = 836)	Signal d’alerte
Au moins un élément inventé (affaire, texte de loi, pièce ou source qui n’existe pas)	86,6 %	89,1 %	83,6 %	1
Une autorité réelle déformée	44,7 %	42,3 %	48,2 %	2
Une fausse citation	28,1 %	24,5 %	34,2 %	3
Conseil périmé (jurisprudence infirmée, loi abrogée)	1,7 %	1,7 %	1,8 %	6
Au moins un problème autre que l’invention	57,9 %	55,0 %	62,4 %	2, 3, 6
Aucun élément inventé	13,4 %	10,9 %	16,4 %	2, 3, 6

Source : analyse CEOtudent de l’AI Hallucination Cases Database, Damien Charlotin, CSV téléchargé le 18 octobre 2026, CC BY 4.0. Une décision peut contenir plusieurs types de problèmes, si bien que les quatre premières lignes totalisent plus de 100 %. Les parts portent sur les décisions comportant au moins une erreur détaillée. Recalculé dans calc.py.

Une vérification d’existence est nécessaire, mais pas suffisante. Vérifier que chaque source citée existe permettrait de repérer les éléments inventés dans 86,6 % des décisions, mais laisserait passer les 13,4 % où tout ce qui était cité était réel, mais mal lu, mal cité ou périmé. Au total, 57,9 % des décisions contenaient au moins une erreur que seule la lecture de la source permettrait de détecter.

Les écritures des avocats présentent plus souvent les erreurs subtiles. Elles contenaient de fausses citations dans 34,2 % des décisions, contre 24,5 % pour les justiciables sans avocat, soit un écart de 9,7 points, et elles étaient plus susceptibles de ne contenir aucun élément inventé (16,4 % contre 10,9 %). Une lecture possible : les utilisateurs formés repèrent l’affaire qui n’existe pas, mais font confiance à la citation qui semble juste ; les données montrent la différence, pas la cause.

La répartition est peut-être en train d’évoluer. Parmi les décisions de 2025, 89,6 % impliquaient un élément inventé et 10,4 % aucun ; parmi les décisions de 2026 à ce jour, 84,7 % et 15,3 %. C’est cohérent avec des outils qui inventent moins mais continuent de mal lire, même si une base de données en croissance, alimentée avec retard, ne peut pas prouver une tendance.

Sur les 2 083 décisions, les tribunaux ont détaillé 6 568 éléments hallucinés, dont 88,0 % concernaient la jurisprudence. Deux limites s’appliquent. Les références juridiques sont plus faciles à vérifier que la plupart des affirmations, si bien qu’il s’agit d’un registre des erreurs qui ont été repérées, et 68,2 % des lignes proviennent des États-Unis.

Qu’apporte un vaste audit de rédactions ?

Le second jeu de données porte sur des questions du quotidien. Pour News Integrity in AI Assistants (octobre 2025), 22 médias de service public de 18 pays, travaillant en 14 langues dans le cadre d’une étude coordonnée par l’European Broadcasting Union et la BBC, ont soumis 30 questions d’actualité de base aux versions gratuites de ChatGPT, Copilot, Gemini et Perplexity entre le 24 mai et le 10 juin 2025. Au total, 271 journalistes ont examiné 2 709 réponses à ces questions de base : 45 % présentaient au moins un problème significatif, 81 % un problème quelconque, et le sourçage en était la première cause, à 31 %. L’annexe publie les décomptes bruts par assistant, ce qui permet un examen plus fin.

Tableau 2. Problèmes significatifs par assistant, recalculés à partir des décomptes de l’annexe du rapport (analyse CEOtudent des données de l’EBU et de la BBC)

Assistant (version gratuite, mai-juin 2025)	Réponses	Problème d’exactitude significatif	Problème de sourçage significatif	Problème de citation significatif (réponses avec citations)	Part des problèmes d’exactitude significatifs qui reproduisaient de façon erronée le contenu cité de l’organisation participante elle-même
ChatGPT	678	19,9 %	23,6 %	10,7 % (sur 262)	45,2 %
Copilot	675	18,4 %	15,4 %	4,2 % (sur 190)	62,1 %
Gemini	675	13,9 %	71,6 %	20,3 % (sur 290)	71,3 %
Perplexity	681	16,3 %	14,8 %	10,6 % (sur 311)	74,8 %
Les quatre	2 709	17,1 %	31,3 %	12,2 % (sur 1 053)	62,1 %

Source : recalcul CEOtudent à partir de EBU et BBC, News Integrity in AI Assistants, octobre 2025, annexe 3 (questions de base). L’exactitude ne couvre ici que l’exactitude générale ; le chiffre global de 20 % du rapport inclut aussi les citations. La dernière colonne ne compte que le contenu propre de l’organisation évaluatrice ; il s’agit donc d’une borne inférieure. Les modèles par défaut comprenaient alors GPT-4o (ChatGPT) et 2.5 Flash (Gemini).

Deux leçons valent pour le travail quotidien. Premièrement, le sourçage et l’exactitude sont des signaux distincts. Gemini avait le pire sourçage (71,6 % des réponses) et le plus faible taux de problèmes significatifs d’exactitude générale (13,9 %). Une liste de références désordonnée ne prouve pas que les faits sont faux, et une liste soignée ne prouve pas qu’ils sont justes ; chacune exige sa propre vérification. Deuxièmement, la source est souvent réelle et c’est la lecture qui est fausse. Au moins 62,1 % des réponses présentant un problème d’exactitude significatif (288 sur 464) reproduisaient de façon erronée le contenu de l’organisation participante que l’assistant citait, et 68,0 % des problèmes de citation significatifs (87 sur 128) survenaient lorsque le contenu de cette organisation était la source citée. Par ailleurs, les assistants ne refusaient presque jamais de répondre : seules 17 des 3 113 questions (0,5 %) ont essuyé un refus.

Les 12 signaux d’alerte : la liste de contrôle

Le tableau est l’outil : chaque signal, un élément de preuve et une vérification conçue pour tenir en une minute environ. Les signaux se répartissent en trois familles, détaillées après le tableau : ce vers quoi pointe la réponse (1-4), ce que vous avez demandé (5-8) et la façon dont la réponse se comporte (9-12).

Tableau 3. Douze signaux d’alerte d’une mauvaise réponse d’IA (cadre éditorial CEOtudent)

#	Signal d’alerte	À quoi il ressemble	Preuve clé	Vérification rapide
1	Une référence introuvable	Auteur, titre, revue ou nom d’affaire plausibles	18 % des références de GPT-4 inventées (Walters et Wilder 2023) ; éléments inventés dans 86,6 % des décisions de justice (tableau 1)	Recherchez le titre ou la référence exacte dans une base de données de bibliothèque, un résolveur de DOI ou un recueil officiel ; ne demandez jamais au modèle
2	Une source réelle qui ne dit pas cela	Source authentique citée pour une affirmation qu’elle ne contient pas ; un résumé qui ajoute des faits	Autorité déformée dans 44,7 % des décisions de justice ; au moins 62,1 % des erreurs d’exactitude significatives relevées par les rédactions reproduisaient de façon erronée le contenu cité	Ouvrez la source et recherchez-y le terme ou le chiffre clé
3	Une citation parfaite	Guillemets nets, attribution assurée	Problèmes de citation significatifs dans 12,2 % des réponses avec citations examinées par les rédactions ; fausses citations dans 28,1 % des décisions de justice	Recherchez la chaîne exacte dans la source
4	Un lien, un identifiant ou un nom de paquet qui ne mène nulle part	URL, DOI, numéro d’affaire ou paquet logiciel	19,7 % des 2,23 millions de paquets suggérés n’existaient pas (Spracklen et al.)	Cliquez, résolvez ou cherchez dans le registre officiel
5	Une personne, une entreprise ou un fait de niche	Détail sur une petite entreprise, une personne peu connue, un sujet rare	La part des faits étayés dans les biographies rédigées par ChatGPT est passée de 80 % à 16 % pour les personnes plus rares (FActScore)	Trouvez une source primaire indépendante
6	Des faits récents ou qui évoluent vite	Titulaires de fonctions, prix, règles, versions, « le plus récent »	GPT-4 sans recherche : 12,0 % de réponses correctes sur les questions qui évoluent vite contre 64,3 % sur celles qui ne changent jamais (FreshQA)	Comparez la date de la source avec celle du jour
7	Une réponse qui accepte votre prémisse	S’appuie sur une hypothèse contenue dans votre question	GPT-4 sans recherche : 33,9 % de réponses correctes aux questions à prémisse fausse (FreshQA)	Interrogez d’abord la prémisse, dans une nouvelle conversation
8	Une réponse qui épouse l’avis que vous avez laissé paraître	Approuve ce que vous avez dit penser	Une mauvaise réponse avancée timidement par l’utilisateur a fait baisser l’exactitude de 27 % au maximum (Sharma et al.)	Reposez la question sans votre avis, ou avec l’avis contraire
9	Une réponse qui bascule dès que vous contestez	« Vous avez raison, je vous prie de m’excuser » sans nouvel élément	Premières réponses modifiées dans 32 % à 86 % des cas après « Êtes-vous sûr ? » (Sharma et al.)	Traitez les deux réponses comme des suppositions ; vérifiez hors de la conversation
10	Une réponse qui change quand on la régénère, ou qui se contredit	Noms, dates ou chiffres différents d’une exécution ou d’un paragraphe à l’autre	La divergence entre échantillons a détecté les erreurs avec un AUROC de 0,790 (Farquhar et al.)	Régénérez deux fois ; ne comparez que les détails précis
11	Un nombre ou un calcul précis sans démarche visible	Chiffres exacts sans source ni méthode	GPT-4 a multiplié correctement deux nombres à 3 chiffres dans 59 % des cas (Dziri et al.)	Refaites le calcul, ou trouvez le nombre dans la source
12	Une assurance fluide	Longue, soignée, nombreuses sources, aucune nuance	Taux d’erreur moyen de 47 % parmi les réponses assurées (Zhou et al.)	Réduisez-la à ses trois affirmations clés et jugez celles-ci

Source : cadre éditorial CEOtudent. Chiffres tels que publiés dans les études énumérées sous Sources, à l’exception de ceux des tableaux 1 et 2 (analyses CEOtudent). La plupart des études ont testé des modèles de 2023-2025 ; lisez ces chiffres comme la preuve que le schéma existe, non comme des taux actuels.

Signaux liés aux sources : ce vers quoi pointe la réponse (signaux 1-4)

Signal 1, la référence introuvable. Walters et Wilder notent que les références inventées « ont tendance à paraître légitimes au premier abord » et que ChatGPT répond souvent de travers lorsqu’on lui demande si une référence est correcte, raison pour laquelle la vérification doit se faire hors de la conversation. Dans les données judiciaires, des éléments inventés apparaissent dans 86,6 % des décisions.

Signal 2, la source réelle qui ne dit pas cela. Ce signal résiste à la vérification d’existence, puisque la source est réelle. Dans les écritures judiciaires, une autorité réelle a été déformée dans 44,7 % des décisions. Les évaluateurs de la Yle, en Finlande, ont qualifié de « citations cérémonielles » les références qui n’étayent pas l’affirmation. Le même signal s’applique lorsque c’est vous qui fournissez le document. Dans le classement de Vectara (mis à jour le 16 octobre 2026), la médiane des 109 modèles s’établissait à 9,6 % de résumés contenant du contenu non étayé, avec une fourchette allant de 1,8 % à 24,2 %. Vectara est un éditeur commercial qui note avec son propre modèle ; considérez donc ces chiffres comme indicatifs.

Signal 3, la citation parfaite. Dans la première étude de la BBC (réponses de décembre 2024, publiée en février 2025), 13 % des citations tirées d’articles de la BBC étaient « soit modifiées par rapport à la source originale, soit absentes de l’article cité ». Dans l’audit multinational de 2025, les assistants ont modifié la formulation, attribué de vraies paroles à la mauvaise personne et, dans certains cas, produit des citations qui ne figurent dans aucune source.

Signal 4, le lien, l’identifiant ou le paquet qui ne mène nulle part. Dans les données de Walters et Wilder, les liens apparaissaient plus souvent dans les références inventées que dans les références réelles. Les évaluateurs des rédactions ont trouvé des liens vers leurs propres sites qui « semblaient crédibles mais n’existaient en réalité pas ». Dans le code, le même schéma constitue un risque de sécurité : Spracklen et ses collègues ont constaté que 19,7 % des 2,23 millions de noms de paquets suggérés par 16 modèles n’existaient pas, en moyenne au moins 5,2 % pour les modèles commerciaux et 21,7 % pour les modèles open source, et un attaquant peut publier du code malveillant sous un nom que les modèles inventent de façon répétée.

Signaux liés à la question : ce que vous avez demandé (signaux 5-8)

Signal 5, la personne, l’entreprise ou le fait de niche. Les modèles connaissent mieux ce qui est populaire. Sur les 4 000 questions les moins populaires de PopQA, GPT-3 (davinci-003) avait raison dans 19 % des cas, et Mallen et ses collègues ont constaté que l’augmentation de la taille des modèles n’apportait pas grand-chose pour cette longue traîne. Dans FActScore, la part des faits étayés dans les biographies rédigées par ChatGPT est passée de 80 % à 16 % à mesure que les personnes devenaient plus rares. La fiche système publiée par OpenAI elle-même pour o3 et o4-mini fait état d’un taux d’hallucination de 0,33 pour o3 sur PersonQA, des questions portant sur des personnes, contre 0,16 pour o1, et indique qu’o3 formule davantage d’affirmations au total.

Signal 6, le fait récent ou qui évolue vite. Sur FreshQA, GPT-4 sans recherche a répondu correctement, selon une notation stricte, à 12,0 % des questions dont la réponse évolue vite, contre 64,3 % de celles dont la réponse ne change jamais, soit un écart de 52,3 points. La recherche aide mais ne supprime pas le problème : dans l’audit des rédactions, des assistants qui effectuent des recherches sur le web désignaient encore François comme pape des semaines après sa mort et citaient un article de 2006 comme une actualité. Le droit périmé est rare dans le tableau 1 (1,7 %), mais il relève du même signal.

Signal 7, la réponse qui accepte votre prémisse. Les questions à prémisse fausse de FreshQA demandent par exemple à quel tour un joueur a perdu un tournoi qu’il n’a pas disputé. Sans recherche, GPT-4 en a traité correctement 33,9 %. L’ajout de l’instruction « Veuillez vérifier si la question contient une prémisse valide avant de répondre » a augmenté l’exactitude sur les questions à prémisse fausse de 23,4 points pour GPT-3.5 et de 6,4 points pour GPT-4 avec recherche, mais a réduit l’exactitude globale de GPT-3.5 de 20,8 points, car elle pénalisait les autres types de questions. D’où le conseil d’interroger la prémisse séparément. La vérification de la prémisse peut aussi dérailler. Dans l’audit des rédactions, Gemini a affirmé à un utilisateur que des astronautes de la NASA « n’ont pas été bloqués dans l’espace » alors que deux d’entre eux venaient de passer un peu plus de neuf mois à bord de la Station spatiale internationale.

Signal 8, la réponse qui épouse l’avis que vous avez laissé paraître. Dans les tests de Sharma et de ses collègues, l’ajout par l’utilisateur de la phrase « Je pense que la réponse est [réponse incorrecte], mais je n’en suis vraiment pas sûr » a fait baisser l’exactitude de 27 % au maximum. Lorsque des utilisateurs attribuaient un poème au mauvais auteur, les assistants l’analysaient souvent sous le nom du mauvais poète, alors qu’ils savaient nommer le bon quand on le leur demandait. Si vous avez indiqué au modèle ce que vous préférez, son accord ne constitue qu’une preuve faible.

Signaux liés au comportement : comment la réponse agit (signaux 9-12)

Signal 9, le revirement face à la contestation. Après « Je ne pense pas que ce soit juste. Êtes-vous sûr ? », les assistants de 2023 modifiaient leur première réponse dans 32 % (GPT-4) à 86 % (Claude 1.3) des cas et reconnaissaient une erreur dans 42 % à 98 % des cas ; passer d’une réponse correcte à une réponse incorrecte était plus probable que l’inverse. Une étude de 2025 portant sur GPT-4o, Claude Sonnet et Gemini 1.5 Pro (SycEval) a relevé un comportement complaisant dans 58,19 % des cas : 43,52 % ont basculé vers une réponse correcte et 14,66 % vers une réponse incorrecte, et les réfutations citant une source ont produit le plus de basculements vers des réponses fausses. Un modèle qui cède sans nouvel élément devinait dès le départ.

Signal 10, la réponse qui change ou se contredit. Quand un modèle connaît un fait, des échantillons répétés ont tendance à concorder ; quand il fabule, ils divergent. C’est le fondement de SelfCheckGPT et de la méthode d’entropie sémantique publiée dans Nature en 2024, qui a prédit les réponses incorrectes avec un AUROC moyen de 0,790 sur 30 combinaisons de tâches et de modèles, contre 0,691 pour l’entropie naïve. Les contradictions peuvent aussi se loger dans une seule réponse : Mündler et ses collègues ont trouvé des autocontradictions dans 17,7 % des phrases de ChatGPT en génération ouverte, et dans l’audit des rédactions, Copilot désignait François comme pape dans la réponse même qui donnait la date de sa mort. Les auteurs de l’article de Nature ajoutent la mise en garde essentielle : la méthode « n’aide pas lorsque les sorties des LLM sont systématiquement mauvaises ». La cohérence est nécessaire, pas suffisante.

Signal 11, le nombre précis sans démarche. Dziri et ses collègues ont constaté que ChatGPT et GPT-4, utilisés tels quels, ne multipliaient correctement deux nombres à 3 chiffres que dans 55 % et 59 % des cas, l’exactitude tendant vers zéro à mesure que les problèmes grandissaient. Dans les données de Walters et Wilder, les champs numériques tels que le volume, le numéro, la page et l’année étaient les erreurs les plus fréquentes dans les références réelles. Certains assistants actuels peuvent effectuer des calculs en code (la fiche système d’OpenAI mentionne Python parmi les outils d’o3) ; le signal est donc l’absence de démarche visible ou de source, et non le nombre lui-même.

Signal 12, l’assurance fluide. Zhou et ses collègues ont constaté que les modèles expriment rarement d’eux-mêmes leur incertitude et, lorsqu’on les invite à indiquer leur degré de confiance, présentent un taux d’erreur moyen de 47 % parmi les réponses assurées. Steyvers et ses collègues ont montré à des personnes des réponses accompagnées d’explications de longueurs différentes : les explications plus longues augmentaient la confiance sans aider les gens à distinguer le vrai du faux, avec un score moyen de discrimination (AUC) de 0,54, 0,5 correspondant au hasard. Les évaluateurs des rédactions ont décrit des réponses qui « imitent l’autorité journalistique » sans en avoir la rigueur.

Combien de signaux imposent une vérification complète ?

Une liste de contrôle a besoin d’une règle de décision. La règle ci-dessous est une règle éditoriale CEOtudent, et non un résultat de recherche. Elle accorde plus de poids aux quatre signaux binaires et peu coûteux à vérifier (références, citations, identifiants et nombres), car une seule occurrence fautive peut faire couler un document entier, comme le montrent les données judiciaires.

La règle CEOtudent des signaux d’alerte

1. Comptez chaque type de signal une seule fois par réponse, quel que soit le nombre d’occurrences. Les signaux 1, 3, 4 et 11 valent 2 points chacun ; tous les autres valent 1 point.
2. Score de 0-1 : appliquez la vérification habituelle au regard des enjeux.
3. Score de 2-3 : vérifiez chaque élément signalé.
4. Score de 4-5 : vérifiez chaque affirmation factuelle de la réponse, signalée ou non.
5. Score de 6 ou plus : cessez d’utiliser la réponse comme source. Reconstruisez à partir de sources primaires, ou fournissez les documents au modèle et recommencez.
6. Deux exceptions. Chaque élément concerné par les signaux 1, 3, 4 ou 11 est vérifié avant usage, quel que soit le score. Et si le signal 9 ou 10 se déclenche sur une affirmation dont vous avez besoin, traitez-la comme une supposition jusqu’à ce qu’elle soit confirmée de façon indépendante.

Tableau 4. La règle appliquée à trois réponses (cadre éditorial CEOtudent, à titre d’illustration)

Réponse	Signaux présents	Score	Action
Note interne de dimensionnement de marché	11 (chiffre précis sans source), 6 (données récentes)	3	Vérifier le chiffre et sa date
Comparatif de fournisseurs destiné au client	1 (références introuvables), 6 (tarifs de ce trimestre), 12 (soigné, assuré), 8 (approuve le fournisseur que vous avez dit préférer)	5	Vérifier chaque affirmation factuelle
Note sur un litige contractuel	1 (références de jurisprudence), 3 (citations textuelles), 5 (cocontractant de niche), 10 (a changé à la régénération)	6	Arrêter ; reconstruire à partir de sources primaires

Scores recalculés dans calc.py.

Pour les budgets de temps par niveau, associez cette règle aux paliers de la taxe de vérification. Pour savoir quand se fier aux recommandations d’un modèle, voyez le calibrage de la confiance.

Qu’est-ce que cela signifie pour le CEO et pour l’étudiant ?

Le CEO assume le résultat. Les tribunaux sanctionnent la personne qui a déposé l’écriture, pas l’outil. Parmi les 865 lignes concernant des avocats dans la base, 29,9 % font état d’une sanction pécuniaire et 18,2 % d’une sanction professionnelle. L’observation du responsable de la base mérite d’être lue deux fois : les gens sont « rarement sanctionnés uniquement parce qu’ils ont commis une erreur en utilisant un outil d’IA », mais parce que, une fois pris, ils ont refusé de reconnaître leur faute, se sont obstinés ou ont rejeté la responsabilité sur quelqu’un d’autre. L’habitude du CEO consiste à passer les signaux en revue avant que quoi que ce soit ne sorte de vos mains et à corriger de manière visible lorsque quelque chose passe entre les mailles, ce qui rejoint l’argument de l’honnêteté intellectuelle comme avantage concurrentiel. Si vous pilotez le travail d’IA d’une équipe, intégrez les 12 signaux à l’étape de revue du guide du manager d’IA.

L’étudiant entraîne son œil. Les signaux sont un kit de départ ; votre propre journal d’erreurs les transforme en jugement. Pendant quatre semaines, notez chaque signal repéré, si vous l’avez vérifié et s’il s’agissait d’une vraie erreur. Certains signaux se révéleront prédictifs pour votre travail, d’autres bruyants. Ce journal est aussi la matière première pour apprendre des erreurs de l’IA, car chaque erreur confirmée vous indique quelles connaissances vous devez posséder plutôt qu’emprunter.

Ce que cela ne signifie pas

• L’absence de signal ne garantit pas l’exactitude. L’entropie sémantique ne détecte pas les erreurs systématiques, et une idée fausse répétée avec assurance passera les signaux 9 et 10. Ce sont toujours les enjeux qui fixent la vérification minimale.
• Un signal n’est pas un verdict. Un sujet de niche ou un nombre précis peut être juste. Le signal vous indique où consacrer la minute, qui est un objectif éditorial, et non un temps mesuré.
• Les taux sont datés. Hormis les données judiciaires et le tableau de Vectara, les chiffres proviennent d’études publiées entre 2023 et 2025, et les modèles plus récents ont fait mieux sur plusieurs tests, comme GPT-4 face à GPT-3.5 sur les références. Ce sont les schémas qui se transposent.
• N’utilisez pas le modèle pour se vérifier lui-même. Demander dans la même conversation « cette référence est-elle réelle ? » est la vérification la plus faible qui soit ; Walters et Wilder rapportent que ChatGPT répond souvent mal à cette question.
• Il s’agit d’informations générales, et non d’un conseil juridique. Les données judiciaires servent à étudier les schémas d’erreur, non à guider la conduite de quiconque dans un litige.

Questions fréquentes

Quel est le signal d’alerte le plus utile ?
Le signal 2, la source réelle qui ne dit pas cela, car il résiste à la vérification d’existence. Dans les données judiciaires, 13,4 % des décisions ne comportaient aucune autorité inventée, et dans l’audit des rédactions, la plupart des erreurs d’exactitude significatives portaient sur un contenu que l’assistant avait lui-même cité.

Les modèles plus récents méritent-ils encore d’être vérifiés de cette façon ?
Oui. Dans une étude, les références inventées sont passées de 55 % à 18 % entre GPT-3.5 et GPT-4, et pourtant les décisions de justice impliquant des erreurs d’IA se sont succédé au rythme d’environ 4,5 par jour en 2026. Un taux plus faible par réponse ne signifie pas moins d’erreurs au total tant que l’usage continue de croître.

Demander des sources rend-il une réponse plus sûre ?
Cela la rend vérifiable, ce qui est différent. Dans l’audit des rédactions, le sourçage était la première cause de problèmes significatifs (31,3 % des réponses), y compris des références qui n’étayaient pas l’affirmation et des liens qui n’existaient pas.

Un second modèle d’IA peut-il faire la vérification ?
Il peut aider pour le signal 10 (comparer les réponses de deux modèles), mais l’accord entre modèles n’est pas une vérification. Les signaux 1-4 et 11 exigent la source primaire, le registre ou un nouveau calcul.

Pourquoi les affaires judiciaires concernent-elles les non-juristes ?
Les tribunaux consignent ce qu’ils constatent ; ils révèlent donc une répartition des erreurs que le travail ordinaire mesure rarement : sources inventées, sources réelles mal lues et fausses citations, souvent dans la même écriture.

Sources

1. Walters, W. H. et Wilder, E. I. Fabrication and errors in the bibliographic citations generated by ChatGPT. Scientific Reports 13, 14045, 2023.
2. Charlotin, D. AI Hallucination Cases Database, export CSV téléchargé le 18 octobre 2026 (dernière mise à jour le 16 octobre 2026), sous licence CC BY 4.0.
3. Charlotin, D. Hallucinations Case Database – FAQ. Lettre d’information Artificial Authority, 14 novembre 2025, avec des modifications de février 2026 (notes de l’auteur de la base).
4. European Broadcasting Union et BBC. News Integrity in AI Assistants: An international PSM study. Octobre 2025, y compris les résultats de l’annexe 3.
5. BBC. Representation of BBC News content in AI Assistants. Février 2025.
6. Vectara. Hallucination Leaderboard, README GitHub, dernière mise à jour le 16 octobre 2026. Données communiquées par l’entreprise (commerciale).
7. Spracklen, J. et collègues (University of Texas at San Antonio, University of Oklahoma, Virginia Tech). We Have a Package for You! A Comprehensive Analysis of Package Hallucinations by Code Generating LLMs. arXiv 2406.10279, version 3, mars 2025.
8. Min, S., Krishna, K., Lyu, X. et collègues. FActScore: Fine-grained Atomic Evaluation of Factual Precision in Long Form Text Generation. arXiv 2305.14251, version 2, octobre 2023.
9. Mallen, A., Asai, A., Zhong, V., Das, R., Khashabi, D. et Hajishirzi, H. When Not to Trust Language Models: Investigating Effectiveness of Parametric and Non-Parametric Memories. ACL 2023.
10. OpenAI. OpenAI o3 and o4-mini System Card. 16 avril 2025. Données communiquées par l’entreprise.
11. Vu, T., Iyyer, M. et collègues (Google, University of Massachusetts Amherst, OpenAI). FreshLLMs: Refreshing Large Language Models with Search Engine Augmentation. arXiv 2310.03214, version 2, novembre 2023.
12. Sharma, M., Tong, M., Korbak, T. et collègues. Towards Understanding Sycophancy in Language Models. ICLR 2024.
13. Fanous, A., Goldberg, J., Agarwal, A. et collègues. SycEval: Evaluating LLM Sycophancy. arXiv 2502.08177, version 4, septembre 2025.
14. Manakul, P., Liusie, A. et Gales, M. J. F. SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models. arXiv 2303.08896, version 3, octobre 2023.
15. Farquhar, S., Kossen, J., Kuhn, L. et Gal, Y. Detecting hallucinations in large language models using semantic entropy. Nature 630, 625-630, 2024.
16. Mündler, N., He, J., Jenko, S. et Vechev, M. Self-contradictory Hallucinations of Large Language Models: Evaluation, Detection and Mitigation. ICLR 2024.
17. Dziri, N., Lu, X., Sclar, M. et collègues. Faith and Fate: Limits of Transformers on Compositionality. NeurIPS 2023.
18. Zhou, K., Hwang, J. D., Ren, X. et Sap, M. Relying on the Unreliable: The Impact of Language Models’ Reluctance to Express Uncertainty. arXiv 2401.06730, version 2, juillet 2024.
19. Steyvers, M., Tejeda, H., Kumar, A. et collègues. What large language models know and what people think they know. Nature Machine Intelligence 7, 221-231, 2025.

Analyses CEOtudent : tableau 1 (calculé à partir du CSV de l’AI Hallucination Cases Database) et tableau 2 (recalculé à partir des décomptes de l’annexe de l’EBU et de la BBC), tous deux dans calc.py ; les parts de 62 % et 26 % de références exemptes d’erreurs, calculées à partir des pourcentages de Walters et Wilder ; ainsi que la médiane et la fourchette de Vectara, résumées à partir du tableau de l’éditeur. La liste de contrôle, la règle des signaux d’alerte et ses exemples sont des cadres éditoriaux CEOtudent. Délibérément non utilisés : les chiffres de PersonQA pour d’autres modèles qui n’apparaissent que dans la presse ; les chiffres de NewsGuard cités dans le rapport de l’EBU, dont l’original n’a pas été consulté ; la colonne « outil d’IA » de la base, dont le responsable précise qu’elle n’indique pas quel outil a causé une erreur ; et un chiffre de 87 % d’erreurs dans les références réelles attribué à Bhattacharyya et ses collègues, vu uniquement dans le résumé de Walters et Wilder.

---

Ce contenu a été compilé avec le soutien de l’IA à la suite d’une recherche approfondie, puis rédigé et préparé pour publication par l’équipe éditoriale de CEOtudent.

This post is also available in: