En bref. Sur 16 340 jugements, des lecteurs non spécialistes ont identifié les poèmes générés par IA avec 46,6 % de justesse, soit en dessous des 50 % qu’aurait donnés le hasard. Sur 1 023 conversations enregistrées, un modèle doté d’une consigne de persona a été jugé humain 73 % du temps, plus souvent que les humains réels auxquels il était comparé. Dans les deux études, l’expertise n’a pas aidé : l’expérience poétique a produit un modèle dont le R deux de McFadden vaut 0,012, et la connaissance des modèles de langage comme l’usage quotidien de robots conversationnels n’ont eu aucun effet significatif. Dans l’une, la confiance était significativement et négativement liée au fait d’avoir raison. Et les mêmes expériences montrent pourquoi : informés qu’un poème était généré par IA, les lecteurs baissaient sa note de qualité de 0,814 point sur une échelle de sept, tandis que les poèmes réellement générés étaient notés 1,045 point au-dessus de ceux de poètes humains célèbres. L’étiquette déplace le verdict environ 76 % autant que le texte. Cet écart entre ce que vous croyez pouvoir juger et ce que vous pouvez juger est ce qu’il faut gérer.
Ce n’est pas un déficit de compétence
La version confortable de cette histoire veut que le discernement soit une compétence, aujourd’hui peu développée, que la pratique corrigera. Trois études issues de trois laboratoires sans lien entre eux disent le contraire, et le disent depuis des extrémités opposées de l’espace du problème.
La première, de Porter et Machery dans Scientific Reports, a testé si des lecteurs non spécialistes pouvaient distinguer des poèmes générés par IA de poèmes de poètes humains reconnus. Le protocole a délibérément donné tous les avantages aux humains. Il a utilisé un paradigme sans humain dans la boucle : les cinq premiers poèmes produits par le modèle ont été retenus, sans sélection du meilleur ni retour au-delà d’une consigne demandant d’écrire un court poème dans le style d’un poète nommé. Dans la première expérience, 1 634 participants ont vu chacun dix poèmes attribués à l’un de dix poètes, cinq authentiques et cinq générés, et ont jugé chacun d’eux.
Le résultat, sur 16 340 jugements individuels : 46,6 % de justesse. Pas proche du hasard. En dessous, et significativement, avec khi-deux(1, N = 16 340) = 75,13, p < 0,0001.
Être sous le niveau du hasard est un constat plus fort qu’être au hasard. Le hasard signifierait que la tâche ne porte aucune information. Être en dessous signifie que les participants appliquaient systématiquement une règle, et que la règle était inversée. Les auteurs le confirment : l’accord entre participants était faible mais significativement supérieur au hasard (kappa de Fleiss = 0,005, p < 0,001), ce qu’ils lisent comme la preuve d’heuristiques partagées mais erronées plutôt que d’une réponse purement aléatoire.
La ligne la plus révélatrice de l’article n’est pas une statistique. Les cinq poèmes que les lecteurs étaient le moins enclins à qualifier d’écrits par un humain avaient tous été écrits par de vrais poètes humains. Quatre des cinq poèmes les plus souvent qualifiés d’humains avaient été générés.
L’expertise n’a sauvé personne
L’objection évidente est qu’il s’agissait de non-spécialistes. Les auteurs ont préenregistré une prédiction sur exactement ce point, et l’ont testée.
Ils ont ajusté un modèle exploratoire prédisant si chaque réponse était correcte, à partir de la confiance autodéclarée, de la familiarité avec le poète assigné, du bagage en poésie, de la fréquence de lecture, du goût pour la poésie, du fait d’avoir suivi ou non un cours de poésie, de l’âge, du genre, du niveau d’études et du fait d’avoir déjà vu l’un des poèmes.
Le pouvoir explicatif du modèle atteignait 0,012 au R deux de McFadden. Aucune des variables d’expérience poétique n’avait d’effet positif significatif sur la justesse. Deux variables ont montré de petits effets positifs, et l’une d’elles est instructive : avoir déjà vu les poèmes augmentait les chances de répondre juste d’environ 6 % (b = 0,060356, rapport de cotes 1,062, p = 0,000309). C’est de la reconnaissance, pas du discernement. Ceux qui faisaient mieux étaient ceux qui avaient croisé le poème précis, pas ceux qui comprenaient la poésie.
Vient ensuite le constat qui donne son nom à cet article. La confiance autodéclarée avait un effet petit mais significativement négatif sur la justesse (b = -0,021673, ET = 0,003986, z = -5,437, p < 0,0001). Plus les participants étaient sûrs d’eux, légèrement plus ils avaient de chances de se tromper.
Retenez cela, car un autre laboratoire a trouvé quelque chose de voisin par un chemin totalement différent.
Un deuxième laboratoire, un autre support, le même résultat nul
Jones et Bergen ont mené deux tests de Turing à trois parties, randomisés, contrôlés et préenregistrés, publiés en préimpression. Les participants tenaient simultanément des conversations de cinq minutes avec un autre humain et avec l’un de plusieurs systèmes, puis jugeaient lequel était l’humain. Deux populations indépendantes ont été mobilisées : 126 étudiants de premier cycle en psychologie de l’UCSD et 158 participants Prolific, chacun réalisant huit manches, pour 1 023 parties analysées après exclusions.
Ici, le protocole isole ce que l’étude sur la poésie ne pouvait pas isoler : l’effet de l’emballage sur un même système sous-jacent.
Tableau 1. Taux de réussite : proportion des cas où l’interrogateur a jugé que le témoin IA était l’humain
| Système et consigne | Taux de réussite | Étude étudiants | Étude Prolific |
|---|---|---|---|
| GPT-4.5 avec consigne de persona | 73 % | 69 % | 76 % |
| LLaMa-3.1-405B avec consigne de persona | 56 % | 45 % | 65 % |
| LLaMa-3.1-405B, référence sans persona | 38 % | non détaillé | non détaillé |
| GPT-4.5, référence sans persona | 36 % | non détaillé | non détaillé |
| ELIZA | 23 % | non détaillé | non détaillé |
| GPT-4o, référence sans persona | 21 % | non détaillé | non détaillé |
Source : Jones et Bergen, Large Language Models Pass the Turing Test (préimpression arXiv), taux de réussite globaux sur les deux études. Les cellules marquées non détaillé ne sont pas ventilées par population dans le passage donnant ces chiffres ; les deux populations ne sont rapportées séparément que pour les deux conditions avec persona.
Lisez ensemble la première et la quatrième ligne. Même modèle. La consigne de persona a fait passer GPT-4.5 de 36 % à 73 %, un gain de 37 points de pourcentage, soit 2,03 fois. Pour LLaMa-3.1-405B, la même manipulation a fait passer 38 % à 56 %, un gain de 18 points, soit 1,47 fois. Rien de la capacité du modèle n’a changé entre ces cellules. Seule la consigne a changé.
Et le constat démographique atterrit exactement au même endroit que l’étude sur la poésie. Les auteurs indiquent qu’il n’y avait, dans aucune des deux études, d’effet significatif de l’âge, du niveau de connaissance des modèles de langage ou de la fréquence d’interaction avec des robots conversationnels. Leur propre résumé est net : la justesse discriminante est relativement homogène dans la population, y compris chez les personnes qui font de la recherche sur ces systèmes ou dialoguent quotidiennement avec des agents conversationnels.
Deux notes d’honnêteté, car les résultats exploratoires sont ici plus désordonnés qu’un récit propre ne le voudrait. Dans le groupe Prolific, l’estimation par les participants du degré d’intelligence qu’ils prêtent à l’IA était corrélée négativement à la justesse (p = 0,03), ce qui fait écho au constat sur la confiance. Mais dans le groupe étudiant, la justesse réelle était corrélée positivement à l’estimation que les participants faisaient de leur propre justesse (p = 0,03), et cette même relation n’est pas apparue dans le groupe Prolific (p = 0,45). Le signal d’auto-connaissance ne se réplique pas d’une population à l’autre. Qui vous dit que la recherche montre une confiance uniformément inversée exagère. Ce qui se réplique, dans les deux études et à travers les deux laboratoires, c’est le résultat nul sur l’expertise.
Un troisième laboratoire, un troisième domaine, le même résultat et le mécanisme
Si deux études étaient une coïncidence, une troisième clôt le débat. Jakesch, Hancock et Naaman, à Cornell et Stanford, ont publié six expériences dans les Proceedings of the National Academy of Sciences testant si les gens pouvaient détecter qu’une présentation de soi verbale avait été générée par machine, dans des contextes professionnels, hôteliers et de rencontre. Sur ces six expériences, 4 600 participants n’ont pas su détecter les présentations générées.
Cette étude fournit aussi ce que les deux autres ne font qu’inférer. Une analyse computationnelle des traits linguistiques a identifié les heuristiques précises utilisées, et elles sont d’une banalité inquiétante : les lecteurs associent les pronoms à la première personne, les contractions et les thèmes familiaux à une écriture humaine. Les auteurs ont ensuite fait le geste décisif. Ils ont montré expérimentalement que ces heuristiques, parce qu’elles sont prévisibles, sont manipulables, et qu’un système réglé sur elles produit un texte qui se lit, selon leur formule, plus humain qu’humain.
Voilà l’engrenage manquant. Porter et Machery ont trouvé des heuristiques partagées mais erronées sans les nommer. Jakesch et ses collègues les ont nommées et ont démontré qu’elles peuvent être ciblées. Ce qui signifie que l’écart de discernement n’est pas seulement une limite de la perception humaine. C’est une surface d’attaque.
Tableau 2. Trois études préenregistrées ou contrôlées, trois laboratoires, trois domaines, un résultat nul convergent
| Étude | Domaine | Ampleur | Résultat de détection | L’expertise ou la familiarité ont-elles aidé ? |
|---|---|---|---|---|
| Porter et Machery | Poèmes de poètes reconnus contre poèmes générés | 1 634 participants, 16 340 jugements | 46,6 % de justesse, sous le hasard | Non. Modèle d’expertise R deux de McFadden = 0,012 ; aucune variable d’expérience poétique avec effet positif significatif |
| Jones et Bergen | Conversation en direct de cinq minutes, test de Turing à trois parties | 284 participants, 1 023 parties | GPT-4.5 avec persona jugé humain 73 % du temps | Non. Aucun effet significatif de la connaissance des modèles de langage ni de l’usage de robots conversationnels dans les deux études |
| Jakesch, Hancock et Naaman | Présentations de soi verbales en contextes professionnel, hôtelier et de rencontre | 4 600 participants, six expériences | Participants incapables de détecter les présentations générées | Ce n’était pas l’objet de l’étude ; elle a identifié à la place les heuristiques erronées employées |
Cadre éditorial CEOtudent. Tous les chiffres sont tels que publiés par chaque équipe. Le total combiné de 6 518 participants sur les trois tâches de détection est une somme CEOtudent des tailles d’échantillon publiées, offerte uniquement comme indicateur d’ampleur ; les études diffèrent par leur protocole, leur population et leur mesure de résultat, et leurs résultats ne doivent pas être agrégés statistiquement.
La synthèse originale : deux couches, et laquelle déplace le verdict
Placez maintenant les études sur la poésie et sur la conversation côte à côte sur un second axe. Elles n’ont jamais été mises en tableau de cette façon, car l’une porte sur la poésie et l’autre sur la conversation, et elles ont paru dans des supports différents sous la plume de groupes sans lien. Ensemble, elles isolent quelque chose qu’aucune n’isole seule.
Les deux expériences comportent une couche de substance (quel texte, quel modèle) et une couche de présentation (ce qu’on vous en dit, quelle persona a été imposée). Toutes deux quantifient les deux séparément. On peut donc poser une question qu’aucun des articles ne pose : quelle part d’un verdict d’humanité est portée par l’emballage plutôt que par la chose ?
Tableau 3. Ce qui déplace réellement le jugement : couche de présentation contre couche de substance
| Étude | Effet de la couche de substance | Effet de la couche de présentation | Présentation en part de la substance |
|---|---|---|---|
| Porter et Machery, note de qualité des poèmes | Paternité IA réelle : +1,045 point, d de Cohen = 0,671 | Annonce que le poème est généré par IA : -0,814 point, d = -0,508 | 77,9 % selon la différence de moyennes ; 75,7 % selon d |
| Jones et Bergen, GPT-4.5 jugé humain | Non décomposable à partir de ces chiffres | Consigne de persona contre absence de persona : +37 pts, 2,03 fois | La seule consigne a plus que doublé le taux |
| Jones et Bergen, LLaMa-3.1-405B jugé humain | Non décomposable à partir de ces chiffres | Consigne de persona contre absence de persona : +18 pts, 1,47 fois | La seule consigne a relevé le taux de moitié |
Cadre éditorial CEOtudent. Tous les chiffres sous-jacents sont tels que publiés. La colonne de part de la première ligne est un calcul CEOtudent divisant l’effet absolu de l’étiquette par l’effet absolu de la paternité. Les deux lignes Jones et Bergen maintiennent le modèle constant, donc l’effet de la consigne est net ; la couche de substance ne peut être isolée des taux publiés et est signalée comme telle plutôt qu’estimée.
La première ligne contient le chiffre le plus tranchant de cet article. Sur une échelle de sept points, apprendre qu’un poème est fait par une machine lui coûte 0,814 point de note, soit environ 11,6 % de l’échelle complète. L’être réellement lui rapporte 1,045 point, soit environ 14,9 % de l’échelle, dans le sens opposé. Votre évaluation d’un texte est environ aux trois quarts aussi sensible à l’histoire qu’on vous raconte sur son auteur qu’au texte lui-même.
Un chiffre dérivé de plus, et il exige un avertissement. Si ces deux effets étaient simplement additifs, un poème d’IA honnêtement étiqueté comme tel finirait tout de même noté environ 0,231 point au-dessus d’un poème humain non étiqueté. Cette soustraction suppose l’absence d’interaction entre le cadrage et la paternité, or les auteurs ont bel et bien ajusté un terme d’interaction dont les estimations n’ont pas pu être extraites pour cet article. Traitez +0,231 comme un modèle, non comme une mesure. Ce qui compte, c’est la direction : la divulgation ne compense pas entièrement l’écart de qualité que les lecteurs eux-mêmes ont perçu.
Ce que les lecteurs récompensaient réellement
Le résultat sur la qualité se lit facilement comme « la machine écrit de meilleurs poèmes ». Ce n’est pas ce que disent les données, et l’exception relevée dans l’article le dit aussi.
Le schéma de notation supérieure du travail machine a tenu pour 13 des 14 dimensions qualitatives. L’effet le plus marqué concernait le rythme : les poèmes générés étaient notés 1,168 point au-dessus, d = 0,847. La seule exception était l’originalité. Informés qu’un poème était généré, les lecteurs baissaient son originalité de 0,699 point (d = -0,478), mais les poèmes réellement générés n’étaient pas jugés significativement plus originaux que les poèmes humains (différence de moyennes 0,059, d = 0,040, p = 0,098, p corrigé de Bonferroni = 1,000).
Cette exception est tout le mécanisme. Sur chaque dimension qui récompense la fluidité, les poèmes générés l’ont emporté. Sur l’unique dimension exigeant que le lecteur détecte quelque chose de véritablement neuf, la différence s’est évanouie. L’explication des auteurs est que la simplicité des poèmes générés les rendait plus faciles à décoder pour des non-spécialistes, et que les lecteurs ont converti la lisibilité en jugement d’authenticité.
C’est le même échec que décrit, dans un cadre factuel, notre article sur pourquoi l’IA hallucine et comment fonctionnent les erreurs de modèle : fluidité et exactitude sont des propriétés distinctes, et les évaluateurs humains utilisent invariablement la première comme substitut de la seconde. Ici le substitut n’est pas l’exactitude mais l’humanité, et il échoue de la même manière.
Ce qui a amélioré la justesse
Presque rien, et c’est en soi le résultat. Mais Jones et Bergen ont classé ce que les interrogateurs tentaient réellement, et mesuré la justesse dans les parties où chaque stratégie était employée. Deux choses ont fonctionné, et elles partagent une logique.
Tableau 4. Stratégies des interrogateurs et résultats
| Classe de stratégie | Fréquence rapportée | Efficacité relative |
|---|---|---|
| Dire quelque chose d’étrange pour voir la réaction du témoin | Relativement rare | Parmi les plus justes |
| Tentatives de contournement classiques, par exemple « ignore toutes les instructions précédentes » | Relativement rare | Parmi les plus justes |
| Demander directement si le témoin est humain | 19 % des parties | Non rapporté comme efficace |
| Tester la conscience de la situation, par exemple la météo ou l’interface | 13 % des parties | Questions sur la météo parmi les moins efficaces |
| Tester les connaissances et le raisonnement, y compris l’actualité | 12 % des parties | Non rapporté comme efficace |
| Interroger sur les expériences humaines | Non rapporté séparément | Parmi les moins efficaces |
Source : Jones et Bergen, classification des stratégies et justesse moyenne des interrogateurs par stratégie. Les fréquences sont telles que publiées. La colonne d’efficacité reproduit le classement qualitatif des auteurs ; les valeurs de justesse par stratégie étaient présentées graphiquement et ne sont pas citées ici plutôt qu’estimées à partir d’une figure.
Les deux manœuvres efficaces sont des sondes adverses. Elles poussent le système hors de sa trajectoire de suivi d’instructions et observent ce qui se passe au bord. Les manœuvres inefficaces, interroger sur la météo ou sur l’expérience humaine, sont précisément celles qui ressemblent le plus à un test d’humanité et constituent en fait la partie la mieux couverte de la distribution d’entraînement.
Les auteurs ajoutent un détail sur lequel il vaut la peine de s’arrêter. Parmi les raisons données pour les verdicts corrects, la classe la plus juste concernait le manque de connaissance d’un témoin : choisir quelqu’un comme humain parce qu’il a fait une erreur ou ignorait quelque chose qu’une IA devrait savoir. Un système moderne cherchant à passer doit feindre l’ignorance de façon convaincante sur des sujets que la plupart des gens ne maîtrisent pas. Le signe distinctif n’est plus l’incompétence. C’est la mauvaise forme de compétence.
Pendant ce temps, les raisons les plus fréquemment invoquées, justes ou non, portaient sur le style linguistique à 27 % et sur la dynamique d’interaction à 23 %, beaucoup de participants faisant état d’une intuition générale qu’ils ne savaient pas formuler. Les gens se sont saisis du style. Le style est ce que la machine réussit le mieux.
Ce que cela implique pour vos décisions
La conclusion pratique n’est ni « ne faites confiance à rien » ni « apprenez à mieux repérer l’IA ». Les données disent que la seconde est presque hors d’atteinte et que la première n’est pas une stratégie. Elles pointent vers quelque chose de plus précis.
Tableau 5. Protocole de discernement, chaque étape rattachée à la preuve qui la motive
| Étape | Que faire | Preuve qui la motive | Statut |
|---|---|---|---|
| 1. Cessez de chercher à identifier l’auteur | Abandonnez entièrement la détection de source comme filtre de qualité | 46,6 % de justesse sur 16 340 jugements ; modèle d’expertise R deux 0,012 ; aucun effet de la connaissance des modèles ou de l’usage de robots conversationnels ; 4 600 participants incapables de détecter des présentations générées | Étayé par les données |
| 2. Décotez votre assurance, pas votre jugement | Traitez une forte certitude sur la provenance comme un signal d’alerte plutôt que comme un indice | La confiance était significativement liée négativement à la justesse dans une étude ; le résultat d’auto-estimation ne s’est pas répliqué d’une population à l’autre dans l’autre | Étayé, avec réserve de réplication |
| 3. Évaluez à l’aveugle quand vous le pouvez | Retirez les signatures avant de juger un travail sur lequel vous allez agir | Effet de l’étiquette sur la note de qualité d = -0,508, environ 76 % de l’effet de paternité | Étayé par les données |
| 4. Sondez de façon adverse, n’interviewez pas | Poussez aux limites et aux incohérences plutôt que de poser des questions sincères | Consignes étranges et tentatives de contournement figuraient parmi les stratégies les plus justes ; questions sur la météo et l’expérience humaine parmi les moins efficaces | Direction étayée |
| 4b. Méfiez-vous des indices populaires | Ne comptez pas les pronoms à la première personne, les contractions et les détails personnels ou familiaux comme preuve d’écriture humaine | Ce sont exactement les heuristiques identifiées comme erronées, et démontrées prévisibles et manipulables | Étayé par les données |
| 5. Notez sur la dimension que la fluidité ne peut simuler | Demandez ce qui est réellement neuf ici, pas si cela se lit bien | Le travail machine a emporté 13 des 14 dimensions ; l’originalité était la seule exception et n’a montré aucun avantage significatif | Étayé par les données |
| 6. Jugez les décisions à leurs conséquences, pas à leur prose | Suivez ce que la recommandation prédisait et si cela s’est produit | Mesuré par aucune source citée ici | Convention CEOtudent |
Cadre éditorial CEOtudent. Les étapes 1 à 5 reformulent des résultats effectivement produits par les deux études citées. L’étape 6 est délibérément étiquetée comme convention : aucune source de cet article ne l’a mesurée, et elle est proposée comme structure raisonnable, non comme technique étayée.
L’étape 5 est celle qui change le plus les comportements quotidiens. Les deux études suggèrent que les évaluateurs effectuent un contrôle de fluidité et l’appellent contrôle de jugement. La fluidité est désormais gratuite. Il ne reste donc, comme seule dimension porteuse d’information, celle où la machine n’a montré aucun avantage mesurable : le travail contient-il quelque chose qui n’était pas déjà en circulation. Cette question est répondable, mais seulement par quelqu’un qui a lu assez du matériau environnant pour savoir ce qui s’y trouvait déjà, capacité que notre article compagnon sur la lecture profonde comme avantage concurrentiel décrit précisément comme en voie de raréfaction.
Le partage entre le PDG et l’étudiant se résout ici nettement, et pas dans le sens attendu. L’instinct du PDG est de faire confiance au jugement, parce que c’est pour son jugement qu’un dirigeant est payé. L’instinct de l’étudiant est de vérifier si ce jugement est calibré. Sur cette capacité précise, les données sont sans ambiguïté : l’instinct n’est pas calibré, et en être sûr aggrave légèrement les choses. Notre note sur le calibrage de la confiance traite de la règle de décision ; cet article traite de l’échec de perception qui court en dessous. Ce sont deux problèmes distincts. Vous pouvez avoir une bonne politique sur le moment où faire confiance à une recommandation d’IA et rester incapable de voir ce que vous avez sous les yeux.
Ce qui changerait cette conclusion
Trois choses, à surveiller plutôt qu’à écarter par hypothèse.
Le résultat sur la poésie ne s’inscrit pas dans une littérature incontestée, et les auteurs le disent eux-mêmes. Ils notent que leurs conclusions contrastent avec des travaux antérieurs où les participants parvenaient à distinguer des poètes professionnels de poèmes générés sans humain dans la boucle, et avec d’autres travaux trouvant les participants simplement au niveau du hasard plutôt qu’en dessous. Les études antérieures trouvaient en outre généralement les poèmes générés évalués plus négativement, l’inverse de ce qu’ont produit ces expériences. La lecture la plus probable est que les modèles ont progressé, et non que les chercheurs antérieurs se trompaient, mais c’est une interprétation et non un fait que les données établissent.
Les deux études recourent à des échantillons de population générale accomplissant une tâche inhabituelle dans des conditions artificielles. Aucune n’a testé si un expert évaluant un travail dans son propre domaine, avec du temps et des enjeux réels, se comporterait différemment. Porter et Machery ont testé l’expérience poétique auprès de lecteurs de poésie, ce qui s’en rapproche, mais un bagage poétique autodéclaré n’équivaut pas à une expertise professionnelle. Le résultat nul sur l’expertise est réel et répliqué, mais c’est un résultat nul sur l’expertise que ces études ont mesurée.
Le résultat de Jones et Bergen est une préimpression au moment de la rédaction, et les deux populations divergeaient nettement sur plusieurs mesures exploratoires. La condition persona de LLaMa, par exemple, atteignait 45 % chez les étudiants et 65 % chez les participants Prolific, un écart de 20 points sur la même condition. Les effets de population ne sont pas négligeables ici.
Rien de cela ne change ce qu’il faut faire ce trimestre. Cessez d’utiliser la paternité comme substitut de la qualité, puisque la paternité est irrécupérable. Retirez les étiquettes avant de juger. Demandez ce qui est neuf plutôt que si cela se lit bien.
FAQ
Les gens sont-ils vraiment moins bons que le hasard pour repérer un texte d’IA ?
Dans cette étude oui, et significativement : 46,6 % de justesse sur 16 340 jugements là où deviner donnerait 50 %, khi-deux(1) = 75,13, p < 0,0001. Les auteurs interprètent la performance sous le hasard, jointe à un accord entre participants supérieur au hasard, comme la preuve d’une heuristique partagée mais inversée, et non de réponses aléatoires.
Connaître beaucoup l’IA aide-t-il ?
Au vu des données disponibles, non. Jones et Bergen n’ont trouvé aucun effet significatif du niveau de connaissance des modèles de langage ni de la fréquence d’interaction avec des robots conversationnels dans aucune de leurs deux études, et notent que la justesse était homogène jusque chez les personnes qui font de la recherche sur ces systèmes. Porter et Machery n’ont trouvé aucune variable d’expérience poétique avec un effet positif significatif.
Sur quels indices les gens s’appuient-ils à tort ?
Les pronoms à la première personne, les contractions et les thèmes familiaux ou personnels. Une analyse computationnelle sur six expériences les a identifiés comme les heuristiques par lesquelles les lecteurs infèrent une écriture humaine, et les auteurs ont ensuite montré expérimentalement que, parce qu’elles sont prévisibles, elles peuvent être ciblées, produisant un texte jugé plus humain qu’humain. Si vous vous surprenez à trouver un passage humain parce qu’il dit « je » et emploie des contractions, c’est exactement le mode de défaillance documenté.
La confiance est-elle donc toujours inversement liée à la justesse ?
Non, et la réponse honnête est plus désordonnée. Porter et Machery ont trouvé un effet négatif significatif de la confiance (b = -0,021673, p < 0,0001). Jones et Bergen ont trouvé la justesse auto-estimée corrélée positivement à la justesse réelle chez les étudiants (p = 0,03) mais pas chez les participants Prolific (p = 0,45). La confiance n’est un signal fiable dans aucun sens, et c’est là la conclusion utilisable.
Cela veut-il dire que l’IA écrit mieux que les humains ?
Non. Cela veut dire que les lecteurs l’ont mieux notée sur les dimensions qui récompensent la fluidité, 13 sur 14, le rythme étant la plus marquée à d = 0,847. Sur l’originalité, l’unique dimension exigeant du lecteur qu’il détecte du neuf, les poèmes réellement écrits par IA n’ont montré aucun avantage significatif (d = 0,040, p = 0,098). C’est un constat sur ce que les lecteurs récompensent, non sur la valeur littéraire.
Faut-il étiqueter un travail assisté par IA ?
C’est une question d’éthique que ces données ne peuvent trancher, mais elles peuvent vous en donner le coût. Étiqueter un travail comme généré par IA a réduit les notes de qualité de 0,814 point sur une échelle de sept, d = -0,508. Les lecteurs pénalisent l’étiquette indépendamment du travail. Qui décide d’une divulgation devrait l’intégrer plutôt que d’en être surpris.
Quel est le changement le plus utile ?
Évaluer à l’aveugle. L’effet de l’étiquette vaut environ les trois quarts de l’effet réel de qualité, et c’est la seule variable entièrement sous votre contrôle. Retirer les signatures avant de juger un travail sur lequel vous comptez agir ne coûte rien et supprime un biais de taille mesurée.
Sources
Porter et Machery. AI-generated poetry is indistinguishable from human-written poetry and is rated more favorably. Scientific Reports.
Jones et Bergen. Large Language Models Pass the Turing Test. Préimpression arXiv, Computation and Language.
Jakesch, Hancock et Naaman. Human heuristics for AI-generated language are flawed. Proceedings of the National Academy of Sciences, 2023.
Kobis et Mossink, paradigmes avec et sans humain dans la boucle pour l’évaluation de la poésie générée par machine, tels que caractérisés dans Porter et Machery.
Note de portée : le total combiné de 6 518 participants sur les trois études de détection est une somme CEOtudent de tailles d’échantillon publiées, utilisée uniquement pour indiquer l’ampleur. Les trois études diffèrent par leur protocole, leur population et leur mesure de résultat, et ne sont agrégées statistiquement nulle part dans cet article.
Ce contenu a été compilé avec le soutien de l’IA à la suite d’une recherche approfondie, puis rédigé et préparé pour publication par l’équipe éditoriale de CEOtudent.
This post is also available in:
