Kurzfassung. Über 16.340 Einzelurteile hinweg erkannten Laienleser KI-erzeugte Gedichte mit einer Trefferquote von 46,6%, also unter den 50%, die reines Raten liefert. Über 1.023 aufgezeichnete Gespräche hinweg wurde ein mit Persona-Prompt versehenes Modell in 73% der Fälle für den Menschen gehalten, häufiger als die echten Menschen, mit denen es verglichen wurde. In beiden Studien half Fachwissen nicht: Lyrikerfahrung ergab ein Modell mit einem McFadden-R-Quadrat von 0,012, und Wissen über Sprachmodelle sowie tägliche Chatbot-Nutzung hatten keinen signifikanten Effekt auf die Trefferquote. In einer Studie hing Selbstsicherheit signifikant negativ damit zusammen, richtig zu liegen. Und dieselben Experimente zeigen, warum: Erfuhren die Lesenden, ein Gedicht sei KI-erzeugt, senkten sie dessen Qualitätsbewertung um 0,814 Punkte auf einer Sieben-Punkte-Skala, während tatsächlich KI-erzeugte Gedichte 1,045 Punkte höher bewertet wurden als Gedichte berühmter menschlicher Dichter. Das Etikett bewegt das Urteil etwa zu 76% so stark wie der Text. Diese Lücke zwischen dem, was Sie zu beurteilen glauben, und dem, was Sie beurteilen können, ist das, was gemanagt werden muss.
Es ist keine Kompetenzlücke
Die bequeme Version dieser Geschichte lautet, Unterscheidungsvermögen sei eine Fähigkeit, derzeit unterentwickelt, die sich durch Übung beheben lasse. Drei Studien aus drei unabhängigen Laboren sagen das Gegenteil, und sie sagen es von entgegengesetzten Enden des Problemraums.
Die erste, von Porter und Machery in Scientific Reports, prüfte, ob Laienleser KI-erzeugte Gedichte von Gedichten bekannter menschlicher Dichter unterscheiden können. Das Design gab den Menschen bewusst jeden Vorteil. Es nutzte ein Paradigma ohne Menschen in der Schleife: Verwendet wurden die ersten fünf vom Modell erzeugten Gedichte, ohne Auswahl der besten und ohne Rückmeldung über die Anweisung hinaus, ein kurzes Gedicht im Stil eines genannten Dichters zu schreiben. Im ersten Experiment sahen 1.634 Teilnehmende jeweils zehn Gedichte, die einem von zehn Dichtern zugeschrieben wurden, fünf echte und fünf erzeugte, und beurteilten jedes einzeln.
Das Ergebnis über 16.340 Einzelurteile: 46,6% Trefferquote. Nicht nahe am Zufall. Darunter, und zwar signifikant, mit Chi-Quadrat(1, N = 16.340) = 75,13, p < 0,0001.
Unter dem Zufallsniveau zu liegen ist ein stärkerer Befund als Zufall. Zufall hieße, die Aufgabe trage keine Information. Unter dem Zufallsniveau heißt, die Teilnehmenden wandten systematisch eine Regel an, und die Regel war invertiert. Die Autoren bestätigen das: Die Übereinstimmung zwischen den Teilnehmenden war gering, aber signifikant über dem Zufallsniveau (Fleiss’ Kappa = 0,005, p < 0,001), was sie als Beleg für geteilte, aber falsche Heuristiken lesen, nicht für reines Raten.
Die aufschlussreichste Zeile der Arbeit ist keine Statistik. Die fünf Gedichte, die Lesende am seltensten für menschlich geschrieben hielten, stammten allesamt von echten menschlichen Dichtern. Vier der fünf Gedichte, die am häufigsten für menschlich gehalten wurden, waren erzeugt.
Fachwissen rettete niemanden
Der naheliegende Einwand lautet, dies seien Laien gewesen. Die Autoren registrierten genau dazu eine Vorhersage vor und prüften sie.
Sie schätzten ein exploratives Modell, das vorhersagte, ob eine Antwort richtig war, mit selbstberichteter Sicherheit, Vertrautheit mit dem zugewiesenen Dichter, Lyrikhintergrund, Lesehäufigkeit, Vorliebe für Lyrik, ob je ein Lyrikkurs belegt wurde, Alter, Geschlecht, Bildungsniveau und ob eines der Gedichte zuvor gesehen worden war.
Die Erklärungskraft des Modells lag bei 0,012 nach McFaddens R-Quadrat. Keine der Lyrikerfahrungsvariablen hatte einen signifikanten positiven Effekt auf die Trefferquote. Zwei Variablen zeigten kleine positive Effekte, und eine davon ist aufschlussreich: Das Gedicht zuvor gesehen zu haben erhöhte die Chance auf eine richtige Antwort um etwa 6% (b = 0,060356, Odds Ratio 1,062, p = 0,000309). Das ist Wiedererkennung, nicht Unterscheidungsvermögen. Besser abschnitten diejenigen, die dem konkreten Gedicht bereits begegnet waren, nicht diejenigen, die Lyrik verstanden.
Dann der Befund, der diesem Beitrag seinen Namen gibt. Selbstberichtete Sicherheit hatte einen kleinen, aber signifikant negativen Effekt auf die Trefferquote (b = -0,021673, SE = 0,003986, z = -5,437, p < 0,0001). Je sicherer sich die Teilnehmenden waren, desto etwas wahrscheinlicher lagen sie falsch.
Halten Sie das fest, denn ein anderes Labor fand auf völlig anderem Weg etwas Verwandtes.
Ein zweites Labor, ein anderes Medium, dasselbe Nullergebnis
Jones und Bergen führten zwei randomisierte, kontrollierte und vorregistrierte Drei-Parteien-Turing-Tests durch, veröffentlicht als Preprint. Die Teilnehmenden führten gleichzeitig fünfminütige Gespräche mit einem anderen Menschen und mit einem von mehreren Systemen und beurteilten dann, welches der Mensch war. Zwei unabhängige Populationen kamen zum Einsatz: 126 Psychologiestudierende der UCSD und 158 Prolific-Teilnehmende, jeweils mit acht Runden, wobei nach Ausschlüssen 1.023 Partien ausgewertet wurden.
Hier isoliert das Design etwas, das die Lyrikstudie nicht konnte: die Wirkung der Verpackung auf dasselbe zugrundeliegende System.
Tabelle 1. Erfolgsquoten: Anteil der Fälle, in denen die Befragenden das KI-Gegenüber für den Menschen hielten
| System und Prompt | Erfolgsquote | Studierendenstudie | Prolific-Studie |
|---|---|---|---|
| GPT-4.5 mit Persona-Prompt | 73% | 69% | 76% |
| LLaMa-3.1-405B mit Persona-Prompt | 56% | 45% | 65% |
| LLaMa-3.1-405B, Basislinie ohne Persona | 38% | nicht separat berichtet | nicht separat berichtet |
| GPT-4.5, Basislinie ohne Persona | 36% | nicht separat berichtet | nicht separat berichtet |
| ELIZA | 23% | nicht separat berichtet | nicht separat berichtet |
| GPT-4o, Basislinie ohne Persona | 21% | nicht separat berichtet | nicht separat berichtet |
Quelle: Jones und Bergen, Large Language Models Pass the Turing Test (arXiv-Preprint), Gesamterfolgsquoten über beide Studien. Als nicht separat berichtet markierte Zellen wurden in der Passage mit diesen Zahlen nicht nach Population aufgeschlüsselt; die beiden Populationen werden nur für die zwei Persona-Bedingungen getrennt ausgewiesen.
Lesen Sie die erste und die vierte Zeile zusammen. Dasselbe Modell. Der Persona-Prompt hob GPT-4.5 von 36% auf 73%, ein Zuwachs von 37 Prozentpunkten oder das 2,03-Fache. Bei LLaMa-3.1-405B hob dieselbe Manipulation 38% auf 56%, ein Zuwachs von 18 Punkten oder das 1,47-Fache. An der Leistungsfähigkeit des Modells änderte sich zwischen diesen Zellen nichts. Nur die Anweisung war anders.
Und der demografische Befund landet exakt dort, wo auch die Lyrikstudie landete. Die Autoren halten fest, dass es in keiner der beiden Studien signifikante Effekte von Alter, Wissen über Sprachmodelle oder Häufigkeit der Chatbot-Nutzung gab. Ihr eigenes Fazit ist unverblümt: Die Unterscheidungsgenauigkeit ist über die Bevölkerung hinweg relativ homogen, auch bei Menschen, die mit diesen Systemen forschen oder täglich mit Chatbots interagieren.
Zwei Ehrlichkeitshinweise, denn die explorativen Befunde sind unordentlicher, als eine saubere Geschichte es hätte. In der Prolific-Gruppe korrelierte die Einschätzung der Teilnehmenden, für wie intelligent sie KI halten, negativ mit der Trefferquote (p = 0,03), was zum obigen Sicherheitsbefund passt. In der Studierendengruppe korrelierte die tatsächliche Trefferquote jedoch positiv mit der Selbsteinschätzung der eigenen Genauigkeit (p = 0,03), und genau dieser Zusammenhang blieb in der Prolific-Gruppe aus (p = 0,45). Das Selbstwissenssignal repliziert nicht über Populationen hinweg. Wer behauptet, die Forschung zeige, Selbstsicherheit sei durchgängig invertiert, überzieht. Was in beiden Studien und über beide Labore hinweg repliziert, ist das Nullergebnis zum Fachwissen.
Ein drittes Labor, eine dritte Domäne, dasselbe Ergebnis und der Mechanismus
Wären zwei Studien Zufall, schließt eine dritte die Sache. Jakesch, Hancock und Naaman, tätig an der Cornell University und in Stanford, veröffentlichten in den Proceedings of the National Academy of Sciences sechs Experimente, die prüften, ob Menschen erkennen, wann sprachliche Selbstdarstellungen maschinell erzeugt wurden, in beruflichen, gastgewerblichen und Dating-Kontexten. Über diese sechs Experimente hinweg konnten 4.600 Teilnehmende die erzeugten Selbstdarstellungen nicht erkennen.
Diese Studie liefert außerdem, was die anderen beiden nur erschließen. Eine computergestützte Analyse sprachlicher Merkmale identifizierte die konkret verwendeten Heuristiken, und sie sind beunruhigend banal: Lesende verbinden Personalpronomen der ersten Person, Verkürzungen und Familienthemen mit menschlicher Autorschaft. Dann taten die Autoren das Entscheidende. Sie zeigten experimentell, dass diese Heuristiken, weil sie vorhersagbar sind, auch manipulierbar sind und ein darauf abgestimmtes System Texte hervorbringt, die sich, in ihren Worten, menschlicher als menschlich lesen.
Das ist das fehlende Zahnrad. Porter und Machery fanden geteilte, aber falsche Heuristiken, ohne sie zu benennen. Jakesch und Kollegen benannten sie und zeigten, dass sie gezielt angesteuert werden können. Damit ist die Unterscheidungslücke nicht bloß eine Grenze menschlicher Wahrnehmung. Sie ist eine Angriffsfläche.
Tabelle 2. Drei vorregistrierte oder kontrollierte Studien, drei Labore, drei Domänen, ein konvergentes Nullergebnis
| Studie | Domäne | Umfang | Erkennungsergebnis | Half Fachwissen oder Vertrautheit? |
|---|---|---|---|---|
| Porter und Machery | Gedichte bekannter Dichter gegen erzeugte Gedichte | 1.634 Teilnehmende, 16.340 Urteile | 46,6% Trefferquote, unter dem Zufallsniveau | Nein. Fachwissensmodell McFadden-R-Quadrat = 0,012; keine Lyrikerfahrungsvariable mit signifikant positivem Effekt |
| Jones und Bergen | Fünfminütiges Live-Gespräch, Drei-Parteien-Turing-Test | 284 Teilnehmende, 1.023 Partien | Persona-geprompteter GPT-4.5 in 73% der Fälle für den Menschen gehalten | Nein. Kein signifikanter Effekt von Wissen über Sprachmodelle oder Chatbot-Nutzung in beiden Studien |
| Jakesch, Hancock und Naaman | Sprachliche Selbstdarstellungen in beruflichen, gastgewerblichen und Dating-Kontexten | 4.600 Teilnehmende, sechs Experimente | Teilnehmende konnten erzeugte Selbstdarstellungen nicht erkennen | Nicht Fokus der Studie; stattdessen wurden die konkreten fehlerhaften Heuristiken identifiziert |
Redaktioneller Analyserahmen von CEOtudent. Alle Zahlen sind wie von der jeweiligen Gruppe veröffentlicht. Die Gesamtzahl von 6.518 Teilnehmenden über die drei Erkennungsaufgaben ist eine Summe von CEOtudent aus den veröffentlichten Stichprobengrößen und dient nur als Größenordnungsangabe; die Studien unterscheiden sich in Design, Population und Ergebnismaß, und ihre Ergebnisse dürfen nicht statistisch zusammengefasst werden.
Die originäre Zusammenführung: zwei Ebenen, und welche das Urteil bewegt
Legen Sie nun die Lyrik- und die Gesprächsstudie auf einer zweiten Achse nebeneinander. So wurden sie nie tabelliert, denn die eine handelt von Gedichten, die andere von Gesprächen, und sie erschienen in verschiedenen Publikationsorganen durch unverbundene Gruppen. Zusammen isolieren sie etwas, das keine von beiden allein isoliert.
Beide Experimente enthalten eine Substanzebene (welcher Text, welches Modell) und eine Präsentationsebene (was man Ihnen sagt, welche Persona vorgegeben wurde). Beide quantifizieren die zwei getrennt. So lässt sich eine Frage stellen, die keine der Arbeiten stellt: Wie viel eines Menschlichkeitsurteils trägt die Verpackung statt der Sache?
Tabelle 3. Was das Urteil tatsächlich bewegt: Präsentationsebene gegen Substanzebene
| Studie | Effekt der Substanzebene | Effekt der Präsentationsebene | Präsentation als Anteil der Substanz |
|---|---|---|---|
| Porter und Machery, Qualitätsbewertung von Gedichten | Tatsächliche KI-Autorschaft: +1,045 Punkte, Cohens d = 0,671 | Aussage, das Gedicht sei KI-erzeugt: -0,814 Punkte, d = -0,508 | 77,9% nach Mittelwertdifferenz; 75,7% nach d |
| Jones und Bergen, GPT-4.5 für Menschen gehalten | Aus diesen Zahlen nicht zerlegbar | Persona-Prompt gegen kein Persona-Prompt: +37 Pp., 2,03-fach | Der Prompt allein mehr als verdoppelte die Quote |
| Jones und Bergen, LLaMa-3.1-405B für Menschen gehalten | Aus diesen Zahlen nicht zerlegbar | Persona-Prompt gegen kein Persona-Prompt: +18 Pp., 1,47-fach | Der Prompt allein hob die Quote um die Hälfte |
Redaktioneller Analyserahmen von CEOtudent. Alle zugrundeliegenden Zahlen sind wie veröffentlicht. Die Anteilsspalte der ersten Zeile ist eine Berechnung von CEOtudent, die den absoluten Etiketteffekt durch den absoluten Autorschaftseffekt teilt. Die beiden Zeilen zu Jones und Bergen halten das Modell konstant, der Prompt-Effekt ist also sauber; die Substanzebene lässt sich aus den berichteten Erfolgsquoten nicht herauslösen und wird entsprechend markiert statt geschätzt.
Die erste Zeile enthält die schärfste Zahl dieses Beitrags. Auf einer Sieben-Punkte-Skala kostet die Auskunft, ein Gedicht sei maschinell gemacht, 0,814 Bewertungspunkte, etwa 11,6% der vollen Skala. Tatsächlich maschinell gemacht zu sein bringt 1,045 Punkte ein, etwa 14,9% der Skala, in die entgegengesetzte Richtung. Ihre Bewertung eines Textes reagiert etwa zu drei Vierteln so stark auf die Geschichte, die man Ihnen über die Urheberschaft erzählt, wie auf den Text.
Noch eine abgeleitete Zahl, und sie braucht einen Warnhinweis. Wären die beiden Effekte schlicht additiv, läge ein ehrlich als KI gekennzeichnetes KI-Gedicht immer noch etwa 0,231 Punkte über einem ungekennzeichneten menschlichen Gedicht. Diese Subtraktion unterstellt keine Wechselwirkung zwischen Rahmung und Autorschaft, und die Autoren schätzten sehr wohl einen Interaktionsterm, dessen Werte für diesen Beitrag nicht zu entnehmen waren. Behandeln Sie +0,231 als Modell, nicht als Messung. Entscheidend ist die Richtung: Offenlegung gleicht die Qualitätslücke, die die Lesenden selbst wahrnahmen, nicht vollständig aus.
Wofür die Lesenden tatsächlich belohnten
Das Qualitätsergebnis lässt sich leicht als “die Maschine schreibt bessere Gedichte” missverstehen. Das sagen die Daten nicht, und die Ausnahme in der Arbeit selbst sagt es auch.
Das Muster, maschinelle Arbeit höher zu bewerten, hielt für 13 der 14 qualitativen Dimensionen. Der größte Effekt betraf den Rhythmus: KI-erzeugte Gedichte wurden 1,168 Punkte höher bewertet, d = 0,847. Die einzige Ausnahme war Originalität. Erfuhren die Lesenden, ein Gedicht sei KI-erzeugt, senkten sie dessen Originalität um 0,699 Punkte (d = -0,478), doch tatsächlich KI-erzeugte Gedichte wurden nicht signifikant origineller bewertet als menschliche (Mittelwertdifferenz 0,059, d = 0,040, p = 0,098, Bonferroni-korrigiertes p = 1,000).
Diese Ausnahme ist der ganze Mechanismus. In jeder Dimension, die Glätte belohnt, gewannen die erzeugten Gedichte. In der einen Dimension, die verlangt, dass die Lesenden etwas wirklich Neues erkennen, verschwand der Unterschied. Die Erklärung der Autoren lautet, die Schlichtheit der erzeugten Gedichte habe sie für Laien leichter erschließbar gemacht, und die Lesenden hätten Lesbarkeit in ein Urteil über Authentizität übersetzt.
Das ist dasselbe Versagen, das unser Beitrag über warum KI halluziniert und wie Modellfehler funktionieren im faktischen Bereich beschreibt: Flüssigkeit und Korrektheit sind getrennte Eigenschaften, und menschliche Bewertende verwenden zuverlässig die erste als Ersatzmaß für die zweite. Hier ist das Ersatzmaß nicht Korrektheit, sondern Menschlichkeit, und es versagt auf dieselbe Weise.
Was die Trefferquote verbesserte
Fast nichts, und das ist selbst der Befund. Aber Jones und Bergen klassifizierten, was die Befragenden tatsächlich versuchten, und maßen die Trefferquote in den Partien, in denen die jeweilige Strategie eingesetzt wurde. Zwei Dinge funktionierten, und sie folgen derselben Logik.
Tabelle 4. Strategien der Befragenden und was dabei herauskam
| Strategieklasse | Berichtete Häufigkeit | Relative Wirksamkeit |
|---|---|---|
| Etwas Seltsames sagen, um die Reaktion zu sehen | Relativ selten | Unter den treffsichersten |
| Typische Jailbreak-Versuche, etwa “ignoriere alle vorherigen Anweisungen” | Relativ selten | Unter den treffsichersten |
| Direkt fragen, ob das Gegenüber ein Mensch ist | 19% der Partien | Nicht als wirksam berichtet |
| Situationsbewusstsein prüfen, etwa Wetter oder Oberfläche | 13% der Partien | Wetterfragen unter den am wenigsten wirksamen |
| Wissen und Schlussfolgern prüfen, auch zu aktuellen Ereignissen | 12% der Partien | Nicht als wirksam berichtet |
| Nach menschlichen Erfahrungen fragen | Nicht separat berichtet | Unter den am wenigsten wirksamen |
Quelle: Jones und Bergen, Strategieklassifikation und mittlere Trefferquote nach Strategie. Häufigkeitsangaben wie veröffentlicht. Die Wirksamkeitsspalte gibt die qualitative Rangfolge der Autoren wieder; Genauigkeitswerte je Strategie wurden grafisch dargestellt und werden hier nicht aus einer Abbildung geschätzt.
Die zwei wirksamen Züge sind adversarielle Sonden. Sie drängen das System von seinem Pfad der Anweisungsbefolgung und schauen, was am Rand passiert. Die unwirksamen Züge, Fragen nach dem Wetter oder nach menschlicher Erfahrung, sind genau jene, die sich am ehesten wie ein Menschlichkeitstest anfühlen und tatsächlich den bestabgedeckten Teil der Trainingsverteilung darstellen.
Die Autoren ergänzen ein bedenkenswertes Detail. Unter den Begründungen für richtige Urteile war die treffsicherste Klasse jene, die auf fehlendes Wissen abhob: jemanden als Menschen zu wählen, weil er einen Fehler machte oder etwas nicht wusste, das eine KI wissen müsste. Ein modernes System, das bestehen will, muss überzeugend Unwissen vortäuschen, und zwar über Dinge, in denen die meisten Menschen nicht bewandert sind. Das verräterische Zeichen ist nicht mehr Unfähigkeit. Es ist Fähigkeit in der falschen Form.
Die häufigsten Begründungen überhaupt, ob richtig oder falsch, betrafen dagegen den sprachlichen Stil mit 27% und die Interaktionsdynamik mit 23%, wobei viele Teilnehmende von einem allgemeinen Bauchgefühl berichteten, das sie nicht artikulieren konnten. Menschen griffen zum Stil. Stil ist genau das, worin die Maschine am besten ist.
Was das für Ihre Entscheidungen bedeutet
Die praktische Konsequenz ist nicht “trauen Sie nichts”, und sie ist auch nicht “werden Sie besser darin, KI zu erkennen”. Die Daten sagen, dass Letzteres kaum verfügbar ist und Ersteres keine Strategie darstellt. Sie weisen an eine konkretere Stelle.
Tabelle 5. Unterscheidungsprotokoll, jeder Schritt der ihn begründenden Evidenz zugeordnet
| Schritt | Was zu tun ist | Begründende Evidenz | Status |
|---|---|---|---|
| 1. Hören Sie auf, die Urheberschaft bestimmen zu wollen | Streichen Sie Quellenerkennung als Qualitätsfilter vollständig | 46,6% Trefferquote über 16.340 Urteile; Fachwissensmodell R-Quadrat 0,012; kein Effekt von Sprachmodellwissen oder Chatbot-Nutzung; 4.600 Teilnehmende erkannten erzeugte Selbstdarstellungen nicht | Evidenzgestützt |
| 2. Diskontieren Sie Ihre Sicherheit, nicht Ihr Urteil | Behandeln Sie hohe Gewissheit über die Herkunft als Warnzeichen statt als Signal | Sicherheit hing in einer Studie signifikant negativ mit der Trefferquote zusammen; der Selbsteinschätzungsbefund replizierte in der anderen nicht über Populationen | Evidenzgestützt, mit Replikationsvorbehalt |
| 3. Bewerten Sie blind, wo möglich | Entfernen Sie Verfasserangaben, bevor Sie Arbeit beurteilen, auf die Sie hin handeln | Etiketteffekt auf die Qualitätsbewertung d = -0,508, rund 76% des Autorschaftseffekts | Evidenzgestützt |
| 4. Sondieren Sie adversariell, führen Sie kein Interview | Drängen Sie an Ränder und Widersprüche, statt aufrichtige Fragen zu stellen | Seltsame Eingaben und Jailbreak-Versuche zählten zu den treffsichersten Strategien; Wetter- und Erfahrungsfragen zu den schwächsten | Evidenzgestützte Richtung |
| 4b. Misstrauen Sie den volkstümlichen Anzeichen | Werten Sie Ich-Pronomen, Verkürzungen sowie persönliche oder familiäre Details nicht als Beleg menschlicher Autorschaft | Genau diese Heuristiken wurden als fehlerhaft identifiziert und als vorhersagbar sowie manipulierbar nachgewiesen | Evidenzgestützt |
| 5. Benoten Sie auf der Dimension, die Flüssigkeit nicht vortäuschen kann | Fragen Sie, was hier wirklich neu ist, nicht, ob es sich gut liest | Maschinelle Arbeit gewann 13 von 14 Dimensionen; Originalität war die einzige Ausnahme und zeigte keinen signifikanten Vorsprung | Evidenzgestützt |
| 6. Beurteilen Sie Entscheidungen an ihren Folgen, nicht an ihrer Prosa | Verfolgen Sie, was die Empfehlung vorhersagte und ob es eintrat | Von keiner hier zitierten Quelle gemessen | CEOtudent-Konvention |
Redaktioneller Analyserahmen von CEOtudent. Die Schritte 1 bis 5 geben Befunde wieder, die die beiden zitierten Studien tatsächlich hervorgebracht haben. Schritt 6 ist bewusst als Konvention gekennzeichnet: Keine Quelle dieses Beitrags hat ihn gemessen, und er wird als vernünftige Struktur angeboten, nicht als evidenzgestützte Technik.
Schritt 5 verändert das Alltagsverhalten am stärksten. Beide Studien legen nahe, dass Bewertende eine Flüssigkeitsprüfung durchführen und sie für eine Urteilsprüfung halten. Flüssigkeit ist inzwischen kostenlos. Also bleibt als einzige informationstragende Dimension jene, in der die Maschine keinen messbaren Vorsprung zeigte: ob die Arbeit etwas enthält, das nicht ohnehin schon im Umlauf war. Diese Frage ist beantwortbar, aber nur von jemandem, der genug vom umgebenden Material gelesen hat, um zu wissen, was bereits da war, und genau diese Fähigkeit wird nach unserem Begleitbeitrag über tiefes Lesen als Wettbewerbsvorteil zunehmend knapp.
Die Trennung von CEO und Studierendem löst sich hier sauber auf, und nicht in der erwarteten Richtung. Der CEO-Instinkt ist, dem Urteil zu vertrauen, denn für Urteilsvermögen wird eine Führungskraft bezahlt. Der Studierenden-Instinkt ist zu prüfen, ob das Urteil kalibriert ist. Bei dieser konkreten Fähigkeit sind die Daten eindeutig, dass der Instinkt unkalibriert ist und dass Sicherheit darüber die Sache leicht verschlimmert. Unsere Notiz zur Vertrauenskalibrierung behandelt die Entscheidungsregel; dieser Beitrag behandelt das Wahrnehmungsversagen darunter. Das sind verschiedene Probleme. Sie können eine gute Regel dafür haben, wann Sie einer KI-Empfehlung trauen, und trotzdem nicht erkennen, was Sie vor sich haben.
Was diese Schlussfolgerung ändern würde
Drei Dinge, eher zu beobachten als wegzuannehmen.
Der Lyrikbefund steht nicht in einer unstrittigen Literatur, und die Autoren sagen das selbst. Sie halten fest, dass ihre Ergebnisse früheren Arbeiten widersprechen, in denen Teilnehmende professionelle Dichter sehr wohl von erzeugten Gedichten ohne Menschen in der Schleife unterscheiden konnten, sowie weiteren Arbeiten, die Teilnehmende lediglich auf Zufallsniveau statt darunter fanden. Frühere Studien fanden zudem meist, dass erzeugte Gedichte negativer bewertet wurden, das Gegenteil dessen, was diese Experimente ergaben. Die wahrscheinlichste Lesart ist, dass sich die Modelle bewegt haben und nicht, dass die früheren Forschenden falsch lagen, aber das ist eine Deutung und nichts, was die Daten belegen.
Beide Studien nutzen Stichproben aus der Allgemeinbevölkerung, die eine ungewohnte Aufgabe unter künstlichen Bedingungen bearbeiten. Keine prüfte, ob Fachleute, die Arbeit in ihrer eigenen Domäne mit Zeit und unter echtem Einsatz bewerten, anders abschneiden. Porter und Machery prüften Lyrikerfahrung unter Lyriklesenden, was näher liegt, aber ein selbstberichteter Lyrikhintergrund ist nicht dasselbe wie professionelle Expertise. Das Nullergebnis zum Fachwissen ist real und repliziert, aber es ist ein Nullergebnis zu jener Expertise, die diese Studien gemessen haben.
Das Ergebnis von Jones und Bergen ist zum Zeitpunkt der Abfassung ein Preprint, und die beiden Populationen wichen bei mehreren explorativen Maßen deutlich voneinander ab. Die LLaMa-Persona-Bedingung etwa lag bei Studierenden bei 45% und bei Prolific-Teilnehmenden bei 65%, eine Spanne von 20 Punkten in derselben Bedingung. Populationseffekte sind hier nicht klein.
Nichts davon ändert, was in diesem Quartal zu tun ist. Hören Sie auf, Urheberschaft als Ersatzmaß für Qualität zu verwenden, denn Urheberschaft lässt sich nicht rekonstruieren. Entfernen Sie Etiketten, bevor Sie urteilen. Fragen Sie, was neu ist, statt ob es sich gut liest.
Häufige Fragen
Sind Menschen wirklich schlechter als der Zufall darin, KI-Texte zu erkennen?
In dieser Studie ja, und zwar signifikant: 46,6% Trefferquote über 16.340 Urteile, wo Raten 50% ergäbe, Chi-Quadrat(1) = 75,13, p < 0,0001. Die Autoren deuten die unterdurchschnittliche Leistung zusammen mit der überzufälligen Übereinstimmung zwischen Teilnehmenden als Beleg für eine geteilte, aber invertierte Heuristik und nicht für zufälliges Antworten.
Hilft es, viel über KI zu wissen?
Nach der vorliegenden Evidenz nein. Jones und Bergen fanden in keiner ihrer beiden Studien einen signifikanten Effekt von Wissen über Sprachmodelle oder Häufigkeit der Chatbot-Nutzung und halten fest, dass die Trefferquote selbst unter Forschenden zu diesen Systemen homogen war. Porter und Machery fanden keine Lyrikerfahrungsvariable mit signifikant positivem Effekt.
Auf welche Anzeichen verlassen sich Menschen fälschlich?
Auf Ich-Pronomen, Verkürzungen und familiäre oder persönliche Themen. Eine computergestützte Analyse über sechs Experimente identifizierte diese als die Heuristiken, mit denen Lesende auf menschliche Autorschaft schließen, und die Autoren zeigten anschließend experimentell, dass sie, weil vorhersagbar, gezielt angesteuert werden können, mit Texten, die menschlicher als menschlich bewertet werden. Wenn Sie bemerken, dass Ihnen eine Passage menschlich vorkommt, weil sie “ich” sagt und Verkürzungen nutzt, ist das genau der dokumentierte Fehlermodus.
Ist Selbstsicherheit also immer umgekehrt mit Genauigkeit verknüpft?
Nein, und die ehrliche Antwort ist unordentlicher. Porter und Machery fanden einen signifikant negativen Effekt der Sicherheit (b = -0,021673, p < 0,0001). Jones und Bergen fanden die Selbsteinschätzung der eigenen Genauigkeit bei Studierenden positiv mit der tatsächlichen Genauigkeit korreliert (p = 0,03), bei Prolific-Teilnehmenden aber nicht (p = 0,45). Selbstsicherheit ist in keiner Richtung ein verlässliches Signal, und genau das ist die brauchbare Schlussfolgerung.
Heißt das, KI schreibt besser als Menschen?
Nein. Es heißt, Lesende bewerteten sie höher auf jenen Dimensionen, die Glätte belohnen, 13 von 14, mit Rhythmus als größtem Effekt bei d = 0,847. Bei Originalität, der einen Dimension, die das Erkennen von Neuem verlangt, zeigten tatsächlich KI-verfasste Gedichte keinen signifikanten Vorsprung (d = 0,040, p = 0,098). Das ist ein Befund darüber, wofür Lesende belohnen, nicht über literarische Qualität.
Sollte ich KI-gestützte Arbeit kennzeichnen?
Das ist eine ethische Frage, die diese Daten nicht entscheiden können, aber sie können Ihnen die Kosten nennen. Eine Kennzeichnung als KI-erzeugt senkte die Qualitätsbewertungen um 0,814 Punkte auf einer Sieben-Punkte-Skala, d = -0,508. Lesende bestrafen das Etikett unabhängig von der Arbeit. Wer über Offenlegung entscheidet, sollte das einpreisen, statt sich davon überraschen zu lassen.
Was ist die einzelne nützlichste Änderung?
Blind bewerten. Der Etiketteffekt ist rund drei Viertel so groß wie der tatsächliche Qualitätseffekt und die eine Variable, die vollständig in Ihrer Hand liegt. Verfasserangaben zu entfernen, bevor Sie Arbeit beurteilen, auf die Sie hin handeln, kostet nichts und beseitigt eine Verzerrung von gemessener Größe.
Quellen
Porter und Machery. AI-generated poetry is indistinguishable from human-written poetry and is rated more favorably. Scientific Reports.
Jones und Bergen. Large Language Models Pass the Turing Test. arXiv-Preprint, Computation and Language.
Jakesch, Hancock und Naaman. Human heuristics for AI-generated language are flawed. Proceedings of the National Academy of Sciences, 2023.
Kobis und Mossink, Paradigmen mit und ohne Menschen in der Schleife zur Bewertung maschinell erzeugter Lyrik, wie bei Porter und Machery charakterisiert.
Hinweis zum Geltungsbereich: Die Gesamtzahl von 6.518 Teilnehmenden über die drei Erkennungsstudien ist eine Summe von CEOtudent aus veröffentlichten Stichprobengrößen und dient nur der Größenordnung. Die drei Studien unterscheiden sich in Design, Population und Ergebnismaß und werden an keiner Stelle dieses Beitrags statistisch zusammengefasst.
Dieser Inhalt wurde nach eingehender Recherche mit Unterstützung von KI zusammengestellt und vom CEOtudent-Redaktionsteam geschrieben und für die Veröffentlichung aufbereitet.
This post is also available in:
