En resumen. A lo largo de 16.340 juicios, lectores no expertos identificaron poemas generados por IA con un 46,6 % de acierto, por debajo del 50 % que daría adivinar. A lo largo de 1.023 conversaciones registradas, un modelo con instrucción de persona fue juzgado humano el 73 % de las veces, con más frecuencia que los humanos reales con los que se comparaba. En ambos estudios la experiencia no ayudó: el bagaje poético produjo un modelo con R cuadrado de McFadden de 0,012, y el conocimiento sobre modelos de lenguaje y el uso diario de chatbots no tuvieron efecto significativo sobre el acierto. En uno de ellos, la confianza se relacionó de forma significativa y negativa con acertar. Y los mismos experimentos muestran por qué: al decirles que un poema era generado por IA, los lectores bajaron su calidad en 0,814 puntos en una escala de siete, mientras que los poemas realmente generados por IA fueron puntuados 1,045 puntos por encima de los de poetas humanos célebres. La etiqueta mueve el veredicto en torno al 76 % de lo que lo mueve el texto. Esa distancia entre lo que cree poder juzgar y lo que puede juzgar es lo que hay que gestionar.
No es una brecha de habilidad
La versión cómoda de esta historia es que el discernimiento es una habilidad, hoy poco desarrollada, que la práctica corregirá. Tres estudios de tres laboratorios sin relación entre sí dicen lo contrario, y lo dicen desde extremos opuestos del espacio del problema.
El primero, de Porter y Machery en Scientific Reports, comprobó si lectores no expertos podían distinguir poemas generados por IA de poemas de poetas humanos reconocidos. El diseño dio deliberadamente todas las ventajas a los humanos. Usó un paradigma sin humano en el bucle: se emplearon los cinco primeros poemas que generó el modelo, sin seleccionar el mejor ni dar más indicación que escribir un poema breve al estilo de un poeta concreto. En el primer experimento, 1.634 participantes vieron cada uno diez poemas atribuidos a uno de diez poetas, cinco auténticos y cinco generados, y juzgaron cada uno.
El resultado, sobre 16.340 juicios individuales: 46,6 % de acierto. No cerca del azar. Por debajo, y de forma significativa, con chi cuadrado(1, N = 16.340) = 75,13, p < 0,0001.
Estar por debajo del azar es un hallazgo más fuerte que el azar. El azar significaría que la tarea no porta información. Estar por debajo significa que los participantes aplicaban sistemáticamente una regla, y que la regla estaba invertida. Los autores lo confirman: el acuerdo entre participantes fue bajo pero significativamente superior al azar (kappa de Fleiss = 0,005, p < 0,001), lo que leen como prueba de heurísticas compartidas pero equivocadas y no de respuesta puramente aleatoria.
La línea más reveladora del artículo no es un estadístico. Los cinco poemas que los lectores fueron menos propensos a considerar escritos por humanos habían sido escritos todos por poetas humanos reales. Cuatro de los cinco poemas más propensos a considerarse humanos habían sido generados.
La experiencia no rescató a nadie
La objeción evidente es que se trataba de no expertos. Los autores preregistraron una predicción exactamente sobre eso y la pusieron a prueba.
Ajustaron un modelo exploratorio que predecía si cada respuesta era correcta, usando confianza autoinformada, familiaridad con el poeta asignado, bagaje poético, frecuencia de lectura, gusto por la poesía, haber cursado o no un curso de poesía, edad, género, nivel educativo y si el participante había visto antes alguno de los poemas.
El poder explicativo del modelo fue de 0,012 según el R cuadrado de McFadden. Ninguna de las variables de experiencia poética tuvo efecto positivo significativo sobre el acierto. Dos variables mostraron efectos positivos pequeños, y una de ellas es ilustrativa: haber visto antes los poemas elevó las probabilidades de responder bien en torno al 6 % (b = 0,060356, razón de momios 1,062, p = 0,000309). Eso es reconocimiento, no discernimiento. Quienes lo hicieron mejor fueron quienes se habían topado con el poema concreto, no quienes entendían de poesía.
Y luego el hallazgo que da nombre a este artículo. La confianza autoinformada tuvo un efecto pequeño pero significativamente negativo sobre el acierto (b = -0,021673, EE = 0,003986, z = -5,437, p < 0,0001). Cuanto más seguros estaban los participantes, algo más probable era que se equivocaran.
Retenga eso, porque otro laboratorio encontró algo adyacente por una vía completamente distinta.
Un segundo laboratorio, otro medio, el mismo resultado nulo
Jones y Bergen realizaron dos pruebas de Turing a tres partes, aleatorizadas, controladas y preregistradas, publicadas como preimpresión. Los participantes mantenían conversaciones simultáneas de cinco minutos con otro humano y con uno de varios sistemas, y después decidían cuál era el humano. Se emplearon dos poblaciones independientes: 126 estudiantes de psicología de la UCSD y 158 participantes de Prolific, cada uno completando ocho rondas, con 1.023 partidas analizadas tras las exclusiones.
Aquí el diseño aísla algo que el estudio de poesía no podía: el efecto del envoltorio sobre el mismo sistema subyacente.
Tabla 1. Tasas de éxito: proporción de veces que el interrogador juzgó que el testigo de IA era el humano
| Sistema e instrucción | Tasa de éxito | Estudio de estudiantes | Estudio Prolific |
|---|---|---|---|
| GPT-4.5 con instrucción de persona | 73 % | 69 % | 76 % |
| LLaMa-3.1-405B con instrucción de persona | 56 % | 45 % | 65 % |
| LLaMa-3.1-405B, línea base sin persona | 38 % | no desglosado | no desglosado |
| GPT-4.5, línea base sin persona | 36 % | no desglosado | no desglosado |
| ELIZA | 23 % | no desglosado | no desglosado |
| GPT-4o, línea base sin persona | 21 % | no desglosado | no desglosado |
Fuente: Jones y Bergen, Large Language Models Pass the Turing Test (preimpresión de arXiv), tasas de éxito globales en ambos estudios. Las celdas marcadas como no desglosado no se separan por población en el pasaje que ofrece estas cifras; las dos poblaciones solo se informan por separado para las dos condiciones con persona.
Lea juntas la primera y la cuarta fila. El mismo modelo. La instrucción de persona llevó a GPT-4.5 del 36 % al 73 %, una ganancia de 37 puntos porcentuales, es decir 2,03 veces. Para LLaMa-3.1-405B la misma manipulación llevó el 38 % al 56 %, una ganancia de 18 puntos, es decir 1,47 veces. Nada de la capacidad del modelo cambió entre esas celdas. Solo cambió la instrucción.
Y el hallazgo demográfico aterriza exactamente donde aterrizó el estudio de poesía. Los autores afirman que no hubo efectos significativos en ninguno de los dos estudios de la edad, el nivel de conocimiento sobre modelos de lenguaje ni la frecuencia de interacción con chatbots. Su propio resumen es rotundo: la precisión discriminativa es relativamente homogénea en la población, incluso entre quienes investigan estos sistemas o interactúan con chatbots a diario.
Dos notas de honestidad, porque los hallazgos exploratorios aquí son más desordenados de lo que una historia limpia querría. En el grupo Prolific, las estimaciones de los participantes sobre cuán inteligente creen que es la IA correlacionaron negativamente con el acierto (p = 0,03), lo que rima con el hallazgo sobre la confianza. Pero en el grupo de estudiantes el acierto real correlacionó positivamente con la estimación que los participantes hacían de su propio acierto (p = 0,03), y esa misma relación no apareció en el grupo Prolific (p = 0,45). La señal de autoconocimiento no se replica entre poblaciones. Quien le diga que la investigación demuestra que la confianza está uniformemente invertida está exagerando. Lo que sí se replica, en ambos estudios y en ambos laboratorios, es el resultado nulo sobre la experiencia.
Un tercer laboratorio, un tercer dominio, el mismo resultado y el mecanismo
Si dos estudios fueran coincidencia, un tercero cierra el asunto. Jakesch, Hancock y Naaman, en Cornell y Stanford, publicaron seis experimentos en Proceedings of the National Academy of Sciences que comprobaban si las personas detectaban cuándo unas presentaciones verbales de uno mismo habían sido generadas por máquina, en contextos profesionales, de hostelería y de citas. A lo largo de esos seis experimentos, 4.600 participantes no lograron detectar las presentaciones generadas.
Ese estudio aporta además lo que los otros dos solo infieren. Un análisis computacional de rasgos lingüísticos identificó las heurísticas concretas que la gente estaba usando, y son alarmantemente mundanas: los lectores asocian los pronombres de primera persona, las contracciones y los temas familiares con la autoría humana. Los autores hicieron entonces lo decisivo. Demostraron experimentalmente que, por ser predecibles, esas heurísticas son manipulables, y que un sistema ajustado a ellas produce texto que se lee, en su expresión, más humano que lo humano.
Ese es el engranaje que faltaba. Porter y Machery encontraron heurísticas compartidas pero equivocadas sin nombrarlas. Jakesch y colegas las nombraron y demostraron que pueden ser el blanco. Lo que significa que la brecha de discernimiento no es solo un límite de la percepción humana. Es una superficie de ataque.
Tabla 2. Tres estudios preregistrados o controlados, tres laboratorios, tres dominios, un resultado nulo convergente
| Estudio | Dominio | Escala | Resultado de detección | ¿Ayudaron la experiencia o la familiaridad? |
|---|---|---|---|---|
| Porter y Machery | Poemas de poetas reconocidos frente a poemas generados | 1.634 participantes, 16.340 juicios | 46,6 % de acierto, por debajo del azar | No. Modelo de experiencia R cuadrado de McFadden = 0,012; ninguna variable de experiencia poética con efecto positivo significativo |
| Jones y Bergen | Conversación en vivo de cinco minutos, prueba de Turing a tres partes | 284 participantes, 1.023 partidas | GPT-4.5 con persona juzgado humano el 73 % de las veces | No. Sin efecto significativo del conocimiento sobre modelos de lenguaje ni del uso de chatbots en ninguno de los estudios |
| Jakesch, Hancock y Naaman | Presentaciones verbales de uno mismo en contextos profesional, de hostelería y de citas | 4.600 participantes, seis experimentos | Los participantes no lograron detectar las presentaciones generadas | No era el foco del estudio; en su lugar identificó las heurísticas defectuosas empleadas |
Marco editorial de CEOtudent. Todas las cifras son las publicadas por cada grupo. La cifra combinada de 6.518 participantes en las tres tareas de detección es una suma de CEOtudent de los tamaños muestrales publicados y se ofrece solo como indicador de escala; los estudios difieren en diseño, población y medida de resultado, y sus resultados no deben agregarse estadísticamente.
La síntesis original: dos capas, y cuál mueve el veredicto
Ponga ahora los estudios de poesía y de conversación juntos en un segundo eje. Nunca se han tabulado así, porque uno trata de poesía y el otro de conversación, y se publicaron en medios distintos por grupos sin relación. Juntos aíslan algo que ninguno aísla por separado.
Ambos experimentos contienen una capa de sustancia (qué texto, qué modelo) y una capa de presentación (qué le dicen, qué persona se le indicó adoptar). Ambos cuantifican las dos por separado. Así podemos plantear una pregunta que ninguno de los artículos formula: ¿cuánto de un veredicto de humanidad lo carga el envoltorio en vez de la cosa?
Tabla 3. Qué mueve realmente el juicio: capa de presentación frente a capa de sustancia
| Estudio | Efecto de la capa de sustancia | Efecto de la capa de presentación | Presentación como proporción de la sustancia |
|---|---|---|---|
| Porter y Machery, puntuación de calidad de poemas | Autoría real de IA: +1,045 puntos, d de Cohen = 0,671 | Decir que el poema es generado por IA: -0,814 puntos, d = -0,508 | 77,9 % según diferencia de medias; 75,7 % según d |
| Jones y Bergen, GPT-4.5 juzgado humano | No descomponible a partir de estas cifras | Instrucción de persona frente a ninguna: +37 pp, 2,03 veces | Solo la instrucción más que duplicó la tasa |
| Jones y Bergen, LLaMa-3.1-405B juzgado humano | No descomponible a partir de estas cifras | Instrucción de persona frente a ninguna: +18 pp, 1,47 veces | Solo la instrucción elevó la tasa a la mitad más |
Marco editorial de CEOtudent. Todas las cifras subyacentes son las publicadas. La columna de proporción de la primera fila es un cálculo de CEOtudent que divide el efecto absoluto de la etiqueta entre el efecto absoluto de la autoría. Las dos filas de Jones y Bergen mantienen constante el modelo, así que el efecto de la instrucción es limpio; la capa de sustancia no puede separarse de las tasas publicadas y se marca en consecuencia en lugar de estimarse.
La primera fila contiene la cifra más afilada de este artículo. En una escala de siete puntos, que le digan que un poema está hecho por una máquina le cuesta 0,814 puntos de calificación, alrededor del 11,6 % de la escala completa. Estar realmente hecho por una máquina le aporta 1,045 puntos, alrededor del 14,9 % de la escala, en dirección contraria. Su evaluación de un texto es unas tres cuartas partes tan sensible a la historia que le cuentan sobre su autor como al texto mismo.
Una cifra derivada más, y necesita advertencia. Si esos dos efectos fueran simplemente aditivos, un poema de IA etiquetado honestamente como tal aún terminaría puntuado unos 0,231 puntos por encima de un poema humano sin etiquetar. Esa resta supone que no hay interacción entre el encuadre y la autoría, y los autores sí ajustaron un término de interacción cuyas estimaciones no pudieron extraerse para este artículo. Trate +0,231 como un modelo, no como una medición. Lo que importa es la dirección: la divulgación no compensa por completo la diferencia de calidad que los propios lectores percibieron.
Qué estaban premiando realmente los lectores
El resultado sobre calidad se malinterpreta fácilmente como “la máquina escribe mejor poesía”. No es lo que dicen los datos, y la propia excepción del artículo lo dice.
El patrón de puntuar más alto el trabajo de la máquina se mantuvo en 13 de las 14 dimensiones cualitativas. El mayor efecto fue el ritmo: los poemas generados fueron puntuados 1,168 puntos por encima, d = 0,847. La única excepción fue la originalidad. Al decirles que un poema era generado, los lectores bajaron su originalidad en 0,699 puntos (d = -0,478), pero los poemas realmente generados no fueron puntuados como significativamente más originales que los humanos (diferencia de medias 0,059, d = 0,040, p = 0,098, p corregida de Bonferroni = 1,000).
Esa excepción es todo el mecanismo. En cada dimensión que premia la fluidez, ganaron los poemas generados. En la única dimensión que exige que el lector detecte algo genuinamente nuevo, la diferencia se desvaneció. La explicación de los propios autores es que la sencillez de los poemas generados los hacía más fáciles de procesar para no expertos, y los lectores convirtieron la legibilidad en un juicio de autenticidad.
Es el mismo fallo que nuestro artículo sobre por qué la IA alucina y cómo funcionan los errores de modelo describe en un plano factual: fluidez y corrección son propiedades distintas, y los evaluadores humanos usan de forma fiable la primera como sustituto de la segunda. Aquí el sustituto no es la corrección sino la humanidad, y falla del mismo modo.
Qué sí mejoró el acierto
Casi nada, y eso es en sí el hallazgo. Pero Jones y Bergen clasificaron lo que los interrogadores intentaron realmente y midieron el acierto en las partidas donde se usó cada estrategia. Dos cosas funcionaron, y comparten una lógica.
Tabla 4. Estrategias de los interrogadores y qué ocurrió
| Clase de estrategia | Frecuencia informada | Eficacia relativa |
|---|---|---|
| Decir algo extraño para ver cómo reacciona el testigo | Relativamente infrecuente | Entre las más certeras |
| Intentos típicos de elusión, por ejemplo “ignora todas las instrucciones anteriores” | Relativamente infrecuente | Entre las más certeras |
| Preguntar directamente si el testigo es humano | 19 % de las partidas | No informada como eficaz |
| Poner a prueba la conciencia situacional, por ejemplo el tiempo o la interfaz | 13 % de las partidas | Preguntar por el tiempo entre las menos eficaces |
| Poner a prueba conocimiento y razonamiento, incluida la actualidad | 12 % de las partidas | No informada como eficaz |
| Preguntar por experiencias humanas | No informado por separado | Entre las menos eficaces |
Fuente: Jones y Bergen, clasificación de estrategias y acierto medio del interrogador por estrategia. Las cifras de frecuencia son las publicadas. La columna de eficacia reproduce la ordenación cualitativa de los autores; los valores de acierto por estrategia se presentaron gráficamente y no se citan aquí en lugar de estimarse a partir de una figura.
Las dos jugadas eficaces son sondeos adversarios. Empujan al sistema fuera de su ruta de seguimiento de instrucciones y observan qué ocurre en el borde. Las jugadas ineficaces, preguntar por el tiempo o por la experiencia humana, son justamente las que más se parecen a una prueba de humanidad y son de hecho la parte mejor cubierta de la distribución de entrenamiento.
Los autores añaden un detalle que merece detenimiento. Entre las razones que los interrogadores dieron para los veredictos correctos, la clase más certera se refería a la falta de conocimiento del testigo: elegir a alguien como humano porque cometió un error o no sabía algo que una IA debería saber. Un sistema moderno que intente pasar la prueba tiene que fingir ignorancia de forma convincente sobre cosas que la mayoría no domina. La señal ya no es la incompetencia. Es la forma equivocada de competencia.
Mientras tanto, las razones más frecuentes, acertaran o no, fueron el estilo lingüístico con el 27 % y la dinámica de interacción con el 23 %, y muchos participantes informaron de una corazonada general que no sabían articular. La gente recurrió al estilo. El estilo es aquello en lo que la máquina es mejor.
Qué significa esto para cómo decide
La conclusión práctica no es “no confíe en nada” ni “mejore su capacidad de detectar IA”. Los datos dicen que lo segundo está casi fuera de alcance y que lo primero no es una estrategia. Apuntan a algo más concreto.
Tabla 5. Protocolo de discernimiento, cada paso vinculado a la evidencia que lo motiva
| Paso | Qué hacer | Evidencia que lo motiva | Estado |
|---|---|---|---|
| 1. Deje de intentar identificar al autor | Descarte por completo la detección de origen como filtro de calidad | 46,6 % de acierto en 16.340 juicios; modelo de experiencia R cuadrado 0,012; sin efecto del conocimiento sobre modelos ni del uso de chatbots; 4.600 participantes no detectaron presentaciones generadas | Respaldado por evidencia |
| 2. Descuente su seguridad, no su juicio | Trate la alta certeza sobre la procedencia como señal de alarma y no como indicio | La confianza se relacionó de forma significativa y negativa con el acierto en un estudio; el hallazgo de autoestimación no se replicó entre poblaciones en el otro | Respaldado, con reserva de replicación |
| 3. Evalúe a ciegas cuando pueda | Retire las firmas antes de juzgar un trabajo sobre el que va a actuar | Efecto de la etiqueta sobre la puntuación de calidad d = -0,508, en torno al 76 % del efecto de autoría | Respaldado por evidencia |
| 4. Sondee de forma adversaria, no entreviste | Presione en los bordes y las incoherencias en vez de hacer preguntas sinceras | Las indicaciones extrañas y los intentos de elusión estuvieron entre las estrategias más certeras; las preguntas sobre el tiempo y la experiencia humana entre las menos eficaces | Dirección respaldada |
| 4b. Desconfíe de las señales populares | No cuente los pronombres de primera persona, las contracciones ni el detalle personal o familiar como prueba de autoría humana | Son exactamente las heurísticas identificadas como defectuosas y demostradas predecibles y manipulables | Respaldado por evidencia |
| 5. Califique en la dimensión que la fluidez no puede fingir | Pregunte qué hay aquí de genuinamente nuevo, no si se lee bien | El trabajo de la máquina ganó 13 de 14 dimensiones; la originalidad fue la única excepción y no mostró ventaja significativa | Respaldado por evidencia |
| 6. Juzgue las decisiones por sus consecuencias, no por su prosa | Registre qué predijo la recomendación y si ocurrió | No medido por ninguna fuente citada aquí | Convención de CEOtudent |
Marco editorial de CEOtudent. Los pasos 1 a 5 reformulan hallazgos que los dos estudios citados produjeron efectivamente. El paso 6 está etiquetado deliberadamente como convención: ninguna fuente de este artículo lo midió, y se ofrece como estructura razonable, no como técnica respaldada por evidencia.
El paso 5 es el que más cambia la conducta diaria. Ambos estudios sugieren que los evaluadores realizan una comprobación de fluidez y la llaman comprobación de juicio. La fluidez ya es gratis. De modo que la única dimensión que aún porta información es aquella en la que la máquina no mostró ventaja medible: si el trabajo contiene algo que no estuviera ya en circulación. Esa pregunta tiene respuesta, pero solo por parte de quien haya leído suficiente del material circundante para saber qué había ya allí, que es precisamente la capacidad que nuestro artículo complementario sobre la lectura profunda como ventaja competitiva sostiene que se está volviendo escasa.
La división entre el CEO y el estudiante se resuelve aquí con claridad, y no en la dirección esperada. El instinto del CEO es confiar en el juicio, porque a un directivo se le paga por su juicio. El instinto del estudiante es comprobar si ese juicio está calibrado. En esta capacidad concreta los datos son inequívocos: el instinto no está calibrado, y estar seguro de él empeora ligeramente las cosas. Nuestra nota sobre calibración de la confianza cubre la regla de decisión; este artículo cubre el fallo de percepción que corre por debajo. Son problemas distintos. Puede tener una buena política sobre cuándo confiar en una recomendación de IA y seguir siendo incapaz de ver qué tiene delante.
Qué cambiaría esta conclusión
Tres cosas, que conviene vigilar en lugar de dar por supuestas.
El resultado sobre poesía no se asienta en una literatura indiscutida, y los autores lo dicen ellos mismos. Señalan que sus hallazgos contrastan con trabajos anteriores en los que los participantes sí lograban distinguir a poetas profesionales de poemas generados sin humano en el bucle, y con otros trabajos que encontraban a los participantes meramente en el nivel del azar y no por debajo. Los estudios anteriores además solían encontrar que los poemas generados se evaluaban de forma más negativa, lo contrario de lo que produjeron estos experimentos. La lectura más probable es que los modelos avanzaron, no que los investigadores anteriores estuvieran equivocados, pero eso es una interpretación y no algo que los datos establezcan.
Ambos estudios usan muestras de población general que realizan una tarea poco familiar en condiciones artificiales. Ninguno comprobó si un experto que evalúa trabajo en su propio dominio, con tiempo y con algo en juego, se comporta de otro modo. Porter y Machery comprobaron la experiencia poética entre lectores de poesía, lo cual se aproxima más, pero un bagaje poético autoinformado no equivale a experiencia profesional. El resultado nulo sobre la experiencia es real y replicado, pero es un resultado nulo sobre la experiencia que estos estudios midieron.
El resultado de Jones y Bergen es una preimpresión en el momento de escribir, y las dos poblaciones discreparon de forma apreciable en varias medidas exploratorias. La condición de persona de LLaMa, por ejemplo, fue del 45 % entre estudiantes y del 65 % entre participantes de Prolific, una diferencia de 20 puntos en la misma condición. Los efectos de población aquí no son pequeños.
Nada de eso cambia lo que hay que hacer este trimestre. Deje de usar la autoría como sustituto de la calidad, porque la autoría no se puede recuperar. Retire las etiquetas antes de juzgar. Pregunte qué hay de nuevo en vez de si se lee bien.
Preguntas frecuentes
¿De verdad la gente es peor que el azar detectando texto de IA?
En este estudio sí, y de forma significativa: 46,6 % de acierto en 16.340 juicios donde adivinar daría el 50 %, chi cuadrado(1) = 75,13, p < 0,0001. Los autores interpretan el desempeño por debajo del azar junto con el acuerdo entre participantes por encima del azar como prueba de una heurística compartida pero invertida, no de respuestas aleatorias.
¿Ayuda saber mucho sobre IA?
Según la evidencia disponible, no. Jones y Bergen no encontraron efecto significativo del nivel de conocimiento sobre modelos de lenguaje ni de la frecuencia de interacción con chatbots en ninguno de sus dos estudios, y señalan que el acierto era homogéneo incluso entre quienes investigan estos sistemas. Porter y Machery no encontraron ninguna variable de experiencia poética con efecto positivo significativo.
¿En qué señales se apoya la gente erróneamente?
En los pronombres de primera persona, las contracciones y los temas familiares o personales. Un análisis computacional a lo largo de seis experimentos las identificó como las heurísticas con que los lectores infieren autoría humana, y los autores demostraron después experimentalmente que, por ser predecibles, pueden convertirse en blanco, produciendo texto valorado como más humano que lo humano. Si se sorprende pensando que un pasaje suena humano porque dice “yo” y usa contracciones, ese es exactamente el modo de fallo documentado.
¿Entonces la confianza siempre se relaciona inversamente con el acierto?
No, y la respuesta honesta es más desordenada. Porter y Machery encontraron un efecto negativo significativo de la confianza (b = -0,021673, p < 0,0001). Jones y Bergen encontraron el acierto autoestimado correlacionado positivamente con el acierto real entre estudiantes (p = 0,03) pero no entre participantes de Prolific (p = 0,45). La confianza no es una señal fiable en ninguna dirección, y esa es la conclusión utilizable.
¿Significa esto que la IA escribe mejor que los humanos?
No. Significa que los lectores la puntuaron más alto en las dimensiones que premian la suavidad, 13 de 14, con el ritmo como la mayor en d = 0,847. En originalidad, la única dimensión que exige que el lector detecte algo nuevo, los poemas realmente escritos por IA no mostraron ventaja significativa (d = 0,040, p = 0,098). Ese es un hallazgo sobre qué premian los lectores, no sobre mérito literario.
¿Debería etiquetar el trabajo asistido por IA?
Esa es una cuestión ética que estos datos no pueden zanjar, pero sí pueden decirle el coste. Etiquetar un trabajo como generado por IA redujo las puntuaciones de calidad en 0,814 puntos en una escala de siete, d = -0,508. Los lectores penalizan la etiqueta con independencia del trabajo. Quien decida sobre la divulgación debería incorporarlo al cálculo en vez de llevarse una sorpresa.
¿Cuál es el cambio más útil?
Evaluar a ciegas. El efecto de la etiqueta es en torno a tres cuartas partes del efecto real de calidad, y es la única variable que controla por completo. Retirar las firmas antes de juzgar un trabajo sobre el que piensa actuar no cuesta nada y elimina un sesgo de tamaño medido.
Fuentes
Porter y Machery. AI-generated poetry is indistinguishable from human-written poetry and is rated more favorably. Scientific Reports.
Jones y Bergen. Large Language Models Pass the Turing Test. Preimpresión de arXiv, Computation and Language.
Jakesch, Hancock y Naaman. Human heuristics for AI-generated language are flawed. Proceedings of the National Academy of Sciences, 2023.
Kobis y Mossink, paradigmas con y sin humano en el bucle para evaluar poesía generada por máquina, tal como se caracterizan en Porter y Machery.
Nota de alcance: la cifra combinada de 6.518 participantes en los tres estudios de detección es una suma de CEOtudent de tamaños muestrales publicados, usada solo para indicar escala. Los tres estudios difieren en diseño, población y medida de resultado, y no se agregan estadísticamente en ninguna parte de este artículo.
Este contenido fue recopilado con el apoyo de la IA tras una investigación exhaustiva, y luego redactado y preparado para su publicación por el equipo editorial de CEOtudent.
This post is also available in:
