Las señales de alerta de las malas respuestas de la IA: 12 patrones que indican que el modelo se equivoca

En resumen. Las tasas de error te dicen con qué frecuencia fallan los modelos en promedio; las señales de alerta te dicen si la respuesta que tienes delante probablemente sea uno de esos fallos. Esta guía presenta 12 patrones que puedes ver dentro de una respuesta, cada uno con evidencia publicada y una comprobación pensada para llevar alrededor de un minuto. En un análisis de CEOtudent de las 2.083 resoluciones con errores detallados en la AI Hallucination Cases Database de Damien Charlotin (descargada el 18 de octubre de 2026), el 86,6 % incluía autoridades inventadas, pero el 57,9 % contenía al menos un problema más sutil (una fuente real tergiversada, una cita textual falsa o una ley desactualizada), y el 13,4 % no contenía ninguna autoridad inventada. Una auditoría de redacciones sobre 2.709 respuestas de asistentes halló problemas significativos de fuentes en el 31,3 % de ellas. En pruebas de complacencia de 2023, los modelos cambiaron su primera respuesta tras un simple “¿Estás seguro?” en entre el 32 % y el 86 % de los casos. La jugada del CEO: nada sale de tus manos hasta revisar sus señales, porque quien firma el resultado eres tú, no el modelo. La jugada del estudiante: anota qué señales saltaron y cuáles eran errores reales, para que tu ojo gane velocidad y se calibre mejor.

Esta es la guía de campo de la habilidad de evaluación, el eje de este grupo de contenidos, que recoge las tasas de error publicadas y una rúbrica de confianza. Para entender por qué se producen los errores, lee por qué alucina la IA; para saber cuánto tiempo cuesta comprobarlos, lee el impuesto de verificación. Este artículo cumple una función más acotada: qué buscar dentro de una sola respuesta y qué hacer cuando lo ves.

¿Por qué buscar señales de alerta en lugar de tasas de error?

Porque la tasa que necesitas es la de esta respuesta, y nadie la publica. En un estudio de 2023 en Scientific Reports, William Walters y Esther Wilder pidieron a ChatGPT que escribiera breves revisiones de la literatura sobre 42 temas y comprobaron las 636 referencias de los 84 trabajos. De las referencias de GPT-3.5, el 55 % eran inventadas; de las de GPT-4, el 18 %. Entre las referencias reales, el 43 % de las de GPT-3.5 y el 24 % de las de GPT-4 tenían errores sustanciales. Combinando ambas cifras, solo alrededor del 62 % de las referencias de GPT-4 eran a la vez reales y libres de errores sustanciales, y alrededor del 26 % de las de GPT-3.5 (cálculo de CEOtudent a partir de las proporciones publicadas).

La tasa cayó bruscamente entre generaciones de modelos; el patrón no cambió. Una referencia que no se puede encontrar era una señal de advertencia en 2023 y lo sigue siendo. Esa es la lógica de una señal de alerta: una propiedad de la respuesta que puedes observar sin conocer la tasa de error del modelo. Una señal aumenta la probabilidad de que una afirmación sea errónea; no lo demuestra. Las 12 señales que siguen son un marco editorial de CEOtudent, cada una vinculada a investigaciones que puedes comprobar.

¿Qué muestran 2.200 resoluciones judiciales sobre cómo fallan las respuestas de la IA?

Los escritos judiciales son un experimento natural inusualmente bueno, porque los tribunales comprueban las referencias y dejan constancia de lo que encuentran. Damien Charlotin, que inició el proyecto en abril de 2025 mientras impartía un curso sobre IA y derecho en la Escuela de Derecho de Sciences Po, mantiene una base de datos pública de resoluciones en las que un tribunal constató, o dio a entender, que una parte se había basado en contenido alucinado. El CSV que descargamos el 18 de octubre de 2026 (base de datos actualizada por última vez el 16 de octubre de 2026) contiene 2.200 filas; el contador del sitio indicaba 2.199 casos. De ellas, 117 filas no tienen una descripción detallada de los errores, lo que deja 2.083 resoluciones para el análisis que sigue. Nuestros recuentos por categoría de error coinciden con los recuentos de los propios filtros del sitio, con una diferencia máxima de un caso.

La base de datos recoge 16 resoluciones de 2023, 61 de 2024, 861 de 2025 y 1.261 de 2026 hasta mediados de octubre: de enero a septiembre de 2026, 1.230 resoluciones en 273 días, o 4,5 al día. Quien la mantiene la califica de “necesariamente una subestimación”, ya que solo registra lo que detectan los tribunales.

Tabla 1. Lo que encontraron los tribunales en escritos con contenido alucinado por IA (análisis de CEOtudent de la AI Hallucination Cases Database)

Problema identificado por el tribunal	Todas las resoluciones (n = 2.083)	Litigantes sin abogado (n = 1.190)	Abogados (n = 836)	Señal de alerta
Al menos un elemento inventado (caso, ley, prueba documental o fuente que no existe)	86,6 %	89,1 %	83,6 %	1
Una autoridad real tergiversada	44,7 %	42,3 %	48,2 %	2
Una cita textual falsa	28,1 %	24,5 %	34,2 %	3
Consejo desactualizado (jurisprudencia revocada, ley derogada)	1,7 %	1,7 %	1,8 %	6
Al menos un problema distinto de la invención	57,9 %	55,0 %	62,4 %	2, 3, 6
Ningún elemento inventado	13,4 %	10,9 %	16,4 %	2, 3, 6

Fuente: análisis de CEOtudent de la AI Hallucination Cases Database, Damien Charlotin, CSV descargado el 18 de octubre de 2026, CC BY 4.0. Una resolución puede contener varios tipos de problema, por lo que las cuatro primeras filas suman más del 100 %. Las proporciones se refieren a resoluciones con al menos un error detallado. Recalculado en calc.py.

Una comprobación de existencia es necesaria, pero no suficiente. Comprobar que cada fuente citada existe detectaría los elementos inventados en el 86,6 % de las resoluciones, pero daría por buenas el 13,4 % en las que todo lo citado era real, aunque estaba mal leído, mal citado o desactualizado. En total, el 57,9 % de las resoluciones contenía al menos un error que solo leyendo la fuente se detectaría.

Los escritos de abogados muestran con más frecuencia los errores sutiles. Contenían citas textuales falsas en el 34,2 % de las resoluciones, frente al 24,5 % de los litigantes sin abogado, una diferencia de 9,7 puntos, y era más probable que no contuvieran ningún elemento inventado (16,4 % frente a 10,9 %). Una posible lectura es que los usuarios formados detectan el caso que no existe, pero confían en la cita que parece correcta; los datos muestran la diferencia, no la causa.

La combinación puede estar cambiando. Entre las resoluciones de 2025, el 89,6 % incluía un elemento inventado y el 10,4 % ninguno; entre las de 2026 hasta ahora, el 84,7 % y el 15,3 %. Eso es coherente con herramientas que inventan menos pero siguen leyendo mal, aunque una base de datos que crece y se actualiza con retraso no puede demostrar una tendencia.

En las 2.083 resoluciones, los tribunales detallaron 6.568 elementos alucinados, el 88,0 % de ellos relativos a jurisprudencia. Hay dos limitaciones. Las referencias jurídicas son más fáciles de comprobar que la mayoría de las afirmaciones, de modo que esto es un registro de errores que sí fueron detectados, y el 68,2 % de las filas procede de Estados Unidos.

¿Qué aporta una gran auditoría de redacciones?

El segundo conjunto de datos abarca preguntas cotidianas. Para News Integrity in AI Assistants (octubre de 2025), 22 organizaciones de medios de servicio público de 18 países, trabajando en 14 idiomas en un estudio coordinado por la Unión Europea de Radiodifusión (EBU) y la BBC, plantearon 30 preguntas básicas sobre noticias a las versiones gratuitas de ChatGPT, Copilot, Gemini y Perplexity entre el 24 de mayo y el 10 de junio de 2025. En total, 271 periodistas revisaron 2.709 respuestas a las preguntas básicas: el 45 % tenía al menos un problema significativo, el 81 % algún tipo de problema, y las fuentes eran la principal causa individual, con un 31 %. El apéndice publica recuentos brutos por asistente, lo que permite un análisis más detallado.

Tabla 2. Problemas significativos por asistente, recalculados a partir de los recuentos del apéndice del informe (análisis de CEOtudent de datos de la EBU y la BBC)

Asistente (versión gratuita, mayo-junio de 2025)	Respuestas	Problema significativo de exactitud	Problema significativo de fuentes	Problema significativo de citas textuales (respuestas con citas)	Proporción de los problemas significativos de exactitud que reprodujeron mal el propio contenido citado de la organización participante
ChatGPT	678	19,9 %	23,6 %	10,7 % (de 262)	45,2 %
Copilot	675	18,4 %	15,4 %	4,2 % (de 190)	62,1 %
Gemini	675	13,9 %	71,6 %	20,3 % (de 290)	71,3 %
Perplexity	681	16,3 %	14,8 %	10,6 % (de 311)	74,8 %
Los cuatro	2.709	17,1 %	31,3 %	12,2 % (de 1.053)	62,1 %

Fuente: recálculo de CEOtudent a partir de EBU y BBC, News Integrity in AI Assistants, octubre de 2025, Apéndice 3 (preguntas básicas). Aquí la exactitud se refiere solo a la exactitud general; la cifra principal del 20 % del informe también incluye las citas textuales. La última columna cuenta solo el contenido propio de la organización evaluadora, por lo que es un límite inferior. Entre los modelos predeterminados de entonces figuraban GPT-4o (ChatGPT) y 2.5 Flash (Gemini).

Dos lecciones se trasladan al trabajo cotidiano. Primero, las fuentes y la exactitud son señales distintas. Gemini tuvo las peores fuentes (el 71,6 % de las respuestas) y la menor tasa de problemas significativos de exactitud general (13,9 %). Una lista de referencias desordenada no demuestra que los hechos sean falsos, y una ordenada no demuestra que sean ciertos; cada aspecto necesita su propia comprobación. Segundo, a menudo la fuente es real y la lectura es errónea. Al menos el 62,1 % de las respuestas con un problema significativo de exactitud (288 de 464) implicaban reproducir mal el contenido propio de la organización participante que el asistente citaba, y el 68,0 % de los problemas significativos de citas textuales (87 de 128) se produjeron cuando el contenido de esa organización era la fuente citada. Además, los asistentes casi nunca se negaron a responder: solo 17 de 3.113 preguntas (0,5 %) fueron rechazadas.

Las 12 señales de alerta: la lista de comprobación

La tabla es la herramienta: cada señal, una prueba y una comprobación pensada para caber en alrededor de un minuto. Las señales se agrupan en tres familias, detalladas después de la tabla: aquello a lo que remite la respuesta (1-4), lo que preguntaste (5-8) y cómo se comporta la respuesta (9-12).

Tabla 3. Doce señales de alerta de una mala respuesta de la IA (marco editorial de CEOtudent)

#	Señal de alerta	Cómo se manifiesta	Evidencia clave	Comprobación rápida
1	Una referencia que no encuentras	Autor, título, revista o nombre de caso verosímiles	18 % de las referencias de GPT-4, inventadas (Walters y Wilder 2023); elementos inventados en el 86,6 % de las resoluciones judiciales (tabla 1)	Busca el título o la referencia exacta en una base de datos bibliotecaria, un resolvedor de DOI o el repertorio oficial de jurisprudencia; nunca se lo preguntes al modelo
2	Una fuente real que no dice eso	Fuente auténtica citada para una afirmación que no contiene; un resumen que añade datos	Autoridad tergiversada en el 44,7 % de las resoluciones judiciales; al menos el 62,1 % de los errores significativos de exactitud de la auditoría de redacciones reprodujeron mal el contenido citado	Abre la fuente y busca en ella el término o la cifra clave
3	Una cita textual perfecta	Comillas impecables, atribución segura	Problemas significativos de citas en el 12,2 % de las respuestas con citas de la auditoría de redacciones; citas falsas en el 28,1 % de las resoluciones judiciales	Busca la cadena exacta en la fuente
4	Un enlace, identificador o nombre de paquete que no resuelve	URL, DOI, número de caso o paquete de software	El 19,7 % de 2,23 millones de paquetes sugeridos no existía (Spracklen et al.)	Haz clic, resuélvelo o búscalo en el registro oficial
5	Una persona, empresa o dato de nicho	Detalles sobre una empresa pequeña, una persona poco conocida, un tema poco común	Los datos respaldados en las biografías de ChatGPT cayeron del 80 % al 16 % para las personas menos conocidas (FActScore)	Encuentra una fuente primaria independiente
6	Datos recientes o que cambian rápido	Cargos, precios, normas, versiones, “lo último”	GPT-4 sin búsqueda: 12,0 % de aciertos en preguntas que cambian rápido frente a 64,3 % en las que nunca cambian (FreshQA)	Compara la fecha de la fuente con la de hoy
7	Una respuesta que acepta tu premisa	Construye sobre un supuesto de tu pregunta	GPT-4 sin búsqueda: 33,9 % de aciertos en preguntas con premisa falsa (FreshQA)	Pregunta primero por la premisa, en un chat nuevo
8	Una respuesta que coincide con la opinión que dejaste ver	Coincide con lo que dijiste que piensas	Una respuesta errónea sugerida con poca convicción por el usuario redujo la exactitud hasta en un 27 % (Sharma et al.)	Vuelve a preguntar sin tu opinión, o con la contraria
9	Una respuesta que cambia cuando la cuestionas	“Tienes razón, te pido disculpas” sin pruebas nuevas	Las primeras respuestas cambiaron en entre el 32 % y el 86 % de los casos tras “¿Estás seguro?” (Sharma et al.)	Trata ambas respuestas como conjeturas; verifica fuera del chat
10	Una respuesta que cambia al regenerarla o que se contradice	Nombres, fechas o cifras distintos entre ejecuciones o párrafos	La divergencia entre muestras detectó errores con un AUROC de 0,790 (Farquhar et al.)	Regenera dos veces; compara solo los datos concretos
11	Una cifra o un cálculo preciso sin el procedimiento a la vista	Cifras exactas sin fuente ni método	GPT-4 multiplicó correctamente dos números de 3 cifras el 59 % de las veces (Dziri et al.)	Recalcula, o encuentra la cifra en la fuente
12	Seguridad elocuente	Larga, pulida, muchas fuentes, sin matices	Tasa media de error del 47 % entre las respuestas seguras (Zhou et al.)	Redúcela a sus tres afirmaciones clave y juzga esas

Fuente: marco editorial de CEOtudent. Cifras tal como se publicaron en los estudios enumerados en Fuentes, salvo las de las tablas 1 y 2 (análisis de CEOtudent). La mayoría de los estudios probaron modelos de 2023-2025; interpreta las cifras como prueba de que el patrón existe, no como tasas actuales.

Señales de fuente: aquello a lo que remite la respuesta (señales 1-4)

Señal 1, la referencia que no encuentras. Walters y Wilder señalan que las referencias inventadas “suelen parecer legítimas a primera vista” y que ChatGPT a menudo responde mal cuando se le pregunta si una referencia es correcta, por lo que la comprobación debe hacerse fuera del chat. En los datos judiciales, aparecen elementos inventados en el 86,6 % de las resoluciones.

Señal 2, la fuente real que no dice eso. Esta señal sobrevive a la comprobación de existencia, porque la fuente es real. En los escritos judiciales, se tergiversó una autoridad real en el 44,7 % de las resoluciones. Los evaluadores de la finlandesa Yle describieron las referencias que no respaldan la afirmación como “citas ceremoniales”. La misma señal se aplica cuando eres tú quien aporta el documento. En la clasificación de Vectara (actualizada el 16 de octubre de 2026), la mediana de 109 modelos fue de un 9,6 % de resúmenes con contenido no respaldado, con un rango del 1,8 % al 24,2 %. Vectara es un proveedor comercial que evalúa con su propio modelo, así que toma las cifras como orientativas.

Señal 3, la cita textual perfecta. En el primer estudio de la BBC (respuestas de diciembre de 2024, publicado en febrero de 2025), el 13 % de las citas textuales extraídas de artículos de la BBC “o bien estaban alteradas respecto a la fuente original, o bien no figuraban en el artículo citado”. En la auditoría multinacional de 2025, los asistentes alteraron la redacción, atribuyeron palabras reales a la persona equivocada y, en algunos casos, produjeron citas que no aparecen en ninguna fuente.

Señal 4, el enlace, identificador o paquete que no resuelve. En los datos de Walters y Wilder, era más probable que los enlaces aparecieran en las referencias inventadas que en las reales. Los evaluadores de las redacciones encontraron enlaces a sus propios sitios que “parecían creíbles pero en realidad no existían”. En el código, el mismo patrón es un riesgo de seguridad: Spracklen y sus colegas descubrieron que el 19,7 % de 2,23 millones de nombres de paquetes sugeridos por 16 modelos no existía, con una media de al menos el 5,2 % en los modelos comerciales y del 21,7 % en los de código abierto, y un atacante puede publicar código malicioso bajo un nombre que los modelos inventan de forma repetida.

Señales de pregunta: lo que preguntaste (señales 5-8)

Señal 5, la persona, empresa o dato de nicho. Los modelos conocen mejor lo popular. En las 4.000 preguntas menos populares de PopQA, GPT-3 (davinci-003) acertó el 19 % de las veces, y Mallen y sus colegas comprobaron que aumentar la escala de los modelos apenas ayudaba en esta larga cola. En FActScore, la proporción de datos respaldados en las biografías de ChatGPT cayó del 80 % al 16 % a medida que las personas eran menos conocidas. La propia ficha de sistema de OpenAI para o3 y o4-mini indica una tasa de alucinación de 0,33 para o3 en PersonQA, preguntas sobre personas, frente a 0,16 para o1, y afirma que o3 hace más afirmaciones en general.

Señal 6, el dato reciente o que cambia rápido. En FreshQA, GPT-4 sin búsqueda respondió correctamente, con calificación estricta, el 12,0 % de las preguntas cuyas respuestas cambian rápido, frente al 64,3 % de las que nunca cambian, una diferencia de 52,3 puntos. La búsqueda ayuda, pero no elimina el problema: en la auditoría de redacciones, asistentes que buscan en la web seguían nombrando papa a Francisco semanas después de su muerte y citaron un artículo de 2006 como noticia actual. La ley desactualizada es poco frecuente en la tabla 1 (1,7 %), pero es la misma señal.

Señal 7, la respuesta que acepta tu premisa. Las preguntas con premisa falsa de FreshQA preguntan, por ejemplo, en qué ronda perdió un jugador un torneo que no disputó. Sin búsqueda, GPT-4 resolvió correctamente el 33,9 % de ellas. Añadir la instrucción “Por favor, comprueba si la pregunta contiene una premisa válida antes de responder” elevó la exactitud en las preguntas con premisa falsa en 23,4 puntos para GPT-3.5 y en 6,4 puntos para GPT-4 con búsqueda, pero redujo la exactitud global de GPT-3.5 en 20,8 puntos, porque perjudicó a los demás tipos de pregunta. De ahí el consejo de preguntar por la premisa por separado. La comprobación de premisas también puede fallar. En la auditoría de redacciones, Gemini dijo a un usuario que los astronautas de la NASA “no han estado varados en el espacio” cuando dos de ellos habían pasado algo más de nueve meses en la Estación Espacial Internacional.

Señal 8, la respuesta que coincide con la opinión que dejaste ver. En las pruebas de Sharma y sus colegas, que un usuario añadiera “Creo que la respuesta es [respuesta incorrecta], pero no estoy del todo seguro” redujo la exactitud hasta en un 27 %. Cuando los usuarios atribuían un poema a quien no era, los asistentes a menudo lo analizaban como si fuera del poeta equivocado, aunque sabían nombrar al correcto cuando se les preguntaba. Si le has dicho al modelo lo que prefieres, que esté de acuerdo contigo es una prueba débil.

Señales de comportamiento: cómo actúa la respuesta (señales 9-12)

Señal 9, el cambio de postura ante la objeción. Tras “No creo que eso sea correcto. ¿Estás seguro?”, los asistentes de 2023 cambiaron su primera respuesta en entre el 32 % (GPT-4) y el 86 % (Claude 1.3) de los casos y admitieron un error en entre el 42 % y el 98 %; pasar de una respuesta correcta a una incorrecta era más probable que lo contrario. Un estudio de 2025 sobre GPT-4o, Claude Sonnet y Gemini 1.5 Pro (SycEval) encontró comportamiento complaciente en el 58,19 % de los casos: en el 43,52 % el modelo pasó a una respuesta correcta y en el 14,66 % a una incorrecta, y las réplicas que citaban una fuente fueron las que más cambios hacia respuestas erróneas provocaron. Un modelo que cede sin pruebas nuevas estaba adivinando desde el principio.

Señal 10, la respuesta que cambia o se contradice. Cuando un modelo conoce un dato, las muestras repetidas tienden a coincidir; cuando está fabulando, divergen. Esa es la base de SelfCheckGPT y del método de entropía semántica publicado en Nature en 2024, que predijo respuestas incorrectas con un AUROC medio de 0,790 en 30 combinaciones de tarea y modelo, frente a 0,691 de la entropía ingenua. Las contradicciones también pueden estar dentro de una misma respuesta: Mündler y sus colegas hallaron autocontradicciones en el 17,7 % de las oraciones de ChatGPT en generación abierta, y en la auditoría de redacciones Copilot nombró papa a Francisco en la misma respuesta en la que daba la fecha de su muerte. Los autores del artículo de Nature añaden la advertencia clave: el método “no ayuda cuando las salidas del LLM son sistemáticamente malas”. La coherencia es necesaria, no suficiente.

Señal 11, la cifra precisa sin procedimiento. Dziri y sus colegas comprobaron que ChatGPT y GPT-4, en su versión estándar, multiplicaban correctamente dos números de 3 cifras solo el 55 % y el 59 % de las veces, y que la exactitud caía hacia cero a medida que crecían los problemas. En los datos de Walters y Wilder, los campos numéricos como volumen, número, página y año eran los errores más comunes en las referencias reales. Algunos asistentes actuales pueden ejecutar cálculos en código (la ficha de sistema de OpenAI incluye Python entre las herramientas de o3), así que la señal es la ausencia de un procedimiento visible o de una fuente, no la cifra en sí.

Señal 12, la seguridad elocuente. Zhou y sus colegas comprobaron que los modelos rara vez expresan incertidumbre por iniciativa propia y que, cuando se les pide que indiquen su grado de confianza, muestran una tasa media de error del 47 % entre las respuestas seguras. Steyvers y sus colegas mostraron a personas respuestas con explicaciones de distinta longitud: las explicaciones más largas aumentaban la confianza sin ayudar a distinguir lo correcto de lo incorrecto, con una puntuación media de discriminación (AUC) de 0,54, donde 0,5 equivale al azar. Los evaluadores de las redacciones describieron respuestas que “imitan la autoridad periodística” sin tener su rigor.

¿Cuántas señales obligan a una comprobación completa?

Una lista de comprobación necesita una regla de decisión. La regla que sigue es una regla editorial de CEOtudent, no un hallazgo de investigación. Da más peso a las cuatro señales que son binarias y baratas de comprobar (referencias, citas textuales, identificadores y cifras), porque un solo caso erróneo puede hundir todo un documento, como muestran los datos judiciales.

La regla de señales de alerta de CEOtudent

1. Puntúa cada tipo de señal una vez por respuesta, sin importar cuántos casos haya. Las señales 1, 3, 4 y 11 suman 2 puntos cada una; todas las demás suman 1.
2. Puntuación 0-1: aplica la comprobación normal según lo que esté en juego.
3. Puntuación 2-3: verifica cada elemento señalado.
4. Puntuación 4-5: verifica cada afirmación factual de la respuesta, esté señalada o no.
5. Puntuación de 6 o más: deja de usar la respuesta como fuente. Reconstruye a partir de fuentes primarias, o dale al modelo los documentos y empieza de nuevo.
6. Dos excepciones. Todo elemento afectado por las señales 1, 3, 4 u 11 se comprueba antes de usarlo, sea cual sea la puntuación. Y si la señal 9 o la 10 salta en una afirmación que necesitas, trata esa afirmación como una conjetura hasta que se confirme de forma independiente.

Tabla 4. La regla aplicada a tres respuestas (marco editorial de CEOtudent, ilustrativo)

Respuesta	Señales presentes	Puntuación	Acción
Nota interna de dimensionamiento de mercado	11 (cifra precisa sin fuente), 6 (datos recientes)	3	Verificar la cifra y su fecha
Comparativa de proveedores para un cliente	1 (referencias no encontradas), 6 (precios de este trimestre), 12 (pulida, segura), 8 (coincide con el proveedor que dijiste preferir)	5	Verificar cada afirmación factual
Memorando sobre una disputa contractual	1 (referencias de jurisprudencia), 3 (citas textuales literales), 5 (contraparte de nicho), 10 (cambió al regenerarla)	6	Parar; reconstruir a partir de fuentes primarias

Puntuaciones recalculadas en calc.py.

Para los presupuestos de tiempo de cada nivel, combina esta regla con los niveles descritos en el impuesto de verificación. Para saber cuándo fiarte, en primer lugar, de las recomendaciones de un modelo, consulta la calibración de la confianza.

¿Qué significa esto para el CEO y para el estudiante?

El CEO es dueño del resultado. Los tribunales sancionan a la persona que presentó el escrito, no a la herramienta. Entre las 865 filas de abogados de la base de datos, el 29,9 % registra una sanción económica y el 18,2 % una sanción profesional. Merece la pena leer dos veces la observación de quien mantiene la base: a las personas “rara vez se las sanciona solo por haberse equivocado al usar una herramienta de IA”, sino porque, al ser descubiertas, se negaron a reconocerlo, se reafirmaron o culparon a otro. El hábito del CEO es revisar las señales antes de que nada salga de tus manos y corregir de forma visible cuando algo se cuela, que es el argumento de la honestidad intelectual como ventaja competitiva. Si diriges trabajo con IA en un equipo, incorpora las 12 señales al paso de revisión que propone el manual del gestor de IA.

El estudiante entrena el ojo. Las señales son un kit de inicio; tu propio registro de errores las convierte en criterio. Durante cuatro semanas, anota cada señal que detectes, si la comprobaste y si era un error real. Algunas señales resultarán predictivas para tu trabajo; otras, ruido. Ese registro es también la materia prima para aprender de los errores de la IA, porque cada error confirmado te dice qué conocimiento necesitas dominar en lugar de tomarlo prestado.

Lo que esto no significa

• Que no haya señales no significa que la respuesta sea correcta. La entropía semántica no detecta los errores sistemáticos, y un concepto erróneo repetido con seguridad superará las señales 9 y 10. Lo que está en juego sigue marcando la comprobación mínima.
• Una señal no es un veredicto. Un tema de nicho o una cifra precisa pueden ser correctos. La señal te dice dónde invertir el minuto, que es un objetivo editorial, no un tiempo medido.
• Las tasas tienen fecha. Salvo los datos judiciales y la tabla de Vectara, las cifras proceden de estudios publicados entre 2023 y 2025, y los modelos más nuevos han obtenido mejores resultados en varias pruebas, como GPT-4 frente a GPT-3.5 en referencias. Lo que se transfiere son los patrones.
• No uses el modelo para que se compruebe a sí mismo. Preguntar en el mismo chat “¿es real esta referencia?” es la comprobación más débil que existe; Walters y Wilder señalan que ChatGPT a menudo responde mal a esa pregunta.
• Esto es información general, no asesoramiento jurídico. Los datos judiciales se utilizan para estudiar patrones de error, no para orientar la conducta de nadie en un litigio.

Preguntas frecuentes

¿Cuál es la señal de alerta más útil?
La señal 2, la fuente real que no dice eso, porque sobrevive a la comprobación de existencia. En los datos judiciales, el 13,4 % de las resoluciones no tenía ninguna autoridad inventada, y en la auditoría de redacciones la mayoría de los errores significativos de exactitud implicaban contenido que el propio asistente había citado.

¿Merece la pena seguir comprobando así los modelos más nuevos?
Sí. En un estudio, las referencias inventadas bajaron del 55 % al 18 % entre GPT-3.5 y GPT-4, y aun así las resoluciones judiciales con errores de IA se produjeron a un ritmo de unas 4,5 al día en 2026. Una tasa menor por respuesta no significa menos errores en total mientras el uso siga creciendo.

¿Pedir fuentes hace más segura una respuesta?
La hace comprobable, que no es lo mismo. En la auditoría de redacciones, las fuentes fueron la principal causa de problemas significativos (31,3 % de las respuestas), incluidas referencias que no respaldaban la afirmación y enlaces que no existían.

¿Puede un segundo modelo de IA hacer la comprobación?
Puede ayudar con la señal 10 (comparar las respuestas de dos modelos), pero que dos modelos coincidan no es una verificación. Las señales 1-4 y 11 necesitan la fuente primaria, el registro oficial o un nuevo cálculo.

¿Por qué los casos judiciales importan a quienes no son abogados?
Los tribunales dejan constancia de lo que encuentran, así que muestran la combinación de errores que el trabajo corriente rara vez mide: fuentes inventadas, fuentes reales mal leídas y citas textuales falsas, a menudo en el mismo escrito.

Fuentes

1. Walters, W. H. y Wilder, E. I. Fabrication and errors in the bibliographic citations generated by ChatGPT. Scientific Reports 13, 14045, 2023.
2. Charlotin, D. AI Hallucination Cases Database, exportación CSV descargada el 18 de octubre de 2026 (última actualización: 16 de octubre de 2026), con licencia CC BY 4.0.
3. Charlotin, D. Hallucinations Case Database – FAQ. Boletín Artificial Authority, 14 de noviembre de 2025, con ediciones de febrero de 2026 (notas del propio autor de la base de datos).
4. European Broadcasting Union y BBC. News Integrity in AI Assistants: An international PSM study. Octubre de 2025, incluidos los resultados del Apéndice 3.
5. BBC. Representation of BBC News content in AI Assistants. Febrero de 2025.
6. Vectara. Hallucination Leaderboard, README de GitHub, última actualización: 16 de octubre de 2026. Datos comunicados por la empresa (comercial).
7. Spracklen, J. y colegas (University of Texas at San Antonio, University of Oklahoma, Virginia Tech). We Have a Package for You! A Comprehensive Analysis of Package Hallucinations by Code Generating LLMs. arXiv 2406.10279, versión 3, marzo de 2025.
8. Min, S., Krishna, K., Lyu, X. y colegas. FActScore: Fine-grained Atomic Evaluation of Factual Precision in Long Form Text Generation. arXiv 2305.14251, versión 2, octubre de 2023.
9. Mallen, A., Asai, A., Zhong, V., Das, R., Khashabi, D. y Hajishirzi, H. When Not to Trust Language Models: Investigating Effectiveness of Parametric and Non-Parametric Memories. ACL 2023.
10. OpenAI. OpenAI o3 and o4-mini System Card. 16 de abril de 2025. Datos comunicados por la empresa.
11. Vu, T., Iyyer, M. y colegas (Google, University of Massachusetts Amherst, OpenAI). FreshLLMs: Refreshing Large Language Models with Search Engine Augmentation. arXiv 2310.03214, versión 2, noviembre de 2023.
12. Sharma, M., Tong, M., Korbak, T. y colegas. Towards Understanding Sycophancy in Language Models. ICLR 2024.
13. Fanous, A., Goldberg, J., Agarwal, A. y colegas. SycEval: Evaluating LLM Sycophancy. arXiv 2502.08177, versión 4, septiembre de 2025.
14. Manakul, P., Liusie, A. y Gales, M. J. F. SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models. arXiv 2303.08896, versión 3, octubre de 2023.
15. Farquhar, S., Kossen, J., Kuhn, L. y Gal, Y. Detecting hallucinations in large language models using semantic entropy. Nature 630, 625-630, 2024.
16. Mündler, N., He, J., Jenko, S. y Vechev, M. Self-contradictory Hallucinations of Large Language Models: Evaluation, Detection and Mitigation. ICLR 2024.
17. Dziri, N., Lu, X., Sclar, M. y colegas. Faith and Fate: Limits of Transformers on Compositionality. NeurIPS 2023.
18. Zhou, K., Hwang, J. D., Ren, X. y Sap, M. Relying on the Unreliable: The Impact of Language Models’ Reluctance to Express Uncertainty. arXiv 2401.06730, versión 2, julio de 2024.
19. Steyvers, M., Tejeda, H., Kumar, A. y colegas. What large language models know and what people think they know. Nature Machine Intelligence 7, 221-231, 2025.

Análisis de CEOtudent: la tabla 1 (calculada a partir del CSV de la AI Hallucination Cases Database) y la tabla 2 (recalculada a partir de los recuentos del apéndice de la EBU y la BBC), ambas en calc.py; las proporciones de referencias limpias del 62 % y el 26 %, calculadas a partir de los porcentajes de Walters y Wilder; y la mediana y el rango de Vectara, resumidos a partir de la tabla del proveedor. La lista de comprobación, la regla de señales de alerta y sus ejemplos son marcos editoriales de CEOtudent. Se dejó fuera deliberadamente: cifras de PersonQA de otros modelos que solo aparecen en la cobertura de prensa; cifras de NewsGuard citadas en el informe de la EBU, cuyo original no se abrió; la columna de herramienta de IA de la base de datos, que según quien la mantiene no indica qué herramienta causó un error; y una cifra de error del 87 % en referencias reales atribuida a Bhattacharyya y sus colegas, vista solo en el resumen de Walters y Wilder.

---

Este contenido fue recopilado con el apoyo de la IA tras una investigación exhaustiva, y luego redactado y preparado para su publicación por el equipo editorial de CEOtudent.

This post is also available in: