TL;DR: “Mantén a un humano en el bucle” se ha convertido en la respuesta estándar a cualquier pregunta sobre agentes de IA, y no es una respuesta. Un bucle tiene una forma: dónde se sitúa la persona, qué se le muestra, qué puede detener y qué ocurre cuando se le escapa algo. Las mediciones públicas permiten diseñar esa forma en lugar de adivinarla. El trabajo de METR sobre horizontes temporales encuentra que la duración de tarea que un agente completa con un 80 por ciento de éxito es unas cinco veces más corta que con un 50 por ciento, con una diferencia de 59 a 15 minutos en el modelo más fuerte de su muestra, y que ambos horizontes se duplican aproximadamente al mismo ritmo, cada siete meses. El banco de pruebas tau-bench midió un éxito en un solo intento por debajo del 50 por ciento y una consistencia en ocho intentos por debajo del 25 por ciento para agentes punteros con llamada a funciones, cifra muy por encima de lo que produciría el fallo aleatorio por intento, lo que implica que los fallos se concentran en tareas concretas. A partir de esos dos hallazgos, más el artículo 14 del Reglamento de IA de la UE y la literatura sobre sesgo de automatización, este artículo construye una matriz de colocación basada en dos preguntas: cuánto cuesta deshacerlo y te darías cuenta si saliera mal.
Hay un momento concreto que se repite ahora mismo en el trabajo profesional. Un agente se ejecuta, produce un bloque de salida seguro de sí mismo, y una persona lo mira once segundos y lo aprueba. Nada en ese momento es un punto de control. Tiene la forma de la supervisión y ninguna de sus funciones, y quien lo hace normalmente lo sabe.
El impulso de arreglarlo mirando con más atención es equivocado, porque el problema no es la atención. Es la colocación. Un punto de control en la posición equivocada cuesta la misma atención y no atrapa nada.
Qué dicen realmente los datos de fiabilidad
Dos mediciones hacen aquí casi todo el trabajo, y ninguna trata de lo listos que son los modelos.
La primera es la investigación de METR sobre horizontes temporales, que plantea una pregunta con una forma inusualmente práctica: qué duración de tarea, medida por lo que tarda un experto humano en hacerla, puede completar un modelo con una tasa de éxito dada. En los modelos publicados entre 2019 y 2025, el horizonte temporal al 50 por ciento ha crecido de forma exponencial con un tiempo de duplicación de unos siete meses. Ese titular se cita constantemente. La parte que importa para diseñar puntos de control casi nunca.
METR también calculó el horizonte al 80 por ciento de éxito. El tiempo de duplicación es casi idéntico, 213 días frente a 212 del horizonte al 50 por ciento, así que el ritmo de crecimiento no es el problema. Lo son los niveles. En palabras de METR, los horizontes en el umbral de fiabilidad más alto son aproximadamente cinco veces más cortos en el conjunto de modelos estudiados, y el modelo con el horizonte al 80 por ciento más largo de la muestra, Claude 3.7 Sonnet, se situaba en torno a 15 minutos frente a un horizonte al 50 por ciento de 59 minutos, una diferencia de algo menos de cuatro veces para ese modelo concreto.
| Medida (METR, modelos publicados entre 2019 y 2025) | Tasa de éxito del 50 por ciento | Tasa de éxito del 80 por ciento |
|---|---|---|
| Horizonte más largo medido en la muestra (Claude 3.7 Sonnet) | 59 minutos | unos 15 minutos |
| Modelos punteros anteriores (GPT-4, Claude 3 Opus) en el conjunto de tareas difíciles | Rango de 5 a 30 minutos | No informado por separado |
| Tiempo de duplicación del horizonte | 212 días | 213 días |
| Horizonte con tasas de éxito muy altas, por ejemplo el 95 por ciento | No medido; METR afirma que no puede medirlo con confianza con su conjunto de datos | No medido |
Datos verificados. Fuente: METR, Measuring AI Ability to Complete Long Tasks, sección que compara los horizontes temporales al 50 y al 80 por ciento de éxito.
Lee con atención la última fila, porque es la línea más útil de la tabla. Nadie ha publicado una medición fiable de qué duración de tarea puede completar un agente con el nivel de fiabilidad que realmente exigirías antes de dejar algo sin supervisión. El estado honesto de la evidencia es que el horizonte de alta fiabilidad no es largo: está sin medir.
La segunda medición trata de consistencia y no de duración. El banco de pruebas tau-bench, construido por Yao, Shinn, Razavi y Narasimhan, evalúa agentes en dominios simulados de comercio minorista y aerolíneas donde deben usar herramientas, seguir una política de dominio escrita y conversar con un usuario simulado. Introdujo una métrica llamada pass^k, que no pregunta si un agente acierta una vez sino si acierta en los k intentos independientes sobre la misma tarea. El hallazgo del artículo es rotundo: agentes punteros con llamada a funciones como gpt-4o resuelven menos del 50 por ciento de las tareas, y pass^8 cae por debajo del 25 por ciento en el dominio minorista.
La inferencia que nadie extrae de pass^8
Aquí es donde los dos conjuntos de datos dejan de ser contexto y se convierten en un dato de diseño.
Si los fallos fueran aleatorios de intento a intento, un agente con un 50 por ciento de probabilidad en cada intento acertaría ocho veces seguidas en torno al 0,4 por ciento de las tareas. Eso es 0,5 elevado a ocho. La cifra medida está por debajo del 25 por ciento. Ambas cifras del banco de pruebas se informan como cotas superiores, así que el múltiplo exacto no puede fijarse, pero la consistencia medida está más de un orden de magnitud por encima de lo que produciría el fallo aleatorio por intento.
| Modelo de fallo | Proporción prevista de tareas superadas las ocho veces | Medido |
|---|---|---|
| Fallos independientes por intento, probabilidad uniforme del 50 por ciento | 0,4 % | No aplicable |
| tau-bench minorista, agente puntero con llamada a funciones | No aplicable | Menos del 25 % |
Marco editorial de CEOtudent: la cifra de independencia la calcula CEOtudent a partir de la tasa de éxito en un intento que informa el banco de pruebas, para compararla con el resultado pass^8 que este informa. El hallazgo es la distancia entre ambas, no ninguna de las dos por separado.
La distancia revela la estructura de los fallos. Si la tasa observada de ocho de ocho estuviera cerca de la predicción de independencia, los errores de los agentes serían esencialmente ruido y la respuesta correcta sería la redundancia: ejecutar dos veces, comparar. No está cerca de esa predicción. Una gran parte de las tareas acierta siempre y una gran parte falla siempre. La variación vive en la tarea, no en la ejecución.
Ese único hecho estructural descarta las dos estrategias de supervisión más habituales hoy.
El muestreo aleatorio es erróneo, porque los fallos no están repartidos al azar. Revisar una de cada diez salidas de un conjunto mezclado confirmará una y otra vez las tareas fiables mientras las poco fiables fallan de forma consistente y sin vigilancia.
Ejecutar dos veces y comparar también es erróneo, por la misma razón. Una tarea que el agente falla de forma consistente producirá dos respuestas seguras, coincidentes y equivocadas. La coincidencia entre dos ejecuciones no es evidencia cuando el modo de fallo es específico de la tarea.
Lo que la estructura exige en su lugar es clasificación. Hay que saber qué tareas pertenecen al conjunto fiable y cuáles no, y la única forma de saberlo es haber medido, que es la disciplina descrita en el techo de la delegación. El punto de control va sobre la clase, no sobre la muestra.
Dónde corresponde un punto de control: dos preguntas, cuatro respuestas
Todo lo anterior se estrecha hasta una regla de colocación. Dos propiedades de una tarea determinan dónde debe situarse la persona, y ninguna tiene que ver con lo difícil que sea.
La primera es la reversibilidad: cuánto cuesta deshacerlo. La segunda es la detectabilidad: si el agente se equivocó, ¿el error se anunciará solo o se quedará seis semanas callado en una hoja de cálculo?
| El error es evidente | El error es silencioso | |
|---|---|---|
| Barato de deshacer | Dejar correr. Sin punto de control. Corregir al descubrirlo, porque el descubrimiento está garantizado y la corrección es barata. Borradores, búsqueda exploratoria, esquemas, primeros resúmenes. | Muestrear y puntuar. Revisión de una proporción fija con una regla de puntuación escrita, sobre una clase de tareas definida y no al azar. Extracción de datos, etiquetado, categorización, transcripción. |
| Caro de deshacer | Barrera antes de confirmar. Una aprobación obligatoria inmediatamente antes del paso irreversible, no antes en la cadena. Publicar, enviar, presentar, fusionar. | Preautorizar y verificar de forma independiente. Define el conjunto de acciones permitidas antes de la ejecución y verifica el resultado contra una fuente que no sea el propio resumen del agente. Asientos financieros, compromisos externos, borrados, todo lo que toque el registro de un tercero. |
Matriz de Colocación de Puntos de Control de CEOtudent. Marco editorial. El eje de reversibilidad es práctica estándar de teoría de la decisión; el eje de detectabilidad y las cuatro colocaciones son construcción de CEOtudent.
Tres cosas de esta matriz conviene decirlas de forma explícita, porque son donde la gente se equivoca.
La casilla inferior izquierda dice que la barrera va inmediatamente antes del paso irreversible, y esa palabra inmediatamente carga con todo el peso. Buena parte de lo que pasa por supervisión es una aprobación colocada al principio de una cadena, sobre un plan, seguida de la ejecución no supervisada de ese plan. Aprobar el plan no es un punto de control sobre el resultado. El momento es la confirmación; ahí corresponde el punto de control.
La casilla superior derecha es la que casi todo el mundo desatiende. Los errores silenciosos en trabajo barato de deshacer parecen inofensivos, que es exactamente la razón por la que se acumulan. Una fila mal clasificada no cuesta nada ese día y lo cuesta todo el trimestre en que se decide sobre el agregado.
La casilla inferior derecha contiene la única instrucción de la matriz que exige una segunda fuente. Preguntar al agente si hizo bien la tarea no es verificación; es pedirle al fallo que se califique a sí mismo. El resumen que el agente hace de su propia ejecución lo produce el mismo proceso que produjo la ejecución.
La estructura de supervisión que merece la pena tomar prestada de la regulación
Hay un texto que resuelve un problema en el que la mayoría de los flujos de trabajo individuales no ha pensado, y está en la ley.
El artículo 14 del Reglamento de Inteligencia Artificial de la Unión Europea establece requisitos de supervisión humana para los sistemas de IA de alto riesgo. Vincula a proveedores y responsables del despliegue de esos sistemas, no a particulares que usan un asistente conversacional, y este artículo no sostiene lo contrario. Lo que lo hace digno de lectura es que no dice “una persona debe revisar la salida”. Especifica cinco capacidades distintas que la persona que supervisa debe poder ejercer, y esas cinco encajan limpiamente sobre los modos de fallo del trabajo corriente con agentes.
| Requisito del artículo 14, apartado 4, para sistemas de IA de alto riesgo | Traducción a un flujo de trabajo individual con agentes |
|---|---|
| (a) Entender adecuadamente las capacidades y limitaciones del sistema y vigilar su funcionamiento, incluida la detección de anomalías, disfunciones y rendimiento inesperado | Lleva un registro escrito de en qué clases de tareas falla tu agente. Sin ese registro no puedes clasificar, y sin clasificación la matriz anterior es inservible. |
| (b) Ser consciente de la posible tendencia a confiar automática o excesivamente en la salida | Da por hecho que revisarás menos de lo debido. Haz la revisión mecánica y programada en lugar de dejarla al criterio del momento. |
| (c) Interpretar correctamente la salida del sistema, teniendo en cuenta las herramientas y métodos de interpretación disponibles | Exige pasos intermedios y fuentes, no conclusiones. Una respuesta que no puedes rastrear es una respuesta que no puedes comprobar. |
| (d) Decidir no utilizar el sistema, o desatender, anular o revertir su salida | Mantén una lista escrita de acciones que el agente nunca puede ejecutar sin supervisión. Un límite que solo vive en tu cabeza no es un límite. |
| (e) Interrumpir el sistema mediante un botón de parada o procedimiento similar que permita detenerlo en un estado seguro | Define antes de empezar qué significa “detenido con seguridad”. ¿Qué estado debe quedar recuperable si cortas la ejecución en el minuto cuatro? |
La columna izquierda recoge en sustancia texto regulatorio verificado del artículo 14, apartado 4, del Reglamento (UE) 2024/1689. La columna derecha es la traducción editorial de CEOtudent y carece de valor jurídico.
El requisito (e) es el que sistemáticamente falta en los flujos de trabajo individuales. Casi todo el mundo puede detener un agente. Muchos menos han decidido de antemano en qué estado debe quedar el trabajo cuando lo hagan. Si tu agente va por la mitad de renombrar 400 archivos cuando lo interrumpes, la pregunta de si eso es recuperable se decidió antes de empezar, no al pulsar el botón.
El mismo instinto estructural aparece en el Marco de Gestión de Riesgos de Inteligencia Artificial del National Institute of Standards and Technology, que organiza el trabajo sobre riesgo en cuatro funciones, gobernar, mapear, medir y gestionar, en lugar de en un único paso de revisión. El hilo común de ambos documentos es que la supervisión es una propiedad del sistema, decidida de antemano, y no un acto de atención al final.
Por qué un punto de control existente puede fallar igualmente
La colocación es necesaria y no suficiente, y la evidencia de ello es más de una década anterior a la generación actual de herramientas.
Goddard, Roudsari y Wyatt publicaron en 2012 en el Journal of the American Medical Informatics Association una revisión sistemática sobre el sesgo de automatización, definido como la tendencia a confiar en exceso en la automatización. Cribaron 13.821 artículos e incluyeron 74. La revisión trata de apoyo a la decisión clínica, pero sus hallazgos estructurales se trasladan directamente, porque el mecanismo va de humanos supervisando máquinas y no de medicina.
Dos de sus resultados deberían cambiar cómo construyes el propio punto de control.
Primero, qué empeora el sesgo de automatización. La revisión identificó mediadores ambientales como la carga de trabajo, la complejidad de la tarea y la restricción de tiempo, que describe como presiones sobre los recursos cognitivos. Esa es la razón práctica de la aprobación en once segundos. Un punto de control programado en la hora más ocupada de tu semana es un punto de control diseñado para fallar, y ninguna intención de mirar con cuidado corregirá una restricción de tiempo estructural.
Segundo, qué lo mitiga. Entre los mitigadores identificados figuraban factores de implantación como la formación y el énfasis en la responsabilidad del usuario, y factores de diseño como la posición del consejo en la pantalla, los niveles de confianza actualizados adjuntos a la salida y la provisión de información en lugar de recomendación.
Ese último punto es la línea más accionable de toda la revisión. Información en lugar de recomendación. Un sistema que te tiende una recomendación invita a la aprobación; un sistema que te tiende la evidencia exige una decisión. Traducido a la práctica con agentes: indica al agente que devuelva lo que encontró y lo que hizo, con los pasos intermedios, en lugar de un veredicto acabado para que lo bendigas. El mismo prompt que produce una salida más limpia produce un punto de control más débil. Este es el núcleo operativo de informar bien a un agente, y va en contra del impulso de pedir la respuesta más pulcra posible.
El hallazgo sobre responsabilidad merece tomarse igual de literalmente. Escribe tu propio nombre en el registro antes de la ejecución, como persona responsable del resultado. Suena a teatro. La revisión encontró que funciona.
Todo junto: un caso trabajado
Tomemos un caso concreto. Se pide a un agente que revise 300 facturas de proveedores, extraiga importes y fechas, señale anomalías y actualice una hoja de seguimiento.
Clasifica primero las subtareas, porque la matriz opera sobre clases de tareas y esto son cuatro tareas con un solo abrigo.
La extracción de importes y fechas es barata de deshacer y silenciosa cuando falla: arriba a la derecha. Muestrear y puntuar, sobre una proporción fija, con una regla escrita de qué cuenta como correcto. No al azar sobre todo el lote, sino estratificado por formato de factura, porque la estructura que revela tau-bench predice que los fallos se agrupan por tipo de tarea, y aquí el tipo de tarea es el formato de factura.
El señalamiento de anomalías es barato de deshacer y evidente cuando falla, al menos en la dirección del falso positivo: arriba a la izquierda. Dejar correr. Una marca falsa aflora en cuanto la miras. La dirección del falso negativo es silenciosa, lo que es una limitación real, y la respuesta honesta es tratar el señalamiento como una ayuda y no como una cobertura.
Actualizar la hoja de seguimiento es caro de deshacer y silencioso: abajo a la derecha. Preautoriza las operaciones permitidas, solo añadir, sin sobrescribir, sin borrar, y verifica una muestra de las filas escritas contra las facturas de origen y no contra el informe del agente sobre lo que escribió.
Cualquier cosa que dispare un pago está abajo a la izquierda y es suficientemente evidente: barrera antes de confirmar, inmediatamente antes, sin agrupar aprobaciones.
Fíjate en lo que esto produce. Cuatro regímenes de supervisión distintos para un solo trabajo, tres de ellos más baratos que leerlo todo, uno más estricto que lo que la mayoría aplica hoy. Esa asimetría es la clave. La revisión uniforme es a la vez demasiado cara en el trabajo seguro y demasiado débil en el peligroso, que es precisamente por lo que resulta agotadora y aun así deja pasar errores.
Dimensionar el bloque sin supervisión
Una última consecuencia práctica de las cifras de METR.
Si quieres que el trabajo corra sin supervisión con algo cercano al 80 por ciento de fiabilidad, el horizonte publicado para el modelo más fuerte medido era de unos 15 minutos de trabajo humano equivalente. Esa es la unidad en torno a la que diseñar: segmenta el trabajo de modo que ningún tramo sin supervisión represente más de aproximadamente una cuarta parte de lo que el mismo sistema puede intentar con fiabilidad de cara o cruz.
Tres salvedades honestas acompañan a eso. Las tareas de METR están fuertemente sesgadas hacia la ingeniería de software y la investigación en aprendizaje automático, así que las cifras no se trasladan limpiamente al procesamiento de facturas o al correo. Los horizontes se duplican aproximadamente cada siete meses, así que cualquier cifra concreta en minutos tiene una vida útil corta. Y METR afirma con claridad que no puede medir con confianza los horizontes con tasas de éxito muy altas, así que la cifra que más querrías es la que nadie tiene.
Lo que sobrevive a las tres salvedades es la proporción y su dirección. Una fiabilidad exigida más alta compra tramos autónomos drásticamente más cortos, y ambos horizontes mejoran al mismo ritmo, de modo que la distancia entre ellos no se cierra. Modelos mejores dejarán que los agentes trabajen más tiempo. Con esta evidencia, no cerrarán la distancia entre “suele funcionar” y “funciona con suficiente fiabilidad para dejarlo solo”. En esa distancia vive el punto de control, y es estructural y no transitoria.
Es el emparejamiento del CEO y el estudiante en su forma más literal. El CEO decide de antemano dónde están los pasos irreversibles y quién responde por ellos. El estudiante mantiene al día el registro de fallos, porque la clasificación solo vale lo que valen las mediciones del mes pasado. Ninguna mitad funciona sin la otra, y ninguna mejora de los modelos hará por ti ninguno de los dos trabajos.
Preguntas frecuentes
¿Esto solo es relevante si uso agentes autónomos?
No. La matriz se apoya en la reversibilidad y la detectabilidad, no en el grado de autonomía. Una sola respuesta de asistente conversacional que pegas en un correo a un cliente es una tarea cara de deshacer y con error evidente, lo que la sitúa en la casilla de barrera-antes-de-confirmar, haya corrido algo sin supervisión o no. Lo que importa es qué toca la salida, no cómo se produjo. La pregunta de frontera relacionada se trata en qué decisiones delegar y cuáles no automatizar nunca.
¿Por qué no basta con ejecutar la tarea dos veces y comparar?
Porque el resultado pass^8 de tau-bench indica que los fallos se agrupan por tarea en lugar de dispersarse entre intentos. Dos ejecuciones de una tarea que el agente lleva mal tenderán a producir dos respuestas parecidas, seguras y equivocadas. La coincidencia entre ejecuciones solo es evidencia si los fallos son independientes, y los datos medidos dicen que no lo son.
¿Me aplica el artículo 14 del Reglamento de IA de la UE?
Casi con seguridad no del modo en que aplica al proveedor de un sistema de alto riesgo, y el artículo no sugiere lo contrario. Se usa aquí como una lista de comprobación bien redactada de lo que la supervisión tiene que poder hacer, porque nombra cinco capacidades concretas en lugar de aludir vagamente a una revisión. Toma prestada la estructura; no reclames el cumplimiento.
¿De qué tamaño debe ser la muestra en la casilla de muestrear y puntuar?
La literatura de revisión no da un número universal, e inventar uno sería falsa precisión. La regla de diseño que se deriva de los datos va de estratificación y no de tamaño: muestrea dentro de clases de tareas, no sobre todo el lote, porque ahí se concentran los fallos. Empieza con suficientes casos por clase para distinguir un fallo consistente de uno puntual, y luego ajusta según tu propio registro de fallos.
¿Y si mi punto de control nunca encuentra nada?
Dos posibilidades, y piden respuestas distintas. O bien esa clase de tareas es realmente fiable, en cuyo caso súbela en la matriz y recupera el tiempo, o bien estás aprobando en lugar de comprobando. La revisión sobre sesgo de automatización apunta primero al entorno: comprueba si la revisión está programada en una franja con tiempo real, y si el agente te tiende una recomendación para bendecir en lugar de evidencia para juzgar.
Fuentes
Thomas Kwa, Ben West, Joel Becker y colegas, Measuring AI Ability to Complete Long Tasks, METR, 2025, incluida la sección que compara los horizontes temporales al 50 y al 80 por ciento de éxito.
Shunyu Yao, Noah Shinn, Pedram Razavi y Karthik Narasimhan, tau-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains, 2024, que introduce la métrica de fiabilidad pass^k.
Reglamento (UE) 2024/1689 del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial, artículo 14 sobre supervisión humana, en particular los apartados 1, 2 y 4.
Kate Goddard, Abdul Roudsari y Jeremy C. Wyatt, Automation bias: a systematic review of frequency, effect mediators, and mitigators, Journal of the American Medical Informatics Association, volumen 19, número 1, 2012.
National Institute of Standards and Technology, Artificial Intelligence Risk Management Framework 1.0, 2023, y sus cuatro funciones principales.
METR, Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity, 2025, y la nota de febrero de 2026 que revisa la posición de la organización sobre ese resultado.
Oficina del Censo de los Estados Unidos, Business Trends and Outlook Survey, estimaciones de uso de inteligencia artificial para el periodo de diciembre de 2025 a mayo de 2026.
Este contenido fue recopilado con el apoyo de la IA tras una investigación exhaustiva, y luego redactado y preparado para su publicación por el equipo editorial de CEOtudent.
This post is also available in:
