İşStrateji
0

Trabajar con agentes de IA sin perder la rendición de cuentas: el rediseño del mapa de responsabilidades para directivos

A manager reviewing and initialing a printed page at a sunlit desk before signing off, laptop beside them and a colleague in the background

En resumen. Delegar trabajo en un agente de IA delega la tarea, nunca la rendición de cuentas. En febrero de 2024, un tribunal de Columbia Británica rechazó el argumento de una aerolínea según el cual su chatbot era una entidad independiente responsable de sus propios actos, calificó ese alegato de «sorprendente» y declaró a la empresa responsable de toda la información de su sitio web. Ese principio es sencillo. La práctica dentro de las organizaciones no lo es. El estudio global de 2025 de KPMG y la Universidad de Melbourne, con 48.340 personas, concluyó que el 66 % de los empleados se había apoyado en resultados de la IA sin evaluar su exactitud, el 56 % había cometido errores en su trabajo por culpa de la IA y el 57 % había ocultado su uso de la IA o presentado contenido generado por IA como propio. Solo dos de cada cinco afirmaron que existía una política que orientara el uso de herramientas de IA generativa en el trabajo. En otra encuesta recogida por el AI Index de Stanford, el 14 % de los encuestados dijo que su organización contaba con roles dedicados a la gobernanza de la IA. Las normas ya describen cómo es un mapa de responsabilidades que funciona: la Ley de Inteligencia Artificial de la UE exige a los responsables del despliegue de sistemas de alto riesgo que encomienden la supervisión humana a personas con la competencia, la formación y la autoridad necesarias para ejercerla, y el Marco de Gestión de Riesgos de IA del NIST pide a las organizaciones que documenten quién es responsable de qué en las configuraciones humano-IA. Este artículo relaciona la conducta observada con esos requisitos y convierte la brecha en un rediseño que los directivos pueden aplicar a cualquier equipo que utilice agentes.

El argumento que nunca debería volver a plantearse

El caso es pequeño en dinero y grande en principios. Un cliente preguntó al chatbot del sitio web de una aerolínea por las tarifas por duelo, recibió información incorrecta sobre cómo solicitar un reembolso después del viaje y confió en ella. Cuando el cliente reclamó la diferencia, la aerolínea alegó, en esencia, que el chatbot era una entidad jurídica independiente responsable de sus propios actos.

El Civil Resolution Tribunal de Columbia Británica, en Moffatt v. Air Canada, 2024 BCCRT 149, lo calificó de «un alegato sorprendente». El miembro del tribunal escribió que, aunque un chatbot tiene un componente interactivo, sigue formando parte del sitio web de la empresa, y que la empresa es responsable de toda la información de su sitio web, tanto si procede de una página estática como de un chatbot. El tribunal concluyó que la aerolínea no había actuado con una diligencia razonable para garantizar la exactitud de su chatbot y le ordenó pagar un total de 812,02 $, compuesto por 650,88 $ en concepto de daños y perjuicios más los intereses previos a la sentencia y las tasas del tribunal.

Es una sola resolución de un tribunal de reclamaciones de menor cuantía en una provincia canadiense, y no vincula a nadie fuera de ella. Su valor está en que enuncia, en lenguaje corriente, el principio que todo directivo que utiliza agentes necesita interiorizar: la herramienta que produjo el resultado no es la parte que responde por él.

El problema es que la mayoría de los equipos no ha reconstruido su forma de trabajar en torno a ese principio. El mapa de responsabilidades que utilizan se trazó para un mundo en el que cada tarea la realizaba una persona a la que se le podía preguntar por qué.

Por qué se rompe el antiguo mapa de responsabilidades

La mayoría de los equipos funciona con alguna versión de una matriz de responsabilidades, formal o no: alguien hace el trabajo, alguien rinde cuentas del resultado, a alguien se le consulta, a alguien se le informa. El diseño da por hecho que la persona que hace el trabajo también puede explicarlo, darse cuenta de cuándo algo va mal y detenerse.

Un agente de IA rompe ese supuesto en tres puntos a la vez.

  1. Quien ejecuta no puede rendir cuentas. Un agente puede realizar una tarea, pero no se le pueden exigir responsabilidades, no se le puede sancionar ni se le puede pedir que asuma una consecuencia. La casilla de «responsable de la ejecución» la ocupa algo que no puede cargar con la responsabilidad.
  2. La revisión se convierte en aprobación. Cuando el resultado parece fluido, comprobarlo tiende a degradarse hasta convertirse en darle el visto bueno. La investigación sobre el sesgo de automatización, que tratamos en Supervisión humana por diseño, describe exactamente esta tendencia a confiar en exceso en los resultados automatizados.
  3. El trabajo se vuelve invisible. Si las personas usan agentes sin decirlo, el mapa del directivo muestra a una persona haciendo una tarea que en realidad hizo un sistema. Nadie puede gestionar un riesgo que no puede ver.

Ya existen datos sobre cada uno de estos puntos.

La brecha de rendición de cuentas dentro de las organizaciones: datos verificados

Datos verificados: cómo usan realmente las personas la IA en el trabajo y cómo la gobiernan las organizaciones

Indicador Valor Fuente
Muestra 48.340 personas en 47 países; 32.352 empleados respondieron a las preguntas sobre el uso de la IA en el trabajo KPMG y Universidad de Melbourne, 2025
Empleados que usan la IA intencionadamente en el trabajo de forma regular 58 % KPMG y Universidad de Melbourne, 2025
Empleados que se han apoyado en resultados de la IA sin evaluar la información que proporcionaba 66 % KPMG y Universidad de Melbourne, 2025
Empleados que han cometido errores en su trabajo por culpa de la IA 56 % KPMG y Universidad de Melbourne, 2025
Empleados que han ocultado su uso de la IA o presentado contenido generado por IA como propio 57 % KPMG y Universidad de Melbourne, 2025
Empleados que afirman que existe una política que orienta el uso de herramientas de IA generativa Dos de cada cinco KPMG y Universidad de Melbourne, 2025
Organizaciones con roles dedicados a la gobernanza de la IA 14 % de los encuestados Encuesta de McKinsey recogida en el AI Index 2025 de Stanford HAI
Incidentes relacionados con la IA registrados en la AI Incident Database, 2024 233, un 56,4 % más que en 2023 AI Index 2025 de Stanford HAI

Notas de lectura. El uso «regular» en el estudio de KPMG incluye a personas que usan la IA cada pocos meses, no solo a quienes la usan a diario. Las cifras del 66 % y el 56 % cuentan a cualquiera que declaró la conducta al menos en raras ocasiones; la proporción de quienes lo hacen de forma habitual es menor. El 57 % es una medida combinada de dos preguntas distintas. El recuento de incidentes se basa en informaciones de prensa y probablemente subestima la cifra real. Estas matizaciones hacen que las cifras sean más precisas, no menos preocupantes: las conductas están muy extendidas, aunque no sean universales.

Si se juntan las filas, la brecha es evidente. La mayoría de los empleados ya usa la IA, una mayoría ha utilizado sus resultados sin comprobarlos, una mayoría ha cometido errores por su causa, una mayoría ha mantenido en algún momento ese uso fuera de la vista, y la mayoría trabaja en organizaciones que no le han comunicado las reglas ni han designado a quién corresponde el riesgo.

Lo que ya exigen los marcos

Los directivos no necesitan inventar desde cero una estructura de responsabilidades. Dos marcos de referencia muy citados ya describen una.

La Ley de Inteligencia Artificial de la UE. El Reglamento (UE) 2024/1689 (Ley de Inteligencia Artificial) impone en su artículo 26 obligaciones específicas a los responsables del despliegue de sistemas de IA de alto riesgo. Los responsables del despliegue deben encomendar la supervisión humana a personas físicas que tengan la competencia, la formación y la autoridad necesarias, así como el apoyo necesario (artículo 26, apartado 2). Deben vigilar el funcionamiento del sistema con arreglo a sus instrucciones de uso y, si tienen motivos para considerar que presenta un riesgo, suspender su uso e informar al proveedor y a las autoridades (artículo 26, apartado 5). Deben conservar los registros que genere el sistema, en la medida en que estén bajo su control, durante al menos seis meses, salvo que otra normativa disponga otra cosa (artículo 26, apartado 6). Los empleadores deben informar a los representantes de los trabajadores y a los trabajadores afectados antes de poner en servicio un sistema de alto riesgo en el lugar de trabajo (artículo 26, apartado 7).

Hay dos fechas importantes. El Reglamento (UE) 2026/1744, que modifica el anterior y forma parte del ómnibus digital de la Comisión, entró en vigor el 27 de julio de 2026 y modificó la fecha de aplicación de estas obligaciones de alto riesgo: ahora se aplican desde el 2 de diciembre de 2027 a los sistemas clasificados como de alto riesgo con arreglo al anexo III, que incluye usos en el ámbito del empleo, y desde el 2 de agosto de 2028 a los sistemas cubiertos por la legislación de productos del anexo I. La misma modificación reescribió la obligación de alfabetización en IA del artículo 4, de modo que los proveedores y los responsables del despliegue deben adoptar medidas para apoyar la alfabetización en IA de su personal, sin estar obligados a garantizar un nivel concreto para ninguna persona.

La mayoría de los agentes de oficina que resumen, redactan e investigan no son sistemas de alto riesgo según la Ley, por lo que el artículo 26 no obligará jurídicamente a la mayoría de los lectores. Aun así, es la descripción más cuidadosamente redactada de un rol de supervisión operativo de que se dispone, y constituye una referencia de diseño sensata para cualquier equipo.

El Marco de Gestión de Riesgos de IA del NIST, versión 1.0. Su función GOVERN es explícita en cuanto a los roles. GOVERN 2.1 pide que los roles, las responsabilidades y las líneas de comunicación para gestionar el riesgo de la IA estén documentados y sean claros para las personas y los equipos. GOVERN 2.3 pide que la alta dirección asuma la responsabilidad de las decisiones sobre los riesgos de la IA. GOVERN 3.2 pide políticas y procedimientos que definan y diferencien los roles y las responsabilidades en las configuraciones humano-IA y en la supervisión de los sistemas de IA.

Ninguno de los dos marcos dice «la IA es responsable». Ambos dicen lo mismo que dijo el tribunal: una estructura humana con nombres propios debe hacerse cargo del resultado.

Relacionar la conducta con el requisito

Síntesis de CEOtudent: dónde la conducta observada rompe la estructura de responsabilidades

Conducta observada Proporción de empleados Elemento de responsabilidad que rompe Requisito de referencia Corrección del rediseño
Apoyarse en resultados de la IA sin evaluarlos 66 % No hay un verificador designado con autoridad para rechazar Ley de IA de la UE, art. 26(2); NIST GOVERN 2.1 Designar un Verificador para cada tipo de resultado del agente, distinto de la persona que dio las instrucciones al agente
Cometer errores en el trabajo por culpa de la IA 56 % No hay circuito de seguimiento ni nadie a cargo del escalado Ley de IA de la UE, art. 26(5) Llevar un registro de errores y designar quién decide pausar un flujo de trabajo con agentes
Ocultar el uso de la IA o presentar resultados de la IA como trabajo propio 57 % La delegación es invisible, así que el riesgo no se gestiona Ley de IA de la UE, art. 26(7) (transparencia en el lugar de trabajo) Hacer que declarar el uso de agentes sea una norma del equipo, no una confesión
Trabajar sin una política que oriente el uso de la IA generativa Aproximadamente tres de cada cinco no indican que exista una Roles y límites sin documentar NIST GOVERN 2.1 y 3.2 Publicar un mapa de responsabilidades de una página por cada flujo de trabajo con agentes
Roles de gobernanza dedicados implantados 14 % de los encuestados Nadie en la dirección es dueño del riesgo de la IA NIST GOVERN 2.3 Asignar un responsable que rinda cuentas por cada flujo de trabajo, con un nivel jerárquico que le dé autoridad para detenerlo
Acciones del agente sin registrar No medido en estos estudios No hay rastro de pruebas cuando algo sale mal Ley de IA de la UE, art. 26(6): registros durante al menos seis meses Conservar registros de ejecución de los flujos de trabajo con agentes que afecten a clientes, dinero o decisiones sobre personas

Proporciones de conducta de KPMG y Universidad de Melbourne, 2025, salvo la fila de roles de gobernanza, que recoge a los encuestados de los datos de McKinsey citados por Stanford HAI. «Aproximadamente tres de cada cinco» es una cifra derivada por CEOtudent a partir del hallazgo del informe de que solo dos de cada cinco afirman que una política orienta el uso. La correspondencia entre cada conducta, un requisito y una corrección es una síntesis editorial de CEOtudent; los marcos no hacen referencia a estos resultados de encuesta.

El Rediseño de Responsabilidades

El rediseño sustituye la única casilla de «responsable de la ejecución» que ahora ocupa un agente por un conjunto de roles humanos que, juntos, mantienen el resultado con un dueño. En un equipo pequeño, una misma persona puede asumir varios roles. La regla es que cada rol tenga un nombre.

Marco editorial de CEOtudent: el Rediseño de Responsabilidades para el trabajo con agentes

Etapa Mapa antiguo (una persona hace la tarea) Rol rediseñado Lo que debe poder hacer quien ocupa el rol No puede delegarse en el agente porque
Encargo Quien ejecuta interpreta la petición Delegante Especificar el objetivo, las restricciones, las fuentes y qué significa «terminado» El agente ejecuta las instrucciones que recibe; unas instrucciones vagas son un fallo humano
Ejecución Quien ejecuta realiza el trabajo Agente (herramienta) Realizar la tarea dentro de las instrucciones La ejecución es la única etapa de la que el agente puede hacerse cargo
Verificación Quien ejecuta se autocomprueba Verificador Contrastar el resultado con la fuente, no con su fluidez; rechazarlo El juicio independiente es el control; el agente no puede verificarse a sí mismo
Entrega El directivo aprueba Responsable (propietario) Asumir la consecuencia de que el resultado salga La rendición de cuentas recae en una persona u organización, nunca en la herramienta
Seguimiento Los problemas afloran a través de quien ejecuta Supervisor de seguimiento Vigilar los patrones de error entre ejecuciones y llevar el registro Los patrones solo aparecen a lo largo de muchos resultados
Parada Quien ejecuta se detiene cuando tiene dudas Autoridad de parada Pausar o desactivar el flujo de trabajo sin pedir permiso Un agente no reconoce de forma fiable cuándo debe detenerse
Explicación Quien ejecuta explica lo ocurrido Responsable, con ayuda del registro Reconstruir qué hizo el agente y por qué se entregó el resultado «Lo hizo el agente» es la respuesta que el tribunal rechazó

Este marco es una síntesis editorial de CEOtudent, basada en los roles de supervisión de los artículos 14 y 26 de la Ley de Inteligencia Artificial de la UE y en las categorías GOVERN 2 y 3 del Marco de Gestión de Riesgos de IA del NIST. Es un patrón de diseño, no una lista de verificación de cumplimiento normativo.

Tres reglas de diseño hacen que el rediseño funcione:

  1. El Verificador y el Delegante no deberían ser la misma persona en los resultados con consecuencias. Quien redactó las instrucciones ve lo que esperaba ver. En el trabajo de poco riesgo, una sola persona puede asumir ambos roles; en todo lo que llegue a un cliente, a un contrato o a una decisión sobre una persona, sepárelos.
  2. El Responsable debe tener autoridad para detener el flujo de trabajo. La redacción de la Ley de Inteligencia Artificial de la UE es precisa: competencia, formación y autoridad. Un responsable que no puede pausar un agente no es un responsable.
  3. La declaración del uso se integra en el diseño, no se vigila. Si la cifra del 57 % les dice algo a los directivos, es que las personas ocultan el uso de la IA cuando no están seguras de que esté permitido. Los equipos que hacen visible por defecto el uso de agentes ven su riesgo real; los que no lo hacen ven un mapa de un trabajo que ya no existe.

Para las habilidades previas de las que depende este rediseño, consulte Cómo delegar en un agente de IA para redactar las instrucciones, El manual del directivo de IA para evaluar los resultados y ¿Debería dejar que la IA decida? para saber qué decisiones no deberían delegarse nunca.

Tres patrones de fallo que conviene vigilar

«Lo hizo el agente». Se rastrea un error y la explicación se detiene en la herramienta. Es el caso del tribunal en miniatura. Si la revisión posterior a un incidente termina con el nombre de un sistema en lugar del nombre de un rol, al rediseño le falta un Responsable.

El visto bueno rutinario. Existe un Verificador sobre el papel, pero aprueba casi todo, porque el resultado se lee bien y la cola es larga. Una señal útil es la tasa de rechazo: un paso de verificación que casi nunca rechaza nada o está revisando un trabajo inusualmente fiable o no está revisando de verdad.

La cadena huérfana. El resultado de un agente se convierte en la entrada de otro agente, y ningún humano es dueño del resultado de principio a fin. Cada paso parece supervisado; el conjunto no lo está. Asigne la responsabilidad al resultado final, no a los pasos individuales.

Un rediseño en 30 días para un equipo

  • Semana 1: inventario. Enumere todas las tareas recurrentes en las que un agente o una herramienta de IA produce ahora resultados que salen del equipo. Pregunte directamente a las personas y deje claro que declararlo no conlleva ninguna sanción.
  • Semana 2: nombrar los roles. Para cada flujo de trabajo, anote quién es el Delegante, el Verificador, el Responsable y la Autoridad de parada. Cuando la misma persona ocupe los cuatro roles en un trabajo con consecuencias, separe al menos el de Verificador.
  • Semana 3: fijar el estándar de verificación. Para cada tipo de resultado, defina con qué contrasta el Verificador y empiece a registrar rechazos y errores.
  • Semana 4: hacer un simulacro. Elija un flujo de trabajo y recorra un error hipotético de principio a fin: quién lo detecta, quién lo pausa, quién lo explica, qué registro muestra lo ocurrido. Corrija cualquier paso que no tuviera nombre.

El resultado cabe en una página por flujo de trabajo. Esa página es también el documento que describe GOVERN 2.1 del marco del NIST, y el tipo de asignación de la supervisión que el artículo 26, apartado 2, de la Ley de Inteligencia Artificial de la UE exige a los responsables del despliegue de sistemas de alto riesgo.

El CEO y el estudiante

La visión del CEO. Un consejero delegado no puede delegar la rendición de cuentas en un subordinado, y menos aún en un software. Lo que sí puede hacer un CEO es diseñar una estructura en la que cada resultado con consecuencias tenga un responsable con nombre propio, competente, formado y facultado para detenerlo. Los agentes hacen que esa tarea de diseño sea más importante, no menos, porque multiplican el número de resultados que produce un equipo sin multiplicar el número de personas que pueden responder por ellos.

La visión del estudiante. El rol de verificación es una habilidad y, como cualquier habilidad, se deteriora si no se usa. Los equipos que siguen contrastando los resultados de los agentes con las fuentes conservan el criterio que hace posible esa comprobación. Los equipos que dejan de comprobar lo pierden, y solo descubren la pérdida cuando un error ya ha salido. Seguir siendo estudiante significa tratar cada resultado rechazado como información sobre en qué fallaron el agente, las instrucciones o el revisor.

Preguntas frecuentes

Si un agente de IA comete un error, ¿quién es responsable?
La organización y las personas que desplegaron la herramienta y dieron salida al resultado, no la herramienta. La resolución Moffatt v. Air Canada rechazó la idea de que un chatbot sea responsable de sus propias declaraciones. Se trata de una única resolución de un tribunal, no de un precedente vinculante en distintas jurisdicciones, y esto no constituye asesoramiento jurídico, pero su razonamiento coincide con la lógica de la Ley de Inteligencia Artificial de la UE y del marco del NIST.

¿Se aplica la Ley de Inteligencia Artificial de la UE a los agentes que usa mi equipo?
El artículo 26 se aplica a los responsables del despliegue de sistemas de IA de alto riesgo, como los sistemas enumerados en el anexo III, que incluye determinados usos en el ámbito del empleo. La mayoría de los agentes que se utilizan para redactar, resumir o investigar no son de alto riesgo. Tras la modificación del ómnibus digital, en vigor desde el 27 de julio de 2026, las obligaciones de alto riesgo del anexo III se aplican desde el 2 de diciembre de 2027. La obligación de alfabetización en IA del artículo 4 se aplica desde el 2 de febrero de 2025 y se modificó para exigir medidas que apoyen la alfabetización en IA.

¿Deben los empleados declarar cuándo usan la IA en su trabajo?
Desde el punto de vista de la rendición de cuentas, sí. La delegación invisible hace que la visión del directivo sobre quién hizo qué sea errónea, y un riesgo que no se ve no se puede gestionar. El estudio de KPMG concluyó que el 57 % de los empleados había ocultado su uso de la IA o presentado resultados de la IA como propios, lo que suele indicar reglas poco claras más que mala fe.

¿Necesita cada resultado de la IA un segundo revisor?
No. Ajuste la revisión a la consecuencia. Los borradores internos puede comprobarlos la persona que dio las instrucciones al agente. Los resultados que llegan a clientes, afectan al dinero o sirven de base para decisiones sobre personas deberían tener un Verificador que no sea el Delegante.

¿Cuál es la versión mínima viable de todo esto?
Una página por flujo de trabajo con agentes que nombre al Responsable, al Verificador y a la persona que puede detenerlo, más un registro sencillo de errores. Eso cubre lo esencial de lo que piden ambos marcos.

¿Cuánto tiempo deben conservarse los registros de los agentes?
En los sistemas de alto riesgo sujetos a la Ley de Inteligencia Artificial de la UE, los responsables del despliegue deben conservar los registros generados automáticamente que estén bajo su control durante al menos seis meses, salvo que otra normativa disponga otra cosa. En los flujos de trabajo ordinarios, conserve los registros el tiempo suficiente para reconstruir cualquier resultado que todavía pueda ser impugnado.

Fuentes

Reglamento (UE) 2024/1689 del Parlamento Europeo y del Consejo (Ley de Inteligencia Artificial), artículos 4, 14, 26 y 113, Diario Oficial de la Unión Europea, 12 de julio de 2024, y texto consolidado de 27 de julio de 2026.

Reglamento (UE) 2026/1744 por el que se modifica el Reglamento (UE) 2024/1689 (ómnibus digital sobre IA), Diario Oficial de la Unión Europea, 24 de julio de 2026.

National Institute of Standards and Technology, Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, enero de 2023, categorías GOVERN 2 y 3.

Nicole Gillespie, Steven Lockey, Tabi Ward, Alexandria Macdade y Gerard Hassed, Trust, attitudes and use of artificial intelligence: A global study 2025, The University of Melbourne y KPMG, 2025.

Moffatt v. Air Canada, 2024 BCCRT 149, Civil Resolution Tribunal de Columbia Británica, resolución de 14 de febrero de 2024.

Stanford Institute for Human-Centered Artificial Intelligence, Artificial Intelligence Index Report 2025, capítulo 3, Responsible AI.


Este contenido fue recopilado con el apoyo de la IA tras una investigación exhaustiva, y luego redactado y preparado para su publicación por el equipo editorial de CEOtudent.

This post is also available in: Türkçe English Français Deutsch

Benzer içerikler