TL;DR : “Gardez un humain dans la boucle” est devenu la réponse standard à toute question sur les agents IA, et ce n’est pas une réponse. Une boucle a une forme : où l’humain se tient, ce qu’on lui montre, ce qu’il peut arrêter et ce qui se passe quand il laisse passer quelque chose. Les mesures publiques permettent de concevoir cette forme au lieu de la deviner. Les travaux de METR sur l’horizon temporel montrent que la durée de tâche qu’un agent achève à 80 pour cent de réussite est environ cinq fois plus courte qu’à 50 pour cent, avec un écart de 59 à 15 minutes pour le modèle le plus fort de l’échantillon, et que les deux horizons doublent à peu près au même rythme, environ tous les sept mois. Le banc d’essai tau-bench a mesuré une réussite en une tentative inférieure à 50 pour cent et une constance sur huit tentatives inférieure à 25 pour cent pour des agents de pointe à appel de fonctions, chiffre bien supérieur à ce que produirait un échec aléatoire par tentative, ce qui implique que les échecs se concentrent sur certaines tâches. À partir de ces deux constats, de l’article 14 du règlement européen sur l’IA et de la littérature sur le biais d’automatisation, cet article construit une matrice de placement fondée sur deux questions : combien coûte l’annulation, et le remarqueriez-vous si cela tournait mal ?
Il y a un moment précis qui se répète partout dans le travail professionnel en ce moment. Un agent s’exécute, produit un bloc de sortie assuré, et une personne le regarde onze secondes puis l’approuve. Rien dans ce moment n’est un point de contrôle. Il en a la forme et aucune des fonctions, et la personne qui le fait le sait généralement.
L’instinct qui consiste à corriger cela en regardant plus attentivement est mauvais, car le problème n’est pas l’attention. C’est le placement. Un point de contrôle mal situé coûte la même attention et n’attrape rien.
Ce que disent réellement les données de fiabilité
Deux mesures font ici l’essentiel du travail, et aucune ne porte sur l’intelligence des modèles.
La première est la recherche de METR sur l’horizon temporel, qui pose une question de forme inhabituellement pratique : quelle longueur de tâche, mesurée par le temps qu’un expert humain met à l’accomplir, un modèle peut-il achever à un taux de réussite donné ? Pour les modèles publiés entre 2019 et 2025, l’horizon temporel à 50 pour cent a crû de façon exponentielle avec un temps de doublement d’environ sept mois. Ce titre est cité en permanence. La partie qui compte pour la conception des points de contrôle ne l’est presque jamais.
METR a aussi calculé l’horizon à 80 pour cent de réussite. Le temps de doublement est quasi identique, 213 jours contre 212 pour l’horizon à 50 pour cent : la vitesse de progression n’est donc pas le problème. Ce sont les niveaux. Selon les termes de METR, les horizons au seuil de fiabilité supérieur sont environ cinq fois plus courts sur l’ensemble des modèles étudiés, et le modèle au plus long horizon à 80 pour cent de l’échantillon, Claude 3.7 Sonnet, se situait autour de 15 minutes contre un horizon à 50 pour cent de 59 minutes, soit un écart d’un peu moins de quatre fois pour ce modèle précis.
| Mesure (METR, modèles publiés de 2019 à 2025) | Taux de réussite de 50 pour cent | Taux de réussite de 80 pour cent |
|---|---|---|
| Horizon le plus long mesuré dans l’échantillon (Claude 3.7 Sonnet) | 59 minutes | environ 15 minutes |
| Modèles de pointe antérieurs (GPT-4, Claude 3 Opus) sur la série de tâches difficiles | Fourchette de 5 à 30 minutes | Non rapporté séparément |
| Temps de doublement de l’horizon | 212 jours | 213 jours |
| Horizon à très haut taux de réussite, par exemple 95 pour cent | Non mesuré ; METR indique ne pas pouvoir le mesurer avec confiance sur son jeu de données | Non mesuré |
Données vérifiées. Source : METR, Measuring AI Ability to Complete Long Tasks, section comparant les horizons temporels à 50 et 80 pour cent de réussite.
Lisez attentivement la dernière ligne, car c’est la plus utile du tableau. Personne n’a publié de mesure fiable de la longueur de tâche qu’un agent peut achever au niveau de fiabilité que vous exigeriez réellement avant de laisser quelque chose tourner sans surveillance. L’état honnête des preuves est que l’horizon à haute fiabilité n’est pas long : il n’est pas mesuré.
La seconde mesure porte sur la constance plutôt que sur la longueur. Le banc d’essai tau-bench, construit par Yao, Shinn, Razavi et Narasimhan, évalue des agents dans des domaines simulés de commerce de détail et de transport aérien où ils doivent utiliser des outils, suivre une politique de domaine écrite et converser avec un utilisateur simulé. Il a introduit une métrique nommée pass^k, qui ne demande pas si un agent réussit une fois mais s’il réussit lors des k tentatives indépendantes sur la même tâche. Le constat de l’article est net : les agents de pointe à appel de fonctions comme gpt-4o réussissent moins de 50 pour cent des tâches, et pass^8 tombe sous 25 pour cent dans le domaine du commerce de détail.
L’inférence que personne ne tire de pass^8
C’est ici que les deux jeux de données cessent d’être un décor et deviennent une contrainte de conception.
Si les échecs étaient aléatoires d’une tentative à l’autre, un agent ayant 50 pour cent de chances à chaque essai réussirait huit fois de suite sur environ 0,4 pour cent des tâches. C’est 0,5 puissance huit. Le chiffre mesuré est inférieur à 25 pour cent. Les deux valeurs du banc d’essai sont rapportées comme des bornes supérieures, le multiple exact ne peut donc pas être fixé, mais la constance mesurée dépasse de plus d’un ordre de grandeur ce que produirait un échec aléatoire par tentative.
| Modèle d’échec | Part prédite des tâches réussies huit fois | Mesuré |
|---|---|---|
| Échecs indépendants par tentative, 50 pour cent de chances uniformes | 0,4 % | Sans objet |
| tau-bench commerce de détail, agent de pointe à appel de fonctions | Sans objet | Moins de 25 % |
Cadre éditorial CEOtudent : la valeur d’indépendance est calculée par CEOtudent à partir du taux de réussite en une tentative rapporté par le banc d’essai, pour comparaison avec le résultat pass^8 qu’il rapporte. Le constat est l’écart entre les deux, non l’un des deux chiffres.
L’écart révèle la structure des échecs. Si le taux observé de huit réussites sur huit était proche de la prédiction d’indépendance, les erreurs d’agent seraient essentiellement du bruit, et la bonne réponse serait la redondance : exécuter deux fois, comparer. Il n’en est pas proche. Une grande part des tâches réussit à chaque fois et une grande part échoue à chaque fois. La variation vit dans la tâche, pas dans l’exécution.
Ce seul fait structurel élimine les deux stratégies de supervision les plus répandues aujourd’hui.
Le contrôle ponctuel aléatoire est faux, car les échecs ne sont pas répartis au hasard. Prélever une sortie sur dix dans un ensemble mélangé confirmera sans cesse les tâches fiables pendant que les tâches non fiables échouent de façon constante, sans surveillance.
Exécuter deux fois et comparer est faux pour la même raison. Une tâche que l’agent rate systématiquement produira deux réponses assurées, concordantes et fausses. L’accord entre deux exécutions n’est pas une preuve quand le mode d’échec est propre à la tâche.
Ce que la structure exige à la place, c’est la classification. Il faut savoir quelles tâches appartiennent à l’ensemble fiable et lesquelles non, et le seul moyen de le savoir est d’avoir mesuré, ce qui est la discipline décrite dans le plafond de délégation. Le point de contrôle se place sur la classe, pas sur l’échantillon.
Où va un point de contrôle : deux questions, quatre réponses
Tout ce qui précède se resserre en une règle de placement. Deux propriétés d’une tâche déterminent où l’humain doit se tenir, et aucune ne concerne sa difficulté.
La première est la réversibilité : combien coûte l’annulation ? La seconde est la détectabilité : si l’agent s’est trompé, l’erreur s’annoncera-t-elle, ou restera-t-elle silencieuse six semaines dans un tableur ?
| L’erreur est visible | L’erreur est silencieuse | |
|---|---|---|
| Annulation peu coûteuse | Laisser courir. Aucun point de contrôle. Corriger à la découverte, car la découverte est garantie et la correction bon marché. Rédaction de brouillons, recherche exploratoire, plans, premiers résumés. | Échantillonner et noter. Relecture d’une part fixe avec une règle de notation écrite, sur une classe de tâches définie plutôt qu’au hasard. Extraction de données, étiquetage, catégorisation, transcription. |
| Annulation coûteuse | Barrière avant validation. Une approbation obligatoire immédiatement avant l’étape irréversible, pas plus tôt dans la chaîne. Publier, envoyer, soumettre, fusionner. | Pré-autoriser et vérifier indépendamment. Définir l’ensemble des actions permises avant l’exécution, et vérifier le résultat contre une source qui n’est pas le résumé de l’agent lui-même. Écritures financières, engagements externes, suppressions, tout ce qui touche le registre d’un tiers. |
Matrice de placement des points de contrôle CEOtudent. Cadre éditorial. L’axe de réversibilité relève de la théorie de la décision courante ; l’axe de détectabilité et les quatre placements sont une construction de CEOtudent.
Trois points de cette matrice méritent d’être explicités, car c’est là que l’on se trompe.
La case en bas à gauche dit que la barrière se place immédiatement avant l’étape irréversible, et ce mot immédiatement porte tout le poids. Une grande partie de ce qui passe pour de la supervision est une approbation placée au début d’une chaîne, sur un plan, suivie de l’exécution non supervisée de ce plan. Approuver le plan n’est pas un point de contrôle sur le résultat. Le moment, c’est la validation ; c’est là que va le point de contrôle.
La case en haut à droite est celle que presque tout le monde néglige. Les erreurs silencieuses dans un travail facile à annuler paraissent inoffensives, et c’est précisément pour cela qu’elles s’accumulent. Une ligne mal classée ne coûte rien le jour même et coûte tout le trimestre où une décision est prise sur l’agrégat.
La case en bas à droite contient la seule consigne de la matrice qui exige une seconde source. Demander à l’agent s’il a bien fait la tâche n’est pas une vérification : c’est demander à l’échec de se noter lui-même. Le résumé que l’agent fait de sa propre exécution est produit par le processus même qui a produit cette exécution.
La structure de supervision qu’il vaut la peine d’emprunter à la réglementation
Il existe un texte qui règle un problème auquel la plupart des flux de travail individuels n’ont jamais réfléchi, et il se trouve dans la loi.
L’article 14 du règlement européen sur l’intelligence artificielle fixe les exigences de supervision humaine pour les systèmes d’IA à haut risque. Il lie les fournisseurs et déployeurs de ces systèmes, non les particuliers utilisant un agent conversationnel, et cet article ne prétend pas le contraire. Ce qui le rend digne de lecture, c’est qu’il ne dit pas “un humain doit relire la sortie”. Il énumère cinq capacités distinctes que la personne chargée de la supervision doit pouvoir exercer, et ces cinq capacités recouvrent proprement les modes d’échec du travail ordinaire avec des agents.
| Exigence de l’article 14, paragraphe 4, pour les systèmes d’IA à haut risque | Traduction en flux de travail individuel avec un agent |
|---|---|
| (a) Comprendre correctement les capacités et les limites du système et surveiller son fonctionnement, y compris pour détecter anomalies, dysfonctionnements et performances inattendues | Tenez une trace écrite des classes de tâches sur lesquelles votre agent échoue. Sans cette trace, vous ne pouvez pas classer, et sans classification la matrice ci-dessus est inutilisable. |
| (b) Rester conscient de la tendance possible à se fier automatiquement ou excessivement à la sortie | Supposez que vous contrôlerez trop peu. Rendez le contrôle mécanique et planifié plutôt que laissé à l’appréciation du moment. |
| (c) Interpréter correctement la sortie du système, compte tenu des outils et méthodes d’interprétation disponibles | Exigez des étapes intermédiaires et des sources, pas des conclusions. Une réponse dont vous ne pouvez pas remonter le fil est une réponse que vous ne pouvez pas contrôler. |
| (d) Décider de ne pas utiliser le système, ou d’ignorer, contourner ou annuler sa sortie | Tenez une liste écrite des actions que l’agent ne peut jamais accomplir sans surveillance. Une limite qui ne vit que dans votre tête n’est pas une limite. |
| (e) Interrompre le système au moyen d’un bouton d’arrêt ou d’une procédure similaire permettant un arrêt dans un état sûr | Définissez avant de commencer ce que veut dire “arrêté en sécurité”. Quel état doit rester récupérable si vous coupez l’exécution à la quatrième minute ? |
La colonne de gauche restitue en substance le texte vérifié de l’article 14, paragraphe 4, du règlement (UE) 2024/1689. La colonne de droite est la traduction éditoriale de CEOtudent et n’a aucune portée juridique.
L’exigence (e) est celle qui manque systématiquement aux flux de travail individuels. La plupart des gens peuvent arrêter un agent. Bien moins nombreux sont ceux qui ont décidé à l’avance dans quel état le travail doit se trouver à ce moment-là. Si votre agent est à mi-chemin du renommage de 400 fichiers quand vous l’interrompez, la question de savoir si c’est récupérable s’est jouée avant le départ, pas au moment d’appuyer sur le bouton.
Le même instinct structurel apparaît dans le cadre de gestion des risques liés à l’intelligence artificielle du National Institute of Standards and Technology, qui organise le travail sur le risque en quatre fonctions, gouverner, cartographier, mesurer et gérer, plutôt qu’en une seule étape de relecture. Le fil commun aux deux documents est que la supervision est une propriété du système, décidée à l’avance, et non un acte d’attention accompli à la fin.
Pourquoi un point de contrôle existant peut malgré tout échouer
Le placement est nécessaire et non suffisant, et la preuve en précède de plus de dix ans la génération actuelle d’outils.
Goddard, Roudsari et Wyatt ont publié en 2012 dans le Journal of the American Medical Informatics Association une revue systématique sur le biais d’automatisation, défini comme la tendance à trop se fier à l’automatisation. Ils ont examiné 13 821 articles et en ont retenu 74. La revue porte sur l’aide à la décision clinique, mais ses constats structurels se transposent directement, car le mécanisme concerne des humains supervisant des machines et non la médecine.
Deux de ses résultats devraient changer la façon dont vous construisez le point de contrôle lui-même.
D’abord, ce qui aggrave le biais d’automatisation. La revue a identifié des médiateurs environnementaux dont la charge de travail, la complexité de la tâche et la contrainte de temps, qu’elle décrit comme mettant sous pression les ressources cognitives. C’est la raison pratique de l’approbation en onze secondes. Un point de contrôle placé dans l’heure la plus chargée de votre semaine est un point de contrôle conçu pour échouer, et aucune intention de regarder attentivement ne corrigera une contrainte de temps structurelle.
Ensuite, ce qui l’atténue. Parmi les facteurs atténuants identifiés figurent des facteurs de mise en œuvre comme la formation et l’accent mis sur la responsabilité de l’utilisateur, et des facteurs de conception comme la position du conseil à l’écran, les niveaux de confiance actualisés attachés à la sortie, et la fourniture d’information plutôt que de recommandation.
Ce dernier point est la ligne la plus actionnable de toute la revue. Information plutôt que recommandation. Un système qui vous tend une recommandation invite à l’approbation ; un système qui vous tend les preuves exige une décision. Traduit en pratique avec des agents : demandez à l’agent de renvoyer ce qu’il a trouvé et ce qu’il a fait, avec les étapes intermédiaires, plutôt qu’un verdict fini à bénir. Le même prompt qui produit une sortie plus nette produit un point de contrôle plus faible. C’est le cœur opérationnel du fait de bien briefer un agent, et cela va contre l’instinct de demander la réponse la plus soignée possible.
Le constat sur la responsabilité mérite d’être pris tout aussi littéralement. Inscrivez votre propre nom dans la trace avant le départ, comme personne responsable du résultat. Cela ressemble à du théâtre. La revue a constaté que cela fonctionne.
En pratique : un cas déroulé
Prenons un cas concret. Un agent doit parcourir 300 factures fournisseurs, extraire montants et dates, signaler les anomalies et mettre à jour une feuille de suivi.
Classez d’abord les sous-tâches, car la matrice opère sur des classes de tâches et il s’agit ici de quatre tâches sous un même manteau.
L’extraction des montants et des dates est peu coûteuse à annuler et silencieuse en cas d’erreur : en haut à droite. Échantillonner et noter, sur une part fixe, avec une règle écrite définissant ce qui compte comme correct. Non pas au hasard sur tout le lot, mais stratifié par format de facture, car la structure mise en évidence par tau-bench prédit que les échecs se regroupent par type de tâche, et le type de tâche est ici le format de facture.
Le signalement d’anomalies est peu coûteux à annuler et visible en cas d’erreur, du moins dans le sens des faux positifs : en haut à gauche. Laisser courir. Un faux signalement se voit immédiatement dès qu’on le regarde. Le sens des faux négatifs est silencieux, ce qui est une vraie limite, et la réponse honnête consiste à traiter le signalement comme une aide et non comme une couverture.
La mise à jour de la feuille de suivi est coûteuse à annuler et silencieuse : en bas à droite. Pré-autorisez les opérations permises, ajout seulement, pas d’écrasement, pas de suppression, et vérifiez un échantillon de lignes écrites contre les factures sources plutôt que contre le compte rendu de l’agent sur ce qu’il a écrit.
Tout ce qui déclenche un paiement relève du bas à gauche et est assez visible : barrière avant validation, immédiatement avant, sans regrouper les approbations.
Voyez ce que cela produit. Quatre régimes de supervision différents pour un seul travail, trois moins coûteux que de tout relire, un plus strict que ce que la plupart appliquent aujourd’hui. Cette asymétrie est tout le propos. La relecture uniforme est à la fois trop chère sur le travail sans risque et trop faible sur le travail dangereux, ce qui explique précisément pourquoi elle épuise et laisse malgré tout passer des erreurs.
Dimensionner le bloc non supervisé
Une dernière conséquence pratique des chiffres de METR.
Si vous voulez qu’un travail tourne sans surveillance à une fiabilité proche de 80 pour cent, l’horizon publié pour le modèle le plus fort mesuré était d’environ 15 minutes de travail humain équivalent. C’est l’unité autour de laquelle concevoir : segmentez le travail de sorte qu’aucune séquence non supervisée ne représente plus d’environ un quart de ce que le même système peut tenter à fiabilité de pile ou face.
Trois réserves honnêtes s’y attachent. Les tâches de METR penchent fortement vers l’ingénierie logicielle et la recherche en apprentissage automatique, les chiffres ne se transposent donc pas proprement au traitement de factures ou aux courriels. Les horizons doublent environ tous les sept mois, toute valeur en minutes a donc une courte durée de vie. Et METR indique clairement ne pas pouvoir mesurer avec confiance les horizons à très haut taux de réussite : le chiffre que vous voudriez le plus est celui que personne n’a.
Ce qui survit aux trois réserves, c’est le rapport et son sens. Une fiabilité exigée plus haute achète des séquences autonomes radicalement plus courtes, et les deux horizons progressent au même rythme, donc l’écart entre eux ne se referme pas. De meilleurs modèles laisseront les agents travailler plus longtemps. Sur cette base, ils ne combleront pas la distance entre “marche généralement” et “marche assez sûrement pour être laissé seul”. C’est dans cette distance que vit le point de contrôle, et elle est structurelle et non transitoire.
C’est l’appariement du dirigeant et de l’étudiant sous sa forme la plus littérale. Le dirigeant décide à l’avance où se trouvent les étapes irréversibles et qui en répond. L’étudiant tient à jour le journal des échecs, car la classification ne vaut que ce que valent les mesures du mois dernier. Aucune moitié ne fonctionne sans l’autre, et aucune amélioration des modèles ne fera l’un ou l’autre travail à votre place.
Foire aux questions
Est-ce pertinent seulement si j’utilise des agents autonomes ?
Non. La matrice repose sur la réversibilité et la détectabilité, pas sur le degré d’autonomie. Une simple réponse d’agent conversationnel collée dans un courriel client est une tâche coûteuse à annuler et à erreur visible, ce qui la place dans la case barrière-avant-validation, que quelque chose ait tourné sans surveillance ou non. Ce qui compte est ce que la sortie touche, pas la façon dont elle a été produite. La question de frontière associée est traitée dans quels choix déléguer et lesquels ne jamais automatiser.
Pourquoi exécuter la tâche deux fois et comparer ne suffit-il pas ?
Parce que le résultat pass^8 de tau-bench indique que les échecs se regroupent par tâche au lieu de se disperser entre tentatives. Deux exécutions d’une tâche que l’agent traite mal tendent à produire deux réponses semblables, assurées et fausses. L’accord entre exécutions n’est une preuve que si les échecs sont indépendants, et les données mesurées disent qu’ils ne le sont pas.
L’article 14 du règlement européen sur l’IA s’applique-t-il à moi ?
Presque certainement pas de la façon dont il s’applique au fournisseur d’un système à haut risque, et l’article ne le suggère pas. Il sert ici de liste de contrôle bien rédigée de ce que la supervision doit pouvoir faire, parce qu’il nomme cinq capacités précises au lieu d’évoquer vaguement une relecture. Empruntez la structure ; ne revendiquez pas la conformité.
Quelle taille d’échantillon noter dans la case échantillonner-et-noter ?
La littérature de synthèse ne donne pas de nombre universel, et en inventer un serait de la fausse précision. La règle de conception qui découle des données porte sur la stratification, non sur la taille : échantillonnez à l’intérieur des classes de tâches, pas sur tout le lot, car c’est là que se concentrent les échecs. Commencez avec assez de cas par classe pour distinguer un échec constant d’un accident isolé, puis ajustez d’après votre propre journal des échecs.
Et si mon point de contrôle ne trouve jamais rien ?
Deux possibilités, qui appellent des réponses différentes. Soit cette classe de tâches est réellement fiable, auquel cas remontez-la dans la matrice et récupérez le temps, soit vous approuvez au lieu de contrôler. La revue sur le biais d’automatisation désigne d’abord l’environnement : vérifiez si la relecture est placée dans un créneau où il y a vraiment du temps, et si l’agent vous tend une recommandation à bénir plutôt que des preuves à juger.
Sources
Thomas Kwa, Ben West, Joel Becker et collègues, Measuring AI Ability to Complete Long Tasks, METR, 2025, dont la section comparant les horizons temporels à 50 et 80 pour cent de réussite.
Shunyu Yao, Noah Shinn, Pedram Razavi et Karthik Narasimhan, tau-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains, 2024, introduisant la métrique de fiabilité pass^k.
Règlement (UE) 2024/1689 du Parlement européen et du Conseil établissant des règles harmonisées concernant l’intelligence artificielle, article 14 relatif au contrôle humain, en particulier les paragraphes 1, 2 et 4.
Kate Goddard, Abdul Roudsari et Jeremy C. Wyatt, Automation bias: a systematic review of frequency, effect mediators, and mitigators, Journal of the American Medical Informatics Association, volume 19, numéro 1, 2012.
National Institute of Standards and Technology, Artificial Intelligence Risk Management Framework 1.0, 2023, et ses quatre fonctions principales.
METR, Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity, 2025, et la note de février 2026 révisant la position de l’organisation sur ce résultat.
United States Census Bureau, Business Trends and Outlook Survey, estimations d’usage de l’intelligence artificielle couvrant décembre 2025 à mai 2026.
Ce contenu a été compilé avec le soutien de l’IA à la suite d’une recherche approfondie, puis rédigé et préparé pour publication par l’équipe éditoriale de CEOtudent.
This post is also available in:
