En bref : Les agents pilotant l’ordinateur, ces systèmes qui voient votre écran et manipulent souris et clavier, ont réalisé un véritable saut de capacité, et les démonstrations ne sont pas truquées. Mais les données publiées tracent une ligne nette que les démonstrations ne tracent pas. Sur OSWorld, le référentiel académique composé de 369 tâches courtes sur un vrai bureau, les agents sont passés de 12,24 pour cent de réussite au lancement en 2024 à des scores supérieurs au seuil humain de 72,36 pour cent. Sur OSWorld 2.0, publié en juin 2026 avec 108 flux de longue haleine qui demandent à un humain une médiane de 1,6 heure, le meilleur agent de pointe en termine 20,6 pour cent. Le même système obtient 83,5 pour cent sur le référentiel court et 20,6 pour cent sur le long. Cet écart est le chiffre le plus important du domaine, et il vous dit exactement où la délégation fonctionne et où elle détruit de la valeur. Ce guide fournit le tableau vérifié des résultats, une analyse dérivée du coût par tâche réellement achevée, la taxonomie publiée des six modes d’échec, et un cadre de délégation à trois paliers qui associe chaque type de travail à la supervision qu’il exige réellement. Un dirigeant achète de la fiabilité, pas des démonstrations ; un étudiant refait la vérification quand le modèle suivant arrive.
Quelque chose a réellement changé ces deux dernières années. Un système d’IA peut désormais regarder votre écran, trouver le bouton, cliquer, saisir dans le champ, passer d’une application à l’autre et poursuivre. Non pas via une intégration sur mesure construite par votre service informatique, mais exactement comme vous le faites, en regardant et en agissant. C’est la capacité que l’on imagine depuis le premier agent conversationnel, car c’est celle qui touche enfin à la forme réelle du travail de bureau, lequel n’est pas une conversation mais une longue série de petites manipulations réparties sur une demi-douzaine d’applications qui ne se parlent jamais correctement.
Les vidéos de démonstration sont convaincantes et, ce qui compte, elles ne sont pas truquées. Le problème est qu’une démonstration est un échantillon de taille un tiré d’une distribution que personne ne vous montre. La question utile n’est pas de savoir si un agent peut réserver un vol ou rapprocher un tableur, car la réponse est oui, parfois. La question utile est : à quelle fréquence, sur quel type de tâche, et que se passe-t-il le reste du temps. Cette question a maintenant de vraies réponses, publiées dans des travaux de référencement évalués par les pairs ou en prépublication, et ces réponses sont bien plus exploitables que l’enthousiasme comme que le rejet.
Le référentiel qui a défini le domaine, et celui qui l’a redéfini
OSWorld, présenté à NeurIPS 2024, fut la première tentative sérieuse de mesurer cela correctement. Il place un agent dans un vrai système d’exploitation avec de vraies applications et lui confie 369 tâches issues d’un usage réel de l’ordinateur : gestion de fichiers, navigation web, édition de documents et flux traversant plusieurs applications. Chaque tâche dispose d’une vérification scriptée fondée sur l’exécution : la réussite signifie donc que le fichier s’est réellement retrouvé dans le bon état, non qu’un modèle évaluateur a apprécié la transcription.
Deux chiffres de ce travail initial ancrent encore tout. Les humains accomplissent 72,36 pour cent des tâches, ce qui mérite qu’on s’y arrête, car cela signifie qu’il ne s’agit pas de courses triviales, même pour une personne. Et le meilleur modèle au lancement, en avril 2024, en accomplissait 12,24 pour cent. Les auteurs attribuaient l’écart principalement à l’ancrage sur l’interface, c’est-à-dire savoir où se trouve réellement l’élément à l’écran, et à la connaissance opératoire, c’est-à-dire connaître la manière conventionnelle dont une application attend d’être pilotée.
Cet écart s’est comblé vite. En deux ans environ, les scores rapportés sur OSWorld ont dépassé le seuil humain, et à la mi-2026 les principaux systèmes annoncent des chiffres dans les quatre-vingts. Lu isolément, c’est un récit de problème résolu et livré, et une large part des commentaires de 2026 l’a lu exactement ainsi.
Puis, en juin 2026, la même équipe de recherche a publié OSWorld 2.0, et le tableau a changé. Le nouveau référentiel contient 108 flux, chacun étant un travail réaliste de bout en bout plutôt qu’une course isolée. La contrainte de conception est la partie intéressante : chaque tâche demande à un utilisateur une médiane d’environ 1,6 heure. Là où une tâche du référentiel initial exigeait de l’agent une trentaine d’appels d’outils, celles du nouveau en réclament en moyenne 318,4 pour un modèle de pointe fonctionnant à effort de raisonnement maximal. Ce n’est pas une version plus difficile du même test. C’est un autre régime, bien plus proche de ce à quoi ressemble un vrai poste.
Sur ce référentiel, avec un budget de 500 étapes, le meilleur agent de pointe achève 20,6 pour cent des tâches.
Bien lire le tableau des résultats
Le tableau suivant présente les résultats publiés d’OSWorld 2.0 avec un budget de 500 étapes et un effort de raisonnement maximal, tels que documentés par les auteurs du référentiel. L’achèvement binaire signifie que le flux entier s’est terminé correctement. Le score partiel crédite les progrès accomplis en chemin. Le coût correspond à la dépense approximative rapportée par tentative.
| Système (tel que rapporté) | Achèvement binaire | Score partiel | Coût approximatif par tentative |
|---|---|---|---|
| Claude Opus 4.8 (par lots) | 20,6 % | 54,8 % | 72,4 $ |
| Claude Opus 4.8 (individuel) | 18,5 % | 49,3 % | 76,1 $ |
| Claude Opus 4.7 (par lots) | 18,2 % | 48,9 % | 33,6 $ |
| Claude Opus 4.7 (individuel) | 13,9 % | 49,1 % | 35,8 $ |
| GPT-5.5 (par lots) | 13,0 % | 49,5 % | 25,5 $ |
| Claude Sonnet 4.6 | 8,3 % | 41,5 % | 22,3 $ |
| MiniMax M3 | 4,6 % | 22,3 % | 2,4 $ |
| Kimi 2.6 | 4,6 % | 22,1 % | 6,6 $ |
| Qwen 3.7-Plus | 2,8 % | 21,5 % | 3,8 $ |
Deux caractéristiques de ce tableau comptent davantage que le classement.
La première est la distance entre la colonne binaire et la colonne partielle. Le système de tête achève complètement une tâche sur cinq, mais obtient 54,8 pour cent de progression partielle. Les agents n’échouent pas sur la ligne de départ. Ils avancent considérablement dans les flux longs, puis ne parviennent pas à conclure. Pour un responsable qui décide quoi déléguer, c’est toute l’histoire : sur une tâche longue, la production d’un agent pilotant l’ordinateur est généralement un travail à moitié fait, non un refus. Un travail à moitié fait qui a l’air terminé est le type de production le plus coûteux qui soit, car quelqu’un doit l’auditer avant de pouvoir s’y fier, et auditer un flux que l’on n’a pas exécuté soi-même est souvent plus lent que de l’exécuter.
La seconde est la falaise de référentiel. Les auteurs notent que la même configuration de Claude Opus 4.8 qui n’atteint que 20,6 pour cent d’achèvement binaire sur le référentiel long obtient 83,5 pour cent sur l’OSWorld initial. Un système, un instant donné, deux chiffres dans un rapport de quatre. Toute affirmation sur la fiabilité des agents qui ne précise pas la longueur des tâches est presque dépourvue de sens.
Ce que coûte réellement le manque de fiabilité
Le tableau publié donne le coût par tentative, mais ce n’est pas le chiffre qui intéresse une entreprise. Ce que vous voulez connaître, c’est le coût par tâche achevée, c’est-à-dire la dépense divisée par la probabilité que la tentative aboutisse réellement. Le tableau suivant, un cadre éditorial CEOtudent appliqué aux chiffres publiés ci-dessus, en fait la déduction.
| Système (tel que rapporté) | Achèvement binaire | Coût par tentative | Coût déduit par tâche achevée |
|---|---|---|---|
| MiniMax M3 | 4,6 % | 2,4 $ | ~52 $ |
| Qwen 3.7-Plus | 2,8 % | 3,8 $ | ~136 $ |
| Kimi 2.6 | 4,6 % | 6,6 $ | ~143 $ |
| Claude Opus 4.7 (par lots) | 18,2 % | 33,6 $ | ~185 $ |
| GPT-5.5 (par lots) | 13,0 % | 25,5 $ | ~196 $ |
| Claude Opus 4.7 (individuel) | 13,9 % | 35,8 $ | ~258 $ |
| Claude Sonnet 4.6 | 8,3 % | 22,3 $ | ~269 $ |
| Claude Opus 4.8 (par lots) | 20,6 % | 72,4 $ | ~352 $ |
| Claude Opus 4.8 (individuel) | 18,5 % | 76,1 $ | ~411 $ |
Lisez ceci comme une illustration de ce que coûte le manque de fiabilité, non comme un devis. Le calcul suppose que les tentatives sont indépendantes et qu’une tentative ratée ne vaut rien, et ni l’un ni l’autre n’est strictement vrai : une exécution ratée laisse souvent un travail partiel utilisable, et une tâche que l’agent rate une fois, il la ratera souvent de nouveau pour la même raison structurelle plutôt que de réussir au tirage suivant. Considérez ces chiffres comme une borne supérieure du coût naïf d’une reprise en force brute.
Même comme borne supérieure, la forme est instructive. Le système le moins cher par tâche achevée est aussi celui qui n’achève presque rien : un faible coût par réussite n’est donc pas un signal d’achat quand le taux de base est de 4,6 pour cent ; il vous faudrait attendre vingt et une tentatives. Et le système le plus performant est de loin le plus cher par réussite, car vous payez le tarif de pointe sur chaque tentative ratée aussi.
Placez maintenant un humain à côté. Le référentiel nous apprend que ces flux demandent à une personne une médiane de 1,6 heure. Avec un coût complet de travailleur du savoir situé entre 30 et 80 dollars de l’heure, fourchette qui varie énormément selon le poste et le marché et que nous donnons à titre purement indicatif, l’humain fait le travail pour environ 48 à 128 dollars, avec un taux d’achèvement proche de la certitude et le discernement nécessaire pour signaler que la tâche elle-même était mal spécifiée. Le calcul brut d’une tentative de l’agent est compétitif face à cela. Son coût par flux long réellement achevé ne l’est pas encore.
Ce n’est pas un argument contre la technologie. C’est un argument sur les tâches vers lesquelles la diriger, ce qui est une conclusion différente et bien plus utile.
Pourquoi les tâches longues échouent : la taxonomie publiée
Les auteurs d’OSWorld 2.0 ont accompli le travail réellement précieux consistant à catégoriser la manière dont les agents échouent plutôt qu’à seulement compter qu’ils échouent. Six schémas reviennent :
Suivi de l’information. Les agents manquent des informations présentes dans la consigne, visibles dans l’environnement ou fournies par le canal utilisateur.
Sensibilité au temps. Sur les étapes sensibles au temps, les longs intervalles entre l’observation et l’action font que celle-ci s’applique à un état d’interface déjà modifié.
Artefacts métier. Les agents peinent à interpréter et à produire correctement les formats de fichiers et conventions propres à un domaine.
Lacunes de vérification. Les agents omettent fréquemment de contrôler des propriétés critiques avant de soumettre et, fait frappant, ne corrigent pas des erreurs qu’ils avaient déjà remarquées.
Dérive d’état. L’information recueillie tôt est oubliée quand l’état de la tâche n’existe que dans un contexte de raisonnement compressé plutôt que dans l’environnement.
État caché. Tous les systèmes testés obtiennent leurs plus faibles scores là où la réussite exige d’inférer ce qui n’a jamais été énoncé : exigences implicites, suivi simultané de plusieurs éléments, résolution de consignes contradictoires et adaptation à des environnements qui changent sous eux.
Sous ces six schémas se trouve un constat qui mérite d’être le titre. Les auteurs rapportent que chaque modèle ne consacre presque rien de son budget à détecter et corriger ses propres erreurs, la récupération et la réparation représentant ensemble moins de 7 pour cent de l’effort sur l’ensemble des systèmes.
Voilà le mécanisme. Ces systèmes ne sont pas faibles pour faire des choses. Ils sont faibles pour remarquer que ce qu’ils viennent de faire était faux. Un humain compétent réalisant un flux de 1,6 heure consacre une part appréciable de ce temps à contrôler son propre travail et revérifie par réflexe après toute surprise. Un agent qui consacre moins de 7 pour cent de son budget à l’autocorrection portera une petite erreur initiale jusqu’au bout et vous remettra un résultat achevé avec assurance et faux. C’est précisément le profil d’échec que décrit le plafond de délégation : la contrainte n’est pas la capacité, c’est la charge de vérification que cette capacité vous renvoie.
Le cadre des paliers de délégation
En rassemblant les éléments, une règle pratique émerge. La fiabilité est fonction de la longueur de la tâche, du nombre d’applications et du fait que le résultat soit vérifiable en moins de temps qu’il n’en a fallu pour le produire. Le cadre à trois paliers ci-dessous, un cadre éditorial CEOtudent construit sur les schémas d’échec précédents, associe le travail de bureau à la supervision qu’il exige réellement.
| Palier | Profil de tâche | Base factuelle | Mode d’exécution | Position réaliste en 2026 |
|---|---|---|---|---|
| Palier 1 : déléguer | Court, une seule application, un état final clair, résultat vérifiable d’un coup d’oeil (renommer et classer un lot, extraire des champs d’un formulaire, remettre en forme un document, tirer un rapport défini) | La performance sur tâches courtes dépasse désormais le seuil humain de 72,36 % | Lancer et vérifier par sondage. Échantillonner le résultat plutôt qu’auditer chaque élément | Gains de temps réels disponibles dès aujourd’hui |
| Palier 2 : superviser | Plusieurs étapes, deux ou trois applications, 15 à 45 minutes de travail humain, réversible en cas d’erreur (synthèse concurrentielle à partir de sources nommées, présentation récurrente, rapprochement de deux listes) | Des scores partiels proches de 50 % signifient une progression substantielle, un faible achèvement binaire signifie une mauvaise conclusion | L’agent produit le brouillon, vous vérifiez à des points de contrôle nommés. Ne jamais accepter l’état final sans le lire | Le point d’équilibre réaliste ; vous achetez un premier jet, pas un résultat |
| Palier 3 : ne pas déléguer encore | Longue haleine, quatre applications ou plus, plus d’une heure, ou toute action irréversible (envoyer, payer, publier, supprimer, soumettre) | 20,6 % d’achèvement binaire sur des flux de 1,6 heure ; moins de 7 % du budget consacré à l’autocorrection | Décomposer en unités de paliers 1 et 2 avec des points de contrôle humains, ou faire soi-même | L’exécution sans supervision n’est pas étayée par les données |
Le mouvement de décomposition du palier 3 est celui qui paie. Un flux qui échoue en tant qu’instruction unique de 318 appels réussit souvent en cinq segments supervisés, parce que vous insérez la vérification que l’agent n’effectue pas pour lui-même. Vous contournez moins une limite que vous ne fournissez le composant manquant.
La règle d’irréversibilité
Une ligne traverse les trois paliers et mérite d’être énoncée à part, car c’est la règle qui évite le type coûteux d’erreur.
N’accordez jamais d’autorité sans supervision sur une action qui ne peut être annulée. Envoyer un courriel, soumettre un formulaire, effectuer un paiement, publier une publication, supprimer un enregistrement, accepter des conditions. Les données de référencement fournissent une justification remarquablement nette : un système qui consacre moins de 7 pour cent de son effort à l’autocorrection et obtient 20,6 pour cent sur les flux longs arrivera, dans la plupart des tentatives, à l’étape irréversible dans un état qu’il n’a pas vérifié. Le mode d’échec n’est pas qu’il refuse. C’est qu’il poursuit avec assurance.
L’asymétrie des coûts achève l’argument. Une erreur réversible vous coûte le temps de la refaire. Une erreur irréversible coûte ce qu’elle coûte, et vous l’apprenez après coup. Exiger une confirmation humaine exactement aux étapes irréversibles prend quelques secondes et supprime toute la queue de distribution. C’est de la gestion des risques opérationnels ordinaire, et elle s’applique ici sans changement.
Comment évaluer vous-même le prochain modèle
Les chiffres précis de cet article vieilliront, et ce n’est pas grave, car la méthode, elle, ne vieillira pas. Quand le prochain agent sortira avec un score impressionnant, quatre questions séparent une vraie affirmation de capacité d’une démonstration.
Quel référentiel, et quelle longueur de tâches ? Un score sur des tâches courtes en application unique ne dit rien du travail multi-applications d’une heure. Demandez explicitement le chiffre sur flux longs. L’écart d’un facteur quatre entre les deux générations d’OSWorld en est la raison.
Achèvement binaire ou crédit partiel ? Des scores partiels proches de 50 pour cent aux côtés de scores binaires proches de 20 pour cent décrivent un système qui parcourt presque tout le chemin sans conclure. Ce sont des produits différents. Exigez le chiffre binaire.
Quel budget d’étapes et de coût ? Des résultats obtenus à 500 étapes et effort de raisonnement maximal ne correspondent pas à la configuration que vous obtenez par défaut, et le coût par tentative à ce réglage peut être substantiel.
Quel est le taux d’autocorrection ? C’est l’indicateur avancé. Quand l’effort publié de récupération et de réparation dépassera nettement la fourchette actuelle inférieure à 7 pour cent, le tableau de la fiabilité changera sensiblement et le palier 3 commencera à s’ouvrir. D’ici là, considérez l’exécution autonome de longue haleine comme non étayée, quel que soit le score affiché.
C’est la même discipline d’évaluation que pour le choix d’un modèle selon la tâche : lisez le référentiel qui correspond à votre travail réel, pas celui qui flatte le lancement.
Le dirigeant et l’étudiant
Un dirigeant n’achète pas une capacité parce qu’une démonstration était impressionnante. Il demande ce qu’elle livre de façon fiable, à quel coût, avec quel mode d’échec, et ce que cet échec coûte quand il survient. Selon ce critère, les agents pilotant l’ordinateur sont en 2026 un achat évident pour les tâches courtes et délimitées, un achat solide pour la rédaction supervisée de flux moyens, et une abstention claire pour l’exécution autonome de longue haleine. Ce n’est pas une échappatoire. Ce sont trois décisions distinctes, et les données étayent chacune séparément.
La part de l’étudiant empêche cela de se figer. Ce domaine est passé de 12,24 pour cent à plus que le seuil humain sur les tâches courtes en environ deux ans. Le chiffre sur les flux longs bougera aussi. Celui qui a enterré les agents en 2024 après une mauvaise démonstration a tort aujourd’hui, et celui qui déclarerait aujourd’hui la délégation longue résolue aura tort dans l’autre sens. Ce qui survit aux deux erreurs, c’est l’habitude de revenir au référentiel, de poser les quatre questions ci-dessus et de ne faire monter une tâche d’un palier que lorsque les données l’autorisent.
Établissez dès maintenant la carte des paliers pour votre propre travail. La plupart des gens découvrent qu’ils ont plus de tâches de palier 1 qu’ils ne le pensaient, et c’est là que se trouve le rendement immédiat, et que certains de leurs flux de palier 3 se décomposent proprement en segments supervisés. Voilà toute l’opportunité de 2026 : non pas le bureau autonome, mais un bureau considérablement plus rapide, conduit par quelqu’un qui sait exactement où regarder.
Questions fréquentes
Les navigateurs agentiques diffèrent-ils des agents pilotant l’ordinateur ?
Un navigateur agentique opère à l’intérieur du navigateur : son monde se compose de pages web, d’onglets et de formulaires. Un agent pilotant l’ordinateur conduit tout le bureau, y compris les applications locales et le système de fichiers. Les agents limités au navigateur sont généralement plus fiables dans leur domaine plus étroit, l’environnement étant plus uniforme, mais la plupart des vrais flux de bureau franchissent la frontière entre navigateur et bureau, et c’est précisément là qu’apparaissent les modes d’échec multi-applications.
Si les agents dépassent le seuil humain sur OSWorld, pourquoi ne pas tout déléguer ?
Parce que ce seuil concerne des tâches courtes, le plus souvent dans une seule application. Les 72,36 pour cent humains comme les scores d’agents supérieurs proviennent du référentiel de 369 tâches. Sur le référentiel de longue haleine, où les tâches demandent à un humain une médiane de 1,6 heure, le meilleur agent en achève 20,6 pour cent. La variable qui décide de la délégation est la longueur de la tâche, non le score affiché.
L’achèvement partiel est-il utile ou sans valeur ?
Cela dépend entièrement de votre intention de vérifier le travail. Si vous attendiez un résultat fini, l’achèvement partiel est pire que sans valeur, car il paraît fini et vous transfère discrètement une tâche d’audit. Si vous demandiez un premier jet et comptiez le relire, un score partiel proche de 50 pour cent représente une valeur réelle. C’est pourquoi le palier 2 existe comme catégorie distincte.
Quel est le meilleur indicateur d’une fiabilité en progrès ?
La part de l’effort qu’un système consacre à détecter et corriger ses propres erreurs. Les chiffres publiés situent actuellement récupération et réparation sous 7 pour cent pour tous les systèmes testés. Comme la plupart des échecs sur flux longs remontent à des erreurs initiales non corrigées, la hausse de ce chiffre sera le signal que l’exécution autonome devient viable.
Les petites équipes doivent-elles attendre la maturité de la technologie ?
Non. La délégation de palier 1 fonctionne dès maintenant et c’est là que se situe le rendement immédiat. Ce que les petites équipes ne doivent pas faire, c’est bâtir un processus qui dépend d’une exécution autonome de longue haleine, car les données actuelles ne l’étayent pas, et un processus reposant sur une capacité qui n’existe pas encore échoue silencieusement et coûteusement.
Sources
- Xie et autres, OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments, NeurIPS 2024, section Jeux de données et Référentiels (arXiv:2404.07972)
- Yuan et autres, OSWorld 2.0: Benchmarking Computer Use Agents on Long-Horizon Real-World Tasks, juin 2026 (arXiv:2606.29537)
- XLANG Lab, Université de Hong Kong, documentation du référentiel OSWorld et méthodologie des résultats vérifiés
- OCDE, Intelligence artificielle et avenir du travail, analyse des politiques sur l’automatisation au niveau des tâches et la complémentarité
- Stanford Institute for Human-Centered Artificial Intelligence, AI Index Report, chapitres sur la performance technique et la saturation des référentiels
Ce contenu a été compilé avec le soutien de l’IA à la suite d’une recherche approfondie, puis rédigé et préparé pour publication par l’équipe éditoriale de CEOtudent.
This post is also available in:
