L'IA se trompe : à quel taux, et comment le mesurer sur vos dossiers

Elle réussit une fois et ne tient pas la répétition. La question utile est : à quel taux, sur quelles questions, et qui l'a mesuré chez vous.

« L'IA se trompe-t-elle ? » Oui. La question utile est à quel taux, sur quelles questions, et qui l'a mesuré chez vous. Ce billet donne ce qui est mesuré, ce que ces mesures ne disent pas, et comment obtenir un chiffre qui vaut pour vos dossiers.

Ce que les bancs d'essai mesurent

Sur une question isolée, dont la réponse est dans ce qu'on lui donne, un modèle récent répond souvent juste. Sur des livrables professionnels notés en aveugle par des praticiens d'une quinzaine d'années d'expérience, les meilleurs modèles font jeu égal ou mieux dans 47,6 % des cas (GDPval, 2025). Ce chiffre dit une seule chose : « c'est un gadget » est faux.

La répétition est une autre affaire. Sur τ-bench, qui évalue des tâches de service en plusieurs tours avec des utilisateurs simulés, la probabilité de réussir huit fois de suite la même tâche tombe sous 25 %. Sur CRMArena-Pro, 4 280 tâches d'entreprise, le passage d'une question isolée à une conversation en plusieurs tours fait chuter la réussite de 58 % à 35 %. Sur SOP-Bench, qui donne au modèle des procédures écrites et complètes, un agent construit sur Claude 4 Opus réussit 72,4 % des tâches, en moyenne sur treize procédures. METR mesure la même chose autrement : la durée d'une tâche qu'un modèle réussit huit fois sur dix est environ cinq fois plus courte que celle qu'il réussit une fois sur deux.

Et l'arithmétique est sans appel sur une chaîne. Un dossier d'entreprise enchaîne facilement vingt opérations : lire une pièce, en extraire une donnée, la comparer, la reporter, reformuler. À 95 % de fiabilité par opération, la chaîne tient 36 % du temps. C'est de l'arithmétique, 0,95 à la puissance 20, pas une étude.

Brancher l'IA sur vos documents ne règle pas la question

L'idée vient vite : si le modèle invente, donnons-lui nos documents. La mesure dit autre chose. Sur CRAG, un banc d'essai de référence, la recherche dans les documents ajoute 17 points de réponses inventées par rapport au modèle seul. Sur FinanceBench, en configuration réaliste, 19 % des réponses sont justes. Sur RAGTruth, 43,1 % des réponses contiennent un passage inventé.

Les documents aident quand le dispositif autour vérifie ce qu'il en tire. Sans cela, ils donnent des réponses fausses mieux habillées, avec une citation à l'appui.

Ce que ces chiffres ne disent pas

Aucun de ces bancs d'essai ne porte sur un devis, un rapport ou un dossier de votre maison. Ils donnent des ordres de grandeur, et ils ont chacun une réserve : τ-bench simule ses utilisateurs et date de 2024, SOP-Bench mesure un seul agent sur treize procédures, GDPval note des livrables isolés. Un pourcentage général de fiabilité de l'IA n'existe pas, et quiconque vous en donne un ne l'a pas mesuré.

Ce qui existe, c'est un taux par question. Dans un dossier, certaines questions relèvent du constat : un critère existe, tout le monde trouverait la même réponse en regardant la pièce. Le client a-t-il fourni les cinq pièces demandées. La quantité du devis correspond-elle au plan. Le prix de la ligne correspond-il à la grille. Un programme applique le critère, et son taux d'erreur se mesure. D'autres demandent un jugement : deux personnes compétentes pourraient répondre différemment, et quelqu'un doit trancher. Ce prix est-il défendable sur cette affaire-là. Sur celles-là, aucun taux ne vaut, parce qu'aucun modèle ne remplace celui qui répond.

Comment on mesure le taux chez vous

La mesure se fait sur des dossiers déjà sortis, pas sur une démonstration. Voici la méthode, telle que nous la pratiquons.

1. On prend vingt dossiers récents, pas les plus beaux. Ceux qui savent disent pour chacun s'il était bon ou moins bon. C'est la base honnête : sans elle, aucun gain n'est vérifiable.
2. On sépare les questions. Pour chaque dossier, ce qui relève du constat et ce qui demande un jugement. Cette ligne n'est écrite nulle part ; l'écrire fait sortir ce que vos anciens savent sans le voir.
3. On fait tourner le logiciel sur les constats, et on compte. Un taux d'erreur par type de question, sur un échantillon tiré au hasard. Pas un taux global : un taux par question, parce qu'un logiciel juste sur les pièces manquantes peut être faux sur les quantités.
4. On fixe le seuil avec ceux qui savent. Sous le seuil, le logiciel traite seul, et vos équipes contrôlent le taux, pas les dossiers. Au-dessus, le dossier revient à qui sait trancher. Un cas que le logiciel n'a jamais vu remonte, il n'est jamais deviné.
5. On garde la trace. Ce que le logiciel a traité seul, ce qu'il a renvoyé, ce sur quoi il a hésité. Le taux se relit chaque mois sur un nouvel échantillon.

Si, sur une question, il n'existe pas de critère qu'un programme applique, cette question n'est pas un constat. Elle reste à vos équipes, et c'est un motif de refus, pas un détail.

Pourquoi tout relire ne protège pas

Le réflexe le plus répandu est de mettre une personne derrière la machine. C'est le dispositif que la recherche a mesuré, et il perd. Sur 106 expériences réunies par Vaccaro, Almaatouq et Malone (Nature Human Behaviour, 2024), le couple humain et machine fait en moyenne moins bien que le meilleur des deux seul. Une formation au biais d'automatisation ne protège pas davantage (NEJM AI, 2025). Celui qui relit une réponse qui se lit bien relit moins qu'il ne croit.

Ce qui gagne est écrit avant de construire : ce que la machine prend seule, avec son taux mesuré, et ce qu'elle ne prend jamais. Si quelqu'un doit relire derrière le logiciel, vous n'avez rien gagné. Vos équipes gardent les jugements.

Ce que nous ne savons pas

Nous ne savons pas à quel taux l'IA se trompe sur vos dossiers avant de l'avoir mesuré, et personne ne le sait. Nous ne savons pas non plus combien de temps un taux mesuré reste valable quand les dossiers changent : c'est pourquoi il se relit sur un nouvel échantillon, et pourquoi chaque dossier que vos équipes tranchent précise la ligne, sous votre contrôle. Enfin, une part de l'échec reste au niveau du modèle, la réponse confiante et fausse sur le cas rare. On la réduit, on ne l'élimine pas. C'est la raison d'être du chemin qui fait remonter les cas inconnus.

Une question pour ce soir

Prenez le dernier dossier parti de chez vous et la personne qui l'a relu. Listez ce qu'elle a vérifié. Pour chaque point, demandez : un programme aurait-il trouvé la même réponse en regardant la pièce ? Les oui sont les questions où un taux se mesure. Les non sont celles qui restent à ceux qui savent. Personne n'a cette liste écrite chez vous. L'écrire est le début du travail.

Sur le même sujet : si quelqu'un relit derrière l'IA, vous n'avez rien gagné, et ce que vos dossiers deviennent quand ils passent dans ChatGPT.

Les sources

• GDPval, OpenAI, 2025. 47,6 % de victoires ou d'égalités face à des praticiens d'environ quatorze ans d'expérience, sur des livrables isolés.
• τ-bench, Sierra, 2024. Tâches de service, utilisateurs simulés, modèles de 2024 : pass^8 sous 25 %.
• CRMArena-Pro, Salesforce AI Research, 2025. 4 280 tâches : 58 % en tour unique, 35 % en plusieurs tours.
• SOP-Bench, 2025. Claude 4 Opus en agent ReAct, moyenne sur treize procédures : 72,4 %.
• METR, 2025. L'horizon de tâche à 80 % de réussite est environ cinq fois plus court qu'à 50 %.
• CRAG, Meta, 2024 ; FinanceBench, 2023 ; RAGTruth, 2024. Recherche documentaire : 17 points d'inventions en plus, 19 % de réponses justes en configuration réaliste, 43,1 % de réponses avec un passage inventé.
• Vaccaro, Almaatouq et Malone, Nature Human Behaviour, 2024. Méta-analyse de 106 expériences.
• NEJM AI, 2025. La formation ne protège pas du biais d'automatisation.