Ce que nous vendons, et ce sur quoi ça repose vraiment.

Le registre

1. « Si quelqu'un doit relire derrière le logiciel, vous n'avez rien gagné. »

   Page d'accueil · le billet « Relire derrière l'IA »

   Mesuré

   Vaccaro, Almaatouq et Malone, « When combinations of humans and AI are useful », Nature Human Behaviour 2024;8:2293-2303, protocole pré-enregistré : 5 126 articles criblés, 74 études, 106 expériences. En moyenne, le couple humain-IA fait moins bien que le meilleur des deux seul (g = −0,23, IC 95 % −0,39 à −0,07). Les auteurs écrivent eux-mêmes que plus de 95 % des dispositifs mesurés laissaient la décision finale à l'humain après l'avis de l'IA, et qu'ils auraient sans doute obtenu mieux en concevant d'avance des dispositifs où l'IA ne fait que les parties où elle est clairement meilleure. Qazi et al., NEJM AI 2025 : 44 médecins formés vingt heures à l'IA, exactitude de 84,9 % à 73,3 % quand l'aide est faussée. Skitka et al., 1999 : le biais persiste chez des participants prévenus que l'aide est faillible.

   Où ça s'arrêteLe partage conçu à l'avance n'a été testé que 3 fois sur 106 (g = 0,22, p = 0,494) : c'est la voie que les auteurs désignent, pas une voie démontrée. Le biais d'automatisation est mesuré sur des aides à la décision d'avant les modèles de langage, surtout en laboratoire et en clinique ; son application à ces modèles est une analogie forte, pas une mesure. Et la littérature inverse existe, l'aversion à l'algorithme : la direction dépend de la tâche et de ce que la personne a vu la machine rater.

   Ouvrir la source primaire →

2. « En trois semaines, nous le comptons sur vos vingt derniers dossiers, avec l'IA que vous avez déjà. »

   Page d'accueil · la mesure

   Mesuré, une fois

   Le dispositif que la mesure prépare, l'outil traite seul ce qu'il sait lire et renvoie le reste, est le seul dont l'effet soit mesuré en essai randomisé contre le vrai standard : MASAI, The Lancet 2026;407:505-514, 105 934 femmes, dépistage du cancer du sein en Suède. Sensibilité 80,5 % contre 73,8 %, spécificité identique (98,5 %), charge de lecture réduite de 44 %, cancers d'intervalle non inférieurs. Financé par la Société suédoise du cancer, pas par l'éditeur. Leibig et al., Lancet Digital Health 2022, sur 1 193 197 mammographies, avait trouvé la même chose : l'IA seule est moins bonne que le radiologue moyen, mais l'IA qui traite les 63 % de cas qu'elle sait tenir et renvoie les 37 % restants le bat sur les deux axes. Ce que ces deux études ont en commun avec la mesure : avant de laisser l'outil trancher seul, on a compté sur quels cas il a raison.

   Où ça s'arrêteToute la preuve vient de l'imagerie médicale ; nous avons cherché un équivalent mesuré en PME, sur des devis ou des rapports, et il n'en existe pas. Et vingt dossiers font un petit échantillon : quinze réussites sur vingt donnent 75 %, mais l'intervalle plausible va d'environ 51 à 91 %. La mesure dit donc un ordre de grandeur et sur quelles questions l'outil se trompe, pas un taux à la décimale. C'est la raison de la clause : si le résultat ne permet pas de décider, elle n'est pas due.

   Ouvrir la source primaire →

3. « Un modèle qui traite bien un dossier n'en traite pas cent d'affilée. »

   Page « Là où l'erreur coûte cher »

   Mesuré

   τ-bench (Yao et al., arXiv:2406.12045), mot pour mot : même les meilleurs agents à appel de fonctions (comme gpt-4o) réussissent moins de 50 % des tâches, et sont très inconstants — pass^8 inférieur à 25 % en commerce de détail. CRMArena-Pro (Salesforce Research, arXiv:2505.18878) : les meilleurs agents atteignent environ 58 % de réussite en un tour, et tombent à 35 % en multi-tours, sur dix-neuf tâches validées par des experts. METR (arXiv:2503.14499) mesure que l'horizon de fiabilité à 80 % est « environ 5 fois plus court » que celui à 50 % — tous les titres du type « l'IA fait maintenant des tâches de X heures » citent le seuil du pile ou face.

   Où ça s'arrêteτ-bench tourne sur des utilisateurs simulés et une base synthétique, avec des modèles de 2024. Et le contrepoids a sa place ici : sur GDPval (arXiv:2510.04374, le banc d'essai d'OpenAI lui-même), 47,6 % des livrables de Claude Opus 4.1 ont égalé ou battu ceux de professionnels ayant en moyenne quatorze ans d'expérience — sur le sous-ensemble de référence. La qualité en un coup, c'est la démonstration. La répétition contre un état, c'est la production. Les deux sont vraies.

   Ouvrir la source primaire →

4. « Personne n'est remplacé. Le logiciel applique leurs règles. »

   Profil · entrée Experience

   Mesuré

   Goldberg, « Man versus model of man », Psychological Bulletin 73(6), 1970, p. 422-432. Des modèles par moindres carrés ont été construits pour chacun de 29 psychologues cliniciens, à partir de leurs propres jugements sur 861 profils MMPI. Construits sur les 861 cas, 86 % de ces modèles prédisaient le diagnostic réel mieux que le clinicien dont ils étaient tirés (p < .001, test des signes) ; pour 28 des 29 juges (97 %), le modèle était au moins aussi valide. Le papier énonce le mécanisme sans détour : le clinicien « a ses jours » — ennui, fatigue, distraction — et le modèle retire ce bruit, pas le savoir.

   Où ça s'arrêteL'avantage diminue avec la taille de l'échantillon dont le modèle est tiré : 86 % sur tous les cas, 79 % sur un septième, 72 % sur un dixième, 62 % sur 33 cas. Et la limite honnête : le modelage n'a PAS amélioré le jugement composite des 29 cliniciens mis en commun. Face à plusieurs experts réunis, l'avantage disparaît. Un jugement clinique des années 1970 n'est pas un chiffrage d'affaire.

   Ouvrir la source primaire →

5. « Vos concurrents peuvent obtenir les mêmes modèles que vous. Pas votre savoir-faire. »

   Page d'accueil

   Mesuré

   Brynjolfsson, Li & Raymond, « Generative AI at Work », NBER w31161 (publié dans le Quarterly Journal of Economics 140(2), 2025). 5 179 agents de support client, 3 millions de conversations, déploiement échelonné, doubles différences sur les journaux administratifs de l'entreprise. L'accès à l'assistant augmente le nombre de dossiers résolus par heure de 14 % en moyenne — 34 % chez les novices et les moins qualifiés, avec un effet minime sur les expérimentés et les très qualifiés. L'outil était entraîné sur le corpus de l'entreprise, en surpondérant les conversations des meilleurs.

   Où ça s'arrêteLes auteurs qualifient eux-mêmes de « suggestive » la preuve que le modèle diffuse les bonnes pratiques, et le protocole est quasi-expérimental, pas un essai randomisé. Nous avons lu le document de travail NBER, gratuit (5 179 agents, 14 %) ; la version publiée, payante, rapporte 5 172 et 15 % — nous citons ce que nous avons ouvert. 89 % des agents travaillaient hors des États-Unis, surtout aux Philippines. Et il n'y a aucun bras de contrôle « IA générique » : voir la dernière entrée.

   Ouvrir la source primaire →

6. « Ce qu'il vous coûte aujourd'hui, estimé avec vos chiffres. »

   Page d'accueil · questions fréquentes

   Joue contre nous

   METR (arXiv:2507.09089) : un essai contrôlé randomisé sur 16 développeurs open source expérimentés, traitant 246 tickets réels dans des dépôts sur lesquels ils travaillaient depuis environ cinq ans. Ils prévoyaient que l'IA réduirait leur temps de 24 %. Après coup, ils estimaient qu'elle l'avait réduit de 20 %. Mesuré : elle a augmenté le temps de 19 %. Les économistes avaient prédit −39 %, les experts en apprentissage automatique −38 %. Humlum & Vestergaard (NBER w33777) : 25 000 salariés dans 7 000 établissements, sur 11 métiers exposés au Danemark, réponses appariées aux registres administratifs — des effets nuls précis sur les salaires et les heures, « excluant tout effet supérieur à 2 % » deux ans après. Les utilisateurs déclarent économiser environ 3 % de leurs heures, et 85 % d'entre eux réaffectent ce temps à d'autres tâches.

   Où ça s'arrêteMETR, ce sont 16 développeurs, tous mainteneurs experts, et ses auteurs disent explicitement que ce n'est pas une preuve que l'IA ne fait pas gagner de temps à la plupart des développeurs. Généraliser l'écart de perception, jamais le +19 %. Humlum mesure des salaires et des heures, pas la qualité du travail. Ce que les deux établissent est étroit et suffisant : l'auto-déclaration se trompe de signe, donc un chiffre accepté avant de commencer n'est pas une formalité.

   Ouvrir la source primaire →

7. « Le logiciel est à vous : il évolue sans moi, aucun abonnement à ma présence. »

   Page entreprise · profil

   Mesuré, une fois

   Soloway, Bachant & Jensen (les deux derniers chez Digital Equipment Corporation), AAAI-87, p. 824-829, publié alors que XCON était en production. Mot pour mot : « En 7 ans, XCON est passé à environ 6 200 règles, dont approximativement 50 % changent chaque année. Alors que la performance de XCON est satisfaisante, il devient de plus en plus difficile à modifier. » Il avait démarré à environ 700 règles, et le papier note que « les problèmes de mise à jour continue d'un système aussi grand ne croissent pas linéairement ». Le système marchait. C'est le garder en vie qui était le problème.

   Où ça s'arrêteUn seul cas industriel, 1987, un système à règles et non un modèle. Le mécanisme se transfère — ce qui tue ces systèmes, c'est la garde et la maintenance, jamais la qualité du savoir — les chiffres non. L'étude que nous voulions mettre à côté, l'enquête de Gill (MIS Quarterly, 1995) sur le devenir des premiers systèmes experts, est payante partout où nous avons cherché. Nous ne l'avons pas lue, donc elle n'est pas ici.

   Ouvrir la source primaire →

8. « Le nôtre donne son taux d'erreur, mesuré, et un échantillon tiré au hasard pour le vérifier. »

   Page d'accueil

   Joue contre nous

   Kwan et al., BMJ 2020;370:m3216 — 108 études, 122 essais, 1 203 053 patients et 10 790 praticiens. L'aide à la décision augmente la part de patients recevant le soin voulu de 5,8 points de pourcentage (IC 95 % : 4,0 à 7,6). Mais dans les 30 essais qui rapportent un critère clinique, l'amélioration médiane est de 0,3 % (écart interquartile −0,7 % à +1,9 %). Le comportement bouge de façon fiable. Le résultat, beaucoup moins. Roshanov et al., BMJ 2013;346:f657 — méta-régression de 162 essais randomisés : les systèmes évalués par leurs propres concepteurs affichent un rapport de cotes de 4,35 (IC 95 % : 1,66 à 11,44), un résultat que les auteurs décrivent comme robuste selon les méthodes et en validation interne.

   Où ça s'arrêteCe dernier chiffre nous vise. Nous construisons le logiciel et nous serions ceux qui en rendent compte. Il n'y a pas de réponse rhétorique à cela — seulement une réponse structurelle : la base est acceptée par vous avant qu'on commence, et mesurée contre ce que le travail coûte aujourd'hui, ce qui est le seul dispositif qu'un concepteur ne peut pas noter en silence. Les deux papiers sont médicaux ; les transporter vers un chiffrage d'affaire est un raisonnement, pas une mesure. Et l'hétérogénéité est forte (I² = 76 %) — le quartile supérieur des résultats va de 10 % à 62 %.

   Ouvrir la source primaire →

9. « Pour les PME françaises de 50 à 500 salariés. »

   Page d'accueil · page service

   Mesuré, une fois

   Aldasoro, Gambacorta, Pal, Revoltella, Weiss & Wolski, « AI adoption, productivity and employment: evidence from European firms », EIB Economics Working Paper 2026/02. L'enquête annuelle de la Banque européenne d'investissement, rapprochée des comptes de plus de 12 000 entreprises non financières. En moyenne, l'adoption de l'IA augmente la productivité du travail de 4 %. Par taille (tableau 5) : de 5 à 9 salariés, −0,059, non significatif ; de 10 à 49, −0,041, non significatif ; de 50 à 249, +0,040, significatif au seuil de 10 % ; 250 et plus, +0,079, significatif au seuil de 1 %. Cinquante salariés est la plus petite taille où un effet apparaît.

   Où ça s'arrêteL'étude est européenne et ne donne aucun résultat pour la France seule. Elle compte comme IA « l'analyse de données massives et l'IA », ce qui est plus large que l'IA générative. La productivité est le chiffre d'affaires par salarié déclaré dans l'enquête. L'effet de 50 à 249 salariés ne passe que le seuil de 10 %, le plus large des seuils usuels. La moitié haute de notre cible, de 250 à 500, tombe dans un groupe « 250 et plus » que l'étude ne découpe pas. Nous avions fixé le seuil de 50 avant de lire cette étude.

   Ouvrir la source primaire →

10. « En six semaines, nous écrivons avec vos équipes ce qu'un logiciel peut prendre seul dans ce travail, ce qui reste à ceux qui savent, et le plan pour le construire. »

    Page d'accueil

    Joue contre nous

    Calvino & Fontanelli, « AI users are not all alike: the characteristics of French firms buying and developing AI », CESifo Working Paper 11466 (paru dans Research Policy, 2026). Enquête de l'INSEE sur l'usage de l'IA en 2018, environ 9 000 entreprises françaises de 10 salariés et plus. Les auteurs séparent les entreprises qui achètent leur IA à un prestataire, « toute faite ou sur mesure », de celles qui la développent elles-mêmes. Chez les premières (9,83 % des entreprises), le lien avec la productivité s'explique par la sélection : elles étaient déjà plus productives. Chez les secondes (3,11 %), il reste positif et significatif une fois la sélection prise en compte. Un logiciel que nous construisons pour vous est, dans ce classement, un logiciel acheté.

    Où ça s'arrêteLe groupe des acheteurs mélange le tout fait et le sur-mesure, et l'étude ne les sépare jamais : elle ne dit donc rien du sur-mesure seul. Les données datent de 2018 et portent sur l'IA qui prévoit et qui classe, avant l'IA générative. L'explication des auteurs est une interprétation qu'ils ne testent pas : développer chez soi permet d'ajuster l'outil à ses besoins, de l'intégrer à son organisation et de le modifier d'après les retours. Construire avec ceux qui font le travail répond aux deux premiers points. Le troisième dépend de qui, chez vous, modifiera une règle après notre départ. Dans les données, le second groupe se distingue par la présence d'informaticiens spécialisés parmi ses salariés. Nous avons lu le document de travail ; la version publiée est payante.

    Ouvrir la source primaire →

11. « Un assistant ancré sur votre savoir-faire bat un modèle générique sur votre travail. »

    L'affirmation qui porte toute l'offre

    Non testé

    Rien ne la teste directement. Aucune expérience randomisée de terrain ne compare un assistant ancré sur la connaissance interne à un modèle générique sur la même tâche ; deux passes de recherche en ont cherché une, aucune trouvée. Ce qui existe dans cet espace est du marketing d'éditeur, sans méthode et sans groupe de contrôle. La preuve indirecte la plus proche est un couple : le +34 % de Brynjolfsson chez les novices, avec un corpus maison, mis en regard d'Otis et al. — 640 entrepreneurs kényans, tirage au sort, un mentor d'affaires GPT-4 générique par WhatsApp — où les moins performants ont fait environ 8 % moins bien.

    Où ça s'arrêteDeux populations, deux tâches, deux protocoles : ce n'est pas un face-à-face, et nous ne le présenterons pas comme tel. Otis rapporte un effet moyen nul sous un plan pré-enregistré ; le gain chez les plus performants (« un peu plus de 15 % ») n'est pas un effet moyen significatif, seulement un effet quantile à la médiane. Ce qu'Otis établit solidement, c'est le tort fait aux moins performants, pas le bénéfice pour qui que ce soit. Et nous avons lu le document de travail — la version parue dans Management Science est payante.

    Ouvrir la source primaire →

Ce que nous n'avons pas pu lire

La règle de cette page : rien n'y entre dont nous n'avons pas ouvert la source primaire. Trois sources que nous voulions sont derrière un péage, sans copie en dépôt ouvert — elles ne soutiennent donc rien ici :

1. Garg et al., JAMA 293(10), 2005 — la revue de référence sur l'aide à la décision. Fermée partout. Ses résultats sont repris par Kwan (2020) et Roshanov (2013), que nous avons lus : l'entrée ci-dessus tient sans elle.
2. Gill, MIS Quarterly 19(1), 1995 — le suivi à cinq ans des premiers systèmes experts. Fermée. Son résumé va dans le sens de ce que nous soutenons, ce qui est précisément la raison de ne pas la citer sur son résumé.
3. La version publiée dans le Quarterly Journal of Economics de Brynjolfsson, Li & Raymond. Nous avons lu le document de travail NBER, gratuit, et nous en citons les chiffres — 5 179 agents et 14 %, et non les 5 172 et 15 % de la version publiée.