Quelle IA pour les avocats ? Comment tester un outil sur vos propres écrits

Aucune mesure indépendante ne dit quelle IA juridique est la meilleure en droit français. La réponse pour votre cabinet se mesure en cinq étapes, sur vingt à trente de vos travaux.

Nous n'avons trouvé aucune mesure indépendante d'un outil d'IA juridique du commerce sur le droit français. Personne ne peut donc vous dire, chiffres à l'appui, quelle IA est la meilleure pour votre cabinet.

La question a pourtant une réponse. Elle se mesure sur vos propres écrits, avec vingt à trente travaux et une grille écrite avant le test. Ce billet décrit la méthode, pas à pas.

Personne n'a mesuré les outils français

Plus de six avocats sur dix ont déjà essayé l'IA générative, et un tiers s'en servent régulièrement. La confiance ne suit pas. 37 % des avocats lui font confiance pour donner la bonne réponse juridique, et 27 % pour élaborer une stratégie de défense. Parmi ceux qui s'en servent, neuf sur dix vérifient ce qu'elle produit.

Les avocats vérifient donc tout, sans savoir à quoi s'attendre. Un outil qui se trompe une fois sur vingt et un outil qui se trompe une fois sur trois demandent la même relecture, tant que personne n'a compté.

Aux États-Unis, quelqu'un a compté. Varun Magesh et ses coauteurs, de Stanford et de Yale, ont écrit 202 questions de droit avant de lancer le moindre outil. Ils les ont posées au printemps 2024 à trois outils du commerce : Lexis+ AI, l'outil de recherche assistée de Westlaw et Ask Practical Law AI. Les réponses ont été notées selon une grille écrite, et l'accord entre deux notateurs a été mesuré : il est de 85,4 %.

Le résultat tient en deux phrases. Ces outils donnaient une réponse fausse, ou appuyée sur une source qui ne disait pas ce qu'on lui faisait dire, dans 17 % à 33 % des cas. Et l'écart entre eux était grand : le meilleur répondait juste à 65 % des questions, un autre à 42 %.

Cette étude a trois limites. Elle porte sur du droit américain et sur des outils américains. Elle date du printemps 2024, et ces outils ont changé depuis. Elle ne dit donc rien des outils vendus aujourd'hui aux cabinets français. Ce qui se transporte, c'est sa méthode.

Ce que la déontologie demande, et l'étape qu'elle ne demande pas

Le 21 juillet 2026, le conseil de l'Ordre de Paris a adopté un modèle de charte d'utilisation de l'IA, mis à la disposition des cabinets. Il n'est pas contraignant. Il demande à chaque utilisateur de :

« vérifier systématiquement l'exactitude, la pertinence et la licéité des contenus générés par l'outil »

Il demande aussi d'« exercer un contrôle humain systématique ». Et il écarte toute ambiguïté sur la responsabilité : « Le recours à un SIA ne constitue ni une cause d'exonération, ni une atténuation de responsabilité. »

Pour le choix de l'outil, le modèle prévoit qu'un outil validé par le cabinet ait fait l'objet d'un « audit préalable portant sur la sécurité, la confidentialité, la conformité au RGPD et aux règles déontologiques ». Le Conseil des barreaux européens va dans le même sens : il recommande de vérifier ce que l'outil produit avant de s'en servir, quand l'usage le demande.

Ces textes encadrent donc deux moments. Avant, le cabinet vérifie où vont ses données. Après, l'avocat vérifie chaque réponse. Entre les deux, il manque une étape, que rien n'impose : mesurer, avant de choisir, combien de fois l'outil se trompe sur les travaux du cabinet. C'est elle qui dit sur quels travaux l'outil vaut son prix, et sur lesquels la relecture coûtera plus que ce qu'il fait gagner.

Le test, en cinq étapes

1. Choisissez trois travaux qui reviennent. Prenez ceux que le cabinet fait chaque semaine, pas ceux qui impressionnent dans une démonstration. Un outil peut réussir une recherche de jurisprudence et se tromper sur la relecture d'un contrat. Chaque travail se mesure à part.

2. Réunissez vingt à trente exemples par travail. Prenez les derniers, pas les meilleurs. Retirez-en ce qui est couvert par le secret, ou partez de pièces publiques. Le modèle de charte de Paris n'admet un outil non validé qu'à plusieurs conditions, dont l'absence de données confidentielles ou sensibles.

3. Écrivez ce qu'une bonne réponse doit contenir, avant de lancer l'outil. C'est l'étape que tout le monde saute. Une grille écrite après coup s'ajuste, sans qu'on le veuille, à ce que l'outil a répondu. Les chercheurs de Stanford avaient déposé leurs questions avant le premier essai.

4. Donnez deux notes, séparément. La première porte sur l'exactitude des références. La décision citée existe-t-elle ? Son numéro est-il juste ? Le passage cité dit-il ce qu'on lui fait dire ? Ces trois points se vérifient dans les bases publiques, Judilibre pour les décisions et Légifrance pour les textes. La seconde note porte sur la pertinence, et seul un avocat peut la donner. Il la donne sans savoir quel outil a répondu. Faites noter une partie des réponses par deux personnes : si elles ne sont pas d'accord entre elles, c'est la grille qu'il faut reprendre.

5. Comptez. Pour chaque outil et chaque travail, vous obtenez la part des références fausses, la part des réponses que vous auriez envoyées telles quelles, et le prix par travail. Ce sont ces trois chiffres qui se comparent.

Gardez les exemples et la grille. Le jour où un outil change de version, ou qu'un nouveau arrive, vous refaites le test en une journée.

Trois erreurs qui faussent le test

Tester sur les exemples du vendeur. Une démonstration montre les cas où l'outil réussit. Vos travaux ne ressemblent pas à ces cas-là, et c'est sur eux que vous le paierez.

Noter en sachant quel outil a répondu. On juge plus sévèrement l'outil dont on se méfie, et plus doucement celui que l'on a déjà choisi. Masquer le nom de l'outil ne coûte rien.

Conclure sur cinq questions. Avec vingt travaux, une seule erreur pèse cinq points. Vingt travaux distinguent un outil qui se trompe une fois sur dix d'un outil qui se trompe une fois sur deux. Ils ne départagent pas deux outils à cinq points d'écart. Les auteurs de l'étude américaine écrivent eux-mêmes que 202 questions restent un petit échantillon au regard d'autres évaluations.

Les questions à poser sur vos données, avant le test

Un avocat sur dix seulement fait confiance à l'IA générative pour protéger les données. Avant d'y mettre quoi que ce soit, cinq réponses s'obtiennent par écrit.

• Où l'outil est-il hébergé ?
• Qui sont ses sous-traitants ?
• Que garde-t-il de ce que vous y mettez, et pendant combien de temps ?
• Vos écrits servent-ils à entraîner un modèle ?
• À quel droit son éditeur est-il soumis ?

La dernière question change avec le temps. Le modèle de charte de Paris prévoit de réexaminer la validation d'un outil quand le contrôle ou l'actionnariat de son éditeur change, et que ce changement peut le soumettre à « une législation extraterritoriale d'accès aux données ».

Ce que ce test ne dit pas

• Il ne mesure pas le temps gagné. Il mesure ce qu'il faudra relire.
• Il ne vaut que pour votre cabinet. Les travaux d'un cabinet de droit social ne sont pas ceux d'un cabinet de droit des affaires, et le même outil n'y obtient pas les mêmes taux.
• Il vaut pour une version de l'outil. C'est la raison de garder les exemples et la grille.
• Il ne dispense pas de relire. Il dit où la relecture trouve des erreurs, et combien.

Si vous voulez le faire avec nous

Nous faisons ce test avec les cabinets d'avocats, à prix fixe et en deux temps. Nous construisons d'abord le jeu de test avec vous, et il vous reste. Nous faisons ensuite passer deux ou trois outils dessus. Nous ne vendons aucun de ces outils, et aucune pièce couverte par le secret ne passe par nous.

Droit de regard : l'IA à l'épreuve de vos écrits →

Les sources

• Conseil national des barreaux, Les Cahiers de l'Observatoire, L'intelligence artificielle, décembre 2025. Enquête de Viavoice et des Temps Nouveaux auprès de 4 457 avocats interrogés en ligne. Lire les Cahiers.
• Magesh V., Surani F., Dahl M., Suzgun M., Manning C. D. et Ho D. E., « Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools », Journal of Empirical Legal Studies, 2025. 202 questions déposées le 22 mars 2024, posées de mars à mai 2024 ; accord entre les deux notateurs de 85,4 %. Lire l'article.
• Barreau de Paris, modèle de charte d'utilisation de l'IA à la disposition des cabinets, adopté le 21 juillet 2026. Lire la présentation et télécharger le modèle.
• Conseil des barreaux européens (CCBE), guide sur l'utilisation de l'IA générative par les avocats, 2 octobre 2025. Lire le guide.

Nous avons ouvert chacune de ces sources et relu chaque chiffre dans le document. Si vous en trouvez un qui ne s'y trouve pas, écrivez-nous. Ce billet décrit une méthode de mesure. Il ne donne aucun conseil juridique.