Principaux renseignements
- Les outils d’IA ont obtenu des scores moyens plus élevés (74 – 78 pour cent) pour les tâches juridiques que les avocats humains (69 pour cent).
- L’IA a fait preuve d’une précision (environ 80 pour cent) et d’une traçabilité (environ 76 pour cent) supérieures pour répondre aux questions juridiques.
- Alors que l’IA surpasse les avocats sur les questions les plus simples, les avocats humains conservent un avantage pour les questions complexes nécessitant un jugement nuancé.
Une étude récente menée par Vals AI, une plateforme américaine axée sur l’avancement de l’IA générative, met en lumière les performances de l’intelligence artificielle dans les tâches juridiques par rapport aux avocats humains.
Dans certains domaines, les outils d’IA sont plus performants que les avocats
L’étude comparative a consisté à tester quatre produits d’IA générative – Alexi, Counsel Stack, Midpage et OpenAI (utilisé comme outil général d’IA) – face à quatre juristes humains. L’évaluation était basée sur plus de 200 questions juridiques réelles provenant de huit grands cabinets d’avocats américains. Les performances ont été évaluées sur la base de trois critères clés : la précision, la traçabilité (la capacité à citer des sources) et la pertinence (la convivialité et la clarté).
Les produits IA ont obtenu des résultats impressionnants, avec un score moyen pondéré compris entre 74 pour cent et 78 pour cent, dépassant les 69 pour cent obtenus par les juristes humains. En termes de précision, l’IC a obtenu une moyenne d’environ 80 pour cent, tandis que les avocats ont obtenu un score d’environ 71 pour cent.
Questions complexes
En ce qui concerne l’adéquation, les outils juridiques d’IA ont atteint environ 70 pour cent, tandis que ChatGPT a obtenu un score d’environ 67 pour cent et que les avocats n’ont obtenu qu’environ 60 pour cent. Notamment, les produits d’IA ont surpassé les avocats humains dans 150 des 200 questions, avec un avantage moyen d’environ 31 points de pourcentage.
Toutefois, pour les questions plus complexes nécessitant une compréhension approfondie du contexte, une analyse transfrontalière ou un jugement juridique important, les juristes ont conservé un léger avantage, avec une moyenne d’environ 9 pour cent. Il convient de noter que les outils d’IC ont parfois omis de fournir des réponses ou indiqué un manque de sources appropriées, Counsel Stack et Midpage ayant respectivement laissé quatre et trois questions sans réponse.
Vals AI, fondée en 2023 par Rayan Krishnan et Langston Nashold, anciens élèves de Stanford, est une plateforme indépendante qui se consacre au développement de l’IA générative et mène régulièrement des études de référence dans le domaine de l’IA. (fc)
Suivez également Business AM sur Google Actualités
Si vous souhaitez accéder à tous les articles, abonnez-vous ici!