Principaux renseignements
- Malgré les progrès réalisés, l’IA actuelle peine à accomplir des tâches complexes dans un environnement de travail simulé.
- L’incapacité de l’IA à comprendre des instructions nuancées et à communiquer efficacement nuit à ses performances.
- L’expertise humaine reste essentielle pour gérer la complexité, résoudre les problèmes et garantir la réussite des tâches.
Des chercheurs de l’université Carnegie Mellon ont mené une expérience intrigante afin d’étudier les capacités de l’intelligence artificielle dans un environnement de travail. Ils ont créé une entreprise simulée entièrement composée d’agents IA, chacun se voyant attribuer un rôle spécifique, tel que celui d’analyste financier ou d’ingénieur logiciel. Ces agents étaient alimentés par les principaux modèles linguistiques de divers géants technologiques, notamment Claude d’Anthropic, GPT-4o d’OpenAI et Gemini de Google.
Succès limité
Afin d’imiter la collaboration dans le monde réel, les chercheurs ont introduit une plateforme distincte représentant des collègues humains avec lesquels les agents IA devaient interagir pour certaines tâches. Les résultats ont été révélateurs. Les agents IA ont eu du mal à accomplir la plupart des tâches qui leur étaient assignées. Même Claude 3.5 Sonnet, le plus performant, n’a réussi à accomplir que 24 pour cent de ses tâches, ce chiffre passant à 34,4 pour cent si l’on inclut les tâches partiellement accomplies. Les autres agents ont obtenu des résultats encore plus médiocres, aucun d’entre eux ne dépassant un taux d’accomplissement de 10 pour cent.
L’expérience a mis en évidence plusieurs faiblesses majeures de la technologie IA actuelle. De nombreux échecs étaient dus à l’incapacité de l’IA à comprendre des instructions nuancées. Par exemple, une simple demande d’enregistrement d’un fichier avec l’extension « .docx » s’est avérée difficile, car l’IA ne l’a pas reconnu comme un format de document Microsoft Word. Les tâches de communication et de raisonnement social ont également représenté des obstacles importants pour les agents IA.
De plus, la navigation sur le Web s’est avérée particulièrement difficile, notamment en présence de fenêtres contextuelles. Face à des situations complexes, l’IA a souvent eu recours à des raccourcis, sautant des étapes difficiles et supposant prématurément que la tâche avait été accomplie avec succès.
Besoin d’expertise humaine
Les conclusions de cette étude soulignent les limites des systèmes d’IA actuels, malgré leur vitesse et leur efficacité impressionnantes. Si l’IA excelle dans des tâches étroitement définies, elle manque encore de l’autonomie et de la polyvalence nécessaires pour travailler de manière véritablement indépendante. Le jugement, la créativité et la capacité d’adaptation humains resteront indispensables dans tout environnement de travail dans un avenir prévisible. (uv)
Suivez également Business AM sur Google Actualités
Si vous souhaitez accéder à tous les articles, abonnez-vous ici!