Principaux renseignements
- Les développeurs expérimentés qui utilisent des outils d’IA avancés peuvent connaître des temps de développement plus lents sur des bases de code familières.
- L’efficacité de l’IA dépend fortement du contexte et des tâches de développement spécifiques.
- Les développeurs peuvent donner la priorité à des facteurs tels que la facilité d’utilisation et le plaisir plutôt qu’à la vitesse brute d’exécution des tâches lorsqu’ils choisissent des outils d’IA.
Contrairement à ce que l’on pourrait penser, une étude récente du METR, un organisme de recherche indépendant, a révélé que les développeurs de logiciels expérimentés qui utilisaient des outils d’IA avancés tels que Cursor avaient en fait des temps de développement plus lents lorsqu’ils travaillaient sur des bases de code familières.
Les développeurs de logiciels expérimentés qui ont participé à l’étude pensaient que l’IA accélérerait leur travail. Les estimations préalables à l’étude prévoyaient une diminution de 24 pour cent du temps d’achèvement des tâches grâce à l’assistance de l’IA. Même après avoir utilisé l’outil d’IA, les développeurs estimaient avoir obtenu une réduction de 20 pour cent du temps d’exécution des tâches. Cependant, l’étude a révélé un résultat contraire : l’utilisation de l’IA a en fait augmenté le temps d’achèvement des tâches de 19 pour cent.
L’efficacité de l’IA dépend du contexte
Les chercheurs se sont dits surpris par ces résultats, car ils s’attendaient à une accélération significative avant l’étude. Ces résultats remettent en cause la croyance dominante selon laquelle l’IA augmente invariablement la productivité des développeurs. C’est pourtant sur cette croyance que reposent les investissements considérables dans les outils de développement assistés par l’IA.
D’autres études ont montré des gains d’efficacité substantiels. Par exemple, une étude a indiqué une augmentation de 56 pour cent de la vitesse, et une autre a révélé que les développeurs effectuaient 26 pour cent de tâches en plus. C’est ce que rapporte Reuters. L’étude du METR nuance ces résultats. Elle souligne que les avantages de l’IA ne sont pas universels et dépendent fortement du contexte. Cette étude s’est concentrée sur des développeurs expérimentés travaillant sur des bases de code importantes et bien établies, qu’ils connaissaient bien.
Comprendre le rôle de l’IA
Le ralentissement observé dans l’étude a été attribué au fait que les développeurs devaient revoir et corriger les suggestions de l’IA, qui étaient souvent correctes sur le plan directionnel mais pas parfaitement alignées sur les exigences spécifiques de la tâche.
Malgré le retard observé dans ce scénario, les auteurs reconnaissent que les avantages de l’IA peuvent s’étendre à d’autres contextes. Par exemple, les jeunes ingénieurs ou développeurs travaillant sur des bases de code peu familières bénéficieraient davantage de l’aide de l’IA.
Il est intéressant de noter que la majorité des participants à l’étude, y compris les auteurs eux-mêmes, continuent d’utiliser Cursor. Non pas pour être plus rapide, mais parce qu’il rend l’expérience de développement plus agréable. De nombreux développeurs préfèrent la facilité d’utilisation et la satisfaction professionnelle à la vitesse pure.