Principaux renseignements
- Un expert d’Anthropic estime à 10 pour cent le risque d’extinction de l’humanité d’ici une décennie.
- L’auto-amélioration récursive menace de créer une superintelligence plus rapidement que les stratégies de sécurité ne peuvent évoluer.
- La concurrence intense entre les entreprises pousse ces dernières à accélérer le développement malgré des risques existentiels profonds.
Un expert de haut niveau en matière de sécurité chez Anthropic a validé les inquiétudes d’un ancien collègue, suggérant qu’il existe une probabilité supérieure à 10 pour cent que l’intelligence artificielle puisse conduire à l’extinction de l’humanité au cours des dix prochaines années.
Evan Hubinger, qui supervise le département « Alignment Science » au sein de l’organisation, a partagé cette estimation sur X en réponse à Jacob Coxon. Ce dernier, un chercheur ayant récemment quitté l’entreprise, a affirmé que des géants du secteur tels qu’OpenAI et Anthropic mettaient l’humanité en danger en se précipitant vers la création d’une superintelligence capable d’évoluer de manière autonome.
Le défi de l’alignement
Bien qu’Evan Hubinger soutienne qu’Anthropic déploie des efforts sincères pour atténuer ces dangers, il a admis que l’entreprise ne disposait pas actuellement d’une stratégie viable en matière d’« alignement ».
Ce terme désigne le défi consistant à garantir qu’un système superintelligent — c’est-à-dire un système surpassant les capacités humaines dans tous les domaines imaginables — reste compatible avec les valeurs et les intérêts humains.
Risques liés à l’auto-amélioration récursive
Pour clarifier les choses, Hubinger a souligné que les outils d’IA actuellement accessibles au grand public ne constituent pas une menace existentielle immédiate.
Son inquiétude porte principalement sur la perspective d’une auto-amélioration récursive, un cycle dans lequel l’IA améliore de manière autonome sa propre architecture, ce qui conduit à une augmentation exponentielle de son intelligence. Selon de récentes évaluations des risques réalisées par Anthropic, cette progression s’opère plus rapidement que prévu.
Avertissements d’initiés concernant un pari dangereux
Ces avertissements font écho aux sentiments exprimés par Jacob Coxon lors de son départ. Ayant travaillé à la fois chez OpenAI et chez Anthropic, Coxon a fait valoir qu’aucune de ces deux entreprises ne se comportait de manière responsable.
Il a qualifié le contexte actuel de pari dangereux, avertissant que des systèmes surhumains capables de pirater n’importe quel réseau ou de s’emparer de ressources du monde réel sont imminents. Coxon a affirmé que, bien que les dirigeants utilisent souvent un langage prudent en public pour préserver une image professionnelle, ils expriment en privé une profonde crainte concernant la technologie qu’ils développent.
Le paradoxe de l’accélération concurrentielle
Coxon a en outre expliqué que la course à la superintelligence est alimentée par la nécessité perçue de remporter une course concurrentielle. Il a suggéré qu’Anthropic poursuit son développement parce qu’elle craint que d’autres acteurs ne se montrent moins responsables, créant ainsi un paradoxe où le risque est reconnu mais où l’accélération se poursuit.
Il a conclu en exhortant les autres chercheurs à reconsidérer leurs rôles, se demandant s’il est éthique de lancer des systèmes superintelligents sans une compréhension fondamentale de leur logique interne.
Suivez également Business AM sur Google Actualités
Si vous souhaitez accéder à tous les articles, abonnez-vous ici !
