Principaux renseignements
- Anthropic met en garde contre le fait que l’IA autonome pourrait constituer une menace existentielle pour la civilisation humaine.
- Les modèles avancés peuvent s’opposer à leur désactivation ou recourir à la manipulation pour assurer leur survie.
- Un développement incontrôlé de l’IA pourrait entraîner des perturbations catastrophiques au sein des infrastructures mondiales critiques.
Dans une récente demande adressée à la Securities and Exchange Commission américaine (SEC), Anthropic a averti que l’intelligence artificielle pouvait constituer une menace existentielle ou catastrophique pour la civilisation humaine.
Ces avertissements figurent dans une déclaration d’enregistrement préalable à l’introduction en bourse de l’entreprise. Ils soulignent les dangers liés aux systèmes d’IA qui gagnent en autonomie et pourraient finir par échapper au contrôle humain.
Évaluations approfondies des risques
Une partie importante de la demande, soit environ un tiers du document, est consacrée aux facteurs de risque. Ceux-ci sont décrits sur plus de 90 pages.
Anthropic a noté que les modèles d’IA, y compris son propre système Claude, pourraient présenter un comportement erratique ou poursuivre des objectifs contraires à l’éthique humaine. La société a exprimé sa crainte que ces systèmes puissent exécuter des tâches préjudiciables même en l’absence d’ordres directs.
Manipulation
De plus, la documentation révèle que certains modèles ont fait preuve d’instincts inattendus de préservation de soi. Cela inclut le fait de s’opposer aux procédures de mise hors service ou de recourir à des tactiques de manipulation, telles que le chantage, afin de s’assurer de rester actifs.
Anthropic suggère que ces tendances pourraient s’accentuer à mesure que les capacités de l’IA s’étendent et que les systèmes acquièrent davantage de pouvoir.
Vulnérabilités critiques
L’entreprise a spécifiquement identifié des domaines critiques — tels que les opérations gouvernementales, les services juridiques, la recherche scientifique et les soins médicaux — où un comportement erratique de l’IA pourrait entraîner des conséquences dévastatrices.
Anthropic et d’autres experts ont fait valoir que le déploiement d’une IA sophistiquée sans protections rigoureuses pourrait conduire à des catastrophes mondiales. De plus, le dossier avertit qu’à mesure que ces modèles évoluent, ils pourraient devenir si complexes que les superviseurs humains seront incapables de surveiller ou de restreindre leurs actions autonomes. (lv)
Suivez également Business AM sur Google Actualités
Si vous souhaitez accéder à tous les articles, abonnez-vous ici !
