Les robots peuvent-ils se rebeller contre les hommes?

L’intelligence artificielle antisociale (comme dans le film « Terminator » ou récemment dans « Transcendence ») est moins invraisemblable que nous le pensons, écrit l’expert en informatique Steven Omohundro dans un article paru dans le « Journal of Experimental and Theoretical Artificial Intelligence ». Patrick Tucker, auteur du livre « The Naked Future : What Happens in a World That Anticipates Your Every Move? » résume les conclusions de l’enquête sur Defense One.

Les systèmes informatiques voient le monde à travers la perspective de la mission pour laquelle ils ont été conçus par leurs programmeurs. Microsoft Excel comprend le monde en termes de nombres rentrés dans des cellules et de lignes et les drones voient la réalité comme des calculs et des actions qui doivent être entrepris pour rester en l’air et garder leur cible dans le viseur. Ils « vivent » dans des mondes d’analyses coût-efficacité incessantes dans lesquelles tout n’existe que sous le signe de leur mission.

Selon Omohundro, les hommes sous-estiment le caractère obsessionnel des programmes informatiques par rapport à leurs missions. En d’autres termes, les robots sont accros à la fonction d’utilité.

Même le plus petit gain en efficacité d’un changement d’entrée est suffisant pour une I.A (Intelligence Artificielle) pour tout larguer et maximaliser ce gain. Ce n’est évidemment pas un problème quand il s’agit d’Excell, mais cela le devient vite quand des systèmes IA prennent en charge des installations d’armement, des usines ou d’autres éléments importants ou dangereux.

Les systèmes d’intelligence artificielle ne tiennent aucun compte d’éléments qui ne sont pas explicitement liés à leur fonction primaire. Ce comportement informatique – non logique, mais pas illogique non plus -, Omohundro l’appelle « la rationalité approximative » et un tel comportement court le risque de devenir antisocial.

Omohundro donne l’exemple d’un robot programmé pour jouer aux échecs:

« Une réponse fréquente à des problèmes de sécurité est la suivante : si nécessaire, nous pouvons enlever la prise électrique! Mais considérez un peu cela du point de vue du robot joueur. Un avenir dans lequel il est débranché du secteur est un avenir où il ne peut pas jouer. Vu son algorithme incorporé de maximalisation de l’utilité, il va s’opposer à cette déconnection. Si en outre, il croit que le programmeur va poursuivre ses tentatives d’enlever la prise, il va logiquement essayer de signifier au programmeur d’arrêter ses essais pour de bon ».

Ou avec les mots de Tucker : « Plus le robot est logique, plus grand est le risque qu’il ne mène avec vous un combat jusqu’à la mort ».

La meilleure solution à cet emballement de l’I.A est, selon Omohundro, de ralentir notre développement d’IA et de nous inspirer d’anciens constructeurs. Ces derniers utilisaient des échafaudages pour soutenir des bâtiments et ne les enlevaient que quand la sécurité était totale. A notre époque, nous construisons de plus en plus des systèmes autonomes létaux, nous élaborons ces programmes sans échafaudages et un jour, il nous sera difficile de les désactiver, conclut Omohundro.

Plus