Principaux renseignements

• La rapidité des cycles décisionnels de l’IA prive les opérateurs humains d’un contrôle significatif.
• Les algorithmes de type « boîte noire » masquent le raisonnement à l’origine des erreurs de ciblage mortelles.
• Des lacunes systémiques en matière de responsabilité dissimulent le rôle de l’IA dans les victimes civiles.

Des experts ont averti le Congrès américain que l’intégration de l’intelligence artificielle (IA) dans la désignation des cibles militaires accélère les cycles de prise de décision à un point tel que les opérateurs humains ne sont plus en mesure de les contrôler de manière adéquate. Lors d’une séance de la Commission Tom Lantos des droits de l’homme, les intervenants ont fait valoir que la simple approbation humaine ne garantissait pas un contrôle effectif, car la rapidité des recommandations générées par l’IA prive en réalité le personnel de la possibilité d’intervenir ou de contester la conclusion d’un système.

Raccourcissement des délais de décision

Le ministère américain de la Défense s’efforce activement d’adopter une approche « AI-first » dans les situations de combat afin de créer des chaînes de destruction plus efficaces et plus résilientes. Des chercheurs ont toutefois souligné que, dans les zones de conflit telles que l’Ukraine, les délais de prise de décision sont passés de plusieurs heures à seulement quelques minutes. En raison de ce raccourcissement, il est pratiquement impossible pour un responsable supervisant plusieurs systèmes de détecter une erreur avant qu’une attaque n’ait lieu. Bien que les directives du Pentagone préconisent un jugement humain approprié quant au recours à la force, les critiques se demandent si un tel jugement a encore un sens lorsque l’IA pilote le processus trop rapidement pour permettre une vérification.

Risques techniques

Outre la rapidité, des spécialistes de l’éthique tels que Joseph Chapa soulignent les risques techniques liés à l’IA statistique, qui peut produire des résultats très divergents sur la base de légères modifications des données d’entrée. Contrairement aux logiciels traditionnels, ces systèmes complexes peuvent être de véritables « boîtes noires ». Il est donc difficile, après une tragédie, de reconstituer comment une cible spécifique a été recommandée. Chapa a affirmé que l’armée avait besoin d’un enseignement plus approfondi sur l’IA et d’une formation spécialisée pour maîtriser ces modes de défaillance uniques.

Défaillances systémiques en matière de responsabilité

L’absence de responsabilité vis-à-vis des victimes civiles constitue un sujet de préoccupation majeur. Malgré le plan d’action visant à limiter les dommages causés aux civils et la réponse apportée à celui-ci en 2022, un rapport de l’inspecteur général a mis en évidence des lacunes considérables dans sa mise en œuvre. Cette faiblesse systémique est particulièrement dangereuse lorsque l’IA est impliquée, car l’armée ne dispose actuellement d’aucun mécanisme solide permettant de déterminer si des algorithmes ont contribué à des attaques injustifiées.

La transparence

Un exemple poignant concerne une attaque contre une école primaire en Iran, qui a fait plus de 160 morts. Bien que cette école fût un établissement public connu, présent sur les réseaux sociaux, elle a été attaquée à proximité d’une installation militaire. Alors que plus de 100 législateurs ont demandé si le système Maven Smart avait joué un rôle dans cet incident, le Pentagone n’a pas encore rendu publiques ses conclusions. Afin de combler ces lacunes, Amnesty International a proposé que les rapports annuels sur les victimes civiles imposent spécifiquement la divulgation de toute implication de l’IA.

L’érosion de l’autorité humaine

Bien que certains experts soulignent que l’IA peut constituer un outil utile pour la vérification des renseignements et les ripostes défensives, ils avertissent que cette technologie ne fonctionne que dans les limites fixées par les humains. Si une cible militaire accepte un seuil élevé de dommages collatéraux, l’IA se contentera de respecter cette préférence. (ev)

Suivez également Business AM sur Google Actualités

Si vous souhaitez accéder à tous les articles, abonnez-vous ici !