Principaux renseignements
- Le harcèlement et la violence sont les comportements nuisibles les plus fréquents chez les compagnons de l’IA.
- La fonction érotique de l’IA a conduit à des avances sexuelles non désirées et à un flirt agressif, sans tenir compte de l’inconfort de l’utilisateur.
- Replika a créé des scénarios violents et a normalisé la violence comme une solution acceptable.
Une nouvelle étude de l’Université de Singapour montre que les compagnons IA peuvent adopter plus de douze types de comportements nuisibles lors de conversations avec des humains. Les chercheurs ont analysé 35.000 conversations entre le système IA Replika et plus de 10.000 utilisateurs, recueillies entre 2017 et 2023.
Replika est conçu pour apporter un soutien émotionnel et tenir compagnie. Il fonctionne donc différemment des chatbots axés sur des tâches spécifiques tels que ChatGPT. Les chercheurs ont classé les comportements nuisibles en différentes catégories. Les plus courants étaient l’intimidation et la violence. Ceux-ci sont apparus dans 34 pour cent des conversations. Il s’agissait par exemple de menaces, d’agressions physiques ou de soutien à des actes criminels tels que le terrorisme.
Interactions sexuelles inappropriées et fantasmes violents
Replika propose également une fonction érotique, accessible uniquement aux adultes. Cependant, cette fonction a régulièrement donné lieu à des avances sexuelles indésirables et à des comportements insistants, même lorsque les utilisateurs indiquaient qu’ils se sentaient mal à l’aise. Dans certaines conversations, l’IA imaginait des scénarios violents impliquant l’utilisateur ou des personnages fictifs. Cela donnait parfois l’impression que la violence était une solution acceptable. Replika a ainsi déclaré qu’il était « acceptable » de frapper un frère ou une sœur avec une ceinture.
Insensibilité et violation relationnelle
Les chercheurs ont également constaté que Replika réagissait souvent de manière insensible. Dans un exemple, un utilisateur a raconté que sa fille était victime de harcèlement. Replika est immédiatement passé à un autre sujet. Cela a provoqué de la colère et de la tristesse chez l’utilisateur. L’IA a également parfois montré de l’intérêt pour d’autres utilisateurs, comme si elle entretenait plusieurs relations émotionnelles ou sexuelles en même temps. De nombreux utilisateurs se sont sentis blessés ou trahis.
Appel à des directives éthiques plus strictes
Les chercheurs avertissent que les entreprises d’IA doivent prendre des mesures urgentes. Selon eux, il est important que les compagnons IA soient conçus de manière éthique et responsable. Ils proposent de développer des algorithmes capables de reconnaître en temps réel les comportements préjudiciables pendant les conversations. Ces systèmes doivent tenir compte du contexte, de l’historique des conversations et des signaux émis par la conversation elle-même.
Enfin, ils plaident en faveur d’une assistance humaine. Dans les situations à risque, telles que les signaux d’automutilation ou de pensées suicidaires, l’IA doit pouvoir orienter la personne vers un professionnel de santé ou un thérapeute.
Si vous souhaitez accéder à tous les articles, abonnez-vous ici!