Dans l’actu : Des chercheurs de l’Université de New York et de Pompeu Fabra (Barcelone) ont développé une technique inédite. Celle-ci permet d’améliorer la capacité des outils d’IA à faire des généralisations à partir de ce qu’on leur enseigne.

Meta-learning for Compositionality

De quoi parle-t-on : La généralisation compositionnelle, qu’est-ce que c’est ?

• Les humains ont la capacité unique d’apprendre un concept et de l’appliquer à d’autres usages dans de nouveaux contextes.
• Par exemple, quelqu’un qui comprend la phrase « le chat poursuit le chien » comprendra également « le chien poursuit le chat » sans trop y réfléchir, expliquent les chercheurs dans la revue Nature.
• La technique des chercheurs, nommée Meta-learning for Compositionality (MLC), se concentre sur la formation des réseaux neuronaux.
  • Les auteurs ont d’abord testé 25 personnes sur la manière dont elles utilisaient les mots nouvellement appris dans différentes situations. 
  • Les participants ont été entraînés à relier des mots primitifs à un cercle d’une couleur particulière.
  • Les chercheurs ont testé la capacité des participants à appliquer ces règles abstraites en leur donnant des combinaisons complexes de mots primitifs et de fonctions.
  • Ensuite, les chercheurs ont entraîné un réseau neuronal à effectuer une tâche similaire à celle présentée aux participants.
  • Ils ont conçu le réseau pour qu’il tire des leçons de ses propres erreurs. Pour le rapprocher du fonctionnement humain, le réseau a même été formé sur les erreurs commises par les participants humains.
  • Lors de tests avec de nouvelles énigmes, les résultats de l’IA étaient presque identiques à ceux des humains, et parfois même supérieurs.

Quand l’IA égale l’humain

Résultat : Ce MLC surpasse les approches existantes dans l’apprentissage automatique de l’IA, voire la performance humaine.

• « Depuis 35 ans, des chercheurs en sciences cognitives, en intelligence artificielle, en linguistique et en philosophie débattent de la question de savoir si les réseaux neuronaux peuvent atteindre une généralisation systématique à l’image de l’humain, » déclare Brenden Lake, professeur à la NYU et l’un des auteurs de l’article
• « Nous avons démontré, pour la première fois, qu’un réseau neuronal générique peut imiter ou surpasser la généralisation systématique humaine dans une comparaison directe », ajoute-t-il.

À noter : Le MLC et les humains (qui ont pris part à l’étude) ont également surpassé ChatGPT et GPT-4. Malgré ses capacités générales impressionnantes, le chatbot a montré des difficultés d’apprentissage. GPT-4 a ainsi échoué en moyenne entre 42 et 86% du temps, selon la manière dont les chercheurs présentaient la tâche.

La porte ouverte à toutes les folies pour l’IA

En d’autres termes : les scientifiques ont créé un réseau neuronal doté de la capacité humaine à faire des généralisations sur le langage. La porte ouverte à toutes les folies. On spécule :

• Cela rapproche l’IA de la capacité humaine de comprendre le langage. Ce qui pourrait conduire à des machines plus « humanisées » en termes de communication.
• Si un réseau généralise depuis un petit ensemble de données, cela réduirait la nécessité d’énormes ensembles de données pour l’entraînement. Ce qui rend la formation d’IA bien plus efficace.
• Les chatbots et assistants vocaux pourraient offrir des réponses plus pertinentes et comprendre des requêtes complexes ou nuancées. Au revoir les lacunes et les incohérences flagrantes de ChatGPT.
• Cela permettrait de mieux détecter les contenus inappropriés, la désinformation ou les discours de haine en ligne.
• Dans le domaine médical, une IA capable de généraliser pourrait aider à la transcription médicale ou à l’interaction patient-médecin. Ou même à l’analyse des symptômes basée sur la description des patients.