Le racisme et le sexisme sont omniprésents dans les résultats des algorithmes automatisés et ce n’est pas parce que les ordinateurs ne sont pas neutres, mais parce qu’ils se basent sur ??ce que les grands groupes de gens pensent, écrit le journal allemand Süddeutsche Zeitung. En juin dernier, une tempête a éclaté sur la toile après qu’un utilisateur noir américain de Google a découvert que l’algorithme de reconnaissance de Google avait classé une photo d’une amie (noire elle aussi) comme étant celle d’un “gorille”. Quelques mois plus tard, des chercheurs ont constaté que ceux qui tapaient le mot “CEO” dans le moteur de recherche faisaient remonter presque uniquement des photos d’hommes blancs, alors que près d’un tiers des CEOs américains sont des femmes. “Il n’y a pas d’algorithme neutre”, confirme Corinna Bath, une spécialiste en informatique qui effectue des recherches sur ​​le lien entre la technologie et la discrimination entre les sexes. “Les développements technologiques progressent régulièrement, et si nous ne commençons pas à examiner l’adéquation éthique des algorithmes, cela pourrait entraîner de graves problèmes”. Selon elle, les utilisateurs de Google ne remettent pas en question les résultats produits par les algorithmes, car ils estiment qu’ils donnent une représentation fidèle de la réalité.Cependant, il existe de nombreux exemples qui montrent que les algorithmes donnent une image déformée de la société. Prenez par exemple la fonction “autocomplete” (saisie semi-automatique) de Google, qui consiste à compléter automatiquement les mots manquants d’une requête que quelqu’un veut lancer sur le moteur de recherche. Ainsi, quiconque tape les mots “Les femmes devraient” obtient, parmi les premiers résultats “rester à la maison”. Et si l’on essaie avec “les femmes ne devraient pas”, on trouve “voter”.D’après Bath, les programmeurs des algorithmes ne sont pas directement responsables des résultats discriminatoires de ces derniers. Mais le fait que nombre d’entre eux soient des hommes blancs relativement jeunes et riches, qui prennent probablement l’hypothèse que l’utilisateur moyen a des compétences et des intérêts similaires aux leurs, ou qui partent de stéréotypes restrictifs, peut conduire à d’éventuelles discriminations dans leurs algorithmes.La solution est évidente. Les programmeurs et les développeurs de technologies devraient  être informés de ce problème, de préférence dès leurs études. Mais les utilisateurs doivent aussi être moins naïfs, conclut le Süddeutsche Zeitung. Tout le monde doit se rendre compte que les algorithmes sont une création humaine, et qu’ils peuvent donc être faillibles.