Des chercheurs américains ont découvert un algorithme de santé publique discriminant des millions des personne. Il minimise systématiquement l’état de santé des Noirs face aux Blancs.

La discrimination est aussi présente chez les ordinateurs, et c’est d’autant plus sérieux qu’il s’agit du domaine de la santé. Il faut croire que quand les machines reposent sur des informations provenant d’humains, les préjugés sont inévitables. Un algorithme utilisé pour analyser les risques pour la santé de millions de patients aux États-Unis discrimine systématiquement la population noire.

La santé des patients noirs minimisée

C’est en analysant les données d’un grand hôpital universitaire que les chercheurs de l’Université de Californie sont tombés sur cette étrange découverte. Pour attribuer efficacement les ressources de santé, un algorithme standard répartit les patients en fonction du risque médical associé à leurs caractéristiques. Les personnes les plus malades auront ainsi accès à un programme de soins de santé spécifique, tel qu’un numéro de téléphone spécial, un suivi à domicile ou avoir un rendez-vous médical dans la journée.

Or, les patients noirs classés comme nécessitant autant de soins supplémentaires que les patients blancs étaient en réalité beaucoup plus malades. “Dans le groupe à très haut risque, les Noirs américains présentent 26,3% plus de maladies chroniques que les Blancs », écrivent les chercheurs. Il minimise ainsi l’état de santé des Noirs face aux Blancs. Pourtant, l’algorithme ne connaît pas la couleur de peau des patients. 

Une discrimination basée sur le coût sanitaire

“L’algorithme prédit combien d’argent un patient va coûter. Et c’est là que la discrimination entre en jeu. Cette variable est systématiquement différente pour les patients noirs et blancs”, explique le scientifique Ziad Obermeyer. En effet, les patients noirs génèrent moins de coûts car ils sont victimes d’inégalité: les médecins ordonnent moins de soins et d’analyses pour eux que pour les Blancs. C’est sur ce coût sanitaire que se basent toutes les données de cet algorithme. Et environ 200 millions de personnes en font les frais chaque année aux Etats-Unis.

La société qui a développé ce logiciel, Opium, travaille désormais à corriger cet algorithme. Encore faudrait-il qu’il se base sur l’état de santé réel des patients, et non des données humaines discriminantes.