Vous souvenez-vous du film Minority Report ? Il anticipait l’utilisation d’un algorithme pour prédire les délits et permettre à la police d’intervenir avant que ceux-ci ne soit commis. The verge rapporte que la police de la Nouvelle-Orléans (NOPD) utilise secrètement une technologie fournie par la société Palantir, avec le même objectif depuis 2012.
Palantir, une société d’exploration de données (“data mining”), a été crée en 2004 l’entrepreneur co-fondateur de PayPal, Peter Thiel. Marqué par les attentats du 11 septembre, il a eu l’idée d’utiliser les algorithmes informatiques et la collecte de données personnelles pour lutter contre le terrorisme. Son projet a été co-financé par la CIA, qui a eu recours à ses services, comme la NSA, le FBI et d’autres services du renseignement américain. Elle collabore avec le Pentagone depuis 2009 pour prédire la localisation de bombes en Afghanistan et en Irak. Metropolis, sa branche commerciale, aide les entreprises à développer leurs marchés et optimiser leurs investissements.
Mais elle a aussi secrètement équipé la ville de la Nouvelle-Orléans avec un logiciel de police prédictive pour réduire la criminalité de la ville. Cette technologie n’est pas une nouveauté aux Etats-Unis, et elle a déjà été expérimentée à Los Angeles, et plus fameusement à Chicago.
Une analyse des connections entre des individus
La technologie développée par Palantir, conçue sur le modèle de celle qui est utilisée à Chicago, est fondée sur un algorithme qui collecte des données géographiques et temporelles, mais aussi les données des médias sociaux, de météo, et les casiers judiciaires des protagonistes impliqués dans des délits, dans le but de cartographier des points chauds dans lesquels la police intensifiera ses patrouilles. L’algorithme emploie une analyse des réseaux sociaux pour établir des relations entre des individus, des lieux, des voitures, des armes, des adresses, des messages postés sur les réseaux sociaux et toute autre indication stockée dans ses bases de données.
Une recherche sur une donnée quelconque (plaque d’immatriculation, surnom ou numéro de téléphone, par exemple) permet de faire remonter tout un ensemble de données pointant vers des individus les plus susceptibles de commettre des violences, ou d’en être les victimes.
Des préjugés raciaux
L’un des problèmes de ce système, c’est qu’il peut développer des préjugés racistes. Une étude de 2016 a notamment trouvé que ce type d’algorithme répliquait les préjugés contre les communautés défavorisées à majorité composées d’Afro-Américains, ou de Latinos. Elle a également conclu qu’il n’avait pas vraiment démontré son efficacité, et n’avait pas permis de prédire les délits qui allaient être commis avec précision. L’un des chercheurs ayant participé à cette étude, William Isaac, a reconnu le modèle d’exploration de données utilisé par Palantir, et se montre très sceptique à l’égard des résultats qu’il est susceptible de produire.
“Si vous voulez tenter de prédire quelque chose, vous devez avoir une représentation de l’univers pour lequel vous voulez faire des prédictions. Si vous essayez de prédire la criminalité, vous devez avoir des exemples positifs et négatifs pour chaque délit possible”, explique-t-il. Or, les services de polices ont tendance à disposer de beaucoup de données concernant les quartiers défavorisés où elles sont les plus présentes, mais d’un stock bien plus mince concernant les quartiers plus aisés et à majorité blanche, où elles patrouillent moins souvent.
Quelle efficacité ?
Dans les deux premières années de son utilisation du logiciel, la ville de la Nouvelle Orléans a constaté une diminution du nombre des meurtres. Mais la criminalité est repartie à la hausse, et une étude réalisée sur la technologie de Palantir n’a pas permis de conclure que son utilisation avait été déterminante.
De même, l’utilisation d’une telle technologie à l’insu de la population pose également la question du respect de la vie privée.