Le problème de la reconnaissance faciale

Ce rapport de l'Initiative pour l'intelligence artificielle et les technologies émergentes (AIET) de The Brookings Institution fait partie de l'IA et des biais », une série qui explore les moyens d'atténuer les biais possibles et de créer une voie vers une plus grande équité dans l'IA et les technologies émergentes.
Dans le film futuriste Minority Report de 2002, «les forces de l'ordre utilisent une technologie prédictive qui inclut l'intelligence artificielle (IA) pour évaluer les risques afin d'arrêter les meurtriers potentiels avant qu'ils ne commettent des crimes. Cependant, un policier est maintenant l'un des futurs meurtriers accusés et est en fuite du ministère de la Justice pour prouver que la technologie a des défauts. Si vous pensez que ce film de fiction pourrait devenir réalité, alors vous devriez continuer à lire, car l'art est devenu réalité.
La promesse et le péril des technologies émergentes sont sur nous. Pour l'application de la loi, l'IA offre des avancées par rapport aux méthodes précédemment utilisées pour dissuader et résoudre le crime, améliorer l'efficacité, réduire les disparités raciales et potentiellement économiser des ressources liées au capital humain et financier. Actuellement, certaines des technologies d'application de la loi qui utilisent des algorithmes d'apprentissage automatique comprennent les lampadaires intelligents, la surveillance des points chauds, la reconnaissance faciale, la surveillance des drones, le géorepérage, les évaluations des risques et les données des médias sociaux pour mettre fin à la violence des gangs. sur le terrain, ce qui élève des comparaisons avec le film dystopique de 1987 RoboCop. » Les fonctions d'application de la loi et de technologie évoluent également rapidement. En 2017, j'ai mené une étude qui a montré que les civils et les policiers soutiennent considérablement les caméras portées sur le corps comme une prétendue panacée pour améliorer les relations entre la police et la communauté. Maintenant, l'IA peut soi-disant déterminer qui commettra le crime, prédire où le crime se produira et identifier les menaces potentielles, ce qui amplifie sa viabilité perçue liée aux caméras portées par le corps.
Les entreprises technologiques créent déjà des produits commerciaux d'IA avec peu de surveillance ou de réglementation. En outre, ils sollicitent souvent les services répressifs pour participer à des études pilotes et à des essais d'essai en échange de l'utilisation de la nouvelle technologie. Étant donné que de nombreux organismes chargés de l'application des lois sont à court d'argent, la possibilité d'essayer un nouveau jouet brillant est séduisante. Le Royaume-Uni a déployé un logiciel de reconnaissance des passeports malgré le fait qu'il savait qu'il ne fonctionnait pas bien sur les personnes ayant des tons de peau plus foncés et plus clairs. Cependant, cela ne se produit pas seulement en Europe. Comme le montre ce document, les États-Unis sont criblés de ces problèmes. En tentant de concurrencer la Chine, l'Inde et d'autres pays sur la technologie de la justice pénale, les États-Unis compromettent les performances de pointe et mettent potentiellement tous les Américains en danger.
En essayant de concurrencer… d'autres pays sur la technologie de la justice pénale, les États-Unis compromettent les performances de pointe et mettent potentiellement tous les Américains en danger. »
Mais les décideurs politiques peuvent intervenir de manière constructive. Il existe des garanties importantes qui doivent être mises en place afin de protéger les personnes. On pourrait également affirmer que la possibilité pour Amnesty International de déterminer qui sera arrêté par les forces de l'ordre, incarcéré et libéré de prison figure en tête de liste en ce qui concerne la nécessité d'être prudent. Qu'est-ce que les décideurs doivent savoir sur le déploiement de l'IA dans l'application des lois et quelles sont les questions centrales à poser lors de la mise en œuvre des réglementations et des garanties?
Reconnaissance faciale dans le maintien de l'ordre
L'une des principales préoccupations du public concernant l'utilisation de l'IA et d'autres technologies émergentes par les forces de l'ordre est dans le domaine de la reconnaissance faciale. En 2016, plus de la moitié des visages d'adultes américains faisaient partie de bases de données de reconnaissance faciale accessibles aux forces de l'ordre. Pourtant, tout le monde n'est pas inquiet de ce déploiement. Plus de 50% des personnes font confiance à l'utilisation par la police de la reconnaissance faciale, et près de 75% pensent que la reconnaissance faciale identifie avec précision les personnes. Il existe cependant d'importantes différences démographiques. Environ 60% des répondants blancs, comparativement à un peu plus de 40% des répondants noirs, font confiance à l'utilisation par la police de la reconnaissance faciale. L'âge montre un gradient similaire, mais pas dans la direction attendue. Les personnes de moins de 30 ans, par rapport aux personnes de plus de 65 ans, font moins confiance à l'utilisation de la reconnaissance faciale dans les services de police. Le scepticisme des jeunes adultes peut être dû au fait qu'ils ont plus de connaissances sur les capacités de l'IA à manipuler des séquences vidéo réelles et à modifier ce que la personne dit et fait.
En 2016, plus de la moitié des visages d'adultes américains faisaient partie de bases de données de reconnaissance faciale accessibles aux forces de l'ordre. »
Voici le gros casse-tête: seulement 36% des adultes pensent que la reconnaissance faciale est utilisée de manière responsable par les entreprises privées, qui vendent souvent des systèmes de reconnaissance faciale aux forces de l'ordre.
Bien que l'opinion publique soit divisée sur l'utilisation de la reconnaissance faciale pour les services de police, la recherche indique que la reconnaissance faciale souffre d'un biais algorithmique. L'Institut national des normes et de la technologie (NIST) a publié un document montrant que la reconnaissance faciale entraînait des taux de précision inférieurs pour les femmes par rapport aux hommes et pour les Noirs par rapport aux Blancs. Une étude a montré que le sexe des femmes noires était mal classé plus de 33% du temps. En 2019, le logiciel de reconnaissance faciale d'Amazon, Rekognition, a incorrectement qualifié les athlètes professionnels de Boston de criminels. Le logiciel a également étiqueté à tort un législateur californien sur cinq comme des criminels.Le Département de police de New York (NYPD) a manipulé des images floues avec des acteurs comme Woody Harrelson pour obtenir plus de clarté sur les suspects potentiels dans les séquences de surveillance.
Pour ces raisons et d'autres, San Francisco a interdit l'utilisation de la reconnaissance faciale par la police; Oakland et certaines parties du Massachusetts ont rapidement emboîté le pas. À l'inverse, des villes comme Detroit et Chicago ont utilisé un logiciel de reconnaissance faciale avec peu de surveillance au cours des dernières années. La nouvelle réglementation promulguée à Détroit en 2019 limite l'utilisation de la reconnaissance faciale aux photos fixes liées à des crimes violents et à des invasions de domicile. Bien que les forces de l'ordre dans la ville applaudissent la capacité de continuer à utiliser la reconnaissance faciale, les membres du comité de surveillance civil affirment que la technologie est une forme de techno-racisme »dans une ville à prédominance noire qui a des antécédents de brutalité policière et de police problématique. relations avec la communauté. L'une des principales préoccupations est la critique selon laquelle les forces de l'ordre utilisent une technologie peu fiable qui classe mal les résidents de la ville, comme mentionné précédemment.
Bien qu'il soit important que les forces de l'ordre aient la possibilité d'expérimenter de nouvelles technologies, l'IA ne devrait pas aider à prendre des décisions dans les affaires pénales jusqu'à ce que la technologie améliore sa précision. »
En plus de la reconnaissance faciale, il existe d'autres formes de déploiement de l'IA que les décideurs politiques devraient garder à l'esprit. Dans le but d'être la première véritable ville intelligente, San Diego a déployé des lampadaires intelligents en 2016. Présentés comme un moyen de réduire la consommation d'énergie, les capteurs des lampadaires intelligents sont utilisés par les forces de l'ordre pour surveiller le trafic des piétons, des véhicules et des parkings , enregistrer des vidéos de la région et résoudre des crimes. Pour de nombreux habitants de la ville, les lumières ne sont pas le problème. Le déploiement des lumières par la police sans le consentement du public est plutôt le problème le plus important. Trois membres du conseil municipal ont demandé un moratoire sur l'utilisation des lumières.
San Diego est également en train de déployer un drone de qualité militaire au-dessus de la ville en 2020 qui a le potentiel de mener une surveillance et de recueillir des renseignements similaires aux capacités de reconnaissance des forces armées. En 2018, le comté de Rutherford, dans le Tennessee, est devenu le premier au pays à obtenir l'approbation fédérale pour faire voler des drones au-dessus des gens. Les employés de la ville disent que le comté de Rutherford peut utiliser des drones pour lutter contre une crise d'enfouissement, évaluer les dommages causés par les tempêtes, regarder la foule lors d'un rassemblement nationaliste blanc et suivre les fugitifs. Sur la côte est, le NYPD a utilisé des drones lors d'une série de marches et de défilés, notamment la marche des fiertés et le défilé de la journée portoricaine. À cet égard, la série de science-fiction Black Mirror "pourrait devenir prédictive - son épisode Hated in the Nation" comportait une reconnaissance faciale avancée et des nuées de minuscules abeilles ressemblant à des drones avec des capacités létales.
Plusieurs dirigeants d'entreprises informatiques dans des pays comme les États-Unis, la France, l'Australie et le Canada sont extrêmement préoccupés par l'utilisation de l'IA pour les armes autonomes. Certaines personnes s'opposent carrément à l'utilisation des technologies de cette manière, y compris des membres des Nations Unies. Certains dirigeants politiques et commerciaux, universitaires et organisations à but non lucratif soutiennent que des armes entièrement autonomes entraîneront en fait plus de conflits, d'inégalités et un potentiel de guerre accru. Fait intéressant, les gens semblent avoir moins de problèmes avec la technologie actuelle et plus de problèmes avec le manque de réglementation, de transparence, de confidentialité et de consentement.
En 2017, les forces de l'ordre ont utilisé le géorepérage pour surveiller les militants antiracistes de l'Université de Caroline du Nord-Chapel Hill qui protestaient contre une statue confédérée connue sous le nom de Silent Sam. » Le géorepérage est un périmètre virtuel qui permet de surveiller les données des téléphones portables, de collecter des données sur les réseaux sociaux (comme l'emplacement des personnes qui tweetent lors d'une marche ou d'une manifestation) et de collecter des informations sur le site Web pour permettre aux entreprises de faire des annonces géolocalisées. pour les services et les produits. Beaucoup se sont demandé pourquoi le géorepérage était utilisé pour surveiller l'activité des médias sociaux de ces manifestants contre le racisme, mais n'a pas été mis en œuvre pour surveiller les suprémacistes blancs. Le déploiement disparate de ces technologies fait naître des mémoires collectives sur la façon dont la police est utilisée dans les communautés marginalisées. Compte tenu de la décision Carpenter c. Cour suprême des États-Unis, d'autres ont remis en question la légalité de l'utilisation du géorepérage dans cette situation. Les gens ont des préoccupations similaires au sujet de la police des points chauds - dans laquelle les forces de l'ordre ciblent des zones géographiques spécifiques où la criminalité peut être plus concentrée - et se demandent s'il s'agit simplement de profilage racial sous un nom de police prédictif.
Le déploiement disparate de ces technologies fait naître des mémoires collectives sur la façon dont la police est utilisée dans les communautés marginalisées. »
Les services de police ont également accès aux caméras des propriétaires privés si un crime a été commis dans la région. La société de caméras de sonnette la plus importante, Ring, a conclu des partenariats de partage de vidéos avec 400 services de police à travers les États-Unis. Bien que la police devrait avoir la possibilité d'accéder à une grande variété de ressources pour résoudre les délits, il devrait y avoir un moyen plus réglementé et transparent d'accéder à la vidéo et aux données des résidences privées. Par exemple, les propriétaires devraient pouvoir visionner les images qui ont été consultées depuis leur domicile et savoir combien de temps les images seront stockées.
Conformément au Minority Report », certains tribunaux utilisent des algorithmes pour évaluer les risques de récidive avant de libérer des personnes de prison. La liste stratégique des sujets et le modèle de risque de criminalité et de victimisation de Chicago ont utilisé un logiciel d'IA pour prédire qui pourrait commettre le plus de délits après son arrestation. Un rapport de 2020 du Bureau de l'inspecteur général de Chicago a révélé que le logiciel n'était pas fiable et que la qualité des données était médiocre. Dans une ville comme Chicago, ces résultats sont encore plus pertinents compte tenu du niveau de racisme découvert au sein des tribunaux.
L'hypothèse semble être que les technologies utilisant des algorithmes sont mieux à même d'identifier les menaces et les criminels potentiels. Certaines recherches utilisant l'apprentissage automatique pour la libération sous caution montrent comment l'IA peut être utilisée pour réduire la récidive, la criminalité et les disparités raciales dans les peines. Dans le même temps, les algorithmes peuvent reproduire des décisions préjudiciables qui surviennent dans la vie sociale. Cela semblait être le cas à Chicago. Un point clé est qu'omettre la race comme attribut de modèle, ce qui est le cas avec le logiciel de Chicago, peut conduire à plus de biais que de l'inclure. Sans davantage de réglementation et de garanties, la variabilité de ces résultats continuera de se manifester.
faire de la race un attribut du modèle… peut conduire à plus de biais que de l'inclure. »
Compte tenu de ces cas d'utilisation, sur quoi les décideurs devraient-ils se concentrer en matière d'utilisation équitable et de déploiement des systèmes d'IA?