L’invention du « gaydar » de l’IA pourrait être le début de quelque chose de bien pire

Il y a deux semaines, une paire de chercheurs de l’université de Stanford a fait une déclaration étonnante. En utilisant des centaines de milliers d’images tirées d’un site de rencontres, ils ont déclaré avoir formé un système de reconnaissance faciale capable d’identifier si quelqu’un est hétéro ou gay juste en le regardant. Le travail a d’abord été couvert par The Economist, et d’autres publications ont rapidement suivi, avec des titres comme « Une nouvelle IA peut deviner si vous êtes gay ou hétéro à partir d’une photo » et « L’IA peut dire si vous êtes gay à partir d’une photo, et c’est terrifiant ».

Comme vous l’avez peut-être deviné, ce n’est pas aussi simple que cela. (Et pour être clair, sur la base de ce seul travail, l’IA ne peut pas dire si quelqu’un est gay ou hétéro à partir d’une photo). Mais ces recherches reflètent les craintes courantes à l’égard de l’intelligence artificielle, à savoir qu’elle ouvre de nouvelles voies de surveillance et de contrôle et qu’elle pourrait être particulièrement néfaste pour les personnes marginalisées. L’un des auteurs de l’article, le Dr Michal Kosinski, affirme que son intention est de tirer la sonnette d’alarme sur les dangers de l’IA, et prévient que la reconnaissance faciale sera bientôt capable d’identifier non seulement l’orientation sexuelle d’une personne, mais aussi ses opinions politiques, sa criminalité, et même son QI.

Avec des déclarations comme celles-ci, certains s’inquiètent que nous fassions revivre une vieille croyance qui a une mauvaise histoire : que vous pouvez intuitionner le caractère à partir de l’apparence. Cette pseudo-science, la physiognomonie, a été le carburant du racisme scientifique des 19e et 20e siècles, et a donné une couverture morale à certaines des pires impulsions de l’humanité : diaboliser, condamner et exterminer ses semblables. Les détracteurs du travail de Kosinski l’accusent de remplacer les étriers du XIXe siècle par les réseaux neuronaux du XXIe siècle, tandis que le professeur lui-même se dit horrifié par ses découvertes et heureux qu’on lui prouve qu’il a tort. « C’est un sujet controversé et bouleversant, et c’est aussi bouleversant pour nous », dit-il à The Verge.

Mais est-il possible que la pseudo-science revienne furtivement dans le monde, déguisée sous de nouveaux habits grâce à l’IA ? Certains disent que les machines sont simplement capables de lire plus sur nous que nous ne le pouvons nous-mêmes, mais que se passe-t-il si nous les entraînons à exécuter nos préjugés et, ce faisant, à donner une nouvelle vie à de vieilles idées que nous avons écartées à juste titre ? Comment allons-nous faire la différence ?

L’IA peut-elle vraiment repérer l’orientation sexuelle ?

D’abord, nous devons nous pencher sur l’étude au cœur du récent débat, écrite par Kosinski et son coauteur Yilun Wang. Ses résultats ont été mal rapportés, une grande partie du battage médiatique provenant de représentations erronées de la précision du système. L’article indique : « Étant donné une seule image faciale, pouvait distinguer correctement les hommes homosexuels et hétérosexuels dans 81 % des cas, et dans 71 % des cas pour les femmes. » Ces taux augmentent lorsque le système reçoit cinq photos d’un individu : jusqu’à 91 pour cent pour les hommes, et 83 pour cent pour les femmes.

À première vue, cela ressemble à « L’IA peut dire si un homme est gay ou hétéro 81 pour cent du temps en regardant sa photo. » (D’où les gros titres.) Mais ce n’est pas ce que signifient les chiffres. L’IA n’a pas eu raison à 81 % lorsqu’on lui a montré des photos prises au hasard : elle a été testée sur une paire de photos, l’une d’une personne homosexuelle et l’autre d’une personne hétérosexuelle, et on lui a ensuite demandé quelle personne avait le plus de chances d’être homosexuelle. Il a trouvé la bonne réponse dans 81 % des cas pour les hommes et 71 % des cas pour les femmes, mais la structure du test signifie qu’il a commencé avec une base de référence de 50 % – c’est ce qu’il obtiendrait en devinant au hasard. Et bien qu’il ait été significativement meilleur que cela, les résultats ne sont pas les mêmes que de dire qu’il peut identifier l’orientation sexuelle de n’importe qui 81 pour cent du temps.

Comme Philip Cohen, un sociologue de l’Université du Maryland qui a écrit un billet de blog critiquant le document, a déclaré à The Verge : « Les gens ont peur d’une situation où vous avez une vie privée et que votre orientation sexuelle n’est pas connue, et que vous allez dans un aéroport ou un événement sportif et qu’un ordinateur scanne la foule et identifie si vous êtes gay ou hétéro. Mais il n’y a tout simplement pas beaucoup de preuves que cette technologie puisse le faire. »

Kosinski et Wang le précisent eux-mêmes vers la fin de l’article lorsqu’ils testent leur système sur 1 000 photographies au lieu de deux. Ils demandent à l’IA de repérer les personnes les plus susceptibles d’être homosexuelles dans un ensemble de données où 7 % des sujets des photos sont homosexuels, ce qui reflète à peu près la proportion d’hétérosexuels et d’homosexuels dans la population américaine. Lorsqu’on lui demande de sélectionner les 100 personnes les plus susceptibles d’être homosexuelles, le système n’obtient que 47 des 70 résultats possibles. Les 53 autres ont été identifiés de manière incorrecte. Et lorsqu’on lui demande d’identifier un top 10, neuf ont raison.

Si vous étiez un mauvais acteur essayant d’utiliser ce système pour identifier des personnes homosexuelles, vous ne pourriez pas être sûr d’obtenir des réponses correctes. Bien que, si vous l’utilisiez contre un ensemble de données assez grand, vous pourriez obtenir des suppositions majoritairement correctes. Est-ce dangereux ? Si le système est utilisé pour cibler les homosexuels, alors oui, bien sûr. Mais le reste de l’étude suggère que le programme a encore d’autres limites.

Que peuvent vraiment voir les ordinateurs que les humains ne peuvent pas voir ?

On ne sait pas non plus quels facteurs le système de reconnaissance faciale utilise pour faire ses jugements. L’hypothèse de Kosinski et Wang est qu’il identifie principalement des différences structurelles : des traits féminins dans les visages des hommes gays et des traits masculins dans les visages des femmes gays. Mais il est possible que l’IA soit déroutée par d’autres stimuli – comme les expressions faciales sur les photos.

Ceci est particulièrement pertinent car les images utilisées dans l’étude provenaient d’un site de rencontres. Comme l’a souligné Greggor Mattson, professeur de sociologie à l’Oberlin College, dans un billet de blog, cela signifie que les images elles-mêmes sont biaisées, car elles ont été sélectionnées spécifiquement pour attirer une personne d’une certaine orientation sexuelle. Elles répondent presque certainement à nos attentes culturelles quant à l’apparence des homosexuels et des hétérosexuels et, pour limiter encore plus leur applicabilité, tous les sujets étaient blancs, sans inclure de personnes bisexuelles ou s’identifiant comme trans. Si un homme hétéro choisit la photo de lui la plus stéréotypée « virile » pour un site de rencontres, cela en dit plus sur ce qu’il pense que la société attend de lui qu’un lien entre la forme de sa mâchoire et son orientation sexuelle.

Pour essayer de s’assurer que leur système ne regardait que la structure faciale, Kosinski et Wang ont utilisé un logiciel appelé VGG-Face, qui code les visages comme des chaînes de chiffres et a été utilisé pour des tâches comme le repérage de sosies de célébrités dans des peintures. Ce programme, écrivent-ils, leur permet de « minimiser le rôle des caractéristiques transitoires » comme l’éclairage, la pose et l’expression du visage.

Mais le chercheur Tom White, qui travaille sur le système facial de l’IA, affirme que VGG-Face est en fait très bon pour repérer ces éléments. White l’a souligné sur Twitter, et a expliqué à The Verge par courriel comment il avait testé le logiciel et l’avait utilisé pour distinguer avec succès des visages avec des expressions comme « neutre » et « heureux », ainsi que des poses et des couleurs d’arrière-plan.

Parlant à The Verge, Kosinski dit que lui et Wang ont été explicites sur le fait que des choses comme les cheveux du visage et le maquillage pourraient être un facteur dans la prise de décision de l’IA, mais il maintient que la structure faciale est la plus importante. « Si vous regardez les propriétés générales de VGG-Face, il a tendance à accorder très peu d’importance aux caractéristiques faciales transitoires », explique Kosinski. « Nous fournissons également des preuves que les caractéristiques faciales non transitoires semblent être prédictives de l’orientation sexuelle. »

Le problème est que nous ne pouvons pas en être sûrs. Kosinski et Wang n’ont pas publié le programme qu’ils ont créé ou les photos qu’ils ont utilisées pour l’entraîner. Ils testent bien leur IA sur d’autres sources d’images, pour voir si elle identifie un facteur commun à tous les gays et hétéros, mais ces tests étaient limités et s’appuyaient également sur un ensemble de données biaisé – des photos de profil Facebook d’hommes qui aimaient des pages telles que « I love being Gay » et « Gay and Fabulous. »

Les hommes de ces groupes servent-ils de proxy raisonnables pour tous les gays ? Probablement pas, et Kosinski dit qu’il est possible que son travail soit erroné. « De nombreuses autres études devront être menées pour vérifier , dit-il. Mais il est difficile de dire comment on pourrait éliminer complètement le biais de sélection pour effectuer un test concluant. Kosinski déclare à The Verge : « Il n’est pas nécessaire de comprendre comment le modèle fonctionne pour tester s’il est correct ou non. » Cependant, c’est l’acceptation de l’opacité des algorithmes qui rend ce type de recherche si épineuse.

Si l’IA ne peut pas montrer son fonctionnement, peut-on lui faire confiance ?

Les chercheurs en IA ne peuvent pas expliquer complètement pourquoi leurs machines font les choses qu’elles font. C’est un défi qui traverse tout le domaine, et qui est parfois appelé le problème de la « boîte noire ». En raison des méthodes utilisées pour former l’IA, ces programmes ne peuvent pas montrer leur travail de la même manière que les logiciels normaux, bien que les chercheurs travaillent à amender cela.

En attendant, cela conduit à toutes sortes de problèmes. L’un d’eux, courant, est que les préjugés sexistes et racistes sont captés des humains dans les données d’entraînement et reproduits par l’IA. Dans le cas des travaux de Kosinski et Wang, la « boîte noire » leur permet de faire un acte de foi scientifique particulier. Parce qu’ils sont convaincus que leur système analyse principalement les structures faciales, ils affirment que leurs recherches montrent que les structures faciales permettent de prédire l’orientation sexuelle. (« L’étude 1a a montré que les caractéristiques faciales extraites par un peuvent être utilisées pour identifier avec précision l’orientation sexuelle des hommes et des femmes. »)

Les experts disent que c’est une affirmation trompeuse qui n’est pas soutenue par les dernières données scientifiques. Il peut y avoir une cause commune à la forme du visage et à l’orientation sexuelle – la cause la plus probable est l’équilibre des hormones dans l’utérus – mais cela ne signifie pas que la forme du visage prédit de manière fiable l’orientation sexuelle, explique Qazi Rahman, un universitaire du King’s College de Londres qui étudie la biologie de l’orientation sexuelle. « La biologie est un peu plus nuancée que ce que nous lui accordons souvent », dit-il à The Verge. « La question ici est la force de l’association. »

L’idée que l’orientation sexuelle provient principalement de la biologie est elle-même controversée. Rahman, qui pense que l’orientation sexuelle est principalement biologique, fait l’éloge du travail de Kosinski et Wang. « Ce n’est pas de la science de pacotille », dit-il. « C’est plutôt de la science que quelqu’un n’aime pas ». Mais lorsqu’il s’agit de prédire l’orientation sexuelle, il estime qu’il faut tenir compte de tout un ensemble de « comportements atypiques liés au genre ». « La question pour moi est plutôt celle qui passe à côté de l’essentiel, à savoir le comportement. »

Réduire la question de l’orientation sexuelle à un facteur unique et mesurable dans le corps a une longue histoire, souvent peu glorieuse. Comme l’écrit Matton dans son billet de blog, les approches sont allées des « mesures du clitoris des lesbiennes et des hanches des hommes homosexuels au XIXe siècle, aux affirmations de la fin du XXe siècle selon lesquelles on aurait découvert des « gènes gays », des « cerveaux gays », des « annulaires gays », des « oreilles lesbiennes » et des « cheveux gays ». » L’impact de ces travaux est mitigé, mais dans le pire des cas, c’est un outil d’oppression : il donne aux personnes qui veulent déshumaniser et persécuter les minorités sexuelles un prétexte « scientifique ».

Jenny Davis, maître de conférences en sociologie à l’Université nationale australienne, le décrit comme une forme d’essentialisme biologique. Il s’agit de la croyance que des choses comme l’orientation sexuelle sont ancrées dans le corps. Cette approche, dit-elle, est à double tranchant. D’un côté, elle « fait une chose politique utile : détacher le blâme du désir homosexuel. Mais d’un autre côté, elle renforce la position dévalorisée de ce type de désir », érigeant l’hétérosexualité en norme et présentant l’homosexualité comme « moins valable… une sorte de maladie. »

Et c’est quand on considère les recherches de Kosinski et Wang dans ce contexte que la reconnaissance faciale alimentée par l’IA prend un aspect encore plus sombre – à savoir, disent certains critiques, comme faisant partie d’une tendance au retour de la physionomie, alimentée par l’IA.

Votre personnage, aussi simple que le nez sur votre visage

Pendant des siècles, les gens ont cru que le visage détenait la clé du personnage. Cette notion trouve ses racines dans la Grèce antique, mais a été particulièrement influente au 19e siècle. Les partisans de la physiognomonie ont suggéré qu’en mesurant des choses comme l’angle du front d’une personne ou la forme de son nez, ils pouvaient déterminer si une personne était honnête ou criminelle. L’année dernière, en Chine, des chercheurs en IA ont affirmé pouvoir faire la même chose en utilisant la reconnaissance faciale.

Leur recherche, publiée sous le titre « Automated Inference on Criminality Using Face Images », a provoqué un petit tumulte dans la communauté de l’IA. Les scientifiques ont souligné les failles de l’étude, et ont conclu que ce travail reproduisait les préjugés humains sur ce qui constitue un visage « méchant » ou « gentil ». Dans une réfutation largement partagée intitulée « Physiognomy’s New Clothes », Blaise Agüera y Arcas, chercheur chez Google, et deux co-auteurs ont écrit que nous devrions nous attendre à « d’autres recherches dans les années à venir qui ont des prétentions similaires … à l’objectivité scientifique afin de « blanchir » les préjugés humains et la discrimination ». (Google a refusé de mettre Agüera y Arcas à disposition pour commenter ce rapport.)

Le document de Kosinski et Wang reconnaît clairement les dangers de la physiognomonie, notant que la pratique « est maintenant universellement, et à juste titre, rejetée comme un mélange de superstition et de racisme déguisé en science. » Mais, poursuivent-ils, ce n’est pas parce qu’un sujet est « tabou » qu’il n’a aucun fondement dans la vérité. Ils disent que parce que les humains sont capables de lire des caractéristiques comme la personnalité sur les visages d’autres personnes avec une « faible précision », les machines devraient être capables de faire la même chose mais avec plus de précision.

Kosinski dit que sa recherche n’est pas de la physiognomonie parce qu’elle utilise des méthodes scientifiques rigoureuses, et son article cite un certain nombre d’études montrant que nous pouvons déduire (avec une précision variable) des traits sur les gens en les regardant. « On m’a éduqué et fait croire qu’il était absolument impossible que le visage contienne des informations sur vos traits intimes, parce que la physiognomonie et la phrénologie n’étaient que des pseudosciences », dit-il. « Mais le fait qu’ils affirmaient des choses sans aucun fondement, qu’ils inventaient des choses, ne signifie pas que ces choses ne sont pas réelles. » Il convient que la physiognomonie n’est pas une science, mais dit qu’il peut y avoir une vérité dans ses concepts de base que les ordinateurs peuvent révéler.

Pour Davis, ce genre d’attitude vient d’une croyance répandue et erronée dans la neutralité et l’objectivité de l’IA. « L’intelligence artificielle n’est en fait pas artificielle », dit-elle à The Verge. « Les machines apprennent comme les humains apprennent. Nous sommes enseignés par la culture et absorbons les normes de la structure sociale, et l’intelligence artificielle fait de même. Elle va donc recréer, amplifier et continuer sur les trajectoires que nous lui avons enseignées, qui vont toujours refléter les normes culturelles existantes. »

Nous avons déjà créé des algorithmes sexistes et racistes, et ces sortes de biais culturels et de physionomie ne sont en fait que les deux faces d’une même pièce : les deux s’appuient sur de mauvaises preuves pour juger les autres. Le travail des chercheurs chinois est un exemple extrême, mais ce n’est certainement pas le seul. Il y a au moins une startup déjà active qui prétend pouvoir repérer les terroristes et les pédophiles à l’aide de la reconnaissance faciale, et il y en a beaucoup d’autres qui proposent d’analyser « l’intelligence émotionnelle » et de mener une surveillance alimentée par l’IA.

Face à ce qui s’annonce

Mais pour revenir aux questions sous-entendues par ces titres alarmants sur l’article de Kosinski et Wang : l’IA va-t-elle être utilisée pour persécuter les minorités sexuelles ?

Ce système ? Non. Un système différent ? Peut-être.

Le travail de Kosinski et Wang n’est pas invalide, mais ses résultats nécessitent de sérieuses qualifications et des tests supplémentaires. Sans cela, tout ce que nous savons de leur système, c’est qu’il peut repérer avec une certaine fiabilité la différence entre les personnes blanches qui s’identifient comme gays et hétéros sur un site de rencontre particulier. Nous ne savons pas s’il a repéré une différence biologique commune à toutes les personnes homosexuelles et hétérosexuelles ; nous ne savons pas s’il fonctionnerait avec un ensemble plus large de photos ; et les travaux ne montrent pas que l’orientation sexuelle peut être déduite avec rien de plus que, par exemple, une mesure de la mâchoire. Il n’a pas décodé la sexualité humaine, pas plus que les robots conversationnels de l’IA n’ont décodé l’art d’une bonne conversation. (Ses auteurs ne font d’ailleurs pas une telle affirmation.)

La recherche a été publiée pour avertir les gens, disent Kosinski, mais il admet que c’est un « paradoxe inévitable » que de faire cela vous devez expliquer comment vous avez fait ce que vous avez fait. Tous les outils utilisés dans l’article sont disponibles et chacun peut les trouver et les assembler lui-même. Sur le site d’apprentissage profond Fast.ai, le chercheur Jeremy Howard conclut : « Il est probablement raisonnable de supposer que de nombreuses organisations ont déjà réalisé des projets similaires, mais sans les publier dans la littérature académique. »

Nous avons déjà mentionné des startups travaillant sur cette tech, et il n’est pas difficile de trouver des régimes gouvernementaux qui l’utiliseraient. Dans des pays comme l’Iran et l’Arabie saoudite, l’homosexualité est toujours punie de mort ; dans de nombreux autres pays, être gay signifie être traqué, emprisonné et torturé par l’État. Des rapports récents ont parlé de l’ouverture de camps de concentration pour les homosexuels en République tchétchène, alors que se passera-t-il si quelqu’un là-bas décide de fabriquer son propre gaydar IA, et de scanner les photos de profil des médias sociaux russes ?

Ici, il devient clair que la précision de systèmes comme ceux de Kosinski et Wang n’est pas vraiment le point. Si les gens croient que l’IA peut être utilisée pour déterminer la préférence sexuelle, ils l’utiliseront. Dans cette optique, il est plus important que jamais de comprendre les limites de l’intelligence artificielle, afin d’essayer de neutraliser les dangers avant qu’ils ne commencent à avoir un impact sur les gens. Avant d’apprendre aux machines nos préjugés, nous devons d’abord nous apprendre à nous-mêmes.