La invención del ‘gaydar’ de la IA podría ser el comienzo de algo mucho peor

Hace dos semanas, un par de investigadores de la Universidad de Stanford hicieron una afirmación sorprendente. Utilizando cientos de miles de imágenes tomadas de un sitio web de citas, dijeron que habían entrenado un sistema de reconocimiento facial que podía identificar si alguien era heterosexual o gay con sólo mirarlo. El trabajo fue cubierto por primera vez por The Economist, y otras publicaciones pronto siguieron su ejemplo, con titulares como «Una nueva IA puede adivinar si eres gay o heterosexual a partir de una fotografía» y «La IA puede decir si eres gay a partir de una foto, y es aterrador».»

Como habrás adivinado, no es tan sencillo. (Y para ser claros, basándonos solo en este trabajo, la IA no puede decir si alguien es gay o heterosexual a partir de una foto). Pero la investigación recoge los temores habituales sobre la inteligencia artificial: que abra nuevas vías de vigilancia y control, y que pueda ser especialmente perjudicial para las personas marginadas. Uno de los autores del trabajo, el doctor Michal Kosinski, afirma que su intención es hacer sonar la alarma sobre los peligros de la IA, y advierte que el reconocimiento facial pronto podrá identificar no sólo la orientación sexual de alguien, sino sus opiniones políticas, su criminalidad e incluso su coeficiente intelectual.

Con afirmaciones como estas, algunos se preocupan de que estemos reviviendo una vieja creencia con una mala historia: que se puede intuir el carácter a partir de la apariencia. Esta pseudociencia, la fisiognomía, fue el combustible del racismo científico de los siglos XIX y XX, y dio cobertura moral a algunos de los peores impulsos de la humanidad: demonizar, condenar y exterminar a otros seres humanos. Los críticos del trabajo de Kosinski le acusan de sustituir los calibradores del siglo XIX por las redes neuronales del XXI, mientras que el propio profesor dice estar horrorizado por sus hallazgos, y feliz de que se demuestre que está equivocado. «Es un tema controvertido y molesto, y también lo es para nosotros», dice a The Verge.

¿Pero es posible que la pseudociencia se esté colando de nuevo en el mundo, disfrazada con nuevos ropajes gracias a la IA? Hay quien dice que las máquinas simplemente son capaces de leer más sobre nosotros que nosotros mismos, pero ¿y si las estamos entrenando para que lleven a cabo nuestros prejuicios y, al hacerlo, den nueva vida a viejas ideas que desechamos con razón? ¿Cómo vamos a notar la diferencia?

¿Puede la IA detectar realmente la orientación sexual?

En primer lugar, tenemos que analizar el estudio que está en el centro del reciente debate, escrito por Kosinski y su coautor Yilun Wang. Sus resultados han sido mal comunicados, y gran parte del bombo y platillo se debe a las tergiversaciones de la precisión del sistema. El artículo afirma: «Dada una sola imagen facial, pudo distinguir correctamente entre hombres homosexuales y heterosexuales en el 81 por ciento de los casos, y en el 71 por ciento de los casos para las mujeres». Estos índices aumentan cuando se le dan al sistema cinco imágenes de un individuo: hasta el 91 por ciento para los hombres, y el 83 por ciento para las mujeres.

A primera vista, esto suena como «la IA puede decir si un hombre es gay o heterosexual el 81 por ciento de las veces mirando su foto». (De ahí los titulares.) Pero eso no es lo que significan las cifras. La IA no acertó en un 81% cuando se le mostraron fotos al azar: se probó con un par de fotos, una de una persona gay y otra heterosexual, y luego se le preguntó qué individuo tenía más probabilidades de ser gay. Acertó el 81 por ciento de las veces en el caso de los hombres y el 71 por ciento de las veces en el de las mujeres, pero la estructura de la prueba significa que comenzó con una línea de base del 50 por ciento, que es lo que obtendría adivinando al azar. Y aunque fue significativamente mejor que eso, los resultados no son lo mismo que decir que puede identificar la orientación sexual de cualquier persona el 81 por ciento de las veces.

Como dijo a The Verge Philip Cohen, un sociólogo de la Universidad de Maryland que escribió una entrada en su blog criticando el trabajo: «A la gente le asusta una situación en la que tienes una vida privada y no se conoce tu orientación sexual, y vas a un aeropuerto o a un evento deportivo y un ordenador escanea a la multitud e identifica si eres gay o heterosexual. Pero no hay muchas pruebas de que esta tecnología pueda hacer eso»

Kosinski y Wang lo dejan claro ellos mismos hacia el final del artículo cuando prueban su sistema con 1.000 fotografías en lugar de dos. Piden a la IA que elija quién es más probable que sea gay en un conjunto de datos en el que el 7 por ciento de los sujetos de las fotos son homosexuales, lo que refleja aproximadamente la proporción de hombres heterosexuales y homosexuales en la población estadounidense. Cuando se le pide que seleccione a los 100 individuos con mayor probabilidad de ser gay, el sistema sólo obtiene 47 de los 70 aciertos posibles. Los 53 restantes han sido identificados incorrectamente. Y cuando se le pide que identifique a un top 10, nueve aciertan.

Si fueras un mal actor y trataras de utilizar este sistema para identificar a personas homosexuales, no podrías saber con seguridad que estás obteniendo respuestas correctas. Aunque, si lo usaras contra un conjunto de datos lo suficientemente grande, podrías obtener la mayoría de las conjeturas correctas. ¿Es esto peligroso? Si el sistema se utiliza para atacar a los homosexuales, entonces sí, por supuesto. Pero el resto del estudio sugiere que el programa tiene aún más limitaciones.

¿Qué pueden ver realmente los ordenadores que no puedan ver los humanos?

Tampoco está claro qué factores utiliza el sistema de reconocimiento facial para emitir sus juicios. La hipótesis de Kosinski y Wang es que está identificando principalmente diferencias estructurales: rasgos femeninos en los rostros de los hombres homosexuales y rasgos masculinos en los rostros de las mujeres homosexuales. Pero es posible que la IA se confunda con otros estímulos, como las expresiones faciales de las fotos.

Esto es especialmente relevante porque las imágenes utilizadas en el estudio se tomaron de un sitio web de citas. Como señaló Greggor Mattson, profesor de sociología en el Oberlin College, en una entrada de blog, esto significa que las propias imágenes están sesgadas, ya que fueron seleccionadas específicamente para atraer a alguien de una determinada orientación sexual. Es casi seguro que responden a nuestras expectativas culturales sobre el aspecto de los homosexuales y los heterosexuales y, para limitar aún más su aplicabilidad, todos los sujetos eran blancos, sin incluir a personas bisexuales o que se identificaran como trans. Si un hombre heterosexual elige la foto más estereotipada de sí mismo para un sitio de citas, eso dice más sobre lo que cree que la sociedad quiere de él que una relación entre la forma de su mandíbula y su orientación sexual.

Para intentar asegurarse de que su sistema se fijaba sólo en la estructura facial, Kosinski y Wang utilizaron un software llamado VGG-Face, que codifica los rostros como cadenas de números y se ha utilizado para tareas como la detección de parecidos de famosos en pinturas. Este programa, escriben, les permite «minimizar el papel que desempeñan los rasgos transitorios» como la iluminación, la pose y la expresión facial.

Pero el investigador Tom White, que trabaja en el sistema facial de la IA, dice que VGG-Face es en realidad muy bueno en la captación de estos elementos. White lo señaló en Twitter, y explicó a The Verge por correo electrónico cómo había probado el software y lo utilizó para distinguir con éxito entre rostros con expresiones como «neutro» y «feliz», así como las poses y el color de fondo.

En declaraciones a The Verge, Kosinski dice que él y Wang han sido explícitos en que cosas como el vello facial y el maquillaje podrían ser un factor en la toma de decisiones de la IA, pero mantiene que la estructura facial es lo más importante. «Si se observan las propiedades generales de VGG-Face, tiende a dar muy poca importancia a los rasgos faciales transitorios», afirma Kosinski. «También aportamos pruebas de que los rasgos faciales no transitorios parecen ser predictivos de la orientación sexual»

El problema es que no podemos saberlo con seguridad. Kosinski y Wang no han hecho público el programa que crearon ni las fotos que utilizaron para entrenarlo. Sí prueban su IA en otras fuentes de imágenes, para ver si está identificando algún factor común a todos los homosexuales y heterosexuales, pero estas pruebas fueron limitadas y también se basaron en un conjunto de datos sesgado: fotos de perfil de Facebook de hombres a los que les gustaban páginas como «Me encanta ser gay» y «Gay y fabuloso».

¿Los hombres de estos grupos sirven como proxies razonables para todos los hombres gay? Probablemente no, y Kosinski dice que es posible que su trabajo esté equivocado. «Habrá que realizar muchos más estudios para comprobarlo», dice. Pero es difícil decir cómo se podría eliminar completamente el sesgo de selección para realizar una prueba concluyente. Kosinski dice a The Verge: «No hace falta entender cómo funciona el modelo para comprobar si es correcto o no». Sin embargo, es la aceptación de la opacidad de los algoritmos lo que hace que este tipo de investigación sea tan delicada.

Si la IA no puede mostrar su funcionamiento, ¿podemos confiar en ella?

Los investigadores de la IA no pueden explicar completamente por qué sus máquinas hacen las cosas que hacen. Es un reto que atraviesa todo el campo y que a veces se conoce como el problema de la «caja negra». Debido a los métodos utilizados para entrenar la IA, estos programas no pueden mostrar su trabajo de la misma manera que lo hace el software normal, aunque los investigadores están trabajando para enmendar esto.

Mientras tanto, esto conduce a todo tipo de problemas. Uno de ellos es que los sesgos sexistas y racistas son captados por los humanos en los datos de entrenamiento y reproducidos por la IA. En el caso del trabajo de Kosinski y Wang, la «caja negra» les permite dar un particular salto de fe científico. Como están seguros de que su sistema analiza principalmente las estructuras faciales, dicen que su investigación demuestra que las estructuras faciales predicen la orientación sexual. («El estudio 1a demostró que los rasgos faciales extraídos por un pueden utilizarse para identificar con precisión la orientación sexual tanto de hombres como de mujeres»)

Los expertos dicen que se trata de una afirmación engañosa que no está respaldada por la ciencia más reciente. Puede haber una causa común para la forma de la cara y la orientación sexual -la causa más probable es el equilibrio de las hormonas en el útero-, pero eso no significa que la forma de la cara prediga de forma fiable la orientación sexual, dice Qazi Rahman, un académico del King’s College de Londres que estudia la biología de la orientación sexual. «La biología es un poco más matizada de lo que a menudo le damos crédito», dice a The Verge. «La cuestión aquí es la fuerza de la asociación».

La idea de que la orientación sexual proviene principalmente de la biología es en sí misma controvertida. Rahman, que cree que la orientación sexual es principalmente biológica, alaba el trabajo de Kosinski y Wang. «No es ciencia basura», dice. «Más bien es ciencia que a alguien no le gusta». Pero cuando se trata de predecir la orientación sexual, dice que hay todo un paquete de «comportamientos atípicos de género» que hay que tener en cuenta. «La cuestión para mí es más bien que se pierde el punto, y es el comportamiento.»

Reducir la cuestión de la orientación sexual a un único factor medible en el cuerpo tiene una larga y a menudo poco gloriosa historia. Como escribe Matton en su blog, los enfoques han ido desde «las mediciones del siglo XIX de los clítoris de las lesbianas y las caderas de los hombres homosexuales, hasta las afirmaciones de finales del siglo XX de haber descubierto «genes gay», «cerebros gay», «dedos anulares gay», «orejas de lesbiana» y «pelo del cuero cabelludo gay». El impacto de este trabajo es mixto, pero en el peor de los casos es una herramienta de opresión: da a la gente que quiere deshumanizar y perseguir a las minorías sexuales un pretexto «científico».

Jenny Davis, profesora de sociología en la Universidad Nacional de Australia, lo describe como una forma de esencialismo biológico. Se trata de la creencia de que cosas como la orientación sexual están arraigadas en el cuerpo. Este enfoque, dice, tiene un doble filo. Por un lado, «hace una cosa política útil: desligar la culpa del deseo del mismo sexo. Pero, por otro lado, refuerza la posición devaluada de ese tipo de deseo», estableciendo la hetrosexualidad como la norma y enmarcando la homosexualidad como «menos valiosa… una especie de enfermedad».»

Y es cuando consideramos la investigación de Kosinski y Wang en este contexto que el reconocimiento facial potenciado por la IA adquiere un aspecto aún más oscuro, concretamente, dicen algunos críticos, como parte de una tendencia al retorno de la fisionomía, potenciada por la IA.

Tu carácter, tan claro como la nariz de tu cara

Durante siglos, la gente ha creído que el rostro tenía la clave del carácter. La noción tiene sus raíces en la antigua Grecia, pero fue especialmente influyente en el siglo XIX. Los defensores de la fisiognomía sugerían que midiendo cosas como el ángulo de la frente de alguien o la forma de su nariz, podían determinar si una persona era honesta o criminal. El año pasado, en China, unos investigadores de IA afirmaron que podían hacer lo mismo utilizando el reconocimiento facial.

Su investigación, publicada como «Inferencia automatizada de la criminalidad utilizando imágenes faciales», causó un pequeño revuelo en la comunidad de la IA. Los científicos señalaron los defectos del estudio y concluyeron que ese trabajo estaba replicando los prejuicios humanos sobre lo que constituye una cara «mala» o «agradable». En una refutación ampliamente compartida, titulada «Physiognomy’s New Clothes», el investigador de Google Blaise Agüera y Arcas y dos coautores escribieron que deberíamos esperar «más investigaciones en los próximos años que tienen similares… falsas pretensiones de objetividad científica para «blanquear» los prejuicios humanos y la discriminación». (Google declinó poner a Agüera y Arcas a disposición para comentar este informe.)

El artículo de Kosinski y Wang reconoce claramente los peligros de la fisiognomía, señalando que la práctica «es ahora universalmente, y con razón, rechazada como una mezcla de superstición y racismo disfrazada de ciencia.» Pero, prosiguen, el hecho de que un tema sea «tabú» no significa que no tenga base en la verdad. Dicen que, dado que los humanos son capaces de leer características como la personalidad en los rostros de otras personas con «baja precisión», las máquinas deberían ser capaces de hacer lo mismo pero con más exactitud.

Kosinski dice que su investigación no es fisiognomía porque está utilizando métodos científicos rigurosos, y su artículo cita una serie de estudios que muestran que podemos deducir (con mayor o menor precisión) rasgos sobre las personas al mirarlas. «Me educaron y me hicieron creer que es absolutamente imposible que la cara contenga información sobre tus rasgos íntimos, porque la fisiognomía y la frenología eran sólo pseudociencias», dice. «Pero el hecho de que afirmaran cosas sin ninguna base, que se inventaran cosas, no significa que estas cosas no sean reales». Está de acuerdo en que la fisiognomía no es ciencia, pero dice que puede haber verdad en sus conceptos básicos que los ordenadores pueden revelar.

Para Davis, este tipo de actitud proviene de una creencia generalizada y errónea en la neutralidad y objetividad de la IA. «La inteligencia artificial no es, de hecho, artificial», dice a The Verge. «Las máquinas aprenden como los humanos. Nos enseñan a través de la cultura y absorben las normas de la estructura social, y lo mismo hace la inteligencia artificial. Así que recreará, amplificará y continuará con las trayectorias que le hemos enseñado, que siempre van a reflejar las normas culturales existentes»

Ya hemos creado algoritmos sexistas y racistas, y este tipo de sesgos culturales y la fisonomía son en realidad dos caras de la misma moneda: ambos se basan en malas pruebas para juzgar a los demás. El trabajo de los investigadores chinos es un ejemplo extremo, pero desde luego no es el único. Ya hay al menos una startup activa que afirma que puede detectar terroristas y pedófilos mediante el reconocimiento facial, y hay muchas otras que se ofrecen a analizar la «inteligencia emocional» y a llevar a cabo una vigilancia impulsada por la IA.

Enfrentándose a lo que se avecina

Pero volviendo a las preguntas implícitas en esos alarmantes titulares sobre el trabajo de Kosinski y Wang: ¿se va a utilizar la IA para perseguir a las minorías sexuales?

¿Este sistema? No. ¿Otro diferente? Tal vez.

El trabajo de Kosinski y Wang no es inválido, pero sus resultados necesitan serias calificaciones y más pruebas. Sin eso, todo lo que sabemos de su sistema es que puede detectar con cierta fiabilidad la diferencia entre personas blancas autoidentificadas como homosexuales y heterosexuales en un sitio de citas concreto. No sabemos si ha detectado una diferencia biológica común a todos los homosexuales y heterosexuales; no sabemos si funcionaría con un conjunto más amplio de fotos; y el trabajo no demuestra que la orientación sexual pueda deducirse con nada más que, por ejemplo, una medida de la mandíbula. No ha descifrado la sexualidad humana, como tampoco los chatbots de IA han descifrado el arte de una buena conversación. (Tampoco sus autores hacen tal afirmación.)

La investigación se publicó para advertir a la gente, dice Kosinski, pero admite que es una «paradoja inevitable» que para hacerlo haya que explicar cómo se hizo lo que se hizo. Todas las herramientas utilizadas en el artículo están disponibles para que cualquiera pueda encontrarlas y montarlas por sí mismo. El investigador Jeremy Howard, que escribe en el sitio de educación sobre aprendizaje profundo Fast.ai, concluye: «Probablemente es razonable suponer que muchas organizaciones ya han completado proyectos similares, pero sin publicarlos en la literatura académica»

Ya hemos mencionado a las startups que trabajan en esta tecnología, y no es difícil encontrar regímenes gubernamentales que la utilizarían. En países como Irán y Arabia Saudí la homosexualidad sigue castigada con la muerte; en muchos otros países, ser gay significa ser perseguido, encarcelado y torturado por el Estado. Informes recientes han hablado de la apertura de campos de concentración para hombres homosexuales en la República de Chechenia, así que, ¿qué pasaría si alguien allí decidiera hacer su propio gaydar de IA, y escanear las fotos de perfil de las redes sociales rusas?

Aquí, queda claro que la precisión de sistemas como el de Kosinski y Wang no es realmente el punto. Si la gente cree que la IA puede usarse para determinar la preferencia sexual, la usará. Teniendo esto en cuenta, es más importante que nunca que entendamos las limitaciones de la inteligencia artificial, para intentar neutralizar los peligros antes de que empiecen a afectar a las personas. Antes de enseñar a las máquinas nuestros prejuicios, tenemos que enseñarnos a nosotros mismos.