Google ha presentado su nueva familia de modelos de IA, PaliGemma 2, que tiene la capacidad de analizar imágenes y generar subtítulos detallados. Esta IA puede identificar no solo objetos, sino también acciones, emociones y narrativas dentro de las fotos.

PaliGemma 2 busca ir más allá de la simple identificación de objetos, describiendo las emociones de las personas en las imágenes.

---

La tecnología de identificación emocional de PaliGemma 2 y sus implicaciones éticas

PaliGemma 2 promete generar subtítulos que van más allá de la simple identificación de objetos, incorporando elementos emocionales. Sin embargo, el reconocimiento de emociones no es instantáneo y se necesita realizar ajustes para que funcione correctamente.

Expertos como Sandra Wachter, profesora de ética de datos e inteligencia artificial en el Oxford Internet Institute, expresaron su preocupación. La idea de una máquina que pueda leer las emociones humanas genera inquietud, ya que, según Wachter, «es como pedirle consejo a una bola mágica 8».

---

La ciencia detrás de la detección de emociones en IA y los riesgos de sesgo

Durante años, se ha intentado desarrollar IA capaz de detectar emociones, pero la ciencia detrás de estos sistemas es aún incierta.

Aunque la mayoría de los detectores de emociones están basados en las teorías del psicólogo Paul Ekman, las investigaciones recientes han demostrado que las expresiones emocionales no son universales, sino que varían según el contexto cultural y social.

Mike Cook, investigador del King’s College de Londres, explicó que, si bien algunos patrones emocionales son detectables, la detección emocional no es una ciencia exacta.

---

Problemas de fiabilidad y sesgo en los sistemas de detección de emociones

Los sistemas de IA que intentan detectar emociones suelen ser poco fiables y pueden estar sesgados debido a las premisas de sus diseñadores.

Un estudio del MIT en 2020 reveló que los modelos de análisis facial pueden desarrollar preferencias por ciertas expresiones, como la sonrisa, mientras que un trabajo reciente mostró que los modelos asignan más emociones negativas a los rostros de personas negras que a los de personas blancas.

A pesar de las pruebas realizadas por Google, algunos investigadores siguen criticando la fiabilidad de estos sistemas.

---

PaliGemma 2 y su impacto en los sesgos de representación

Aunque Google afirma haber realizado pruebas exhaustivas para evaluar los sesgos en PaliGemma 2, algunos expertos cuestionan los métodos utilizados. Google reveló que utilizó el parámetro de referencia FairFace, un conjunto de fotos de rostros, pero algunos críticos afirman que FairFace representa una visión sesgada y limitada de los grupos raciales.

---

La subjetividad de la interpretación de emociones en IA

El análisis de las emociones no puede basarse únicamente en los rasgos faciales.

Según Heidy Khlaaf, científica principal de IA en AI Now Institute, la interpretación emocional es una cuestión profundamente subjetiva, que depende del contexto cultural y personal. Las investigaciones sugieren que las emociones no pueden inferirse únicamente a partir de los rasgos faciales.

---

Regulaciones y riesgos de la implementación de la IA para detectar emociones

Los reguladores de todo el mundo se han mostrado preocupados por el uso de tecnologías de detección emocional en contextos de alto riesgo. La Ley de IA, la principal legislación sobre IA en la Unión Europea, prohíbe a las escuelas y a los empleadores implementar detectores de emociones (pero no a las fuerzas del orden).

La mayor preocupación en torno a modelos abiertos como PaliGemma 2, que está disponible en varios hosts, incluida la plataforma de desarrollo de inteligencia artificial Hugging Face, es que se abusará de ellos o se les hará un mal uso, lo que podría provocar daños en el mundo real.

---

El peligro de un uso indebido de la «identificación emocional»

“Si esta llamada identificación emocional se basa en presunciones pseudocientíficas, hay implicaciones significativas en cómo esta capacidad puede usarse para discriminar aún más, y de manera falsa, a grupos marginados, como en la aplicación de la ley, la dotación de recursos humanos, la gobernanza fronteriza, etc.”, dijo Khlaaf.

---

Declaración de Google sobre la seguridad y las pruebas de PaliGemma 2

Cuando se le preguntó sobre los peligros de lanzar públicamente PaliGemma 2, un portavoz de Google dijo que la compañía respalda sus pruebas de “daños de representación” en lo que respecta a las respuestas a preguntas visuales y los subtítulos.

“Realizamos evaluaciones sólidas de los modelos de PaliGemma 2 en relación con la ética y la seguridad, incluida la seguridad infantil y la seguridad del contenido”, agregaron.

---

Preocupaciones sobre la innovación responsable en la IA

Wachter no está convencida de que eso sea suficiente.

“La innovación responsable implica pensar en las consecuencias desde el primer día que entras en tu laboratorio y seguir haciéndolo durante todo el ciclo de vida de un producto”, afirmó. “Puedo pensar en una infinidad de problemas potenciales [con modelos como este] que pueden llevar a un futuro distópico, en el que tus emociones determinen si consigues el trabajo, un préstamo y si te admiten en la universidad”.