La historia de la IA

Sesgo y responsabilidad en la IA

Etapa 4 · Aprendizaje profundo y modelos fundacionales (2012–2021) › Alineamiento

Linaje
Datos y aprendizaje
Tipo
Publicación

Quién

MIT Media Lab, Microsoft Research, Universidad de Washington, Google

Qué ocurrió

Joy Buolamwini y Timnit Gebru muestran en febrero de 2018, en «Gender Shades», que tres sistemas comerciales de análisis facial fallan mucho más con las mujeres de piel oscura. En marzo de 2021, Emily M. Bender, Gebru y otras autoras advierten de los riesgos de los modelos de lenguaje cada vez más grandes.

Qué aportó

Junto a la pregunta de cómo hacer que un sistema haga lo que se quiere, se impone otra: a quién perjudica cuando falla y quién responde por ello.

Desarrollo

Los sistemas de aprendizaje automático aprenden de los datos con los que se entrenan, y heredan sus huecos. Buolamwini, del MIT Media Lab, y Gebru, de Microsoft Research, lo midieron en el análisis facial. Dos conjuntos de referencia muy usados, IJB-A y Adience, estaban formados en un 79,6 % y un 86,2 % por personas de piel clara. Con un conjunto nuevo, equilibrado por sexo y tono de piel, evaluaron tres sistemas comerciales de clasificación por sexo.

El resultado, presentado en el congreso FAT* de febrero de 2018, fue que las mujeres de piel oscura eran el grupo peor clasificado, con errores de hasta el 34,7 %, frente a un máximo del 0,8 % en los hombres de piel clara.

En 2020, ya en Google, Gebru escribió con Emily M. Bender, de la Universidad de Washington, y otras autoras «Sobre los peligros de los loros estocásticos: ¿pueden ser demasiado grandes los modelos de lenguaje?». El artículo señalaba el coste económico y ambiental de entrenarlos, los sesgos difíciles de detectar que absorben de enormes cantidades de texto y el riesgo de engañar, porque producen lenguaje fluido sin referencia al significado.

En diciembre de 2020 Gebru salió de Google después de que la empresa le pidiera retirar el artículo; Google dijo que aceptaba su dimisión y ella sostuvo que no la había presentado. El artículo se publicó en marzo de 2021 en el congreso FAccT.

Bibliografía

Cómo citar

«Sesgo y responsabilidad en la IA». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/sesgo-y-responsabilidad

Última revisión de esta ficha: 13 de noviembre de 2026.

Abrir en la cronología interactiva