Sesgo y responsabilidad en la IA
Etapa 4 · Aprendizaje profundo y modelos fundacionales (2012–2021) › Alineamiento
- Linaje
- Datos y aprendizaje
- Tipo
- Publicación
Quién
MIT Media Lab, Microsoft Research, Universidad de Washington, Google
Qué ocurrió
Joy Buolamwini y Timnit Gebru muestran en febrero de 2018, en «Gender Shades», que tres sistemas comerciales de análisis facial fallan mucho más con las mujeres de piel oscura. En marzo de 2021, Emily M. Bender, Gebru y otras autoras advierten de los riesgos de los modelos de lenguaje cada vez más grandes.
Qué aportó
Junto a la pregunta de cómo hacer que un sistema haga lo que se quiere, se impone otra: a quién perjudica cuando falla y quién responde por ello.
Desarrollo
Los sistemas de aprendizaje automático aprenden de los datos con los que se entrenan, y heredan sus huecos. Buolamwini, del MIT Media Lab, y Gebru, de Microsoft Research, lo midieron en el análisis facial. Dos conjuntos de referencia muy usados, IJB-A y Adience, estaban formados en un 79,6 % y un 86,2 % por personas de piel clara. Con un conjunto nuevo, equilibrado por sexo y tono de piel, evaluaron tres sistemas comerciales de clasificación por sexo.
El resultado, presentado en el congreso FAT* de febrero de 2018, fue que las mujeres de piel oscura eran el grupo peor clasificado, con errores de hasta el 34,7 %, frente a un máximo del 0,8 % en los hombres de piel clara.
En 2020, ya en Google, Gebru escribió con Emily M. Bender, de la Universidad de Washington, y otras autoras «Sobre los peligros de los loros estocásticos: ¿pueden ser demasiado grandes los modelos de lenguaje?». El artículo señalaba el coste económico y ambiental de entrenarlos, los sesgos difíciles de detectar que absorben de enormes cantidades de texto y el riesgo de engañar, porque producen lenguaje fluido sin referencia al significado.
En diciembre de 2020 Gebru salió de Google después de que la empresa le pidiera retirar el artículo; Google dijo que aceptaba su dimisión y ella sostuvo que no la había presentado. El artículo se publicó en marzo de 2021 en el congreso FAccT.
Bibliografía
Fuente original
- Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification. Actas de FAT* 2018, PMLR 81, pp. 77-91 (se abre en una pestaña nueva). Joy Buolamwini y Timnit Gebru, 2018
- On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? Actas de FAccT 2021, pp. 610-623 (se abre en una pestaña nueva). Emily M. Bender, Timnit Gebru, Angelina McMillan-Major y Margaret Mitchell (firmando como Shmargaret Shmitchell), 2021
Cómo citar
«Sesgo y responsabilidad en la IA». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/sesgo-y-responsabilidad
Última revisión de esta ficha: 13 de noviembre de 2026.