Vivimos en una era en la que los algoritmos deciden si conseguimos un préstamo, si somos contratados, o incluso si somos identificados correctamente por cámaras de vigilancia. Con la expansión de la inteligencia artificial (IA), la promesa de decisiones objetivas y eficientes se ha convertido en uno de los grandes relatos tecnológicos de nuestro tiempo. Pero ¿y si esa promesa estuviera basada en una ilusión peligrosa?
En Unmasking AI: My Mission to Protect What Is Human in a World of Machines, Joy Buolamwini desmonta esta narrativa. Su libro es a la vez una crónica personal, una denuncia rigurosa y un manifiesto ético que advierte: la inteligencia artificial no es neutral, y su diseño actual perpetúa desigualdades sociales, especialmente el racismo estructural.
Una experiencia que lo cambió todo
Todo empezó con un experimento en apariencia inocente. Buolamwini, entonces estudiante de posgrado en el MIT Media Lab, trabajaba en un proyecto de espejo inteligente que utilizaba reconocimiento facial. El sistema funcionaba… pero no la reconocía a ella. Solo lo hizo cuando se puso una máscara blanca.
Ese momento, que para muchos podría haber sido un fallo técnico anecdótico, fue para Buolamwini una revelación. ¿Por qué una máquina tan avanzada no reconocía su rostro? La respuesta era tan técnica como política: los datos con los que se entrenó el sistema estaban sesgados, y su rostro —una mujer negra— no formaba parte del universo visible de la IA.
La mirada codificada: cuando el sesgo se convierte en sistema
A partir de esta experiencia, Buolamwini acuñó el término coded gaze o “mirada codificada”: la idea de que los sesgos de quienes diseñan sistemas de IA quedan inscritos en el código. Esta mirada no es neutra ni aleatoria: refleja prioridades, valores y también prejuicios. Como señala en su libro, “los algoritmos aprenden de los datos, pero esos datos reflejan historias humanas plagadas de desigualdad”.
Lejos de ser infalibles, los algoritmos están construidos sobre datos históricos, decisiones humanas y criterios opacos. Son espejos que reflejan no solo nuestra sociedad, sino sus fallas más profundas. Y cuando esos sistemas automatizados se integran en decisiones que afectan vidas humanas, el resultado puede ser devastador.
Excodificados: los invisibles de la era algorítmica
Buolamwini también introduce el concepto de excodificados (the excoded): personas o comunidades que son perjudicadas, ignoradas o mal representadas por sistemas algorítmicos. Esta exclusión tecnológica tiene múltiples caras: desde sistemas de reconocimiento facial que fallan con pieles oscuras, hasta modelos de scoring crediticio que penalizan a poblaciones históricamente marginadas.
Los excodificados son los que no aparecen en las bases de datos, los que son mal clasificados, los que resultan ser “ruido” para un sistema que no fue diseñado pensando en ellos. No es un problema técnico menor: es una injusticia estructural, que afecta oportunidades laborales, acceso a vivienda, decisiones judiciales y, en última instancia, la dignidad humana.
El estudio que hizo temblar a Silicon Valley
En 2017, junto a Timnit Gebru, Buolamwini lanzó el influyente estudio Gender Shades, en el que evaluaron el rendimiento de tres sistemas de reconocimiento facial desarrollados por IBM, Microsoft y Face++. Los resultados hablaron por sí solos: las tasas de error al identificar mujeres negras superaban el 34%, frente al 1% en hombres blancos.
Este estudio, riguroso en su metodología y contundente en sus conclusiones, desató una oleada de atención mediática y presión institucional. Empresas como IBM y Microsoft respondieron anunciando mejoras en sus algoritmos, aunque el problema de fondo —la falta de diversidad en los datos y en los equipos de desarrollo— sigue sin resolverse del todo.
Gender Shades marcó un antes y un después. Mostró que los fallos no eran anecdóticos, sino sistémicos. Y que el sesgo algorítmico no era una posibilidad remota, sino una realidad cotidiana.
Arte y ciencia: el poder de las auditorías evocativas
Uno de los elementos más distintivos del trabajo de Buolamwini es su apuesta por combinar arte y ciencia para cambiar el imaginario tecnológico. Su pieza de spoken word AI, Ain’t I a Woman? utiliza imágenes y poesía para confrontar a los sistemas de IA con sus propias fallas: mujeres negras como Serena Williams o Michelle Obama mal clasificadas por algoritmos supuestamente avanzados.
Esta metodología, que ella denomina auditorías evocativas, va más allá de los papers académicos. Busca tocar una fibra emocional, hacer visible lo invisible, conectar con públicos más amplios. En un campo dominado por el lenguaje técnico, Buolamwini humaniza la crítica y la convierte en una herramienta de activismo cultural.
Colonialismo de datos: una nueva forma de extracción
El libro también introduce un concepto clave para entender los desequilibrios de poder en la era digital: el colonialismo de datos. Se refiere a la práctica generalizada de recolectar masivamente datos personales —rostros, voces, hábitos de navegación— sin consentimiento informado, especialmente de poblaciones vulnerables.
Estas prácticas, llevadas a cabo por grandes plataformas tecnológicas, alimentan modelos de IA que luego son comercializados sin devolver ningún beneficio a las comunidades que sirvieron como materia prima. Es una forma de explotación contemporánea que opera de manera silenciosa, disfrazada de eficiencia tecnológica.
Buolamwini denuncia que esta lógica extractiva reproduce dinámicas coloniales bajo nuevos ropajes: hoy no se saquean recursos naturales, sino identidades digitales.
Justicia algorítmica: un nuevo campo de lucha
Uno de los ejes centrales del libro es la conexión entre justicia racial y justicia algorítmica. Según Buolamwini, no se puede hablar de una sociedad justa si los sistemas que median el acceso a derechos básicos están diseñados con sesgos estructurales.
La justicia algorítmica implica desarrollar tecnologías inclusivas desde el principio: con datos diversos, con equipos multidisciplinarios, con mecanismos de rendición de cuentas. Pero también requiere marcos regulatorios que limiten los abusos y protejan a los ciudadanos frente a decisiones automatizadas opacas.
Aquí, la autora destaca el papel emergente de normativas como el AI Act de la Unión Europea como un primer paso, aunque insuficiente si no va acompañado de voluntad política y vigilancia social activa.
Enseñanzas clave para el mundo educativo y tecnológico
Unmasking AI no es solo una crítica a los fallos de la tecnología actual, sino una guía para cambiar el rumbo. Entre sus aportaciones más valiosas están las lecciones que ofrece para educadores, innovadores y responsables públicos:
- Cuestionar la supuesta neutralidad tecnológica. No basta con usar herramientas digitales; es necesario preguntarse cómo fueron construidas, con qué datos, y para quién sirven realmente.
- Reivindicar la diversidad en STEM. No como una cuota simbólica, sino como una condición necesaria para el buen diseño tecnológico. La homogeneidad en los equipos genera sesgos en los resultados.
- Fomentar la responsabilidad social en la innovación. La tecnología no es ajena a la ética. Toda decisión de diseño tiene implicaciones sociales, incluso cuando no son evidentes a simple vista.
- Empoderar desde el conocimiento crítico. Buolamwini es un ejemplo de cómo la investigación puede convertirse en una forma de activismo transformador.
Lo que podemos hacer: responsabilidad compartida
El libro insiste en que no podemos dejar esta lucha solo en manos de los tecnólogos. La transformación requiere un compromiso colectivo: instituciones públicas, empresas, educadores, medios y ciudadanía deben implicarse activamente en la vigilancia y mejora de los sistemas de IA.
Buolamwini propone pasos concretos: auditorías obligatorias para algoritmos que toman decisiones de alto impacto, transparencia en el uso de datos, inclusión activa de comunidades marginadas en procesos de diseño, y un control regulatorio efectivo que anteponga los derechos humanos a la rentabilidad empresarial.
Porque la responsabilidad no puede recaer únicamente en los usuarios. El verdadero cambio vendrá cuando los desarrolladores, directivos y legisladores entiendan que cada línea de código tiene una dimensión ética.
Una llamada a la acción
Unmasking AI llega en un momento clave. Cuando las tecnologías de IA se expanden a una velocidad sin precedentes, Joy Buolamwini nos recuerda algo fundamental: la tecnología no es destino. Podemos moldearla, orientarla, hacerla más justa. Pero para eso, debemos actuar ahora.
El libro no solo desnuda los fallos de los sistemas actuales. También ofrece una visión esperanzadora de lo que podría ser una IA verdaderamente democrática. Una inteligencia artificial que no borre a nadie, que no discrimine, que no excluya. Una IA diseñada con el compromiso de amplificar lo mejor de lo humano.
En definitiva, la obra de Buolamwini no es solo una lectura esencial para quienes trabajan con tecnología. Es también una brújula ética para todos aquellos que creen que el futuro debe construirse con justicia, con inclusión y con responsabilidad compartida.