Hay un momento en cualquier gran narrativa tecnológica en que el relato empieza a doblarse sobre sí mismo. Primero viene la promesa: una tecnología que lo cambiará todo. Luego, casi de manera inevitable, llega el relato corrector: la promesa tenía trampa. Con la inteligencia artificial llevamos años instalados en la primera fase. Virginia Dignum, investigadora de ética de la IA en la Universidad de Umeå, propone que ya es hora de entrar en la segunda.
The AI Paradox no es un libro técnico ni un manifiesto. Es algo más incómodo: un análisis sistemático de por qué el discurso ético que rodea a la inteligencia artificial -el que habla de transparencia, responsabilidad y valores- está construido, en buena parte, sobre una serie de falacias que benefician precisamente a quienes más interés tienen en que no las veamos.
La autonomía como coartada
El primer error conceptual que desmonta Dignum es también el más extendido: la idea de que la IA “toma decisiones”. Es una formulación que aparece en titulares, en presentaciones corporativas y, con frecuencia, en documentos regulatorios. Y es, en un sentido preciso, falsa.
Los sistemas de inteligencia artificial no deciden. Ejecutan optimizaciones sobre funciones de recompensa definidas por equipos de ingeniería, bajo criterios establecidos por organizaciones con intereses muy concretos. Llamar a eso “decisión autónoma” no es una imprecisión técnica: es una estrategia. Cuando un modelo de contratación rechaza perfiles con ciertos patrones, o cuando un sistema de crédito deniega préstamos en determinados códigos postales, la formulación de “el algoritmo lo decidió” desplaza la responsabilidad desde los ingenieros y las organizaciones hacia una entidad que, por definición, no puede rendir cuentas.
La autonomía, en este contexto, no es una propiedad técnica. Es una exoneración anticipada. Y su consecuencia más directa no es filosófica, sino jurídica y política: cuanto más nos acostumbramos a hablar de la IA como si fuera un agente con criterio propio, más difícil resulta identificar a los responsables cuando algo sale mal.
Transparencia sin responsabilidad institucional
El segundo argumento del libro es, si cabe, más perturbador. Durante años, la respuesta dominante a las críticas sobre los sesgos y los errores de los sistemas de IA ha sido la misma: más transparencia. Modelos abiertos. Código accesible. Explicabilidad algorítmica. La idea de fondo es que si podemos ver cómo funciona un sistema, podemos corregirlo.
Dignum acepta la premisa pero rechaza la conclusión. La transparencia técnica -acceder a los pesos de un modelo, entender su arquitectura, reproducir sus outputs- es una condición necesaria pero completamente insuficiente. Lo que no nos dice es por qué se eligió ese conjunto de datos específico para entrenar el modelo. Ni bajo qué presiones económicas se priorizaron ciertos resultados sobre otros. Ni quién asumió el coste de los errores sistemáticos y quién se benefició de ellos.
Es la paradoja de la transparencia: podemos tener acceso total al mecanismo y seguir sin entender nada sobre el sistema de poder que lo sostiene. Un reloj abierto nos muestra los engranajes, pero no nos dice quién decide qué hora es la correcta.
Esta distinción importa especialmente ahora que los grandes modelos de lenguaje se han convertido en infraestructura. No son solo herramientas que usamos: son intermediarios que median cómo accedemos al conocimiento, cómo evaluamos candidatos, cómo gestionamos instituciones. En ese contexto, la transparencia técnica sin transparencia institucional es, en el mejor caso, un consuelo. En el peor, una distracción deliberada.
El código es política
El tercer eje del libro es quizás el que tiene implicaciones más directas para quienes construyen sistemas. Dignum sostiene que el desarrollo de software -especialmente el desarrollo de IA- es un acto político aunque no se presente como tal.
Cada decisión de diseño es una decisión sobre valores. Qué se optimiza y qué se sacrifica. A quién se protege de los errores y quién los absorbe. Qué tipo de comportamiento se recompensa en el modelo y cuál se penaliza. Estas elecciones no son neutrales. Son la política real del sistema, más vinculante que cualquier declaración de principios que se publique después.
Frente a esto, Dignum defiende lo que llama Value Sensitive Design: un enfoque metodológico donde los valores humanos no se incorporan al final del proceso como una capa de revisión ética, sino que estructuran el diseño desde el principio. No como un parche de cumplimiento normativo, sino como la arquitectura fundamental del sistema.
No es una idea nueva -el concepto tiene décadas- pero gana una urgencia diferente cuando los sistemas que estamos construyendo operan a escala de millones de personas y consolidan sus sesgos en cada interacción. El coste de diseñar con valores como afterthought ha dejado de ser teórico.
La materia que nadie contabiliza
Hay un elemento con el que Dignum cierra el libro y que me parece especialmente honesto: el recuerdo de que la inteligencia artificial no es mágica. No es un fenómeno que sucede en algún espacio abstracto de cómputo. Sucede en centros de datos que consumen cantidades industriales de energía y agua. Sucede sobre infraestructura física construida con materiales extraídos, transportados y ensamblados con toda la huella que eso implica.
Es un punto que debería ser obvio y que, sin embargo, desaparece con facilidad del debate sobre ética de la IA. Las conversaciones sobre sesgo, responsabilidad y gobernanza raramente incluyen la pregunta sobre qué está pagando el planeta por cada petición a un modelo de lenguaje masivo. Una ética de la IA que ignore sus consecuencias materiales es, también, una ética incompleta.
Pero este recordatorio material tiene una segunda capa que va más allá de la sostenibilidad. Si la IA no es mágica -si tiene costes físicos, autores humanos, decisiones de diseño rastreables-, entonces tampoco puede ser el árbitro neutro que algunos pretenden. Todo lo que parece delegado a la máquina sigue siendo, en algún punto de la cadena, una decisión humana.
El problema somos nosotros
Aquí reside la verdadera incomodidad del libro, y creo que Dignum lo sabe. Su argumento no termina con una denuncia. Termina con una devolución. Cuanto más capaz se vuelve la IA, más nítidamente emergen las cosas que no puede ser: el juicio contextual, el razonamiento moral, la tolerancia ante la contradicción. No porque sean misteriosas o inefables, sino porque requieren exactamente el tipo de fricción y de responsabilidad que tendemos a delegar cuando tenemos la oportunidad de hacerlo.
La paradoja central de Dignum no es técnica. Es esta: la IA nos devuelve a nosotros mismos en el peor momento posible, cuando llevamos años construyendo sistemas diseñados, precisamente, para no tener que estarlo.
Si en Empire of AI vimos cómo se construye el imperio tecnológico de nuestro tiempo, en The AI Paradox descubrimos que los cimientos éticos que se nos presentan como su contrapeso no son una cortina de humo, sino algo más difícil de gestionar: un espejo.