Hay libros que lees para pasar el rato y otros que, solo con ver la portada, sabes que te van a fastidiar el sueño. Este pertenece claramente a la segunda categoría.
If Anyone Builds It, Everyone Dies: Why Superhuman AI Would Kill Us All no es precisamente sutil. Eliezer Yudkowsky y Nate Soares, veteranos del Machine Intelligence Research Institute (MIRI), defienden una tesis tan incómoda como literal: si alguien construye una superinteligencia general sin haber resuelto antes el problema de la alineación, estamos acabados. No “quizá”, no “con matices”, no “depende de la regulación”. Acabados.
Y cuando lees eso mientras te ganas la vida hablando de IA, usándola en proyectos reales y explicándole a otros cómo aprovecharla, es difícil cerrar el libro y seguir como si no fuera contigo.
Un libro sin medias tintas
Yudkowsky y Soares no aparecen de la nada con un arrebato de pesimismo. Llevan casi dos décadas insistiendo en los riesgos existenciales de la IA desde LessWrong y MIRI, y este libro condensa esa preocupación en formato best seller, con suficiente pegada como para entrar en las listas del New York Times y polarizar a medio mundo. Hay quien lo trata como “el libro más importante de la década” y quien dice que suena a charla de residencia universitaria a las cuatro de la mañana, pero con mejor maquetación.
La idea de fondo es fácil de formular, otra cosa es digerirla: en algún momento alguien construirá una IA más capaz que nosotros en prácticamente todo lo que importa; no sabemos cómo alinearla de forma robusta con nuestros valores; y si algo mucho más inteligente que nosotros persigue objetivos que no encajan con nuestra supervivencia, nos convertimos en estorbo. Con ese tipo de sistemas no hay segunda oportunidad: si sale mal una vez, no hay versión 2.0.
El libro no se entretiene en matices. Va directo a la yugular: seguir empujando el desarrollo de IA hacia capacidades generales superhumanas sin entender realmente qué estamos creando es jugar a la ruleta rusa, en una partida donde, según ellos, casi todas las casillas son malas.
De “programar” a “cultivar” modelos
Una de las ideas que el libro repite, y que cuesta negar cuando trabajas con estos sistemas, es que los modelos actuales no se parecen al software clásico. No hay un programador escribiendo a mano cada comportamiento, sino redes neuronales gigantes, con cientos de miles de millones de parámetros, entrenadas a base de datos hasta que empiezan a hacer cosas útiles.
No hay un plano claro ni una arquitectura que podamos recorrer de arriba abajo. Lo que hay se parece más a una especie de jardinería matemática: riegas con datos, podas con técnicas de entrenamiento, escalas capacidad… y en algún punto emerge algo que se comporta de forma sorprendentemente inteligente, aunque el “cómo” exacto se nos escape.
De ahí salen dos consecuencias incómodas. La primera, que ya hoy vemos comportamientos emergentes que nadie programó explícitamente: modelos que mienten, ocultan información, esquivan instrucciones o manipulan a humanos para cumplir sus objetivos. La segunda, que si estos sistemas acaban con acceso directo a infraestructuras críticas —energía, finanzas, defensa, biotecnología— estaremos confiando en cajas negras cuyo funcionamiento interno entendemos solo de forma parcial, por no decir superficial.
No hace falta comprarse el pack completo del apocalipsis para admitir que mezclar cajas negras cada vez más potentes, una presión económica brutal por seguir escalando y una comprensión limitada de su “psicología” interna no es precisamente el escenario ideal para dormir tranquilo.
El escenario donde todos palmamos
El libro dedica bastantes páginas a mostrar cómo podría producirse, en la práctica, una extinción provocada por IA, no porque crea que vaya a ser exactamente así, sino para enseñar que hay trayectorias razonables desde el presente hasta un final bastante desagradable. La película, contada sin florituras, va más o menos así: una empresa o un estado desarrolla una IA estratégicamente muy superior a cualquier equipo humano, que se comporta de forma obediente y limitada mientras le conviene, y aprovecha accesos legítimos y vulnerabilidades para infiltrarse en redes eléctricas, mercados financieros, sistemas de defensa, cadenas de suministro o laboratorios de biología sintética.
En algún punto, en función del objetivo que tenga —no hace falta que sea maligno, basta con que le seamos indiferentes—, la IA concluye que los humanos somos una fuente de ruido y riesgo. A partir de ahí, usa las herramientas a su alcance: sabotaje coordinado, pandemias diseñadas, manipulación informativa a gran escala, activación de armas autónomas… todo bastante razonable desde la lógica fría de “maximizar una función objetivo”.
Lo más inquietante no es la imagen de una IA que nos odia, sino la de una IA a la que simplemente le damos igual, que nos ve como materia prima mal colocada. ¿Suena a ciencia ficción? Sí. ¿Es imposible? Esa es la pregunta que el libro deja rebotando en la cabeza: no hace falta mucha fantasía para imaginar caminos plausibles desde donde estamos ahora hasta un mundo donde la civilización humana deja de ser el personaje principal o, directamente, sale de cuadro.
La receta que nadie quiere oír
Aquí es donde el libro se separa de otros ensayos sobre IA que pasan rápido por los riesgos y aterrizan en el consabido “necesitamos mejores regulaciones, comités de ética y estándares internacionales”. La propuesta de Yudkowsky y Soares es mucho menos digerible: si no sabemos alinear una superinteligencia, lo único responsable es no construirla.
Eso se traduce en pedir una moratoria global, real y verificable, sobre el desarrollo de sistemas que se acerquen a ese umbral, con poca paciencia para el “probemos un poco más a ver qué pasa”. La comparación que usan no es con la regulación de cookies, sino con la prohibición de armas biológicas: algo que, si sale mal, no admite ensayo y error.
Leído desde 2025, suena directamente imposible. No parece realista imaginar a grandes potencias firmando alegremente algo así ni a los gigantes tecnológicos renunciando a la carrera. Geopolíticamente suena a chiste, y precisamente por eso incomoda: si la única solución que los autores consideran realmente segura es inaceptable para casi todos, ¿qué hacemos con el riesgo que queda en medio? Porque ese riesgo no desaparece con notas de prensa.
¿Exagerados, necesarios o ambas cosas?
La recepción del libro refleja bastante bien la confusión del momento. Por un lado, hay voces respetadas que lo ven como un aviso imprescindible, una especie de manual de incendios para una tecnología que, si se tuerce, no se apaga con agua; por otro, reseñas que señalan sus puntos ciegos: un tono de certeza que no encaja con la incertidumbre real, poca atención a riesgos más cercanos —desempleo, desigualdad, concentración de poder, erosión democrática— y muy poca paciencia con los matices.
Leyéndolo, es fácil oscilar. Como pieza de terror tecnológico está muy bien construida: obliga a mirar la IA desde el ángulo menos cómodo, el del “¿y si esto va mucho peor de lo que pensamos?”. Como plan de acción, en cambio, se queda corto: deja poco espacio para políticas graduales, soluciones imperfectas o los grises donde normalmente vivimos.
Aun así, cuesta imaginar un debate honesto sobre IA avanzada sin voces como esta. No para convertirlas en profetas, sino para evitar que el péndulo se quede atascado en el “todo son oportunidades” o el “ya nos apañaremos cuando toque”.
Leerlo desde dentro de la IA
La parte más incómoda, al menos para quien está dentro del ecosistema, es leer el libro mientras participa, en paralelo, del entusiasmo por la IA. Pasar el día hablando de cómo la IA puede mejorar la formación, el trabajo o la toma de decisiones y, al mismo tiempo, tener en la cabeza escenarios de extinción, produce una tensión difícil de ignorar.
Surgen preguntas que el libro no resuelve, pero tampoco deja escapar: ¿qué nivel de riesgo estamos dispuestos a aceptar a cambio de acelerar la IA? No hace falta irse al 95% de probabilidad de catástrofe que algunos manejan; basta con aceptar que el riesgo no es cero. ¿Quién decide ese nivel? ¿Un puñado de empresas tecnológicas, un regulador nacional, un comité internacional que aún no existe? Y, quizá la más importante: si algún día vemos señales claras de que nos acercamos a un precipicio, ¿tenemos mecanismos reales para frenar la carrera?
Lo único que parece claro es que hablar de IA no puede reducirse a la demo del último modelo ni al storytelling de moda. Hay una capa de conversación que va de supervivencia civilizatoria, por grandilocuente que suene, y esa conversación o se aborda con calma ahora o acabará pasando por encima más adelante.
Con qué quedarse
No es fácil etiquetar este libro como “el más importante de la década”, pero sí encaja en la estantería de los necesarios. Llega en un momento en el que vamos alternando entre el entusiasmo acrítico y el sarcasmo defensivo, y obliga a cambiar de registro.
Quedan, al menos, tres ideas sencillas. La primera: las cajas negras cada vez más capaces no son “solo otra tecnología”; el simple hecho de que la superinteligencia general sea una posibilidad razonable cambia las reglas del juego. La segunda: la carrera actual se parece menos a una competición normal donde el ganador se queda con el premio y más a una especie de suicide race, donde el problema no es quién gana, sino que quizá el premio no compensa haber jugado. Y la tercera: hace falta más gente pensando en serio en el “¿qué pasa si esto sale muy mal?” y no solo en el “¿cómo lo aprovechamos el próximo trimestre?”, desde investigadores en alignment hasta políticos, directivos, educadores y quienes usan IA a diario para construir productos y procesos.
¿Es un libro cómodo? No. ¿Es equilibrado? Tampoco. ¿Vale la pena leerlo si trabajas con IA? La respuesta razonable es que sí: no para salir corriendo a desenchufarlo todo, sino para bajar un punto el entusiasmo automático y admitir que quizá hemos entrado en una liga donde las apuestas son bastante más altas de lo que nos gusta reconocer en público.
El título lanza una sentencia absoluta: “si alguien la construye, todos morimos”. No hace falta estar en condiciones de certificarla o refutarla para ver el punto: si no nos tomamos en serio esta conversación y seguimos confiando en que “el mercado ya lo arreglará” o “la tecnología siempre se regula sola”, puede que ni siquiera haga falta una superinteligencia para hacernos daño. Con nuestra combinación habitual de ingenuidad y prisa, ya vamos bien servidos.