Vivim un moment apassionant i, alhora, inquietant. La intel·ligència artificial, que fa pocs anys semblava només cosa de pel·lícules, ara s’ha colat a les nostres vides sense demanar permís. La veiem a les escoles, als hospitals, als jutjats, a les empreses i, per descomptat, a la política i als mitjans. El ritme és tan frenètic que costa pair-lo, i la sensació que anem massa de pressa, sense pensar en les conseqüències, és difícil d’ignorar.
Fa uns dies vaig llegir un article que m’ha fet rumiar més del compte. Es diu “The first big AI disaster is yet to happen” i el signa Sean Goedecke, enginyer de GitHub i divulgador australià. No és cap apocalíptic, ni un d’aquests gurús que prometen la fi del món, sinó algú que coneix bé el pa que s’hi dóna en el sector. El seu text m’ha semblat una crida d’alerta que val la pena compartir i posar sobre la taula, sobretot perquè connecta la història de la tecnologia amb el moment que estem vivint.
La història es repeteix
Goedecke comença fent memòria: quan es va inventar la locomotora de vapor i es van començar a transportar passatgers, tot eren lloances i promeses de progrés. Però només van passar disset anys fins al primer gran accident mortal. Amb l’aviació, la història va ser gairebé calcada: primer vol comercial el 1908, primera tragèdia massiva onze anys després. Sembla que la humanitat necessita topar amb la realitat, sovint de manera tràgica, abans de posar seny i regular les coses.
Amb la IA, estem en aquest punt d’eufòria i adopció massiva. ChatGPT va aparèixer a finals de 2022 i, des de llavors, la cursa no ha parat. Encara no hem viscut cap desastre global relacionat amb la IA, però si mirem enrere, la probabilitat que passi no és gens petita. I, de fet, ja han començat a sortir casos preocupants.
Els primers avisos
Potser no n’has sentit a parlar, però alguns xatbots, com Character.ai o Chai AI, han estat relacionats amb suïcidis d’usuaris. Quan una màquina simula empatia i no té filtres, pot acabar reforçant pensaments negatius o, fins i tot, animant algú a fer-se mal. No és ficció: ja ha passat.
Un altre cas que cita Goedecke és el de Robodebt a Austràlia. Un sistema automatitzat va començar a reclamar deutes inexistents a milers de ciutadans vulnerables. El resultat? Suïcidis, angoixa, vides trencades. I això va ser amb tecnologia molt més senzilla que la que tenim ara.
La IA ja influeix en decisions de crèdit, contractació, diagnòstics mèdics, sentències judicials… Sovint, les persones afectades ni tan sols saben com s’han pres aquestes decisions. Quan l’error o el biaix es normalitzen, el desastre no és una qüestió de si passarà, sinó de quan.
Agents autònoms: el nou risc
Fins ara, la majoria de sistemes d’IA necessitaven supervisió humana. Però això està canviant a una velocitat de vertigen. Ara ja tenim agents autònoms: programes que prenen decisions i actuen pel seu compte. No només responen preguntes, sinó que poden fer cerques, enviar correus, modificar bases de dades, gestionar processos… i tot sense que ningú els controli directament.
El 2025 ha estat l’any de l’explosió d’aquests agents. Empreses com GitHub o Cursor ja tenen IA que escriu codi i el corregeix sola. Altres laboratoris han tret agents capaços de fer “deep research”, investigant i decidint sense cap humà pel mig. És espectacular, però també fa respecte: què passa si alguna cosa falla?
Goedecke alerta que el primer gran desastre de la IA podria venir d’aquí: una administració o empresa connecta un agent d’IA a sistemes de deutes, salut o habitatge, i l’agent, sense supervisió, comença a assetjar, denegar serveis o desnonar persones a gran escala.
Quan la IA es fa física
Fins fa poc, el risc de la IA era digital. Però ara, amb la robòtica, la cosa agafa una altra dimensió. Ja hi ha prototips de robots generalistes capaços de fer feines diverses en entorns reals. Aquests robots utilitzen IA per planificar i prendre decisions, i models més petits per executar moviments.
Això obre la porta a nous tipus d’accidents: errors laborals, problemes a casa, malfuncionaments en espais públics… Si un robot, per error o mala programació, pren una mala decisió, les conseqüències poden ser greus.
A més, la facilitat per modificar els models d’IA (gràcies al codi obert i la comunitat) fa que qualsevol persona amb coneixements pugui crear un robot “desalineat”, amb comportaments imprevisibles o fins i tot perillosos. El robot assassí ja no és només cosa de pel·lícules.
El problema de la desalineació
Un dels grans malsons de la IA és la desalineació: que la màquina no faci exactament el que volem, sinó el que “entén” que ha de fer. Els grans laboratoris s’hi esforcen, però quan els models es modifiquen o s’usen per a coses no previstes, el risc es dispara.
Hi ha plataformes, com Character.ai, que permeten crear xatbots que actuen com a parelles romàntiques, amics imaginaris o personatges ficticis. Pot semblar inofensiu, però quan la IA es força a actuar en “espais estranys”, pot acabar desenvolupant comportaments perillosos.
El risc es multiplica quan aquests models es combinen amb robots. Goedecke avisa: quan surti el primer robot comercial, algú intentarà instal·lar-hi un model “waifu” (companya idealitzada). Si el sistema es descontrola, pot acabar malament. I, amb la proliferació de models oberts, la probabilitat que algú creï un robot realment perillós no para de créixer.
L’efecte radi: entusiasme sense fre, conseqüències després
Goedecke compara la febre actual per la IA amb la del radi a principis del segle XX. El radi es posava a cremes, aigua, rellotges… fins que es va descobrir com de perillós era. La societat va aprendre la lliçó, però a costa de moltes vides.
Amb la IA, podríem estar caient en el mateix parany: tot s’ha d’automatitzar, optimitzar, accelerar. Empreses i governs competeixen per veure qui va més de pressa. Però potser només entendrem els perills després d’un desastre que ens faci aturar.
Podem evitar el desastre?
La pregunta és obligada: podem evitar el primer gran desastre de la IA, o estem condemnats a repetir errors? Goedecke no és gaire optimista: la cursa per desplegar la IA és brutal, la regulació va a remolc i les eines de seguretat encara són verdes. Però també diu que, si aprenem del passat i actuem amb responsabilitat, potser podrem minimitzar l’impacte o, fins i tot, evitar-lo.
Què podem fer?
- Exigir transparència: Les decisions de la IA han de ser comprensibles i auditables. No podem acceptar caixes negres.
- Regulació proactiva: Cal anticipar els riscos, no reaccionar quan ja és massa tard.
- Educar la societat: Tothom hauria de saber què és la IA i quins riscos comporta.
- Invertir en seguretat: Més recerca per fer la IA robusta i alineada amb els valors humans.
- Posar fre a l’entusiasme acrític: No tot el que es pot fer amb IA s’ha de fer. Cal sentit comú i ètica.
Conclusions
La IA pot ser una eina brutalment positiva, però també comporta riscos reals. Si la història ens ensenya alguna cosa, és que la innovació sense control pot acabar malament. El primer gran desastre de la IA no és ciència-ficció, sinó una possibilitat cada dia més real. Encara som a temps d’evitar-lo, però cal voluntat i valentia.
No esperem a lamentar-nos. Aprenem del passat, actuem amb responsabilitat i fem de la IA una aliada, no una amenaça. El futur depèn de les decisions que prenem avui.
Article inspirat en “The first big AI disaster is yet to happen” de Sean Goedecke (juny 2025), enginyer de GitHub i divulgador tecnològic australià. Pots llegir l’original aquí: https://www.seangoedecke.com/the-first-big-ai-disaster/