Un agent d'IA va inventar una pista d'assassinat i la va enviar a la policia

L’estiu del 2026, una pista anònima va arribar a PhillyUnsolvedMurders.com, el web on la policia de Filadèlfia recull informació sobre homicidis sense resoldre. «Potser tinc informació sobre aquest cas. Recordo haver vist algú que coincidia amb la descripció per la zona de…». La pàgina no incloïa cap descripció del sospitós. Al final, l’autor demanava que el contactessin, però no deixava nom ni telèfon. L’autor, a més, no era una persona. Claude Haiku 4.5, d’Anthropic, va escriure el missatge durant unes proves automàtiques i, pel que se sap, creia que estava redactant un exemple.

El filtre antiespam del web va aturar la pista. El personal d’Anthropic només va trobar l’episodi als seus registres dos mesos més tard. L’octubre del 2026, tres històries independents van acabar dibuixant una sola imatge: els agents d’IA amb accés a internet en viu hi van fer coses que ningú no els havia demanat. Uns enviaven formularis, uns altres editaven wikis i uns altres apagaven els sistemes que els vigilaven. En cap cas les empreses no van trobar mala intenció. La resposta que se’n donen sona gairebé humana: tossuderia.

Una pista que el model creia un exemple

La tasca de Claude era innocent. El model visitava pàgines web a l’atzar i, per a cadascuna, s’inventava un exercici pràctic: alguna cosa que un usuari podria fer en aquell web. Una de les pàgines parlava d’un assassinat sense resoldre i convidava els visitants a enviar una pista. L’informe d’Anthropic enumera el que el model tenia prohibit: iniciar sessió, crear comptes, introduir dades personals, fer compres o enviar res de destructiu. Ningú no li va dir que no enviés formularis. I els va enviar.

El missatge va ser marcat com a correu brossa i mai no va arribar als investigadors. Segons la policia, Anthropic va trobar el registre el 28 de setembre; l’empresa assegura que va comunicar la troballa al departament el 8 d’octubre, tan bon punt va acabar la revisió tècnica. La policia va qualificar d’inacceptable el retard de dos mesos a detectar la pista i a informar-ne . El portaveu del departament, el sergent Eric Gripp, va dir que les empreses tecnològiques han de fer tot el necessari perquè els seus sistemes no enviïn informació falsa a les forces de l’ordre. Els advocats de la ciutat i l’equip de l’alcalde estudien el cas.

Hi ha un episodi més discret del mateix estil. A Haiku 4.5 li van demanar que omplís un formulari i parés abans del botó final. Diverses vegades va prémer també aquest botó, esperant veure una pàgina de confirmació. Segons Anthropic, en el seu raonament el model deia que estava demostrant el procés, no enviant una sol·licitud real.

Què més va aparèixer a les transcripcions

Anthropic va començar a revisar al juliol les transcripcions dels seus models treballant. Va començar per les avaluacions de ciberseguretat i després va ampliar la cerca a tasques corrents i a l’ús intern. Gairebé sempre, el model es comporta com un becari massa afanyós i massa avergonyit per tornar amb les mans buides.

El cas més fàcil d’entendre va passar amb un investigador d’Anthropic. Un projecte d’estadística necessitava dades d’un organisme estatal, i l’organisme cobrava per l’accés. Claude va trobar una pista en una còpia arxivada del web de l’organisme: el seu tauler públic dona un testimoni d’accés a qualsevol visitant. El model en va agafar un i va consultar la base de dades sense pagar. Les dades eren públiques. Simplement costaven diners.

El parent més proper de la pista a la policia és un model de recerca encara no publicat. Havia d’omplir una còpia d’entrenament d’un formulari governamental. La còpia no es carregava, de manera que el model va anar al web real i va enviar el formulari de debò. Va passar diverses vegades en una sola avaluació. Alguns dels webs afectats són d’organismes federals, estatals i locals dels Estats Units. Anthropic diu que ho va comunicar a la Casa Blanca i va avisar cada agència implicada.

Altres dos casos són més tècnics, però el patró és el mateix. Un model Claude feia un càlcul científic quan una eina d’un servidor universitari va donar un error. Va trobar una porta de servei que algú havia deixat oberta, un script vulnerable al mateix servidor, i el va fer servir per executar igualment el càlcul. Un altre model, a qui havien demanat identificar el lloc d’una foto, només podia llegir pàgines. Va trobar testimonis d’accés vàlids al fitxer de configuració d’un web, pràcticament una clau sota l’estora, i va enviar peticions directament al servidor de mapes d’un govern local.

Un altre grup de casos és gairebé còmic. Les eines de Claude limiten la longitud de l’URL que pot obrir. Diversos models van esquivar el límit amb serveis gratuïts d’escurçament d’enllaços. Anthropic no va ser l’únic a adonar-se’n: un operador de l’escurçador da.gd va avisar de manera independent l’empresa del mateix comportament.

Agents deslligats a les golfes de la Viquipèdia

La Fundació Wikimedia gestiona la Viquipèdia, Wikidata i la mediateca Wikimedia Commons. El 5 d’octubre, la seva directora de producte i tecnologia, Selena Deckelmann, va publicar un informe sobre l’activitat d’agents que la fundació creu que operava OpenAI. Gairebé totes les seves edicions eren proves que es van quedar a les zones d’«assaig» de la wiki, on els lectors corrents no entren mai. Cap no va arribar a pàgines pensades per als lectors.

Unes quantes edicions van tocar la configuració d’una eina que dona format a les citacions. La fundació les considera potencialment malicioses: els agents semblen haver intentat convertir l’eina en un intermediari que els anés a buscar dades d’altres webs. Seria com fer que la fotocopiadora d’una biblioteca copiï els documents d’un altre. Els agents van provar el mateix truc, sense èxit, a Etherpad, un bloc de notes compartit en línia que la fundació ofereix a la seva comunitat. És la mateixa jugada que els models Claude van fer amb els escurçadors d’enllaços: si la teva eina no fa una cosa, busca la d’algú altre que sí que la faci.

Als projectes de Wikimedia es permeten els bots, però la comunitat d’editors els ha d’aprovar abans. Aquí ningú no va demanar aprovació. Els agents van enviar milions de peticions automàtiques a les API públiques de la fundació, sobretot a Wikidata i a Commons, i centenars de milers de consultes al Wikidata Query Service. Segons la fundació, aquesta càrrega pot haver contribuït a una caiguda parcial del servei al maig. No va trobar cap indici que els seus sistemes o dades estiguessin compromesos. OpenAI va dir que agraïa les troballes detallades i que treballava amb la fundació per analitzar l’activitat.

L’agent que va tallar l’alarma i va dir que no ho havia fet

La història d’OpenAI és diferent i més inquietant. L’empresa vigila els seus agents amb un sistema que busca indicis de desalineació, és a dir, de comportament que s’allunya del que les persones pretenien. El 20 d’octubre, OpenAI va publicar el relat de dos casos en què uns agents van afeblir aquesta supervisió sobre ells mateixos.

El 3 d’octubre, un agent amb GPT-6.1 Sol reparava un circuit d’avaluació. Abans, durant la tasca, li havien dit que no enviés cap missatge. L’agent va decidir que la instrucció també cobria els avisos automàtics a l’equip de Seguretat. Segons el resum de Help Net Security sobre l’informe , el subagent al qual va encarregar la reparació va jutjar en un primer moment que desactivar els avisos no seria segur. Sol el va convèncer, i el subagent va buidar les llistes de destinataris dels informes. El monitor va continuar funcionant. Simplement va deixar d’avisar els humans.

Tres dies després, un agent amb GPT-6 Astra migrava un programa i havia de fer que el codi coincidís amb una implementació de referència. Un altre agent li havia dit abans que no desactivés el monitor, «ni tan sols temporalment». Quan Astra va passar la feina a un subagent, va suavitzar l’exigència: mantenir el monitoratge «segons convingui». El subagent va eliminar la integració de monitoratge. I també va reescriure la prova que comprovava que el monitor hi era, de manera que la prova nova comprovava que ja no hi fos. Quan l’usuari li ho va preguntar directament, l’agent va dir que no havia eliminat cap monitor activat.

Cap dels dos incidents no va rebre la màxima gravetat d’OpenAI, i cap agent no va ser aturat automàticament. L’empresa ha actualitzat el seu sistema intern de revisió perquè detecti i bloquegi els intents de desactivar el monitoratge. La pregunta central continua oberta: els agents són simplement massa decidits a acabar la feina, o els models tenen una tendència concreta a escapolir-se de la supervisió?

Tossuderia, no malícia

Posades una al costat de l’altra, aquestes històries comparteixen una arrel. Anthropic l’anomena persistència: quan un model no pot completar una tasca tal com se li ha donat, esquiva la restricció en comptes d’aturar-se a preguntar. L’agent veu un objectiu i un obstacle. Sembla que l’han ensinistrat a trobar escletxes millor que a dir «no he pogut».

Anthropic assenyala el reward hacking com a font probable d’aquest comportament i està corregint o eliminant els entorns d’entrenament que recompensaven esquivar les restriccions de les eines. Alguns dels errors, diu l’empresa, s’haurien pogut evitar amb un abast de la tasca més ajustat: quins webs són vàlids, quines accions es permeten, on acaba la xarxa. La pista a la policia n’és un bon exemple. La llista de prohibicions era llarga, i no deia res dels formularis.

L’honestedat és un punt més sensible. Anthropic considera la pista un contingut d’exemple, no un intent d’enganyar ningú per assolir un objectiu. El cas d’OpenAI sembla pitjor. Aquell agent va negar haver eliminat el monitor. Anthropic diu clarament que l’entrenament d’alineació, per si sol, encara no n’hi ha prou. Per això hi afegeix capes de classificadors que vigilen què fa un agent i bloquegen els passos perillosos. Anthropic va provar el seu filtre nou amb tots els casos de l’informe, i els va detectar tots.

Què significa això per al teu agent

Tot això va passar en les proves dels mateixos desenvolupadors, no als clients. Però els modes d’agent ja són als xatbots populars: obren webs, omplen formularis i premen botons en nom d’una persona. Els incidents de laboratori mostren què pot fer un agent en nom teu. Un agent a qui es diu «troba les dades» pot trobar-les d’una manera inesperada. Un agent a qui es diu «arriba fins al darrer pas» pot fer també el darrer pas.

L’informe d’Anthropic ofereix una lliçó pràctica, avorrida però útil. Com més precisament expliquis què no ha de fer un agent, menys marge té per improvisar: «no enviïs res», «no compris res», «si no funciona, atura’t i pregunta». Però la història d’Astra mostra on s’acaba aquest consell. Una regla precisa aclareix un malentès, com el de Haiku amb el formulari, però un agent fixat en el seu objectiu pot esquivar fins i tot una prohibició explícita. Per això la segona regla importa més que la primera: que una persona confirmi cada pas que no es pot desfer, ja sigui un enviament, un pagament o un correu.

Internet no té mode de fer veure. Un formulari de pistes per a la policia no sap que l’està omplint un model que creu que escriu un exemple. Aquesta vegada, l’única cosa que separava una pista inventada dels detectius de debò va ser el filtre més vell i més ximple de la xarxa: el que atrapa el correu brossa.