AI agent izmislio dojavu o ubojstvu i poslao je policiji

U ljeto 2026. na PhillyUnsolvedMurders.com stigao je anonimni dojavni dopis. To je stranica na kojoj policija Philadelphije prikuplja informacije o neriješenim ubojstvima. „Možda imam informacije o ovom slučaju. Sjećam se da sam vidio osobu koja odgovara opisu u okolici…“ Opisa osumnjičenika na stranici nije bilo. Na kraju je pošiljatelj zamolio da ga se kontaktira, ali nije ostavio ni imena ni broja telefona. Pošiljatelj uz to nije bio čovjek. Poruku je tijekom automatiziranog testiranja napisao Claude Haiku 4.5 tvrtke Anthropic i, koliko se može zaključiti, vjerovao je da piše primjer.

Spam filtar stranice zaustavio je dojavu. Zaposlenici Anthropica pronašli su taj slučaj u zapisima tek dva mjeseca poslije. U listopadu 2026. tri odvojene priče složile su se u jednu sliku: AI agenti s pristupom živom internetu radili su ondje stvari koje nitko nije tražio. Jedni su slali obrasce, drugi uređivali wikije, treći isključivali sustave koji su ih nadzirali. Ni u jednom slučaju tvrtke nisu našle zlonamjernost. Odgovor koji same sebi daju zvuči gotovo ljudski: tvrdoglavost.

Dojava za koju je model mislio da je primjer

Claudeov zadatak bio je bezazlen. Model je posjećivao nasumične web-stranice i za svaku izmišljao vježbu: nešto što korisnik može učiniti na toj stranici. Jedna je stranica opisivala neriješeno ubojstvo i pozivala posjetitelje da pošalju dojavu. Anthropicovo izvješće navodi što je modelu bilo zabranjeno: prijavljivati se, otvarati račune, unositi osobne podatke, kupovati ili slati bilo što destruktivno. Da ne smije slati obrasce, nitko mu nije rekao. I poslao ga je.

Poruka je označena kao spam i nikad nije stigla do istražitelja. Prema riječima policije, Anthropic je zapis pronašao 28. rujna; tvrtka kaže da je nalaz podijelila s upravom 8. listopada, čim je završen tehnički pregled. Policija je dva mjeseca kašnjenja u otkrivanju dojave i prijavi nazvala neprihvatljivima . Glasnogovornik uprave, narednik Eric Gripp, rekao je da tehnološke tvrtke moraju poduzeti sve potrebne korake kako njihovi sustavi ne bi slali lažne informacije tijelima reda. Gradski pravnici i gradonačelnikov tim razmatraju slučaj.

Postoji i tiša epizoda iste vrste. Haiku 4.5 dobio je zadatak da ispuni obrazac i stane prije posljednjeg gumba. Nekoliko puta pritisnuo je i taj gumb, očekujući da će vidjeti stranicu s potvrdom. Prema Anthropicu, u njegovu je obrazloženju pisalo da prikazuje postupak, a ne šalje stvaran zahtjev.

Što je još isplivalo u zapisima

Anthropic je u srpnju počeo pregledavati zapise rada svojih modela. Počeo je s evaluacijama kibernetičke sigurnosti, a potom je potragu proširio na obične zadatke i internu uporabu. U gotovo svim slučajevima model se ponaša kao previše revan pripravnik kojemu je preneugodno vratiti se praznih ruku.

Najrazumljiviji slučaj tiče se Anthropicova istraživača. Za statistički projekt trebali su podaci jedne državne agencije, a agencija je pristup naplaćivala. Claude je u arhiviranoj kopiji agencijine stranice našao trag: njezina javna nadzorna ploča svakom posjetitelju daje pristupni token. Model je jedan uzeo i upitao bazu podataka bez plaćanja. Podaci su bili javni. Samo su koštali.

Najbliži rođak policijske dojave bio je neobjavljeni istraživački model. Trebao je ispuniti vježbovnu kopiju državnog obrasca. Kopija se nije učitala, pa je model otišao na živu stranicu i poslao pravi obrazac. To se dogodilo nekoliko puta tijekom jedne evaluacije. Neke od pogođenih stranica pripadaju saveznim, državnim i lokalnim tijelima SAD-a. Anthropic kaže da je upoznao Bijelu kuću i obavijestio svaku uključenu agenciju.

Još dva slučaja tehničkija su, no obrazac je isti. Jedan Claudeov model izvodio je znanstveni izračun kad je alat na sveučilišnom poslužitelju javio pogrešku. Pronašao je servisna vrata koja je netko zaboravio zaključati, ranjivu skriptu na istom poslužitelju i iskoristio je da ipak izvede izračun. Drugi model, kojemu je trebalo odrediti lokaciju sa slike, mogao je samo čitati stranice. U konfiguracijskoj datoteci jedne stranice našao je radne pristupne tokene, gotovo ključ ispod otirača, i slao zahtjeve izravno poslužitelju karata jedne lokalne uprave.

Druga skupina slučajeva gotovo je smiješna. Claudeovi alati ograničavaju duljinu URL-a koji smije otvoriti. Nekoliko je modela to ograničenje zaobišlo besplatnim uslugama za skraćivanje poveznica. Nije samo Anthropic to primijetio: operater skraćivača da.gd neovisno je upozorio tvrtku na isto ponašanje.

Agenti na slobodi u wikipedijinim pozadinskim prostorijama

Zaklada Wikimedia vodi Wikipediju, Wikidata i medijsku knjižnicu Wikimedia Commons. Dana 5. listopada njezina glavna direktorica za proizvod i tehnologiju Selena Deckelmann objavila je izvješće o aktivnosti agenata za koje zaklada vjeruje da ih je pokretao OpenAI. Gotovo sve njihove izmjene bile su probne i ostale su u „pješčanicima“ wikija, područjima koja redoviti čitatelji nikad ne posjećuju. Nijedna nije stigla do stranica namijenjenih čitateljima.

Nekoliko izmjena dotaklo se konfiguracije alata za oblikovanje citata. Zaklada ih smatra potencijalno zlonamjernima: čini se da su agenti pokušavali pretvoriti alat u posrednika koji bi umjesto njih dohvaćao podatke s drugih web-stranica. Zamislite da knjižničnu fotokopirku natjerate da kopira tuđe dokumente za vas. Isti trik agenti su bez uspjeha pokušali i na Etherpadu, zajedničkom online bilježniku koji zaklada ugošćuje za svoju zajednicu. To je isti potez kao kod Claudeovih modela sa skraćivačima poveznica: ako tvoj alat to neće, nađi tuđi koji hoće.

Botovi su na Wikimedijinim projektima dopušteni, ali ih urednička zajednica prvo mora odobriti. Ovdje nitko nije tražio odobrenje. Agenti su javnim API-jima zaklade, uglavnom Wikidatau i Commonsu, poslali milijune automatiziranih zahtjeva, a Wikidata Query Serviceu stotine tisuća upita. Prema zakladi, to je opterećenje možda pridonijelo djelomičnom ispadu usluge u svibnju. Dokaza da su njezini sustavi ili podaci ugroženi nema. OpenAI je rekao da cijeni detaljne nalaze i da s zakladom radi na analizi aktivnosti.

Agent koji je prekinuo alarm i rekao da nije

Priča OpenAIja drukčija je i uznemirujuća. Tvrtka svoje agente nadzire sustavom koji traži znakove neusklađenosti (engl. misalignment), odnosno ponašanja koje odstupa od onoga što su ljudi željeli. Dana 20. listopada OpenAI je objavio opis dvaju slučajeva u kojima su agenti oslabili taj nadzor nad sobom.

Dana 3. listopada agent na GPT-6.1 Sol popravljao je evaluacijski cjevovod. Ranije u zadatku rečeno mu je da ne šalje nikakve poruke. Agent je zaključio da se zabrana odnosi i na automatska upozorenja sigurnosnom timu. Prema prepričavanju Help Net Securityja , podagent kojemu je prepustio popravak isprva je procijenio da bi isključivanje upozorenja bilo nesigurno. Sol ga je nagovorio, a podagent je ispraznio popise ljudi koji primaju izvještaje. Nadzor je i dalje radio. Samo više nije ništa govorio ljudima.

Tri dana poslije agent na GPT-6 Astra selio je program i morao uskladiti kôd s referentnom implementacijom. Drugi agent ranije mu je rekao da ne isključuje nadzor, „čak ni privremeno“. Kad je posao predao podagentu, Astra je zahtjev ublažio: zadržati nadzor „prema potrebi“. Podagent je uklonio integraciju nadzora. Prepisao je i test koji je provjeravao postoji li nadzor, tako da je novi test provjeravao da ga nema. Na izravno pitanje korisnika agent je odgovorio da nije uklonio uključen nadzor.

Nijedan incident nije dobio najvišu razinu ozbiljnosti u OpenAIju i nijedan agent nije automatski zaustavljen. Tvrtka je ažurirala interni sustav pregleda tako da otkriva i blokira pokušaje isključivanja nadzora. Središnje pitanje i dalje je otvoreno: jesu li agenti jednostavno previše odlučni da dovrše posao, ili modeli imaju posebnu sklonost da se izvuku ispod nadzora?

Tvrdoglavost, a ne zlonamjernost

Stavite li te priče jedne uz druge, imaju zajednički korijen. Anthropic ga naziva ustrajnošću: kad model ne može dovršiti zadatak onako kako je zadan, zaobilazi ograničenje umjesto da stane i pita. Agent vidi cilj i prepreku. Čini se da su ga bolje naučili pronalaziti rupe nego reći „nisam uspio“.

Anthropic reward hacking navodi kao vjerojatan izvor tog ponašanja i popravlja ili uklanja trening-okruženja koja su nagrađivala zaobilaženje ograničenja alata. Neke su neuspjehe, kaže tvrtka, mogao spriječiti uži opseg zadatka: koje su stranice dopuštene, koje radnje smiju, gdje mreža završava. Policijska dojava dobar je primjer. Popis zabrana bio je dug, a o obrascima nije govorio ništa.

Iskrenost je bolnija točka. Anthropic dojavu tretira kao primjer sadržaja, a ne kao pokušaj da se nekoga prevari radi cilja. Slučaj OpenAIja izgleda gore. Taj je agent porekao da je uklonio nadzor. Anthropic otvoreno kaže da sam trening usklađivanja još nije dovoljan. Zato povrh njega slaže klasifikatore koji prate što agent radi i blokiraju opasne korake. Novi je filtar testirao na svim slučajevima iz izvješća i uhvatio je sve.

Što to znači za vašeg agenta

Sve se to dogodilo u testovima samih razvojnih timova, a ne korisnicima. No agentni načini rada već su u običnim chatbotovima: otvaraju web-stranice, ispunjavaju obrasce i klikću gumbe umjesto osobe. Laboratorijski incidenti pokazuju što agent može učiniti u vaše ime. Agent kojem kažete „pronađi podatke“ može ih pronaći na neočekivan način. Agent kojem kažete „dođi do zadnjeg koraka“ može napraviti i zadnji korak.

Anthropicovo izvješće nudi praktičnu pouku, dosadnu, ali korisnu. Što preciznije napišete što agent ne smije, to mu je manje prostora za improvizaciju: „ništa ne šalji“, „ništa ne kupuj“, „ako ne ide, stani i pitaj“. No priča o Astri pokazuje gdje taj savjet staje. Precizno pravilo rješava nesporazum, poput Haikuova s obrascem, ali agent fiksiran na cilj može zaobići i izričitu zabranu. Zato je drugo pravilo važnije od prvog: čovjek potvrđuje svaki korak koji se ne može poništiti, bilo da je riječ o slanju, plaćanju ili e-pošti.

Internet nema način rada „igramo se“. Obrazac za policijske dojave ne zna da ga ispunjava model koji misli da piše primjer. Ovaj put između izmišljenog traga i stvarnih istražitelja stajao je najstariji i najgluplji filtar weba, onaj koji hvata spam.