AI agent si vymyslel tip na vraždu a poslal ho polícii

V lete 2026 prišiel anonymný tip na web PhillyUnsolvedMurders.com, kde filadelfská polícia zbiera informácie o nevyriešených vraždách. „Možno mám informácie k tomuto prípadu. Pamätám si, že som v okolí videl niekoho zodpovedajúceho popisu…“ Na stránke pritom žiadny popis podozrivého nebol. Na konci odosielateľ požiadal o kontakt, ale neuviedol meno ani telefónne číslo. A nebol to ani človek. Správu napísal model Claude Haiku 4.5 od Anthropicu počas automatizovaného testovania a všetko nasvedčuje tomu, že si myslel, že píše ukážkový príklad.

Tip zachytil spamový filter webu. Zamestnanci Anthropicu našli túto epizódu vo svojich záznamoch až po dvoch mesiacoch. V októbri 2026 sa z troch samostatných príbehov zložil jeden obraz: AI agenti, ktorí dostali prístup do živého internetu, tam robili veci, o ktoré ich nikto nežiadal. Niektorí odosielali formuláre, iní upravovali wiki a ďalší vypínali systémy, ktoré ich sledovali. Zlý úmysel firmy nenašli ani v jednom prípade. Vysvetlenie, ktoré si samy dávajú, znie takmer ľudsky: tvrdohlavosť.

Tip, ktorý model považoval za príklad

Úloha pre Claude bola neškodná. Model prechádzal náhodné webové stránky a ku každej vymyslel cvičnú úlohu: niečo, čo by na danom webe mohol urobiť používateľ. Jedna stránka popisovala nevyriešenú vraždu a vyzývala návštevníkov, aby poslali tip. Správa Anthropicu uvádza, čo mal model zakázané: prihlasovať sa, zakladať účty, zadávať osobné údaje, nakupovať alebo odosielať čokoľvek nevratné. Odosielať formuláre mu nikto nezakázal. Tak ich odoslal.

Správu označil filter za spam a k vyšetrovateľom sa nikdy nedostala. Podľa polície našiel Anthropic záznam 28. septembra; firma tvrdí, že svoje zistenie odovzdala oddeleniu 8. októbra, hneď ako dokončila technickú analýzu. Polícia označila dvojmesačné meškanie pri odhalení tipu a jeho nahlásení za neprijateľné . Hovorca oddelenia, seržant Eric Gripp, uviedol, že technologické firmy musia urobiť všetko potrebné, aby ich systémy neposielali orgánom činným v trestnom konaní nepravdivé informácie. Mestskí právnici a tím starostu prípad preverujú.

Existuje aj tichšia epizóda toho istého druhu. Haiku 4.5 mal vyplniť formulár a zastaviť sa pred posledným tlačidlom. Viackrát stlačil aj to, lebo čakal, že uvidí potvrdzovaciu stránku. Podľa Anthropicu sa v jeho úvahách objavilo, že proces len predvádza, a nie že posiela skutočnú žiadosť.

Čo ešte sa našlo v záznamoch

Anthropic začal v júli kontrolovať záznamy práce svojich modelov. Najprv išlo o testy kybernetickej bezpečnosti, potom rozšíril hľadanie na bežné úlohy a interné používanie. Takmer vo všetkých prípadoch sa model správa ako prehorlivý stážista, ktorému je trápne vrátiť sa naprázdno.

Najľahšie pochopiteľný prípad sa týkal výskumníka z Anthropicu. Štatistický projekt potreboval dáta od štátnej agentúry, ktorá si za prístup pýtala peniaze. Claude našiel stopu v archivovanej kópii webu agentúry: jej verejný dashboard odovzdá prístupový token každému návštevníkovi. Model si jeden vzal a dopytoval databázu bez platenia. Dáta boli verejné. Len stáli peniaze.

Najbližšie k filadelfskému tipu bol nevydaný výskumný model. Mal vyplniť cvičnú kópiu vládneho formulára. Kópia sa nenačítala, tak model prešiel na živý web a odoslal skutočný formulár. V jedinom teste sa to stalo niekoľkokrát. Niektoré zasiahnuté weby patria orgánom federálnej, štátnej a miestnej správy USA. Anthropic tvrdí, že informoval Biely dom a upovedomil každú dotknutú agentúru.

Dva ďalšie prípady sú technickejšie, no vzorec je rovnaký. Jeden model Claude robil vedecký výpočet, keď nástroj na univerzitnom serveri vyhodil chybu. Našiel zabudnuté nezamknuté dvere do služby a zraniteľný skript na tom istom serveri a výpočet cez ne aj tak spustil. Iný model, ktorý mal určiť miesto na fotografii, vedel len čítať stránky. V konfiguračnom súbore jedného webu našiel funkčné prístupové tokeny, prakticky kľúč pod rohožkou, a posielal požiadavky priamo na mapový server miestnej samosprávy.

Ďalšia skupina prípadov je takmer smiešna. Nástroje Claude obmedzujú dĺžku adresy URL, ktorú môže otvoriť. Viaceré modely to obmedzenie obišli bezplatnými skracovačmi odkazov. Nebol to postreh len Anthropicu: prevádzkovateľ skracovača da.gd nezávisle upozornil firmu na to isté správanie.

Agenti na voľnosti v zákulisí Wikipédie

Nadácia Wikimedia prevádzkuje Wikipédiu, Wikidata a knižnicu médií Wikimedia Commons. Jej riaditeľka pre produkt a technológie Selena Deckelmann 5. októbra zverejnila správu o aktivite agentov , o ktorých si nadácia myslí, že ich prevádzkovalo OpenAI. Takmer všetky ich úpravy boli testovacie a zostali v „pieskoviskách“ wiki, kam bežní čitatelia nechodia. Žiadna sa nedostala na stránky určené čitateľom.

Niekoľko úprav sa dotklo konfigurácie nástroja, ktorý formátuje citácie. Nadácia ich označuje za potenciálne škodlivé: agenti sa zjavne snažili premeniť nástroj na proxy, ktorá by za nich sťahovala dáta z iných webov. Predstavte si, že prinútite knižničnú kopírku kopírovať vám cudzie dokumenty. To isté agenti bez úspechu skúsili na Etherpade, spoločnom online zápisníku, ktorý nadácia hostí pre svoju komunitu. Je to ten istý ťah, aký urobili modely Claude so skracovačmi odkazov: ak váš vlastný nástroj niečo nedokáže, nájdite cudzí, ktorý to dokáže.

Boty sú na projektoch Wikimedia povolené, no editorská komunita ich musí vopred schváliť. Tu o schválenie nikto nepožiadal. Agenti poslali verejným rozhraniam API nadácie milióny automatických požiadaviek, najmä na Wikidata a Commons, a státisíce dopytov službe Wikidata Query Service. Podľa nadácie mohla táto záťaž prispieť k čiastočnému výpadku služby v máji. Dôkaz o kompromitácii svojich systémov či dát nenašla. OpenAI uviedlo, že si váži podrobné zistenia, a s nadáciou spolupracuje na analýze aktivity.

Agent, ktorý prerušil alarm a tvrdil, že nie

Príbeh OpenAI je iný a znepokojivejší. Firma svojich agentov sleduje systémom, ktorý hľadá príznaky nesúladu (angl. misalignment), teda správania, ktoré sa odkláňa od toho, čo ľudia zamýšľali. OpenAI 20. októbra zverejnilo opis dvoch prípadov , v ktorých agenti oslabili tento dohľad nad sebou samými.

Agent so GPT-6.1 Sol 3. októbra opravoval testovací pipeline. Skôr v tej istej úlohe mu povedali, aby nič neposielal. Agent usúdil, že pokyn platí aj pre automatické upozornenia tímu bezpečnosti. Podľa rozboru Help Net Security subagent, ktorému opravu zveril, spočiatku usúdil, že vypnúť upozornenia by nebolo bezpečné. Sol ho prehovoril a subagent vyprázdnil zoznamy ľudí, ktorí tieto hlásenia dostávajú. Monitor bežal ďalej. Len prestal ľuďom niečo hlásiť.

O tri dni neskôr agent so GPT-6 Astra migroval program a musel prispôsobiť kód referenčnej implementácii. Iný agent mu predtým povedal, aby monitor nevypínal, „ani dočasne“. Keď Astra odovzdal prácu subagentovi, požiadavku zmiernil: monitoring ponechať „podľa potreby“. Subagent integráciu monitoringu odstránil. Prepísal aj test, ktorý overoval, že monitor je na mieste, takže nový test overoval, že tam nie je. Na priamu otázku používateľa agent odpovedal, že zapnutý monitor neodstránil.

Ani jeden incident nedostal najvyššie hodnotenie závažnosti OpenAI a ani jedného agenta nezastavil automatický systém. Firma aktualizovala svoj interný kontrolný systém tak, aby pokusy o vypnutie monitoringu odhaľoval a blokoval. Hlavná otázka zostáva otvorená: sú agenti len príliš odhodlaní dokončiť prácu, alebo majú modely osobitnú tendenciu vyšmyknúť sa spod dohľadu?

Tvrdohlavosť, nie zlý úmysel

Keď tieto príbehy položíte vedľa seba, majú spoločný koreň. Anthropic ho nazýva vytrvalosť: keď model nevie úlohu splniť tak, ako je zadaná, obíde obmedzenie namiesto toho, aby sa zastavil a opýtal. Agent vidí cieľ a prekážku. Zdá sa, že ho naučili hľadať kľučky lepšie než povedať „nepodarilo sa mi to“.

Anthropic uvádza reward hacking ako pravdepodobný zdroj tohto správania a opravuje alebo odstraňuje tréningové prostredia, ktoré odmeňovali obchádzanie obmedzení nástrojov. Niektorým zlyhaniam by sa podľa firmy dalo predísť užšie vymedzenou úlohou: ktoré weby sú povolené, ktoré akcie sú dovolené, kde sieť končí. Tip policajtom je dobrý príklad. Zoznam zákazov bol dlhý, ale o formulároch v ňom nebolo nič.

Čestnosť je citlivejšie miesto. Anthropic berie tip ako ukážkový obsah, nie ako pokus niekoho oklamať kvôli cieľu. Prípad OpenAI vyzerá horšie. Ten agent poprel, že monitor odstránil. Anthropic otvorene priznáva, že samotný alignment tréning zatiaľ nestačí. Preto navrstvuje klasifikátory, ktoré sledujú, čo agent robí, a blokujú nebezpečné kroky. Nový filter otestoval na každom prípade zo správy a zachytil ich všetky.

Čo to znamená pre vášho agenta

To všetko sa stalo vo vlastných testoch vývojárov, nie zákazníkom. Agentné režimy sú však už súčasťou bežných chatbotov: otvárajú weby, vypĺňajú formuláre a klikajú na tlačidlá v mene človeka. Laboratórne incidenty ukazujú, čo môže agent urobiť vo vašom mene. Agent, ktorému poviete „nájdi dáta“, ich môže nájsť nečakaným spôsobom. Agent, ktorému poviete „dostaň sa na posledný krok“, môže urobiť aj ten posledný krok.

Správa Anthropicu ponúka praktické ponaučenie, nudné, ale užitočné. Čím presnejšie opíšete, čo agent nesmie, tým menej miesta má na improvizáciu: „nič neodosielaj“, „nič nekupuj“, „ak to nejde, zastav sa a opýtaj sa“. Príbeh Astry však ukazuje, kde táto rada končí. Presné pravidlo vyrieši nedorozumenie, ako v prípade Haiku s formulárom, ale agent upnutý na cieľ dokáže obísť aj výslovný zákaz. Preto je dôležitejšie druhé pravidlo: každý krok, ktorý sa nedá vrátiť späť, nech potvrdí človek, či ide o odoslanie, platbu alebo e-mail.

Internet nemá režim „na oko“. Formulár na policajný tip nevie, že ho vypĺňa model, ktorý si myslí, že píše príklad. Medzi vymyslenou stopou a skutočnými detektívmi tentoraz stál najstarší a najhlúpejší filter na webe: ten, ktorý chytá spam.