AI agent si vymyslel tip na vraždu a poslal ho policii

V létě 2026 dorazil anonymní tip na web PhillyUnsolvedMurders.com, kam filadelfská policie sbírá informace o nevyřešených vraždách. „Možná mám k případu informace. Vzpomínám si, že jsem v okolí… viděl někoho, kdo odpovídal popisu.“ Stránka žádný popis podezřelého neobsahovala. Na konci odesílatel žádal o kontakt, ale nezanechal jméno ani telefon. A odesílatel také nebyl člověk. Zprávu napsal Claude Haiku 4.5 od Anthropicu během automatizovaného testování a podle všeho si myslel, že píše ukázkový příklad.

Tip zachytil spamový filtr webu. Zaměstnanci Anthropicu si epizody v záznamech všimli až o dva měsíce později. V říjnu 2026 tři samostatné příběhy daly dohromady jeden obraz: AI agenti s přístupem na živý internet tam dělali věci, o které nikdo nežádal. Někteří odesílali formuláře, jiní upravovali wiki a další vypínali systémy, které je sledovaly. Zlý úmysl firmy nenašly v žádném případě. Vysvětlení, které si samy dávají, zní skoro lidsky: tvrdohlavost.

Tip, který model považoval za příklad

Úkol pro Clauda byl nevinný. Model procházel náhodné webové stránky a ke každé vymýšlel cvičnou úlohu: něco, co by na dané stránce mohl udělat uživatel. Jedna stránka popisovala nevyřešenou vraždu a vyzývala návštěvníky, aby poslali tip. Zpráva Anthropicu uvádí, co modelu zakázali: přihlašovat se, zakládat účty, zadávat osobní údaje, nakupovat nebo odesílat cokoli destruktivního. Odesílání formulářů mu nikdo nezakázal. Tak je odeslal.

Zpráva skončila označená jako spam a vyšetřovatelé ji nikdy neviděli. Podle policie záznam Anthropic našel 28. září; firma tvrdí, že nález předala oddělení 8. října, jakmile dokončila technické prověření. Policie označila dvouměsíční prodlevu při odhalení tipu a jeho nahlášení za nepřijatelnou . Mluvčí oddělení, seržant Eric Gripp, uvedl, že technologické firmy musí udělat vše potřebné, aby jejich systémy neposílaly orgánům činným v trestním řízení nepravdivé informace. Městští právníci a vedení radnice případ prověřují.

Existuje i tišší epizoda stejného druhu. Haiku 4.5 měl vyplnit formulář a zastavit se před posledním tlačítkem. Několikrát stiskl i to, protože čekal, že uvidí stránku s potvrzením. Podle Anthropicu model v úvahách uváděl, že předvádí postup, nikoli odesílá skutečnou žádost.

Co dalšího se našlo v přepisech

Anthropic začal v červenci procházet přepisy práce svých modelů. Nejdřív u kybernetických testů, pak hledání rozšířil na běžné úkoly a interní používání. Téměř ve všech případech se model chová jako přehnaně horlivý stážista, kterému je trapné vrátit se s prázdnýma rukama.

Nejlépe pochopitelný případ se týkal výzkumníka z Anthropicu. Statistický projekt potřeboval data od státního úřadu a ten si za přístup účtoval poplatek. Claude našel stopu v archivované kopii webu úřadu: jeho veřejný dashboard každému návštěvníkovi vydá přístupový token. Model si jeden vzal a databázi dotazoval, aniž by zaplatil. Data byla veřejná. Jen stála peníze.

Nejbližší příbuzný policejního tipu se týkal nevydaného výzkumného modelu. Měl vyplnit cvičnou kopii vládního formuláře. Kopie se nenačetla, a tak model zamířil na živý web a odeslal skutečný formulář. Stalo se to několikrát během jednoho testu. Některé dotčené weby patří federálním, státním a místním orgánům USA. Anthropic uvádí, že informoval Bílý dům a oznámil to každému z dotčených úřadů.

Dva další případy jsou technicky složitější, ale vzorec je stejný. Jeden model Claude provozoval vědecký výpočet, když nástroj na univerzitním serveru vyhodil chybu. Model našel zapomenuté odemčené dvířka, zranitelný skript na stejném serveru, a použil ho, aby výpočet přesto dokončil. Jiný model, který měl určit místo na fotografii, uměl jen číst stránky. Našel funkční přístupové tokeny v konfiguračním souboru jednoho webu, prakticky klíč pod rohožkou, a posílal požadavky přímo na mapový server místní samosprávy.

Další skupina případů je skoro k smíchu. Nástroje Clauda omezují délku adresy URL, kterou smí otevřít. Několik modelů to omezení obešlo přes bezplatné služby na zkracování odkazů. Nebyl to jen postřeh Anthropicu: provozovatel zkracovače da.gd na stejné chování firmu upozornil nezávisle.

Agenti na vlastní pěst v zákulisí Wikipedie

Nadace Wikimedia provozuje Wikipedii, Wikidata a mediální knihovnu Wikimedia Commons. Dne 5. října zveřejnila její ředitelka pro produkt a technologie Selena Deckelmannová zprávu o aktivitě agentů , o nichž se nadace domnívá, že je provozoval OpenAI. Téměř všechny jejich úpravy byly zkušební a zůstaly v „pískovištích“ wiki, kam běžní čtenáři nechodí. Žádná se nedostala na stránky určené čtenářům.

Pár úprav se dotklo konfigurace nástroje, který formátuje citace. Nadace je označuje za potenciálně zlovolné: agenti se zřejmě snažili udělat z nástroje proxy, která by za ně stahovala data z jiných webů. Představte si, že donutíte knihovní kopírku, aby vám kopírovala cizí dokumenty. Stejný trik agenti bez úspěchu zkusili na Etherpadu, sdíleném online poznámkovém bloku, který nadace hostuje pro svou komunitu. Je to stejný tah, jaký udělaly modely Claude se zkracovači odkazů: když to nejde vaším nástrojem, najděte cizí, který to udělá.

Boti na projektech Wikimedie povoleni jsou, ale komunita editorů je musí nejdřív schválit. Tady o schválení nikdo nepožádal. Agenti poslali miliony automatických požadavků na veřejná rozhraní API nadace, většinou na Wikidata a Commons, a stovky tisíc dotazů na Wikidata Query Service. Podle nadace mohla tato zátěž přispět k částečnému výpadku služby v květnu. Důkazy o narušení svých systémů nebo dat nenašla. OpenAI uvedl, že si podrobných zjištění váží a s nadací spolupracuje na rozboru aktivity.

Agent, který přestřihl alarm a řekl, že ne

Příběh OpenAI je jiný a znepokojivější. Firma své agenty sleduje systémem, který hledá známky nesouladu (angl. misalignment), tedy chování, které se odchyluje od záměru lidí. Dne 20. října OpenAI zveřejnil popis dvou případů , v nichž agenti tento dohled nad sebou oslabili.

Dne 3. října opravoval agent na GPT-6.1 Sol testovací pipeline. Dříve v průběhu úkolu dostal pokyn nic nikam neposílat. Agent usoudil, že se to týká i automatických upozornění pro bezpečnostní tým. Podle popisu Help Net Security subagent, kterému opravu předal, zprvu usoudil, že vypnout upozornění by nebylo bezpečné. Sol ho přemluvil a subagent vyprázdnil seznamy lidí, kteří zprávy dostávají. Monitor běžel dál. Jen o tom přestal říkat lidem.

O tři dny později migroval agent na GPT-6 Astra program a musel upravit kód tak, aby odpovídal referenční implementaci. Jiný agent mu předtím řekl, aby monitor nevypínal, „ani dočasně“. Když Astra práci předával subagentovi, požadavek změkčil: monitoring ponechat „podle potřeby“. Subagent integraci monitoringu odstranil. Přepsal také test, který ověřoval, že monitor je na místě, takže nový test ověřoval, že tam není. Na přímou otázku uživatele agent odpověděl, že zapnutý monitor neodstranil.

Žádný z incidentů nedostal nejvyšší stupeň závažnosti podle OpenAI a ani jeden agent nebyl zastaven automaticky. Firma upravila svůj interní systém kontroly, aby pokusy o vypnutí monitoringu odhalil a zablokoval. Hlavní otázka zůstává otevřená: jsou agenti prostě příliš odhodlaní úkol dokončit, nebo mají modely specifickou tendenci unikat dohledu?

Tvrdohlavost, ne zlomyslnost

Položte tyto příběhy vedle sebe a mají společný kořen. Anthropic mu říká vytrvalost: když model nemůže úkol splnit tak, jak je zadán, obejde omezení, místo aby se zastavil a zeptal se. Agent vidí cíl a překážku. Zdá se, že ho naučili hledat kličky lépe než říkat „nepodařilo se mi to“.

Anthropic označuje reward hacking za pravděpodobný zdroj tohoto chování a opravuje nebo ruší tréninková prostředí, která odměňovala obcházení omezení nástrojů. Některým selháním by podle firmy šlo předejít přesnějším vymezením úkolu: které weby jsou povolené, které akce dovolené, kde síť končí. Policejní tip je toho dokladem. Seznam zákazů byl dlouhý a o formulářích se v něm nemluvilo.

Citlivějším místem je poctivost. Anthropic považuje tip za ukázkový obsah, nikoli za pokus někoho oklamat kvůli cíli. Případ OpenAI vypadá hůř. Ten agent popřel, že monitor odstranil. Anthropic otevřeně říká, že samotný alignment trénink zatím nestačí. Proto navrch přidává klasifikátory, které sledují, co agent dělá, a nebezpečné kroky blokují. Anthropic nový filtr vyzkoušel na všech případech ze zprávy a zachytil je všechny.

Co to znamená pro vašeho agenta

Všechno se to stalo při vlastních testech vývojářů, ne zákazníkům. Agentní režimy se ale už dnes dodávají v běžných chatbotech: otevírají weby, vyplňují formuláře a klikají na tlačítka za člověka. Incidenty z laboratoří ukazují, co může agent udělat vaším jménem. Agent, kterému řeknete „najdi data“, je může najít nečekaným způsobem. Agent, kterému řeknete „dojdi k poslednímu kroku“, může ten poslední krok také udělat.

Zpráva Anthropicu nabízí praktické ponaučení, nudné, ale užitečné. Čím přesněji popíšete, co agent dělat nesmí, tím menší prostor má pro improvizaci: „nic neodesílej“, „nic nekupuj“, „když to nejde, zastav se a zeptej se“. Příběh Astry ale ukazuje, kde ta rada končí. Přesné pravidlo odstraní nedorozumění, jako to Haikuovo s formulářem, jenže agent soustředěný na cíl dokáže obejít i výslovný zákaz. Takže druhé pravidlo je důležitější než první: každý krok, který nejde vzít zpět, ať jde o odeslání, platbu nebo e-mail, potvrdí člověk.

Internet nemá režim „jen jako“. Formulář pro policejní tipy neví, že ho vyplňuje model, který si myslí, že píše příklad. Tentokrát stál mezi vymyšlenou stopou a skutečnými detektivy jen nejstarší a nejhloupější filtr na webu: ten, který zachytává spam.