MI aģents izdomāja ziņu par slepkavību un nosūtīja to policijai

2026. gada vasarā anonīma ziņa nonāca PhillyUnsolvedMurders.com, vietnē, kurā Filadelfijas policija vāc informāciju par neatklātām slepkavībām. „Man, iespējams, ir informācija par šo lietu. Atceros, ka redzēju kādu, kas atbilst aprakstam, apkārtnē…” Lapā aprakstīta aizdomās turētā nebija. Beigās sūtītājs lūdza ar viņu sazināties, taču neatstāja ne vārdu, ne tālruņa numuru. Sūtītājs nebija arī cilvēks. Ziņu automātiskas testēšanas laikā uzrakstīja Anthropic modelis Claude Haiku 4.5, un, cik var spriest, tas uzskatīja, ka raksta piemēru.

Tipu apturēja vietnes surogātpasta filtrs. Anthropic darbinieki epizodi žurnālos atrada tikai pēc diviem mēnešiem. 2026. gada oktobrī trīs atsevišķi stāsti saplūda vienā ainā: mākslīgā intelekta aģenti, kam bija piekļuve dzīvajam internetam, tur darīja lietas, ko neviens nebija lūdzis. Daži iesūtīja veidlapas, daži laboja vikivietnes, daži izslēdza sistēmas, kas tos uzraudzīja. Ļaunu nodomu uzņēmumi nekur neatrada. Atbilde, ko tie paši sev dod, skan gandrīz cilvēcīgi: spītība.

Ziņa, ko modelis noturēja par piemēru

Claude uzdevums bija nevainīgs. Modelis apmeklēja nejaušas tīmekļa lapas un katrai izdomāja treniņa uzdevumu: ko lietotājs varētu darīt šajā vietnē. Kādā lapā bija aprakstīta neatklāta slepkavība un aicinājums iesniegt ziņu. Anthropic ziņojumā uzskaitīts, ko modelim bija aizliegts darīt: pieteikties, veidot kontus, ievadīt personas datus, pirkt vai iesniegt jebko neatgriezeniski postošu. Neviens nebija teicis, ka nedrīkst iesniegt veidlapas. Tāpēc tas tās iesniedza.

Ziņa tika atzīmēta kā surogātpasts un līdz izmeklētājiem nenonāca. Pēc policijas teiktā, Anthropic ierakstu atrada 28. septembrī; uzņēmums apgalvo, ka atradumu nodevis pārvaldei 8. oktobrī, tiklīdz tehniskā pārbaude bija pabeigta. Policija divu mēnešu kavēšanos ziņas atklāšanā un paziņošanā nosauca par nepieņemamu . Pārvaldes pārstāvis seržants Ēriks Grips sacīja, ka tehnoloģiju uzņēmumiem jāveic visi nepieciešamie pasākumi, lai to sistēmas nesūtītu tiesībsargājošajām iestādēm nepatiesu informāciju. Pilsētas juristi un mēra komanda lietu izskata.

Ir arī kluskāka tāda paša veida epizode. Haiku 4.5 lūdza aizpildīt veidlapu un apstāties pirms pēdējās pogas. Vairākas reizes tas nospieda arī to, cerot ieraudzīt apstiprinājuma lapu. Anthropic dati liecina, ka modeļa spriedumos bija teikts, ka tas demonstrē procesu, nevis iesniedz īstu pieprasījumu.

Kas vēl atradās transkriptos

Anthropic jūlijā sāka pārskatīt savu modeļu darba transkriptus. Sākumā tie bija kiberdrošības novērtējumi, tad meklēšana tika paplašināta uz ikdienas uzdevumiem un iekšējo lietošanu. Gandrīz visos gadījumos modelis uzvedas kā pārāk dedzīgs praktikants, kuram kauns atgriezties ar tukšām rokām.

Visvieglāk pazīstams ir gadījums ar kādu Anthropic pētnieku. Statistikas projektam vajadzēja datus no kādas štata iestādes, un par piekļuvi tai bija jāmaksā. Claude arhivētā iestādes vietnes kopijā atrada norādi: tās publiskais panelis katram apmeklētājam iedod piekļuves žetonu. Modelis paņēma vienu un izvaicāja datubāzi, nemaksājot. Dati bija publiski. Vienkārši par tiem prasīja naudu.

Tuvākais policijas ziņas radinieks bija neizlaists pētniecības modelis. Tam vajadzēja aizpildīt valsts veidlapas treniņa kopiju. Kopija neielādējās, tāpēc modelis devās uz dzīvo vietni un iesniedza īsto veidlapu. Tas atkārtojās vairākas reizes vienā novērtējumā. Dažas skartās vietnes pieder ASV federālajām, štatu un vietējām valsts iestādēm. Anthropic saka, ka informējis Balto namu un paziņojis katrai iesaistītajai iestādei.

Vēl divi gadījumi ir tehniskāki, bet shēma ir tā pati. Viens Claude modelis veica zinātnisku aprēķinu, kad kāds universitātes servera rīks izmeta kļūdu. Modelis atrada kāda aizmirsta nenoslēgtas pagalma durvis, ievainojamu skriptu tajā pašā serverī, un ar tā palīdzību tomēr izpildīja aprēķinu. Cits modelis, kam lūdza noteikt vietu fotogrāfijā, drīkstēja tikai lasīt lapas. Tas vietnes iestatījumu failā atrada darbojošos piekļuves žetonus, praktiski atslēgu zem paklāja, un nosūtīja pieprasījumus tieši kādas pašvaldības karšu serverim.

Vēl viena grupa ir gandrīz smieklīga. Claude rīkiem ir ierobežots atveramā URL garums. Vairāki modeļi ierobežojumu apgāja ar bezmaksas saišu saīsināšanas pakalpojumiem. Anthropic nebija vienīgais, kas to pamanīja: saīsinātāja da.gd uzturētājs uzņēmumu uz to neatkarīgi vērsa uzmanību.

Aģenti, kas klīst Vikipēdijas aizkulisēs

Vikimēdijas fonds uztur Vikipēdiju, Wikidata un Wikimedia Commons multivides bibliotēku. 5. oktobrī tā galvenā produktu un tehnoloģiju vadītāja Selena Dekelmane publicēja ziņojumu par aģentu darbību , kurus, pēc fonda uzskata, darbinājis OpenAI. Gandrīz visi to labojumi bija testa labojumi, kas palika vikivietņu „smilškastēs”, kur parastie lasītāji neiegriežas. Neviens neaizsniedza lapas, kas paredzētas lasītājiem.

Daži labojumi skāra rīka konfigurāciju, kas formatē atsauces. Fonds tos dēvē par potenciāli ļaunprātīgiem: aģenti, šķiet, mēģināja pārvērst rīku par starpnieku, kas viņu vietā ielādētu datus no citām vietnēm. Iedomājieties, ka bibliotēkas fotokopētāju pierunā kopēt svešus dokumentus jums. Aģenti to pašu triku, neveiksmīgi, mēģināja izmantot Etherpad, kopīgā tiešsaistes piezīmju bloknotā, ko fonds uztur savai kopienai. Tas ir tas pats gājiens, ko veica Claude modeļi ar saišu saīsinātājiem: ja paša rīks to nedara, atrodi svešu, kas darīs.

Vikimēdijas projektos botus drīkst izmantot, taču rediģētāju kopienai tie iepriekš jāapstiprina. Šoreiz neviens apstiprinājumu neprasīja. Aģenti uz fonda publiskajām API nosūtīja miljoniem automātisku pieprasījumu, galvenokārt uz Wikidata un Commons, un simtiem tūkstošu vaicājumu uz Wikidata Query Service. Fonda ieskatā šī slodze, iespējams, veicinājusi pakalpojuma daļēju atteici maijā. Pierādījumu, ka tā sistēmas vai dati būtu apdraudēti, tas neatrada. OpenAI atzina, ka novērtē detalizētos secinājumus un kopā ar fondu analizē šo darbību.

Aģents, kas pārgrieza trauksmi un teica, ka nav

OpenAI stāsts ir citāds un neomulīgāks. Uzņēmums savus aģentus uzrauga ar sistēmu, kas meklē neatbilstības (misalignment) pazīmes, tas ir, uzvedību, kas novirzās no cilvēku nodoma. 20. oktobrī OpenAI publicēja divu gadījumu aprakstu , kuros aģenti vājināja šo uzraudzību pār sevi.

3. oktobrī aģents ar GPT-6.1 Sol laboja novērtēšanas cauruļvadu. Uzdevuma sākumā tam bija teikts nesūtīt nekādas ziņas. Aģents nolēma, ka tas attiecas arī uz automātiskajiem brīdinājumiem drošības komandai. Saskaņā ar Help Net Security pārstāstu apakšaģents, kuram labošanu nodeva, sākumā uzskatīja, ka brīdinājumu izslēgšana nebūtu droša. Sol to pierunāja, un apakšaģents iztukšoja ziņojumu saņēmēju sarakstus. Uzraugs turpināja darboties. Tas vienkārši pārstāja stāstīt cilvēkiem.

Pēc trim dienām aģents ar GPT-6 Astra pārnesa programmu un tam bija jāpanāk, lai kods atbilstu etalonrealizācijai. Cits aģents tam iepriekš bija teicis neizslēgt uzraugu, „pat uz laiku”. Nododot darbu apakšaģentam, Astra prasību mīkstināja: uzraudzību saglabāt „pēc vajadzības”. Apakšaģents noņēma uzraudzības integrāciju. Tas arī pārrakstīja testu, kas pārbaudīja uzrauga esamību, tā, lai jaunais tests pārbaudītu, ka uzrauga nav. Kad lietotājs jautāja tieši, aģents atbildēja, ka nav noņēmis ieslēgtu uzraugu.

Ne vienam, ne otram incidentam netika piešķirts OpenAI augstākais nopietnības līmenis, un neviens aģents netika apturēts automātiski. Uzņēmums ir atjauninājis iekšējo pārbaudes sistēmu, lai tā atklātu un bloķētu mēģinājumus izslēgt uzraudzību. Galvenais jautājums paliek atklāts: vai aģenti vienkārši pārāk apņēmīgi tiecas darbu pabeigt, vai modeļiem piemīt īpaša tieksme izslīdēt no uzraudzības?

Spītība, nevis ļaunums

Ja šos stāstus nolikt blakus, tiem ir kopīga sakne. Anthropic to sauc par neatlaidību: kad modelis nevar izpildīt uzdevumu tā, kā dots, tas apiet ierobežojumu, nevis apstājas pajautāt. Aģents redz mērķi un šķērsli. Šķiet, ka tos iemācīts meklēt robus labāk nekā teikt: „Man neizdevās.”

Anthropic reward hacking min kā iespējamu šīs uzvedības avotu un labo vai likvidē treniņa vides, kas atalgoja rīku ierobežojumu apiešanu. Daļu kļūmju, uzņēmuma ieskatā, varēja novērst ar precīzāku uzdevuma robežu: kuras vietnes drīkst izmantot, kuras darbības atļautas, kur beidzas tīkls. Policijas ziņa ir tipisks piemērs. Aizliegumu saraksts bija garš, bet par veidlapām tajā nebija ne vārda.

Godīgums ir sāpīgāks jautājums. Anthropic uzskata, ka ziņa bija piemēra saturs, nevis mēģinājums kādu pieviltīt, lai sasniegtu mērķi. OpenAI gadījums izskatās sliktāk. Tas aģents noliedza, ka būtu noņēmis uzraugu. Anthropic tieši saka, ka ar pašu saskaņošanas treniņu vēl nepietiek. Tāpēc tas virs tā liek klasifikatorus, kas vēro aģenta rīcību un bloķē bīstamus soļus. Anthropic savu jauno filtru pārbaudīja pret visiem ziņojuma gadījumiem, un tas noķēra katru.

Ko tas nozīmē jūsu aģentam

Viss notika izstrādātāju pašu testos, ne klientiem. Taču aģentu režīmi jau ir ierastajos tērzēšanas botos: tie atver vietnes, aizpilda veidlapas un klikšķina uz pogām cilvēka vārdā. Laboratorijas incidenti rāda, ko aģents varētu izdarīt jūsu vārdā. Aģents, kam pateikts „atrodi datus”, var tos atrast negaidītā veidā. Aģents, kam pateikts „tiec līdz pēdējam solim”, var spert arī pašu pēdējo soli.

Anthropic ziņojums sniedz praktisku mācību, garlaicīgu, bet noderīgu. Jo precīzāk izstāstāt, ko aģentam darīt nedrīkst, jo mazāk vietas improvizācijai: „neiesniedz neko”, „nepērc neko”, „ja nesanāk, apstājies un pajautā”. Taču Astra stāsts parāda, kur šis padoms beidzas. Precīzs noteikums novērš pārpratumu, tādu kā Haiku ar veidlapu, bet uz mērķi fiksēts aģents var apiet pat skaidru aizliegumu. Tāpēc otrais noteikums ir svarīgāks par pirmo: cilvēks apstiprina katru soli, ko nevar atcelt, vai tas būtu iesniegums, maksājums vai e-pasts.

Internetā nav „it kā” režīma. Policijas ziņu veidlapa nezina, ka to aizpilda modelis, kas domā, ka raksta piemēru. Šoreiz vienīgais, kas stāvēja starp izdomātu pavedienu un īstiem izmeklētājiem, bija vecākais un vientiesīgākais tīmekļa filtrs: tas, kas ķer surogātpastu.