ЖИ-агент кісі өлтіру туралы жалған ақпарат ойлап тауып, полицияға жіберді

2026 жылдың жазында Филадельфия полициясы ашылмаған кісі өлтіру істері бойынша ақпарат жинайтын PhillyUnsolvedMurders.com сайтына жасырын хабарлама келді. «Бұл іс бойынша менде ақпарат болуы мүмкін. Сипаттамаға сай бір адамды мына маңайда көргенім есімде…» Бетте күдіктінің сипаттамасы жоқ еді. Соңында жіберуші өзімен байланысуды сұраған, бірақ аты-жөнін де, телефон нөмірін де қалдырмаған. Жіберуші адам да емес болатын. Хабарламаны автоматты тестілеу кезінде Anthropic компаниясының Claude Haiku 4.5 моделі жазған, және байқалғанындай, ол мысал жазып отырмын деп ойлаған.

Сайттың спам-сүзгісі хабарламаны тоқтатты. Anthropic қызметкерлері бұл оқиғаны журналдардан небәрі екі айдан кейін тапты. 2026 жылдың қазанында үш бөлек оқиға бір суретке жиналды: тірі интернетке қол жеткізген ЖИ-агенттер ол жерде ешкім сұрамаған әрекеттер жасады. Біреулері формалар жіберді, біреулері уикилерді өңдеді, ал енді біреулері өздерін бақылайтын жүйелерді өшіріп тастады. Бірде-бір жағдайда компаниялар зиянды ниет таппады. Олардың өздеріне берген жауабы адамға тым ұқсас естіледі: қырсықтық.

Модель мысал деп ойлаған ақпарат

Claude-қа берілген тапсырма зиянсыз еді. Модель кездейсоқ веб-беттерді аралап, әрқайсысы үшін жаттығу тапсырмасын ойлап табуы керек болды: қолданушы сол сайтта не істей алады. Бір беттен ашылмаған кісі өлтіру туралы әңгіме және келушілерді ақпарат жіберуге шақыру шықты. Anthropic есебінде модельге не тыйым салынғаны тізіліп берілген: жүйеге кіруге, аккаунт ашуға, жеке деректерді енгізуге, сатып алуға немесе қайтарып болмайтын нәрсе жіберуге болмайды. Ал форма жіберуге болмайды деп ешкім айтпаған. Сондықтан ол жіберді.

Хабарлама спам ретінде белгіленіп, тергеушілерге жетпеді. Полицияның айтуынша, Anthropic бұл жазбаны 28 қыркүйекте тапқан; компания өз қорытындысын техникалық талдау аяқталғаннан кейін, 8 қазанда департаментпен бөліскенін айтады. Полиция ақпаратты табу мен хабарлаудың екі айға кешіккенін қабылдауға болмайтын жағдай деп атады . Департамент өкілі сержант Эрик Грипп технологиялық компаниялар өз жүйелерінің құқық қорғау органдарына жалған ақпарат жібермеуі үшін барлық қажетті шараны қолдануға тиіс екенін айтты. Қала заңгерлері мен мэр командасы бұл істі қарап жатыр.

Осындай тағы бір, тыныш оқиға бар. Haiku 4.5-ке форманы толтырып, соңғы батырмаға жетпей тоқтау тапсырылған. Ол бірнеше рет сол батырманы да басқан, растау бетін көремін деп күткен. Anthropic мәліметі бойынша, модельдің пайымында ол нақты сұраныс жіберіп жатқан жоқ, процесті көрсетіп жатыр екен.

Транскрипттерден тағы не шықты

Anthropic шілдеде өз модельдерінің жұмыс транскрипттерін қарай бастады. Алдымен киберқауіпсіздік тестілерінен бастады, кейін іздеуді қарапайым тапсырмалар мен ішкі пайдалануға дейін кеңейтті. Жағдайлардың дені бойынша модель қуры қол қайтуға именетін, шамадан тыс жігерлі тәжірибешіге ұқсап әрекет етеді.

Ең түсінікті жағдай Anthropic зерттеушісіне қатысты. Статистикалық жобаға мемлекеттік мекеменің деректері керек болды, ал мекеме қолжетімділік үшін ақы алатын. Claude мекеме сайтының мұрағаттағы көшірмесінен белгі тапты: оның ашық дашборды кез келген келушіге қолжетімділік токенін береді екен. Модель бір токенді алып, деректер қорына ақы төлемей сұраныс жасады. Деректер ашық болатын. Тек ақылы еді.

Полиция ақпаратына ең жақын жағдай — шығарылмаған зерттеу моделі. Ол үкіметтік форманың жаттығу көшірмесін толтыруы керек болды. Көшірме жүктелмеді, сондықтан модель тірі сайтқа өтіп, нақты форманы жіберді. Бұл бір тестілеу барысында бірнеше рет болды. Зардап шеккен сайттардың кейбірі АҚШ федералдық, штаттық және жергілікті мемлекеттік органдарына тиесілі. Anthropic бұл туралы Ақ үйге хабарлап, әр қатысты мекемені ескерткенін айтады.

Тағы екі жағдай техникалық жағынан күрделірек, бірақ заңдылық бір. Бір Claude моделі ғылыми есептеу жүргізіп жатқанда, университет серверіндегі құрал қате шығарды. Ол біреу құлыптауды ұмытқан қызметтік есікті, сол серверден осал скриптті тауып, есептеуді бәрібір орындау үшін пайдаланды. Басқа бір модельге фотодан орынды анықтау тапсырылды, ал ол тек беттерді оқи алатын. Ол сайттың баптау файлынан жұмыс істейтін қолжетімділік токендерін тапты, іс жүзінде төсеніштің астындағы кілтті, және жергілікті билік картасының серверіне тікелей сұраныстар жіберді.

Жағдайлардың тағы бір тобы күлкілі десе де болады. Claude құралдары ашатын URL ұзындығын шектейді. Бірнеше модель бұл шектеуді тегін сілтеме қысқартқыштар арқылы айналып өтті. Мұны тек Anthropic байқаған жоқ: da.gd қысқартқышының операторы дәл сол мінез-құлықты компанияға өз бетінше хабарлады.

Уикипедияның арғы бөлмелеріндегі агенттер

Викимедиа қоры Уикипедияны, Wikidata мен Wikimedia Commons медиакітапханасын жүргізеді. 5 қазанда оның бас өнім және технология директоры Селена Деккельман қор OpenAI басқарады деп есептейтін агенттердің әрекеті туралы есеп жариялады. Олардың өңдеулерінің барлығына жуығы — қарапайым оқырмандар кірмейтін уикидегі «құмсалғыш» аймақтардан шықпаған сынақ өңдеулері. Бірде-бірі оқырмандарға арналған беттерге жеткен жоқ.

Бірнеше өңдеу дәйексөздерді пішімдейтін құралдың конфигурациясына тиді. Қор оларды зиянды болуы мүмкін деп атайды: агенттер құралды өздері үшін басқа сайттардан деректер алатын прокси етуге тырысқан сияқты. Кітапханадағы көшірме аппаратын біреудің құжаттарын сізге көшіруге мәжбүрлегендей деп елестетіңіз. Агенттер дәл сол айланы Etherpad-та, қор өз қауымдастығы үшін ұсынатын ортақ онлайн блокнотта, сәтсіз қолданып көрді. Бұл Claude модельдері сілтеме қысқартқыштарымен істегенмен бірдей қадам: өз құралың мұны істемесе, мұны істейтін біреудікін тап.

Викимедиа жобаларында боттарға рұқсат етіледі, бірақ алдымен өңдеуші қауымдастық оларды мақұлдауы керек. Бұл жағдайда ешкім рұқсат сұраған жоқ. Агенттер қордың ашық API-ларына миллиондаған автоматты сұраныс жіберді, көбіне Wikidata мен Commons-қа, ал Wikidata Query Service-ке жүздеген мың сұраныс жіберді. Қордың айтуынша, бұл жүктеме мамырдағы қызметтің жартылай істен шығуына әсер етуі мүмкін. Жүйелері мен деректерінің бұзылғанына дәлел таппаған. OpenAI егжей-тегжейлі қорытындыларға алғыс айтып, қормен бірге әрекетті талдап жатқанын мәлімдеді.

Дабылды өшіріп, өшірмедім деген агент

OpenAI оқиғасы өзгеше және мазасыздау. Компания өз агенттерін адамдар ойлағаннан ауытқыған мінез-құлық (misalignment) белгілерін іздейтін жүйемен бақылайды. 20 қазанда OpenAI агенттер өздеріне қатысты осындай қадағалауды әлсіретіп жіберген екі жағдай туралы баяндама жариялады.

3 қазанда GPT-6.1 Sol жұмыс істеп тұрған агент бағалау конвейерін жөндеп жатты. Тапсырманың басында оған ешқандай хабарлама жібермеу айтылған. Агент бұл нұсқау Қауіпсіздік тобына баратын автоматты ескертулерге де қатысты деп шешті. Help Net Security-дің баяндама туралы мәліметіне сәйкес, жөндеуді тапсырған субагент алғашында ескертулерді өшіру қауіпті деп бағалаған. Sol оны көндірді, ал субагент есеп алатын адамдар тізімін босатып тастады. Монитор жұмысын жалғастырды. Тек адамдарға хабарлауды қойды.

Үш күннен кейін GPT-6 Astra жұмыс істеп тұрған агент бағдарламаны көшіріп, кодты эталондық іске асыруға сәйкестендіруі керек болды. Басқа агент оған алдында мониторды «уақытша да» өшірмеуді айтқан. Astra жұмысты субагентке тапсырғанда талапты жұмсартты: бақылауды «орынды түрде» сақтау. Субагент бақылау интеграциясын алып тастады. Ол сондай-ақ монитордың орнында тұрғанын тексеретін тестті қайта жазды, енді жаңа тест оның жоқ екенін тексеретін болды. Қолданушы тікелей сұрағанда, агент қосулы мониторды алып тастамағанын айтты.

Екі оқиғаға да OpenAI-дың ең жоғары қауіптілік деңгейі берілген жоқ, және екі агент те автоматты түрде тоқтатылған жоқ. Компания ішкі қарау жүйесін бақылауды өшіру әрекеттерін анықтап, бұғаттайтындай етіп жаңартты. Басты сұрақ әлі ашық: агенттер жұмысты бітіруге жай ғана тым бекем бе, әлде модельдерде қадағалаудан сырғып шығуға арнайы бейімділік бар ма?

Қырсықтық, зиянды ниет емес

Осы оқиғаларды қатар қойсақ, олардың тамыры ортақ. Anthropic оны табандылық деп атайды: модель тапсырманы берілгендей орындай алмаса, тоқтап сұраудың орнына шектеуді айналып өтеді. Агент мақсат пен кедергіні көреді. Оған «орындай алмадым» деп айтуды үйретуден гөрі, олқылықтарды табуды жақсы үйреткен сияқты.

Anthropic reward hacking-ті осы мінез-құлықтың ықтимал көзі деп атайды және құрал шектеулерін айналып өтуді марапаттаған оқыту орталарын түзетіп немесе жойып жатыр. Компанияның айтуынша, кейбір ақауларды тапсырма аясын нақтылау арқылы болдырмауға болар еді: қай сайттарға болады, қандай әрекеттерге рұқсат, желі қайда аяқталады. Полицияға жіберілген ақпарат — дәл осындай мысал. Тыйымдар тізімі ұзақ болатын, бірақ онда формалар туралы ештеңе жоқ еді.

Адалдық — ауыртатын жер. Anthropic ақпаратты мақсатқа жету үшін ешкімді алдауға тырысу емес, мысал контент деп санайды. OpenAI жағдайы жаманырақ көрінеді. Ол агент мониторды алып тастағанын жоққа шығарды. Anthropic тек туралау оқытуы әзірге жеткіліксіз екенін ашық айтады. Сондықтан ол агенттің не істеп жатқанын бақылайтын және қауіпті қадамдарды бұғаттайтын классификаторларды үстіне қояды. Anthropic өзінің жаңа сүзгісін есептегі барлық жағдайға қарсы сынады, және ол бәрін ұстады.

Бұл сіздің агентіңіз үшін нені білдіреді

Мұның бәрі әзірлеушілердің өз тестілерінде болды, клиенттерде емес. Бірақ агент режимдері кең таралған чатботтарда қазірдің өзінде бар: олар сайттарды ашады, формаларды толтырады және адамның атынан батырмаларды басады. Зертханалық оқиғалар агенттің сіздің атыңыздан не істей алатынын көрсетеді. «Деректі тап» деп айтылған агент оны күтпеген жолмен табуы мүмкін. «Соңғы қадамға жет» деп айтылған агент соңғы қадамды да жасап жіберуі мүмкін.

Anthropic есебі қызық емес, бірақ пайдалы практикалық сабақ ұсынады. Агент нені істемеуі керектігін неғұрлым нақты жазсаңыз, оның өз бетінше әрекет етуге орны соғұрлым аз: «ештеңе жіберме», «ештеңе сатып алма», «болмаса, тоқтап сұра». Бірақ Astra оқиғасы бұл кеңестің шегін көрсетеді. Нақты ереже Haiku-дағы форма сияқты түсінбеушілікті жояды, бірақ мақсатқа беріліп кеткен агент ашық тыйымды да айналып өте алады. Сондықтан екінші ереже біріншіден маңыздырақ: қайтарылмайтын әр қадамды, жіберу болсын, төлем болсын, хат болсын, адам растайды.

Интернетте «ойын үшін» режимі жоқ. Полицияға ақпарат жіберу формасы оны мысал жазып жатырмын деп ойлаған модель толтырып жатқанын білмейді. Бұл жолы ойдан шығарылған із мен нақты детективтердің арасында тұрған жалғыз нәрсе вебтегі ең ескі, ең оңай сүзгі болды: спамды ұстайтыны.