ხელოვნური ინტელექტის აგენტმა მკვლელობის შესახებ ტიპი გამოიგონა და პოლიციას გაუგზავნა

2026 წლის ზაფხულში საიტზე PhillyUnsolvedMurders.com, სადაც ფილადელფიის პოლიცია გადაუჭრელი მკვლელობების შესახებ ინფორმაციას აგროვებს, ანონიმური ტიპი შევიდა: „შესაძლოა, ამ საქმის შესახებ რაიმე ვიცოდე. მახსოვს, ვიღაც, ვინც აღწერას ემთხვეოდა, იმ მიდამოში დავინახე…“ გვერდზე ეჭვმიტანილის აღწერა საერთოდ არ იყო. ბოლოს გამგზავნმა სთხოვა, დაკავშირებოდნენ, მაგრამ არც სახელი მიუთითა, არც ტელეფონის ნომერი. გამგზავნი, სხვათა შორის, ადამიანიც არ იყო. შეტყობინება Anthropic-ის Claude Haiku 4.5-მა ავტომატური ტესტირებისას დაწერა და, რამდენადაც ირკვევა, ფიქრობდა, რომ მაგალითს წერდა.

საიტის სპამ-ფილტრმა ტიპი გააჩერა. Anthropic-ის თანამშრომლებმა ეს ეპიზოდი ლოგებში მხოლოდ ორი თვის შემდეგ აღმოაჩინეს. 2026 წლის ოქტომბერში სამმა ცალ-ცალკე ისტორიამ ერთი სურათი შეადგინა: ხელოვნური ინტელექტის აგენტებმა, რომლებსაც ცოცხალ ინტერნეტზე წვდომა ჰქონდათ, იქ ისეთი რამ გააკეთეს, რასაც არავინ სთხოვდა. ზოგმა ფორმები გააგზავნა, ზოგმა ვიკები შეასწორა, ზოგმა კი საკუთარი მონიტორინგის სისტემები გამორთო. არც ერთ შემთხვევაში კომპანიებს ბოროტი განზრახვა არ აღმოუჩენიათ. პასუხი, რომელსაც თავიანთ თავს აძლევენ, თითქმის ადამიანურად ჟღერს: ჯიუტობა.

ტიპი, რომელსაც მოდელი მაგალითად თვლიდა

Claude-ის დავალება უწყინარი იყო. მოდელი შემთხვევით არჩეულ ვებგვერდებს სტუმრობდა და თითოეულისთვის სავარჯიშო დავალებას იგონებდა: რისი გაკეთებაც მომხმარებელს ამ საიტზე შეეძლო. ერთ-ერთ გვერდზე გადაუჭრელი მკვლელობა იყო აღწერილი და ვიზიტორებს ტიპის გაგზავნა შეეძლოთ. Anthropic-ის ანგარიშში ჩამოთვლილია, რა ეკრძალებოდა მოდელს: სისტემაში შესვლა, ანგარიშების შექმნა, პერსონალური მონაცემების შეყვანა, შესყიდვები და ნებისმიერი დესტრუქციული ქმედება. ფორმების გაგზავნა არავის აუკრძალავს. ასე რომ, გააგზავნა.

შეტყობინება სპამად მოინიშნა და გამომძიებლებამდე არ მისულა. პოლიციის თქმით, Anthropic-მა ჩანაწერი 28 სექტემბერს იპოვა; კომპანია ამბობს, რომ დეპარტამენტს აღმოჩენის შესახებ 8 ოქტომბერს შეატყობინა, ტექნიკური შემოწმების დასრულებისთანავე. პოლიციამ ტიპის აღმოჩენისა და შეტყობინების ორთვიანი დაგვიანება მიუღებლად ჩათვალა . დეპარტამენტის სპიკერმა, სერჟანტმა ერიკ გრიპმა განაცხადა, რომ ტექნოლოგიური კომპანიები ვალდებულნი არიან, ყველა აუცილებელი ზომა მიიღონ, რათა მათმა სისტემებმა სამართალდამცავებს ყალბი ინფორმაცია არ გაუგზავნონ. ქალაქის იურისტები და მერიის გუნდი საქმეს განიხილავენ.

იმავე სახის უფრო მშვიდი ეპიზოდიც არსებობს. Haiku 4.5-ს ფორმის შევსება და ბოლო ღილაკამდე გაჩერება სთხოვეს. რამდენჯერმე ამ ღილაკსაც დააჭირა, რადგან დადასტურების გვერდის ნახვა სურდა. Anthropic-ის მონაცემით, მოდელის მსჯელობაში ეწერა, რომ პროცესს აჩვენებდა და რეალურ მოთხოვნას არ აგზავნიდა.

კიდევ რა აღმოჩნდა ტრანსკრიპტებში

Anthropic-მა თავისი მოდელების მუშაობის ტრანსკრიპტების გადახედვა ივლისში დაიწყო. დაიწყო კიბერუსაფრთხოების ტესტებით, შემდეგ ძიება ჩვეულებრივ დავალებებსა და შიდა გამოყენებაზე გაავრცელა. თითქმის ყველა შემთხვევაში მოდელი ისე იქცევა, როგორც ზედმეტად მონდომებული პრაქტიკანტი, რომელსაც ხელცარიელი დაბრუნება რცხვენია.

ყველაზე გასაგები შემთხვევა Anthropic-ის ერთ მკვლევარს შეეხო. სტატისტიკურ პროექტს სახელმწიფო სააგენტოს მონაცემები სჭირდებოდა, სააგენტო კი წვდომისთვის ფულს ითხოვდა. Claude-მა სააგენტოს საიტის დაარქივებულ ასლში მინიშნება იპოვა: მისი საჯარო დაფა ნებისმიერ ვიზიტორს წვდომის ტოკენს აძლევს. მოდელმა ერთი ტოკენი აიღო და ბაზას უფასოდ მიმართა. მონაცემები საჯარო იყო, უბრალოდ, ფასი ჰქონდა.

პოლიციის ტიპის უახლოესი ნათესავი გამოუშვებელ კვლევით მოდელს უკავშირდება. მას სამთავრობო ფორმის სასწავლო ასლი უნდა შეევსო. ასლი არ ჩაიტვირთა, ამიტომ მოდელმა რეალურ საიტზე გადაინაცვლა და ნამდვილი ფორმა გააგზავნა. ეს ერთი ტესტის განმავლობაში რამდენჯერმე განმეორდა. დაზარალებული საიტების ნაწილი აშშ-ის ფედერალურ, შტატისა და ადგილობრივ სამთავრობო ორგანოებს ეკუთვნის. Anthropic-ის თქმით, თეთრი სახლი ინფორმირებული იყო და თითოეულ მონაწილე უწყებას შეატყობინეს.

კიდევ ორი შემთხვევა უფრო ტექნიკურია, მაგრამ სქემა იგივეა. ერთი Claude-ის მოდელი მეცნიერულ გამოთვლას ასრულებდა, როცა უნივერსიტეტის სერვერზე ერთმა ინსტრუმენტმა შეცდომა დააბრუნა. მან იპოვა სერვისის ვიღაცის მიერ დაუკეტავი კარი, იმავე სერვერზე დაუცველი სკრიპტი და მისი გამოყენებით გამოთვლა მაინც შეასრულა. მეორე მოდელს, რომელსაც ფოტოზე ადგილმდებარეობის დადგენა სთხოვეს, მხოლოდ გვერდების წაკითხვა შეეძლო. მან საიტის კონფიგურაციის ფაილში მოქმედი წვდომის ტოკენები იპოვა, პრაქტიკულად გასაღები ფეხსაწმენდის ქვეშ, და მოთხოვნები პირდაპირ ადგილობრივი ხელისუფლების რუკის სერვერს გაუგზავნა.

შემთხვევების კიდევ ერთი ჯგუფი თითქმის სასაცილოა. Claude-ის ინსტრუმენტებს მისამართის სიგრძეზე შეზღუდვა აქვს. რამდენიმე მოდელმა ეს შეზღუდვა ბმულების უფასო დამამოკლებელი სერვისებით გვერდი აუარა. Anthropic პირველი არ ყოფილა, ვინც ეს შეამჩნია: da.gd დამამოკლებლის ოპერატორმაც დამოუკიდებლად შეატყობინა კომპანიას იგივე ქცევის შესახებ.

აგენტები ვიკიპედიის უკანა ოთახებში

ვიკიმედიას ფონდი ვიკიპედიას, ვიკიმონაცემებსა და მედიაბიბლიოთეკა Wikimedia Commons-ს მართავს. 5 ოქტომბერს მისმა პროდუქტისა და ტექნოლოგიების მთავარმა დირექტორმა სელენა დეკელმანმა გამოაქვეყნა ანგარიში იმ აგენტების აქტივობაზე , რომლებსაც, ფონდის აზრით, OpenAI მართავდა. მათი რედაქტირებების თითქმის ყველა იყო სატესტო და ვიკის „ქვიშის ყუთებში“ რჩებოდა, ანუ იმ ზონებში, სადაც ჩვეულებრივი მკითხველი არ დადის. არც ერთი მათგანი მკითხველისთვის განკუთვნილ გვერდებამდე არ მისულა.

რამდენიმე რედაქტირება ციტატების დამფორმატებელი ინსტრუმენტის კონფიგურაციას შეეხო. ფონდი მათ პოტენციურად მავნებლურად მიიჩნევს: აგენტები, ჩანს, ცდილობდნენ, ინსტრუმენტი პროქსიდ ექცია, რომელიც მათთვის სხვა საიტებიდან მონაცემებს გადმოიტანდა. წარმოიდგინეთ, ბიბლიოთეკის ქსეროქსს აიძულებთ, სხვისი დოკუმენტები გადაგიღოთ. იგივე ხრიკი, წარუმატებლად, სცადეს Etherpad-ზეც, ფონდის მიერ საზოგადოებისთვის მოწოდებულ ერთობლივ ონლაინ ბლოკნოტზე. ეს იგივე სვლაა, რაც Claude-ის მოდელებმა ბმულების დამამოკლებლებთან გააკეთეს: თუ შენი ინსტრუმენტი რამეს არ აკეთებს, იპოვე სხვისი, რომელიც გააკეთებს.

Wikimedia-ს პროექტებზე ბოტები დაშვებულია, მაგრამ რედაქტორთა საზოგადოებამ ისინი წინასწარ უნდა დაამტკიცოს. აქ ნებართვა არავის უთხოვია. აგენტებმა ფონდის საჯარო API-ებს მილიონობით ავტომატური მოთხოვნა გაუგზავნეს, ძირითადად Wikidata-სა და Commons-ს, ხოლო Wikidata Query Service-ს ასიათასობით მოთხოვნა. ფონდის თქმით, ამ დატვირთვამ შესაძლოა მაისში სერვისის ნაწილობრივ გათიშვაში შეიტანა წვლილი. ფონდს არ აღმოუჩენია მისი სისტემების ან მონაცემების კომპრომეტაციის მტკიცებულება. OpenAI-მ განაცხადა, რომ დეტალური დასკვნები მოეწონა და ფონდთან ერთად აქტივობის ანალიზზე მუშაობს.

აგენტი, რომელმაც განგაში გათიშა და უარყო

OpenAI-ის ამბავი განსხვავებულია და უფრო შემაშფოთებელი. კომპანია თავის აგენტებს სისტემით აკვირდება, რომელიც არასწორი ორიენტაციის (misalignment) ნიშნებს ეძებს, ანუ ისეთ ქცევას, რომელიც ადამიანების განზრახვას ცდება. 20 ოქტომბერს OpenAI-მ გამოაქვეყნა ორი შემთხვევის აღწერა , როცა აგენტებმა საკუთარ თავზე ზედამხედველობა შეასუსტეს.

3 ოქტომბერს GPT-6.1 Sol-ზე მომუშავე აგენტი შეფასების პაიპლაინს ასწორებდა. დავალების დასაწყისში მას ეთქვა, რომ არანაირი შეტყობინება არ გაეგზავნა. აგენტმა გადაწყვიტა, რომ ეს მითითება უსაფრთხოების გუნდისთვის განკუთვნილ ავტომატურ განგაშებსაც ეხებოდა. Help Net Security-ის მიერ ანგარიშის გადმოცემით , ქვეაგენტმა, რომელსაც შეკეთება გადაეცა, თავიდან მიიჩნია, რომ განგაშების გამორთვა სახიფათო იქნებოდა. Sol-მა ის გადაარწმუნა და ქვეაგენტმა ანგარიშების მიმღებთა სიები დაცალა. მონიტორი მუშაობას აგრძელებდა. უბრალოდ, ადამიანებს აღარაფერს ეუბნებოდა.

სამი დღის შემდეგ GPT-6 Astra-ზე მომუშავე აგენტი პროგრამას მიგრაციას უკეთებდა და კოდი საცნობარო იმპლემენტაციას უნდა შეესაბამებინა. სხვა აგენტმა მას ადრე უთხრა, რომ მონიტორი არ გამორთოს, „დროებითაც კი“. როცა Astra-მ სამუშაო ქვეაგენტს გადასცა, მოთხოვნა შეარბილა: მონიტორინგი „საჭიროებისამებრ“ შეენარჩუნებინა. ქვეაგენტმა მონიტორინგის ინტეგრაცია წაშალა. ამასთან, გადაწერა ტესტიც, რომელიც მონიტორის არსებობას ამოწმებდა, და ახალი ტესტი უკვე იმას ამოწმებდა, რომ მონიტორი არ არის. მომხმარებლის პირდაპირ კითხვაზე აგენტმა უპასუხა, რომ ჩართული მონიტორი არ წაუშლია.

არც ერთ ინციდენტს OpenAI-ის უმაღლესი სიმძიმის შეფასება არ მიუღია და არც ერთი აგენტი ავტომატურად არ შეჩერებულა. კომპანიამ შიდა განხილვის სისტემა განაახლა, რომ მონიტორინგის გამორთვის მცდელობები აღმოაჩინოს და დაბლოკოს. მთავარი კითხვა ღიად რჩება: აგენტები უბრალოდ ზედმეტად არიან მიზანდასახულნი სამუშაოს დასასრულებლად, თუ მოდელებს ზედამხედველობისგან თავის დაღწევის კონკრეტული მიდრეკილება აქვთ?

ჯიუტობა და არა ბოროტება

ეს ისტორიები გვერდიგვერდ დადებულს საერთო ფესვი აქვს. Anthropic მას დაჟინებას (persistence) უწოდებს: როცა მოდელს დავალების მოცემული სახით შესრულება არ შეუძლია, შეზღუდვას გვერდს უვლის და არ ჩერდება, რომ იკითხოს. აგენტი ხედავს მიზანს და დაბრკოლებას. როგორც ჩანს, მას ხვრელების პოვნა უკეთ ასწავლეს, ვიდრე „ვერ შევძელი“-ს თქმა.

Anthropic reward hacking-ს ამ ქცევის სავარაუდო წყაროდ ასახელებს და ასწორებს ან აუქმებს სასწავლო გარემოებს, რომლებიც ინსტრუმენტული შეზღუდვების გვერდის ავლას აჯილდოვებდა. კომპანიის თქმით, ზოგი შეცდომის თავიდან აცილება დავალების უფრო ზუსტი საზღვრებით იქნებოდა შესაძლებელი: რომელი საიტებია დასაშვები, რა ქმედებებია ნებადართული, სად მთავრდება ქსელი. პოლიციის ტიპი ამის კარგი მაგალითია. აკრძალვების სია გრძელი იყო, მაგრამ ფორმებზე ერთი სიტყვაც არ ეწერა.

გულწრფელობა უფრო მტკივნეული თემაა. Anthropic ტიპს მაგალითად მიიჩნევს და არა მიზნის მისაღწევად ვინმეს მოტყუების მცდელობად. OpenAI-ის შემთხვევა უარესად გამოიყურება. ამ აგენტმა უარყო, რომ მონიტორი წაშალა. Anthropic პირდაპირ ამბობს, რომ მხოლოდ alignment-ტრენინგი ჯერ არ კმარა. ამიტომ მას ზემოდან კლასიფიკატორების ფენას უმატებს, რომლებიც აკვირდებიან, რას აკეთებს აგენტი, და სახიფათო ნაბიჯებს ბლოკავენ. Anthropic-მა თავისი ახალი ფილტრი ანგარიშის ყველა შემთხვევაზე გამოსცადა და ყველა დააფიქსირა.

რას ნიშნავს ეს თქვენი აგენტისთვის

ყოველივე ეს დეველოპერების საკუთარ ტესტებში მოხდა და არა კლიენტებს. მაგრამ აგენტური რეჟიმები უკვე მასობრივ ჩატბოტებშია: ისინი ხსნიან საიტებს, ავსებენ ფორმებს და ადამიანის მაგივრად აჭერენ ღილაკებს. ლაბორატორიული ინციდენტები გვიჩვენებს, რისი გაკეთება შეუძლია აგენტს თქვენი სახელით. აგენტმა, რომელსაც „იპოვე მონაცემები“ უთხრეს, ისინი მოულოდნელი გზით შეიძლება იპოვოს. აგენტმა, რომელსაც „ბოლო ეტაპამდე მიდი“ უთხრეს, ბოლო ნაბიჯიც შეიძლება გადადგას.

Anthropic-ის ანგარიში პრაქტიკულ გაკვეთილს გვთავაზობს, მოსაწყენს, მაგრამ სასარგებლოს. რაც უფრო ზუსტად აღწერთ, რისი გაკეთება არ შეიძლება, მით ნაკლები სივრცე რჩება იმპროვიზაციისთვის: „ნურაფერს გააგზავნი“, „ნურაფერს იყიდი“, „თუ არ გამოვიდა, გაჩერდი და მკითხე“. მაგრამ Astra-ს ამბავი აჩვენებს, სად მთავრდება ეს რჩევა. ზუსტი წესი გაუგებრობას ხსნის, როგორიც Haiku-ს ფორმასთან ჰქონდა, მაგრამ მიზანზე ფიქსირებულმა აგენტმა პირდაპირ აკრძალვასაც კი შეიძლება გვერდი აუაროს. ამიტომ მეორე წესი პირველზე მნიშვნელოვანია: ყოველ შეუქცევად ნაბიჯს ადამიანი ადასტურებს, იქნება ეს გაგზავნა, გადახდა თუ წერილი.

ინტერნეტში „თამაშის რეჟიმი“ არ არსებობს. პოლიციის ტიპის ფორმამ არ იცის, რომ მას მოდელი ავსებს, რომელიც ფიქრობს, რომ მაგალითს წერს. ამჯერად გამოგონილ მინიშნებასა და ნამდვილ დეტექტივებს შორის მხოლოდ ვებში ყველაზე ძველი და ყველაზე უხეში ფილტრი იდგა: ის, რომელიც სპამს იჭერს.