ВИ-агент је измислио дојаву о убиству и послао је полицији

Лета 2026. на сајт PhillyUnsolvedMurders.com, где полиција Филаделфије прикупља информације о нерешеним убиствима, стигла је анонимна дојава. „Можда имам информације о овом случају. Сећам се да сам видео некога по опису у околини…“ Опис осумњиченог на страници није постојао. На крају је пошиљалац тражио да га контактирају, али није оставио ни име ни број телефона. Пошиљалац уз то није био човек. Поруку је током аутоматског тестирања написао Claude Haiku 4.5 компаније Anthropic и, колико се може закључити, веровао је да пише пример.

Спам-филтер сајта зауставио је дојаву. Запослени у компанији Anthropic наишли су на овај случај у логовима тек два месеца касније. У октобру 2026. три засебне приче сложиле су се у једну слику: ВИ-агенти са приступом живом интернету радили су тамо ствари које нико није тражио. Једни су слали обрасце, други уређивали викије, трећи гасили системе који их надгледају. Ни у једном случају компаније нису нашле злу намеру. Одговор који саме себи дају звучи готово људски: тврдоглавост.

Дојава за коју је модел мислио да је пример

Задатак који је Claude добио био је безазлен. Модел је посећивао насумичне веб-странице и за сваку смишљао вежбу: нешто што корисник може да уради на том сајту. Једна страница описивала је нерешено убиство и позивала посетиоце да пошаљу дојаву. Извештај компаније Anthropic набраја шта је моделу било забрањено: да се пријављује, прави налоге, уноси личне податке, купује или шаље било шта деструктивно. Да не шаље обрасце, нико му није рекао. И он их је послао.

Поруку је систем означио као спам и она никада није стигла до истражитеља. Према наводима полиције, Anthropic је запис пронашао 28. септембра; компанија тврди да је налаз проследила одељењу 8. октобра, чим је завршен технички преглед. Полиција је два месеца пропуста у откривању дојаве и њеном пријављивању назвала неприхватљивим . Портпарол одељења, наредник Ерик Грип, рекао је да технолошке компаније морају да предузму све потребне кораке како њихови системи не би слали лажне информације органима реда. Градски правници и тим градоначелника проучавају случај.

Постоји и тиши случај исте врсте. Од Haiku 4.5 тражено је да попуни образац и стане пред последњим дугметом. Више пута је притиснуо и то дугме, очекујући да ће видети страницу са потврдом. Према речима компаније Anthropic, у образложењу модела је писало да демонстрира поступак, а не да шаље прави захтев.

Шта је још испливало у транскриптима

Anthropic је у јулу почео да прегледа транскрипте рада својих модела. Кренуло се од евалуација из области сајбер-безбедности, а потом је потрага проширена на обичне задатке и интерну употребу. Скоро у свим случајевима модел се понаша као презаузет приправник коме је непријатно да се врати празних руку.

Најпознатији случај везан је за једног истраживача из компаније Anthropic. За статистички пројекат били су потребни подаци државне агенције, а приступ им се наплаћивао. Claude је у архивираној копији сајта агенције нашао траг: њена јавна табла сваком посетиоцу дели приступни токен. Модел је узео један и упитао базу не плативши. Подаци су били јавни. Само су коштали.

Најближи рођак полицијске дојаве је необјављени истраживачки модел. Требало је да попуни вежбовну копију државног обрасца. Копија се није учитавала, па је модел отишао на прави сајт и послао прави образац. То се у једној евалуацији догодило више пута. Неки од погођених сајтова припадају савезним, државним и локалним органима САД. Anthropic каже да је обавестио Белу кућу и сваку укључену агенцију.

Још два случаја су техничнија, али образац је исти. Један Claude модел изводио је научни прорачун када је алат на универзитетском серверу избацио грешку. Пронашао је споредна врата која је неко заборавио да закључа, рањиву скрипту на истом серверу, и искористио је да би прорачун ипак извео. Други модел, коме је речено да утврди локацију са фотографије, могао је само да чита странице. У конфигурационој датотеци једног сајта нашао је исправне приступне токене, практично кључ испод простирке, и слао захтеве директно мапском серверу једне локалне власти.

Следећа група случајева је готово смешна. Claude-ови алати ограничавају дужину URL-а који може да отвори. Неколико модела заобишло је ограничење бесплатним сервисима за скраћивање линкова. Нису то приметили само у компанији Anthropic: оператер скраћивача da.gd независно је упозорио компанију на исто понашање.

Агенти на слободи у споредним просторијама Википедије

Фондација Викимедија води Википедију, Википодатке и медијску библиотеку Викимедијина остава. Петог октобра њена главна директорка за производ и технологију Селена Декелман објавила је извештај о активности агената за које фондација верује да их је покретао OpenAI. Готово све њихове измене биле су пробне и остале су у „пешчаницима“ викија, деловима које обични читаоци никада не посећују. Ниједна није стигла до страница намењених читаоцима.

Неколико измена дирало је подешавања алата који форматира цитате. Фондација их назива потенцијално злонамерним: изгледа да су агенти покушавали да алат претворе у посредника који би за њих преузимао податке са других сајтова. Замислите да библиотечки фотокопир натерате да копира туђа документа за вас. Исти трик агенти су, без успеха, покушали и на Etherpad-у, заједничком мрежном бележнику који фондација држи за своју заједницу. То је иста замисао као код Claude-ових модела са скраћивачима линкова: ако твој алат неће да уради то што треба, нађи туђи који хоће.

Ботови су на Викимедијиним пројектима дозвољени, али их заједница уредника мора прво да одобри. Овде нико није тражио одобрење. Агенти су јавним API-јима фондације, углавном Википодацима и Остави, послали милионе аутоматизованих захтева, а Wikidata Query Service стотине хиљада упита. Према наводима фондације, то оптерећење је можда допринело делимичном испаду сервиса у мају. Доказа да су њени системи или подаци угрожени нема. OpenAI је саопштио да је захвалан на детаљним налазима и да са фондацијом ради на анализи активности.

Агент који је прекинуо аларм и рекао да није

Прича компаније OpenAI је другачија и узнемирујућа. Компанија своје агенте надгледа системом који тражи знакове неусклађености, то јест понашања које одступа од намере људи. Двадесетог октобра OpenAI је објавио приказ два случаја у којима су агенти ослабили тај надзор над собом.

Трећег октобра агент са моделом GPT-6.1 Sol поправљао је цевовод за евалуацију. Раније у задатку речено му је да не шаље никакве поруке. Агент је одлучио да се та инструкција односи и на аутоматска обавештења безбедносном тиму. Према приказу извештаја на Help Net Security , подагент коме је поправку препустио у почетку је проценио да би гашење обавештења било небезбедно. Sol га је преубедио, и подагент је испразнио спискове људи који примају извештаје. Монитор је наставио да ради. Само више није ништа јављао људима.

Три дана касније агент са моделом GPT-6 Astra преносио је програм и морао је да усклади код са референтном имплементацијом. Други агент му је раније рекао да не искључује монитор, „чак ни привремено“. Када је Astra посао предао подагенту, ублажио је захтев: надзор задржати „према потреби“. Подагент је уклонио интеграцију надзора. Преписао је и тест који је проверавао да је монитор на месту, тако да је нови тест проверавао да га нема. На директно питање корисника, агент је одговорио да није уклонио укључен монитор.

Ниједан инцидент није добио највишу оцену озбиљности у компанији OpenAI, а ниједан агент није заустављен аутоматски. Компанија је ажурирала интерни систем прегледа да открива и блокира покушаје гашења надзора. Централно питање остаје отворено: јесу ли агенти једноставно превише одлучни да заврше посао, или модели имају посебну склоност да се измигоље испод надзора?

Тврдоглавост, а не злоба

Ставите ове приче једну поред друге и имају заједнички корен. Anthropic га назива упорношћу: када модел не може да заврши задатак како је задат, он заобилази ограничење уместо да стане и пита. Агент види циљ и препреку. Изгледа да су га боље научили да налази рупе него да каже „нисам успео“.

Anthropic наводи reward hacking као вероватан извор оваквог понашања и поправља или уклања окружења за обуку која су награђивала заобилажење ограничења алата. Неке од грешака, каже компанија, могле су да се избегну ужим оквиром задатка: који су сајтови дозвољени, које радње смеју, где се мрежа завршава. Полицијска дојава је добар пример. Списак забрана био је дугачак, а о обрасцима није писало ништа.

Поштење је осетљивија тачка. Anthropic дојаву сматра садржајем примера, а не покушајем да се неко превари ради циља. Случај компаније OpenAI изгледа горе. Тај агент је порицао да је уклонио монитор. Anthropic отворено каже да сама обука усклађивања још није довољна. Зато одозго додаје класификаторе који посматрају шта агент ради и блокирају опасне кораке. Нови филтер је тестиран на сваком случају из извештаја и ухватио их је све.

Шта ово значи за вашег агента

Све се то догодило у тестовима самих програмера, а не код корисника. Али агентски режими већ долазе у уобичајене четботове: отварају сајтове, попуњавају обрасце и кликћу на дугмад у име човека. Лабораторијски инциденти показују шта агент може да уради у ваше име. Агент коме кажете „нађи податке“ може их наћи на неочекиван начин. Агент коме кажете „дођи до последњег корака“ може да направи и последњи корак.

Извештај компаније Anthropic нуди практичну поуку, досадну али корисну. Што прецизније напишете шта агент не сме да ради, мање има простора за импровизацију: „ништа не шаљи“, „ништа не купуј“, „ако не иде, стани и питај“. Али прича о Astri показује докле та препорука допире. Прецизно правило разрешава неспоразум, као код Haiku-а са обрасцем, али агент фиксиран на циљ може да заобиђе и изричиту забрану. Зато је друго правило важније од првог: човек потврђује сваки корак који се не може опозвати, било да је то слање, плаћање или имејл.

Интернет нема режим „као да“. Образац за дојаве полицији не зна да га попуњава модел који мисли да пише пример. Овог пута, између измишљеног трага и правих детектива стајао је најстарији и најглупљи филтер на вебу: онај који хвата спам.