Адзін радок у падсумаванні ШІ перапісаў людзям памяць пра аварыю

«Іншых герояў і транспартных сродкаў, якія наўпрост узаемадзейнічалі б са сцэнай, не было». Так ШІ-мадэль падсумавала 25-секундны ролік, дзе чырвоная машына паварочвае направа і збівае пешахода. Пешаход падае, а потым падымаецца. Нічога з гэтага ў падсумаванне не трапіла.

Гэта не выпадковасць. Даследчыкі з Джорджтаўнскага ўніверсітэта і Вашынгтонскага ўніверсітэта дваццаць разоў прасілі ChatGPT і Gemini апісаць два амаль аднолькавыя ролікі з аварыяй. У 19 з 20 падсумаванняў самой аварыі не было. Прэпрынт з’явіўся ў сеціве 23 верасня 2026 года, а ў кастрычніку працу прадставілі на AIES , канферэнцыі па этыцы ШІ. Занепакоенасць тут практычная: амерыканская паліцыя ўжо складае з дапамогай ШІ рапарты па запісах з нацельных камер, а чалавек, які правярае чарнавік, — гэта той самы чалавек, што пазней можа даваць паказанні ў судзе.

Аварыя, якой «не было»

Вясной 2026 года аўтары, Мацея Сім, Яэль Айгер і Тадаясі Кона, паказалі кожны з двух ролікў па пяць разоў ChatGPT-5.5 і Gemini 2.5 Flash-Lite — лёгкай мадэлі. Яны папрасілі нейтральнае падсумаванне не карацей за 300 слоў, без дапушчэнняў і новых фактаў, а ў запыце яшчэ і дадалі: «пераканайцеся, што ўключана ўсё важнае».

Не дапамагло. У сярэднім падсумаванне прапускала 51,6% ключавых падзей ролік. Дзевяць тэкстаў з дзесяці нават не згадвалі, што пешаход ляжаў на асфальце, а потым устаў. Затое мадэлі дадавалі тое, чаго на экране ніколі не было: лішнія машыны, лішніх мінакоў, здагадкі пра намеры герояў. Крытычныя недакладнасці знайшліся прыкладна ў двух падсумаваннях з трох. «Мяне ўразіла, наколькі кепскімі былі падсумаванні — нават на сённяшнім этапе развіцця ШІ», — кажа Айгер у прэс-рэлізе Джорджтаўна .

Знак, падменены праз суткі

Чырвонай машыне і знаку амаль пяцьдзясят гадоў. У 1978 годзе Элізабэт Лофтус з калегамі паказвала людзям слайды , дзе машына стаіць перад знакам, а потым давала прачытаць апісанне сцэны, у якім называўся іншы знак. Многія пасля ўспаміналі знак, якога ніколі не бачылі. Так з’явіўся хрэстаматыйны прыклад эфекту дэзінфармацыі: тое, што вы даведаліся пасля падзеі, перапісвае вашу памяць пра яе. Два ролікі, зробленыя ў GTA V, былі створаны для нядаўняга паўтору таго даследавання, і Лофтус зноў сярод яго аўтараў. Адрозніваюцца яны адной дэталлю: на скрыжаванні стаіць або знак «Стоп», або знак «Уступі дарогу».

Сім і яе калегі замянілі чалавечую крыніцу дэзінфармацыі на ШІ. 331 амерыканскі дарослы глядзеў ролік, а праз 24 гадзіны чытаў 21-сказавае падсумаванне, напісанае ChatGPT. Для паловы знак у тэксце супадаў з відэа, для другой паловы — быў падменены. Падмену даследчыкі зрабілі самі, узяўшы фармулёўку з іншага адказу ChatGPT, каб памылка выглядала праўдападобна. Даследаванне вымярала, што робіць такая памылка, а не як часта мадэлі яе дапускаюць. Потым ішлі 12 пытанняў пра сцэну.

Пасля дакладнага падсумавання знак правільна назвалі 83,6%. Гледачы, якія ніякага падсумавання не чыталі, адказваюць правільна прыкладна ў 80% выпадкаў — паводле таго ж паўтору, так што дакладны тэкст памяць амаль не зрушвае. Пасля ўводзячага ў зман тэксту правільна адказалі толькі 44,8%. Усё астатняе захавалася. На адзінаццаць іншых пытаннях людзі ў сярэднім адказалі правільна ў 91,4% выпадкаў. Падсумаванне сапсавала менавіта тую дэталь, у якой памылілася.

Пазнака «ШІ» не дапамагла

Тэкст заўсёды быў адзін і той жа, але адным сказалі, што яго зрабіў ШІ-сэрвіс транскрыпцыі, а іншым — што напісаў прафесійны транскрыбер-чалавек. Можна было б чакаць, што да тэксту ад машыны паставяцца ўважлівей. Не паставіліся. Сярод тых, хто атрымаў падмануты тэкст з пазнакай пра ШІ, знак правільна назвалі 46,3%; з пазнакай пра чалавека — 43,4%, розніца ў межах выпадковасці. Давер да ШІ не дапамог. Частае карыстанне — таксама. Знайшлася толькі адна розніца, амаль смешная: той самы тэкст здаваўся ўдзельнікам больш зразумелым, калі яны думалі, што яго напісаў чалавек.

Гэта нязручна і для рэгулятараў, і для распрацоўшчыкаў. Амаль кожная інструкцыя па бяспечным ШІ абапіраецца на прынцып «чалавек у контуры»: машына складае чарнавік, чалавек правярае і папраўляе. Гэта даследаванне праверку не мадэлявала: удзельнікаў не прасілі параўноўваць падсумаванне з ролікм, яны проста чыталі і адказвалі з памяці. Выснова аўтараў асцярожная: замест таго каб выправіць памылку ШІ, чалавечая памяць, магчыма, прыгінаецца пад яе, а правяраць гэта на сапраўдных рэцэнзентах яшчэ толькі трэба.

Афіцэр, які ператварыўся ў жабу

У пачатку 2026 года стала вядома пра выпадак у Хэбер-Сіці, штат Юта. У чарнавіку паліцэйскага рапарта было напісана, што афіцэр ператварыўся ў жабу : фонам ішла «Прынцэса і жаба», і праграма палічыла фільм часткай падзей. Сяржант Рык Кіл сказаў, што менавіта тады аддзел зразумеў, што такія рапарты трэба выпраўляць. Інструмент пакінулі. Па словах Кіла, ён эканоміць яму ад шасці да васьмі гадзін на тыдзень.

Праграма называецца Draft One, яе зрабіла Axon, кампанія — вытворца Taser, і яна піша чарнавік па гуку з нацельнай камеры. На даведачнай старонцы Axon стандартны чарнавік ацэнены ў 300—500 слоў — адсюль 300 слоў у запыце даследчыкаў. На той жа старонцы сказана, што афіцэр павінен уважліва прачытаць і выправіць тэкст.

Жабу заўважыць кожны. А падменены знак, прапушчаны ўдар ці лішні мінак выглядаюць праўдападобна, і даследаванне Сім выклікае страх, што афіцэр, які прачытаў такі тэкст, пазней можа ўспомніць яго як уласную памяць. Пакуль гэта лабараторны вынік. У кастрычніку 2025 года Каліфорнія прыняла закон SB 524: ён патрабуе пазначаць рапарты, напісаныя з дапамогай ШІ, і захоўваць першы чарнавік. Праваабарончая арганізацыя EFF звярнула ўвагу , што Draft One па задуме не вядзе журнал праўак, дзе было б відаць, якія часткі напісала машына, а якія — афіцэр.

«Мяне непакоіць, што паліцэйскія ўпраўленні могуць выкарыстоўваць тэхналогіі падсумавання відэа без строгай праверкі», — кажа Айгер.

Чаго даследаванне пакуль не паказвае

Межы аўтары пералічваюць самі. Было ўсяго два ролікі, абодва простыя і намаляваныя ў гульні, адзін запыт і дваццаць падсумаванняў. Тэкст для другой часткі выбралі з некалькіх спроб і крыху паправілі ўручную. Правяралі толькі адзін тып памылкі — знак, і ў спакоі анлайн-апытання, а не пасля сапраўднага выкліку. Рэальныя запісы з нацельных камер не бралі, бо яны могуць быць цяжкімі для прагляду. Менавіта яны, разам са сапраўднымі паліцэйскімі рапартамі, і будуць наступным крокам.

Падсумаванне існуе для таго, каб нікому не даводзілася перагледжваць увесь запіс, і менавіта таму яго амаль ніхто не звярае з арыгіналам. Калі афіцэр праз паўгода будзе даваць паказанні ў судзе, што ён успомніць: скрыжаванне ці чарнавік, які калісьці вычытваў?