// Innehåll
”Inga andra personer eller fordon interagerade direkt med scenen.” Så sammanfattade en AI-modell ett 25 sekunder långt klipp där en röd bil svänger höger och kör på en fotgängare. Fotgängaren faller, reser sig sedan upp igen. Inget av detta kom med i sammanfattningen.
Det var ingen engångsföreteelse. Forskare vid Georgetown University och University of Washington bad ChatGPT och Gemini beskriva två nästan identiska olycksvideor tjugo gånger. I 19 av de 20 sammanfattningarna saknades själva olyckan. Preprinten lades ut den 23 september 2026, och i oktober presenterades arbetet vid AIES , en konferens om AI-etik. Oron är högst praktisk: amerikansk polis använder redan AI för att skriva utkast till rapporter utifrån kroppskameror, och den som granskar utkastet kan senare vittna i samma ärende.
Olyckan som ”aldrig hände”
Våren 2026 lät författarna Mattea Sim, Yael Eiger och Tadayoshi Kohno ChatGPT-5.5 och Gemini 2.5 Flash-Lite, en lättviktsmodell, se vart och ett av de två klippen fem gånger. De bad om en neutral sammanfattning på minst 300 ord, utan spekulationer och utan nya fakta, och skrev uttryckligen i prompten: ”se till att allt viktigt kommer med.”
Det hjälpte inte. I genomsnitt missade en sammanfattning 51,6 % av klippets nyckelhändelser. Nio texter av tio nämnde inte ens att fotgängaren låg på asfalten och sedan reste sig. Samtidigt la modellerna till sådant som aldrig syntes i bild: extra bilar, extra förbipasserande, gissningar om vad personerna ville. Kritiska felaktigheter fanns i ungefär två sammanfattningar av tre. ”Jag förvånades över hur dåliga sammanfattningarna var, även så här långt in i AI:s utveckling”, säger Eiger i Georgetowns pressmeddelande .
En skylt som byttes ut ett dygn senare
Den röda bilen och skylten är nästan femtio år gamla. 1978 visade Elizabeth Loftus och hennes kollegor bilder på en bil vid en stoppskylt och lät deltagarna sedan läsa en beskrivning av scenen som nämnde en annan skylt. Många mindes efteråt skylten de aldrig sett. Det blev läroboksexemplet på felinformationseffekten: det du får veta efter en händelse skriver om ditt minne av den. De två klippen, byggda i GTA V, gjordes för en färsk replikation av den studien, och Loftus är återigen en av författarna. De skiljer sig i en enda detalj: korsningen har antingen en stoppskylt eller en väjningsskylt.
Sim och hennes kollegor ersatte den mänskliga källan till felinformation med en AI. 331 amerikanska vuxna såg klippet och läste 24 timmar senare en sammanfattning på 21 meningar skriven av ChatGPT. För hälften stämde skylten i texten med videon, för den andra hälften hade den bytts ut. Utbytet gjorde forskarna själva och lånade formuleringen från ett annat ChatGPT-svar så att felet skulle se äkta ut. Studien mätte vad ett sådant fel gör, inte hur ofta modeller begår det. Därefter kom 12 frågor om scenen.
Efter en korrekt sammanfattning angav 83,6 % rätt skylt. Den som inte läst någon sammanfattning alls svarar rätt i ungefär 80 % av fallen, enligt samma replikation, så en korrekt text flyttar knappt minnet. Efter den vilseledande angav bara 44,8 % rätt skylt. Allt annat satt kvar. På de elva övriga frågorna hade deltagarna i snitt 91,4 % rätt. Sammanfattningen förstörde precis den detalj som den hade fel på.
”AI”-märkningen hjälpte inte
Texten var alltid densamma, men vissa fick veta att den kom från en AI-transkriberingstjänst och andra att en professionell mänsklig transkriberare skrivit den. Man kunde tro att människor läser maskinskriven text mer noggrant. Det gjorde de inte. Bland dem som fick den vilseledande sammanfattningen märkt som AI angav 46,3 % rätt skylt, märkt som människa 43,4 %, en skillnad som ryms inom slumpen. Förtroende för AI hjälpte inte. Det gjorde inte frekvent användning heller. Bara en skillnad syntes, och den var nästan komisk. Exakt samma text upplevdes som tydligare när deltagarna trodde att en människa skrivit den.
Den som läser maskinens återberättelse börjar minnas maskinens version.
Det är obekvämt för tillsynsmyndigheter och utvecklare. Nästan varje riktlinje för säker AI lutar sig mot ”människa i loopen”: maskinen skriver utkast, människan kontrollerar och rättar. Den här studien modellerade inte kontroll: deltagarna ombads inte jämföra sammanfattningen med klippet, de läste den bara och svarade ur minnet. Författarnas slutsats är försiktig: i stället för att rätta AI:ns misstag kan det mänskliga minnet böja sig för att passa det, och att testa det på riktiga granskare återstår.
Polisen som blev en groda
Tidigt 2026 dök ett fall upp i Heber City i Utah. Ett utkast till en polisrapport hävdade att en polis hade förvandlats till en groda : i bakgrunden gick Prinsessan och grodan, och programvaran tog filmen för en del av händelseförloppet. Sgt. Rick Keel sade att det var då avdelningen lärde sig att rätta de här rapporterna. Man behöll verktyget. Keel säger att det sparar honom sex till åtta timmar i veckan.
Programvaran heter Draft One och tillverkas av Axon, företaget bakom Taser, och den skriver ett utkast utifrån kroppskamerans ljud. Axons hjälpsida anger standardutkastet till 300–500 ord, därav de 300 orden i forskarnas prompt. Samma sida säger att polisen noggrant ska granska och revidera texten.
Grodan fångar vem som helst upp. En utbytt skylt, ett missat slag eller en extra åskådare ser trovärdigt ut, och Sims studie väcker oron att en polis som läser en sådan text senare kan minnas den som sitt eget minne. Det är fortfarande ett labbresultat. I oktober 2025 antog Kalifornien SB 524, som kräver att polisen märker rapporter skrivna med AI och sparar det första utkastet. Organisationen för digitala rättigheter EFF påpekade att Draft One av design inte för någon ändringslogg som visar vilka delar maskinen skrev och vilka polisen skrev.
”Det oroar mig att polismyndigheter kan använda videosammanfattningsteknik utan noggrann testning”, säger Eiger.
Vad studien ännu inte visar
Forskarna räknar själva upp begränsningarna. Det fanns bara två klipp, båda enkla och spelrenderade, en prompt och tjugo sammanfattningar. Texten till den andra delen valdes ut bland flera försök och handredigerades lätt. Bara en sorts fel testades, skylten, och i lugnet av en webbenkät snarare än efter ett riktigt samtal. Riktigt kroppskamerafilmmaterial lämnades utanför eftersom det kan vara obehagligt. Det materialet, med verkliga polisrapporter, kommer härnäst.
En sammanfattning finns för att ingen ska behöva se om hela inspelningen, och därför är det just den som nästan ingen jämför med originalet. Om polisen vittnar i rätten om sex månader, vad kommer han då att minnas: korsningen eller utkastet han en gång korrekturläste?
