// Indice
«Nessun altro personaggio o veicolo ha interagito direttamente con la scena.» Così un modello di IA ha riassunto un video di 25 secondi in cui un’auto rossa svolta a destra e investe un pedone. Il pedone cade, poi si rialza. Niente di tutto questo è finito nel riassunto.
Non è stato un caso isolato. I ricercatori della Georgetown University e della University of Washington hanno chiesto a ChatGPT e Gemini di descrivere venti volte due video di incidenti quasi identici. In 19 riassunti su 20 mancava l’incidente stesso. Il preprint è comparso online il 23 settembre 2026 e a ottobre il lavoro è stato presentato all’AIES , una conferenza sull’etica dell’IA. La preoccupazione è concreta: la polizia americana usa già l’IA per redigere i verbali a partire dalle registrazioni delle bodycam, e chi controlla quella bozza è la stessa persona che un giorno potrebbe testimoniare.
L’incidente che «non è mai successo»
Nella primavera del 2026 gli autori, Mattea Sim, Yael Eiger e Tadayoshi Kohno, hanno mostrato ciascuno dei due video cinque volte a ChatGPT-5.5 e a Gemini 2.5 Flash-Lite, un modello leggero. Hanno chiesto un riassunto neutro di almeno 300 parole, senza ipotesi e senza fatti nuovi, e nel prompt hanno scritto a chiare lettere: «assicurati che tutto ciò che è importante sia incluso».
Non è bastato. In media un riassunto lasciava fuori il 51,6% degli eventi chiave del video. Nove testi su dieci non menzionavano nemmeno che il pedone fosse rimasto sull’asfalto e poi si fosse rialzato. In compenso i modelli aggiungevano cose che sullo schermo non c’erano mai state: altre auto, altri passanti, congetture sulle intenzioni dei personaggi. Imprecisioni gravi comparivano in circa due riassunti su tre. «Sono rimasta colpita da quanto fossero scadenti i riassunti, anche a questo punto dello sviluppo dell’IA», dice Eiger nel comunicato stampa di Georgetown .
Un segnale scambiato un giorno dopo
L’auto rossa e il segnale hanno quasi cinquant’anni. Nel 1978 Elizabeth Loftus e colleghi mostrarono ad alcune persone delle diapositive con un’auto ferma a uno stop, poi fecero leggere una descrizione della scena in cui compariva un segnale diverso. Molti, in seguito, ricordarono il segnale che non avevano mai visto. Divenne il caso da manuale dell’effetto della disinformazione: ciò che si apprende dopo un evento riscrive il ricordo dell’evento. I due video, realizzati in GTA V, sono stati creati per una recente replica di quello studio, e tra gli autori c’è di nuovo Loftus. Differiscono per un solo dettaglio: all’incrocio c’è un segnale di stop oppure uno di dare la precedenza.
Sim e i colleghi hanno sostituito la fonte umana di disinformazione con un’IA. 331 adulti americani hanno guardato il video e, 24 ore dopo, hanno letto un riassunto di 21 frasi scritto da ChatGPT. Per metà di loro il segnale nel testo corrispondeva al video; per l’altra metà era stato scambiato. Lo scambio l’hanno fatto i ricercatori stessi, prendendo la formulazione da un’altra risposta di ChatGPT perché l’errore sembrasse autentico. Lo studio misurava che cosa fa un errore del genere, non quanto spesso i modelli lo commettano. Poi sono arrivate 12 domande sulla scena.
Dopo un riassunto accurato, l’83,6% ha indicato correttamente il segnale. Chi non legge alcun riassunto lo indovina circa l’80% delle volte, secondo la stessa replica, quindi un testo accurato sposta di poco la memoria. Dopo quello fuorviante, solo il 44,8%. Tutto il resto è rimasto intatto. Sulle altre undici domande la media di risposte corrette è stata del 91,4%. Il riassunto ha rovinato esattamente il dettaglio che aveva sbagliato.
L’etichetta «IA» non ha aiutato
Il testo era sempre lo stesso, ma ad alcuni era stato detto che proveniva da un servizio di trascrizione basato sull’IA e ad altri che l’aveva scritto un trascrittore umano professionista. Ci si potrebbe aspettare che le persone trattino con più cautela un testo scritto da una macchina. Non è andata così. Tra chi ha ricevuto il riassunto fuorviante con l’etichetta IA, il 46,3% ha indicato correttamente il segnale; con l’etichetta umana, il 43,4%, una differenza entro il margine del caso. Né la fiducia nell’IA né l’uso frequente hanno fatto la differenza. È emersa una sola variazione, quasi buffa: lo stesso identico testo sembrava ai partecipanti più chiaro quando pensavano che l’avesse scritto una persona.
Chi legge il racconto di una macchina comincia a ricordare la versione della macchina.
È una grana per i regolatori e per gli sviluppatori. Quasi ogni linea guida per un’IA sicura si appoggia a un «umano nel circuito»: la macchina redige, la persona controlla e corregge. Questo studio non ha simulato il controllo: ai partecipanti non è stato chiesto di confrontare il riassunto con il video, lo hanno semplicemente letto e hanno risposto a memoria. La conclusione degli autori è prudente: invece di correggere l’errore dell’IA, la memoria umana potrebbe piegarsi per adattarvisi, e verificarlo su veri revisori resta da fare.
L’agente che si trasformò in rana
All’inizio del 2026 è emerso un caso a Heber City, nello Utah. La bozza di un verbale di polizia affermava che un agente si era trasformato in una rana : in sottofondo andava La principessa e il ranocchio, e il software aveva scambiato il film per parte dei fatti. Il sergente Rick Keel ha detto che fu allora che il dipartimento imparò a correggere questi verbali. Lo strumento è rimasto in uso. Keel dice che gli fa risparmiare da sei a otto ore a settimana.
Il software è Draft One, prodotto da Axon, l’azienda dei Taser, e scrive una bozza a partire dall’audio delle bodycam. La pagina di assistenza di Axon indica per la bozza standard da 300 a 500 parole, da cui le 300 parole nel prompt dei ricercatori. La stessa pagina dice che l’agente deve rivedere e correggere il testo con attenzione.
La rana la noterebbe chiunque. Un segnale scambiato, un colpo mancato o un passante in più sembrano plausibili, e lo studio di Sim fa temere che un agente che legge un testo simile possa poi ricordarlo come un proprio ricordo. Resta però un risultato di laboratorio. Nell’ottobre 2025 la California ha approvato la SB 524, che obbliga la polizia a etichettare i verbali scritti con l’IA e a conservare la prima bozza. Il gruppo per i diritti digitali EFF ha fatto notare che Draft One, per come è progettato, non conserva alcun registro delle modifiche che mostri quali parti ha scritto la macchina e quali l’agente.
«Mi preoccupa che i dipartimenti di polizia possano usare tecnologie di riassunto video senza test rigorosi», dice Eiger.
Che cosa lo studio non dimostra ancora
Gli autori elencano da soli i limiti. C’erano solo due video, entrambi semplici e generati da un gioco, un solo prompt e venti riassunti. Il testo per la seconda parte è stato scelto tra diversi tentativi e leggermente ritoccato a mano. È stato messo alla prova un solo tipo di errore, il segnale, e nella quiete di un sondaggio online, non dopo una chiamata vera. Le riprese reali delle bodycam sono state escluse perché possono essere cruente. Quel materiale, insieme ai veri verbali di polizia, verrà dopo.
Un riassunto esiste perché nessuno debba rivedere l’intera registrazione, ed è proprio per questo che quasi nessuno lo confronta con l’originale. Se tra sei mesi l’agente testimonierà in tribunale, che cosa ricorderà: l’incrocio, o la bozza che una volta aveva riletto?
