Eine Zeile in einer KI-Zusammenfassung hat die Erinnerung an einen Unfall umgeschrieben

„Keine weiteren Personen oder Fahrzeuge waren direkt am Geschehen beteiligt.“ So fasste ein KI-Modell einen 25-Sekunden-Clip zusammen, in dem ein rotes Auto rechts abbiegt und einen Fußgänger anfährt. Der Fußgänger stürzt und steht wieder auf. Nichts davon landete in der Zusammenfassung.

Das war kein Ausrutscher. Forschende der Georgetown University und der University of Washington baten ChatGPT und Gemini, zwei fast identische Unfallvideos zwanzigmal zu beschreiben. In 19 der 20 Zusammenfassungen fehlte der Unfall selbst. Das Preprint erschien am 23. September 2026 online, im Oktober wurde die Arbeit auf der AIES vorgestellt, einer Konferenz zur Ethik der KI. Die Sorge ist ganz praktisch: Amerikanische Polizeibehörden lassen schon jetzt KI Berichte aus Bodycam-Aufnahmen entwerfen, und wer den Entwurf prüft, sagt womöglich später selbst als Zeuge aus.

Der Unfall, der „nicht passiert“ ist

Im Frühjahr 2026 zeigten die Autoren Mattea Sim, Yael Eiger und Tadayoshi Kohno jeden der beiden Clips je fünfmal ChatGPT-5.5 und Gemini 2.5 Flash-Lite, einem schlanken Modell. Sie verlangten eine neutrale Zusammenfassung von mindestens 300 Wörtern, ohne Spekulationen und ohne neue Fakten, und schrieben im Prompt ausdrücklich: „Achte darauf, dass alles Wichtige enthalten ist.“

Geholfen hat das nicht. Im Schnitt ließ eine Zusammenfassung 51,6 % der Schlüsselereignisse des Clips weg. In neun von zehn Texten stand nicht einmal, dass der Fußgänger auf dem Asphalt lag und dann aufstand. Dafür fügten die Modelle Dinge hinzu, die nie im Bild waren: zusätzliche Autos, zusätzliche Passanten, Vermutungen über die Absichten der Figuren. Kritische Ungenauigkeiten fanden sich in etwa zwei von drei Zusammenfassungen. „Mich hat überrascht, wie schlecht die Zusammenfassungen waren, selbst auf dem heutigen Stand der KI-Entwicklung“, sagt Eiger in der Pressemitteilung von Georgetown .

Ein Schild, einen Tag später vertauscht

Das rote Auto und das Schild sind fast fünfzig Jahre alt. 1978 zeigten Elizabeth Loftus und ihre Kollegen Versuchspersonen Dias von einem Auto vor einem Stoppschild und ließen sie dann eine Beschreibung der Szene lesen, in der ein anderes Schild genannt wurde. Viele erinnerten sich später an das Schild, das sie nie gesehen hatten. Das wurde zum Lehrbuchfall des Fehlinformationseffekts: Was man nach einem Ereignis erfährt, überschreibt die Erinnerung daran. Die beiden Clips, gebaut in GTA V, entstanden für eine aktuelle Replikation dieser Studie, und Loftus ist wieder unter den Autoren. Sie unterscheiden sich in einem einzigen Detail: An der Kreuzung steht entweder ein Stoppschild oder ein Vorfahrt-gewähren-Schild.

Sim und ihre Kollegen ersetzten die menschliche Quelle der Fehlinformation durch eine KI. 331 erwachsene Amerikanerinnen und Amerikaner sahen den Clip und lasen 24 Stunden später eine 21 Sätze lange Zusammenfassung, die ChatGPT geschrieben hatte. Bei der einen Hälfte passte das Schild im Text zum Video, bei der anderen war es vertauscht. Den Tausch nahmen die Forschenden selbst vor und übernahmen die Formulierung aus einer anderen ChatGPT-Antwort, damit der Fehler echt wirkte. Die Studie misst, was ein solcher Fehler anrichtet, nicht, wie oft Modelle ihn machen. Danach folgten 12 Fragen zur Szene.

Nach der korrekten Zusammenfassung nannten 83,6 % das Schild richtig. Wer gar keine Zusammenfassung liest, liegt laut derselben Replikation bei etwa 80 %, ein korrekter Text bewegt die Erinnerung also kaum. Nach der irreführenden waren es nur noch 44,8 %. Alles andere blieb haften. Bei den elf übrigen Fragen lagen die Leute im Schnitt bei 91,4 % richtiger Antworten. Die Zusammenfassung zerstörte genau das Detail, das sie falsch wiedergab.

Das Etikett „KI“ half nicht

Der Text war immer derselbe, aber den einen sagte man, er stamme von einem KI-Transkriptionsdienst, den anderen, ein professioneller menschlicher Transkribent habe ihn geschrieben. Man könnte erwarten, dass Menschen maschinell geschriebene Texte sorgfältiger lesen. Taten sie nicht. Von denen, die die irreführende Zusammenfassung mit dem Etikett „KI“ bekamen, nannten 46,3 % das Schild richtig; mit dem Etikett „Mensch“ waren es 43,4 %, ein Abstand im Bereich des Zufalls. Auch Vertrauen in KI half nicht. Ebenso wenig häufige Nutzung. Nur ein Unterschied zeigte sich, und der war fast komisch: Derselbe Text wirkte auf die Teilnehmenden klarer, wenn sie glaubten, ein Mensch habe ihn geschrieben.

Das ist unbequem für Regulierer und Entwickler. Fast jede Leitlinie für sichere KI stützt sich auf einen „Human in the Loop“: Die Maschine entwirft, der Mensch prüft und korrigiert. Dieses Prüfen hat die Studie nicht nachgestellt: Die Teilnehmenden sollten die Zusammenfassung nicht mit dem Clip vergleichen, sie lasen sie einfach und antworteten aus dem Gedächtnis. Das Fazit der Autoren ist vorsichtig: Statt den Fehler der KI zu korrigieren, könnte sich das menschliche Gedächtnis ihm anpassen, und das an echten Prüfern zu testen, steht noch aus.

Der Polizist, der zum Frosch wurde

Anfang 2026 wurde ein Fall aus Heber City in Utah bekannt. In einem Berichtsentwurf der Polizei stand, ein Beamter habe sich in einen Frosch verwandelt : Im Hintergrund lief „Küss den Frosch“, und die Software hielt den Film für einen Teil des Geschehens. Sgt. Rick Keel sagte, damals habe die Dienststelle gelernt, solche Berichte zu korrigieren. Das Werkzeug behielt sie. Laut Keel spart es ihm sechs bis acht Stunden pro Woche.

Die Software heißt Draft One und stammt von Axon, dem Taser-Hersteller; sie schreibt einen Entwurf aus dem Ton von Bodycams. Laut der Hilfeseite von Axon umfasst ein Standardentwurf 300 bis 500 Wörter, daher die 300 Wörter im Prompt der Forschenden. Dieselbe Seite sagt, der Beamte solle den Text sorgfältig prüfen und überarbeiten.

Den Frosch bemerkt jeder. Ein vertauschtes Schild, ein übersehener Schlag oder ein zusätzlicher Passant wirken dagegen plausibel, und Sims Studie nährt die Sorge, dass ein Beamter, der so einen Text liest, ihn später als eigene Erinnerung abruft. Noch ist das ein Laborergebnis. Im Oktober 2025 verabschiedete Kalifornien das Gesetz SB 524, das Polizeibehörden verpflichtet, mit KI geschriebene Berichte zu kennzeichnen und den ersten Entwurf aufzubewahren. Die Digitalrechtsorganisation EFF wies darauf hin , dass Draft One systembedingt kein Änderungsprotokoll führt, das zeigt, welche Teile von der Maschine stammen und welche vom Beamten.

„Mich beunruhigt, dass Polizeibehörden Video-Zusammenfassungstechnik womöglich ohne gründliche Tests einsetzen“, sagt Eiger.

Was die Studie noch nicht zeigt

Die Autoren nennen die Grenzen selbst. Es gab nur zwei Clips, beide einfach und aus einer Spielgrafik, einen Prompt und zwanzig Zusammenfassungen. Der Text für den zweiten Teil wurde aus mehreren Versuchen ausgewählt und leicht von Hand überarbeitet. Getestet wurde nur eine Art von Fehler, das Schild, und zwar in der Ruhe einer Online-Umfrage statt nach einem echten Einsatz. Echtes Bodycam-Material blieb außen vor, weil es drastisch sein kann. Genau dieses Material, mit echten Polizeiberichten, kommt als Nächstes.

Eine Zusammenfassung gibt es, damit niemand die ganze Aufnahme noch einmal ansehen muss, und genau deshalb gleicht sie fast niemand mit dem Original ab. Wenn der Beamte in sechs Monaten vor Gericht aussagt, woran wird er sich erinnern: an die Kreuzung oder an den Entwurf, den er einmal Korrektur gelesen hat?