Kampf gegen Deepfakes

07.10.2024

Auf der Plattform X kursiert ein Video, in dem die US-Präsidentschaftskandidatin Kamala Harris über Joe Bidens „Senilität“ lästert und sich selbst als „ultimativen Diversity-Hire“ bezeichnet – „Wenn du irgendetwas kritisiert, was ich sage, dann bist du sexistisch und rassistisch.” Und weiter: „Ich habe vielleicht keine Ahnung, wie man ein Land regiert, aber denken Sie daran, dass das eine gute Sache ist, wenn man eine Marionette des Deep State ist.“ Dazu sind Wahlkampfszenen von Harris zu sehen. Die Aufnahmen sind authentisch, die Botschaften jedoch nicht. Sie klingen nur nach Harris – ein Deepfake, erstellt mit Hilfe von KI-Software.

Der rechtskonservative Youtuber Mr. Reagan hatte das manipulierte Video auf X noch als „Parodie“ gekennzeichnet. X-Besitzer Elon Musk verbreitete es ohne Kennzeichnung weiter, obwohl die Richtlinien seines sozialen Netzwerkes die Verbreitung von manipulierten und synthetischen Medien verbieten.

Expert*innen warnen seit Jahren vor den Gefahren für die Demokratie, die von Deepfakes ausgehen, aber auch von Cheapfakes oder Shallowfakes. So bezeichnet man weniger professionelle Fälschungen, die ohne KI-Tools erstellt wurden (siehe journalist 06/19). Auch wenn Wissenschaftler*innen das Phänomen und die Folgen noch nicht ausreichend empirisch vermessen haben – die Risiken sind greifbarer geworden. Wie lassen sich KI-Manipulationen erkennen? Und wie reagieren Soziale Netzwerke auf die Desinformationsflut?

Deepfakes sollen politische Gegner*innen diskreditieren, Wähler*innen bei ihrer Entscheidung beeinflussen oder sie davon abhalten, ihre Stimme abzugeben. Anfang 2024, kurz vor den ersten Vorwahlen der US-Demokraten in New Hampshire, erhielten Tausende US-Wähler*innen Robocalls, automatisierte Anrufe: Wenn sie ans Telefon gingen, wurden sie aufgefordert, nicht sofort wählen zu gehen, sondern erst bei den US-Präsidentschaftswahlen im November – von einer Stimme, die wie die des damaligen Präsidenten Joe Biden klang, ein Audio-Deepfake.

Manchmal sind die Fakes leicht erkennbar, zum Beispiel, wenn die Personen in den Videos auf einmal sieben statt fünf Finger besitzen. Doch teils wirken die manipulierten Aufnahmen täuschend echt. „Die technische Herstellung von Deepfakes hat in den vergangenen Jahren beachtliche Fortschritte gemacht und dürfte sich in den kommenden Jahren rasant verbessern“, warnt auch eine Deepfake-Studie des Fraunhofer-Institut für System- und Innovationsforschung. „So ist schon heute eine breite Palette an Deepfake-Inhalten mittels KI-basierter Text-, Bild- oder Audiogeneratoren herstellbar – vorausgesetzt ausreichendes Datenmaterial, zum Beispiel Sprachsamples oder Gesichtsfotos und genügend Computerleistung sind vorhanden.“ Gerade von prominenten Personen wie Politiker*innen ist online aber genug Bild- und Audiomaterial verfügbar. Mit kostenlosen oder erschwinglichen Tools kann jede*r Deepfakes schnell erstellen, etwa mit KI-Bildgeneratoren wie Midjourney, Stable Diffusion, Video-Software wie Sora von OpenAI oder KI-Stimmgeneratoren.

„Die Gefahr, dass Deepfakes einen Wahlkampf mit falschen Informationen verändern könnten, hat viel Aufmerksamkeit erhalten, obwohl es dafür derzeit wenige Beweise gibt“, sagt Oliver Marsh, Head of Tech Research bei AlgorithmWatch. Im Moment sieht Marsh das Risiko vor allem darin, dass mittels Deepfakes hasserfüllte Inhalte über Einzelpersonen und Gruppen verbreitetet werden. Politiker*innen wie die US-Abgeordnete Alexandria Ocasio-Cortez von der Demokratischen Partei wurden etwa mit KI-Tools in Pornoaufnahmen montiert.„Es ist ein Schock, solche Aufnahmen von sich selbst zu sehen, von denen jemand denken könnte, dass sie echt sind“, beschrieb Ocasio-Cortez ihre Entdeckung des Deepfakes dem Rolling Stone. „Als Überlebende eines sexualisierten Übergriffes kommt eine zusätzliche Ebene der Dysregulation hinzu“, so die Politikerin. „Es bringt das Trauma wieder zum Vorschein, während ich mitten in einer verdammten Sitzung bin.“ Solche Deepfake-Attacken könnten dazu beitragen, dass Menschen sich aus der Politik zurückziehen, warnt Oliver Marsh.

Expert*innen hatten erwartet, dass Deepfakes insbesondere gegen Frauen eingesetzt werden. „Es ist eingetroffen“, sagt Dia Kayyali, Technology & Human Rights Advisor für verschiedene Tech- und Menschenrechtsorganisationen in den USA. Kayyali hält es für eine „unglaublich beunruhigende Entwicklung“, dass KI-Pornos an Schulen zirkulieren, um Mädchen zu belästigen und anzugreifen – und auch Politikerinnen oder kritische Journalistinnen zunehmend mit sexualisierten Fakes zum Schweigen gebracht oder diskreditiert werden sollen.

Als eine der ersten prominenten Deepfake-Attacken gilt der Angriff auf die indische Journalistin Rana Ayyub, einer prominenten Kritikerin von Indiens Premierminister Narendra Modi. Das Video verbreitete sich rasant viral, Ayyubs Accounts in Sozialen Netzwerken wurden mit Todes- und Vergewaltigungsdrohungen überschwemmt. Ihre Adresse wurde veröffentlicht, sie tauchte unter, veröffentlichte monatelang nichts.

Auch bei den Wahlen in Indien 2024, die Narendra Modi mit seiner hindu-nationalistischen Partei BJP gewann, haben Deepfakes laut Kayyali eine Rolle gespielt. Es habe Fälle gegeben, in denen Fakes Wähler*innen in die Irre geführt hätten. Doch Kayyali schränkt ein: „Zur Überraschung vieler Expert*innen führten die Deepfakes nicht zu so vielen Fehlinformationen wie erwartet, sondern wurden auf vielfältige Weise eingesetzt, zum Beispiel in Form von Chatbots und Bollywood-Songs mit Modis Stimme.“

Auch plumpere Fälschungen können in Wahlkämpfen Verwirrung stiften. Bei Ausschnitten aus einer Rede der früheren Vorsitzenden des Repräsentantenhauses, Nancy Pelosi, wurde etwa die Tonspur so verlangsamt, dass die Politikerin betrunken klang. In mehreren Videos wurde US-Präsident Joe Biden als pädophil inszeniert: In einem Video sieht es so aus, als greife er seiner Enkelin an die Brust. In Wirklichkeit steckte er ihr einen Wahlkampf-Button an.

Es ist schwierig, den Überblick über all die weltweit zirkulierenden Fakes zu behalten. Ein Forscher*innenteam der US-amerikanischen Purdue University hat in der digitalen Datenbank Political Deepfakes Incidents Database bereits rund 400 politische Deepfakes sowie Cheapfakes aus den USA gesammelt – künftig soll die Datenbank auch auf andere Länder und Sprachen ausgeweitet werden.

„Die Gefahr, dass Deepfakes einen Wahlkampf mit falschen Informationen verändern könnten, hat viel Aufmerksamkeit erhalten, obwohl es dafür derzeit wenige Beweise gibt.“ Oliver Marsh, Head of Tech Research bei AlgorithmWatch

Die politische Regulierung von Deepfakes hinkt immer noch hinterher. „Es gibt Regeln gegen Verbrechen, die mit Deepfakes begangen werden könnten, einschließlich Menschenrechtsvorschriften gegen Erniedrigungen“, sagt Oliver Marsh von AlgorithmWatch. Doch mit diesen Maßnahmen lasse sich nicht gegen die Unternehmen vorgehen, die die Technologie bereitstellen, mit der die Fakes generiert werden. Nun gibt es in Europa neue Regulierungen wie zum Beispiel die KI-Verordnung und das Digitale-Dienste-Gesetz. Sie würden Technologieunternehmen immerhin dazu verpflichten, Risikobewertungen durchzuführen. „Diese gelten für Algorithmen und KI im Allgemeinen, nicht nur für Deepfakes“, so Marsh. Doch noch sind die Gesetze nicht vollständig umgesetzt. „Wir müssen abwarten, ob sie wirksam genug sind.“

AfD-Wahlkampf mit Deepfakes

Währenddessen zirkulieren auch in Deutschland politische KI-Erzeugnisse, vor allem stammen sie aus dem Umfeld der in Teilen rechtsextremen AfD. Sie werden von offiziellen Social-Media-Accounts der Partei gepostet oder von einzelnen Politiker*innen und Anhänger*innen – werden aber nicht als KI-Erzeugnis gekennzeichnet. Deepfakes in sozialen Netzwerken machen Stimmung gegen geflüchtete Menschen, beschwören düstere Szenarien herauf oder illustrieren die Zukunftsvision der rechtsextremen Partei. Die Aufnahmen zeigen etwa blonde, weiße Familien oder aggressive junge Männer, die Angst vor Migrant*innen schüren sollen.

Die KI-Personen haben teils ein paar Finger zuviel, verzerrte Gesichtszüge oder es fehlen Teile von Gliedmaßen. Sie sind also schnell als Deepfakes zu erkennen, trotzdem kommt die Botschaft bei den Anhänger*innen offenbar gut an. Zu Beginn des muslimischen Fastenmonats Ramadan rief die AfD Esslingen auf ihrer Facebook-Seite zum deutschen „Genussmonat“ auf, dekoriert mit einem Bild einer weißen Grillfest-Gesellschaft mit Spanferkel. Die KI-generierten Gesichter der Gezeigten waren wie bei Zombies entstellt und lösten online viel Häme aus. Doch AfD-Anhänger reagierten vor allem auf den Inhalt der Botschaft, wie ihre Kommentare zeigten: „Das nenne ich Volksgemeinschaft und Tradition“ oder „Bin dabei, komme und bring noch ein Spanferkel und Kasten Bier mit“, schrieben sie auf der AfD-Facebookseite.

Der AfD-Kreisverband Göppingen warb auf Instagram sogar mit einer angeblichen Wählerin, einer blonden Frau, die einen Doktortitel haben soll. Sie erklärte, warum sie Mitglied der AfD geworden sei – und flog schnell als Deepfake-Testimonial auf. Der AfD-Co-Landesvorsitzende Markus Frohnmaier sagte dem SWR dazu, es sei „für jeden sichtbar, dass es sich dabei um eine KI-generierte Person handelt“. Solche KI-Experimente seien „kreativ“.

Der Datenanalyst Philip Kreißel arbeitet für die Plattform Volksverpetzer und entlarvt rechte Desinformationskampagnen in sozialen Netzwerken. Solche KI-Manipulationen seien „eher cringe“, sagt er. Er glaubt, dass solche Versuche „nach hinten los gehen, wenn sie auffallen“. Doch Fälschungen müssen laut Kreißel nicht glaubwürdig sein, um Erfolg zu haben. „Deepfakes werden oft weniger als ernstgemeinte Fakes und eher als Memes eingesetzt, so dass die Message mit Humor platziert wird“, sagt Kreißel.

Eine KI-Persiflage auf den Kamala is brat-Social-Media-Hype um US-Präsidentschaftskandidatin Kamala Harris verbreitet sich derzeit viral im Netz, obwohl niemand den Clip für authentisch hält: In dem Video sitzt eine Gen-Z-Vertreterin im Zug und starrt begeistert auf ihr Smartphone, während draußen die Stadt in Flammen steht. Solche KI-gestützte Propaganda funktioniert laut Kreißel sogar dann, wenn die Deepfakes von den Urheber*innen oder Sozialen Netzwerken als KI-generierte Fakes deutlich gekennzeichnet werden.

Konzerne wie Meta arbeiten mit externen Factchecker*innen zusammen, die auffällige Aufnahmen markieren. Instagram weist Nutzer*innen mit Warnhinweisen auf KI-Aufnahmen hin. So ist eine Bilderserie des Fotografen und Multimedia-Künstlers Julian van Dieken (@julian_ai_art) mit Hinweisen von externen Faktenchecker*innen versehen – Barack Obama und Angela Merkel tollen barfuß am Strand herum und bauen Sandburgen. Der Künstler ließ ChatGPT eine Kurzgeschichte zu dem Strandausflug schreiben, Midjourney setzte die Aktivitäten visuell um. „Laut Faktenprüfern könnte mindestens ein Foto oder Video in diesem Beitrag falsche Informationen enthalten“, heißt es unter dem Beitrag. Auch ein visueller Vorschalthinweis vor einigen Bildern der Serie warnt vor Falschinformationen.

Eine weitere seiner Serien wurde jedoch nicht als Fälschung identifiziert: Sie erweckt die Ex-US-Präsidenten John F. Kennedy, Thomas Jefferson, George Washington, Abraham Lincoln und Theodore Roosevelt zum Leben. Sie sitzen in der U-Bahn und halten ein Smartphone oder Tablet in der Hand.

Die Community-Moderator*innen der Plattformen sind mit den Deepfakes überfordert, auch, weil die Teams in den vergangenen Jahren massiv geschrumpft sind. „Wie alle anderen Technologieunternehmen haben auch die Social-Media-Plattformen in der Pandemie Tausende von Mitarbeitern entlassen“, sagt Dia Kayyali, „und sie haben die automatisierte Moderation in schwindelerregendem Ausmaß in ihre Prozesse integriert.“

Bei X scheint ein eher lockerer Umgang mit Deepfakes Teil der Strategie zu sein. Musk hat das Vertrauens- und Sicherheitsteam geschwächt, das mag mit seiner politischen Einstellung zusammenhängen. Kayyali kritisiert auch die „unzureichenden Investitionen in den Ländern der globalen Mehrheit“. Beim Kampf gegen Desinformation liegt der Fokus der Social-Media-Plattformen vor allem auf den westlichen Industrienationen und deren Sprachen.

Mittlerweile wird die Gefahr von Deepfakes auch bei hochrangigen Sicherheitskonferenzen diskutiert. Anlässlich der Münchner Sicherheitskonferenz verkündeten Google, IBM, Amazon, Microsoft, Meta, OpenAI, sogar X und einige weitere einen Pakt gegen Deepfakes. Eine Selbstverpflichtung, stärker gegen betrügerische KI-Wahlinhalte vorzugehen. Die Konzerne kündigten an, enger zusammenzuarbeiten, sie wollen Werkzeuge wie digitale Wasserzeichen und andere Verfahren entwickeln, mit denen manipulierte Bilder und Audiodateien von Persönlichkeiten des öffentlichen Lebens identifiziert und gekennzeichnet werden können.

„Offensichtlich investieren alle in KI, und hoffentlich werden sie etwas davon nutzen, um Fake-Erkennungsinstrumente für die Allgemeinheit zu schaffen oder zu verbessern“, sagt Kayyali.

„Deepfakes werden oft weniger als ernstgemeinte Fakes und eher als Memes eingesetzt, so dass die Message mit Humor platziert wird.“ Philip Kreißel, Redakteur bei Volksverpetzer

Einige Tools und Plattformen zur Erkennung von Deepfakes sind jetzt schon frei zugänglich. Nutzer*innen können verdächtige Aufnahmen schnell prüfen lassen. Meist geben die Tools eine Fake-Wahrscheinlichkeit in Prozent an, wie Maybe’s AI Art Detector. AI or not überprüft monatlich zehn Fotos kostenlos, mit kostenpflichtigen Premium-Accounts ist auch die Prüfung von Audio-Daten möglich. Die US-Tech-Firma Hive Moderation bietet KI-Erkennungssysteme für KI-basierte Text-, Audio-, Video- oder Bildaufnahmen an, ihre Browser-Anwendung Hive AI Detector ist kostenlos.

Doch die Tools können irren, wie die OSINT-Plattform Bellingcat bei einem Test herausfand: Mitunter stuften sie echte Aufnahmen als Fake ein. Je schlechter die Auflösung der Aufnahmen, desto unzuverlässiger die Tools. Material aus sozialen Netzwerken oder Messengern liegt jedoch nur in komprimierter Form vor. „AI or not stellt zwar einen bedeutenden Fortschritt im Bereich der KI-Bilderkennung dar, ist aber weit davon entfernt, der Höhepunkt zu sein“, so das Fazit von Bellingcat.

Digitale Wasserzeichen

Auch Wissenschaftlerinnen und Wissenschaftler an Universitäten experimentieren mit verschiedenen Verfahren. „Viele Verfahren, die Deepfakes automatisiert erkennen wollen, zielen eher auf die Inhalte ab, schauen etwa, wie viele Finger zuviel eine Person hat”, sagt Volker Skwarek, Leiter des Forschungs- und Transferzentrums CyberSec an der Hochschule für Angewandte Wissenschaften (HAW) in Hamburg. „Das machen wir gar nicht, wir sind rein algorithmisch in den Bilddaten unterwegs und versuchen Signaturen zu finden, die wir vorher erzeugt haben.“ Skwareks Team hat Algorithmen entwickelt, die die Authentifizierung von Videos oder Audiodateien ermöglichen, schon während sie entstehen. Die Dateien werden direkt bei der Aufnahme mit einer mathematisch erzeugten Signatur versehen, einer Art digitalem Wasserzeichen. Das führt zu einer sichtbaren Störung der Bilder, sollte jemand versuchen, die Dateien zu fälschen. Übliche Bearbeitungen wie Drehen, Beschneiden, Skalieren oder Kompressionen sollen sich hingegen nicht auf die hinterlegten Wasserzeichen auswirken. Ein funktionierender Prototyp liegt vor, jetzt arbeiten sie daran, ihre Anwendung nutzerfreundlicher zu gestalten.

„Offensichtlich investieren alle in KI, und hoffentlich werden sie etwas davon nutzen, um Fake-Erkennungsinstrumente für die Allgemeinheit zu schaffen oder zu verbessern.“ Dia Kayyali, Technology & Human Rights Advisor

Das Verfahren könnte theoretisch direkt in den Bildverarbeitungschip einer Kamera integriert werden. Das würde aber die Entwicklung spezieller Hardware erfordern und wäre Skwarek zufolge „teuer, aufwändig, aber möglich“. Skwarek hofft, dass die Entwickler*innen-Community Matrix das Tool in ihr Messenger-Protokoll integriert. Der neue Standard soll den Versand von Messenger-Nachrichten über verschiedene Dienste hinweg ermöglichen – und könnte die Aufnahmen fäschungssicherer gestalten. Das Verfahren könnte auch in Kamera-Apps integriert werden. Dafür müssten sich Nutzer*innen aber erst eine App downloaden.

Skwarek fordert, dass sich Medien stärker für die Bekämpfung von Deepfakes einsetzen: „Eine Initiative deutscher Medienhäuser und Journalist*innenverbände gegen Deepfakes wäre wichtig, und die Bereitschaft, solch eine Software flächendeckend einzusetzen“, sagt Skwarek. Reporter*innen könnten mit solch einer Software ihre Aufnahmen fälschungssicherer machen, zum Beispiel wenn sie Kriegshandlungen oder Menschenrechtsverbrechen filmen.

Sonja Peteranderl berichtet für Medien wie SWR Vollbild, Spiegel oder Zeit Online über Kriminalität, Gewalt und Technologie. Als Researcher und Journalist in Residence an der Humboldt-Universität Berlin forscht sie zu Ecocrimes und Technologie in Mexiko.