Recherche in der Blackbox

23.06.2023

Alleinerziehende Mütter galten als besonders hohes Risiko: In der niederländischen Hafenstadt Rotterdam durchforstete ein Algorithmus jahrelang die Daten von Sozialhilfeempfänger*innen – um herauszufinden, wer von ihnen mit hoher Wahrscheinlichkeit Sozialhilfebetrug begehen wird. Kinder haben, eine Frau sein, nicht fließend die Landessprache sprechen oder Schwierigkeiten haben, eine Arbeit zu finden, waren einer Recherche von Lighthouse Reports und dem Digitalmagazin Wired zufolge Faktoren, die bei der automatisierten Risikobewertung besonders negativ gewichtet wurden. In diesem Fall war es den Reporter*innen gelungen, von der Stadt das Machine­-Learning-Modell, Trainingsdaten und Benutzerhandbücher zu erhalten und auszuwerten – ein Blick in den Maschinenraum.

Regierungen und Behörden weltweit setzen zunehmend Algorithmen ein, meist völlig intransparent. Sie beeinflussen, wer Sozialhilfekürzungen hinnehmen muss, Besuch von Steuerfahnder*innen bekommt oder ins Visier der Polizei gerät, wie hoch Haftstrafen ausfallen, wer einen Kredit oder ein Haus erhält – oder eben nicht. Algorithmen kalkulieren Leistungsprognosen von Schüler*innen, prognostizieren Gesundheitsrisiken oder steuern, welche Inhalte in sozialen Netzwerken bevorzugt angezeigt werden.

In einer zunehmend digitalen geprägten Gesellschaft sollte es auch zur zentralen Aufgabe von Journalismus zählen, zu ihrer Funktionsweise zu recherchieren, diskriminierende Effekte offenzulegen, die Aktivitäten von Akteuren wie Regierungen, Behörden oder Softwareherstellern zu beleuchten. „Was uns als Öffentlichkeit fehlt, ist Klarheit darüber, wie Algorithmen ihre Macht über uns ausüben”, warnte der Journalismusforscher Nicholas Diakopoulos 2014. „Während wir Gesetze lesen können, sind algorithmische Codes undurchsichtiger, versteckt hinter Schichten der technischen Komplexität.” Das junge journalistische Genre, das Machtstrukturen und Verzerrungseffekte rund um Automatisierung offenlegt, nannte Diakopoulos damals Algorithmic Accountability Reporting (siehe auch journalist 6/2018).

Weltweit werden seitdem immer wieder Recherchen rund um die Automatisierung der Gesellschaft und ihre Nebenwirkungen veröffentlicht. Mit The Markup ist in den USA sogar ein eigenes journalistisches Medium entstanden, das sich ausschließlich auf investigative Tech-Recherchen konzentriert: „Big Tech Is Watching You. We’re Watching Big Tech”, beschreibt der gemeinnützige Newsroom seine Mission. Algorithmen, Künstliche Intelligenz und Algorithmic Accountability Reporting sind mittlerweile als Trend-Themen auf vielen Journalismuskonferenzen präsent. Erste Medien schaffen Positionen, die sich allein auf den KI-Beat spezialisieren: Für die Financial Times berichtet etwa die KI-Redakteurin Madhumita Murgia; die Nachrichtenagentur Bloomberg hat vor kurzem die Stelle „AI Ethics and Policy Reporter” ausgeschrieben. Doch: Nur bei wenigen deutschen Medien ist Investigativ-Berichterstattung zur Macht von Algorithmen im Alltag angekommen.

„Wir haben es heute zunehmend mit lernenden Algorithmen und Systemen zu tun, die Blackbox-Eigenschaften haben und die es noch mal schwerer machen, gute Recherchen aufzusetzen.” Christina Elmer, Professorin TU Dortmund

„Es ist kompliziert”, sagt Christina Elmer, Professorin für digitalen Journalismus und Datenjournalismus an der Technischen Universität Dortmund. „Obwohl es einige Projekte gibt, hat sich das Feld in den vergangenen Jahren nicht stark weiterentwickelt – gleichzeitig haben wir es heute zunehmend mit lernenden Algorithmen und Systemen zu tun, die Blackbox-Eigenschaften haben und die es noch mal schwerer machen, gute Recherchen aufzusetzen.”

Einen ursprünglichen Ansatz von Algorithmic Accountability Reporting, Algorithmen per Reverse Engineering als Außenstehende zu rekonstruieren, hätten Journalist*innen sich „schnell abschminken müssen”. Gerade bei Empfehlungsalgorithmen, die Inhalte auf Plattformen wie Tiktok hyperpersonalisiert ausspielen, sei es eine Herausforderung, diskriminierende Effekte messbar zu machen und nachzuweisen. Journalist*innen müssen Elmer zufolge viel Energie aufwenden, ein quasi-wissenschaftliches Design entwickeln, um wirklich fundierte Ergebnisse zu bekommen. Algorithmic-Accountability-Recherchen sind häufig sehr aufwendig, komplex und zeitraubend – bei vielen Medien fehlen dafür die Ressourcen. „Die Teams, die in Deutschland und auch international am ehesten Algorithmic Accountability Reporting betreiben, sind die datenjournalistischen Teams”, sagt Elmer, „also diejenigen, die in den vergangenen drei Jahren mit der Berichterstattung zu Covid, Energiewende und Klimawandel sowie dem Aufbau von Dashboards mehr als ausgelastet waren.”

Elmer hat lange für den Spiegel gearbeitet: als stellvertretende Entwicklungschefin, Mitglied der Chefredaktion von Spiegel Online sowie als Leiterin des Ressorts Datenjournalismus war sie auch an Recherchen wie OpenSchufa beteiligt, einer der ersten großen Algorithmic-Accountability-Recherchen in Deutschland. Die Open Knowledge Foundation Deutschland und die NGO AlgorithmWatch riefen 2018 Bürger*innen dazu auf, ihren Kredit-Score bei der Wirtschaftsauskunftei Schufa abzufragen; die Datenteams von Spiegel und BR werteten die Datenspenden aus und zeigten auf, wie viele Menschen automatisiert zum Risiko erklärt wurden und daraufhin schwerer Handyverträge, Hauskredite oder Mietwohnungen bekommen können. „Wenn man solche Probleme gut recherchieren und lebensnah, spannend und detailliert erzählen will, muss man sehr viel investieren und bekommt aber unter Umständen gar nicht soviel zurück”, sagt Elmer. „Die Reichweiten oder Abo-Abschlüsse sind leider oft nicht so hoch, wie die Themen es verdient hätten.”

Das mache es auch herausfordernd, Entscheider*innen in Redaktionen die Relevanz solcher Tech-Recherchen zu vermitteln. „Wenn man Algorithmic Accountability Reporting nachhaltig stärken will, muss man mit alternativen Finanzierungsmodellen arbeiten, weil diese Themen sonst leicht hinten runterfallen”, glaubt Elmer. Viele Geschichten der gemeinnützigen US-Newsrooms ProPublica oder The Markup wären auf dem freien Markt niemals recherchiert worden.

Auch die Datenjournalistin Uli Köppen vom BR beobachtet, dass der KI-Hype auf Journalistenkonferenzen und der Alltag in vielen Redaktionen weit auseinanderklaffen. „Algorithmic Accountability Reporting kommt aus der Nische raus und wird als Teil von Tech-Reporting wahrgenommen, wird total gehyped und gilt als cool, aber sehr wenige Medien stecken da wirklich Ressourcen rein”, sagt Köppen. Dabei sollte Automatisierung Köppens Meinung nach behandelt werden wie die Klimadebatte und thematisch in allen Ressorts verankert werden: „Es braucht Spezialteams, die tief eintauchen können, aber es braucht auch ein Bewusstsein in allen Redaktionen, dass KI ein Thema ist, das die ganze Gesellschaft betrifft”, sagt sie.

„Für Redaktionen sind KI-Themen oft wenig attraktiv, weil sie abstrakt sind und die Bebilderung schwierig ist.“ Karen Naundorf, AI Accountability Fellow Pulitzer Center

Köppen leitet das erste Team bei einem deutschen Medium, das sich auf Automatisierung und KI spezialisiert hat: das AI + Automation Lab des BR.  „Man braucht nicht unbedingt ein eigenes KI-Team, man kann das Thema auch in bestehende Datenteams integrieren, aber man muss wie bei allen technischen Recherchen viel Zeit haben und braucht Expertise, also Mitarbeiter*innen, die einen bestimmten Hintergrund haben wie Statistik, Programmierung, einen journalistischen Beat oder tiefes Wissen zu KI und KI-Regulierung”, so Köppen.

In der journalistischen Ausbildung werden solche speziellen Kenntnisse allerdings bisher noch nicht abgedeckt. „Die Art, wie junge Menschen für den Beruf gewonnen, wie sie ausgebildet werden, muss und wird sich ändern”, fordert auch der kürzlich veröffentlichte Bericht „Journalistische Ausbildung für die Generation Tiktok” der dpa-Initiative #UseTheNews und der HAW Hamburg, für den 20 Medienexpert*innen befragt wurden. „Mancherorts scheint noch nicht einmal die Digitalisierung richtig verdaut worden zu sein, da kommt mit maschinellem Lernen und Künstlicher Intelligenz die nächste revolutionäre Technologie herangerast, die Gesellschaft und Journalismus nachhaltig umkrempeln wird”, heißt es dort. Und Tech-Spezialist*innen kommen oft gar nicht auf die Idee, in der Medienbranche anzuheuern – auch weil die Gehälter nicht besonders attraktiv sind. „Es gibt nicht genug Talent-Pipelines zwischen technischen Studiengängen und Medienhäusern”, beobachtet auch Uli Köppen.

Das AI + Automation Lab des BR wurde auf das bereits bestehende Datenteam aufgebaut. Die drei Teams BR Data, BR Recherche und das AI + Automation Lab arbeiten interdisziplinär und in unterschiedlichen Konstellationen zusammen – sie entwickeln teils Inhalte, teils Produkte wie Daten- oder KI-Anwendungen. Doch wie viel Zeit bleibt für Algorithmic Accountability Reporting, wenn die Teams auch mit Produktentwicklung beschäftigt sind? Köppen zufolge viel: „Da wir in kleinen Subteams arbeiten, läuft immer eine Recherche.”

Aufgrund unterschiedlicher Mindsets, Arbeitsweisen und auch unterschiedlicher Rhythmen ist die ungewöhnliche Struktur Köppen zufolge herausfordernd. „Das Produktteam arbeitet sehr planbar. Im Investigativteam passiert immer wieder etwas Unvorhersehbares, was einem die Planung über den Haufen wirft”, erzählt sie. „Das birgt praktische Probleme, die nicht komplett auszumerzen sind, aber es ist toll, weil man die Möglichkeit hat, aus drei verschiedenen Bereichen Ad-hoc-Teams zusammenzuziehen, die gemeinsam an Projekten arbeiten und ihr spezielles Wissen einbringen.”

Am Anfang jeder Recherche steht im AI + Automation Lab des BR eine Hypothese, die möglichst konkret formuliert ist und auf einer Vorrecherche beruht; in einem Recherchebogen wird festgehalten, wie die Beweisführung erfolgen soll, welche Recherchewege sinnvoll sind. „Es sind sehr komplizierte Fragen, man könnte Jahre investieren und eine Doktorarbeit schreiben, und da müssen wir uns pragmatisch vier Wochen geben”, sagt Köppen. „Wenn wir dann eine ordentliche Hypothese aufstellen können, machen wir weiter, sonst nicht.” 

Ziel ist es immer, etwas Investigatives, Neues rund um den Einsatz von Algorithmen herauszufinden. Wenn kein investigativer Coup gelingt, entsteht manchmal aber auch ein Erklärstück. Die Erkenntnisse werden möglichst interaktiv und anschaulich aufbereitet. Das BR-Team zeigte kürzlich etwa auf, dass Fotos von Frauen von Bilderkennungssystemen deutlich häufiger als anzüglich bewertet werden als Fotos von Männern. In einem Video zur Recherche ist zu sehen, wie ein BR-Reporter mit nacktem Oberkörper sich einen BH anzieht – schnell wird das Bild als „sehr anzüglich” eingestuft. Beim Test einer Video-Recruiting-Software wird anhand von Videos einer Schauspielerin deutlich, wie sich das Persönlichkeitsprofil von Bewerber*innen verändert, sobald sich jemand eine Brille oder ein Kopftuch aufsetzt oder vor einer weißen Wand steht statt vor einer Bücherwand – die KI sich also von äußerlichen Merkmalen täuschen lässt.

Die Mission des Labs sieht Uli Köppen vor allem darin, aufzuklären, ein gesellschaftliches Bewusstsein für die Wirkung von Algorithmen zu schaffen. „Wir wollen Menschen darauf hinweisen, dass sie Opfer von Algorithmen werden könnten”, sagt sie. Zudem versucht ihr Team, die Erkenntnisse möglichst weit zu verbreiten – und die Recherchen möglichst einfach zu erzählen, damit das Publikum „kein IT-Studium braucht”.

„Man muss mit den Menschen reden, um herauszu­finden, wie sie Systeme erleben.“ Nicolas Kayser-Bril, Reporter Algorithm Watch

Auch Nicolas Kayser-Bril findet es wichtig, von den Betroffenen auszugehen und nicht von der Technik. „Man muss mit den Menschen reden, um herauszufinden, wie sie Systeme erleben”, sagt Kayser-Bril, der seit 2019 als Reporter bei der NGO AlgorithmWatch zur Automatisierung recherchiert. Ihn stört die Technikzentrierung, die er bei vielen Journalist*innen bis heute erlebt: „Wenn es ein Problem mit der Technologie gibt, dann führen sie das meist auf ein Problem auf der Plattform oder ein Problem mit Algorithmen zurück”, sagt er. „Aber solange sie Probleme nur technisch betrachten, schreiben sie für die Industrie – denn ein technisches Problem kann von der Industrie gelöst werden.” Journalist*innen sollten sich mehr auf gesellschaftliche Probleme konzentrieren – und hinterfragen, inwieweit diese Probleme überhaupt mit Technologie gelöst werden könnten.

Kayser-Bril selbst hat anfangs mit seinen Recherchen oft konkrete Probleme bei Diensten aufgezeigt – etwa Rassismus bei Google Vision. Er wies nach, dass die Bilderkennungssoftware ein elektronisches Gerät in der Hand eines schwarzen Mannes fälschlicherweise als Waffe labelte; bei weißen Menschen passierte dies nicht. Das Experiment ging auf Twitter viral. „Das ist einfach, kommt gut beim Publikum an”, sagt Kayser-Bril. „Aber es ist eigentlich kostenlose Qualitätskontrolle für die Firmen, deswegen mache ich das nicht mehr.”

Der Hype um Chat-GPT ist für Kayser-Bril ein Beispiel dafür, was in der Berichterstattung über Algorithmen heute noch schief läuft. „Im Dezember sind sehr viele Journalisten und Journalistinnen in die Falle von Open AI gelaufen”, kritisiert er – es habe zu viele Interviews mit Chat-GPT gegeben statt kritische Analysen. Eine Auswertung des Reuters Institute von mehr als 700 Berichten aus britischen Medien offenbarte schon 2018, wie stark die Industrie die Berichterstattung über KI prägt: Rund 60 Prozent der Berichte bezogen sich auf Produkte, Initiativen oder Ankündigungen der Tech-Industrie. Ein Drittel der Quellen kam aus der Wirtschaft – doppelt soviele wie aus der Wissenschaft.

Neue journalistische Stipendien wollen fundierte Recherchen zu Algorithmen fördern: AlgorithmWatch vergibt seit Anfang 2023 Algorithmic Accountability Reporting Fellowships an europäische Journalist*innen. (Transparenzhinweis: Die Autorin ist derzeit selbst Fellow bei AlgorithmWatch.) Seit dem vergangenen Jahr fördern die AI Accountability Fellowships der US-amerikanischen Organisation Pulitzer Center internationale Recherchevorhaben: Das zehnmonatige Recherchestipendium ist mit bis zu 20.000 US-Dollar dotiert. Außerdem wird mit dem AI Accountability Network ein Netzwerk für Journalist*innen aufgebaut, die international zu KI berichten.

Medienschaffende sollten Schwächen und möglichen Nutzen von KI-Anwendungen immer abwägen, findet Karen Naundorf, Fellow im AI-Accountability-Programm des Pulitzer Centers. Das Programm hilft ihr dabei – etwa durch regelmäßige Online-Treffen mit den anderen Fellows, Trainingseinheiten und die Betreuung durch Mentoren. „Ich werde sicherlich nicht zur Programmiererin, und das ist auch nicht das Ziel”, sagt die deutsche Journalistin, die als Korrespondentin in Buenos Aires arbeitet. „Ich glaube an die klassische Reporterarbeit, aber nur wer ein Grundverständnis für KI-Themen entwickelt, kann in einem Team mit Spezialist*innen funktionieren.”

Naundorf recherchiert, wie Automatisierung die öffentliche Sicherheit in Südamerika prägt. „Politiker*innen werben dort gerne mit KI als Allheilmittel bei hohen Kriminalitätsraten, hinterfragt wird wenig”, sagt sie. Um die visuellen Herausforderungen zu bewältigen, arbeitet sie mit der Fotografin Sarah Papst zusammen. „Für Redaktionen sind KI-Themen oft wenig attraktiv, weil sie abstrakt sind und die Bebilderung schwierig ist”, berichtet Naundorf. Bei der Recherche stießen die beiden in den vergangenen Monaten auf viele Hindernisse. „Es fehlt an Transparenz in jeglicher Hinsicht, und es ist oft so gut wie unmöglich, an Detailinformationen zu Technologien zu gelangen”, sagt Naundorf.

Auch Kooperationen zwischen Medien und akademischen Einrichtungen können dabei helfen, komplexe Recherchen zu realisieren. „Wir suchen uns immer Sparringspartner an Universitäten und holen uns Feedback zur Methodik, um zu sehen, ob das trägt”, sagt etwa Uli Köppen vom BR. Christina Elmer von der TU Dortmund engagiert sich beim Science Media Center Germany, das Medienschaffende kostenlos bei ihrer Berichterstattung über wissenschaftliche Themen unterstützt. Einen ähnlichen Thinktank fände sie auch im KI-Bereich hilfreich.

Medien müssen sich beeilen, um nicht den Anschluss zu verpassen, glaubt Elmer. Aber es braucht auch eine Gesellschaft, die sich dafür interessiert, und eine Politik, die bereit ist, entsprechende Regulierungen in Kraft treten zu lassen, damit das irgendwo hinführt”, sagt Elmer. „Ansonsten skandalisiert man immer wieder relevante Missstände, was dann aber verhallt.”

Sonja Peteranderl ist Gründerin des Thinktanks BuzzingCitiesLab und derzeit selbst Algorithmic Accountability Reporting Fellow bei AlgorithmWatch. Sie berichtet vor allem über organisierte Kriminalität, urbane Gewalt und Technologie – etwa für den SWR oder den Spiegel.