Back to top

Medienaufsicht: KI-Tool optimiert Aufsichtstätigkeit

10.06.2022

Die Medienanstalten haben von März bis April 2022 nahezu doppelt so viele Strafanzeigen gestellt, wie in den 12 Monaten zuvor. Grund dafür ist das KI-Tool „KIVI“, dass das Internet selbstständig durchsucht und Mitarbeitende auf Rechtsverstöße, insbesondere im Bereich Jugendmedienschutz, hinweist. Entwickelt wurde die Software 2020 von der Condat AG für und mit der Medienanstalt NRW und wird inzwischen von allen 14 Medienanstalten eingesetzt. Perspektivisch soll die Software auch Werbeverstöße bearbeiten können.  

Von Twitter über YouTube bis Telegram: Die Software „KIVI“, die ihren Namen einer Kombination aus Künstlicher Intelligenz und vigilare (lat. für wachsam sein) verdankt, erschließt sich immer mehr Plattformen. Täglich durchsucht sie mehr als 10.000 Seiten automatisch. Vor ihrem Einsatz schafften die Medienanstalten nur einen Bruchteil davon. Jetzt können sie sich einen Überblick über die Gefahrenlage im Internet machen und Rechtsverstößen priorisiert nachgehen, bei gleichem Ressourcenaufwand. „KIVI“ arbeitet sich dabei anhand von Stichworten und Links wie eine Suchmaschine durch das Internet. Rechtsverstöße ermittelt die Software mit Hilfe von Techniken wie Keyframe Extraction bei Videos, Optical Character Recognition bei Texten in Bildern und Speech-to-text bei Audio-Dateien.

„KIVI“ begleitet den Prozess von Anfang bis Ende

Die Trefferquote erreichte zwischenzeitlich über 90 Prozent im Bereich Pornografie und knapp 40 Prozent bei Verstößen gegen die Menschenwürde und politischem Extremismus. Hat „KIVI“ die Vorarbeit geleistet, werden die Verdachtsfälle von Mitarbeitenden im Monitoring überprüft. Dank der Einordnung der Inhalte durch die Software können sich die Mitarbeitenden mental auf die Sichtung vorbereiten. Zuvor waren sie unmittelbar mit Enthauptungsvideos oder Missbrauchsfotos konfrontiert worden. Jetzt können sie sich entscheiden, wann sie welche Kategorie abzuarbeiten bereit sind. Bestätigt das Monitoring-Team den Verdacht der KI, wird dies im Tool vermerkt und der Verstoß an die Staatsanwaltschaft übermittelt. Im Nachgang wird automatisch von der Software geprüft, ob weitere Versionen der gemeldeten Inhalte im Netz kursieren, und sie dokumentiert alle weiteren medienrechtlichen Verfahrensschritte.

Auch internationale Kanäle werden gescannt

Ein weiterer Vorteil des Tools ist die Erkennung der Herkunft strafbaren Contents: Beispielsweise weist es aus, auf welchen internationalen Kanälen deutsche User:innen angesprochen werden. Daher überrascht das Interesse anderer europäischer Länder, wie Belgien oder Österreich, an der Software nicht.
Seitdem seit Anfang April 2022 alle 14 Medienanstalten die KI nutzen, kann außerdem doppelte Arbeit bei Rechtsverstößen unbekannten Ursprungs eingespart werden. Stattdessen teilen sich die Anstalten die Bearbeitung. Die bisherige Arbeit hat ihre Auswirkungen: Eine davon ist auch, dass sich viele Täter:innen aus Deutschland und Europa zurückziehen oder anonym agieren. Solange sich der zur Verfügung gestellte rechtswidrige Content aber weiterhin an deutsches Publikum richtet, wird der Fall, wie bisher über die Medienanstalten bei der Staatsanwaltschaft landen. Denn es gilt das Ziellandprinzip.

Die Software wird fortwährend optimiert

Damit „KIVI“ seine Fähigkeiten weiter ausbaut, wird die Software mit Bild- und Textbeispielen gefüttert, die bereits geahndet worden sind. Zudem helfen dem System beim Lernen die täglichen Rückmeldungen, ob ein gefundener Verdacht sich als richtig erwiesen hat oder nicht. Durch den bundesweiten Einsatz von „KIVI“ seit Anfang April kann von einer sich steigernden Optimierung des Tools ausgegangen werden. Zukünftig sollen weitere relevante Plattformen bei „KIVI“ integriert werden.

Ansprechpartner

Tim Steinhauer

Senior Referent Medienverantwortung und Programm