Neues KI-Tool zur Bekämpfung von Hasskommentaren im Netz entwickelt

Das entwickelte Konzept ermöglicht eine automatisierte und kostengünstige Unterstützung bei der Moderation von Kommentaren.

Mit Teamwork zum Ziel: Hassrede eindämmen

Die Entwicklung der Anwendung erfolgte über zwei Semester in mehreren Teams. Ein Team befasste sich mit der Entwicklung eines „Webcrawlers“, der Foreninhalte effizient durchsucht und Leserkommentare selektiert – unter Berücksichtigung der Geschwindigkeit und der Funktionalität des Forums. Dabei wurden Benutzerfreundlichkeit und Datenschutz priorisiert: Der Webcrawler wurde so gestaltet, dass er auch von Nutzern ohne technisches Fachwissen bedient werden kann und sensible Daten sicher verarbeitet. Weitere Teams entwickelten das Tool weiter, um die markierten Texte für eine KI-basierte Analyse aufzubereiten und schließlich als „Hassrede“ oder „Nicht-Hassrede“ zu klassifizieren.

Webanwendung für die Kommentarmoderation

In diesem Schritt entwickelten die Studierenden eine Webanwendung zur präzisen Erkennung und Klassifizierung von Hasskommentaren. Grundlage dafür bildete ein neuartiges KI-Modell, das mit einem eigens erstellten Datensatz von über 34.000 Beispielen trainiert wurde. Zur Moderation eines Online-Forums geben Betreibende die URL der zu überprüfenden Webseite ein und erhalten eine Übersicht der klassifizierten Hasskommentare. Diese können dann von Mitarbeitenden gesichtet, überprüft, gelöscht oder gemeldet werden. Die neueste Version ermöglicht zudem eine Eingrenzung des Kommentarbereichs nach bestimmten Regeln sowie ein übersichtliches Monitoring.

Erfolgreiche Testphase mit Praxispartner

Der in der Anwendung verwendete KI-Klassifikator wurde im Rahmen des Forschungsprojekts HSDetector (gefördert Freistaat Bayern, Fördernummer DIK-2104-0033// DIK0278/01) in enger Zusammenarbeit mit der Ippen Digital GmbH & Co. KG und der Bival GmbH entwickelt und getestet. Dabei begleitete ein Projektteam der HM auch die Implementierung in bestehende Arbeitsprozesse. Der auf diesem Projekt aufsetzende „KI-HateSpeech Detector-Prototyp“ stellt eine für die Praxis benutzerfreundliche Oberfläche bereit, die eine effiziente Moderationsunterstützung der Online-Foren ermöglicht. Die Anwendung sowie der KI-Klassifikator werden ständig weiterentwickelt und sollen in Zukunft auch die Vorgaben des neuen Digital Service Act für Online-Anbieter berücksichtigen.