von Adriana Sofia Palloks (✉ adriana.palloks@univie.ac.at)
In einer Zeit, in der die digitale Kommunikation eine immer wichtigere Rolle spielt, sind Content-Moderator*innen zu Schlüsselfiguren geworden, um die Qualität und Angemessenheit von Online-Diskussionen auf Plattformen sicherzustellen. Forscherinnen der Universität Wien untersuchten in vorliegender Studie die Ansichten dieser Content-Moderator*innen hinsichtlich ihrer Tätigkeit. Zwischen Juni und September 2022 fanden insgesamt 18 Interviews mit Personen aus Österreich und Deutschland statt, in denen die Befragten Einblicke zu den Kommentaren gaben, die sie "moderieren", und inwiefern technologische Hilfsmittel (unter anderem künstliche Intelligenz) bei ihrer Tätigkeit zum Einsatz kommen. Die Erkenntnisse legen nahe, welch "wichtige Rolle den Moderator*innen bei der Gestaltung des öffentlichen Diskurses" zukommt, erzählt Studienautorin Andrea Stockinger.
Jede*r, die*der noch nicht selbst mit Hassrede im Netz konfrontiert worden ist, hat zumindest schon einmal davon gehört. Kommunikationsforscher*innen beobachten, wie Online-Diskussionen vermehrt unsachlich geführt werden. Um dieser Entwicklung effektiv entgegenzuwirken und ein Umfeld förderlicher, zivilisierter Diskussionskultur zu schaffen, wird zunehmend auf Content Moderation-Techniken zurückgegriffen. Diese beinhalten die Tätigkeit professioneller Content-Moderator*innen, die Foren und Social Media Plattformen "screenen", also überwachen.
Ihre Aufgabe besteht darin, Kommentare zu prüfen, problematische Kommentare zu löschen und in feindselige Diskussionen einzugreifen, um einen ungehinderten Gesprächsfluss zu ermöglichen. Gesetze, die die Einschränkung freier Meinungsäußerung definieren, sowie von Unternehmen festgelegte Community-Richtlinien unterstützen sie dabei, zwischen zivilisierter und unzivilisierter Online-Sprache zu unterscheiden. Die schiere Menge an Nutzer*innen-Kommentaren stellt für Content-Moderator*innen eine große Herausforderung dar, mit ihrer Aufgabe Schritt zu halten. Daher verwenden viele von ihnen zusätzlich halbautomatisierte Systeme (künstliche Intelligenz) in Form von Wortfiltern, Sperrlisten und sonstigen Hilfsmitteln, etwa zur Erfassung pornografischer Beiträge oder urheberrechtlich geschütztem Material. Auch wenn diese Technologien bei dieser umfangreichen Arbeit unterstützen, sind sie nur begrenzt in der Lage, Kontexte, menschliche Kulturen und Machtdynamiken zu verstehen, sodass sie aktuell noch nicht auf subtile Hasskommentare reagieren können.
Im Gespräch mit Content-Moderator*innen
Die bisherige Forschung setzt sich in diesem Zusammenhang vor allem mit den Lernfähigkeiten von künstlicher Intelligenz auseinander und weniger mit den Content-Moderator*innen, die die Verantwortung dafür tragen, welche Inhalte und Kommentare im Netz bestehen bleiben. Um diese Lücke zu schließen, befragten Andrea Stockinger, Svenja Schäfer und Sophie Lecheler von der Universität Wien im Rahmen eines Forschungsprojekts 18 Content-Moderator*innen aus Österreich und Deutschland, wobei in beiden Ländern ähnliche gesetzliche Regelungen zur Regulierung von Kommentarspalten in Online-Plattformen bestehen. Ein Teil der Stichprobe war als Social Media-Manager*in beschäftigt, während der andere Teil das Kommentarforum des jeweiligen Unternehmens betreute. Die Befragten arbeiteten für Nachrichtenorganisationen oder für Parteien.
Die Interviews wurden zwischen Juni und September 2022 per Videoanruf durchgeführt. Befragt wurden die Teilnehmenden zu ihrem Berufsprofil als Content-Moderator*innen, zu Moderationsstrategien ihrer Organisation (z.B. Community-Richtlinien) sowie über die Verwendung von technologischen Tools und KI bei der Prüfung von Kommentaren.
Eindeutige Fälle vs. Grauzonen
In beiden Ländern haben Content-Moderator*innen verstärkt mit problematischen Kommentaren zu tun. "Während einige Kommentare eindeutig gegen Gesetze oder Community-Richtlinien verstoßen und daher (teilweise automatisch) gelöscht werden, befindet sich der Großteil der Kommentare in einer Grauzone, die nicht klar geregelt ist. Hier stoßen auch automatisierte Lösungen an ihre Grenzen", berichtet Studienautorin Andrea Stockinger. Jene Grauzonen-Kommentare reichen von Satire, Sarkasmus, Memes bis hin zu kreativen Umschreibungen von Beschimpfungen. Hier verlassen sich Moderator*innen oftmals auf ihre Intuition, ob ein Grauzonen-Kommentar eine Diskussion negativ beeinträchtigt, wobei die Werte des Unternehmens, die Zielgruppe sowie die persönliche Empfindung von den Moderator*innen als Kriterium für die Moderation herangezogen werden.
Wie wird auf problematische Kommentare reagiert?
In Anlehnung an die Ergebnisse erläutert Stockinger: "Die Art und Weise, wie diese Grauzone moderiert wird, variiert erheblich zwischen verschiedenen Organisationen, Plattformen und sogar individuellen Moderator*innen." Die meisten verwenden häufig Wortfilter, Sperrlisten und KI-Tools, um aggressive und unangemessene Kommentare vorab herauszufischen. Bei unklaren Fällen setzen sie oft auf Fragen und Antworten, um den Kontext des Kommentars zu verstehen. Bei falschen Aussagen von Nutzer*innen versuchen manche Moderator*innen sie zu korrigieren, während andere diese Kommentare direkt löschen. Die Interaktion mit den Nutzer*innen wird ebenfalls unterschiedlich gehandhabt: Manche Moderator*innen halten den Dialog mit ihnen für wichtig, andere bleiben hingegen distanziert. Sie wünschen sich verbesserte technologische Werkzeuge, um ihre Aufgabe effektiver zu erfüllen, insbesondere im Umgang mit eindeutigen, problematischen Fällen. Trotzdem bleiben sie skeptisch gegenüber KI-Entscheidungen bei Grauzonenfällen.
Künstliche Intelligenz als hilfreiche Ergänzung – aber bei weitem kein Ersatz
In welchem Umfang KI zum Screening von Kommentaren eingesetzt wird, variiert zwischen den Organisationsgrößen, der Arbeitsbelastung der Moderator*innen sowie auch zwischen den Plattformen. Auf Facebook verbreitet sich Hass beispielsweise viel eher als auf Instagram. Auf persönlicher Ebene sehen sich viele der Moderator*innen als Sprecher*innen ihrer Organisation und sind für den Austausch mit ihrer Community zuständig. Diese Arbeit kann eine KI nur schwer authentisch erfüllen.
"Die Ergebnisse der Studie unterstreichen die wichtige Rolle der Moderator*innen bei der Gestaltung des öffentlichen Diskurses", resümiert Stockinger, "sie betonen die Notwendigkeit klarerer und nuancierterer Regelungen und bieten praktische Implikationen für (semi-)automatisierte Strategien zur Content-Moderation".
