Forschungsprojekte am Institut: Transparent Automated Content Moderation (TACo)

18.06.2024

Unter der Leitung der Kommunikationswissenschaftlerin Sophie Lecheler an der Universität Wien und Allan Hanbury von der Technischen Universität Wien arbeitet seit September 2021 ein interdisziplinäres Team aus Sozialwissenschaftler*innen und Informatiker*innen am Projekt Transparent Automated Content Moderation (TACo).

von Annika Arndt (✉ annika.arndt@univie.ac.at)

Kontakte für inhaltliche, wissenschaftliche Rückfragen: Sophie Lecheler & Anna Maria Planitzer


Das Projektteam und seine Zielsetzung

Unter der Leitung der Kommunikationswissenschaftlerin Sophie Lecheler an der Universität Wien und Allan Hanbury von der Technischen Universität Wien arbeitet seit September 2021 ein interdisziplinäres Team aus Sozialwissenschaftler*innen und Informatiker*innen am Projekt Transparent Automated Content Moderation (TACo). Das Projekt wird vom Wiener Wissenschafts- und Technologiefonds (WWTF) gefördert und forscht an einem nutzer*innenzentrierten Ansatz, um politische Beiträge im Internet verantwortungsbewusst und transparent zu moderieren. Personell wird das Team von Anna Maria Planitzer, Andrea Stockinger und Svenja Schäfer auf Seiten der Universität Wien sowie Julia Neidhardt und Pia Pachinger an der TU Wien komplettiert.

Mittels verschiedener Studien wird ermittelt, was Nutzer*innen unter toxischer Sprache verstehen und welche Moderationsverfahren sie bevorzugen. Erste Ergebnisse zeigen, dass Nutzer*innen explizite Formen von Hass und Vulgarität moderiert sehen möchten, während sie für hitzige Diskussionen offen sind. Zudem legen die Befragten Wert auf eine personalisierte Moderation, die ihre individuellen Bedürfnisse berücksichtigt.

"Die große Idee ist es", so Sophie Lecheler, "Sozialwissenschaft für die Computerwissenschaft brauchbar und umgekehrt die Computerwissenschaft für die Sozialwissenschaft nutzbar zu machen."

Forschungsfragen und Projektstruktur

Hass und Hetze sind in vielen Online-Diskussionen präsent, unabhängig vom thematischen Kontext. Der Kontakt mit toxischen Inhalten in sozialen Medien kann das Vertrauen untergraben und zu einer Polarisierung der Gesellschaft beitragen. Hierbei übernimmt die Content-Moderation die Aufgabe, fragwürdige Inhalte zu löschen, ranken, kennzeichnen oder durch Argumente entgegenzuwirken, um etwa die Verbreitung von Fehlinformationen zu vermindern. Sowohl menschliche als auch automatisierte Content-Moderation agiert in diesem Kontext auf Basis der Richtlinien der jeweiligen Plattform, ohne dass Nutzer*innen ein Mitspracherecht haben. Das übergeordnete Ziel der Forscher*innen besteht darin, die Wünsche der Nutzer*innen im Hinblick auf die automatisierte Content-Moderation zu verstehen und zu ergründen, wie diese künftig transparent und fair gestaltet werden könnte: Was sind Inhalte, die moderiert werden sollten, wie könnte diese Moderation ablaufen und hat so ein nutzer*innenzentrierter Ansatz tatsächliche, positive Auswirkungen auf den Online-Diskurs? Um das zu ergründen, werden im Rahmen des Projekts verschiedene Studien durchgeführt.

Forschungsmethoden und erste Zwischenergebnisse

Eine erste qualitative Fokusgruppenstudie mit Sozialen Mediennutzer*innen in Österreich konnte bereits wichtige Erkenntnisse liefern. Erste Publikationen zu den Ergebnissen befinden sich hier in Vorbereitung. Ziel der Fokusgruppen war es, herauszufinden, welche Inhalte Nutzer*innen moderiert sehen möchten. Es konnte eruiert werden, dass Nutzer*innen für explizite Formen von Hass und Vulgarität konkrete Moderation möchten. Gleichzeitig sind sie aber für hitzige Debatten offen, solange die Tonalität auf allen Seiten angemessen bleibt. Ein überraschendes Ergebnis war, dass Nutzer*innen weniger auf den Inhalt selbst achten, sondern mehr auf die Intentionen der User*innen und die potenzielle Verletzlichkeit bestimmter Gruppen, die aufgrund ihres Geschlechts oder ihrer Identität benachteiligt sind.

In einem zweiten Teil des Projekts beschäftigt sich das Team mit der Frage, wie moderiert werden soll. Die Erkenntnisse wurden bisher u.a. im Rahmen der Jahrestagung der International Communication Association in Toronto (Kanada) im Mai 2023 präsentiert. Im Fokus der Untersuchungen steht das ethische und praktische Verständnis von Nutzer*innen in Bezug auf algorithmische Online-Moderation. Es besteht (seitens der Nutzer*innen) die Sorge, dass automatisierte Moderationsprozesse missbraucht werden könnten – etwa in nicht-demokratischen Staaten –, um (nicht erwünschte) Meinungen zu unterdrücken. Zudem wünschen sich die Befragten eine personalisierte Moderation, zugeschnitten auf die Individualität der Nutzer*innen.

Für die nahe Zukunft sind Untersuchungen zur Frage geplant, wie Nutzer*innen die Content-Moderation auf Basis der qualitativen Überlegung in Zukunft akzeptieren würden und welche Konsequenzen daraus erfolgen.

Nächste Schritte und Zeitplan

Die Technische Universität Wien arbeitet zeitgleich an der Implementierung von Modellen, die auf den Ergebnissen des Projektteams des Instituts basieren. Der Zeitplan sieht vor, dass TACo bis August 2025 abgeschlossen sein wird, wobei weitere Publikationen und die Integration der Forschungsergebnisse in praktische Anwendungen geplant sind. Das Projektteam möchte im verbliebenen Projektzeitraum insbesondere die Frage klären, ob die Wünsche und Vorstellungen eines nutzer*innenzentrierten-Ansatz sinnvoll und zielführend für die Zukunft der automatisierten Content-Moderation sein können und wie Änderungen aussehen könnten.


Das Projektteam am Institut

Sophie Lecheler ist seit 2016 Professorin für Kommunikationswissenschaft mit dem Schwerpunkt politische Kommunikation. An unserem Institut leitet sie die Political Communication Research Group (POLCOM) und ist zudem Studienprogrammleiterin des Doktoratsstudiums Sozialwissenschaften an der Universität Wien.

Anna Maria Planitzer ist seit 2022 Universitätsassistentin (Praedoc) am Institut für Publizistik- und Kommunikationswissenschaft der Universität Wien und Mitarbeiterin im Projekt TACo. Davor war sie bereits als Studien- und Forschungsassistentin im Team von Sophie Lecheler tätig.

Transparent Automated Content Moderation (TACo)

✓ Fördergeber: WWTF

✓ PI: Sophie Lecheler | Allan Hanbury

✓ Mitarbeit: Anna Maria Planitzer

✓ Laufzeit: 2022-2025