Online platforms combineren steeds vaker AI en menselijke moderatie, maar nemen zij dezelfde beslissingen? In een nieuwe open-accessstudie vergelijkt dr. Aviv Barnoy hoe een AI-systeem van een platform, professionele moderators en geregistreerde gebruikers dezelfde echte online reacties beoordelen. De resultaten laten zien dat deze actoren verschillende grenzen hanteren en daarom vooral waardevol kunnen zijn wanneer ze worden gecombineerd, in plaats van als onderling uitwisselbare alternatieven te worden gezien.
Contentmoderatie wordt vaak voorgesteld als een keuze tussen mensen en AI. In de praktijk gebruiken veel platforms echter al hybride systemen, waarin geautomatiseerde tools, professionele moderators en gebruikers allemaal een rol kunnen spelen. Een nieuwe studie van dr. Aviv Barnoy, gepubliceerd in Media and Communication, onderzoekt wat elk van deze actoren kan bijdragen.
Dankzij een samenwerking met OpenWeb kreeg Barnoy zeldzame toegang tot gegevens uit een daadwerkelijk gebruikt moderatieproces. Het onderzoek koppelt drie soorten beoordelingen van dezelfde echte reacties: de eerste beoordeling door het AI-ondersteunde moderatiesysteem van OpenWeb, de uiteindelijke beslissingen van professionele moderators en de beoordelingen van 863 geregistreerde gebruikers. Samen namen de gebruikers 8.588 beslissingen over de vraag of reacties online mochten blijven of verwijderd moesten worden.
De studie bouwt daarnaast voort op eerder conceptueel onderzoek waarin problematische of ‘giftige’ online content wordt gedefinieerd aan de hand van specifieke normschendingen, in plaats van giftigheid als één brede categorie te behandelen. Het onderzoek richt zich op vijf moderatiecategorieën: geweld, doxxing, haatzaaiende uitlatingen, seksueel expliciete content en persoonlijke aanvallen. Deze categorieën hebben betrekking op verschillende normen en risico’s en kunnen daarom verschillende moderatiegrenzen en reacties vereisen.
De resultaten laten duidelijke verschillen zien tussen de drie soorten beoordelaars. Gebruikers kozen ervoor om ongeveer twee derde van de reacties online te laten staan. Hun beslissingen lagen aanzienlijk dichter bij de eerste keuze van het AI-systeem om een reactie te publiceren of vast te houden voor beoordeling dan bij de uiteindelijke publicatie- of verwijderbeslissingen van professionele moderators. Professionele moderators waren over het algemeen strenger. Meningsverschillen tussen AI en professionele moderators concentreerden zich bovendien bij specifieke reacties en categorieën, vooral bij haatzaaiende uitlatingen.
Dit betekent niet dat AI nauwkeuriger of legitiemer is dan professionele moderatie. Barnoy stelt juist dat de drie actoren verschillende functies kunnen vervullen. AI kan helpen om grote hoeveelheden content snel te selecteren en door te sturen, professionele moderators kunnen beslissingen nemen waarbij beleid en risico’s zorgvuldig moeten worden afgewogen, en gebruikers kunnen inzicht geven in de normen en tolerantiegrenzen van een online gemeenschap. De bevindingen wijzen daarom op de mogelijke waarde van zorgvuldig ontworpen hybride moderatiesystemen, in plaats van op één universeel moderatie-instrument.
De verklaringen van gebruikers laten bovendien een belangrijk onderscheid zien tussen het herkennen van problematische content en de beslissing om die content daadwerkelijk te verwijderen. Gebruikers erkenden regelmatig dat een reactie ongepast of problematisch was, maar vonden dat deze niet ernstig genoeg was om verwijdering te rechtvaardigen. Het herkennen van een normschending en het bepalen van de juiste maatregel moeten daarom niet automatisch als dezelfde vraag worden behandeld.
- Onderzoeker
- Meer informatie
Lees het volledige artikel hier.
