Dr. Aviv Barnoy, universitair docent Media en Communicatie aan de ESHCC, en zijn team hebben de eerste plaats behaald bij #TikkunTech, de hackathon van de Europese Commissie ter bestrijding van antisemitisme en ter bevordering van het joodse leven. Hun winnende prototype, 4Sight, maakt gebruik van AI en menselijke analyse om opkomende vormen van gecodeerde antisemitische taal op marginale onlineplatforms te identificeren, voordat deze voet aan de grond krijgen op grotere sociale mediaplatforms.
Online antisemitisme maakt niet altijd gebruik van expliciete of gemakkelijk herkenbare taal. Er kunnen nieuwe, gecodeerde uitdrukkingen ontstaan die voor buitenstaanders of geautomatiseerde moderatiesystemen onschuldig lijken, maar binnen bepaalde online gemeenschappen een andere betekenis hebben. Voorbeelden hiervan zijn „271k“, dat wordt gebruikt als afkorting voor de valse bewering van holocaustontkenning dat er tijdens de holocaust slechts ongeveer 271.000 Joden zijn vermoord, en „Cohencidence“, een woordspeling op „Cohen“ en „coincidence“ die in complottheorieën wordt gebruikt om te suggereren dat er een verborgen Joodse betrokkenheid bij gebeurtenissen is. Dergelijke uitdrukkingen illustreren waarom vaste lijsten met bekende termen moeite kunnen hebben om gelijke tred te houden met de veranderende online taal.
Tijdens de anderhalve dag durende hackathonsprint werkte Barnoy samen met Kevin Leiba, Sophie Taïeb en een vierde teamlid om van 4Sight een werkend proof of concept te maken. Barnoy was door de organisatoren aangemoedigd om zich aan te melden voor deelname en werd vervolgens geselecteerd voor het evenement.
Vroegtijdig waarschuwingssysteem
4Sight is ontworpen als een vroegtijdig waarschuwingssysteem. In plaats van alleen te zoeken naar reeds bekende antisemitische trefwoorden, onderzoekt de op een groot taalmodel gebaseerde scanner online berichten op terugkerende uitdrukkingen die mogelijk wijzen op nieuwe of opnieuw opduikende gecodeerde taal. Het proof of concept gebruikte inhoud van het marginale platform 4chan /pol/ als detectieomgeving en vergeleek kandidaat-uitdrukkingen met gegevens van X, op zoek naar aanwijzingen dat taal die in marginale gemeenschappen verscheen, vervolgens ook op een groter platform opdook. Het systeem combineert frequentie- en timinginformatie met contextuele AI-analyse, terwijl een menselijke analist bij het proces betrokken blijft om te beslissen of het bewijs daadwerkelijk de interpretatie van een term als antisemitisch ondersteunt. In het hackathon-prototype analyseerde 4Sight 7.058 4chan-berichten en vergeleek de bevindingen met 13.422 berichten van X.
Vooruitkijken
De bredere ambitie is om vooruit te kijken in plaats van alleen achteraf te modereren: potentieel belangrijke taalkundige ontwikkelingen vroeg genoeg signaleren, zodat teams op het gebied van vertrouwen en veiligheid, risicobeperking en inhoudsmoderatie deze kunnen onderzoeken voordat ze wijdverspreid raken. Het prototype verwijdert of meldt zelf geen inhoud; het levert bewijsmateriaal op voor menselijke beoordeling. Dit ‘human-in-the-loop’-ontwerp was bewust gekozen, met name omdat gecodeerde uitdrukkingen dubbelzinnig kunnen zijn en door AI gegenereerde interpretaties onjuist kunnen zijn.
4Sight is uitgeroepen tot de algemene winnaar van TikkunTech. Het tweedaagse evenement van de Europese Commissie in Brussel bracht meer dan 120 deelnemers bijeen die werkzaam zijn op het snijvlak van technologie, onderzoek, het maatschappelijk middenveld en beleid, met als doel praktische oplossingen te ontwikkelen voor online antisemitisme. Magnus Brunner, Europees commissaris voor Binnenlandse Zaken en Migratie, nam op 30 september deel aan de prijsuitreiking.
Als onderdeel van de prijs ontvangt het team financiering om 4Sight verder te ontwikkelen en een volledig verzorgd bezoek aan het Transparency and Accountability Center van TikTok in Dublin, waar ze met TikTok-teams zullen overleggen over het project en mogelijke verdere samenwerking en ontwikkeling. Het team is van plan om samen verder te werken aan het prototype.
- Onderzoeker
