Waarom het 11 uur duurde voor Facebook terreurvideo offline haalde

Het gruwelijke filmpje van Larossi Abballa, de 25-jarige man die een Franse politiecommandant en zijn vrouw doodde, stond bijna 11 uur lang op zijn publiek Facebookprofiel, samen met foto's van de slachtoffers. Waarom duurde het zo lang voor het bedrijf deze beelden offline haalde en wat zijn de gevolgen van de trage reactie van het bedrijf?

Larossi Abballa begon vorige maandag de livestreaming om 20.52 uur, niet veel later pleegde hij een dubbele moord in een voorstad van Parijs. De video van Abballa schepte een beeld van de gruwel van zijn daden. "Ik weet niet wat ik ga doen met de jongen", waarmee hij doelde op het driejarig zoontje van het koppel. Het jongetje zat achter hem in beeld, duidelijk in shock. In de video verklaarde Abballa een aanhanger van IS te zijn en noemde hij verschillende journalisten, agenten en publieke figuren op die hij wilde doden. De terrorist voegde er nog aan toe dat het EK een slachtpartij zou worden. De video van 13 minuten bleef samen met foto' van de slachtoffers ongeveer 11 uur op het openbare profiel van Abballa staan.

Facebook heeft al stappen ondernomen om mensen die suicidale posts delen te helpen met een aantal preventietools. Maar het bedrijf zal ook stappen moeten zetten om beter te reageren op beelden en posts gewelddadige inhoud. Facebook dekte zich na het voorval met Abballa in met de verklaring dat het bedrijf erg nauw samenwerkt met de Franse autoriteiten in het onderzoek naar deze verschrikkelijke misdaad.

Het beleid van Facebook
Facebook lanceerde de livestreamingtool vorig jaar in december, en het was haast meteen een groot succes. Maar met het huidige model kan een video van een live moord even snel viraal gaan als die van een moeder die een Chewbaccamasker draagt.

"Terroristen en terreurdaden hebben geen plaats op Facebook. Telkens wanneer terroristische inhoud wordt opgemerkt, verwijderen we de post zo snel mogelijk. We behandelen vragen van de politie met de grootste urgentie. We vertrouwen op de gebruikers om inhoud die onze gebruiksvoorwaarden schendt te melden. Vervolgens behandelt een speciaal team deze melding, en wordt de post verwijderd als die niet strookt met onze gebruiksvoorwaarden. Met onze live video's staan we voor unieke uitdagingen, maar daarvoor hebben we speciale moderatoren", aldus een woordvoerder van het social mediabedrijf.

Wat zijn de gevolgen?
Maar ondanks dit beleid duurde het bijna een halve dag voor de account van Abballa werd geschrapt. De vraag is dus maar wat de gevolgen van Facebooks trage reactie zijn. Want zo had Amaq, het persagentschap van IS, voldoende tijd om de beelden te bewaren en zelf te publiceren. Onderzoek heeft aangetoond dat beelden van een (massa)moord mogelijke copycats aansporen om hetzelfde te doen. De kans op een nieuwe massamoord binnen de 13 dagen na een andere aanval stijgt met 20 tot 30 procent als de misdaad in het nieuws kwam. Dat was niet het geval als de misdaad niet in de media besproken werd.

Onderzoeker aan de universiteit van Arizona Sherry Tower zegt dat als Facebook geen manier ontwikkelt om dit soort filmpjes snel te verwijderen, de gevolgen verschrikkelijk kunnen zijn. Het streamen van criminele feiten zijn nog geen trend, maar het komt wel steeds vaker voor.

Volgens forensisch psycholoog en adviseur van de FBI Reid Meloy is Facebook Live erg aantrekkelijk voor individuen met moordgedachten. Dit is het perfecte medium voor boze, narcistische moordenaars die hun boodschap willen delen met een groot publiek en die voorheen geen draagvlak hadden." Zo kunnen ze hun laatste woorden ongefilterd live delen met een groot publiek. Vaak gaat het om narcistische daders, mensen die hun daden als positief of heilig willen afschilderen. Trouw zweren aan IS was een manier voor Abballa om zijn misdaad te verheffen tot een nobele daad."

Hoe gebeurt de censuur nu?
"Er bestaan algoritmen die video's van geweerschoten en onthoofdingen en IS-propaganda kunnen opsporen", aldus het hoofd van technologie bij Algorithmia Kenny Daniel. Dit bedrijf bouwt algortimen die expliciete inhoud opsporen. "Deze algoritmen gebruiken kunstmatige neurale netwerken die op dezelfde manier als de hersenen werken. Deze methode is niet perfect, maar het is genoeg om een groot deel van schokkende inhoud tegen te houden. Het zal nog enkele jaren duren voor een algoritme wordt ontwikkeld dat automatisch en erg accuraat daden van geweld of terrorisme aan de politie doorgeeft. Tot dan zullen mensen het werk moeten doen, anders bestaat de kans dat elke politieagent of nepwapen gecensureerd wordt."

De context van een video
Daarom zitten er nu dus nog altijd mensen achter de censuurknoppen bij Facebook. "Mensen kunnen beter dan algoritmen de context van een foto inschatten, ze begrijpen het totale plaatje beter en kunnen het niveau van geweld beter inschatten. Een bokswedstrijd kan bijvoorbeeld wel, maar een gevecht in een voetbalwedstrijd kan voor heel wat social mediabedrijven niet. Facebook en Twitter nemen een ander bedrijf in dienst om de inhoud te modereren. Veel bedrijven denken pas achteraf aan censuur van gewelddadige inhoud", aldus Kenny Daniel.

De topman bij Algorithmia gaat verder: "Bedrijven als Facebook denken niet na over de gevolgen bij de lancering van een nieuwe tool, ze willen gewoon dat zoveel mogelijk mensen Facebook Live gebruiken. Ze denken niet na over hoe ze gebruikers kunnen beschermen als er miljoenen video's binnenkomen. Dat is de grootste uitdaging voor social mediabedrijven nu: ze moeten een evenwicht zoeken tussen een zo mogelijk publiek bereiken en hoe ze de gebruikers kunnen beschermen."