Getallen verzinnen is niet eenvoudig

Het is een bekend gegeven dat de mens niet in staat zou zijn om een reeks van willekeurige getallen te geven. Ga zelf maar na. Noem een getal als 1 tot en met 9, en blijf dat zo’n honderd keer doen. Je zult dan al snel zien dat er een patroon ontstaat, bijvoorbeeld dat je na een 4 altijd een 6 gaat zeggen.

Toch zijn reeksen van willekeurige getallen belangrijk bij veel wetenschappen, en om die te genereren worden dan ook ingenieuze computerprogramma’s gebruikt. Men zou kunnen denken dat als mensen niet in staat zijn zo maar getallen te bedenken, dat je dan reeksen van niet-willekeurige getallen zou moeten kunnen herkennen. Een manier die al veel in de aandacht heeft gestaan is om dan gebruik te maken van de zogeheten Wet van Benford . Deze wet voorspelt dat het eerste cijfer van elk getal in een jaarverslag of een artikel een bepaald patroon volgt, waarbij er een bepaalde verhouding bestaat tussen de hoeveelheid enen en de hoeveelheid twee-en, drie-en, enzovoort. Grafisch is deze wet wellicht het best te illustreren, zoals in figuur 1.


 

Figuur 1: De Wet van Benford uitgebeeld

Nu zou het natuurlijk mooi zijn als we deze wet zouden kunnen gebruiken om te toetsen of een wetenschappelijk artikel gebaseerd is op verzonnen getallen. In de literatuur leeft hierover een heftig debat, en de huidige consensus lijkt te zijn dat een formele toepassing van de Wet van Benford toch geen uitsluitsel kan geven . Een van de vele redenen hiervoor heeft te maken met dat veel gepubliceerde artikelen vooral vaak succesverhalen zijn en dat niet-significante toetsresultaten (denk aan t-waarden die beginnen met het getal 1) niet worden gerapporteerd.
 
Ondanks dat kan het in kaart brengen van eerste getallen toch zinvol zijn. Niet om achteraf fraude aan te tonen, maar meer om te laten zien dat getallen verzinnen nog een hele kunst is. Om dit te illustreren hebben we elf artikelen van Diederik Stapel bekeken, waarvan hij zelf heeft toegegeven dat ze op nepgetallen zijn gebaseerd, en hiervan verkrijgen we 782 eerste cijfers. We hebben ons beperkt tot toetswaarden en gemiddelden. Die elf artikelen van Stapel zijn gepubliceerd in evenzoveel uitgaven van wetenschappelijke tijdschriften, en hieruit halen wij nog eens 5774 eerste cijfers. Figuur 2 zet in een histogram de twee frequenties van begincijfers naast elkaar.

 


Figuur 2: de frequenties van eerste cijfers in 11 artikelen van Diederik Stapel en van 125 andere artikelen in dezelfde uitgaven van de wetenschappelijke tijdschriften.


Omdat het patroon van “others” in Figuur 2 niet echt identiek is aan dat van Figuur 1 (een chi-kwadraat toets verwerpt dit met een p waarde zelfs kleiner dan 0.001), laat onze analyse zien dat ook voor de 125 andere artikelen de Wet van Benford niet op gaat. Daarmee bestendigen wij de huidige consensus over het nut van deze wetmatigheid om fraude op te sporen.

Echter, wat we wel zien is dat de cijfers van Diederik Stapel verre van willekeurig zijn. Deze onderzoeker heeft een grote voorkeur voor het getal 5, en ook voor 4 en 6. Zo zie je dat het zelf verzinnen van getallen nog een hele kunst is!
 

 


Publicatiedatum: 2 juli 2012