Dit artikel is afkomstig uit Trouw. Elke dag verschijnt een selectie van de beste artikelen uit de kranten en tijdschriften op NU.nl. Daar lees je hier meer over.

Carly Cooperman wil het gezegd hebben. Haar bedrijf, marketingbureau Schoen Cooperman Research, heeft al zéven keer een enquête uitgevoerd naar kennis over de Holocaust en: "We hebben er nog nooit kritiek op gehad of tegenstand in ervaren. We zijn compleet transparant in hoe we de data analyseren."

Ze reageert op de twijfels die er in Nederland zijn gerezen over het onderzoek dat het Amerikaanse bureau hier uitvoerde. Vorige week woensdag werd het naar buiten gebracht. De belangrijkste conclusie: 6 procent van de veertigminners denkt dat de Holocaust een mythe is en 17 procent denkt dat het aantal vermoorde Joden 'sterk overdreven' wordt.

Een kwart van de jongvolwassenen ontkent de Holocaust of zwakt die af, werd de boodschap die de wereld in werd gezonden en een bommetje liet ontploffen. "We hebben als samenleving veel werk te doen. En snel ook", schreef minister van justitie Dilan Yesilgöz op Twitter. Ook andere politici reageerden geschokt.

Het bedrijf van Cooperman werd ingeschakeld door Claims Conference, een Joodse ngo met een solide reputatie. De organisatie bestaat sinds de jaren vijftig en betaalt herstelbetalingen aan Joodse oorlogsslachtoffers. Ze zijn de grootste financier van Holocaust-onderwijs wereldwijd en maken zich zorgen over de staat hiervan.

Veel media waren aanvankelijk voorzichtig met de peiling, omdat er een strikt embargo op zat en het Anne-Frank-debacle nog vers in het geheugen van velen ligt. Voor het verschijnen mochten enkel bronnen binnen de Claims Conference geraadpleegd worden. NOS besloot om die reden te wachten met een nieuwsbericht en eerst rond te bellen.

Deze krant heeft het onderzoek na intern beraad van tevoren wél voorgelegd aan twee deskundigen en hun reactie meegenomen. In Trouw bekeek historicus Kees Ribbens de resultaten met 'enige verbazing'. Hij had ook direct kritiek: in de enquête krijgen respondenten veelal vragen over losstaande feiten over de Holocaust. Maar het gaat bij kennis over het verleden ook om 'hoe zij die feiten in samenhang zien'.

Op Twitter en in diverse kranten zei hoogleraar statistiek Casper Albers later dat er te veel onduidelijkheid bestond over de methode van het onderzoek om te beoordelen of de resultaten valide en representatief zijn. Hij zag een aantal 'red flags' die mogelijke representativiteit zouden verhinderen, zoals de oververtegenwoordiging van studenten.

Trouw heeft de afgelopen anderhalve week bijna dagelijks contact gehad met de Claims Conference om aanvullende vragen over de representativiteit van het onderzoek beantwoord te krijgen. Die organisatie is samen met Schoen Cooperman Research verbolgen over de Nederlandse kritiek op het onderzoek.

In vele mails en statements labelen ze de kritiek en aanvullende vragen van journalisten als een vorm van wegkijken van de heftige conclusies, waar het debat écht over zou moeten gaan. De Claims Conference vertrouwt Schoen Cooperman Research volledig. Albers noemen ze 'een zeer luide tegenstander' die 'onjuistheden' zou verspreiden.

"Is het echt zo moeilijk te geloven, als zowel Holocaust-ontkenning, -afzwakking en antisemitisme wereldwijd toenemen, dat een enquête in Nederland die trend bevestigt?", vraagt directeur Greg Schneider van de Claims Conference zich af. Dat Albers 'onterecht' zegt dat het onderzoek niet representatief is, 'illustreert de resultaten alleen maar'.

Albers zegt in een reactie dat elke Holocaust-ontkenner er een te veel is en dat zijn opmerkingen pur sang gaan over de methodologie achter het onderzoek. Dat er een stijgende trend is in het aantal Holocaust-ontkenners wil hij ook best geloven maar hij vindt dat die conclusie 'niet uit dit onderzoek te halen valt'. Hij betreurt het dat hij zo persoonlijk wordt aangevallen.

'Niet zo fijn' noemt historicus Ribbens de reactie van de Amerikanen. "Het gaat hier natuurlijk om moeilijke thematiek die gevoelig ligt, en elke Holocaust-ontkenner is er een te veel. Maar je kunt niet alles met de mantel der liefde bedekken. Kritische vragen moeten mogelijk zijn zonder gelijk als onderdeel van het probleem te worden gezien."

Dat dit onderzoek onder een vergrootglas kwam te liggen, is volgens hem niet verwonderlijk vanwege "het gedoe rond het coldcaseteam en hun boek over wie Anne Frank heeft verraden." Het onderzoek, dat een Joodse notaris als schuldige aanwees, werd achteraf door deskundigen compleet onderuit gehaald.

Voorafgaand aan de publicatie van het boek moesten media in ruil voor inzage een strikte embargo-overeenkomst tekenen. Die maakte het onmogelijk om voor publicatie kenners te bellen, waardoor het coldcaseteam her en der alle ruimte kreeg zonder tegengeluid. Des te zuurder was het dat historici er later vele gaten in bleken te kunnen schieten.

Wat volgens Ribbens ook meespeelt is het idee dat antisemitisme veelal beschouwd wordt als 'on-Nederlands fenomeen'. "De meesten zullen niet ontkennen dat het voorkomt in Nederland - iedereen kent de spreekkoren tijdens voetbalwedstrijden - maar dat het zulke serieuze vormen zou aannemen, dat doet wel schrikken."

En dus is volledige transparantie over de methodologie noodzakelijk, zegt hij, om de problemen zo precies mogelijk te kunnen situeren en aan te pakken. Want de hamvraag is: hoe heeft een enorm Amerikaans bureau nou precies de Nederlandse data verzameld? Ook Asher van der Schelde, onderzoeker bij het Nederlandse onderzoeksbureau I&O Research, wil dát graag weten.

Volgens Cooperman doet haar bedrijf al 45 jaar onderzoek naar antisemitisme. De in Nederland gebruikte vragenlijst is dan ook eerder gebruikt en zorgvuldig samengesteld, aldus de CEO. In samenwerking met het Joods Cultureel Kwartier zijn er nog wat aanpassingen gedaan, waaronder het toevoegen van een vraag over politiek en antisemitisme.

In totaal deden 2000 respondenten mee, waarvan zo'n 800 onder de veertig. Onderzoekers namen 700 interviews af door random (willekeurig) vaste telefoonlijnen in Nederland te bellen, 650 interviews gingen via de mobiele telefoon en nog eens 650 mensen vulden online de lijst met 92 vragen in.

Cooperman laat weten dat er is gekeken naar goede geografische spreiding en naar representatieve verhoudingen qua gender en religie. Naar etniciteit of herkomst werd niet gevraagd. Dat is volgens haar ook ongebruikelijk bij dit soort polls. Door random nummers te bellen, ontstaat er namelijk al een diverse groep.

De vraag wie de enquêtes precies afnam, blijft echter onbeantwoord. Schoen Cooperman werkte samen met vier Europese bedrijven die gezamenlijk een representatief panel hebben samengesteld dat in het Nederlands is geïnterviewd, aldus Cooperman. Om welke bedrijven het gaat, wil ze in het eerste gesprek niet zeggen, ze moet nagaan of dat mag.

Na drie dagen laat ze weten dat de belangrijkste Europese partner in het onderzoek, 'gezien de ongelukkige mate van politisering waarvan nu sprake is', niet wil dat hun naam bekend wordt. "We begrijpen hun bezorgdheid volledig", mailt de CEO, "omdat er meer neiging lijkt te zijn om antwoorden te debunken dan de noodzaak van Holocaust-educatie te belichten."

Dat de onduidelijkheid over wie de data heeft verzameld blijft bestaan, zorgt er volgens Asher van der Schelde van I&O voor dat het onderzoek 'omgeven blijft door vaagheid'. "Om de betrouwbaarheid te wegen, moeten ze duidelijker maken hoe de steekproef is opgebouwd en wie de dataverzameling heeft uitgevoerd." Het samenwerken met vele verschillende bureaus noemt hij 'vreemd en ongebruikelijk, ook omdat niet duidelijk wordt welke bureaus dit betreft.'

Schoen Cooperman verklaart echter dat ze vanwege de grootte van de steekproef geen gebruik wilden maken van een al bestaand panel met Nederlanders. Door een eigen panel samen te stellen, is volgens hen de steekproef breder en representatiever geworden en zou een 'potentiële bias' voorkomen zijn. Maar volgens statistiekhoogleraar Albers is dit gewoon een 'hele rare manier om een panel samen te stellen'.

Schoen en Cooperman zijn overigens niet de minsten. Douglas Schoen heeft zeventien boeken geschreven, studeerde aan Harvard en Oxford en heeft inmiddels voor 15 staatshoofden gewerkt. Carly Cooperman, zijn partner bij het bedrijf, werkte eerder voor de New Yorkse burgemeester Mike Bloomberg. Ze deed peilingen in het licht van zijn presidentiële campagne, en ontwikkelde zijn mediastrategie.

Op de website van Schoen Cooperman staat dat het bedrijf 'elke klant een win verzekert'. Zit dat objectief onderzoek niet in de weg? Cooperman: "De website moet je zien als een marketing sales pitch. De ene keer betekent een win dat we iemand gekozen krijgen, de andere keer geven we inzicht in wie klanten zijn en bij de Claims Conference gaat het om inzicht krijgen in kennis over Holocaust-bewustzijn in een specifiek land."

De Claims Conference wil niet zeggen wat voor bedrag ze voor het onderzoek betaalden, alleen dat zo'n onderzoek slechts een klein deel van hun begroting beslaat. Wel zeggen ze dat Schoen Cooperman het 'voor de kostprijs' heeft gedaan omdat ze veel belang hechten aan het onderwerp.

Er zijn, los van het gebrek aan transparantie over wie de steekproef uitvoerde, nog een aantal punten waarop de methodologische schoen blijft wringen. Om op basis van een peiling conclusies te trekken over de gehele Nederlandse bevolking, moet de steekproef namelijk een goede afspiegeling zijn van de bevolkingssamenstelling.

Bijvoorbeeld in opleidingsniveau. Uit de enquête blijkt dat 34 procent van de veertigminners 'ja' heeft ingevuld op de in het Nederlandse gestelde vraag of ze op dit moment zijn ingeschreven op de universiteit. Dat percentage ligt onder de totale bevolking veel en veel lager, rond de paar procent. Studenten zijn dus 'oververtegenwoordigd', aldus Albers.

Maar dat valt volgens Carly Cooperman mee. Ze denkt dat onder universiteit een 'brede paraplu' aan hogere opleidingen valt omdat de categorie door respondenten 'vrij geïnterpreteerd' is, maar dat vindt Albers onwaarschijnlijk. Wellicht wreekt zich hier een cultuurverschil, in de VS wordt veel meer hoger onderwijs 'university' genoemd. Overigens blijft ook als andere vormen van hoger onderwijs in Nederland worden meegenomen, de categorie studenten fors oververtegenwoordigd.

Een tweede punt is de non-respons, waarover onduidelijkheid blijft bestaan. Wie lukraak vaste lijnen en mobiele nummers belt met een forse vragenlijst, krijgt waarschijnlijk vaak nul op rekest - wat non-respons heet. Voor betrouwbaar onderzoek moet je de redenen achter de non-respons weten, want het kan om tijdgebrek gaan maar er kan ook meer aan de hand zijn.

Voor de telefonische interviews heeft Schoen Cooperman geen responscijfers beschikbaar op dit moment. De responsratio bij de online interviews was 60 procent en bij de telefonische interviews is dat 'lager', zeggen ze wel. Maar ze zijn er zeker van dat de validiteit van de onderzoeksresultaten niet onderuit haalt.

Albers zegt: "Dit is niet vaag, dit is 100 procent onwetenschappelijk. Als je zeker weet wat je uitkomsten zijn, hoef je het hele onderzoek niet te doen. Elke keer als ze iets proberen uit te leggen maken ze de problemen van dit onderzoek nog groter…" is zijn oordeel na het bestuderen van alle antwoorden die Schoen Cooperman Trouw gaf.

Ten slotte hekelt Albers nog het 'creatief optellen' van de 6 procent veertigminners dat de Holocaust een 'mythe' noemt en de 17 procent die vindt dat 'het aantal mensen dat is omgekomen sterk overdreven is' tot de conclusie dat 23 procent van Generatie Z en de millennials 'de Holocaust ontkent of verdraait'.

Vanwege dat woordje 'of', klopt het, vindt Cooperman. Vraag 42, waar de antwoorden uit voortkomen, is daarbij gebaseerd op een internationale definitie van Holocaustontkenning en -vervorming, door de Anti-Defamation League, de bekendste organisatie die antisemitisme bestrijdt, voert ze aan.

"Het gaat hier om zulke andere dingen", zegt ook Van der Schelde van I&O. "Ik zou dit zelf niet gedaan hebben." Albers vindt dit 'op één hoop gooien' vooral problematisch omdat je bij de mensen die zeggen dat het aantal vermoorde Joden overdreven is, niet weet of dat uit gebrek aan kennis is, of een bewuste verdraaiing van de historische feiten.

Van der Schelde concludeert: "Het blijft zo dat het zou kunnen dat de uitkomsten kloppen, maar dat kan op basis van dit onderzoek nu niet worden gezegd. En dat is erg spijtig, zeker voor een belangrijk en gevoelig onderwerp als dit." Albers pleit voor een Nederlands onderzoek. "Voor een relatief klein bedrag weet de overheid binnen een maand of twee hoe het zit."

Historicus Ribbens heeft het nog eens overdacht, allemaal. "Het is op een vervelende manier ironisch: er is een situatie ontstaan waarin het onderzoeksbureau transparantie niet meer aandurft uit angst voor verder 'politiseren'. Maar daardoor geven ze juist zuurstof aan twijfels over het onderzoek."