Door Davide: 515 mensen, van de 17.000.000...
Dat de steekproef zo klein is in verhouding tot de bevolking doet er verrassend weinig toe.
Stel dat je een grote ton vol gekleurde pingpongballen hebt in vijf kleuren (die van de antwoorden in figuur 4 bijvoorbeeld), zeer grondig door elkaar gehusseld. Hoeveel ballen moet je blind trekken om een goed beeld van de verhoudingen tussen die kleuren te krijgen? En als het geen ton maar een zeecontainer vol is? Of een olietanker? Als de ballen maar werkelijk grondig door elkaar gehusseld zijn is de kans dat je bijvoorbeeld een rode bal trekt gelijk aan het percentage rode ballen, of je nou een ton of een olietanker als basis neemt. Zolang het totaal aantal ballen niet zo klein is dat het trekken van ballen voor de steekproef de verhoudingen noemenswaardig beïnvloedt is het alleen het aantal getrokken ballen dat bepaalt hoe betrouwbaar het resultaat is, niet het totaal aantal ballen. Dat kunnen er 100.000, 17.000.000 of 7.000.000.000 zijn zonder dat de betrouwbaarheid daardoor verandert.
Dit is concreet die betrouwbaarheid: bij een steekproefgrootte van 515 weet je voor 95% zeker dat je uitkomsten niet meer dan 4,32% afwijken van de werkelijkheid. Dat klinkt ingewikkeld met twee percentages, maar het komt erop neer dat als je dezelfde steekproef heel vaak herhaalt, en niet steeds dezelfde 515 trekt maar dat steeds opnieuw toevallig doet, dat dan in 95% van die steekproeven het resultaat hooguit 4,32% afwijkt van de werkelijkheid, en 5% gaat daar overheen. Hier is een online calculator voor steekproeven waar je die waarden mee kan bepalen:
http://www.steekproefcalculator.com/steekproefcalculator.htmDaarmee is nog niet aangetoond dat dit onderzoek deugt. Die goed door elkaar gehusselde ballen komen overeen met het werkelijk willekeurig kiezen van de ondervraagde mensen uit de bevolking. Dat is helemaal niet zo eenvoudig als je geen toegang hebt tot de basisadministratie van de overheid en geselecteerde mensen kan verplichten mee te doen, en we weten niet hoe goed dit is gedaan.
De kwaliteit van de vragen en antwoordmogelijkheden is ook belangrijk. Figuur 6 is een weergave van antwoorden op de vraag: "hoeveel vertrouwen heeft u erin dat de volgende instanties veilig met uw gegevens omgaan?". De mogelijke antwoorden per instantie zijn "helemaal mee eens" t/m "helemaal mee oneens". Sinds wanneer is "eens" of "oneens" een antwoord op een vraag die met "hoeveel" begint? "Hoeveel geld zit er in je portemonnee?" "Oneens!". Dat slaat nergens op. De geënqueteerden zullen vermoedelijk "eens" als "veel vertrouwen" en "oneens" als "weinig vertrouwen" hebben geïnterpreteerd, maar strikt genomen is de tegenovergestelde interpretatie gelijkwaardig, ze zijjn namelijk allebei totaal onzinnig. Weet de onderzoeker dan echt zeker dat iedereen het interpreteert zoals hij aanneemt? Hoe zou je dat zeker moeten weten zonder dát weer te onderzoeken?
Als ik een vraag in een enquete tegenkom waar ik onmogelijk een zinvol antwoord op kan geven haak ik af, dan kan ik geen antwoord geven dat mijn mening weergeeft (en zoals online enquetes meestal zijn opgezet kan ik daarmee de volgende vraag niet eens meer bereiken). Dat levert een selectie op van mensen die over onzin heenlezen en zelf betekenis invullen die er feitelijk niet staat. Hoe groot is die groep? Wat doet dat met het resultaat? Ook dat moet je onderzoeken om het te weten. Het is handiger om vragen en antwoorden meteen goed te formuleren.
De gelinkte PDF noemt in een voetnoot het eigenlijke onderzoek (zonder URL) maar bevat zelf geen gedetailleerd verslag. De slordigheid kan bij het overnemen van resultaten ontstaan zijn. Er staat niets in over hoe het onderzoek eigenlijk gedaan is. Zelfs dat aantal van 515 ondervraagden kan ik er niet in vinden, laat staan dat foutmarges genoemd worden, of een verantwoording van hoe de ondervraagden geselecteerd zijn en wat dat voor de betrouwbaarheid betekent.
Wat moet je met zo'n rapport? Het niet blind als waar aannemen maar als een indicatie. Mogelijk zit er wat in, mogelijk ook niet, je beschikt gewoon niet over de informatie om er wat zinnigs over te zeggen zonder het eigenlijke verslag te lezen, en waar dat gevonden kan worden, als het al publiek is, weet ik niet. Het onderzoek is uitgevoerd door TNS NIPO, een marktonderzoeksbureau. Daar zitten mensen met verstand van statistiek en onderzoek waarvan je enerzijds zou moeten kunnen verwachten dat ze hun vak verstaan, maar anderzijds doet wat me opviel aan figuur 6 vermoeden dat dat beeld te optimistisch is.
@redactie: Wees alsjeblieft voorzichtig met formuleringen als "zo blijkt uit onderzoek", het is maar de vraag of er werkelijk zoveel uit blijkt, en door het zo te formuleren impliceer je dat de redactie het onderzoek als betrouwbaar beoordeelt, terwijl je vermoedelijk alleen maar erover bericht zonder de resultaten te hebben geverifiëerd. De formulering "zo suggereert onderzoek" is dan een stuk realistischer.