We trappen er massaal in

De aarde warmt op, het weerbeeld wordt extremer, de ijskappen smelten en de zeespiegel stijgt, allemaal nadelige gevolgen van de globale opwarming. We horen en lezen er regelmatig over in het nieuws of tijdens wereldwijde congressen.
 Dan is er trouwens ook een flink aantal bewoners van deze aarde, die de opwarming van de aarde keihard ontkennen ondanks alle wetenschappelijke rapporten die de opwarming onderbouwen.

Maar rapporten, cijfers of statistieken over de voordelen van de globale opwarming lezen we echter veel minder. Zo las ik recent een onderzoek, dat zo’n voordeel aantoonde met statistiek en onderbouwde dat de opwarming van de aarde en met name de wereldzeeën gelijke tred houdt met de afname van het aantal zee-piraten.

Statistiek

 We trappen er massaal in! We zien twee lijnen op een grafiek keurig synchroon omhoog gaan of - in het geval van de piraten - een gelijke trend in tegengestelde richting en we zijn al snel overtuigd dat, A dus B veroorzaakt.

Helaas, de wereld is iets complexer. Als het echt zo simpel was, dan zouden ijsverkoop én het aantal mensen dat in een zwembad verdrinkt beiden rechtstreeks worden aangestuurd door eenzelfde mysterieuze macht: de zomervakantie.

Maar laten we eerlijk zijn, als het aantal verkochte ijsjes stijgt tegelijk met het aantal verdrinkingen, betekent dat waarschijnlijk gewoon dat het warm is en iedereen verkoeling zoekt bij het water. Een ijsje, hoe groot ook, duwt niemand het zwembad in. Het verband is er, maar het is niet persé een oorzakelijke verband. Er is duidelijk een derde variabele in het spel die het verhaal spannend maakt, zoals de temperatuur.

Lijnen die samen dansen op je grafiek zijn niet per se partners in een oorzakelijk tango. Dus bij de volgende dramatische krantenkop over koffieconsumptie en hartritmestoornissen: neem je kopje met een korreltje zout, en vraag je af of correlatie ook echt causaliteit is, of dat er gewoon weer een derde, onzichtbare danspartner meedoet.

Een voorbeeld uit de praktijk

 Het (b)lijkt dat in een gemeente in buurten met meer groenvoorzieningen gemiddeld een lager criminaliteitscijfer scoren. Men zou kunnen concluderen dat meer bomen en parken automatisch de criminaliteit verlagen. Maar het zou ook kunnen dat rijkere buurten (die vaak toch al veiliger zijn) meer geld investeren in groen, of dat er een derde factor, zoals sociale cohesie of meer toezicht, een rol speelt. Als beleidmakers direct investeren in meer parken om criminaliteit te bestrijden, zonder deze factoren te onderzoeken, kan dat leiden tot teleurstellende of zelfs averechts werkende resultaten, want meer parken kunnen zomaar leiden tot meer hangjongeren of hangouderen die tot overlast leiden.

Causaal verband versus correlatie zit diep gebakken in ons mensen

 Het blijkt, door de eeuwen heen, voor veel mensen moeilijk onderscheid te maken tussen een causaal verband en een statistisch significante correlatie. Het zou zo maar kunnen verklaren waarom er regendansen zijn, of waarom er geofferd wordt voor een goede oogst. Het is niet onwaarschijnlijk dat iemand een willekeurige activiteit gedaan heeft (zoals dansen) waarna er iets positiefs gebeurde (regen!) met vervolgens de hoop of verwachting dat het herhalen ervan opnieuw leidt tot het zelfde gevolg. Ook oude ‘geneeskunde’ waarbij de vreemdste zaken geprobeerd zijn, zijn soms traditie geworden, omdat het ‘gewerkt’ heeft. Maar ook dit was vaak toeval: omdat je eerst A deed en daarna B gebeurde betekent niet dat A ook invloed heeft gehad op B.

Trap jij er zelf nooit in? Uit onderzoek tijdens de Corona pandemie bleek dat er een correlatie bestond tussen mensen met een vitamine D tekort en het Corona sterftecijfer. Toen dit bekend werd lazen veel mensen dit als een argument om vitamine D pillen te gaan slikken. En nu jij dit leest lijkt dat misschien:”best logisch.” Maar de onderzoekers gaven expliciet aan dat ze geen reden zagen om meer vitamine D te slikken. Er was gewoon een correlatie aangetroffen, meer niet. Die laatste nuance van de onderzoekers heeft het in het nieuws echter niet gered en zo er werd toch heel veel meer vitamine D gekocht.

Voor de gek gehouden door willekeurigheid

 In zijn schitterende boek ‘Fooled by randomness’ schrijft Taleb (vooral bekend van The Black Swan) precies over dit onderwerp: mensen hebben sterk de neiging verbanden te zien, ook als die er niet zijn en hebben er dus andersom moeite mee te accepteren dat gebeurtenissen willekeurig optreden. We zeggen niet voor niets ‘alle goede dingen in drieën’ en niet alleen in Nederland, maar wereldwijd. Ook dat suggereert een verband dat er niet is. Taleb refereert in zijn boek naar het (schitterende!) werk van Kahnemann die onderzoek deed naar de ‘Narrative Fallacy’: de valkuil van het narratief, waarbij complexe zaken versimpeld worden door een niet bestaand causaal verband te suggereren. Veel mensen accepteren een makkelijke (maar onjuiste!) uitleg boven een ingewikkelde nuance. In de politiek heet dit verschijnsel populisme. De correlatie tussen immigratie en criminaliteit is hier een veelgebruikt voorbeeld van. Is dit een ‘overduidelijke causale relatie’ of is hier meer nuance in te maken? 

Invloed op ‘willekeurigheid’

 Wat ‘we’ dus vaak vergeten is dat veel gebeurtenissen, activiteiten of verschijnselen een zekere willekeurigheid volgen. Dit geldt bijvoorbeeld voor: het weer, je humeur, je gezondheid, het raakschieten van een penalty, de opbrengst van het land, het krijgen van kinderen, de kwaliteit van je werk etc etc.  Toch menen veel mensen op zowat alles wat hiervoor genoemd is ‘invloed’ te kunnen uitoefenen. En als die invloed een verbetering laat zien heeft het ‘dus’ gewerkt. En ook dat, zo voel je ondertussen aan, is zeker niet altijd waar. Een griepje duurt een paar dagen en ondanks alle goede tips; een griepje moet je uitzieken voor zo lang als het duurt. Gelukssokken bij penaltyschieten helpen niet.

Een aardig voorbeeld voor ‘ingebeelde invloed’ is een onderzoek van Kahnemann waar hij keek naar de prestaties van piloten en de invloed van hun leidinggevenden op die prestaties. Leidinggevenden meenden zeer overtuigend dat bestraffen van een slechte dag werkt, maar belonen van een goede werkdag niet. Want als ze een piloot op hun donder gaven als ze een slechte dag hadden deden ze het daarna écht beter. Maar als ze beloonden voor een goede dag deden ze het de volgende dag niet opnieuw zo goed, vaak juist slechter! Kahnemann toonde aan dat de prestaties van piloten redelijk ‘random’ verdeeld zijn: soms hadden ze een goede dag, soms een slechte. Gewoon, zoals jij een ik. Na een slechte volgt vaak een betere en na een hele goed vaak een minder goede. Een donderpreek of een aai over de bol had binnen het onderzoek van Kahnemann nauwelijks invloed! 

Hoe weet je dan wel of A invloed heeft op B?

 Maar hoe werkt dat dan in de wetenschap: hoe stel je vast dat A en B niet alleen een duidelijke correlatie hebben, maar dat er daadwerkelijk een causaal verband is? Dat doe je door (blinde) testen met een controlegroep: je deelt een groep in twee gelijke delen; stelt een groep bloot aan middel A en de ander niet (of bijvoorbeeld aan een placebo). Vervolgens onderzoek je de ontwikkelingen binnen de twee groepen van het effect B dat je wilt meten om vast te stellen of middel A effect heeft op B. Deze methode haalt overigens ook feilloos de eerder beschreven willekeurigheid van verschijnselen naar boven. Want als een gebeurtenis voldoende willekeurig is, is de invloed van middel A en de placebo even sterk.

Conclusie

 Correlatie kan verleidelijk zijn — al die mooie grafieken die suggereren dat als A gebeurt, B vanzelf volgt. Maar laat je niet misleiden: wat samen opgaat, betekent dus niet dat het één het ander veroorzaakt. Er zijn veelal dus andere variabelen in het spel, of het is gewoon toeval zijn. 

Dus voordat je conclusies trekt op basis van data, stel jezelf altijd de kritische vraag: "Is er écht sprake van oorzakelijk verband, of zie ik gewoon twee dingen die toevallig tegelijk gebeuren?"

Een goede en onderbouwde grafiek liegt niet, maar je interpretatie kan dat zeker wel doen. Dus laat je logisch verstand het winnen van je opwinding over die perfecte lijn en de correlatie.

Relevantie voor riskmanagers en beleidsmakers
“Nou en?” Zou je wellicht denken: “Wat moet ik hiermee?” Vanuit een riskmanagement gedachte is het goed te weten dat het verschijnsel bestaat.
Veel risico’s worden geschat of gemeten. Als er te weinig data beschikbaar is (of als niemand de moeite neemt data te zoeken) worden risico’s geschat op basis van het persoonlijke gevoel van de aanwezigen. Als er onvoldoende zicht is op het verschijnsel van correlatie versus causaliteit zouden inschattingen van risico’s flink mis kunnen lopen.

Ook beleidsmakers (bijvoorbeeld bij HR) doen er goed aan om bij implementatie van regels goed in ogenschouw te nemen wat de data zegt (bijvoorbeeld over belonen en bestraffen) voordat een systematiek aangepast wordt.

En in het minste geval helpt  je deze kennis van een aantal vooroordelen af. Schiet dus ook niet direct in de actie door maatregelen te adviseren of op te pakken, voordat je  zeker bent van de causale verbanden.

En pas deze zomer nog een beetje op voor grote ijsjes aan de rand van een zwembad. Voor je het weet lig je erin. 

Rob van Erp | http://linkedin.com/in/rob-van-erp-5b0936
Universitair hoofddocent, trainer, spreker en Chief Risk Officer bij Stedin

 Wim Pauw | http://linkedin.com/in/wimpauw
Adjunct Professor /universitair hoofddocent, trainer, adviseur en partner bij Gilde van Adviseurs