Onderzoek bewijst het, dus…

“Wat we doen heeft effect, het levert gewenste resultaten op. Echt, uw bedrijfsresultaten worden er zoveel beter van”: zegt de adviseur en vervolgt, “onderzoek bewijst het. Ik heb een whitepaper voor u”. Grote kans dat de klant het whitepaper in ontvangst neemt en niet leest. Voldoende om te weten dat onderzoek het heeft bewezen, toch?

Door Joost Ardts

Magische woorden

Ik heb niks tegen whitepapers om de effectiviteit van een adviesdienst, organisatieverandering of nieuwe werkmethode aan te tonen. In tegendeel. Wel loop ik helaas vaak tegen whitepapers en onderzoeken aan die worden opgevoerd als het bewijs voor de veronderstelde relatie, maar die de belofte niet waar kunnen maken.  Zo laten deze studies nogal eens zien dat er een statistisch significant verband bestaat, maar ontbreekt het bewijs dat het om een causaal verband gaat.

Omgekeerd

Oorzaak en gevolg is niet aangetoond, en de relatie zou dus ook omgekeerd kunnen zijn. Ter illustratie: de aanname is dat opleiden van medewerkers zorgt voor betere bedrijfsresultaten en een positief verband tussen beiden wordt al vlug zo opgevat. Maar dat er een verband is zegt nog niks over de causaliteit. Dat zou ook omgekeerd kunnen zijn: goede bedrijfsresultaten geven financiële ruimte om medewerkers opleidingen te laten volgen. De relatie tussen klanttevredenheid en medewerker tevredenheid is nog zo’n voorbeeld. Dat een hoge medewerkerstevredenheid zorgt voor een hoge klanttevredenheid is een gewenste uitkomst, maar zonder een onderzoeksopzet waarbij met meerdere meetmomenten in de tijd wordt gewerkt en waarbij de onafhankelijke variabele, in dit geval medewerkerstevredenheid, eerder is gemeten dan de afhankelijke variabele klanttevredenheid, kan causaliteit nog niet voldoende aangetoond worden. En dat is precies waar het vaak aan ontbreekt.

Meetmomenten

Ter illustratie, een internationaal meta-onderzoek naar de relatie tussen HR-beleid en bedrijfsprestaties heeft zeer veel onderzoeken onder de loep genomen en vastgesteld dat slechts vijf procent meerdere meetmomenten hanteerde. En nog interessanter, wanneer er wel sprake is van meerdere meetmomenten laat onderzoek soms de afwezigheid van een verband zien of blijkt het verband veel minder sterk dan in een cross-sectioneel onderzoek (onafhankelijke en afhankelijke variabelen gemeten op hetzelfde moment). En als ongeveer vijfennegentig procent cross-sectioneel is, geeft dat toch te denken.

Kip en ei

Kortom, de woorden ‘whitepaper’, ‘onderzoek’ en ‘bewijs’ geven al vlug het gevoel dat het goed zit, dat het wel moet kloppen, maar deze magische woorden kunnen onvoldoende zijn. Het managementvakgebied houdt zich nu eenmaal bezig met vraagstukken waarin veel factoren meespelen en de factor tijd van belang is, dus is voor het ontwarren van deze kip-en-ei effecten een gedegen onderzoeksopzet nodig.

Blog gepubliceerd in Management & Consulting – 11-03-2019