Wij cureren kwaliteitsvolle informatie

Abstract - Betrouwbare en kwaliteitsvolle informatie over neuroscience vinden in deze tijden van informatietsunami is een uitdaging en een heel zoekproces op zich. De grote hoeveelheid aan informatie die in onze wereld beschikbaar is vormt een probleem en houdt een aantal risico's in, waarvan je je bewust moet zijn.

Gevaren informatietsunami

De overvloed aan informatie over het brein kan je verleiden tot cherry picking. Dit selectief winkelen wil zeggen dat je een discussie-tactiek kiest, waarbij je bewijzen, uitspraken, feiten of vergelijkbare situaties verzamelt en selectief noemt om je standpunt te verdedigen.

Daarbij verzwijg je moedwillig gegevens of andere gevallen die jouw standpunt zouden kunnen ontkrachten, in een breder perspectief plaatsen of nuanceren. Dit is informatiemanipulatie. Niets nieuws, denk je. Inderdaad. Je herinnert je zeker situaties waar cijfers op een manier gebruikt werden om een punt te doen. 

Om het selectief winkelen tegen te gaan kan je je focussen op meta-analyses en systematic reviews, die alle beschikbare informatie samenbrengen en wegen. Aan jou om de informatie genuanceerd weer te geven.

Betrouwbaarheid van informatie

Een belangrijke stap in het gebruik van wetenschappelijke data is om na te gaan of de artikels betrouwbare informatie opleveren. De wetenschappelijke publicaties, die we gebruiken, controleren we op een aantal voorwaarden en kwaliteitscriteria. 

• Effectgrootte

Een eerste onderzoek in de sociale wetenschappen vormt geen bewijs, hoogstens een indicatie.

Vooral in de sociale (en medische) wetenschappen worden veel vals positieve resultaten gevonden, omdat men zich vaak baseert op statistische technieken. Hier zijn de laatste tijd heel wat kritische publicaties over verschenen.

Een van de oplossingen bestaat erin vooral te kijken naar ‘effect sizes’ en niet alleen meer naar ‘statistical significance’, wat in het echte leven (echte cijfers) vaak niets voorstelt/de. De score van een groep mensen die bijvoorbeeld zijn loontevredenheid 7,3/10 scoort tegenover een groep die dit 7,5 scoort, kan een ‘statistisch significant’ verschil zijn, maar in werkelijkheid zal dit verschil geen tastbaar ander resultaat opleveren.

• Aantal deelnemers

Zijn er voldoende mensen in het onderzoek betrokken: hoe lager het aantal deelnemers, hoe lager de statistische ‘kracht’.

M.a.w. hoed je om te gaan extrapoleren of om dit als wetenschappelijk vaststaand te beschouwen. Zogenaamd ‘single case’ onderzoek kan nuttig zijn om bijvoorbeeld bij één individu na te gaan of een behandeling werkt, maar dat maakt de behandeling niet algemeen geldend – daarvoor is meer en grootschaliger onderzoek nodig.

• Onderzoeksmethoden

Kijk naar de onderzoeksmethoden: type onderzoek (RCT of Randomized Control trial, longitudinaal, kwalitatief…), werd gewerkt met een controlegroep, labo-onderzoek, met studenten, met volwassenen, veldonderzoek enz.

Dit vergt wat opleiding en een zin voor kritisch denken – inclusief je verzetten tegen de natuurlijke neiging om bevestigende evidentie meer gewicht te geven (ik zoek naar die uitkomsten die mijn overtuiging bevestigen en negeer de andere) en cherry picking (ik haal enkel die artikels aan die in mijn kraam passen).

• Replicatie 

Doen andere onderzoekers (elders ter wereld) het onderzoek opnieuw en komen zij tot dezelfde bevindingen? Hoe meer replicaties, hoe groter de kans op deugdelijk bewijs.

• Systematische reviews

Systematische reviews zoals meta-analyses, waarbij de gegevens van deugdelijke studies worden verzameld zijn nog beter.

Maar ook hier moet je alert blijven: zijn de inclusiecriteria juist, zijn de statistische methodes juist, zijn de mogelijke verklaringen volledig ? Je kan immers op basis van data verschillende ‘interpretaties’ doen, daar zit hem vaak het probleem. Niet de data maar de uitleg ‘achteraf’ is vaak twijfelachtig.

• Wetenschappelijke conclusies t.o.v. andere wetenschappen

Staan de bevindingen en conclusies haaks op de wetenschappen die ‘hardere’ gegevens opleveren of niet?  

De basis van alles vormt de fysica, vervolgens de chemie (bouwt verder op fysica), dan de biologie (bouwt verder op chemie en fysica)  en de psychologie (moet noodzakelijkerwijze voortbouwen op biologie, wij zijn immers biologische wezens met een aangeboren natuur).

Als voorbeeld kunnen we een van de uitgangspunten van de psycho-analyse nemen, namelijk dat we als een ‘onbeschreven blad’ worden geboren en dat we alles leren. De eerste drie jaar zijn daarbij belangrijk, vooral voor trauma’s. Deze veronderstellingen zijn ondertussen weerlegd en de bewijzen dat wij beschikken over een aangeboren menselijke natuur (instincten) zijn ondertussen overweldigend. Of erger nog, de assumpties van Jung die onder meer uitgaan van het bestaan van een parallelle wereld waarin archetypes heersen en waar wij op onverklaarbare manier toch (onbewuste) kennis hebben, maar ook het geloof in het paranormale zit verweven in zijn Jungiaanse types.

• Spaarzame verklaringen

Zoekt men naar de meest ‘spaarzame verklaringen’?

Spaarzaam betekent steunend op zo weinig mogelijk assumpties. Bijvoorbeeld, in de evolutietheorie is de meest spaarzame verklaring voor natuurlijke selectie dat het zich afspeelt op niveau van de genen (die proberen te overleven in de genenpoel). Meer complexe verklaringen zoals ‘goed voor het overleven van een soort’ vergden veel meer assumpties en complexiteit en blijken minder verklarende kracht te hebben dan de spaarzame verklaring dat het zich op niveau van de genen afspeelt.

Complexe verklaringen (die steunen op veel assumpties) vergen meestal uitzonderlijk sterk bewijs.

Niet alle wetenschappelijke publicaties, die we gebruiken, moeten aan alle voornoemde criteria beantwoorden. Het is afhankelijk van ons doel en waarom we de informatie nodig hebben. We zorgen er dan wel voor om hierover transparant te communiceren. 

Omgaan met data

Wij toetsen zoveel als mogelijk de informatie af aan de kwaliteitscriteria en voorwaarden van goede wetenschappelijke publicaties. Maar ... 

Rol van de adviseur

De informatie uit meta-analyses alleen brengt geen oplossing voor complexe problemen. Complexiteit vraagt om meer dan eenvoudige standaardoplossingen, die je van de ene situatie naar de andere kopieert. Rationalisatie van het handelen kan nooit het enige criterium zijn bij interventies.

Het succes van een interventie is slechts voor een kleine 15% te wijten aan de evidence-based methodes. Het heeft vooral te maken met onze responsiviteit als adviseur (35%) en van de klant zelf (40%). Het neemt niet weg dat het wél belangrijk is om de juiste wetenschappelijke informatie te selecteren.

Ecosysteem van de klant

Ook de informatie die de klant aanlevert is op zich alleen niet zaligmakend. Deze data kunnen gekleurd zijn door de verwachtingen van de klant, door sociale wenselijkheid, ego, zijn relatie met zijn medewerkers en met ons. Dikwijls geeft deze informatie geen eenduidig beeld van de situatie. Wij kunnen er dus geen heldere en eenduidige handelswijze op baseren.

Daarom kaderen we de informatie in het ecosysteem van onze klant. Wij lezen a.h.w. de betekenis ervan door de interactie van het systeem met het groter geheel en met de kleinere subsystemen. De coherenties in het systeem versterken de betekenis. Onze taak bestaat erin de incoherenties op te sporen. Incoherenties zijn de energievreters van het systeem. Aan ons om onze klant te helpen om deze weg te werken, het systeem te harmoniseren en af te stemmen op de noden van het ecosysteem.

Besluit

Wij spelen een belangrijke rol in de evaluatie van de informatie en het zorgvuldig en zo objectief mogelijk gebruik ervan.

Het komt er niet op aan om ons grote gelijk te halen. Het is ons erom te doen om op de meest efficiënte manier en in samenwerking met onze klant betrouwbare en onderbouwde interventies uit te voeren.

Bronnen

Neuroscience for Learning and Development, Stella Collins, 2019

https://nl.wikipedia.org/wiki/Evidence-based_practice: geraadpleegd op 12-11-2021