Item gefilterd op datum: mei 2014

Door contact tussen de experimentele en controlegroep sijpelt de interventie soms door naar de controlegroep. De twee groepen vermengen zich, (contamination)

In criminologisch onderzoek komt altijd voor dat respondenten afhaken tijdens het onderzoeksproces. Uitval wordt ook wel experimentele mortaliteit genoemd. Uitval is selectief, door
uitval treden selectie effecten op.

Met selectie wordt niet anders bedoeld dan dat de twee groepen niet aselect zijn samengesteld. Het beschrijft de situatie die we bij quasi-experimenteel onderzoek hebben.

• Instrumentatie is een bedreiger die met name kan intreden bij onderzoek dat langere tijd loopt. Deze problemen komen voort uit wat wij ‘instrumentatie’ noemen: als de observatiemethode van betekenis verandert in de loop van het onderzoek, kan dat het waargenomen effect veroorzaken.
  
  
• Onder instrumentatie vallen ook de vloer- en plafondeffecten. Hiermee wordt bedoeld dat effecten van de interventie niet aan te tonen zijn omdat respondenten bijv. al maximaal scoren waardoor een verbetering niet aan te tonen is.

We spreken van testeffecten als de waargenomen verandering op de afhankelijke variabele niet door de interventie is veroorzaakt, maar door de voormeting zelf.

We spreken van rijping als het waargenomen effect niet veroorzaakt is door de interventie, maar door een (ander, autonoom) ontwikkelingsproces binnen de respondenten.

We spreken van een history-effect als gelijktijdig met de interventie iets heeft plaatsgevonden waardoor de respondenten beïnvloed zijn. Wat het waargenomen effect mede heeft veroorzaakt.

Deze betreft de vraag of de gevonden samenhang statistisch significant is. In z’n algemeenheid kunnen we hierbij 2 typen fouten maken. Als de nulhypothese waar is en we beslissen deze aan te nemen is dit goed, dit geldt ook andersom. Maar;

• Als de nulhypothese waar is, en we beslissen de alternatieve hypothese aan te nemen, nemen wij de verkeerde beslissing. D1e kans op deze fout bepalen we als onderzoeker zelf; dit wordt de α of type-I-fout genoemd. Deze hebben we zelf bepaald door te beslissen welk risico we durven te lopen op een foute uitspraak. De juiste beslissing is gelijk aan 1 – α
• Als de alternatieve hypothese waar is en we besluiten H0 te handhaven dan is de kans daarop β en een type-II-fout. Hoe groot β is, hangt af van allerlei factoren, zoals α, de grootte van de steekproef en het werkelijke verschil tussen de grootheden.
• We doen telkens conditionele uitspraken: als H0 waar is, dan is de kans een fout te maken… We zeggen nooit dat de kans om een juiste beslissing te nemen x% is. Omdat we niet weten of H0 of H1 waar is, elke uitspraak is conditioneel. De kans … op een juiste uitspraak is dus onzin.
• Het kan verder zijn dat we een te kleine steekproef hebben om aan te tonen dat er een verband bestaat tussen X en Y.
• Te groot kan ook. Als de steekproef fors genoeg is, wordt ieder verband significant.
• Ruis in de data kan zorgen dat een bestaande samenhang verdwijnt.

Assumpties van de toetsingsprocedure kunnen zijn geschonden, gegevens zijn dan bijv. niet normaal verdeeld terwijl dit wel is aangenomen.

Validiteitskwesties hebben verband met de onderzoeksopzet. Dat wil zeggen dat het ene soort onderzoeksopzet een betere validiteit van het ene type garandeert dan het andere soort onderzoeksopzet.

• Dit is de “ideale situatie”, er is sprake van door de onderzoeker toegediende interventie, een experimentele en controlegroep, tevens door de onderzoeker ingedeeld. Er is een voor en nameting -> klassiek experiment.
  
  
• Doorgaans worden de groepen op grond van toeval ingedeeld.
• Omdat we willen dat er geen systematische verschillen tussen de experimentele en controlegroep zijn is er sprake van een indeling at random of aselecte indeling.

• Om het effect van interventie te isoleren, het alleen verschillen op interventie – randomiseren we de indeling van groepen. Deze aselecte indeling geeft de garantie dat de groepen niet-systematisch verschillen  ze zijn statistisch equivalent – verschillen zijn op grond van toeval tot stand gekomen, de enige systematische verschillen zijn er vanwege de interventie.
• We hebben hier dus een situatie bereikt waar de verandering in de experimentele groep mag worden afgezet tegen de verandering in de controlegroep. Doordat we observatie-eenheden aselect aan de onderzoeksgroepen toewijzen, de zogenaamde randomisatie, zijn groepen vergelijkbaar.
• Het schematische ontwerp van een experiment:
• E1… X … E2 met controlegroep: C1 …. ….. C2
• Aangezien de verandering in de controlegroep (C2 – C1) de verandering is die in de experimentele groep zou zijn opgetreden als daar de interventie niet had plaatsgevonden, is de verandering in de experimentele groep min die van de controlegroep het netto-effect van de interventie:
• Netto-effect X = (E2 – E1) – (C2 – C1)
• De verandering in de experimentele groep is de bruto-verandering (de verandering die men sowieso ondergaan zou hebben plus de verandering ten gevolge van de interventie).
• De verandering in de controlegroep is de verandering die men sowieso ondergaat, en het verschil tussen die twee is de netto-verandering.
• Bij conclusies trekken geldt: Humility is a virtue, te snelle klakkeloze acceptatie van onderzoeksbevindingen kan leiden tot niet snel terug te draaien gevolgen.