Deze betreft de vraag of de gevonden samenhang statistisch significant is. In z’n algemeenheid kunnen we hierbij 2 typen fouten maken. Als de nulhypothese waar is en we beslissen deze aan te nemen is dit goed, dit geldt ook andersom. Maar;

• Als de nulhypothese waar is, en we beslissen de alternatieve hypothese aan te nemen, nemen wij de verkeerde beslissing. D1e kans op deze fout bepalen we als onderzoeker zelf; dit wordt de α of type-I-fout genoemd. Deze hebben we zelf bepaald door te beslissen welk risico we durven te lopen op een foute uitspraak. De juiste beslissing is gelijk aan 1 – α
• Als de alternatieve hypothese waar is en we besluiten H0 te handhaven dan is de kans daarop β en een type-II-fout. Hoe groot β is, hangt af van allerlei factoren, zoals α, de grootte van de steekproef en het werkelijke verschil tussen de grootheden.
• We doen telkens conditionele uitspraken: als H0 waar is, dan is de kans een fout te maken… We zeggen nooit dat de kans om een juiste beslissing te nemen x% is. Omdat we niet weten of H0 of H1 waar is, elke uitspraak is conditioneel. De kans … op een juiste uitspraak is dus onzin.
• Het kan verder zijn dat we een te kleine steekproef hebben om aan te tonen dat er een verband bestaat tussen X en Y.
• Te groot kan ook. Als de steekproef fors genoeg is, wordt ieder verband significant.
• Ruis in de data kan zorgen dat een bestaande samenhang verdwijnt.

Assumpties van de toetsingsprocedure kunnen zijn geschonden, gegevens zijn dan bijv. niet normaal verdeeld terwijl dit wel is aangenomen.

Validiteitskwesties hebben verband met de onderzoeksopzet. Dat wil zeggen dat het ene soort onderzoeksopzet een betere validiteit van het ene type garandeert dan het andere soort onderzoeksopzet.

• Dit is de “ideale situatie”, er is sprake van door de onderzoeker toegediende interventie, een experimentele en controlegroep, tevens door de onderzoeker ingedeeld. Er is een voor en nameting -> klassiek experiment.
  
  
• Doorgaans worden de groepen op grond van toeval ingedeeld.
• Omdat we willen dat er geen systematische verschillen tussen de experimentele en controlegroep zijn is er sprake van een indeling at random of aselecte indeling.

• Om het effect van interventie te isoleren, het alleen verschillen op interventie – randomiseren we de indeling van groepen. Deze aselecte indeling geeft de garantie dat de groepen niet-systematisch verschillen  ze zijn statistisch equivalent – verschillen zijn op grond van toeval tot stand gekomen, de enige systematische verschillen zijn er vanwege de interventie.
• We hebben hier dus een situatie bereikt waar de verandering in de experimentele groep mag worden afgezet tegen de verandering in de controlegroep. Doordat we observatie-eenheden aselect aan de onderzoeksgroepen toewijzen, de zogenaamde randomisatie, zijn groepen vergelijkbaar.
• Het schematische ontwerp van een experiment:
• E1… X … E2 met controlegroep: C1 …. ….. C2
• Aangezien de verandering in de controlegroep (C2 – C1) de verandering is die in de experimentele groep zou zijn opgetreden als daar de interventie niet had plaatsgevonden, is de verandering in de experimentele groep min die van de controlegroep het netto-effect van de interventie:
• Netto-effect X = (E2 – E1) – (C2 – C1)
• De verandering in de experimentele groep is de bruto-verandering (de verandering die men sowieso ondergaan zou hebben plus de verandering ten gevolge van de interventie).
• De verandering in de controlegroep is de verandering die men sowieso ondergaat, en het verschil tussen die twee is de netto-verandering.
• Bij conclusies trekken geldt: Humility is a virtue, te snelle klakkeloze acceptatie van onderzoeksbevindingen kan leiden tot niet snel terug te draaien gevolgen.

• Bij dit experiment doet een vergelijkingsgroep zijn intrede, die we nodig hebben om een causaal verband te kunnen leggen tussen interventie en de afhankelijke variabele. o Experimentele groep = groep die interventie krijgt o Controlegroep = groep zonder interventie, ter vergelijking.-> Onderzoeker kan niet zelf de groepen indelen, maar moet het doen met bestaande groepen (schoolklassen, buurten etc.). Alle verschil tussen de eerste en tweede groep kunnen we in beginsel toeschrijven aan interventie, mits experimentele en controlegroep alleen verschillen op het wel/niet krijgen van interventie.

• Omdat een deel van het onderzoek zich buiten de controle van de onderzoeker afspeelt zou men kunnen zeggen dat het bijna-experimenteel onderzoek is.
• Aan het lidmaatschap van de experimentele of controlegroep kunnen nog allerlei andere kenmerken ‘kleven’ die de uitkomst op afhankelijke variabelen mede bepalen.
• Deze aspecten zijn daarmee confounded met interventie. Er zijn twee manieren om met dit probleem om te gaan:
• Het achteraf verrekenen van verschillen – het succes van deze methode hangt af van een voldoende grote steekproef en van identificatie van de juiste verstorende variabele.
• Het zo vergelijkbaar mogelijk maken van de groepen door bijv. respondenten te ‘matchen’. Per experimentele respondent met bepaalde kenmerken plaats men zo’n zelfde respondent in de controlegroep. Problemen hier zijn:
• We matchen misschien op kenmerken A, B, C, D maar het interventie kenmerk is H.
• Als er teveel kenmerken zijn om op te matchen, dan wordt dit een ondoenlijke aangelegenheid.
• Matchen leidt tot selectie van extreme groepen respondenten, hetgeen gevaar voor regressie naar het gemiddelde oplevert.
• De experimentele of controlegroep kunnen we ook i.p.v. op persoon, op groepsniveau te matchen. Als de match niet op individuen maar per groep gaat noemt men de methode blocking.