Item gefilterd op datum: december 2012

Als interventies overlappen is niet meer vast te stellen welk effect waarvandaan kwam en waarom ze werkten.

Bij het ontbreken hiervan is het in het gunstigste geval alleen nog vast te stellen dat een interventie werkt maar niet waarom en hoe.

De hoeveelheid respondenten valt vaak tegen, problemen die betrekking hebben worden overschat of overdreven. Vergroten van de onderzoeksgroep kan door meer instanties te vragen respondenten te leveren, paradox hier is dat het experiment zo aan statistische kracht wint en de validiteit verbeterd maar het onderzoek minder makkelijk te managen is. – Hoe kleiner het onderzoek, hoe meer controle en minder storende factoren maar hoe minder statistische kracht en vice versa.

Om zeker te zijn van een doeltreffende evaluatie moet men zelf vanaf het begin meelopen met de
evaluatie en de registratie zeker stellen.

landelijk ingevoerde interventie betekent dat effectevaluatie zo niet meer mogelijk is.

Niet duidelijk wat men wil bereiken, en dus is niet te bepalen wat de afhankelijke variabele is.

De impact assessment bekijkt strikt genomen alleen de laatste fase: welke effecten zijn bewerkstelligd met de interventie?

• In de praktijk is het dus verstandig om bij een impact assessment een procesevaluatie mee te nemen.

Bestrijkt de keten tot en met de output, hier wordt bekeken of het gelukt is losjes geformuleerd de plannen uit te voeren zoals voorzien.

• Modellen voor overleving hebben gebeurtenissen die maar 1 keer kunnen voorkomen (zoals overlijden) dit zijn non-repeatable events.
  
  
• Er bestaan ook technieken om niet alleen de duur tot een eerste recidive te analyseren, maar om ook volgende relevante gebeurtenissen mee te analyseren. – Dit wordt een repeated events overlevingsduuranalyse genoemd. – Modellen di het mogelijk maken om door de tijd variërende predictoren mee te nemen worden aangeduid als Cox-regressie met tijdafhankelijke covariaten.

• Het is mogelijk om diverse soorten gebeurtenissen mee te nemen in één multivariate analyse. Dit kan bijvoorbeeld als afzonderlijke studies regelmatig niet-significante effecten rapporteren. Men kan proberen om voor een bepaald terrein de resultaten uit verschillende studies te integreren en tot een overkoepelende conclusie te komen  narrative review, diverse complicaties kunnen echter optreden:
• De procedure waarmee de studies worden geselecteerd zijn niet helder.
• Reviews zijn te sterk gericht op de vraag of het effect significant is of niet, beter zou het zijn om te kijken naar de grootte van het gevonden effect.
• Reviews leiden tot vote-casting. Dergelijke simpele optelsommen van voors en tegens laten inferieure resultaten zien, in statistische termen: de statistische power is te laag.
• Het is een flinke opgaaf alle releavante studies te selecteren en te lezen.
• De techniek die dit soort bezwaren probeert te ondervangen is de meta-analyse. De systematische analyse van een groot aantal analyses.
• Via een systematische zoekmethode wordt geprobeerd alle resultaten boven tafel te krijgen.
• Uit elke studie wordt een centrale effectmaat gedestilleerd.
• Hieruit wordt één gecombineerde effectmaat gedestilleerd. – De weging van de effectmaat is meestal aan de hand van de precisie waarmee de studie het resultaat rapporteert. Grote opgezette methodologisch sterke studies krijgen een zwaardere stem.
• Voor een meta analyse zoekt men het volledige reservoir aan studies dat aan minimale kwaliteitsvereisten voldoet. Men integreert de bevindingen tot één getal, rekening houdend met de verschillende gewichten van de studies.
• Haken en ogen aan de meta-analyse zijn:
• Hoe weten we zeker dat we alle studies te pakken hebben (en de juiste gegevens gebruiken).
• Studies met de conclusie ‘geen effect’ worden minder gepubliceerd -> publication bias
• Studies worden in het grijze circuit gepubliceerd -> file drawer problem
• Funnel Plot -> om dit effect tegen te gaan. Een grafiek waarin de sample size op de Y-as is gezet en de effect size op de X as.
• Fail-safe number -> De berekening van het hypothetische aantal studies dat niet gepubliceerd is en het tegendeel bewijst dat nodig is om de conclusie van de meta-analyse te verwerpen. Een kritieke waarde wordt gebruikt voor het fail-safe number, ligt het hierboven dan mogen we aannemen dat de ongepubliceerde studies niet in staat waren geweest de conclusie anders te laten luiden. De formule voor het fail-safe number: 5k + 10, met k als het aantal in meta analyse geanalyseerde studies.
• Kwalitatieve vergelijkbaarheid studies
• Verschillende effectmaten of verschil in operationalisatie
• Een niet significant effect (geen getallen om mee te rekenen)
• Kleine studies
• Verschillende resultaten
• In 2000 is de CCJG Cambell Collaboration Crime and Justice Group opgericht. Een samenwerkingsverband van criminologen uit diverse landen van de wereld, met als doel systematische reviews te vervaardigen, updaten en verspreiden over alle onderwerpen die verband houden met het terugdringen van criminaliteit en verbetering van het strafrechtelijk proces.
• Naast de besproken methoden zijn er nog andere analysemethoden in de criminologie:
• Capture re-capture methode
• Het kan zo zijn dat de kans om een tweede keer gepakt te worden kleiner of groter wordt door de eerste keer gepakt te zijn. Dit wordt besmetting genoemd.
• Multilevel modellen (houdt rekening met gelaagdheid door per laag een regressiemodel te specificeren
• Tot nu toe zijn we er van uit gegaan dat gegevens die geanalyseerd zijn onafhankelijke waarnemingen uit de populatie zijn. Bij longitudinaal onderzoek wordt deze assumptie geschonden. Aparte toetsen zijn nodig.
• Eenzelfde kwestie kan zich voordoen als de gegevens niet tijds- maar ruimtelijk afhankelijk zijn.

• De situatie waarin niet één onafhankelijke variabele of voorspeller is voor Y, maar meerdere. We houden ons nu niet meer bezig met bivariate analyse, maar met multivariate analyse.
  
  
• Iedere X variabele krijgt zijn eigen regressie gewicht. Het is belangrijk om bij analyse van deze gewichten in het achterhoofd te houden dat het gewichten zijn, ze geven het relatieve belang aan van de desbetreffende X variabele bij de voorspelling van Y.

• Een veelgemaakte fout is dat men resultaten interpreteert als X1 heeft veel met Y te maken en X2 heeft weinig verband met Y. Dit is onjuist, de resultaten betekenen alleen dat X1 zijn werk heeft gedaan in de voorspelling Y, de variabele X2 lijkt op X1 en heeft daar weinig aan toe te voegen.
• De b-gewichten zijn schaalafhankelijk; een onafhankelijke X variabele door 2 delen maakt het regressiegewicht navenant groter. Vaak zet men de scores om in standaardscores en voert de regressie op de gestandaardiseerde variabelen uit. De b gewichten die daaruit komen heten dan βi.
• De maat voor de voorspelling is R^2 en is de correlatie tussen de waargenomen scores Y en de op basis van het multivariate regressiemodel voorspelde scores Ў, R^2 is dus maximaal 1.
• Het is ook mogelijk diverse regressiemodellen uit te rekenen en te toetsen of de R^2 waarden van de diverse modellen significant verschillen.
• Vergelijking van verschillende sets van predicatoren kan op twee manieren:
• Met weinig voorspellers beginnen en voorspellers toevoegen tot de voorspelling niet meer verbetert (forward methode)
• Of met veel voorspellers beginnen en er telkens een verwijderen tot de voorspelling niet meer dramatisch omlaag gaat. (backward methode)
• Als we echter niet zozeer geïnteresseerd zijn in het verschil tussen een beperkt aantal groepen, maar in het effect van continue varabele op de overlevingsduur, of wals we geïnteresseerd zijn in het effect van diverse onafhankelijke variabelen op de afhankelijke variabele, dan zijn andere modellen geboden en kunnen we een regressiemodel opstellen. Een dergelijk model wordt de Cox-regressie genoemd.
• De afhankelijke variabele bij Cox-regressie si de hazard h(t). De baseline hazard is de hazard voor een individu als de waarden van alle onafhankelijke variabelen nul zijn.
• Aangezien de afhankelijke varaibele de hazard is, betkeent een positief regressiegewicht dat een hogere score op de desbetreffende onafhankelijke variable het risico op recidive doet toenemen.