Boek blz. 142.
Dekken de test items de lading van het bedoelde domein? Aan content validiteit onderliggen drie assumpties:
1. Het betreffende gebied kan op een betekenisvolle manier worden gedefinieerd.
2. Een steekproef kan worden getrokken uit de populatie.
3. Het trekken van de steekproef kan met precisie om te kunnen beoordelen of de
prestatie van de steekproef de prestatie van de ware populatie weerspiegeld.
Lijkt de test te meten wat hij zou moeten meten? Of lijkt het stom en irrelevant. Dus: Niet technisch, maar kan wel de reactie van de deelnemers beïnvloeden (motivatie, gevoel van rechtvaardigheid).
Boek blz. 145.
Is de test gerelateerd aan valide metingen van prestatie? Dus: Empirische relatie tussen predictor en criteria. Wordt meestal bepaald door experts.
Twee typen:
1. Concurrent -> Criterion meting beschikbaar op hetzelfde moment als de predictor (meet status quo)
2. Predictive -> Predictor scores worden verzameld voor criteria data beschikbaar zijn. Belangrijk: Verzamel criteria data onafhankelijk van de predictor data. Adequate power (probleem bij kleine n).
Boek blz. 145.
Is de test gerelateerd aan valide metingen van prestatie? Dus: Empirische relatie tussen predictor en criteria. Wordt meestal bepaald door experts.
Twee typen:
1. Concurrent -> Criterion meting beschikbaar op hetzelfde moment als de predictor (meet status quo)
2. Predictive -> Predictor scores worden verzameld voor criteria data beschikbaar zijn. Belangrijk: Verzamel criteria data onafhankelijk van de predictor data. Adequate power (probleem bij kleine n).
Boek blz. 153.
Meet een meting een specifiek psychologisch construct? Dus: Laten test scores een verschil zien in het construct? De focus ligt op de beschrijving van breed en abstract gedrag. Het gaat erover of de testscores betekenisvolle informatie geven over baanprestatie.
- Convergent validity
Boek blz. 155.
Zou gerelateerd moeten zijn aan scores op andere metingen van hetzelfde construct.
-- Divergent validity
Boek blz. 155.
Zou ongerelateerd moeten zijn aan instrumenten die niet bedoeld zijn om het construct te meten.
- Multitrait-multimethod (MTMM) matrix
Boek blz. 155.
Iedere test die een gegeven trek (trait) meet is een single method. Als we de relatieve bijdrage van een trek en methode variantie van test scores willen weten, moet meer dan één trek bestudeert worden en meerdere methoden worden gehanteerd. Dit wordt mogelijk in een multitrait-multimethod matrix.
Een MTMM matrix is een tabel waarin correlaties langs (a) dezelfde gemeten trek voor dezelfde methode, (b) verschillende trekken gemeten door verschillende methoden en (c) dezelfde trek gemeten door verschillende methoden en (d) verschillende trekken gemeten door verschillende methoden. Om goede ondersteuning te vinden voor de validiteit van een construct, moeten de (c) correlaties (convergente validiteit) groter zijn dan 0 en hoog genoeg om verder onderzoek te stimuleren. Daarbij, moeten de (c) correlaties hoger zijn dan de (b) en (d) correlatie (dus discriminante validiteit vertonen).
Meten we wat we willen meten en kunnen we dat gebruiken om toekomstige prestatie te voorspellen?
Boek blz. 71; Artikel Binning & Barret.
Problemen met het proces van conceptualiseren en meten van constructen doordat deze multidimensioneel, dynamisch en bedoeld zijn voor verschillende doelen. In Binning & Barret
-> De neiging de ontwikkeling van goede ondersteuning aan de kant van criteriaontwikkeling en minder sterk aan de kant van predictors. Meten wat makkelijk is (ipv gewenst en belangrijk). Dit resulteert in een beperkte ontwikkeling van theorieën, validatie van constructen en het genereren van bewijs ter ondersteuning van belangrijke conclusies over mensen en hun gedrag op het werk.
Dimensies van criteria:
1. Statisch (fixed)
2. Dynamisch (temporeel)
3. Individueel
Boek blz. 302-303.
SJT’s wordt gezien als een test met een lage fidelity (er is weinig overlap tussen de test en de werksituatie). Het bevat een serie baan gerelateerde vragen over situaties, welke schriftelijk, verbaal of in visuele vorm worden aangeboden. Er wordt gevraagd naar hypothetische gedragingen van de respondent (dus geen work sample, want daar wordt gevraagd naar daadwerkelijke gedragingen) op basis van eerdere ervaringen (experience based) of op basis van hoe de respondent zou voorspellen dat hij/zij zich zou gaan gedragen (situational based). In veel SJT’s worden respondenten gevraagd een keuze te maken uit een aantal antwoordmogelijkheden.
Het doel van SJT’s is de sollicitanten een demonstratie te laten geven van hoe zij problemen die ze op hun baan zouden kunnen tegenkomen zouden oplossen.
Dit is een van de best onderzochte job analysis methoden. De F-JAS maakt onderscheid tussen vaardigheden en geeft aan in hoeverre deze vaardigheden benodigd zijn voor het uitvoeren van een baan. Taxonomie van 52 vaardigheden (cognitief, psychomotorisch, fysiek, etc.). 21 sociale en 33 beroepskennis en vaardigheden.
De beoordelingsschalen definiëren iedere vaardigheid, maken onderscheid tussen vergelijkbare vaardigheden, en geven voorbeelden van taken die in verschillende mate de vaardigheid vragen.
Een voorbeeld in de Appendix, onder 1.3.
Boek blz. 91, 209-210.
De kritieke benodigdheden voor een baan zijn de gedragingen die het cruciale verschil maken tussen het effectief of ineffectief uitvoeren van een baan. Critical Incidents zijn simpelweg een opsomming van wat deskundigen rapporteren als bijzonder (in)effectieve gedragingen. Subject Matter Experts (SME’s), de deskundigen, beschrijven uitzonderlijk goede en uitzonderlijk slechte prestaties. Incidenten worden gecodeerd volgens job dimensions -> het gedragsdomein. Alleen prestatie wordt beoordeeld.
Een CI bevat altijd:
1. Omstandigheden.
2. Gedrag.
3. Waarom (in)effectief.
4. [soms ook] Of de werknemer controle had over de consequenties van zijn gedrag.
