Assessment: Welk hulpmiddel?

15/12/2015 Leestijd: 2 minuten

Bij het beoordelen van competenties kunnen diverse hulpmiddelen ingezet worden. Deze variëren in betrouwbaarheid en validiteit. Een schema met zo’n tien hulpmiddelen ziet er zo uit:

In de linkerkolom staan hulpmiddelen met een matige validiteit. Voor de tweede kolom geldt een redelijke validiteit en de derde een goede validiteit. Deze hulpmiddelen hebben ook nog een matige, redelijke of goede betrouwbaarheid (vierde kolom).


 

 

In de volgende tabel staan mogelijke oorzaken van de mate van betrouwbaarheid en validiteit. Van elk hulpmiddel wordt aangegeven wat de sterke en zwakke kanten zijn. Sterktes en zwaktes worden onder andere veroorzaakt door:

  • Afstand met de praktijk
  • Manipuleerbaarheid door kandidaat
  • Risico van beoordelaarsfouten
  • Kosten c.q. haalbaarheid
  • Zichtbaarheid van bedoeld gedrag

 

 

 

 

 

 

 

 

 

 

Wanneer we nu beide tabellen combineren, ontstaat een derde tabel. Hierin staan de combinaties van type competentie en bijpassend hulpmiddel.

 

 

 

 

 

 

 

Er bestaan geen eenvoudige of goedkope methoden die gelijktijdig maximaal valide, relevant en betrouwbaar zijn. Voor het bereiken van een hogere predictieve validiteit en relevantie wordt vaak een prijs in de zin van lagere betrouwbaarheid en kostenverhoging betaald.

De handboeken (o.a. Drenth & Sijtsma, 2006) stellen dat in de klassieke test theorie een hoge betrouwbaarheid een sine qua non is voor validiteit: “Je moet eerst betrouwbaar iets kunnen meten alvorens je iets kunt voorspellen.” Theoretisch lijkt dit logisch, maar de praktijk wijst anders uit. Voorbeeld: selectie van kandidaten voor administratief medewerker. Je kunt een erg betrouwbare test maken waarmee je kunt meten in welke mate iemand getallen tot 100 kan optellen en aftrekken. De relevantie voor de (selectie)beslissing van deze test is beperkt, zo ook de validiteit. Een beter alternatief is een arbeidsproef (bijvoorbeeld de Test Administratief Inzicht, v/d Flier & Boomsma, 1985). Vijf losse mini-proefjes (‘items’) over organiseren, rekenen, plannen, et cetera. De interne betrouwbaarheid is erg laag, de validiteit echter aantrekkelijk.

De kunst bij assessment is die mix van hulpmiddelen te kiezen (in verschillende fasen in de selectie) die tegen acceptabele kosten, een voldoende betrouwbaarheid en een aantrekkelijke validiteit ook nog praktisch uitvoerbaar is. In de praktijk wordt dit lang niet altijd goed gedaan. Hopelijk levert dit stukje een bijdrage aan de verbetering van de keuze van hulpmiddelen bij het beoordelen van competenties.

Referenties
Drenth, P.J.D. & Sijtsma, K. (2006). Testtheorie. Inleiding in de theorie van de psychologische test en zijn toepassingen. Houten: Bohn Stafleu Van Loghum
Van der Flier, H. & Boomsma-Suerink, L. (1985). Test voor Administratief Inzicht. Lisse: Swets & Zeitlinger

0 reactie(s) op “Assessment: Welk hulpmiddel?”

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *


De verificatie periode van reCAPTCHA is verlopen. Laad de pagina opnieuw.