Bij de keuze voor een assessmenttool voor ontwikkel- en selectiedoeleinden zouden betrouwbaarheid en validiteit tot de uitgangspunten moeten behoren; je probeert inzicht te krijgen in iemands persoonlijkheid, zijn of haar gedrag te voorspellen in goede en slechte omstandigheden. Dan doet het recht aan de kandidaat om ook op de meest zuivere wijze ‘onderzocht’ te worden.
Twee belangrijke aspecten voor een assessmenttool zijn Validiteit en Betrouwbaarheid. Je wilt de zekerheid dat het assessment meet wat je wilt, maar ook dat op betrouwbare wijze hetzelfde wordt beoordeeld; resultaten mogen niet eenmalig zijn. De bullseye-metafoor illustreert de combinatie van beide begrippen. Het centrum van de bullseye is precies wat je wilt beoordelen.
-Betrouwbaar maar niet valide betekent dat je consequent hetzelfde steeds opnieuw test, maar dat je niet test wat je wilt testen.
-Valide maar niet betrouwbaar betekent dat de gemiddelde scores overeenkomen met de doelstellingen van de test, maar dat individuele scores inconsistent zijn.
– Zowel betrouwbaar als valide betekent dat de test gedurende een bepaalde periode consistent zal meten wat hij moet doen: hij raakt consequent de roos.
Wat is Validiteit?
Validiteit heeft betrekking op de nauwkeurigheid van de beoordeling. Meet het in essentie wat het moet meten? Hoewel er verschillende soorten validiteit zijn waar we op moeten letten, is voorspellende validiteit de belangrijkste voor de doeleinden van de Hogan test.
Voorspellende validiteit vertelt ons hoe nauwkeurig een tool is in het voorspellen van een bepaalde uitkomst. Bij persoonlijkheidsassessments kan een goed instrument voorspellen hoe goed iemand zijn werk zal doen. Validiteit wordt doorgaans gemeten met een coëfficiënt tussen -1 en 1 (de Pearson-correlatiecoëfficiënt genoemd). Hoe dichter bij één, hoe hoger de voorspellende kracht van de test. De voorspellende validiteit van de Hogan Personality Inventory (HPI) is .29 voor het voorspellen van prestaties binnen de zogenaamde jobfamilies. Wanneer de HPI echter wordt gecombineerd met de Hogan Development Survey (HDS) en Motives, Values, and Preferences Inventory (MVPI), krijgen we een coefficient van .54. Om deze getallen in perspectief te zien; de voorspellende validiteit van ibuprofen voor pijnvermindering is bijvoorbeeld slechts .14. Dichter bij huis: de correlatie tussen gestructureerde sollicitatiegesprekken en werkprestaties is .18.
Wat is betrouwbaarheid?
Betrouwbaarheid heeft betrekking op de consistentie van de test. De betrouwbaarheid van een beoordeling kan op twee brede manieren worden geëvalueerd: 1) interne consistentie en 2) test-hertestbetrouwbaarheid.
De test-hertestbetrouwbaarheid is een maatstaf voor de consistentie van de antwoorden in de loop van de tijd. Met andere woorden: reageren mensen elke keer dat ze de test afleggen op dezelfde manier op vragen? Inconsistente antwoorden kunnen erop wijzen dat de resultaten van de beoordeling niet daadwerkelijk de persoonlijkheid meten, die in de loop van de tijd relatief stabiel zou moeten zijn. Test-hertestbetrouwbaarheid maakt gebruik van een correlatie van scores (opnieuw met behulp van de Pearson-coëfficiënt) van een eerste beoordeling en een tweede beoordeling enige tijd later. Voor Hogan is de test-hertestbetrouwbaarheid op de korte termijn .81 voor de HPI, .70 voor de HDS en .79 voor de MVPI.
Interne consistentie heeft betrekking op de vragen die bij elke beoordeling worden gebruikt. Testpersonen zullen merken dat veel vragen hetzelfde lijken te meten. Dit is met opzet. Door op verschillende manieren een vraag te stellen, kunnen we ervoor zorgen dat we een nauwkeurige meting van het concept krijgen. Interne consistentiescores worden gemeten tussen 0 en 1 (dit keer met een coëfficiënt die Cronbach’s alpha wordt genoemd).Hoe dichter bij één, hoe hoger de betrouwbaarheid van de interne consistentie. De gemiddelde interne consistentie voor de HPI-schalen is .76, .71 voor de HDS en .76 voor de MVPI.
Elke assessmentmethode dat op de markt wordt aangeboden met het predikaat ‘wetenschappelijk onderzocht of onderbouwd’ zal ook de coefficienties publiceren. Het is de moeite waard om in ieder geval de waarden Validiteit en Betrouwbaarheid nader te onderzoeken.
Hogan Assessments liggen ver boven de industrienormen met voortdurende evaluatie van de eigen assessments. Inmiddels zijn Hogan Assessments verschenen in meer dan 400 peer-reviewed publicaties.