Hoe zorgen we voor valide en betrouwbare toetsen?
Kies je voor onafhankelijke certificering van NIBHV?
Dan kies je automatisch ook voor kwalitatief hoogwaardige toetsen. NIBHV verzorgt zelf geen cursussen om strikte scheiding tussen opleiden en certificeren te waarborgen. Bij het bewaken van die kwaliteit spelen drie factoren een rol: het borgen van de validiteit, het bepalen van de betrouwbaarheid, en het verwerken van feedback van opleiders, instructeurs en cursisten.
Hieronder leggen we uit wat dat precies betekent.
- Borgen van validiteit
Samen met onze inhoudsdeskundigen ontwikkelen we een groot aantal vragen voor onze toetsenbank. Daarbij is het borgen van de validiteit van de toetsen een belangrijk uitgangspunt. Validiteit betekent dat de toets meet wat je wilt meten. Concreet gaat het daarbij om de vraag of de toets daadwerkelijk de gevraagde competenties toetst, en of de verschillende competenties voldoende voorkomen in de toets.We bewaken de validiteit van de toetsen door voor elke toets een zogenoemde toetsmatrijs op te stellen. Zo’n toetsmatrijs maakt zichtbaar welke competenties je precies toetst, en hoe zwaar de vragen over een bepaalde competentie meewegen. Op basis van de toetsmatrijs wordt random een vast aantal vragen per competentie geselecteerd. uit de toetsenbank. Zo zorgen we ervoor dat de verschillende onderwerpen uit de cursus altijd in de toetsen komen. - Bepalen van de betrouwbaarheid
Nadat een toets is afgenomen, bepalen we de betrouwbaarheid van de toets door de kwaliteit van de items (vragen) te analyseren. Daartoe voeren we wekelijks een statistische analyse uit op de antwoorden die cursisten op de toetsen hebben gegeven. Het doel van deze itemanalyse is het verhogen van de betrouwbaarheid van de toetsen.
Een betrouwbare toets meet consistent. Dat wil zeggen dat als een cursist twee keer dezelfde toets maakt, hij of zij ook twee keer hetzelfde resultaat zou moeten behalen (een eventueel leereffect laten we hierbij buiten beschouwing). - Feedback van opleiders, instructeurs en cursisten
Ten slotte nemen we ook de opmerkingen die wij terugkrijgen van cursisten, instructeurs en opleiders serieus. We bekijken deze opmerkingen en bespreken dit met de betreffende inhoudsdeskundige. Na beoordeling en overleg passen we een vraag zo nodig aan of halen we deze uit de toetsenbank. Na toevoeging van een nieuwe vraag wordt deze meegenomen in de itemanalyse en checken we of de vraag van voldoende kwaliteit is.
Voortdurend werken aan kwaliteit
Door het verhogen van de validiteit en betrouwbaarheid en het verwerken van feedback werken we voortdurend aan de kwaliteitsverbetering van onze toetsen. Op die manier zorgen we ervoor dat onze toetsen altijd up-to-date en van goede kwaliteit zijn en een voldoende moeilijkheidsniveau hebben.