Open Universiteit

Please use this identifier to cite or link to this item: http://hdl.handle.net/1820/7916
Title: Valide, Betrouwbaar en Transparant Toetsen van Competenties met Rubrics.
Authors: van de Moosdijk, Noëlle
Keywords: validiteit
betrouwbaarheid
transparantie
analytische rubric
holistische rubric
Issue Date: 22-Jun-2017
Publisher: Open Universiteit
Abstract: Samenvatting Het toetsen van competenties is complex. Een probleem bij het toetsen van competenties is dat er te veel ruimte is voor subjectiviteit. Het gebruik van rubrics zou daarvoor een oplossing moeten bieden. Er zijn twee soorten rubrics: de holistische en de analytische rubric die beide voor- en nadelen hebben. Het doel van dit onderzoek is na te gaan in hoeverre analytische en holistische rubrics verschillen ten aanzien van betrouwbaarheid, validiteit en transparantie. Daarbij zijn beide typen vergeleken op de volgende aspecten: inter-beoordelaarsbetrouwbaarheid, validiteit zoals gepercipieerd door docenten en transparantie zoals gepercipieerd door studenten. De deelnemers zijn docenten en studenten van de Fontys Hogeschool Master Leren en Innoveren. Zes docenten zijn gestart met het ontwerpen van de rubric, zes andere docenten zijn betrokken geweest bij het vaststellen van inter-beoordelaarsbetrouwbaarheid. Verder zijn beide rubrics beoordeeld op validiteit (15 docenten) en transparantie (24 studenten). De hardopdenkprotocollen zijn gebruikt om meer inzicht te krijgen in de manier waarop de beoordeling gebruik makend van beide typen rubrics tot stand komt. De rubrics hebben competenties vanuit de opleiding als uitgangspunt en zijn uitgewerkt volgens de holistische en analytische uitgangspunten. De holistische rubric is onderverdeeld in 4 levels die een opbouw hebben in hun beheersingsgraad. De analytische rubric bevat 7 criteria en deze zijn verdeeld in dezelfde 4 levels als bij de holistische rubric. De vragenlijst die is ontworpen voor de docenten bevat 28 stellingen welke gebaseerd zijn op de literatuur met betrekking tot validiteit (Bachman, 2002). De vragenlijst die is ontworpen voor studenten bevat 6 stellingen over transparantie van de rubrics. Beide vragenlijsten bevatten een 5-punts Likertschaal. De analyses toonden aan dat studenten de analytische rubric significant meer transparant vonden dan de holistische rubric. Docenten beschouwden de analytische rubric niet als significant meer valide dan de holistische rubric. Uit de resultaten van het gebruik van de rubrics bij de beoordelingen blijkt dat de overeenstemming tussen de docenten bij beide rubrics laag is. Mogelijke verklaringen voor het gebrek aan overeenstemming zijn gevonden in de hardopdenkprotocollen die laten zien dat er verschillen waren tussen docenten met betrekking tot systematiek en de beoordelingsbasis. De verschillen in systematiek hebben betrekking op de volgorde waarin de docent de beoordeling aanpakt: vertrekkend vanuit de rubric items of vanuit één niveau. De verschillen met betrekking tot de beoordelingsbasis gaan over het strikt uitgaan van evidentie of dat de docent ook andere dingen laat meewegen zoals eerdere indrukken van de student, vergelijking met andere studenten, vormgeving en emotionele lading. Hoewel de holistische rubric is ontwikkeld om grotere inter-beoordelaarsbetrouwbaarheid te realiseren, maakt de in dit onderzoek gebruikte en ontwikkelde holistische rubric dit niet waar. Daarbij moet worden opgemerkt dat het onderzoek slechts binnen één Hogeschool uitgevoerd is. Vervolgonderzoek is nodig binnen meerdere hogescholen om de generaliseerbaarheid van de resultaten te vergroten.
Description: van de Moosdijk, N. (2017).Valide, Betrouwbaar en Transparant Toetsen van Competenties met Rubrics. Juni, 22, 2017, Heerlen, Nederland: Open Universiteit.
URI: http://hdl.handle.net/1820/7916
Appears in Collections:MSc Learning Sciences

Files in This Item:
File Description SizeFormat 
OWNvand Moosdijk-22062017.docx154.64 kBMicrosoft Word XMLView/Open


Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.