Aanmelden

Analyseren en Evalueren

Analyseren van een toets kan op het niveau van de toets als geheel en/of op het niveau van de items per vraag. Op deze pagina ligt de focus op kwalitatieve analyse en evaluatie van de toets als geheel. Onder Voorbeelden vind je informatie kwantitatieve analyse van de toetskwaliteit.

 

Binnen de toetscyclus vindt analyse/evaluatie van de toets plaats nadat de gemaakte toets is beoordeeld. Een deel van de analyse activiteiten kan ook voor afname van de toets al worden toegepast. Het gaat dan om de check op de kwaliteit van het toetsontwerp.

Kwaliteitscriteria zijn:

  • Validiteit  - meet de toets wat gemeten moet worden
  • Betrouwbaarheid - de toets levert onder dezelfde omstandigheden hetzelfde resultaat
  • Transparantie - er is helderheid over inhoud en proces
  • Leer- en feedback functie - de toets geeft inzicht in de studievoortgang en is motiverend voor het verdere leerproces

De mate waarin de kwaliteitscriteria een rol spelen bij de analyse is afhankelijk van de toetsvorm.

  

Hoe analyseer je een toets?

Bij het analyseren van een toets kun je het beste teruggaan naar de uitgangspunten voor het maken van een goede toets, zoals die zijn bepaald in de ontwerpfase, en vervolgens kijken in hoeverre je daarin bent geslaagd. Ook hier geldt constructive alignment. De informatie hieronder gaat uit van een analyse nadat de toets is afgenomen, maar analyse en bijstelling kan ook gedurende het toetsproces.

Enkele vragen om de analyse mee te starten zijn:

* Is het resultaat van de studenten wat er van verwacht werd, bijvoorbeeld ten aanzien van het slagingspercentage dat je verwacht? Hebben studenten de opdracht opgevat zoals je bedoeld had? Wat is er anders en waarom?
Hiervoor zijn analyses op item/vraag niveau en kwantitatieve analyse van de resultaten ook informatief.

* Is het toetsproces/de toetscyclus verlopen volgens planning? Zo nee, wat is anders gegaan en waarom?

* Is er aanleiding om de kwaliteit van bepaalde onderdelen van de toets nader te onderzoeken?

* Was de toets voor de deelnemers binnen de beschikbare tijd te maken? Wat valt op?

Per toetsvorm verschillen de vragen die je kunt stellen om de toets te analyseren. Hieronder vind je per kwaliteitscriterium vragen die helpen om een toets te analyseren/evalueren en vervolgens aan te passen.

analyse vragen validiteit

Algemeen (geldt voor alle onderstaande toetsvormen)

Past de toetsing bij de leerdoelen en het onderwijs ? In hoeverre is er sprake van constructive alignment tussen leerdoelen en de vorm(en), inhoud(en) en niveau van het onderwijs en van de toets? Dit geldt ook voor deeltoetsen, met als aandachtpunt: zijn de compensatie en weging in het eindcijfer passend? Wat kan nog beter?

schriftelijke tentamens
bijv: kennistoets
casustoets
Zie je alle onderwerpen uit de leerdoelen/toetsmatrijs/gegeven onderwijs terug in de toetsvragen? Waarom wel/niet?
Hoe is daarbij rekening gehouden met 'belangrijkheid' van onderwerpen en wat is effect op het gemaakte werk? Is het de bedoeling dat studenten bepaalde onderwerpen beter beheersen dan andere? Is de toets representatief?
Past het antwoordmodel (bij open vragen) bij de gegeven antwoorden? Wat valt op?

opdracht
bijv. projectopdracht
essaytoets

onderzoeksopdracht

Zie je de onderwerpen en het niveau van de leerdoelen terug in de opdracht en het beoordelingsmodel, bijvoorbeeld in een rubric?
Zijn de onderwerpen door de student(en) ook opgepakt op het juiste niveau? Wat valt daarin op in het gemaakte werk?
Krijgt iedere student een individuele beoordeling bij groepswerk?

Vaardigheden

vaardigheden toets


 

Zijn de te observeren vaardigheden vooraf vastgelegd?

Is er een instrument voor observatie en beoordeling?

Zijn de beoordelaars geoefend / getraind in het observeren en beoordelen met behulp van een instrument of systematiek?

Slagen de examinatoren erin om de waarnemingen vast te leggen en te beoordelen?
Is er bij hands-off methode (weten wat gedaan moe(s)t worden ipv daadwerkelijk handelen) voldoende waarborg van voorbeelden waarin handelen wel heeft plaatsgevonden?

Is geborgd dat alle vaardigheden in de toetssituatie kunnen worden gemeten?

Gedrag

gedragsassessment

Is de kritische situatie waarin de student werd gebracht representatief? Is het gedrag uitgewerkt in valide en betrouwbare indicatoren of ankers?
Praktijk
stage/praktijktoetsing
Zijn de geformuleerde leerdoelen toetsbaar? Wat valt op?
Zorgt de opleiding ervoor dat iedere student een praktijkplek heeft waar (minimaal) op het vereiste niveau kan worden geleerd? Biedt de toetsing voldoende ruimte aan variatie van praktijkplaatsen en aan zelfstandigheid en complexiteit, en is er voor studenten gelegenheid om aan persoonlijke leerdoelen te werken?

Afstuderen

portfolio assessment

afstudeeropdracht

Worden alle eindkwalificaties getoetst?
Zijn de opdrachten relevant voor de beroepsuitoefening?

Biedt de toetsing voldoende ruimte aan zelfstandigheid en complexiteit, en is er voor studenten gelegenheid om aan persoonlijke leerdoelen te werken?

 

analyse vragen betrouwbaarheid

Algemeen (geldt voor alle onderstaande toetsvormen)

Is er een duidelijk beoordelingsmodel vooraf?

Als er meerdere beoordelaars zijn betrokken hoe is dan gezorgd voor interbeoordelaarsbetrouwbaarheid?

Wat valt op bij gemaakt werk dat door verschillende docenten is nagekeken? Is er in het beoordelingsmodel ruimte voor feedback / verantwoording van het eindcijfer?
Is voorkomen dat de beoordeling toeval is? Wat valt op?

Is geborgd dat een betere prestatie leidt tot een hoger oordeel? Wat valt op?

schriftelijke tentamens
bijv: kennistoets
casustoets

Kan alleen een student die 'heeft gestudeerd' de toets halen?
 In hoeverre werkt het antwoordmodel als vooraf was bedoeld?
Leidt de verdeling van de punten over de vragen tot een correcte beoordeling?

opdracht
bijv. projectopdracht
essaytoets

onderzoeksopdracht

Is aantoonbaar dat student de opdracht zelf heeft uitgevoerd?

Vaardigheden

vaardigheden toets

 

Is er afstemming tussen examinatoren over de wijze van beoordelen?

Komen beoordelaars tot 'gelijkwaardige' beoordelingen? Wat valt op?

Gedrag

gedragsassessment

Is bekend/vastgelegd hoe de student in andere situaties het gewenste gedrag heeft getoond / heeft gehandeld en is dat meegewogen in het oordeel?  

Praktijk
stage/praktijktoetsing

Is vastgelegd wie beoordeelt?

Hoe is gegarandeerd dat de beoordelaar voldoende bekwaam is om te oordelen?

Afstuderen

portfolio assessment

afstudeeropdracht

Zijn begeleiders en beoordelaars met elkaar in gesprek over de wijze van beoordelen, bijvoorbeeld door te kalibreren?

 

analyse vragen transparantie

Algemeen (geldt voor alle onderstaande toetsvormen)

Was de informatievoorziening over wijze van toetsing en beoordeling adequaat, ook bij inzage en herkansing? Wat vinden studenten hiervan?
Zijn vastgelegde protocollen e.d. gevolgd? Waarom wel/niet?

Vormt taal geen belemmering bij maken van de toets?

Zijn studenten vooraf bekend gemaakt met de toetsvorm als het voor hen een nieuwe toetsvorm is?

Zijn puntverdeling, normering en cesuur duidelijk voor de student en vooraf vastgelegd?

Als er klachten zijn over de toets wat zeggen deze dan over de kwaliteit van de toets?

schriftelijke tentamens
bijv: kennistoets
casustoets
Vormt opmaak van de toets geen belemmeringen?

opdracht
bijv. projectopdracht
essaytoets

onderzoeksopdracht

Zijn de kaders waarbinnen de opdracht wordt uitgevoerd bekend?

Is de rolverdeling van alle betrokkenen helder, bijvoorbeeld voor de externe opdrachtgever?

Is bij opleveren van meerdere producten duidelijk hoe onderdelen meewegen in de beoordeling?

Zijn de beoordelingscriteria vooraf bekend bij studenten?

Vaardigheden

vaardigheden toets

Is er voldoende gelegenheid geweest om de vaardigheid te oefenen?
Zijn de beoordelingscriteria vooraf bekend bij studenten?

Gedrag

gedragsassessment

Hoe is de organisatie rondom het assessment verlopen?

Zijn de beoordelingscriteria vooraf bekend bij studenten?

Praktijk
stage/praktijktoetsing

Is voor alle betrokkenen duidelijk waarop de student wordt beoordeeld en wat ieders rol daarin is?
Zijn praktijkbegeleiders in staat om te begeleiden/observeren en eventueel te oordelen?

Afstuderen

portfolio assessment

afstudeeropdracht

Bevat de handleiding alle informatie en is deze eenduidig?
Is bij gebruik van een portfolio voor de student duidelijk welke eisen aan de vorm worden gesteld?

Zijn de beoordelingscriteria vooraf bekend bij studenten?

 

 analyse vragen leer- en feedback functie

 
Algemeen (geldt voor alle onderstaande toetsvormen)

Is voor de student inzichtelijk gemaakt wat goed ging in de (deel)toets en wat niet? Levert de feedback de student informatie voor toekomstig handelen?

is er consistentie tussen feed up, feed back en feed forward? (oa leerdoelen, criteria)

schriftelijke tentamens
bijv: kennistoets
casustoets
Zijn vragen en antwoorden/toelichting te raadplegen, online of via inzage moment?

opdracht
bijv. projectopdracht
essaytoets

onderzoeksopdracht

Laat de student zien wat met tussentijdse feedback is gedaan?
Is bij groepsopdrachten feedback van medestudenten vanzelfsprekend? Wat valt op?

Vaardigheden

vaardigheden toets

Bestaat de feedback ook uit voorbeelden van correct handelen?

Gedrag

gedragsassessment

Is vastgelegd door examinatoren (of student) wat goed gaat en waar in vervolg aan gewerkt gaat worden?

Praktijk
stage/praktijktoetsing

Laat de student zien wat met tussentijdse feedback is gedaan?

Afstuderen

portfolio assessment

afstudeeropdracht

Heeft de afstudeerbegeleider tussenproducten gezien en deze van feedback voorzien?
Is vanzelfsprekend dat studenten eerder ontvangen feedback verwerken in het portfolio?

 

Tenslotte en verder

De toets is altijd onderdeel van een blok, semester, jaar, leerlijn, enz. Daarom als laatste analysevraag:

  • Hoe past de toets in het toetsprogramma van het betreffende semester/jaar/leerlijn enz.?

Doel van een analyse/evaluatie is om te leren van de toets en het proces. Geef daarom aan hoe de analyse zal leiden tot een verbeterslag van de kwaliteit van de toets en mogelijk ook van onderwijs en leerdoelen (constructive alignment).

Dus: Hoe kan de kwaliteit van de toets verder verbeterd worden?

Hier vind je tips voor verbeteren van de toetskwaliteit.

P.m. graag bijzondere aandacht voor de vraag: Is de toets voor alle studenten uitvoerbaar? Bijvoorbeeld vanwege omvang/tijd, taal, functiebeperking van de student.

 
 
Laatst gewijzigd: 2 juli 2018