Aanmelden

​13.0. Evalueren en verbeteren van toetsen


 

3.1. Waarom deze module


Veel onderdelen van het toetsproces worden doorlopend verbeterd. Aan het verbeteren van toetsing gaat evaluatie vooraf. Dit proces kunnen we sturen en duiden door gebruik te maken van kwaliteitscycli.
Verbetering van toetsing is een gedeelde verantwoordelijkheid voor docenten, toetscommissie, examencommissie en opleidingsmanagement. In deze module hanteren we de PDCA-cyclus als geaccepteerd model om naar kwaliteitsverbetering van de toets te kijken.

13.2. Beoogde leeropbrengsten

De PDCA-cyclus toepassen op de Toetscyclus van je eigen toets.
 Per onderdeel van de Toetscyclus verbetermogelijkheden beschrijven.

13.3. Voorbeeld kennisclip

13.4. PDCA

De cyclus bestaat uit vier stappen: Plan, Do, Check, Act. De PDCA-cyclus is toepasbaar op de toetscyclus, zowel bij de ontwikkeling als bij verbetering. Er is daarmee sprake van een doorgaande verbetering. Hierna wordt de PDCA-cyclus toegelicht in de verbeterfase. Bij de eerste stap, Plan, bepaal je welke verbetering nodig is en wat het doel is van die verbetering. Voor toetsen wil je bijvoorbeeld dat het tentamen nog eerlijker is. Een voorbeeld van een verbetering kan dan zijn ‘aanpassen van het beoordelingsformulier’.

De tweede stap, het doen (Do), is de uitvoering van de verbetering. Daarin wordt het genoemde beoordelingsformulier gemaakt en toegepast

De derde stap, Check, behelst dat je controleert of het gemaakte normeringsformulier aan de verwachtingen (de doelen waar je mee begon) voldoet. Je kunt bijvoorbeeld controleren of het formulier nu beter bruikbaar is voor alle docenten, of de beoordelingen helder zijn etc. en of het tentamen dus daadwerkelijk eerlijker beoordeeld wordt.

Als vierde stap voer je weer verbeteringen door die uit de Check en Act-stappen volgen en start de pdca-cyclus dus weer opnieuw. Het formulier blijkt bijvoorbeeld niet helemaal te voldoen voor bepaalde tentamenvragen. Daar pas je het formulier vervolgens op aan.

13.5. Kwaliteitsverbeteringen per element van de toetscyclys

De vragen die ten grondslag lagen aan het ontwikkelen en afnemen van de toets zijn ook de criteria waarop je kunt beoordelen of de toets aangepast moet worden (Check). Daarnaast levert evaluatie onder studenten en analyse van de uitkomsten ook input voor de verbeteragenda.

  •     analyse van de betreffende toets (zie o.a. module 12)
  •     veranderingen/aanscherpingen in leeropbrengsten.
  •     De opleiding werkt enige tijd met een itembank en wil de toetsvraagkwaliteit
        evalueren.   
  •    kwaliteitszorg, zoals resultaten studentenenquêtes
       Hieronder worden per fase uit de toetscyclus voorbeelden van evaluatie
       en/of verbeteringen gegeven.Vanuit constructive alignment oogpunt is het
       belangrijk om de verschillende bevindingen te combineren tot één
       verbeteractie.    

Basisontwerp

De keuze voor een toetsvorm, en de onderwijsactiviteiten plus leermiddelen die leiden naar de toets, worden bepaald door de beoogde leeropbrengsten van de onderwijseenheid. Veranderingen in het basisontwerp van de toets hebben dan ook invloed op alle andere onderdelen uit de toetscyclus. De volgende evaluaties komen vaak voor:

  • evalueren of de toetsvorm aansluit bij de verwachtingen van studenten
  • evalueren van de verbinding tussen beoogde leeropbrengsten en de gekozen vorm
  • evalueren verbinding tussen beoogde leeropbrengsten en leermiddelen en activiteiten

Toetsmatrijs

Een toetsmatrijs is een hulpmiddel om te borgen dat de toets een afspiegeling is van het niveau en van het onderlinge gewicht van de beoogde leeropbrengsten. De soorten beoogde leeropbrengsten (reproductie en/of productie) en de niveau-uitwerking (bijvoorbeeld met de Bloom-taxonomie) van de opleiding zijn herkenbaar in de toetsmatrijs. Verbeteringen in de toetsmatrijs gaan vaak over een herverdeling in de spreiding en complexiteit van leeropbrengsten. Als er geen toetsmatrijs is gebruikt, kan het achteraf opstellen daarvan als kwaliteitscontrole dienen. Een veelvoorkomende aanpassing naar aanleiding van evaluatie van de toetsmatrijs is ook het herschrijven van beoogde leeropbrengsten met beter passende (actievere) werkwoorden.

Toets construeren/normeren

Verbeteringen in constructie en normering van een toets gaan vaak over de aansluiting van de toetsvragen op de toetsmatrijs of de opdracht aan de beoogde leeropbrengsten. Als het goed is heeft er al voor afname van de toets een evaluatiemoment plaats gevonden. Dit kan door toepassing van het vierogen principe, waarbij meerdere docenten gezamenlijk de toets en normering bepalen, maar ook door een check van de toetscommissie. Dan wordt vooral gekeken naar de aansluiting tussen toets en toetsmatrijs. Deze check wordt ook wel achteraf gedaan. Als bij het nakijken blijkt dat de normering onhelder of oneerlijk is, wordt de normering aangepast.

Afnemen

De wijze waarop een toets wordt afgenomen is sterk afhankelijk van de toetsvorm. Het afnemen is vaak een organisatorische uitdaging waarbij veel partijen zijn betrokken. Dit vraagt om procedurele en inhoudelijke keuzes en het maken van goede afspraken. Kwaliteitsverbeteringen in het afnameproces zijn vaak mogelijk. Daarbij gaat het om een goede afstemming tussen de docent(en), bedrijfsbureau e.d.. Studenttevredenheid met een toets is in veel gevallen gerelateerd aan het wel/niet goed verlopen van de toetsafname

Beoordelen/analyseren

Over de wijze waarop een beoordeling zo objectief en eerlijk mogelijk kan verlopen is veel bekend (zie scoresite bij verschillende toetsvormen). Hierover zijn ook afspraken gemaakt voorafgaand aan de afname. Bij de evaluatie van de beoordeling ligt het accent op het juist hanteren van beoordelingsinstrumenten en normering. Tijdens de analysefase wordt de toets geëvalueerd op het niveau van de inhoud van de toets. Vragen die gesteld kunnen worden bij de evaluatie van beoordelen/analyseren zijn:

  • Is de beoordeling eerlijk uitgevoerd?
  • Zijn beoordelingsfouten zoveel mogelijk uitgesloten?
  • Wat kan worden afgeleid uit beoordelingen die sterk verschillen
  • Zijn er veel hoge of lage cijfers of midden-cijfers gegeven en waar is dat door veroorzaakt?

Evalueren

Hiervoor is het belang geschetst van evalueren voor het optimaliseren van de toets en de toetscyclus. Wellicht lijkt het dubbelop om vervolgens ook weer de verbeteringen te evalueren. Toch is het wenselijk om juist toetsen waar veel verbeteringen in zijn aangebracht te controleren op consistentie tussen de verbeteringen (zodat de verbeteringen bij elkaar geen verslechtering zijn). Naast inhoudelijke verbeteringen kan je in de evaluatie aandacht geven aan de procedures en hoe een ieder zijn taak heeft uitgevoerd.

13.6. Opdrachten toetsdossier

Neem voor de onderstaande vragen een tentamen waar je een bijdrage aan hebt geleverd als uitgangspunt. Het verbeteren van toetsen vanuit de Toetscyclus geredeneerd gaat beter als je een beeld hebt van wie welke onderdelen voor z’n rekening neemt.

Kijk terug op het doorlopen van de toetscylcus van je eigen toets en ga na waar je verbeteringen wilt aanbrengen. Beschrijf je eigen rol en de rol van je collega’s daarin (beknopt).

13.0. Evalueren en verbeteren van toetsen

13.1. Waarom deze module

  • Veel onderdelen van het toetsproces worden doorlopend verbeterd. Aan het verbeteren van toetsing gaat evaluatie vooraf. Dit proces kunnen we sturen en duiden door gebruik te maken van kwaliteitscycli.
  • Verbetering van toetsing is een gedeelde verantwoordelijkheid voor docenten, toetscommissie, examencommissie en opleidingsmanagement. In deze module hanteren we de PDCA-cyclus als geaccepteerd model om naar kwaliteitsverbetering van de toets te kijken.

13.2. Beoogde leeropbrengsten

  • De PDCA-cyclus toepassen op de Toetscyclus van je eigen toets.
  • Per onderdeel van de Toetscyclus verbetermogelijkheden beschrijven.

13.3. Voorbeeld kennisclip

13.4. PDCA

De cyclus bestaat uit vier stappen: Plan, Do, Check, Act. De PDCA-cyclus is toepasbaar op de toetscyclus, zowel bij de ontwikkeling als bij verbetering. Er is daarmee sprake van een doorgaande verbetering. Hierna wordt de PDCA-cyclus toegelicht in de verbeterfase. Bij de eerste stap, Plan, bepaal je welke verbetering nodig is en wat het doel is van die verbetering. Voor toetsen wil je bijvoorbeeld dat het tentamen nog eerlijker is. Een voorbeeld van een verbetering kan dan zijn ‘aanpassen van het beoordelingsformulier’.

De tweede stap, het doen (Do), is de uitvoering van de verbetering. Daarin wordt het genoemde beoordelingsformulier gemaakt en toegepast

De derde stap, Check, behelst dat je controleert of het gemaakte normeringsformulier aan de verwachtingen (de doelen waar je mee begon) voldoet. Je kunt bijvoorbeeld controleren of het formulier nu beter bruikbaar is voor alle docenten, of de beoordelingen helder zijn etc. en of het tentamen dus daadwerkelijk eerlijker beoordeeld wordt.

Als vierde stap voer je weer verbeteringen door die uit de Check en Act-stappen volgen en start de pdca-cyclus dus weer opnieuw. Het formulier blijkt bijvoorbeeld niet helemaal te voldoen voor bepaalde tentamenvragen. Daar pas je het formulier vervolgens op aan.

13.5. Kwaliteitsverbeteringen per element van de toetscyclys

De vragen die ten grondslag lagen aan het ontwikkelen en afnemen van de toets zijn ook de criteria waarop je kunt beoordelen of de toets aangepast moet worden (Check). Daarnaast levert evaluatie onder studenten en analyse van de uitkomsten ook input voor de verbeteragenda.

  • analyse van de betreffende toets (zie o.a. module 12)
  • veranderingen/aanscherpingen in leeropbrengsten.
  • De opleiding werkt enige tijd met een itembank en wil de toetsvraagkwaliteit evalueren.
  • kwaliteitszorg, zoals resultaten studentenenquêtes.
    Hieronder worden per fase uit de toetscyclus voorbeelden van evaluatie en/of verbeteringen gegeven. Vanuit constructive alignment oogpunt is het belangrijk om de verschillende bevindingen te combineren tot één verbeteractie.

Basisontwerp

De keuze voor een toetsvorm, en de onderwijsactiviteiten plus leermiddelen die leiden naar de toets, worden bepaald door de beoogde leeropbrengsten van de onderwijseenheid. Veranderingen in het basisontwerp van de toets hebben dan ook invloed op alle andere onderdelen uit de toetscyclus. De volgende evaluaties komen vaak voor:

  • evalueren of de toetsvorm aansluit bij de verwachtingen van studenten
  • evalueren van de verbinding tussen beoogde leeropbrengsten en de gekozen vorm
  • evalueren verbinding tussen beoogde leeropbrengsten en leermiddelen en -activiteiten

Toetsmatrijs

Een toetsmatrijs is een hulpmiddel om te borgen dat de toets een afspiegeling is van het niveau en van het onderlinge gewicht van de beoogde leeropbrengsten. De soorten beoogde leeropbrengsten (reproductie en/of productie) en de niveau-uitwerking (bijvoorbeeld met de Bloom-taxonomie) van de opleiding zijn herkenbaar in de toetsmatrijs. Verbeteringen in de toetsmatrijs gaan vaak over een herverdeling in de spreiding en complexiteit van leeropbrengsten. Als er geen toetsmatrijs is gebruikt, kan het achteraf opstellen daarvan als kwaliteitscontrole dienen. Een veelvoorkomende aanpassing naar aanleiding van evaluatie van de toetsmatrijs is ook het herschrijven van beoogde leeropbrengsten met beter passende (actievere) werkwoorden.

Toets construeren/normeren

Verbeteringen in constructie en normering van een toets gaan vaak over de aansluiting van de toetsvragen op de toetsmatrijs of de opdracht aan de beoogde leeropbrengsten. Als het goed is heeft er al voor afname van de toets een evaluatiemoment plaats gevonden. Dit kan door toepassing van het vierogen principe, waarbij meerdere docenten gezamenlijk de toets en normering bepalen, maar ook door een check van de toetscommissie. Dan wordt vooral gekeken naar de aansluiting tussen toets en toetsmatrijs. Deze check wordt ook wel achteraf gedaan. Als bij het nakijken blijkt dat de normering onhelder of oneerlijk is, wordt de normering aangepast.

Afnemen

De wijze waarop een toets wordt afgenomen is sterk afhankelijk van de toetsvorm. Het afnemen is vaak een organisatorische uitdaging waarbij veel partijen zijn betrokken. Dit vraagt om procedurele en inhoudelijke keuzes en het maken van goede afspraken. Kwaliteitsverbeteringen in het afnameproces zijn vaak mogelijk. Daarbij gaat het om een goede afstemming tussen de docent(en), bedrijfsbureau e.d.. Studenttevredenheid met een toets is in veel gevallen gerelateerd aan het wel/niet goed verlopen van de toetsafname

Beoordelen/analyseren

Over de wijze waarop een beoordeling zo objectief en eerlijk mogelijk kan verlopen is veel bekend (zie scoresite bij verschillende toetsvormen). Hierover zijn ook afspraken gemaakt voorafgaand aan de afname. Bij de evaluatie van de beoordeling ligt het accent op het juist hanteren van beoordelingsinstrumenten en normering. Tijdens de analysefase wordt de toets geëvalueerd op het niveau van de inhoud van de toets. Vragen die gesteld kunnen worden bij de evaluatie van beoordelen/analyseren zijn:

  • Is de beoordeling eerlijk uitgevoerd?
  • Zijn beoordelingsfouten zoveel mogelijk uitgesloten?
  • Wat kan worden afgeleid uit beoordelingen die sterk verschillen?
  • Zijn er veel hoge of lage cijfers of midden-cijfers gegeven en waar is dat door veroorzaakt?

Evalueren

Hiervoor is het belang geschetst van evalueren voor het optimaliseren van de toets en de toetscyclus. Wellicht lijkt het dubbelop om vervolgens ook weer de verbeteringen te evalueren. Toch is het wenselijk om juist toetsen waar veel verbeteringen in zijn aangebracht te controleren op consistentie tussen de verbeteringen (zodat de verbeteringen bij elkaar geen verslechtering zijn). Naast inhoudelijke verbeteringen kan je in de evaluatie aandacht geven aan de procedures en hoe een ieder zijn taak heeft uitgevoerd.

13.6. Opdrachten toetsdossier

Neem voor de onderstaande vragen een tentamen waar je een bijdrage aan hebt geleverd als uitgangspunt. Het verbeteren van toetsen vanuit de Toetscyclus geredeneerd gaat beter als je een beeld hebt van wie welke onderdelen voor z’n rekening neemt.

  • Kijk terug op het doorlopen van de toetscylcus van je eigen toets en ga na waar je verbeteringen wilt aanbrengen. Beschrijf je eigen rol en de rol van je collega’s daarin (beknopt).
Er zijn geen items om weer te geven in deze weergave van de lijst Bronnen en literatuur.