Aanmelden

Beoordelen: analytisch en holistisch

Beoordelen kent twee uitersten: analytisch en holistisch.
 
Analytisch beoordelen houdt in dat alle beoordelingsaspecten van een vaardigheid of beroepstaak  onderscheiden en afzonderlijk beoordeeld worden. Analytisch beoordelen is passend wanneer nauwkeurig moet worden vastgesteld of studenten kritische kennis of deelvaardigheden beheersen of wanneer er sprake is van één juiste aanpak of oplossing. In dit geval zijn er discrete, duidelijk omschreven leerdoelen en eenduidige antwoordmodellen of beoordelingsmodellen. 
 
Holistisch beoordelen heeft als uitgangspunt dat een adequate prestatie niet is te reduceren is tot een voldoende score op afzonderlijke beoordelingsaspecten; het geheel is meer dan de som van de delen. Holistisch beoordelen is passend wanneer de leerdoelen complex zijn en de prestatie wordt afgezet tegen een standaard. Dit is het geval bij de beoordeling van competenties, een complex proces, product of werkwijze, waarvoor meer dan één oplossing mogelijk is en/of wanneer de toepassingscontexten verschillen. Het aantal beoordelingsaspecten speelt ook een rol. Hoe complexer de opdracht, des te meer aspecten beoordeeld moeten worden.
 
Holistisch en analytisch beoordelen zijn tegenstrijdige principes. Analytisch beoordelen of afvinken past niet bij het beoordelen van het eindniveau. Het leidt tot een oppervlakkig oordeel, terwijl volledigheid wordt gesuggereerd. Vanwege de aard en de complexiteit van een afstudeeropdracht  is het gewenst om bij de beoordeling naar de gehele prestatie te kijken.

 
BEoordelingsinstrument

Een goed beoordelingsinstrument (model, format, formulier) draagt bij aan de objectivering van subjectieve kwaliteitsoordelen en daarmee aan de betrouwbaarheid van het eindoordeel. De inhoud en vormgeving dragen bij aan de kwaliteit van de beoordeling en feedback en aan transparantie naar studenten. Het bevat de beoordelingsaspecten, uitgewerkt naar de beoordelingscriteria. Het is duidelijk wat het gewicht is van elk beoordelingscriterium. Het gewicht van de beoordelingsaspecten bij de totstandkoming van het eindoordeel is duidelijk.
 
De normering en de cesuur zijn transparant. Hiertoe kan per beoordelingsaspect worden aangegeven wat de minimaal en maximaal te behalen scores zijn. Ook is er duidelijkheid over eventuele vormeisen, hoe ze worden gehanteerd en wat hun eventuele gewicht is in het eindoordeel. Het instrument heeft ruimte voor feedback/ verantwoording in relatie tot de gestelde eisen. Er is altijd feedback op de hele prestatie en naar keuze per beoordelingsaspect of per criterium. 
 
Uitgebreide beoordelingsformulieren waarin een groot aantal beoordelingscriteria is uitgewerkt hebben een (uniform) voorblad met relevante gegevens van student en tentamen, ontvankelijkheidscriteria zoals plagiaatcontrole, cesuur en eindcijfer. Eventueel kan de berekening van het eindcijfer aan de hand van de normering daaraan worden toegevoegd. Bij complexe beoordelingsinstrumenten is er een handleiding of instructie voor de examinator(en). Bij twee beoordelaars zijn de rollen van de eerste en de tweede beoordelaar uitgewerkt (vier ogen). De beoordelingsprocedure en het beoordelingsinstrument zijn inzichtelijk voor studenten en opgenomen in de handleiding, zodat zij weten hoe het eindcijfer wordt toegekend (zie voorbeelden).

 
Beoordelingscriteria

De beoordelingscriteria worden afgeleid van de leerdoelen en bevatten de kritische elementen ervan. Een beoordelingscriterium is een aspect van het gewenste denken en handelen, dat met behulp van het tentamen wordt beoordeeld. Het niveau blijkt uit de voorwaarden, waaronder de student het gewenste gedrag in de toetssituatie moet laten zien. Bijvoorbeeld in een bepaalde beroepssituatie of beroepsrol, zelfstandig of in teamverband, met of zonder hulpmiddelen.

De beoordelingscriteria zijn uitgewerkt naar een beoordelingsschaal. Deze normering maakt duidelijk wanneer de opdracht voldoende, onvoldoende, goed of excellent is. Met het oog op transparantie voor studenten, docenten en examinatoren is het aantal criteria overzichtelijk. Aanvullend kunnen er formele of vormeisen worden gesteld. Deze hebben  betrekking op generieke zaken zoals taalvereisten, min/max lengte, het hanteren van een format, bronvermelding volgens APA-eisen, plagiaatcontrole en dergelijke. Afhankelijk van het niveau is dit een van de beoordelingscriteria of een ontvankelijkheidscriterium. 

 

Rubrics

Rubrics zijn beschrijvende beoordelingsschalen. Wat we verstaan onder ‘onvoldoende’ , ‘voldoende’, ‘goed’  en ‘ excellent’ is uitgewerkt in toetsbaar gedrag. Ze kunnen holistisch en analytisch worden uitgewerkt (zie links op deze pagina met voorbeelden). De uitwerking van de schaalpunten past bij het niveau, waarbij ‘voldoende’ verwijst naar de minimaal te behalen prestatie. 

Het kost veel tijd om goede rubrics te ontwikkelen, maar ze zijn wel tijdseffectief bij het beoordelen en het geven van (tussentijdse) feedback (Jensen, 2008, Willis, 2010). Gebruik bij zelf- en peer assessment kan studenten helpen om meer inzicht te krijgen in de niveaueisen. Consistent gebruik in onderwijs, zowel bij formatieve toetsen als summatieve tentamens, kan bijdragen aan de verbetering van de toetskwaliteit en van het studiesucces.

Als docenten samen rubrics ontwikkelen en toepassen draagt dit bovendien bij aan een gemeenschappelijk beeld van het niveau en aan de kwaliteit van de beoordeling.

Te volgen stappen bij de constructie van rubrics voor een toets:

a.  Bepaal of je gaat werken met een drie-, vier- of vijfpuntsschaal. Bepaal in samenhang hiermee de lay-out van de rubrics. 

b.  Bepaal  de kritische elementen van het leerdoel.

c.  Werk deze uit in meetbare prestaties. Werk eerst de ‘voldoende’ uit. Dit is de minimumprestatie, die past bij het niveau. Je kunt hierbij als check de niveautaxonomie gebruiken.

d.  Beschrijf het prestatie zo kernachtig mogelijk, bij voorkeur in één zin.

e.  Controleer of de uitwerking van ‘excellent’, ‘goed’ enz. consistent is en niet te uitgebreid.

f.   Bepaal voor elke rubriek de weging in het eindcijfer

g.  Leg de rubric aan collega’s en toetscommissie voor.

Zie voor een kritische beschouwing van het gebruik van rubrics: Reddy & Andrade (2009), A review of rubric use in higher education.

 

Twee examinatoren bij afstudeeronderdelen

Afstudeeronderdelen worden door twee examinatoren beoordeeld. Ook bij de beoordeling van stage(s), grote onderwijseenheden (15 EC of meer) en mondelinge tentamens is het raadzaam te werken met twee examinatoren.

Begeleider als beoordelaar: Een terugkerende vraag bij betrouwbaar beoordelen is of de docent-begeleider ook examinator mag zijn. In veel opleidingen is de begeleider de tweede examinator. De begeleider weet namelijk hoe het proces is verlopen, hoe de student met tegenslag omging, in hoeverre de opdrachtgever een grote stempel op het resultaat heeft gedrukt, etc. De vraag is echter of de begeleider hierdoor nog objectief naar het eindresultaat kan kijken (beoordelaarseffecten!). Hoewel twee onafhankelijke beoordelaars bij afstudeeronderdelen de voorkeur heeft, is het beleid van de HvA dat de begeleider één van de examinatoren mag zijn. Voorwaarde is dat beide examinatoren onafhankelijk tot een oordeel komen en dit ieder vastleggen op een beoordelingsformulier en vervolgens tot een gezamenlijk eindoordeel komen, dat zij eveneens vastleggen en toelichten. Bij meer dan 1 punt verschil in het cijfer is het raadzaam een derde examinator in te schakelen. Wanneer de begeleider geen examinator is, kan hij wel een advies uitbrengen over beoordelingscriteria of indicatoren die met de kwaliteit van het proces te maken hebben, zoals de zelfstandigheid en het leervermogen dat de student heeft getoond.

 

Het is belangrijk dat de examinatoren zoveel mogelijk tot een eensluidend oordeel komen; de interbeoordelaars-betrouwbaarheid. Er zijn diverse manieren om dit te borgen:  

  • Scholing en training van examinatoren op specifieke aspecten (observeren, criterium gericht interviewen, gesprekstechnieken en dergelijke).
  • Heldere en duidelijke beoordelingsschalen (rubrics), beoordelingsinstructies en beoordelingsformulieren.
  • Helderheid over cesuur en normering.
  • Uitvoeren van proefbeoordelingen.
  • Regelmatig intercollegiaal overleg over toepassen van beoordelingsinstructies, cesuur en normering.
  • Steekproefsgewijze controle van beoordelingen door derden.

Uit onderzoek Sanders & Eggen, 1993 blijkt dat het werken met twee beoordelaars het meest optimaal is. De winst van elke toegevoegde beoordelaar op een eensluidende beoordeling neemt  meestal af bij twee of meer beoordelaars.
De leidraad Eindniveau (zie onder literatuur op deze pagina, rechterkolom) gaat nader in op het beoordelen van het eindniveau.

 

Feedback

Doel van feedback is dat de student inzicht heeft in de voortgang van de eigen competentieontwikkeling ten opzichte van het eindniveau van de opleiding, in de kwaliteit van zijn huidige prestatie en in de mogelijkheden tot verbetering en verdere ontwikkeling hierin.
Het geven van regelmatige feedback is onderdeel van de activerende didactiek. Feedback wordt onderverdeeld in drie categorieën:

  • Feed up – geeft richting aan het toekomstige leren van de student aan de start van een studieonderdeel of modulereeks. Als student heb je antwoord op vragen als: waar ga ik naar toe, hoe word ik getoetst? 
  • Feedback – heeft directe relatie tot het actuele leren van de student. Als student heb je antwoord op vragen als: hoe heb ik de toets/opdracht uitgevoerd, welke vooruitgang heb ik geboekt?
  • Feed forward – geeft richting aan het leren in de toekomst in een nieuwe situatie. Als student heb je antwoord op vragen als: hoe ga ik verder, welke aanpak is nodig om me verder te ontwikkelen?


Vanuit onderzoek naar formatieve toetsing en naar effecten van feedback zijn diverse do’s en donts te noemen. Belangrijke voorwaarde is dat feedback goed wordt gegeven, maar ook goed wordt ontvangen. Een goede feedback cultuur is daarbij noodzakelijk. In een goede feedbackcultuur krijgen alle studenten waardevolle feedback, wordt feedback gewaardeerd en weet iedereen welke processen en afspraken er zijn om tot goede feedback te komen. Bijvoorbeeld door formatieve gesprekken te voeren waarbij de student de opdracht steeds verder kan ontwikkelen. Er is voldoende tijd beschikbaar om goed te worden in feedback geven en ontvangen. Het vierogen principe ook toepassen op de te geven feedback zal de kwaliteit verder verbeteren. In steeds meer publicaties is een verschuiving zichtbaar van een nadruk op summatief toetsen naar een feedbackcultuur .

Feedback geven – wat werkt?

  • kies een feedbackvorm die uitvoerbaar is binnen de beschikbare tijd.
  • geef alleen bruikbare feedback op de punten die ertoe doen en de student daadwerkelijk verder helpen.
  • richt de feedback op de prestatie, niet op de persoon of kenmerken.
  • zorg voor opvolgende leermomenten. Feedback is vooral effectief als de student daarna het resultaat kan aanpassen of er een nieuwe opdracht volgt.
  • werk vooral met schriftelijke feedback, zodat de student het kan nalezen. Studenten willen schriftelijke feedback echt wel lezen, maar moeten er dan wel toegang toe hebben.
  • voorkom dat de student afhankelijk is van jouw feedback om de toets te halen, dus zorg voor duidelijke beoordelingscriteria, toegankelijke rubrics
  • leer studenten om zelf feedback te geven op eigen en andermans werk en koppel dit aan de reflectie.
  • wees je bewust dat feedback emoties oproept, daarom positief en constructief formuleren.
  • feedback wordt effectiever als de beoordelaar de individuele context en mogelijkheden van studenten kent.
  • bouw aan een relatie met de studenten, waarbij feedback geven en ontvangen vanzelfsprekend wordt/is en regelmatig gebeurt.

Feedback ontvangen- zo doe je dat:

  • zorg dat je vooraf weet hoe, wanneer en van wie je feedback ontvangt;
  • maak zelf een inschatting van de feedback die je kunt verwachten;
  • feedback wordt gegeven met een positieve bedoeling, dus niet meteen in de verdediging schieten, maar eerst goed lezen/luisteren;
  • vraag door als de feedback niet duidelijk is;
  • waarom wachten op feedback, je kunt er ook om vragen.

Formatieve toetsen zijn een specifieke vorm van feedback. Dan levert de toetsing zowel feedback op voor zowel de docent als de student. Feedback heeft dan ook een leerfunctie voor de docent, omdat het hem inzicht geeft in welke onderdelen goed zijn overgekomen en waar hij nog aandacht aan moet besteden (Hattie, 2009)
Tenslotte: Je weet pas dat feedback effectief is geweest als de student in een volgende opdracht ontwikkeling laat zien.

 

Cesuur

De vraag waar de grens tussen zakken en slagen moet liggen, kan vanuit verschillende invalshoeken worden benaderd (Cohen-Schotanus, 1996; Lankveld & Draaijer, 2010; Sluijsmans, 2008; Van Berkel en Bax, 2002; Van Berkel,  Jansen & Bax, 2012).

 
Absoluut
De mate van beheersing van de leerdoelen.
De standaard kan op verschillende niveaus worden gelegd: 100%, 70%, 60% of, zoals veel gebruikt 55% beheersing van de leerdoelen. Bij kwalitatieve beoordelingen gaat het om één of meerdere standaards bij de criteria waarop de student wordt beoordeeld.
Relatief
Een cesuur die wordt berekend op basis van de resultaten van de toets.
De cesuur is afhankelijk van de prestaties van de studenten Er zijn verschillende methoden om deze cesuur vast te stellen (bijvoorbeeld de methode Wijnen).
Combinatie
Een combinatie van beide benaderingen.
Een bekende methode is die van Cohen-Schotanus (1996), waarbij de gemiddelde score van 5% van de beste studenten als hoogst mogelijke score  wordt genomen en op basis daarvan de cesuur met de absolute methode wordt bepaald.
Tabel 1. Methoden van cesuurbepaling
 

Een argument om gebruik te maken van een relatieve cesuurbepaling is dat deze methode studenten behoedt voor onterechte onvoldoendes die veroorzaakt worden door gewijzigde omstandigheden of wisselende  kwaliteit van het tentamen of het onderwijs. Een nadeel van deze methode is dat de cesuur wordt beïnvloed door studenten die zich niet of onvoldoende op de toets voorbereiden. Bij de combinatiemethode Van Cohen-Schotanus (1996) wordt die invloed voorkomen en toch rekening gehouden met niet student gerelateerde factoren.

De methode van cesuurbepaling heeft een grote invloed op de studievoortgang. Dit blijkt uit een onderzoek van Cohen-Schotanus (2010). Studenten van de geneeskundeopleiding in Groningen, waar de absolute methode gebruikt werd, doen een jaar langer over hun studie dan studenten van de geneeskundeopleiding in Maastricht, waar de relatieve methode gebruikt werd. Het kennisniveau van de studenten van beide opleiding werd aan de hand van een voortgangstoets gemeten en bleek hetzelfde te zijn.

 
 

DEELTENTAMENS: COMPENSEREN, MIDDELEN, WEGEN

Als er bij een onderwijseenheid meerdere deeltentamens worden afgenomen spelen bij het beoordelen drie aspecten een belangrijke rol:

1    Binnen onderwijseenheden kunnen deeltentamens worden gecompenseerd. Dit bekent dat een onvoldoende resultaat op een van deeltentamens wordt gemiddeld met een voldoende resultaat op een of meer  van de andere deeltentamens, met als resultaat een voldoende. Er wordt soms een minimum grens gehanteerd voor de onvoldoende, bijvoorbeeld de student moet minimaal een 4 of 4,5 hebben behaald.

2.   Als er geen sprake is van compensatie worden de cijfers gemiddeld. Voor alle deeltentamens moet dan mimimaal een voldoende cijfer zijn behaald. Het eindcijfer van de onderwijseenheid is het gemiddelde van deze voldoendes.

3    Bij weging tellen de cijfers van de deeltentamens niet allemaal even zwaar mee. Met een percentage wordt aangegeven hoe zwaar het cijfer meeweegt. Dit kan worden toegepast bij compenseren en middelen.

Let op: bij geïntergreerde herkaninsingen is het niet aan te raden om het het compenseren een ondergrens te hanteren. In deze kennisclip wordt dit nader toegelicht.


 

Slagingspercentages

Studenten met een diploma van havo-, vwo- of mbo-4 zijn toelaatbaar tot een hbo-opleiding. Iedere instromende student zou daarom in principe het propedeuse-examen kunnen halen. In de prestatieafspraken met OCW heeft de HvA voor het rendement van propedeuse en hoofdfase een streefcijfer van 60% afgesproken. Het behalen van deze rendementen HvA breed is een grote uitdaging. Het niet behalen van tentamens is een belangrijke reden voor uitval, naast verkeerde studiekeuze, moeite met het studentenleven of persoonlijke omstandigheden.

Voor de slagingspercentages van tentamens is het aan te raden voor de propedeuse 60% aan te houden, vanuit de volgende overwegingen:

  • De propedeuse heeft een selecterende functie; hoewel studenten beschikken over de vereiste vooropleiding kan het niveau toch te hoog zijn.
  • Als meer dan 40% van de studenten bij de eerste kans zakt, dan zal dat voor een deel veroorzaakt worden door de kwaliteit van het tentamen, het onderwijs of andere omstandigheden.

Studenten die hun propedeuse-examen hebben gehaald zijn geschikt bevonden voor de hoofdfase van de opleiding. Van hen mag verwacht worden dat ze, als ze zich voldoende inspannen slagen voor hun tentamens. Een slagingspercentage van 80% of hoger is in de hoofdfase daarom normaal.

Het is hierbij belangrijk te vermelden dat de streefcijfers voor slagingspercentages per domein en per opleiding kunnen verschillen. De opleiding kan zich het beste vergelijken met eenzelfde opleiding bij een vergelijkbare hogeschool.



Laatst gewijzigd: 6 december 2017
 
 

 ‭(Verborgen)‬ Voorbeelden

 Tips

·         Beperk het aantal beoordelingscriteria tot de kritische aspecten.
·         Het gewicht van formele eisen zoals eisen aan taalniveau, volledigheid, structuur, omvang, bronvermelding, authenticiteit e.d.  past bij het niveau. Houd bij de vormgeving van beoordelingsinstrumenten rekening met consistentie in deze eisen binnen en tussen leerlijnen.
·         Stem de lay-out af op de afspraken die er zijn over feedback en verantwoording van het eindoordeel. Dit kan per beoordelingsaspect en/of aan het eind.
·         Zorg voor een eenduidige lay-out van de beoordelingsinstrumenten binnen een leerlijn.
·         Neem per beoordelingsaspect en/of bij het eindoordeel verantwoording van het oordeel en feedback op.
·         Pas bij de constructie van toets en van beoordelingsinstrument het 4-ogen principe toe.
·         Gebruik rubrics voor consistente feed up, feed back en feed forward over complexe leerdoelen.
·         Zorg dat de beoordelingsinstrumenten van een leerlijn een passende afspiegeling zijn van de toenemende complexiteit.
·         Geeft studenten goede voorbeelden van beoordeelde complexe opdrachten en portfolio’s. Dit draagt bij aan hun inzicht in het vereiste niveau en in de beoordelingscriteria Kies voor een combinatie van absolute en relatieve cesuurbepaling.
·         Vermeld expliciet op het beoordelingsformulier de cesuur en de normering.
·         Spreek binnen het team af welke slagingspercentage worden gehanteerd en stem dit af met de examencommissie.