Aanmelden

 DIGITAAL TOETSEN

Wat verstaan we onder digitaal toetsen?

Een digitaal tentamen is een tentamen dat met een toetsapplicatie op de computer wordt afgenomen. Binnen de toetsapplicatie worden tentamenvragen ontworpen en worden tentamens samengesteld. De studenten ontvangen digitale feedback op hun prestaties. De resultaten van studenten zijn in de toetsapplicatie te analyseren, zoals kwaliteit van de items en de cesuurbepaling.

Wat ruimer geformuleerd is digitale toetsing het inzetten van ict tools in het ontwikkelen, samenstellen, afnemen, beoordelen en analyseren van tentamens. Het omvat de volgende onderdelen:

  • Een digitale itembank (collectie open en/of gesloten vragen)
  • Een afnametool voor het online afnemen van tentamens
  • Digitaal gegenereerde feedback
  • Digitaal gegenereerde analyse

In veel gevallen omvat digitale toetsing alle vier de onderdelen. Er zijn ook digitale toetsen die alleen gericht zijn op het online afnemen (vaardigheidstoetsen) of op het geven van feedback op toetsproducten (zoals essays, verslagen, rapporten). In het laatste geval leveren studenten hun toetsproduct in digitale vorm in.

Formatief en summatief digitaal toetsen

Digitale toetsing kan een rol spelen in formatief en summatief toetsen/tentamineren.

FORMATIEF

Met een formatieve toets krijgt de student inzicht in zijn/haar zwakke punten. Belangrijk is de inhoudelijke feedback op de resultaten zodat de student weet waar hij aan moet werken. In deze zin is de toets ook diagnostisch. Bij digitale toetsing kan de feedback automatisch worden gegenereerd. Vooral bij gesloten toetsvragen en korte open vragen is dat relatief simpel te realiseren. De feedback is in de database opgenomen bij het ontwerpen van de items/vragen. Maar ook bij essays en opdrachten toetsvormen is digitale feedback mogelijk. De docent leest het essay digitaal en zet via ‘drag en drop’ de relevante gereedstaande feedback erbij.

SUMMATIEF

Bij een summatieve toets wordt beoordeeld in welke mate de student de bij het tentamen behorende leerdoelen beheerst. Aan het summatieve tentamen is een zak/slaag beslissing gekoppeld. Bij een digitaal summatief tentamen speelt de identificatie en beveiliging een grote rol: zit achter de computer de persoon die zegt dat hij/zij is en is het tentamen zonder ongeoorloofde hulpmiddelen gemaakt?

Wat levert digitaal toetsen op?

Met digitale toetsing zijn activiteiten te realiseren, die bij schriftelijke toetsing in veel mindere mate of niet mogelijk zijn. Het kan daarmee een vliegwiel zijn voor het verhogen studiesucces, studenttevredenheid en toetskwaliteit en voor het verminderen van de werklast.

  • Toetsing kan tijd- en plaatsonafhankelijk plaatsvinden. Vooral formatieve toetsen winnen aan nut als de student er flexibel over kan beschikken. Afname van formatieve toetsen is mogelijk op PC, I-Pad en mobiele telefoons. Via digitale toetsing kunnen aankomende studenten, bijvoorbeeld, een beeld krijgen of ze zichzelf geschikt vinden voor de studie. Ze kunnen bepalen of de voorkennis voor (struikel)vakken voldoende is. Ze kunnen deficiënties wegwerken, zowel voor aanvang als tijdens de studie. Dit kan bijdragen aan het verminderen van de studie-uitval van studenten in de propedeuse.
  • Bij digitale toetsing zijn andere vraagvormen mogelijk in vergelijking met schriftelijke toetsing. Behalve de bekende multiple choice vragen, zijn dat onder andere: matrixvragen, drag and drop, hot spot. Digitale toetsing maakt het ook mogelijk om meerdere media in te zetten: beeld, geluid, video.
  • Digitale toetsing kan het toetsen adaptief maken waardoor toetsing gedifferentieerd wordt. Op basis van het gegeven antwoord van de student, wordt automatisch een specifiekere vervolgvraag gesteld. Elke student volgt dan zijn/haar eigen pad door de toetsitems. Hiermee ontstaat een nauwkeurig beeld van het kennisniveau van de student.
  • Digitale toetsing maakt snelle en inhoudelijke feedback mogelijk. Bij formatieve toetsing kan de student zichzelf testen: heb ik de stof begrepen? Op basis van de feedback heeft de student beter inzicht in zijn kennisniveau en eventuele lacunes. Bij summatieve toetsing heeft de student direct inzicht in de prestaties. Uit onderzoeken blijkt dat directe feedback het leren sterk stimuleert en daarmee invloed heeft op het studiesucces.
  • Digitale toetssystemen faciliteren het reviewen van toetsen en toetsitems. Bij voldoende gevalideerde items kan een toets of tentamen automatisch worden samengesteld. Dit verhoogt de inhoudelijke kwaliteit van de toetsitems van tentamens.
  • Het beoordelingsproces en het geven van feedback verloopt geautomatiseerd. Bij gebruik van gesloten vragen is de voorlopige uitslag direct bekend. Dit verlaagt de werkdruk van docenten aanzienlijk. De handmatige verwerking van toetsresultaten vervalt als het toetssysteem is gekoppeld aan de resultatenadministratie. De gegevens zijn dan ook beter ontsloten. Dit verhoogt de efficiëntie van het logistieke- en administratieve proces en het beheersproces.

Inhoudelijke aandachtspunten

Naast het vergemakkelijken van toetsactiviteiten heeft digitaal toetsen ook aan aantal punten die de nodige zorg en aandacht behoeven:

  • In de opbouwfase is het ontwerp van digitale toetsing tijdrovend. Zeker als de examinatoren gebruik willen maken van andersoortige vraagvormen, multimedia of digitale feedback, zal dit meer ontwikkeltijd vragen. Door samenwerking met andere instellingen is tijdwinst te realiseren.
  • Het opzetten van een kwalitatief goede digitale itembank of feedback vereist een heldere kennisstructuur, die meerdere jaren mee kan gaan. Vooraf moet goed worden nagedacht over de opbouw van de kennis en de niveauindeling van de kennis. Dit vraagt om een eenduidige metadatering en selectiecodes van de items/feedback. Ook nadat de itembank is ontwikkeld vraagt het onderhouden en actualiseren van de itembank of digitale feedback de nodige aandacht.
  • In de situatie dat er automatische feedback wordt gegeven, moet grondig worden nagedacht over de aard en de inhoud van de feedback. Dit doet een beroep op de didactische expertise van examinatoren om verschillende soorten denkfouten te onderkennen en daarop feedback te geven, die studenten verder helpt.
  • Digitaal ontwerpen van toetsen vereist van docenten vaardigheid in het omgaan met de gekozen toetsapplicatie en kennis van toetsitem ontwikkeling.
  • De cesuur moet op voorhand worden vastgesteld en is daarna moeilijker aan te passen dan bij schriftelijke tentamens.
  • Van de studenten vraagt het enige aanpassing en oefening om een digitaal tentamen af te nemen. Zij moeten over voldoende ict-kennis en –vaardigheid beschikken en het digitaal toetsen moet regelmatig "geoefend" worden. Voor toetsen waarbij de vaardigheid in beroepsapplicaties wordt getoetst is die voorbereiding in werkgroepen of practica gebeurd. Het heeft de voorkeur om studenten met formatieve toetsen te laten wennen aan een toetsapplicatie.

Digitale toetscyclus



Vergroot hier het bovenstaande plaatje

Zie verder: Toetsafname protocol Digitale toetsen

Digitale Toetsinfrastructuur

Voor het ontwikkelen, samenstellen, afnemen en analyseren van digitale toetsen en tentamens is een digitale infrastructuur nodig. Die bestaat uit de volgende onderdelen:

  • Itembanken of feedbacksysteem. De itembank of het feedbacksysteem is idealiter door meerdere experts samengesteld. De items/feedback worden bij de constructie van selectiecodes/metadatering voorzien. Bij een itembank kan door middel van statistische analyses (via het gebruik van de items) de validiteit en de betrouwbaarheid van de items worden bepaald. De docent kan, op basis een toetsmatrijs, een eigen tentamen of toets samenstellen.
  • Toetsapplicaties/licenties: Voor toetsapplicaties zijn over het algemeen licenties noodzakelijk. Voor centraal aangeboden applicaties zijn of worden de licenties geregeld door ICTS. Met ingang van september 2016 wordt TestVision Online centraal aangeboden en beheerd. Voor toetsvragen met wiskundige formules zijn de centrale licenties: Sowiso en Maple TA.
  • Toetszalen; Summatief toetsen moeten worden afgenomen onder veilige en gecontroleerde omstandigheden. Het is aan te raden gebruik te maken van speciaal daarvoor ingerichte digitale toetszalen. HvA, UvA en AMC beschikken sinds september 2015 over 2x300 toetsplekken in speciaal ingerichte zalen (locatie: IWO, Meibergdreef). Daarnaast is een digitale toetszaal (150 plekken) op de Plantage Muidergracht (Ruimte M.301) beschikbaar. In deze zalen is het ook mogelijk om bij kleine groepen studenten digitale toetsen af te nemen. De zalen worden beheerd door het Bureau Onderwijslogistiek (BOL/ FS).

    Wil je aan de slag met digitaal toetsen neem dan contact op met de Contactpersoon Digitaal Toetsen van je faculteit.

Wil je meer weten over de kosten van de digitale toets infrastructuur, en de baten, kijk dan in de SURF-publicatie Toetsing en Toetsgestuurd leren: kosten en baten van digitale toetsing

Toetsapplicaties

Er zijn verschillende soorten (toets)software beschikbaar voor digitaal toetsen. Toetsapplicaties worden ingezet om formatieve en summatieve toetsen te ontwikkelen, af te nemen, na te kijken, te analyseren en te beheren/archiveren. De toetsafname voor studenten vindt plaats in een beveiligde afnameomgeving. Toetsstatistieken die in een toetsapplicatie kunnen worden opgevraagd, zijn input voor het bepalen van toetsvraagkwaliteit en cesuurbepaling.

Applicaties zoals Word, Excel en SPSS zijn niet ontwikkeld om digitaal mee te toetsen, maar worden wel vaak ingezet om vaardigheden te toetsen. Daarom worden dergelijke applicaties vaak in combinatie met een toetsapplicatie gebruikt om de veiligheid van de toets te borgen.


Toetsapplicaties zijn onder te verdelen in drie categorieën:

Categorie A - gericht op gesloten vragen zoals meerkeuze-, invul- en aanwijsvragen

Categorie B - gericht op vragen met formules en/of berekeningen waarbij dit ook in het antwoord gevraagd wordt

Categorie C - gericht op de verwerking van open/essay vragen

De volgende toetsapplicaties wordt binnen de HvA centraal aangeboden:TestVision Online, Sowieso en Maple TA.

De toetsapplicaties RemindoToets en QMP zullen in het studiejaar 16/17 worden uitgefaseerd.

TestVision Online (Categorie A en C)

Testvison Online is een toetssysteem waarbij je in een beveiligd online platform met veel verschillende vraagvormen kunt werken die elk passende scoringsregels hebben. Vraagvormen die worden aangeboden zijn: verschillende soorten meerkeuzevragen, rangschik-, (hot)match-, invul- (numeriek/tekst), hotspot-, upload- en de open vraag(casus/essay). De verschillende vraagvormen kunnen voorzien worden van kenmerken, multimediale elementen (afbeeldingen, video en audio). Aan de hand van een toetsmatrijs kunnen de verschillende vraagvormen (random) in een toets worden opgenomen.

Instructievideo’s TVO

SOWISO (Categorie B)

SOWISO levert educatieve software voor wiskunde en aanverwante exacte vakken. Het platform stelt onderwijsinstellingen in staat om in eigen beheer interactieve toetsvragen te ontwikkelen. De SOWISO software kan open antwoorden, in de vorm van berekeningen en wiskundige expressies, interpreteren en analyseren. De software geeft de gebruiker de mogelijkheid om feedback (hints) op basis van de antwoorden van de student te geven.>


Instructievideo’s SOWISO

Maple TA (Categorie B)

Maple TA is een digitaal toetssysteem voor het afnemen van online toetsen. De meerwaarde van het systeem is de aanwezigheid van het onderliggende computer algebra systeem Maple. Hierdoor is het mogelijk om toetsvragen verregaand te parametriseren; niet alleen met getallen, maar ook met plaatjes, dynamische figuren, formules en zelfs met tekst.

Instructievideo’s Maple TA

Beveiligingsaspecten toetsapplicaties
Toetsapplicaties hebben een aantal beveiligingsfeatures ingebouwd om fraude en verlies van toetsinformatie tegen te gaan. Denk aan inlog-beperkingen (je kunt alleen in de toetszaal binnen het afgesproken tijdvak een toets benaderen) en aan beveiligingen op server-niveau, zodat er geen ongeoorloofde wijzigingen kunnen plaatsvinden of gegevens verloren gaan. Echter, technische maatregelen kunnen niet alle fraude tegengaan. ‘Klassieke’ fraude zoals het gebruik van spiekbriefjes, onderlinge communicatie en dergelijke blijven natuurlijk ook bij digitale toetsafname een risico. Afkijken wordt daarentegen lastiger voor studenten omdat toetsapplicaties de mogelijkheid bieden om toetsvragen in random volgorde aan de studenten aan te bieden.


Vragen?
Wil je ondersteuning of heb je vragen over de categorie/toetssoftware keuze? Neem dan contact op met de Contactpersoon Digitaal Toetsen (CDT) van je faculteit en/of met Rosanne Chocolaad (r.e.chocolaad@hva.nl) digitaal toetsdeskundige uit het Programmateam Digitaal Toetsen (PDT).

Technische aandachtspunten

De technische aandachtspunten zijn:

  • Het is aan te bevelen de toetsafname van tevoren te simuleren.
  • Het is van belang dat surveillanten bekend zijn met digitaal toetsen en de daarbij behorende vraagstukken (bijv. identificatie, toetssoftware).
  • Het systeem moet afdoende beveiligd zijn tegen misbruik. In toetszalen die speciaal voor digitaal toetsen zijn ingericht kan je uitgaan van afdoende beveiliging
  • Indien er multimedia gebruikt wordt, moet de aanwezige infrastructuur krachtig genoeg zijn. Probeer dat ruim van tevoren uit en vraag advies aan de ict-ondersteuners
  • Niet alle digitale toetsprogrammatuur biedt alle soorten vragen aan. Stel zelf vast welke soort vragen je wenst en bevraag de ondersteuner Digitaal Toetsen over de mogelijkheden. Gesloten toetsvragen met 1 of meerdere juiste antwoorden, vragen met multimedia en bijvoorbeeld hotspotvragen (aanwijzen van een bepaald gebied op een afbeelding) zijn vaak gewoon mogelijk.
  • Een toetsprogramma kan vrij eenvoudig gesloten vragen (rangordeningsvragen, multiple choice, invulvragen, sorteervragen) beoordelen. Voor open vragen biedt een aantal applicaties mogelijkheden. Digitaal gemaakte open vragen zijn wel makkelijker handmatig na te kijken door het ontbreken van onleesbare handschriften, doorstrepingen en andere correcties.

Zie verder voor de praktische uitvoering van digitale toetsing: Toetsafnameprotocol Digitaal toetsen (onder Bronnen).

Deskundigheidsbevordering

Onderdeel van het toetsbeleid is de professionalisering van de betrokken medewerkers. Digitaal toetsen vraagt om een uitbreiding van de benodigde competenties van betrokkenen. Denk hierbij aan ‘knoppencursussen’ en toepassen van vraagtypes die alleen digitaal mogelijk zijn. Ook is het hebben van het overzicht over de hele toetscyclus van belang om te weten hoe de onderscheiden stappen met elkaar samenhangen. Neem voor de mogelijkheden voor professionalisering contact op met de Contactpersoon Digitaal Toetsen (CDT) van je faculteit.


Laatst gewijzigd: 29 september 2016