Aanmelden

Wat is learning analytics?


Learning analytics is het verzamelen, analyseren en interpreteren van data over studenten in het onderwijs. De verzamelde data worden ingezet ter verbetering van het onderwijs [1]. Het geeft docenten en studenten inzicht in de activiteiten die studenten ondernemen. Bij learning analytics worden data gecombineerd uit verschillende gegevensbronnen. Op basis van de inzichten die learning analytics bieden kunnen studenten hun leergedrag aanpassen en kunnen docenten onderwijs en toetsing beter laten aansluiten bij het leergedrag van studenten [2].

1.0 Hoe werkt learning analytics?

Door de alomtegenwoordigheid van digitale datasystemen, zoals digitale leeromgevingen, studievolgsystemen, toetssystemen genereren we veel data. Digitale leeromgevingen bevatten studiemateriaal zoals kennisclips, studiehandleidingen, opdrachten en formatieve toetsen. In toenemende mate maken studenten ook hun afsluitende tentamens digitaal.

Bij elke handeling die student uitvoert wordt in het systeem vastgelegd wat hij heeft gedaan: of hij iets heeft gedownload, een video of e-slides heeft bekeken, een formatieve toets heeft gemaakt, peerfeedback heeft gegeven of iets heeft toegevoegd aan discussie of blog? [2]. Daarnaast wordt ook de nodige informatie over studenten opgeslagen in studievolgsystemen: algemene studentgegevens, gevolgde modules, behaalde studiepunten

In de digitale systemen ontstaat zo een verzameling van diverse gegevens, die ons veel kan vertellen over het leerproces van studenten. Analyse van de verzamelde data met behulp van learning analytics kan inzicht geven in:
•hoe studenten zich in een digitale leeromgeving oriënteren op een module of (deel)opdracht;
•hoe studenten - individueel en in groepsverband - welke leermiddelen in een digitale leeromgeving op welke momenten gebruiken bij beoogde leeractiviteiten;
•de resultaten op summatieve en formatieve toetsing in relatie tot het gebruik van de aangeboden studiematerialen [2].

2.0 Learning analytics toepassen bij toetsing

Bij het toepassen van learning analytics bij toetsing worden data die voortkomen uit toetsactiviteiten gecombineerd met andere data. Hiermee kan een relatie worden gelegd tussen de prestaties van de student en zijn gebruik van leermaterialen.

Gecombineerde data uit learning analytics kan leiden tot een reactie of advies van het systeem aan de student over zijn leeractiviteiten en prestaties. Een veelvoorkomende vorm is dat de student zijn resultaten of activiteiten krijgt voorgeschoteld in combinatie met de geanonimiseerde resultaten van andere studenten. Dit kan leiden tot advies dat de student op schema zit of dat hij meer tijd aan het vak zou moeten besteden om zijn kans te verhogen goed te scoren bij de toets.

Inzichten uit learning analytics kan docenten inzicht geven in de intensiteit van leeractiviteiten en prestaties bij toetsing of in het soort leeractiviteiten en prestaties bij toetsing. Het geeft docenten en onderwijsontwikkelaars hiermee handvatten voor het (her)ontwikkelen van modules, studiematerialen en toetsing [2].

Een verder liggend perspectief is dat learning analytics toetsactiviteiten vervangt. Hierbij levert learning analytics voldoende informatie op over de voortgang van de student, dat summatieve toetsing overbodig wordt. Als de voorspellende waarde van learning analytics in de toekomst daadwerkelijk groot en nauwkeurig is, worden toetsen volgens Filip Dochy overbodig. Dan volstaan de analytics van leerprocessen, (beroeps)opdrachten en resultaten, in combinatie met het interpersoonlijk oordeel van het docententeam [5].

Zover is het nog niet. We gaan op dit moment uit van het combineren van gegevens en daar relaties tussen vinden. Adviseren en voorspellen gaat steeds beter, maar learning analytics beslaat nu beperkte onderdelen van het onderwijsproces. Dit kan al nuttige onderwijskundige inzichten geven [4], [5]. Ook hebben interventies op basis van learning analytics niet vanzelf positieve effecten op het gedrag van studenten [2]. Bij een instrument als learning analytics is het van belang om op ‘evidence’ af te gaan. Initiatieven zoals Evidence Hubs [6] dragen daar aan bij.

3.0 Twee voorbeelden vanuit de student

1)De student maakt een formatieve toets als voorbereiding op een tentamen. Learning analytics voegt hieraan toe: de student ziet op welke leerdoelen hij minder goed scoort. Met learning analytics kan de student het advies krijgen om bepaalde inhouden (nogmaals) te bestuderen. Dit advies is gebaseerd op wat de student heeft gedownload of bekeken. Adviezen zijn onderdeel van de feedback die de student krijgt.

2) De student wil weten of zijn voorbereiding op de toets kansrijk is. Learning analytics voegt hier aan toe: de student kan zien hoe het raadplegen van artikelen en bekijken van video zich verhoudt ten opzichte van de studie-activiteiten van medestudenten of adviezen van docenten.
 

4.0 Twee voorbeelden vanuit de docent


1)De docent wil weten hoe zijn studenten er voor staan in hun voorbereiding op de toets. Learning analytics voegt hier aan toe: de docent krijgt inzicht in welke studenten wel of niet de geadviseerde formatieve toetsen hebben gemaakt en of zij alle materialen hebben bekeken.

2) De docent wil weten wat de relatie is tussen toetsprestaties en leeractiviteiten. Learning analytics voegt hier aan toe: welke formatieve toetsen de studenten hebben gemaakt en welke digitale onderwijsmaterialen ze op welk moment hebben bekeken [2].
•De docent krijgt (geanonimiseerd of juist niet) inzicht in hoe studenten op de verschillende onderdelen scoren. De docent kan zijn onderwijsactiviteiten en leermiddelen aanpassen op basis van de analyse en interpretatie van scores.
•De resultaten van de formatieve toets kunnen worden getoond in vergelijking met activiteiten van de student in de (digitale) leeromgeving. Bijvoorbeeld: de student heeft uitgebreid bijgedragen aan een forum over een bepaald onderwerp en scoort daarop goed op de toets.

Concreet voorbeeld: Jan Hellings (FDMCI) gaf studenten een overzicht van hun voortgang in meerdere online oefeningen en zocht uit of en hoe voorspellend die oefeningen zijn voor het eindcijfer [7].

Hiermee komt een belangrijk onderdeel van learning analytics in beeld, namelijk het voorspellen van prestaties op basis van studiegedrag en tussentijdse formatieve toetsing [4]. Op basis van gedrag in de leeromgeving en de resultaten uit tussentijdse formatieve toetsing kan de docent de student adviseren om bepaalde leeractiviteiten of formatieve toetsen te doen als voorbereiding of om zich bij te spijkeren. Tempelaar et al [8] onderzochten de voorspellende waarde van formatieve toetsen ten opzichte van andere data uit de leeromgeving. Formatieve toetsen kwamen als best voorspellend naar voren.

 

5.0 Voordelen voor studenten

De student is sneller en breder geïnformeerd op basis van eigen handelingen in digitale systemen.
•Studenten kunnen hun scores op (formatieve) toetsen vergelijken ten opzichte van de norm. In combinatie met gerichte feedback helpt dit bij de voorbereiding op de (summatieve) toets.
•Studenten kunnen hun scores op (formatieve, summatieve) toetsen vergelijken met die van andere studenten (klas, opleiding, andere instellingen). Dit geeft hen inzicht in hoe zij op dat moment presteren ten opzicht van andere studenten.
•Studenten kunnen hun leeractiviteiten vergelijken met wat bekend is over de effectiviteit ervan op de score op de eindtoets. Dit stimuleert bewustwording van de eigen aanpak en planning van studie-activiteiten en mogelijkheden voor eventuele bijstelling.

6.0 Voordelen voor docenten

Docenten krijgen meer inzicht in het leergedrag van studenten:
•Docenten krijgen inzicht in welke kennis of vaardigheden meer of minder aandacht behoeven.
•Afhankelijk van de mogelijkheden van het systeem kunnen groepen studenten met verschillende toetsprestaties geïdentificeerd worden, in relatie tot hun activiteiten in de digitale omgeving. Hierdoor kan de docent onderwijs op maat bieden en onderbouwd studieadvies geven.
•Docenten krijgen te zien of en op welke manier student(groepen) digitale leermiddelen gebruiken.
•Wanneer het systeem de actieve inzet controleert, de voortgang monitort en feedback en advies geeft, dan zal het werk van docenten leuker en uitdagender worden. De docent wordt vooral (her)ontwerper van onderwijs. De docentrollen controleur en uitvoerder zullen verdwijnen [5].

7.0 Welke stappen moet je zetten om aan de slag te gaan?

•Bepaal wat de relatie is met de opleidingsvisie op onderwijs- en toetskwaliteit en wat de voor- en nadelen zijn voor (groepen) studenten, docenten en management.
• Ga tijdig met alle belanghebbenden in gesprek over het doel van learning analytics.
•Het resultaat is een helder en concreet beeld van wat het team wil bereiken met learning analytics.
•Dit doel bepaalt in sterke mate welke data (via een dashboard) aan de studenten en/of docenten wordt getoond.
•Controleer de technische beschikbaarheid van de beoogde data en geschiktheid voor analyse.
•Bepaal aan welke juridische voorwaarden het gebruik van deze data dienen te voldoen. Het gebruiken van (persoonsgebonden) data is aan strenge wet- en regelgeving gebonden en er zijn een aantal ethische issues die niet mogen worden veronachtzaamd
•Bepaal de korte en langere termijn kosten en besparingen.
•Test het gebruik aan de hand van een pilot (grote opleiding).
•Akkoord van het opleidingsmanagement.

Zeker voor Learning analytics geldt dat het keuzeproces en ontwikkeling met meerdere interaties kan verlopen door de complexiteit van vraagstukken op elk deelgebied!

8.0 Benodigde onderdelen

Om learning analytics waarde te laten hebben voor de student en docent moeten de volgende onderdelen aanwezig zijn:
•Het doel dat behaald moet worden met de inzet van learning analytics moet duidelijk zijn (inzicht en daarop volgende reactie).
•De data die geanalyseerd kunnen worden (uit een of meer systemen).
•Een voorspellingsmodel dat de student en docent informeert op basis van de data (een kwalitatief voorspellingsmodel).
•Een voor studenten en docenten helder en bruikbaar overzicht (dashboard).
•Een of meerdere systemen waarin data wordt geanalyseerd en vervolgens gepresenteerd in de vorm van een ‘dashboard’. Er zijn verschillende techische standaarden die het verwerken van data vergemakkelijken: zie 13 en 14.
•een verzamelplaats van data, zoals een learning record store waarin handelingen uit toetssystemen en/of leeromgeving worden opgeslagen. In een datawarehouse worden deze data gecombineerd met data uit andere systemen. Daarvoor worden big-data-technieken gebruikt om betekenis te geven aan de grote hoeveelheid data. 

9.0 Aandachtspunten

•Het opzetten van learning analytics vraagt de samenwerking van onderwijskundige, organisatorische, juridische, ethische en technische disciplines. Zoek tijdig naar expertise op deze vlakken.
•De basis van learning analytics zijn statistiek en analyse-modellen die ‘leren’ van de data. Naarmate gebruik vordert en de hoeveelheid data groter is, neemt de validiteit van de resultaten uit algoritmes en processen toe.
•De adviezen uit een systeem kunnen nooit de 1 op 1 adviezen, interactie en feedback van docenten, medestudenten en/of externen vervangen.
•Learning analytics is beperkt tot de verzamelde data en de manier waarop het systeem ze zichtbaar maakt.
•Management van verwachtingen naar alle belanghebbenden over wat learning analytics wel en niet kan.
•Zorg dat learning analytics voor zo veel mogelijk studenten nuttig is. Reduceer het niet tot een instrument voor het voorkomen van studie-uitval oftewel een focus op risico-studenten alleen [3].
•Learning analytics is volop in ontwikkeling. Ga niet te snel in zee met partijen of oplossingen die gouden bergen beloven. Grafieken en tabellen zien er snel mooi uit, maar geven lang niet altijd inzicht of nuttige informatie.
•Maak bij besluitvorming gebruik van onderzoeksresultaten [9].
•Doe van meet af aan onderzoek naar de werking in de eigen praktijk, of sluit aan bij academisch onderzoek waarin learning analytics wordt gekoppeld aan onderwijs(psychologisch) onderzoek.

10. Kanttekeningen

•Learning analytics sluit aan bij de idee van het ‘quantified self’. Het suggereert dat er sprake is van een gepersonaliseerde leeromgeving en gepersonaliseerde studieadviezen. Hoe realistisch is dit op dit moment voor het hoger onderwijs?
•De context en de manier waarop uitkomsten of adviezen worden weergegeven kunnen van invloed zijn op de betekenisgeving door studenten en docenten. Hierbij kan sprake zijn van onbedoelde (naming and shaming), bedoelde en verborgen beïnvloeding (nudging).
•De data geven niet altijd een waarheidsgetrouw beeld. De afspeelduur van een kennisclip zegt niets over het gebruik en de verwerking van informatie. Studenten kunnen het systeem onbewust of bewust voor de gek houden. Heeft een student de formatieve toets serieus gemaakt of heeft hij er alleen doorheen geklikt terwijl hij de antwoorden elders heeft gevonden [4]. Heeft de student zelf aan de knoppen gezeten? Heeft de student zelf de antwoorden bedacht?
•Als learning analytics wordt ingezet bij een vooraf door de docent ontwikkeld programma gaat het er vooral om inzicht te krijgen in welke mate de student de geplande studieactiviteiten daadwerkelijk uitvoert. Dit past niet bij de actuele inzichten in betekenisvol en vraaggericht leren en de ambities voor differentiatie en flexibilisering. Learning analytics kan echter ook gebruikt worden voor vraaggericht onderwijs. Het biedt studenten de mogelijkheid om, zonder filtering of interpretatie door docenten, de eigen prestaties te bekijken.
•In een omgeving die is gericht op controle en risicomanagement kan ongebalanceerd learning analytics er aan bijdragen dat gewenst gedrag van studenten en docenten wordt afgedwongen terwijl ander gedrag ook acceptabel is [15]. Learning analytics en andere vormen van big data gaan toch vaak over de gemene deler. Wees daar scherp op bij de doelen die je met learning analytics wilt bereiken.

De laatste twee kanttekeningen sluit aan bij kritiek van Macfarlane [15]. Hij stelt dat learning analytics de academische vrijheid kan bedreigen. Dit heeft te maken met een doorgeslagen prestatiecultuur, waarin de jaarlijkse landelijke studenten enquête een belangrijke rol speelt. Er is een algemeen beeld van gewenst studiegedrag. Dit creëert een nieuw ‘verborgen curriculum’. Gewenste studiegedragingen worden afgedwongen door verplichte aanwezigheid, actieve deelname aan hoorcolleges en groepsprojecten enz. De student kan zich hier niet aan onttrekken doordat ze zijn gekoppeld aan de beoordeling. De opleiding bepaalt zo in hoge mate wat, waar en hoe studenten leren. Het continu verzamelen, koppelen en beoordelen van steeds meer en gedetailleerdere data met behulp van learning analytics kan dit versterken. Macfarlane geeft hierbij als schrikbeeld het ‘panopticum’. Een voorbeeld daarvan is de koepelgevangenis, die zo is gebouwd dat één bewaker alle gevangenen continu kan observeren.

11. Bronnen

Voor meer gedetailleerde informatie raadpleeg de bronnen.

 

BRONNEN

Onderwijskundig
1.SURF - learning-analytics*
2.Rapport met o.a. de onderwijskundige vragen die uitgangspunt kunnen zijn voor learning analytics, zoals de inrichting van toetsing. Uit dit rapport is de lijst van inzichten en interventie op die inzichten gebaseerd. https://www.surfspace.nl/artikel/2004-rapport-learning-analytics-in-het-onderwijs-een-onderwijskundig-perspectief/
3.Nienke Bos over o.a. de focus op voorkomen uitval https://www.surfspace.nl/artikel/2007-learning-analytics-and-knowledge-lak-congres/
4.Sharon Klinkenberg over voorspellende waarde van formatieve toetsen https://www.surfspace.nl/artikel/2005-voorspellende-waarde-van-formatieve-toetsen/
5.Innovaties in digitaal Toetsen, Surfnet, https://www.surf.nl/kennisbank/2016/thema-uitgave-innovaties-in-digitaal-toetsen.html
6.Evidence-informed learning analytics toepassen? Raadpleeg de Evicence Hub http://evidence.laceproject.eu/search/evidence_hub_sector/universities/ en evidence.laceproject.eu/?post_type=evidence 
7. Jan Hellings: volgt.
8.Feedback en learning analytics: Tempelaar, D. T., Rienties, B., & Giesbers, B. (2014). In search for the most informative data for feedback generation: Learning Analytics in a data-rich context. Computers in Human Behavior. Retrieved from http://www.sciencedirect.com/science/article/pii/S0747563214003240
9.Hoe data de kwaliteit van het hoger onderwijs kunnen verbeteren (Whitepaper), SURFspace, (n.d.). Retrieved March 15, 2016, from https://www.surfspace.nl/artikel/1973-whitepaper-hoe-data-de-kwaliteit-van-het-hoger-onderwijs-kunnen-verbeteren


Organisatorisch
10.Hendrick Drachsler et al. Ethical and privacy issues in the application of learning analytics http://oro.open.ac.uk/42347/1/p390-drachsler.pdf
11.Juridische aandachtspunten
12.  Mogelijkheden en aandachtspunten learning analytics

Technisch
13.Alan Berg et al. over een technische standaard voor uitwisseling van data tussen systemen (xApi) http://dl.acm.org/citation.cfm?id=2883968
14. Tom Kuijpers over berichtstromen (de data) voor learning analytics toepassingen. https://blog.surf.nl/5-manieren-waarop-de-open-onderwijs-api-kan-worden-ingezet-voor-learning-analytics/
15.Macfarlane, B. (2016) ‘Freedom to Learn. The threat to student academic freedom and why it needs to be reclaimed’ New York: Routledge.

* Special interest Group Learning Analytics SURF

Special Interest Groep Learning Analytics Surf, o.a. vindplaats definitie learning analytics. SURF is de samenwerkingsorganisatie op ict-vlak van het HBO en universiteiten. https://www.surfspace.nl/sig/18-learning-analytics/

Wat is learning analytics?

Learning analytics is het verzamelen, analyseren en interpreteren van data over studenten in het onderwijs. De verzamelde data worden ingezet ter verbetering van het onderwijs [1]. Het geeft docenten en studenten inzicht in de activiteiten die studenten ondernemen. Bij learning analytics worden data gecombineerd uit verschillende gegevensbronnen. Op basis van de inzichten die learning analytics bieden kunnen studenten hun leergedrag aanpassen en kunnen docenten onderwijs en toetsing beter laten aansluiten bij het leergedrag van studenten [2].

1.0 Hoe werkt learning analytics?

Door de alomtegenwoordigheid van digitale datasystemen, zoals digitale leeromgevingen, studievolgsystemen, toetssystemen genereren we veel data. Digitale leeromgevingen bevatten studiemateriaal zoals kennisclips, studiehandleidingen, opdrachten en formatieve toetsen. In toenemende mate maken studenten ook hun afsluitende tentamens digitaal.

Bij elke handeling die student uitvoert wordt in het systeem vastgelegd wat hij heeft gedaan: of hij iets heeft gedownload, een video of e-slides heeft bekeken, een formatieve toets heeft gemaakt, peerfeedback heeft gegeven of iets heeft toegevoegd aan discussie of blog? [2]. Daarnaast wordt ook de nodige informatie over studenten opgeslagen in studievolgsystemen: algemene studentgegevens, gevolgde modules, behaalde studiepunten

In de digitale systemen ontstaat zo een verzameling van diverse gegevens, die ons veel kan vertellen over het leerproces van studenten. Analyse van de verzamelde data met behulp van learning analytics kan inzicht geven in:

  • hoe studenten zich in een digitale leeromgeving oriënteren op een module of (deel)opdracht;
  • hoe studenten - individueel en in groepsverband - welke leermiddelen in een digitale leeromgeving op welke momenten gebruiken bij beoogde leeractiviteiten;
  • de resultaten op summatieve en formatieve toetsing in relatie tot het gebruik van de aangeboden studiematerialen [2].

2.0 Learning analytics toepassen bij toetsing

Bij het toepassen van learning analytics bij toetsing worden data die voortkomen uit toetsactiviteiten gecombineerd met andere data. Hiermee kan een relatie worden gelegd tussen de prestaties van de student en zijn gebruik van leermaterialen.

Gecombineerde data uit learning analytics kan leiden tot een reactie of advies van het systeem aan de student over zijn leeractiviteiten en prestaties. Een veelvoorkomende vorm is dat de student zijn resultaten of activiteiten krijgt voorgeschoteld in combinatie met de geanonimiseerde resultaten van andere studenten. Dit kan leiden tot advies dat de student op schema zit of dat hij meer tijd aan het vak zou moeten besteden om zijn kans te verhogen goed te scoren bij de toets.

Inzichten uit learning analytics kan docenten inzicht geven in de intensiteit van leeractiviteiten en prestaties bij toetsing of in het soort leeractiviteiten en prestaties bij toetsing. Het geeft docenten en onderwijsontwikkelaars hiermee handvatten voor het (her)ontwikkelen van modules, studiematerialen en toetsing [2].

Een verder liggend perspectief is dat learning analytics toetsactiviteiten vervangt. Hierbij levert learning analytics voldoende informatie op over de voortgang van de student, dat summatieve toetsing overbodig wordt. Als de voorspellende waarde van learning analytics in de toekomst daadwerkelijk groot en nauwkeurig is, worden toetsen volgens Filip Dochy overbodig. Dan volstaan de analytics van leerprocessen, (beroeps)opdrachten en resultaten, in combinatie met het interpersoonlijk oordeel van het docententeam [5].

Zover is het nog niet. We gaan op dit moment uit van het combineren van gegevens en daar relaties tussen vinden. Adviseren en voorspellen gaat steeds beter, maar learning analytics beslaat nu beperkte onderdelen van het onderwijsproces. Dit kan al nuttige onderwijskundige inzichten geven [4], [5]. Ook hebben interventies op basis van learning analytics niet vanzelf positieve effecten op het gedrag van studenten [2]. Bij een instrument als learning analytics is het van belang om op ‘evidence’ af te gaan. Initiatieven zoals Evidence Hubs [6] dragen daar aan bij.

3.0 Twee voorbeelden vanuit de student

1)De student maakt een formatieve toets als voorbereiding op een tentamen. Learning analytics voegt hieraan toe: de student ziet op welke leerdoelen hij minder goed scoort. Met learning analytics kan de student het advies krijgen om bepaalde inhouden (nogmaals) te bestuderen. Dit advies is gebaseerd op wat de student heeft gedownload of bekeken. Adviezen zijn onderdeel van de feedback die de student krijgt.

2) De student wil weten of zijn voorbereiding op de toets kansrijk is. Learning analytics voegt hier aan toe: de student kan zien hoe het raadplegen van artikelen en bekijken van video zich verhoudt ten opzichte van de studie-activiteiten van medestudenten of adviezen van docenten.

4.0 Twee voorbeelden vanuit de docent

1)De docent wil weten hoe zijn studenten er voor staan in hun voorbereiding op de toets. Learning analytics voegt hier aan toe: de docent krijgt inzicht in welke studenten wel of niet de geadviseerde formatieve toetsen hebben gemaakt en of zij alle materialen hebben bekeken.

2) De docent wil weten wat de relatie is tussen toetsprestaties en leeractiviteiten. Learning analytics voegt hier aan toe: welke formatieve toetsen de studenten hebben gemaakt en welke digitale onderwijsmaterialen ze op welk moment hebben bekeken [2].

  • De docent krijgt (geanonimiseerd of juist niet) inzicht in hoe studenten op de verschillende onderdelen scoren. De docent kan zijn onderwijsactiviteiten en leermiddelen aanpassen op basis van de analyse en interpretatie van scores.
  • De resultaten van de formatieve toets kunnen worden getoond in vergelijking met activiteiten van de student in de (digitale) leeromgeving. Bijvoorbeeld: de student heeft uitgebreid bijgedragen aan een forum over een bepaald onderwerp en scoort daarop goed op de toets.

Concreet voorbeeld: Jan Hellings (FDMCI) gaf studenten een overzicht van hun voortgang in meerdere online oefeningen en zocht uit of en hoe voorspellend die oefeningen zijn voor het eindcijfer [7].

Hiermee komt een belangrijk onderdeel van learning analytics in beeld, namelijk het voorspellen van prestaties op basis van studiegedrag en tussentijdse formatieve toetsing [4]. Op basis van gedrag in de leeromgeving en de resultaten uit tussentijdse formatieve toetsing kan de docent de student adviseren om bepaalde leeractiviteiten of formatieve toetsen te doen als voorbereiding of om zich bij te spijkeren. Tempelaar et al [8] onderzochten de voorspellende waarde van formatieve toetsen ten opzichte van andere data uit de leeromgeving. Formatieve toetsen kwamen als best voorspellend naar voren.

5.0 Voordelen voor studenten

De student is sneller en breder geïnformeerd op basis van eigen handelingen in digitale systemen.

  • Studenten kunnen hun scores op (formatieve) toetsen vergelijken ten opzichte van de norm. In combinatie met gerichte feedback helpt dit bij de voorbereiding op de (summatieve) toets.
  • Studenten kunnen hun scores op (formatieve, summatieve) toetsen vergelijken met die van andere studenten (klas, opleiding, andere instellingen). Dit geeft hen inzicht in hoe zij op dat moment presteren ten opzicht van andere studenten.
  • Studenten kunnen hun leeractiviteiten vergelijken met wat bekend is over de effectiviteit ervan op de score op de eindtoets. Dit stimuleert bewustwording van de eigen aanpak en planning van studie-activiteiten en mogelijkheden voor eventuele bijstelling.

6.0 Voordelen voor docenten

Docenten krijgen meer inzicht in het leergedrag van studenten:

  • Docenten krijgen inzicht in welke kennis of vaardigheden meer of minder aandacht behoeven.
  • Afhankelijk van de mogelijkheden van het systeem kunnen groepen studenten met verschillende toetsprestaties geïdentificeerd worden, in relatie tot hun activiteiten in de digitale omgeving. Hierdoor kan de docent onderwijs op maat bieden en onderbouwd studieadvies geven.
  • Docenten krijgen te zien of en op welke manier student(groepen) digitale leermiddelen gebruiken.
  • Wanneer het systeem de actieve inzet controleert, de voortgang monitort en feedback en advies geeft, dan zal het werk van docenten leuker en uitdagender worden. De docent wordt vooral (her)ontwerper van onderwijs. De docentrollen controleur en uitvoerder zullen verdwijnen [5].

7.0 Welke stappen moet je zetten om aan de slag te gaan?

  • Bepaal wat de relatie is met de opleidingsvisie op onderwijs- en toetskwaliteit en wat de voor- en nadelen zijn voor (groepen) studenten, docenten en management.
  • Ga tijdig met alle belanghebbenden in gesprek over het doel van learning analytics.
  • Het resultaat is een helder en concreet beeld van wat het team wil bereiken met learning analytics.
  • Dit doel bepaalt in sterke mate welke data (via een dashboard) aan de studenten en/of docenten wordt getoond.
  • Controleer de technische beschikbaarheid van de beoogde data en geschiktheid voor analyse.
  • Bepaal aan welke juridische voorwaarden het gebruik van deze data dienen te voldoen. Het gebruiken van (persoonsgebonden) data is aan strenge wet- en regelgeving gebonden en er zijn een aantal ethische issues die niet mogen worden veronachtzaamd
  • Bepaal de korte en langere termijn kosten en besparingen.
  • Test het gebruik aan de hand van een pilot (grote opleiding).
  • Akkoord van het opleidingsmanagement.

Zeker voor Learning analytics geldt dat het keuzeproces en ontwikkeling met meerdere interaties kan verlopen door de complexiteit van vraagstukken op elk deelgebied!

8.0 Benodigde onderdelen

Om learning analytics waarde te laten hebben voor de student en docent moeten de volgende onderdelen aanwezig zijn:

  • Het doel dat behaald moet worden met de inzet van learning analytics moet duidelijk zijn (inzicht en daarop volgende reactie).
  • De data die geanalyseerd kunnen worden (uit een of meer systemen).
  • Een voorspellingsmodel dat de student en docent informeert op basis van de data (een kwalitatief voorspellingsmodel).
  • Een voor studenten en docenten helder en bruikbaar overzicht (dashboard).
  • Een of meerdere systemen waarin data wordt geanalyseerd en vervolgens gepresenteerd in de vorm van een ‘dashboard’. Er zijn verschillende techische standaarden die het verwerken van data vergemakkelijken: zie 13 en 14.
  • een verzamelplaats van data, zoals een learning record store waarin handelingen uit toetssystemen en/of leeromgeving worden opgeslagen. In een datawarehouse worden deze data gecombineerd met data uit andere systemen. Daarvoor worden big-data-technieken gebruikt om betekenis te geven aan de grote hoeveelheid data.

9.0 Aandachtspunten

  • Het opzetten van learning analytics vraagt de samenwerking van onderwijskundige, organisatorische, juridische, ethische en technische disciplines. Zoek tijdig naar expertise op deze vlakken.
  • De basis van learning analytics zijn statistiek en analyse-modellen die ‘leren’ van de data. Naarmate gebruik vordert en de hoeveelheid data groter is, neemt de validiteit van de resultaten uit algoritmes en processen toe.
  • De adviezen uit een systeem kunnen nooit de 1 op 1 adviezen, interactie en feedback van docenten, medestudenten en/of externen vervangen.
  • Learning analytics is beperkt tot de verzamelde data en de manier waarop het systeem ze zichtbaar maakt.
  • Management van verwachtingen naar alle belanghebbenden over wat learning analytics wel en niet kan.
  • Zorg dat learning analytics voor zo veel mogelijk studenten nuttig is. Reduceer het niet tot een instrument voor het voorkomen van studie-uitval oftewel een focus op risico-studenten alleen [3].
  • Learning analytics is volop in ontwikkeling. Ga niet te snel in zee met partijen of oplossingen die gouden bergen beloven. Grafieken en tabellen zien er snel mooi uit, maar geven lang niet altijd inzicht of nuttige informatie.
  • Maak bij besluitvorming gebruik van onderzoeksresultaten [9].
  • Doe van meet af aan onderzoek naar de werking in de eigen praktijk, of sluit aan bij academisch onderzoek waarin learning analytics wordt gekoppeld aan onderwijs(psychologisch) onderzoek.

10. Kanttekeningen

  • Learning analytics sluit aan bij de idee van het ‘quantified self’. Het suggereert dat er sprake is van een gepersonaliseerde leeromgeving en gepersonaliseerde studieadviezen. Hoe realistisch is dit op dit moment voor het hoger onderwijs?
  • De context en de manier waarop uitkomsten of adviezen worden weergegeven kunnen van invloed zijn op de betekenisgeving door studenten en docenten. Hierbij kan sprake zijn van onbedoelde (naming and shaming), bedoelde en verborgen beïnvloeding (nudging).
  • De data geven niet altijd een waarheidsgetrouw beeld. De afspeelduur van een kennisclip zegt niets over het gebruik en de verwerking van informatie. Studenten kunnen het systeem onbewust of bewust voor de gek houden. Heeft een student de formatieve toets serieus gemaakt of heeft hij er alleen doorheen geklikt terwijl hij de antwoorden elders heeft gevonden [4]. Heeft de student zelf aan de knoppen gezeten? Heeft de student zelf de antwoorden bedacht?
  • Als learning analytics wordt ingezet bij een vooraf door de docent ontwikkeld programma gaat het er vooral om inzicht te krijgen in welke mate de student de geplande studieactiviteiten daadwerkelijk uitvoert. Dit past niet bij de actuele inzichten in betekenisvol en vraaggericht leren en de ambities voor differentiatie en flexibilisering. Learning analytics kan echter ook gebruikt worden voor vraaggericht onderwijs. Het biedt studenten de mogelijkheid om, zonder filtering of interpretatie door docenten, de eigen prestaties te bekijken.
  • In een omgeving die is gericht op controle en risicomanagement kan ongebalanceerd learning analytics er aan bijdragen dat gewenst gedrag van studenten en docenten wordt afgedwongen terwijl ander gedrag ook acceptabel is [15]. Learning analytics en andere vormen van big data gaan toch vaak over de gemene deler. Wees daar scherp op bij de doelen die je met learning analytics wilt bereiken.

De laatste twee kanttekeningen sluit aan bij kritiek van Macfarlane [15]. Hij stelt dat learning analytics de academische vrijheid kan bedreigen. Dit heeft te maken met een doorgeslagen prestatiecultuur, waarin de jaarlijkse landelijke studenten enquête een belangrijke rol speelt. Er is een algemeen beeld van gewenst studiegedrag. Dit creëert een nieuw ‘verborgen curriculum’. Gewenste studiegedragingen worden afgedwongen door verplichte aanwezigheid, actieve deelname aan hoorcolleges en groepsprojecten enz. De student kan zich hier niet aan onttrekken doordat ze zijn gekoppeld aan de beoordeling. De opleiding bepaalt zo in hoge mate wat, waar en hoe studenten leren. Het continu verzamelen, koppelen en beoordelen van steeds meer en gedetailleerdere data met behulp van learning analytics kan dit versterken. Macfarlane geeft hierbij als schrikbeeld het ‘panopticum’. Een voorbeeld daarvan is de koepelgevangenis, die zo is gebouwd dat één bewaker alle gevangenen continu kan observeren.

11. Bronnen

Voor meer gedetailleerde informatie raadpleeg de bronnen.

BRONNEN

Onderwijskundig

  1. SURF - learning-analytics*
  2. Rapport met o.a. de onderwijskundige vragen die uitgangspunt kunnen zijn voor learning analytics, zoals de inrichting van toetsing. Uit dit rapport is de lijst van inzichten en interventie op die inzichten gebaseerd. https://www.surfspace.nl/artikel/2004-rapport-learning-analytics-in-het-onderwijs-een-onderwijskundig-perspectief/
  3. Nienke Bos over o.a. de focus op voorkomen uitval https://www.surfspace.nl/artikel/2007-learning-analytics-and-knowledge-lak-congres/
  4. Sharon Klinkenberg over voorspellende waarde van formatieve toetsen https://www.surfspace.nl/artikel/2005-voorspellende-waarde-van-formatieve-toetsen/
  5. Innovaties in digitaal Toetsen, Surfnet, https://www.surf.nl/kennisbank/2016/thema-uitgave-innovaties-in-digitaal-toetsen.html
  6. Evidence-informed learning analytics toepassen? Raadpleeg de Evicence Hub http://evidence.laceproject.eu/search/evidence_hub_sector/universities/ en evidence.laceproject.eu/?post_type=evidence
  7. Jan Hellings: volgt.
  8. Feedback en learning analytics: Tempelaar, D. T., Rienties, B., & Giesbers, B. (2014). In search for the most informative data for feedback generation: Learning Analytics in a data-rich context. Computers in Human Behavior. Retrieved from http://www.sciencedirect.com/science/article/pii/S0747563214003240
  9. Hoe data de kwaliteit van het hoger onderwijs kunnen verbeteren (Whitepaper), SURFspace, (n.d.). Retrieved March 15, 2016, from https://www.surfspace.nl/artikel/1973-whitepaper-hoe-data-de-kwaliteit-van-het-hoger-onderwijs-kunnen-verbeteren

  10. Organisatorisch

  11. Hendrick Drachsler et al. Ethical and privacy issues in the application of learning analytics http://oro.open.ac.uk/42347/1/p390-drachsler.pdf
  12. Juridische aandachtspunten
  13. Mogelijkheden en aandachtspunten learning analytics
  14. Technisch

  15. Alan Berg et al. over een technische standaard voor uitwisseling van data tussen systemen (xApi) http://dl.acm.org/citation.cfm?id=2883968
  16. Tom Kuijpers over berichtstromen (de data) voor learning analytics toepassingen. https://blog.surf.nl/5-manieren-waarop-de-open-onderwijs-api-kan-worden-ingezet-voor-learning-analytics/
  17. Macfarlane, B. (2016) ‘Freedom to Learn. The threat to student academic freedom and why it needs to be reclaimed’ New York: Routledge.

* Special interest Group Learning Analytics SURF

Special Interest Groep Learning Analytics Surf, o.a. vindplaats definitie learning analytics. SURF is de samenwerkingsorganisatie op ict-vlak van het HBO en universiteiten. https://www.surfspace.nl/sig/18-learning-analytics/