Feedback door digitale toetsen leidt tot significant betere studieresultaten

Het geven van feedback is een belangrijke factor die studieresultaat beïnvloedt. Het blijkt dat feedback op individuele prestaties, niet alleen in de vorm van cijfers maar ook in inhoudelijke termen, studieresultaten bevordert [1]. Het werkt erg motiverend als een docent direct bij een student een hiaat in kennis kan vaststellen en de student kan leiden naar een oplossing.

De ESE hanteert onderwijsvormen zoals kleinschalige practica en tussentoetsen die studenten feedback bieden op hun studievoortgang. Sinds dit collegejaar (2011-2012) wordt op de ESE ook intensief gebruik gemaakt van digitale tussentoetsen in het Bachelor 1 onderwijs. Het idee achter deze digitale tussentoetsen is dat de studenten de persoonlijke feedback die zij krijgen direct weer kunnen toepassen, zodat zij direct het effect ervan meemaken; iets wat feitelijk bij traditionele tussentoetsen in de vorm een soort tussententamen niet mogelijk is, verondersteld dat bij een traditionele tussentoets een student een cijfer en commentaar wordt teruggekoppeld, maar dat de toets dan niet meteen opnieuw kan worden gemaakt. Dit concept is onder meer toegepast bij het vak Wiskunde 1.

Wiskunde 1 biedt studenten al jaren kleinschalige practica aan, tijdens welke studenten werken in kleine groepen aan opdrachten. Sinds dit collegejaar werden individuele digitale toetsen toegevoegd aan de opzet van Wiskunde 1. Iedere collegeweek werd afgesloten met een digitale toets. De toets bestond uit een aantal kwantitatieve vragen over het thema van die collegeweek. De toets werd via internet aangeboden (middels Blackboard), zodat een student de toets op iedere locatie kon maken. De student had drie dagen de tijd om de toets tweemaal te maken, waarbij de hoogste score over beide pogingen het cijfer voor de tussentoets bepaalde. Na het maken van de eerste toets kreeg de student feedback op het resultaat. Bij de onjuist beantwoorde vragen kreeg de student automatisch feedback in de vorm van een hint of een verwijzing naar waar in de literatuur of in het collegemateriaal de methode staat beschreven die moet worden toegepast. Op basis van deze feedback kon de student op een willekeurig later tijdstip, maar wel binnen de drie dagen, de toets nogmaals maken waardoor de feedback direct kon worden toegepast. Deze tweede toetspoging was qua opzet vergelijkbaar met de eerste, maar niet exact omdat er andere getallen worden gebruikt of omdat er een andere maar vergelijkbare vraag willekeurig werd geselecteerd uit een database. Door de feedback te bestuderen en de toets nogmaals te maken, voelt de student direct dat een kennishiaat wordt aangevuld. Deze toetsingsmethode slaat twee vliegen in één klap: naast het geven van feedback, verhoogt deze vorm van toetsen de ‘time-on-task’ (de tijd die de student doorbrengt met daadwerkelijk studeren), een andere variabele waarvan bekend is dat het studieresultaat positief beïnvloedt [2].

We hebben de impact van deze toetsen bij het vak Wiskunde 1 geanalyseerd. Deelname aan de tussentoetsen was vrijwillig, al telde het gemiddelde cijfer over alle tussentoetsen mee voor 10% van het eindcijfer voor Wiskunde 1; 90% van de studenten heeft tenminste één van de toetsen gemaakt. Het feit dat de toets gemaakt kon worden gedurende een periode van drie dagen leidde tot samenwerking tussen studenten door het bediscussiëren en uitwisselen van uitwerkingen van opgaven bijvoorbeeld via Facebook. Dit samenwerken kan gezien worden als fraude, maar omdat de vragen in de toetsen gebaseerd waren op willekeurig getrokken getallen en/of omdat de vragen willekeurig geselecteerd waren uit een database van vergelijkbare vragen verschilde de toets van een student in bepaalde mate van die van een medestudent. Dit voorkomt natuurlijk geen fraude, maar wij zien dit samenwerken van studenten juist als een bijkomend voordeel. Als studenten elkaar opgaven uitleggen en/of samen zoeken naar oplossingen zijn ze actief bezig met de stof; iets wat de ‘time-on-task’ vergroot.

Bij de analyse van de examenresultaten vroegen we ons af of het actief deelnemen aan de tussen toetsen bijdraagt aan het studierendement [3]. We hebben de tentamencijfers vergeleken van twee groepen studenten. De groep ‘actieven’ bestaat uit de studenten die actief aan de toetsen deelnamen, d.w.z. die studenten die voor iedere tussentoets minimaal een 5,5 haalden. De groep ‘inactieven’ bestaat uit de andere studenten [4]. Het blijkt dat de ‘actieven’ significant betere tentamenresultaten behaalden dan de ‘inactieven’. Actieve studenten hadden een 13% hoger slagingspercentage en zij behaalden gemiddeld een cijfer dat 0,8 hoger was dan het cijfer van de ‘inactieven’. Nu kan het zijn dat deze groepsindeling een selectie-effect met zich meebrengt in die zin dat de groep ‘actieve’ studenten bestaat uit meer gemotiveerde studenten. We hebben dit onderzocht door de resultaten te gebruiken van een enquete die sommige van de studenten invulden over hun motivatie bij aanvang van de studie [5]. Zij moesten hun eigen studiemotivatie beoordelen op een schaal van 1 tot 10. De groep van ‘actieven’ gaf zich gemiddeld een 8,4 en de groep ‘actieven’ gaf zich gemiddeld een 8,2; het verschil tussen deze gemiddelden is niet significant. De ‘actieven’ waren dus niet meer gemotiveerd dan de ‘inactieven’ en het betere studieresultaat van de actieve studenten wordt dus niet verklaard door meer motivatie. Een ander selectie-effect kan zijn dat de groep ‘actieven’ voornamelijk bestond uit studenten die meer voorkennis hadden omdat zij Wiskunde B gedaan hadden op de middelbare school in plaats van Wiskunde A (Wiskunde B sluit beter aan bij Wiskunde 1 dan Wiskunde A). We hebben dit geanalyseerd en het blijkt dat zowel voor Wiskunde A als Wiskunde B studenten de ‘actieven’ significant betere resultaten haalden dan de ‘inactieven’ al is het effect bij de Wiskunde A studenten iets sterker. We hebben het effect van voorkennis ook onderzocht door de resultaten te gebruiken van een diagnostische instaptoets die gehouden was voor aanvang van Wiskunde 1. Hieruit blijkt dat bij zowel voor de groep studenten die lager scoorden dan de mediane score voor de diagnostische toets als voor de groep die hoger scoorden dan de mediane score de ‘actieven’ wederom significant betere studieresultaten haalden dan de ‘inactieven’. De kleinste toename van het studieresultaat tussen ‘actieven’ en ‘inactieven’ werd gevonden in die groep studenten die zowel hoger scoorden dan de mediaan voor de diagnostische toets en Wiskunde B hadden gedaan op de middelbare school; die studenten die de meeste voorkennis hadden van de inhoud van Wiskunde 1.

Nu kunnen andere factoren natuurlijk een rol spelen bij het bepalen van het studieresultaat. Maar op basis van de uitkomsten zijn wij van mening dat het actief deelnemen aan digitale toetsen waarbij de student feedback krijgt die direct weer toegepast kan worden leidt tot betere studieresultaten. Ook bij een vak waarin al kleinschalige practica wordt aangeboden.


Publicatiedatum: 7 mei 2012