Verslag ICTO platform 15 november 2001

1. Opening

Verwelkomen nieuw personen:

  • Marcel Hoornweg (hoofd I&A FEW)
  • Wilco te Winkel (ESSB)
  • Eveline Osseweijer (ESSB)
  • Frank Diepmaat (FGG)

2. Mededelingen, actualiteiten en congressen

Mededelingen:

  • 12 december seminar over Digitale Bibliotheek (Gert Goris)
  • Digitale Didactiek: Professionalisering van docenten:
    - ICLON heeft zich teruggetrokken
    - RUG wil instappen en voor 1 december moet dit geregeld zijn
    - Controlling document moet op 1 december bij SURF liggen
  • Consortiumvorming:
    - Eerste prioriteit: ZH consortium (TUD, UL); het voorstel is nagenoeg rond
    - Breder consortium (RUG, KUB); voorstel nadert voltooiing
    - Uiteindelijk doel: samenstromen van deze consortia
    - 1 januari 2002 deadline consortium aanvraag
    - Het voorstel voor het ZH consortium wordt rondgemaild
  • Stand van zaken SWICT
    - Projectvoorstellen vrijwel gereed om voor te leggen aan CvB
    - Hopelijk volgt in december al de goedkeuring van het CvB
    - Focus is nu het genereren van de financiën
  • EduCause
    - De verslagen zullen te vinden zijn op http://www.edusite.nl/edutrip2001/

Actualiteiten en congressen:

  • BITE (Bringing Information Technology to Education; 23, 24 november; Eindhoven; http://www.bite2001.nl/)
  • SURF Onderwijsdag 28 november, WTC, Rotterdam

3. Presentatie Zeer Actieve Psychologie (Wilco te Winkel-ESSB)

Het ZAP project (SURF tender) is een samenwerking tussen de EUR (Psychologie) en de Universiteit Twente (Toegepaste Onderwijskunde). De naam ZAP is gekozen als afkorting van Zeer Aktieve Psychologie, maar ook om te illustreren dat het om kleine, snel te leren modules gaat, waarin één klein psychologisch fenomeen centraal staat en d.m.v. een experiment verduidelijkt wordt.
ZAPjes zijn kleine onderwijsbouwsteentjes die in verschillende onderwijsvormen ingepast kunnen worden. Elk ZAPje bevat een experiment, waarmee ontdekkend leren gestimuleerd wordt. Als voorbeeld wordt een ZAP over het Stroop effect getoond. Het inleidende verhaal van de ZAP zou voor zichzelf moeten spreken. Daarna wordt het experiment getoond.
De PowerPoint presentatie vindt u hier.

Q: Wat wordt er normaalgesproken rondom een ZAP toegevoegd (bijv. groepsdiscussie)?
A: Er bestaat een verzameling Best Practices, waarin aangegeven wordt hoe met een ZAP om te gaan. 20 test experimentjes worden op dit moment getest in een onderwijssituatie. De bedoeling van ZAPjes is wel dat ze zelf verklarend zijn. Er moet onderwijs omheen gebouwd worden. Studenten moeten ook cognitief met ZAPjes aan de slag. ZAPjes worden zo smal mogelijk gehouden

Q: Waarom worden er zoveel hints vooraf gegeven?
A: Er wordt nog onderzocht wat een goede balans is tussen onderzoekend leren en vooraf al theoretisch het fenomeen beschrijven. Er is sprake van een trade-off.

Q: Experimenten worden gedaan op het moment dat de stof wordt behandeld?
A: Ja, maar een ZAP moet wel zelf verklarend zijn en de student moet zelf de link leggen tussen het experiment en de theorie.

Q: Is het niet mogelijk Kunstmatige Intelligentie toepassingen te gebruiken bij een ZAP, zodat op het juiste moment of zelfs achteraf pas de theorie aangereikt wordt en zo dus het leereffect het grootst is?
A: Vast wel, maar KI valt in het deel wat dit project niet op het oog heeft. ZAP producten kunnen goed gebruikt worden ondanks de 'domme' technologie.

Q: Wordt er al onderzoek gedaan naar de korte / lange termijn retentie?
A: Nog niet.

Q: Wie doet de redactie van de ZAPjes?
A: In eerste instantie het technische team en die hopen in het eerste jaar 40 ZAPjes te ontwikkelen.

4. Afstemming activiteiten OECR - docenten (Angelique van het Kaar, OECR)

Donderdag 8 november was er een bijeenkomst met ICT & Onderwijs coördinatoren om de dienstverlening van het OECR af te stemmen op behoeften van faculteiten. Contactpersonen ICT & O bij de faculteiten zijn:

  • FEW: Guus Eilers
  • FBK: Ruud Smit
  • ESSB: Bien van der Voorden
  • FGG: Mathijs Doets
  • BMG: Frederica Jousma
  • FHKW: Ferry de Goey
  • FRG: Richard de Mulder
  • FWB: Mark Dambrink

Behoeften zijn:

  • Meer Didactische handvaten
  • Database-achtig kennis management systeem (zie project Digitale Didactiek
  • Links naar onderwijskundige sites, ook vanuit Blackboard omgeving en naar Blackboard gerelateerde links
  • ICTO website
  • Masterclasses

Opmerkingen hierbij:

  • Beginnende docent heeft andere behoeften dan gevorderde docent
  • Contactpersoon kan informatie helpen verspreiden
  • Docent wil op hem afgestemde, direct bruikbare informatie
  • Docent moet niet overvoerd worden, dus moet er een balans gevonden worden
  • Het bereiken en informeren van docenten werkt goed met behulp van lokale coördinatoren. Deze facultaire coördinatoren informeren docenten over faciliteiten en activiteiten op ICTO gebied. Zij bereiken het beste resultaat als zij pro-actief docenten benaderen. Een verzoek hierbij is dat het gebodene aansluit bij de dagelijkse praktijk van de docent. Bijvoorbeeld: geef een lijst met 25 tips en tricks.
  • Een agendapunt voor het volgende platform is hoe deze coördinatoren dit het beste kunnen aanpakken.

5. Presentatie Etude (Sophia Dopper, EduTEc, TU Delft)

Etude is een toetsservicesysteem dat is ontwikkeld door de TU-Delft. Met Etude kan een uitgebreide databank met opgaven worden opgezet, een itembank, waarin op een gestructureerde manier opgaven over een bepaald vakgebied zijn opgeslagen. Etude bestaat uit verschillende systemen, die elk een onderdeel van het toetsproces ondersteunen.

1. Ontwikkelen van (multimediale) opgaven: opgave systeem
Een opgave kan bestaan uit tekst, plaatjes, geluid, video, hints, feedback en verschillende typen vragen. De mogelijke vraagtypes zijn: meerkeuzevragen, open numerieke vragen, hot-spot vragen en kort antwoord vragen. Het is mogelijk gebruik te maken van variabelen, waardoor dezelfde opgave steeds met andere waarden kan worden aangeboden. Opgaven kunnen worden voorzien van kenmerken, zoals trefwoord, vak, literatuurlijst, moeilijkheidsgraad en een plaats in de lesstof en leerdoelen-matrix (toetsmatrijs).

2. Samenstellen van toetsen aan de hand van een toetsmatrijs/toetsprofiel: toetssysteem
Aan de hand van selectiecriteria (toetsprofiel/-matrijs) selecteert Etude ad random vragen uit de itembank voor de toets. Naast de gewone toets, is het met Etude ook mogelijk om adaptief te toetsen.

3. Online maken van oefentoetsen en/of afleggen van tentamens door studenten: afnamesysteem

4. Bekijken en verwerken van de resultaten: resultatenviewer

5. Onderhouden en beheren van de verzameling opgaven en regelen van de autorisatie van de itembank: beheerssysteem

De PowerPoint presentatie vindt u hier.
In de presentatie werd ingegaan op de voordelen van geautomatiseerd toetsen. Het gaat uitsluitend om beeldscherm toetsen. Het systeem maakt gebruik van items om een toets mee samen te stellen volgens een opgegeven toetsprofiel. Het systeem wordt nu op 20 plekken in binnen de TUD gebruikt. SONATE, een toets evaluatiesysteem voor multiple choice vragen, is wel gekoppeld aan, maar nog niet geïntegreerd in ETUDE.

Een vergelijking tussen de toetsmogelijkheden van Blackboard en ETUDE wordt gemaakt. Er zijn mogelijkheden om het toetsafname systeem van ETUDE binnen Blackboard te laten draaien. Met behulp van screendumps wordt een indruk gegeven van hoe ETUDE er uit ziet en werkt (hoe een vraag (item) ontwikkeld wordt, hoe deze er uit ziet voor een student en hoe overzichten er uit zien per student/per vraag).

Een vel met extra informatie over ETUDE en een vragenlijst worden uitgedeeld.
Etude kan eventueel live gepresenteerd worden na een vervolgafspraak.
Meer info: http://www.icto.tudelft.nl en etude@icto.tudelft.nl.

Q: Hoe werkt het adaptieve aspect bij het toetsen?
A: Op 2 manieren, nl. Er is een moeilijkheidsgraad gekoppeld aan alle items en met behulp van een algoritme wordt een geschikte volgend item gekozen. Dit algoritme werkt op basis van de laatste 2 antwoorden en een startwaarde.
Een tweede manier is op basis van voorgedefinieerde (toets)paden.

Q: Is de moeilijkheidsgraad van de items niet adaptief? A: Nee, deze ligt vast en is één van de kenmerken van een item. SONATE wordt nog helemaal geïntegreerd, waardoor items beter gewaardeerd kunnen worden. Toch moet er rekening gehouden worden bij de waardering van items met factoren als aantallen studenten en dat er per jaar een andere waardering aan een item moet kunnen worden gegeven. Scores en Feedback zijn in te stellen.

Opm: elektronisch toetsen neemt kostbare (computer)zaalruimte in.

Q: Is ETUDE een stand-alone systeem? Hoe makkelijk kun je er gebruik van maken?
A: Client software is te downloaden. Een ruimte op een server moet gevuld worden met een specifieke itembank. Eventueel moet er nog een server ingericht worden

Q: Wat gebeurt er als een computer crashed tijdens een toets?
A: Tussenresultaten zijn opgeslagen. In een nieuwe toets kan een tweede toetsdeel gemaakt worden en de resultaten kunnen worden samengevoegd.

Q: Wat is er de afgelopen 5 jaar, de tijd dat het project nu loopt, allemaal gebeurd?
A: Er is een groot systeem gebouwd.

Q: Wat zijn de plannen in de toekomst?
A: Doorontwikkelen; een web-based toets-afname systeem; SONATE integreren. De financiering is de bottleneck, eventueel zal een commerciële partij ingeschakeld worden. Het is nu nog een standaard, centraal onderhoeden systeem.

Q: Hoelang heeft een docent nodig om wegwijs te geraken in ETUDE?
A: Niet lang. Een docent gebruikt meestal student assistenten voor technische ondersteuning en om vragen in te voeren. Vragen ontwikkelen/bedenken kost tijd; het invoeren ervan op zich niet.

Q: De benodigde voorkennis voor toetsontwerp voor ETUDE is groter dan voor Blackboard. Is de benodigde voorkennis niet te groot?
A: Het is inderdaad complexer dan in Blackboard, maar er is voldoende technische en theoretische ondersteuning.

Q: Hoe vinden studenten ETUDE?
A: Ze vinden dat ETUDE voor- en nadelen heeft. Als gebrek wordt gezien dat de student geen toelichting bij het beantwoorden kan geven. Feedback wordt ervaren als prettig. Misschien wordt het nu nog leuk gevonden vanwege het feit dat het iets nieuws is.

Q: Is ETUDE alleen geschikt voor technische studenten?
A: Nee, voor alle studenten.

6. Vooruitblik 2002

  • In 2002 gaat het ICTO platform bij de faculteiten langs. Het eerstvolgende ICTO platform is op 17 januari 2002. Standaard op de agenda komt een presentatie van ICTO binnen de faculteit, die op dat moment wordt bezocht.
  • Voortgang van de projecten SWICT komt ook standaard op de agenda.

7. Rondvraag en sluiting

  • FHKW presenteert zich op het ICTO platform van 17 januari 2002.
  • Volgende data voor het ICTO platform:
    - Donderdag 14 maart 2002
    - Donderdag 23 mei 2002
    - Donderdag 27 juni 2002
    - Donderdag 19 september 2002
    - Donderdag 21 november 2002