Hoe ESHCC met dashboards de dialoog over onderwijskwaliteit faciliteert

De "geïnformeerde dialoog" vormt een van de vijf pijlers in de kwaliteitszorgvisie van de EUR. Bij de Erasmus School of History, Culture and Communication (ESHCC) wordt deze dialoog sinds 2023 ondersteund door een innovatief dataportal met dashboards in Power BI. Een gesprek met Eva Rouwmaat (data-analist) en Mieke Sillekens (Education & Policy Manager) over toegankelijke data, samenwerking en het faciliteren van gesprekken over onderwijskwaliteit.

Wat was de aanleiding voor het ontwikkelen van de dashboards?

"Toen ik twee jaar geleden bij de EUR kwam werken, was er wel allerlei informatie beschikbaar, maar die was moeilijk te vinden of werd niet overzichtelijk ontsloten," vertelt Mieke. "Bij een vorige werkgever was Power BI volledig geïmplementeerd in de organisatie en kon ik daarin alles terugvinden, wat heel handig was. Ik was dan ook blij dat bij ESHCC ook de wens bestond om de informatie die er is toegankelijker te maken, zodat we op elk moment even konden kijken hoe het gaat en niet alleen rondom grote aanleidingen als accreditaties."

Eva, die ongeveer in dezelfde periode bij de EUR kwam werken, heeft samen met Mieke en een aantal andere collega’s een inventarisatie gemaakt. "Mieke heeft gekeken wat zij vanuit haar rol nodig heeft voor visitaties, voor allerlei rapportages, en voor het borgen en monitoren van kwaliteit. Ik heb informatie opgehaald over wat men binnen de faculteit ESHCC nodig heeft in een dashboard. Wat je in het portal ziet, zijn eigenlijk de standaardgegevens die je vroeger in visitatierapporten ook wel terugzag."

Wat voor informatie bevat het ESHCC dataportal?

Het portal is te vinden op een SharePoint-pagina met meerdere dashboards, zowel EUR-breed van de Data Competence Hub, als specifiek voor ESHCC. Per onderdeel is toegang verleend aan medewerkers die met de specifieke data werken. Het portal bevat drie kerncomponenten:

• Studiesucces dashboard
  Dit dashboard biedt inzicht in studentenaantallen, BSA-resultaten, uitval en diplomarendement. De data is op verschillende manieren uit te splitsen: per faculteit, afdeling, opleiding, EEA/Non-EEA en studievoortgang (nominaal of N+1). Een oranje lijn geeft het faculteitsgemiddelde aan, zodat afdelingen zich hier toe kunnen verhouden.
• Aanmeldingen dashboard
  Een real-time dashboard dat dagelijks wordt ververst, met gegevens over nieuwe aanmeldingen per programma. Gebruikers kunnen gegevens vergelijken met voorgaande jaren, uitsplitsen op EEA/Non-EEA, en het verloop volgen door de verschillende stappen van het aanmeldproces. Dit dashboard wordt het meest geraadpleegd en is ook ingebed in een Teams-kanaal voor optimale toegankelijkheid.
• Vakresultaten dashboard
  Een gedetailleerd overzicht van alle aangeboden vakken, met informatie over studentenaantallen, slagingspercentages, gemiddelde cijfers en het percentage studenten met een 8 of hoger. Wanneer beschikbaar en bij voldoende respons worden ook de resultaten van de cursusevaluaties getoond. Dit dashboard wordt jaarlijks geactualiseerd na afronding van het academisch jaar.

Wie gebruiken het portal en hoe wordt het ingezet?

De dashboards worden op verschillende manieren gebruikt. Voor het studiesucces- en het vakresultaten-dashboard geldt dat de vice-decaan onderwijs, opleidingsdirecteuren, education management en medewerkers onderwijsbeleid toegang hebben tot het portal. Over deze dashboards zegt Mieke: "We bespreken ze periodiek met de opleidingsdirecteuren. We hebben er drie, en spreken elke week met één van hen. De vierde week komen we met z’n allen bij elkaar. In die bijeenkomsten bekijken we eens in de zoveel tijd het dataportal zodat je een vast moment hebt om dat te bespreken. Daarnaast wordt het dataportal gebruikt om informatie op te halen bij het schrijven van bijvoorbeeld zelfevaluatierapporten."

Het aanmeldingen-dashboard is veel breder in gebruik. "We hebben ook een Teams-kanaal waar deze data in is geëmbed," vertelt Eva. "Alle academic coordinators kunnen hierin, waardoor het echt low-key is om de aanmeldingen te volgen. Dit dashboard wordt dagelijks ververst."

In hoeverre is de medezeggenschap aangehaakt?

De medezeggenschap heeft momenteel geen directe toegang tot het portal. "De medezeggenschap krijgt op dit moment de samenvattende rapporten die mijn collega maakt over de evaluaties, waarin ook een analyse van de resultaten is opgenomen. Het is tot nu toe geen vraag geweest, maar we zouden de mogelijkheden kunnen bekijken," vertelt Mieke. 

Wat heeft het dashboard tot nu toe opgeleverd?

"Met name de cijfers over studiesucces verschillen per opleiding," vertelt Mieke. "We hebben nu in de bestuursakkoordmiddelen een review van de studeerbaarheid meegenomen. Niet dat we dan meteen morgen alles veranderen, maar vooral om te kijken: komt er iets uit dat opvallend is of aandacht nodig heeft?"

Worden er structureel verbeteracties gekoppeld aan inzichten uit het portal?

"We bespreken opvallendheden eerst met de opleidingsdirecteur," legt Mieke uit. "Wat bij sommige vakken opvalt, is dat het gemiddelde cijfer of slagingspercentage aan de hoge kant is. Daar lopen we dan even doorheen. De opleidingsdirecteur onderneemt daar dan indien nodig actie op."

"Wat nog wel beter kan," vervolgt ze, "is de monitoring of een actie gedaan is. De opleidingsdirecteuren hebben vaak wel een gesprek met docenten over de dingen die opvallen. Maar dat gaat niet echt volgens een gestructureerd plan. In het Onderwijsatelier werd de laatste keer een tool gepresenteerd waarin je de acties kunt zetten en koppelen aan medewerkers. Dat zag er heel goed uit. Het gebruik van zo’n tool zou interessant kunnen zijn, maar dan wel op zo’n manier dat de regie bij de opleidingsdirecteuren en docenten blijft."

Heeft het dashboard bijgedragen aan de kwaliteit van het gesprek over onderwijs?

"Ja zeker," antwoordt Mieke. "Het geeft informatie die je anders niet zo makkelijk hebt. Het dient als peilstok. En misschien is er een logische verklaring over waarom iets afwijkt, maar het geeft vlaggetjes om ergens even naar te kijken. De volledige PDCA-cyclus heeft nog onze aandacht, maar er is wel een stap in de goede richting gezet." Eva vult aan: "Het is fijn dat dit relatief snel overzicht geeft. Je kunt resultaten filteren en sorteren en daardoor snel zien wat er opvalt."

Hoe wordt er samengewerkt met andere faculteiten?

"Ik kom met de andere facultaire analisten samen met de Data Competence Hub om kennis uit te wisselen en de verbinding te zoeken," vertelt Eva. "Het opleveren van de data achter het admissions dashboard was een gezamenlijk project met DCH, ESSB en ESL. ESHPM is ook aangehaakt en heeft een vergelijkbaar dashboard gemaakt, waar ik weer inspiratie uit kon halen. Je leert en neemt dingen van elkaar over, want dit soort data is voor elke faculteit relevant. Iedereen giet er daarna het eigen facultaire sausje overheen. Wij hebben bijvoorbeeld veel programma's waar toelatingseisen voor zijn, bij ESL is dat weer anders."

Hoe monitoren jullie strategische doelen uit de onderwijsvisie zoals 'impact' en 'sustainability'?

"Dat is een andere, meer complexe vraag," reageert Mieke. "Dit soort doelen onderzoeken we op een kwalitatieve manier, en minder frequent. Zo hebben we een inventarisatie gedaan naar hoe het werkveld in onze vakken is verweven. Dat is dan een exercitie die student-assistenten doen op basis van de Canvaspagina van de vakken."

Ze legt uit waarom dergelijke informatie niet in het dataportal is opgenomen: "Dit type gegevens kunnen we niet uit bestaande systemen halen. Het gaat om complexe informatie en om gegevens die je niet apart registreert, bijvoorbeeld of er een gastspreker is. Je zou docenten kunnen vragen om van alles te gaan registreren zodat je het in een dashboard kunt vangen, maar aangezien deze informatie minder vaak nodig is weet ik niet of de extra werkdruk die dat oplevert daartoe wel in verhouding is."

Welke les zou je willen delen met andere faculteiten?

Eva: "Vanuit mijn vak denk ik dat je moet zorgen dat de dashboards, de data en de manier waarop de data gepresenteerd wordt goed aansluit bij de overlegmomenten binnen een faculteit en wat je daar wil bespreken. De verleiding bij data-analisten kan groot zijn om allerlei inzichten te maken omdat we er data van hebben, maar vervolgens worden die dan niet altijd gebruikt."

Mieke benadrukt dat  het registreren van data over onderwijskwaliteit niet het doel voorbij moet schieten: "Het is zoeken naar een balans als het gaat om het uitvragen van informatie bij de academische staf en studenten en de werklast die dat voor hen oplevert."

"Het gaat om het langzaam ontwikkelen naar een wat meer strakke aanpak zonder dat je het informele verliest", besluit Mieke. "De korte lijnen met de opleidingsdirecteuren binnen onze faculteit zijn echt een groot goed."