Impactevaluatie

Wat is impactevaluatie?
Campus woudestein

Inzicht in onze maatschappelijke impact is belangrijk omdat de EUR bezig is met een overgang naar een impactgedreven universiteit. Maar het is ook een uitdaging omdat het een diepgaande reflectie en een voortdurende dialoog op alle niveaus van de organisatie vereist, bijvoorbeeld over de vraag wat 'positieve' impact inhoudt.

In de academische wereld en daarbuiten circuleren veel verschillende definities van maatschappelijke impact. Uiteindelijk creëren wij als universiteit maatschappelijke impact wanneer onze kernactiviteiten bijdragen tot een beter begrip van maatschappelijke uitdagingen en het vermogen om deze aan te pakken. Het ESI-project streeft niet naar één gezaghebbende definitie voor de hele universiteit, aangezien de soorten impact aanzienlijk verschillen tussen en binnen disciplines en onderzoeksprojecten.

Leidende principes

Op basis van onze expertise en kennis heeft het ESI-team tien leidende principes geformuleerd voor de evaluatie van het maatschappelijk effect van onderzoek:

  • Er is sprake van maatschappelijke impact wanneer onderzoek de samenleving helpt de uitdagingen waarmee zij wordt geconfronteerd aan te gaan;
  • Een impactgedreven universiteit kent, ondersteunt en bevordert de maatschappelijke impact van haar onderzoek;
  • Dankzij duidelijke strategieën kan de impact van onderzoek worden vergroot;
  • Impactbeoordeling maakt deel uit van een leerproces dat erop gericht is strategieën voor het bereiken van impact te reflecteren en te verbeteren;
  • De impact wordt beoordeeld in het licht van de impactambitie en -strategie van het betrokken project of de betrokken groep;
  • In de impactambities worden doelen, doelgroepen en interactiemechanismen gespecificeerd (Theory of Change);
  • Evaluatie combineert verhalen (productieve interacties + impacttrajecten) en contextspecifieke indicatoren;
  • Evaluatie brengt ook in kaart hoe de institutionele omgeving het creëren van impact ondersteunt en vergemakkelijkt;
  • Belanghebbenden uit de samenleving spelen een actieve rol bij het creëren van ambities voor en het beoordelen van maatschappelijke effecten;
  • Tegen 2024 zijn impactambities, activiteiten en beoordelingen ingebed in lopende processen, zodat de evaluatie van de maatschappelijke impact deel uitmaakt van een lerende, verantwoordelijke en inclusieve organisatie.

Aan deze uitgangspunten liggen kernbegrippen ten grondslag. In het uitklapmenu hieronder wordt elk kernconcept beschreven, inclusief verwijzingen naar relevante praktische informatie in de toolbox van deze website.

Evaluatie is een systematische manier om na te denken over en de waarde te beoordelen van wat wordt gedaan (d.w.z. een project, een programma, een evenement). Evaluatie wordt gewoonlijk geïnterpreteerd als een eindproduct of een activiteit die plaatsvindt aan het einde van een project. Evaluatie kan echter ook worden beschouwd als een proces dat in alle fasen van een project plaatsvindt en dat wordt gebruikt om vast te stellen wat er is gebeurd en of de oorspronkelijke doelstellingen van het project zijn uitgevoerd en bereikt. Evaluatie kan meer doen dan beoordelen en meten; het helpt de weg te bereiden voor een cultuur van leren, verandering en verbetering.

We stellen het ontwikkelings- en leerproces centraal (formatieve evaluatie), in plaats van terug te kijken en afgeronde werkzaamheden te beoordelen (summatieve evaluatie). In overeenstemming met de state of the art op dit gebied en het onlangs bijgewerkte Strategy Evaluation Protocol (SEP) maakt impactbeoordeling dan deel uit van een strategische aanpak waarin impactambities, activiteiten, evaluatie en leren met elkaar verweven zijn. Dit betekent een verschuiving van impact als iets dat gewoon gebeurt - een welkom, maar toevallig bijproduct - naar impact als een expliciet doel waarvoor specifieke acties worden ondernomen en een stimulerende omgeving wordt gecreëerd.

Impactambities staan centraal bij de formatieve evaluatie van academische teams en onderzoekseenheden. Bewustwording van de huidige potentiële impact en een Theory of Change zijn essentieel voor het formuleren van een impactambitie.

Een impactambitie beschrijft:

  • De maatschappelijke uitdagingen waaraan een groep zal bijdragen;
  • De uiteindelijke begunstigden, tussenpersonen en andere maatschappelijke partners;
  • De interactiemechanismen en effectstrategieën om deze actoren te bereiken;
  • De ultieme verandering die wordt nagestreefd.

aadplegen van belanghebbenden kan het potentieel van een groep aanzienlijk beter in kaart brengen en kan het begin zijn van een proces van betekenisvolle interactie met de samenleving. Een veranderingstheorie omvat een weloverwogen keten van activiteiten en voorwaarden waarmee deze potentiële impact kan worden gerealiseerd. Op basis hiervan kan een onderzoeksgroep of project doelbewust zijn impactstrategieën kiezen, evenals de specifieke middelen en activiteiten waarmee impact wordt gegenereerd.

Wil je meer weten over het ontwikkelen van een impactambitie en hoe je valorisatie organiseert, bekijk dan dit artikel.

Hoe kunnen onderzoekers nadenken over hun maatschappelijke impact en deze organiseren? Ook al impliceert maatschappelijke impact een focus op een eindresultaat, wat telt zijn de processen van interacties tussen verschillende deelnemers. 

Vele wegen leiden naar Rome, en vele paden kunnen tot impact leiden. Vaak verschilt het per maatschappelijke sector en wetenschappelijke discipline wat voor soort activiteiten en interacties geschikt, toegankelijk en effectief zijn - zie onderstaande tabel voor voorbeelden.

Tabel 1: Diverse activiteiten die onderzoekers kunnen ontplooien als onderdeel van hun weg naar impact.

Professionele training 

Wetenschappelijk advies 

Actieonderzoek 

Commercialisering 

Evaluatie & toezicht 

Co-creatie 

Beleidsadvies/kritiek 

Platformstemmen 

Ontwerpmethoden 

Wetenschappelijk onderwijs

Publieke betrokkenheid 

Geëngageerde studiebeurs 

Wetenschapscommunicatie

Detachering van personeel 

Living labs 

Hulpmiddelen en diensten 

Dialogen met belanghebbenden 

Burgerwetenschap 

Op basis van de vastgestelde impactambitie en strategie kunnen specifieke activiteiten helpen die doelen te bereiken. De verschillende soorten impactactiviteiten bepalen de impacttrajecten van een project. Verder beïnvloeden ze de output en uiteindelijk de resultaten van een project. Daarom moeten impactactiviteiten altijd worden gekozen met het algemene doel van het project voor ogen. Lees meer hierover in de handleiding Theory of Change.

Het vermogen van een organisatie om impact te bereiken houdt in dat de organisatorische, materiële en persoonlijke voorwaarden worden geschapen om aan impact te werken. Dit vereist specifieke kennis, infrastructuur en ondersteuning voor impact. Variërend van vrij parkeren voor belanghebbenden tot de soorten rollen die binnen een team aanwezig moeten zijn.

Een impactstrategie en plannen hebben helpt, maar om maatschappelijke impact te creëren heb je ook impactgeletterd personeel en een ondersteunende impactgeletterde instelling nodig. Het begint met fundamentele kennis en begrip over impact. Bayley & Phipps (2017) definiëren impactgeletterdheid als het vermogen "om passende impactdoelstellingen en -indicatoren te identificeren, impacttrajecten kritisch te beoordelen en te optimaliseren, en na te denken over de vaardigheden die nodig zijn om benaderingen in verschillende contexten op elkaar af te stemmen."

Op individueel niveau kan een onderzoeker als impactgeletterd worden beschouwd als hij begrijpt welke specifieke voordelen worden nagestreefd, met welke activiteiten deze kunnen worden bereikt en hoe benaderingen in specifieke contexten moeten worden toegesneden:

  1. de identificatie, beoordeling, bewijsvoering en verwoording van impact-eindpunten ("wat");
  2. de praktijken die impact hebben ("hoe");
  3. de succesvolle integratie daarvan door degenen die het onderzoek beïnvloeden ("wie").

Hoewel de impact wordt gecreëerd en vastgelegd op het niveau van het onderzoeksproject, wordt hij geleverd binnen een institutionele structuur. Een individu kan zijn eigen competenties opbouwen, maar de mate waarin hij deze kan implementeren hangt af van zijn institutionele werkcontext. Evenzo is het institutionele streven om de niet-academische voordelen van onderzoek te verbeteren uiteindelijk evenredig met de mogelijkheden van de betrokkenen om doelstellingen op een hoger niveau te verwezenlijken. Daarom moet individuele capaciteitsopbouw voor impact worden ondersteund door institutionele benaderingen en moet institutionele capaciteitsopbouw worden geïnformeerd door individuele expertise (Bayley & Phipps, 2019).

Voor meer informatie over de activiteiten die ESI in het verleden heeft ondernomen om een impactomgeving te creëren, kun je kijken naar de Impact Dialogues die we in het verleden hebben georganiseerd om de dialoog over impact op Europees niveau te bevorderen.

Wij onderscheiden 9 soorten impact die als volgt kunnen worden gedefinieerd:

  • Economische impact: economische groei stimuleren, nieuwe producten en diensten genereren en banen scheppen.
  • Beleidsimpact: Informeren, beïnvloeden en verbeteren van de besluitvorming door de overheid en overheidsinstanties, NGO's en in de particuliere sector. Verhoging van de efficiëntie en/of kwaliteit van overheidsdiensten, toespitsing van investeringen op prioritaire gebieden en verhoging van de productiviteit van het bedrijfsleven.
  • Sociale impact: informeren van het publieke debat, stimuleren van de publieke belangstelling, verbeteren van welzijn, gelijkheid en inclusie, en verbeteren van de kwaliteit van leven en kansen.
  • Gezondheidsimpact: Het creëren van nieuwe geneesmiddelen en behandelingen en het ontwikkelen van nieuwe therapieën. Verbetering van onderwijs en opleiding, bewustmaking van het publiek en toegang tot de gezondheidszorg, alsmede beleid, wetgeving, normen of richtlijnen.
  • Culturele impact: Het verbeteren en behouden van ons cultureel erfgoed, het produceren van culturele artefacten, het creëren, inspireren en ondersteunen van nieuwe vormen van expressie, en het verbeteren van ons begrip van minderheidsgroepen en -gemeenschappen.
  • Milieu-impact: energiebesparing en lagere emissies, beter beheer en behoud van natuurlijke hulpbronnen, bewustmaking van het publiek en beleidsbeïnvloeding, betere bedrijfsvoering en openbare dienstverlening, en milieurisicobeheer.
  • Technologische impact: ontwikkeling van nieuwe en verbetering van bestaande technologieën.
  • Juridische impact: verbetering van de rechtshandhavingsmethoden, wijziging van de wetgeving, verbetering van de rechtspraktijk en de toegang tot de rechter.
  • Globale impact: de positieve effecten van ons onderzoek in het buitenland, inclusief de samenwerking met partners in andere landen.

Deze soorten impact zijn relevant om te beschrijven wat voor impact een project beoogt te creëren. Binnen de effectbeoordeling is het met name relevant om het gebied te beschrijven waarop een project invloed wil uitoefenen of heeft uitgeoefend. Zoals eerder gezegd moet het impacttraject (activiteiten, outputs en uitkomsten) overeenkomen met het soort impact dat je beoogt te creëren.

Veel organisaties in de bredere academische omgeving werken aan het verbinden van wetenschap en maatschappij. Hier vindt u een (niet complete) lijst van organisaties met links naar hun bronnen. Sommige bronnen gaan over verwante concepten en ontwikkelingen in de academische wereld, zoals open wetenschap, duurzame ontwikkelingsdoelstellingen en verantwoord onderzoek & innovatie.

Nationaal

VSNU

Met de Vereniging van Nederlandse Universiteiten (VSNU) laten 14 Nederlandse universiteiten aan de buitenwereld zien hoe zij hun maatschappelijke functie vervullen, formuleren zij gezamenlijke ambities op het gebied van academisch onderwijs en onderzoek en valorisatie, en lobbyen zij voor de randvoorwaarden die nodig zijn om deze ambities te realiseren. Bij verschillende VSNU-activiteiten wordt de link met de samenleving expliciet aangegeven:

NWO

NWO definieert maatschappelijke impact als "Culturele, economische, industriële, ecologische of maatschappelijke veranderingen die geheel of gedeeltelijk het gevolg zijn van kennis en expertise die door onderzoek zijn gegenereerd. In het huidige strategisch plan 'Connecting Science and Society' zijn verschillende thema's opgenomen die betrekking hebben op maatschappelijke impact: open science, convenant kennis en innovatie en benutten van kennis.

De meest expliciete koppeling die NWO maakt over het creëren van maatschappelijke impact is voor kennisbenutting. Dit wordt gedefinieerd als een iteratief proces waarbij de kans op maatschappelijke impact toeneemt door het stimuleren van productieve interacties met maatschappelijke stakeholders, zowel tijdens de ontwikkeling als in de uitvoering van het onderzoek. De drie kennisbenuttingsbenaderingen van NWO variëren in type activiteit en fase in verhouding tot de verwachting van maatschappelijke impact.

  • Impact Outlook Approach: het bevorderen van (onvoorziene) mogelijkheden voor sociale impact gedurende de looptijd van het project.
  • Impact Plan Approach: voor het bijdragen aan sociale kwesties.
  • Impact Focus Approach: voor het toepassen van reeds ontwikkelde kennis en inzichten.

Als je van plan bent een NWO-subsidie aan te vragen, zijn er e-learning modules die je op weg helpen om maatschappelijke impact in je voorstel op te nemen: https://impact.nwo.nl/

ZonMW

De Nederlandse Organisatie voor Gezondheidsonderzoek en -ontwikkeling (ZonMW) heeft verschillende aan maatschappelijke impact gerelateerde bronnen. Het startpunt is de pagina 'Impact versterken', maar ook de pagina 'Impact aantonen' heeft meer specifieke informatie zoals implementatieactiviteiten.

KNAW

De Koninklijke Nederlandse Akademie van Wetenschappen (KNAW) publiceerde in 2018 een rapport 'Maatschappelijke impact in kaart' met verschillende beleidsaanbevelingen met betrekking tot maatschappelijke impactevaluatie.

Internationaal

Sustainable Development Goals (SDGs)

De Verenigde Naties hebben 17 onderling samenhangende wereldwijde doelstellingen voor duurzame ontwikkeling (Sustainable Development Goals, afgekort tot SDG's) ontwikkeld als "blauwdruk voor een betere en duurzamere toekomst voor iedereen". Hoewel ze breed en onderling afhankelijk zijn, werden de 17 SDG's beter bruikbaar gemaakt door voor elk doel specifieke doelen met voortgangsindicatoren vast te stellen. Er is een volledige lijst van 169 SDG-doelstellingen en 232 unieke voortgangsindicatoren. Het in kaart brengen van het verband tussen academische activiteiten en de SDG's kan helpen bij het vaststellen van maatschappelijke relevantie.

Binnen de EUR is duurzaamheid een van de zeven EUR-prioriteiten die ook worden belichaamd door het strategische thema Duurzame Ontwikkeling. De Rotterdam School of Management (RSM) gebruikt de SDG's als referentiekader voor hun missie. In de sectie ruwe gids van deze website zullen we informatie toevoegen over een SDG mapper die wordt ontwikkeld door research intelligence adviseur Tung Tung Chan.

Responsible Research and Innovation (RRI)

Binnen het Horizon 2020-programma van de Europese Unie is Verantwoord Onderzoek en Innovatie (RRI) de kernactiviteit van de doelstelling "Wetenschap met en voor de samenleving". RRI is een aanpak die anticipeert op mogelijke implicaties en maatschappelijke verwachtingen ten aanzien van onderzoek en innovatie en deze beoordeelt, met als doel het ontwerp van inclusief en duurzaam onderzoek en innovatie te bevorderen. Binnen ESI heeft research intelligence adviseur Tung Tung Chan RRI in haar portefeuille.

Open science

Open science is een beweging die streeft naar meer open en collaboratieve academische praktijken. Dit kan gaan over het delen en hergebruiken van academische output in een zo vroeg mogelijk stadium (bv. publicaties, gegevens, software), maar ook over het betrekken van andere partijen bij het hele proces (bv. citizen science). Open Science is een beleidsprioriteit voor de Europese Commissie. Voor de Nederlandse context is in een recent rapport van het Rathenau instituut "Samen verder met open science" beschreven wanneer en hoe zinvolle publieke betrokkenheid als onderdeel van open science kan worden georganiseerd.

Binnen de EUR is de Open Science Community Rotterdam (OSCR) (gecoördineerd door Antonio Schettino) een belangrijke drijvende kracht achter open wetenschap.

Vergelijk @count opleiding

  • @title

    • Tijdsduur: @duration
Vergelijk opleidingen