Hoe meet je de impact van een innovatie die nog niet bestaat?
Je meet de impact van een innovatie die nog niet bestaat door de verwachte impact vooraf te bepalen en die in elke fase van het ontwerpproces te verfijnen, in plaats van pas na de lancering te evalueren. Beschrijf de verandering die je wil, het mechanisme dat ze moet veroorzaken, en het bewijs dat zou tonen dat het werkt. Test dat mechanisme dan met elk prototype. Impact wordt een ontwerpinput, geen bijzaak.
De meeste organisaties zien impact als iets waarover je op het einde rapporteert. Voor innovatie is dat te laat. Dan is het geld al uitgegeven en liggen de ontwerpkeuzes vast.
Waarom is innovatie-impact meten zo moeilijk?
- Het ding bestaat nog niet, dus klassieke KPI's hebben niets om te tellen.
- De weg is onzeker. Iteraties veranderen de oplossing, dus de impact die je in week één verwachtte, is misschien niet de impact die je krijgt.
- Traditionele KPI's belonen efficiëntie, en dat is net wat radicale innovatie in het begin niet kan leveren.
Hoe bepaal je impact in elke fase?
Ik gebruik de vier FIDL-fases (kaderen, ideeën genereren, ontwerpen, lanceren) en stel in elke fase een andere impactvraag:
- Kaderen: welke verandering willen we, voor wie, en hoe zouden we die herkennen?
- Ideeën genereren: welke ideeën veroorzaken die verandering het waarschijnlijkst, en via welk mechanisme?
- Ontwerpen: zet het prototype het verwachte mechanisme in gang? Welk bewijs zien we?
- Lanceren: houdt het effect stand op schaal, en wat verklaart de uitkomst?
Je impactstelling wordt elke fase scherper. Daar gaat het om.
Hoe ziet dat eruit in een echt project?
Met One of Us, een project geleid door WAAI met partner Blenders en gefinancierd door het Europees Sociaal Fonds, werkten we aan de drempels die hoogopgeleide vrouwen met een migratieachtergrond ervaren op de arbeidsmarkt. Via enquêtes, interviews en workshops met de vrouwen, werkgevers en intermediaire organisaties vonden we drie obstakels: gewoontes, netwerk en onvoldoende kennis van bestaande ondersteuning. De gewoontes zagen er aan beide kanten anders uit. De vrouwen hadden na herhaalde afwijzingen weinig helpende gewoontes in zelfpresentatie ontwikkeld. Werkgevers hadden sollicitatieprocedures en vacatureteksten die vooral afgestemd waren op een witte, mannelijke werknemerspopulatie.
We bepaalden de impact terwijl we de dienst ontwierpen. Vertrekkend van bewezen psychologische concepten ontwierpen en testten we een causaal mechanisme. De kern werd een reeks coachingsessies, te beginnen met self-efficacy: de vrouwen laten zien hoeveel ze al bewezen hadden aan te kunnen.
Welke methodes helpen?
Process tracing is een impactevaluatiemethode uit de sociale wetenschappen die kijkt naar waarom een interventie werkt, niet alleen of ze werkt. Er zijn drie vormen: theorietestend (werkt een gekend mechanisme hier?), theorievormend (kunnen we een nieuw mechanisme aantonen?) en uitkomstverklarend (wat verklaart het resultaat dat we kregen?). In de praktijk, zoals bij One of Us, lopen ze door elkaar.
De OESO-evaluatiecriteria (relevantie, coherentie, effectiviteit, efficiëntie, impact en duurzaamheid) geven je een stevige checklist om impactvragen van bij de start te kaderen.
Vragen die mensen stellen
Wat is het verschil tussen output, outcome en impact?
Output is wat je levert (tien coachingsessies). Outcome is de directe verandering (deelnemers solliciteren met meer zelfvertrouwen). Impact is de blijvende verandering die je zocht (meer vrouwen in jobs die passen bij hun kwalificaties).
Wat is process tracing?
Process tracing is een impactevaluatiemethode die de causale keten tussen een interventie en haar uitkomst volgt. Ze helpt je begrijpen wat je dienst waardevol maakt, en dat is net wat je nodig hebt terwijl je ze nog ontwerpt.
Welke KPI's gebruik je voor innovatie?
In het begin gebruik je leer-KPI's: geteste aannames, bewijs voor het mechanisme, genomen beslissingen. Schakel pas over naar prestatie-KPI's als de oplossing stabiel is. Een prototype beoordelen op omzet, doodt het.
Wil je een case opbouwen waar je sponsor echt over kan beslissen, impact inbegrepen? De Case Sprint brengt één case tot een geteste beslissing. Eerst je organisatie benchmarken? Doe de EPIC-scan.
Jan Van Caneghem is designer en docent aan de Arteveldehogeschool, en auteur van The book that helps you become the EPIC designer of our tomorrows (2022). Met WAAI Design helpt hij innovatiemanagers en hun sponsors in België en Nederland om innovatiecases beslist te krijgen. Deze field note bouwt voort op hoofdstuk 7 van dat boek.
Bronnen: Van Caneghem, J. (2022). The book that helps you become the EPIC designer of our tomorrows. ASP Editions. OECD (2019). Better Criteria for Better Evaluation. OECD DAC Network on Development Evaluation. Beach, D. & Pedersen, R.B. (2013). Process-Tracing Methods. University of Michigan Press.
ZIT JOUW CASE OOK ZO VAST?
Ontdek met de gratis EPIC-scan waar je organisatie vastloopt: twaalf vragen, vier minuten, een persoonlijk rapport. Of sla de scan over en praat met Jan over je case.