Zelfstudie Module: Impact meten

Wanneer ga je impact meten? 

Een evaluatie en impactanalyse plan je waar mogelijk aan het begin van je project of activiteit. Zodat je impact centraal kunt stellen in wat je doen. Maar evaluatie en impact zijn niet hetzelfde. Een impactgedreven aanpak vanaf het begin van je project kan jou en je team helpen bij je communicatie over het project, bij het trekken van je publiek en natuurlijk bij het opzetten van je dataverzamelingsplannen en werkprocessen. Hoe eerder je begint, hoe meer je wint dus.

Stap 1: Bepaal wie je publiek is

Wie wil je bereiken met je activiteiten? En voor wie wil je verandering creëren en meten? Je directe publiek is het publiek waarvoor je rechtstreeks (positieve) verandering teweegbrengt. Je indirecte publiek kan een positieve verandering ervaren omdat je activiteit iemand anders die ze graag mogen heeft beïnvloed, of toegevoegde waarde omdat je activiteit bestaat. Het is lastig om voor iedereen verandering te meten, dus zul je prioriteiten moeten stellen. Gebruik hiervoor het schema op werkblad 2.

Stap 2: Bedenk wat voor impact je wil maken

Beschouw impact, als team, als het grote langetermijndoel dat zin en betekenis geeft aan jullie werk, als de drijvende kracht. Zoals de missie van een organisatie voor een tolerantere en inclusievere samenleving of een robuustere lokale economie. Impact is iets:

• Wat je niet alleen kunt verwezenlijken
• Waar jij niet als enige verantwoordelijk voor bent
• Wat je organisatie of jullie werk drijft (zoals de mission statement of visie)
• Wat niet morgen al kan worden gerealiseerd, en waar je misschien voor een lange tijd naar toe moet werken
• Waaraan je jouw directe bijdrage misschien niet kan meten

Het is nu tijd om een impactverklaring op te stellen. Lees verder vanaf werkblad 3 en voeg je impactverklaring toe aan de Change Pathway.

Stap 3: Stel een plan op

Uitkomsten zijn veranderingen die je publiek ervaart, niet activiteiten die jij verricht of resultaten. Bedenkt dus een plan voor de uitkomsten die je wil creëren en de indicatoren die je kunt meten. Bedenk wat je publiek misschien zou denken, voelen of doen. Organiseer een brainstormsessie of groepsworkshop en breng de korte- en langetermijnuitkomsten voor je publiek in kaart. Vergeet de verbanden tussen deze twee soorten uitkomsten niet.

Sommige dingen zijn altijd belangrijker dan andere en je kunt niet alles meten, en dat moet je ook niet proberen. Bedenk wat je wilt bereiken en stel dan vast welke veranderingen die je publiek heeft ervaren het belangrijkst zijn om te meten

Als je hebt vastgesteld welke uitkomsten het belangrijkst zijn, is het tijd om te bedenken hoe je ze kunt meten. Indicatoren zijn de maatstaven waarmee je kunt vaststellen of een bepaalde uitkomst heeft plaatsgevonden.

Indicatoren kunnen subjectief zijn (een zelfgerapporteerde beleving) of objectief (een objectief verkregen meting). Een combinatie van deze twee is een goed idee als je wilt nagaan of er verandering heeft plaatsgevonden.

De laatste stap bij je Change Pathway is het in kaart brengen van je outputs. Met behulp van outputs kun je je project in cijfers uitdrukken.

Gebruik werkblad 4 om de bovenstaande onderdelen in kaart te brengen.

Stap 4: Verzamel je data

Maak een dataverzamelingsplan

Je data vormen samen de informatie die je nodig hebt om je onderzoeksvragen te beantwoorden en je analyse uit te voeren. Voor het opstellen van een dataverzamelingsplan, moet je vaststellen:

• Van wie je data wilt verzamelen?
  
• Waar en wanneer?
• Hoe, met welke methoden?
• Hoeveel data je zou moeten verzamelen om een goed en betrouwbaar beeld te krijgen van de ervaringen van je publiek?
• Hoe kan je het verzamelen van data in je bestaande werkprocessen integreren?
  

Beslis welke onderzoeksmethoden je kunt gebruiken

Afhankelijk van wat je wilt meten kun je data met behulp van veel verschillende methoden verzamelen. Kwantitatieve data zijn data die je kunt tellen, kwalitatieve data zijn verhalen, opvattingen, etc. Zorg ervoor dat welke methode van dataverzameling je ook kiest, je het soort data verkrijgt dat je nodig hebt. Lees meer over onderzoeksmethoden.

Verzamel waar mogelijk nulmetingen en longitudinale metingen

Om de impact ergens van te meten is het zinvol om te proberen om een nulmeting te doen waarmee je een latere meting kunt vergelijken. Dat geeft aan dat er verandering heeft plaatsgevonden. Voor de lange termijn is het een goed idee om verandering niet alleen direct na afloop van een activiteit te meten maar ook nog enige tijd later. Dat is longitudinale dataverzameling.

Stap 5: Data-analyse en interpretatie

Begin met te beschrijven wat je ziet aan je data. Wat kun je uit de data afleiden? Je kunt je data analyseren met behulp van data-analysetools. Bij kwalitatieve data is het van belang om de thema’s, verbanden en belangrijke informatie in je data te bundelen. Je zou jezelf vragen moeten stellen als:

• Wat vertellen de data ons over de onderzoeksvragen, indicatoren en uitkomsten die we hebben vastgesteld?

• Wat betekent dit voor wat we al wisten of aannamen?

• Welke informatie geven de data ons niet en wat weten we nog steeds niet?

• Klinkt dit plausibel en waarom?

• Is er iets onverwachts?

Stap 6: Schrijf je impactverhaal

Zorg ervoor dat je data leiden tot impact voor jou! Het is nu tijd om je impactverhaal te schrijven en te visualiseren.

De presentatie van je bevindingen in diagrammen en grafieken vormt nog maar het begin van je impactverhaal. Een impactverhaal is gebaseerd op je analyse en interpretatie van je data. In je verhaal moet je niet alleen duidelijk formuleren wat je hebt geleerd maar ook waarom dat belangrijk is en wat je met die lessen gaat doen. Dit is een creatief proces waarbij je moet bedenken met wie je deze informatie deelt en wat je wilt bereiken.

Dit geldt ook voor de datavisualisatie. Het gaat niet alleen om het presenteren van de data maar ook om de interpretatie van wat de diagrammen en grafieken laten zien en waarom dat belangrijk is. Vergeet niet dat de minder positieve resultaten net zo belangrijk zijn in je impactverhaal, net als de plotwending in een traditioneel verhaal.

Gebruik werkblad 5 voor hulp bij hoe je:

• Met behulp van je doelstellingen en impactdoel de beginsituatie schetst
• Je publiek introduceert als personages in je verhaal
• Je de plot uiteenzet aan de hand van de belangrijkste bevindingen
• Je data op een objectieve manier introduceert via plotwendingen
• Reflecteert op wat dit alles betekent.

Volgende stappen

In de voorbereiding van deze module vroegen we je wat je met een impactanalyse of evaluatie wilde bereiken. Wilde je je digitale aanbod voor je publiek verbeteren? Wilde je je impact effectiever naar je financiers communiceren voor een duurzamere financiering? Wilde je het budget voor digitale cultuur op de school waar je mee samenwerkt verhogen? Nu weet je wat je wil en is het tijd op deze bedoelingen om te zetten in daden. 

Nog meer impact

Gebruik je inzichten en ervaringen bij een volgende activiteit. Zorg dat impact denken onderdeel wordt van alles wat je doet. Benieuwd hoe anderen dit doen? Lees de praktijkvoorbeelden van DutchCulture en Festival Cement.