Waarom impact meten?
Wij dromen van een wereld waarin mensen geen enkele schroom ervaren om contact te maken met Jan en alleman. Wanneer we wakker worden in zo’n wereld, voelt iedereen zich meer thuis bij elkaar, kunnen we toleranter reageren, bestaat eenzaamheid niet meer en klinken er meer warme gesprekken. Maar wanneer komt die dag? En hoe kunnen we dit monitoren? En waar staan we nu?
Vanuit deze vragen gingen we een partnerschap aan met Erasmus Universiteit Rotterdam en het Impact Center Erasmus. In het vak ‘Assessing the impact of culture and creativity in society’ gingen kleine groepjes internationale studenten de uitdaging aan om een specifiek onderwerp te bestuderen en om via wetenschappelijke kaders een impactbevraging te realiseren. Naast Allez, Chantez! namen ook kleppers als het Van Gogh Museum en Cultuur en Ondernemen (de Nederlandse variant van Cultuurloket) deel aan dit vak.
Het waren Pauline (Frankrijk), Marie (Duitsland), Rachel (Zuid-Afrika) en Demi (Nederland) die zich engageerden om onze case uit te werken. Zij zochten acht weken lang naar het antwoord op de vraag: “Wat zijn de effecten van de bestaande community building tools van Allez, Chantez! op de deelnemers van de zangsessies (op korte en lange termijn)?”
Hoe impact meten?
De onderzoekers hanteren twee wetenschappelijke kaders om de maatschappelijke impact van Allez, Chantez! te meten:
- een Theory of Change om ons project schematisch voor te stellen en de onderzoeksvragen scherp te stellen, en
- de Participation Levels-methode om de lange en korte termijn meting in kaart te brengen.
De mate waarin zangliefhebbers deelnemen, leren, eigenaarschap opnemen, connectie voelen en zich betrokken voelen is bepalend voor het maken van impact bij Allez, Chantez! Daarom werd in dit onderzoek gewerkt op basis van vijf niveaus van participatie met kern-, actieve, occasionele, perifere en transactionele deelnemers.
Theory of change
Een theory of change is een schematisch overzicht waarin je op een eenvoudige manier de complexiteit te begrijpen van het proces dat een organisatie doorloopt om (maatschappelijke) verandering teweeg te brengen. In zo’n schema lees je meteen welke middelen (inputs) nodig zijn om activiteiten te kunnen organiseren, die leiden tot bepaalde outputs, die dan weer resulteren in persoonlijke en maatschappelijke effecten (outcomes). Al de afzonderlijke elementen samen zorgen ervoor dat Allez, Chantez! toewerkt naar haar impact doel: een warme samenleving waarin je geen schroom ervaart om connectie te maken met anderen.
In dit onderzoek destilleerden we uit deze Theory of Change 5 standaardthema’s die onze impactmeting bepalen.
- De mate waarin iemand zich op zijn gemak voelt
Zichtbaar via persoonlijke effecten zoals: glimlachen, zelfvertrouwen, stress vermindering - Het gevoel van ergens bij te horen (sense of belonging in een gemeenschap)
Zichtbaar via persoonlijke effecten zoals: een gevoel hebben van ergens bij te horen
Zichtbaar via maatschappelijke effecten zoals: inter-generationele uitwisseling en diversiteit (publiek) - Het gemak waarbij je met anderen een verbinding maakt op een evenement
Zichtbaar via persoonlijke effecten: nieuwe vrienden maken, vermindering van eenzaamheid
Zichtbaar via maatschappelijke effecten: een cultuur creëren waarin iedereen welkom is en sociale cohesie - Het niveau van verbinding tijdens een activiteit
Zichtbaar via persoonlijke effecten: het engagement niveau in projecten van Allez, Chantez!
Zichtbaar via maatschappelijke effecten: de wil om vrijwilliger te worden - De graad waarin deelnemers anders gaan communiceren in hun dagelijks leven dankzij de impact van Allez, Chantez!
De resultaten van de impactmeting geven aan waar Allez, Chantez! nog op kan inzetten om haar impact doel verder te behalen.
Participatie Levels (Wenger-Wenger-Trayner)
Voor dit onderzoek stelden de studenten vijf niveaus van participatie om de effecten van de activiteiten en de impact van Allez, Chantez! (activiteiten) te meten voorop als kader. De effecten van Allez, Chantez! zijn immers niet zo relevant om op een tijdschaal te plaatsen, maar wel op een participatieschaal. Op die manier kan je meten hoe de zangliefhebbers deelnemen, of ze dingen bijleren, eigenaarschap opnemen, connectie voelen en zich betrokken voelen.
- Kerndeelnemers: een kleine groep van mensen die de gemeenschap voeden met hun passie en engagement.
- Actieve deelnemers: leden van de gemeenschap die erkend worden als zangliefhebbers en mee de vorm van de zingende gemeenschap bepalen.
- Occasionele deelnemers: leden van de gemeenschap die enkel deelnemen als er bepaalde interesse is, of als ze kunnen bijdragen voor een bepaalde gelegenheid of project.
- Perifere deelnemers: mensen die een duurzame verbinding hebben met de gemeenschap maar met minder engagement, omdat ze nieuw zijn of persoonlijk minder kunnen bijdragen. Deze mensen kunnen bijvoorbeeld wel actiever zijn in andere gemeenschappen en deze ervaringen meenemen naar een ander netwerk.
- Transactionele deelnemers: buitenstaanders die slechts af en toe deelnemen aan de zingende gemeenschap maar zichzelf niet echt onderdeel voelen van deze gemeenschap en gewoon af en toe gebruiken maken van producten of activiteiten.
In de bevraging bepaalden de studenten het participatieniveau op basis van 4 punten:
- het aantal keer dat zangliefhebbers deelnemen aan een sessie van Allez, Chantez!,
- de frequentie van participatie,
- de duurtijd van een periode dat zangliefhebbers deelnemen,
- en de soort activiteiten waaraan de zangliefhebbers deelnemen.
De hypothese was: hoe hoger het participatieniveau van de respondenten van de bevraging, hoe impactvoller de effecten van de community building tools van Allez, Chantez!
Zoals aangegeven gebeurde deze bevraging tijdens een COVID-19-jaar en waren er slechts 5 dagen om aan de bevraging deel te nemen. Wellicht wijken de resultaten van het onderzoek af tegenover een standaardseizoen met 30 eigen live-sessies en talloze boekingen in heel Vlaanderen. Na dit onderzoek bleken de 304 respondenten zich te verhouden als volgt:
- 71,76% zijn transactionele deelnemers,
- 15,95% zijn perifere deelnemers,
- 5,65% zijn occasionele deelnemers,
- 5,32% zijn actieve deelnemers,
- en 1,33% zijn kerndeelnemers.
Op basis van deze tools stelden de studenten een uitgebreide bevraging met 40 open en gesloten vragen op die we via de diverse Allez, Chantez!-communicatiekanalen uitstuurden. In een tijdspanne van 5 dagen verzamelden 304 antwoorden die de basis vormden voor de resultaten van dit onderzoek. Daarbij vielen twee dingen op:
- De tijdspanne van bevraging was erg kort en vond plaats tijdens de winter van 2021 (Corona-periode). Daardoor zijn de resultaten wellicht niet geheel representatief voor het gehele doelpubliek van Allez, Chantez!
- In vergelijking met de andere onderzoeksgroepen konden wij zelfs tot 10x meer respondenten overtuigen om deel te nemen aan ons impactonderzoek. Dat komt enerzijds omdat wij betrokkenheid van onze fans heel regelmatig aanzwengelen met oproepen voor feedbackbevragingen. Anderzijds werkten we een toffe specifieke strategie uit om zoveel mogelijk twijfelaars nog te overtuigen om deel te nemen.
Deze Allez, Chantez!-zangers maken positieve associaties met ervaringen gerelateerd aan welzijn (het ervaren van een fysieke verandering, therapie, vrij voelen, uit de comfortzone treden, zorgen vergeten) en vrije tijd (genieten van het leven, met vrienden, op vakantie zijn,…). Bijna 68% van de respondenten geeft aan dat hij zijn zorgen vergeet bij het deelnemen aan een Allez, Chantez!-zangsessie.
De zangliefhebbers associëren de Allez, Chantez!-zangsessies minder met persoonlijke ervaringen (zoals herinneringen aan de jeugd, tijd spenderen met familie,…).
De respondenten geven aan dat ze méér zingen dan voor ze deelnamen aan onze zangsessies. Ze zingen zowel alléén meer, als met vrienden, als met familie als met collega’s.
Wist je dat het heel normaal is om je niet comfortabel te voelen bij het begin van een zangsessie? Slechts 41% van de respondenten van het onderzoek geeft aan zich helemaal op zijn gemak te voelen aan het begin van een zangsessie van Allez, Chantez! Ditzelfde onderzoek toont ook aan dat dit ongemakkelijk gevoel bij de overige 59% van de respondenten helemaal verdwenen is op het einde van de zangsessie.
Het succes van de community building tools werd gemeten aan de hand van 6 factoren:
• De mate waarin de zangliefhebbers zich welkom voelen,
• De mate waarin de zangliefhebbers zich onderdeel voelen van de community (sense of belonging),
• Het gemak waarmee de zangliefhebbers verbinding maken met anderen op een event,
• Het niveau van de verbinding die zangliefhebbers met anderen kunnen maken op een zangactiviteit,
• De mate waarin de zangliefhebbers op een andere manier communiceren in hun dagelijkse leven dankzij de ervaringen die ze in een Allez, Chantez!-zangsessie opdoen,
• De waarschijnlijkheid dat de zangliefhebbers Allez, Chantez! aanraden aan anderen.
De factoren die de impact van de community building tools meten zijn de volgende:
• Gevoelens van trots en ergens bij horen (belonging),
• Effecten op humeur en zelfvertrouwen,
• De associaties die zangliefhebbers maken met een Allez, Chantez!-zangervaring,
• Hoe vaak mensen zingen voor en na het deelnemen van een Allez, Chantez!-zangsessie,
• Het ontmoeten van verschillende culturen en leeftijdsgroepen op een Allez, Chantez!-activiteit.
Uit deze analyse, waarbij het participatieniveau van de deelnemers in correlatie wordt gebracht met bovengenoemde meetindicatoren, gaf verschillende positieve correlaties, namelijk:
Hoe hoger het participatieniveau, …
• … hoe trotser de zangliefhebber is om onderdeel te zijn van deze community,
• … hoe meer welkom de zangliefhebber zich voelt,
• … hoe meer hij zich onderdeel voelt van de community in het algemeen,
• … hoe gemakkelijker het is om connectie te maken (met anderen en via tools),
• … en hoe sneller de zangliefhebber Allez, Chantez! zal aanraden aan anderen.
Met andere woorden: de effecten van de community building tools zijn zichtbaarder naar gelang het participatieniveau van de zangliefhebber(s).
Resultaten!
De vijf belangrijkste redenen om deel te nemen aan een Allez, Chantez!-activiteit:
1. Om te zingen (= het belangrijkst)
2. Om plezier te beleven
3. Voor de sfeer
4. Voor de muziek
5. Om tijd te spenderen met vrienden
De vijf belangrijkste community building tools die een echte connectie teweegbrengen tijdens een zangsessie:
1. de diversiteit (keuze) van de liedjes die we zingen
2. de manier waarop we de zangliefhebbers via de online communicatie tools aanspreken
3. de manier waarop we de zangliefhebbers aanspreken in een live-zangsessie
4. de mogelijkheden om feedback te geven
5. de online chatbox (tijdens de livestream-sessies)
De algemene conclusie
“Om met zingen een sterkere impact te maken op individuen en de samenleving, moet Allez, Chantez! de focus leggen op participatie. Niet alleen wat betreft het bijwonen van sessies als ‘transactionele individuen’, maar ook door engagement op te nemen via de verschillende community building tools zoals vrijwilligerstaken, feedback geven, liedjes aanvragen, opgenomen filmpjes herbekijken en doorzenden naar vrienden, vrije bijdragen doen, gesprekken voeren met anderen tijdens de live- of livestream-zangsessies.
In deze bevindingen lezen we dat een afstandelijker niveau van betrokkenheid nog steeds veel positieve effecten op mensen zal hebben. Toch, als Allez, Chantez! zich op lange termijn overbodig wil maken, moeten de gemeenschappen waar gezongen wordt het eigenaarschap over het initiatief overnemen door mee(r) te participeren.”
Wat onthouden wij daarvan?
– We blijven fans op diverse manieren uitnodigen om te klimmen op de participatieschaal.
– We moedigen zingende gemeenschappen aan om steeds meer eigenaarschap op te nemen.
– We streven ernaar om op lange termijn overbodig te zijn. Ah ja, als er zoveel gezongen wordt en iedereen kan vlot contact maken met elkaar… dan gaan wij toch gewoon pintjes drinken op de Grote Markt?
En hoe gaan we nu verder?
De afgelopen zes jaar hebben wij geleerd hoe je zingende gemeenschappen opzet aan de hand van een laagdrempelig zangconcept. COVID-19 heeft ons de mentale ruimte geboden om uit te zoomen en te bepalen hoe we in de toekomst nog meer impact kunnen maken. Pas op! Voor dat virus stokken in de wielen stak, maakten wij elk jaar 24.000 zangliefhebbers blij met één of meerdere uren zangplezier. Dat vinden wij niet weinig an sich, maar wel te weinig als je het potentieel van dat concept nader bekijkt. In ons hoofd klonk één vraag luid en duidelijk: “Wat zou er gebeuren als wij andere organisatoren en geëngageerde burgers ondersteunen om zelf ook meer zanginitiatieven te realiseren?”. Met deze basisvraag lanceren wij onze kennisdeling en voeden wij ons enthousiasme om anderen vleugels te geven. Uiteraard blijven we zelf ook sessies organiseren en uiteraard kan je onze zangcoaches nog naar jouw gemeente halen voor lokaal zangplezier! Kijk op de kalender voor alle zangdata en ontdek onze boekingsformules.
Dit impactonderzoek geeft onze toekomstplannen extra ruggensteun …
• … omdat we lokale overheden, verenigingen, cultuurhuizen en buurtinitiatieven de tools in handen willen geven om het eigenaarschap van een zingende gemeenschap zelf op te nemen;
• … omdat we onze tools en expertise nu nog bewuster kunnen doorgeven;
• … omdat we nu nog beter zien met welke tools wij zingende gemeenschappen opbouwen en levendig houden;
• … en omdat we zelf willen blijven innoveren om onze bestaande en eventuele nieuwe participatieve tools in te zetten bij onze eigen zangsessies.
Feedback?
Plaats je bemerkingen of vragen voor ons/de onderzoekers onderaan.
En nu jij!
Vijf goede redenen om onderzoeksprojecten met studenten of impactmetingen te doen:
• Via wetenschappelijke kaders worden jouw activiteiten en doelen nog helderder en betekenisvoller.
• Successen en werkpunten worden zichtbaar.
• Met een onafhankelijk rapport in handen heb je een goede basis om in gesprek te gaan met partners, overheden, financierders, fans, … .
• Je leert andere organisaties of personen kennen die maatschappelijke impact ook belangrijk vinden.
• Je laat andere mensen met een frisse, kritische blik naar je project kijken, dus ook los van het onderzoek zal je dingen leren, bv. wat er in je mission statement nog niet helemaal helder is.
Vijf tips uit onze ervaring:
• Ga spreken met onderzoeksinstellingen over je project. Wie weet contacteren ze jou later bij een nieuwe oproep.
• Omarm de student-onderzoekers en maak hen deel van ‘het team’. Vanuit een samen-gevoel bereik je meer.
• Mik hoog. Met hoge verwachtingen creëer je een noodzaak om het onderste uit de kan te halen.
• Motiveer studenten door te vertellen wat hun onderzoek voor je project betekent, hoe klein de toegevoegde waarde ook is.
• Betrek je achterban zoveel mogelijk bij je onderzoek en hou hen op de hoogte van de komst, tussenstappen en resultaten van het onderzoek.