Onderwerp 2.3
Social return on investment en effectmeting
Wanneer een uitkomst een eerlijke prijs weerstaat, hoort het vertrouwen van een lezer niet uit te gaan naar de ratio die een methode oplevert, maar naar de vraag of de redeneerketen erachter – van activiteit, via uitkomst, naar beweerde waarde – de toetsing door een vreemde overleeft.
Waarom dit ertoe doet bij publieke waarde
Financiers, opdrachtgevers en besturen willen steeds vaker één vergelijkbaar getal dat vertelt of een programma de moeite waard is om voort te zetten. Social return on investment (SROI) belooft precies dat: een ratio, uitgedrukt in zoveel geldeenheden aan gecreëerde sociale waarde per geïnvesteerde eenheid. De belofte is verleidelijk omdat zij de leesbaarheid van een financieel rendement leent en tegelijk claimt vast te leggen wat een financieel rendement niet kan – minder eenzaamheid, herwonnen zelfvertrouwen, een jongere die in het onderwijs blijft.
De spanning waarmee een lezer dit jaar te maken heeft, is dat het getal doorgaans zelfverzekerder is dan het bewijs erachter. De druk om een grote, verdedigbare ratio te produceren kan ongemerkt bepalen welke uitkomsten worden gekozen, welke financiële proxy’s worden gebruikt en welke kanttekeningen uit de subsidieaanvraag verdwijnen voordat die de deur uitgaat. Sommige uitkomsten die een organisatie in de sociale sector creëert – waardigheid, saamhorigheid, culturele continuïteit – zijn uitkomsten waarvan veel beoefenaars vinden dat ze nooit tot een geldbedrag zouden mogen worden herleid, uit principe en niet alleen vanwege de moeilijkheid.
Dit is het terrein dat formele kosten-batenanalyse voor zichzelf opeist (zie Onderwerp 2.2 — Maatschappelijke kosten-batenanalyse en kosteneffectiviteitsanalyse), die monetarisering behandelt als een opgelost methodologisch probleem: vind de schaduwprijs, pas de disconteringsvoet toe, weeg de verdeling. Dit onderwerp behandelt het moeilijkere geval – waar monetarisering ofwel nog niet met enige nauwkeurigheid mogelijk is, ofwel het afdwingen ervan zelf de omstreden stap is. Dit goed doen is belangrijk omdat het alternatief voor een gedisciplineerde SROI- of veranderingstheorie-oefening niet “geen meting” is – het is een ongedisciplineerde meting, uitgedost met een ratio die precies oogt en dat niet is.
Kernbegrippen
Een veranderingstheorie (theory of change) is het expliciete, toetsbare verhaal over hoe en waarom de activiteiten van een organisatie naar verwachting tot de uitkomsten leiden die zij claimt. De theory of change is geïntroduceerd als de discipline die een logisch model eerlijk houdt over wat het werkelijk beweert te veroorzaken (zie Onderwerp 2.1 — De publieke-waardescorecard en resultatenkaders); hier is zij de logische ruggengraat waarop de rest van dit onderwerp rust. Zij stelt de aannames vast waarvan een programma afhangt – wie verandert, via welk mechanisme, over welke tijd, onder welke omstandigheden – zodat ze kunnen worden onderzocht en, bij voorkeur, getoetst in plaats van eenvoudigweg beweerd. Een logisch model is de diagrammatische neef van een veranderingstheorie: een keten van input, activiteiten, outputs, uitkomsten en impact, nuttig voor planning en rapportage maar dunner op het causale waarom. Logische modellen en resultatenkaders in het algemeen worden daar volledig behandeld (zie Onderwerp 2.1 — De publieke-waardescorecard en resultatenkaders). Een waarderingsoefening die op een zwakke veranderingstheorie is gebouwd, erft die zwakte, hoe zorgvuldig de rekensom daarna ook is.
Social return on investment is een op principes gebaseerde methode, ontwikkeld uit werk dat oorspronkelijk is besteld door het Britse Cabinet Office en nu internationaal wordt beheerd, om buitenfinanciële waarde – sociaal, ecologisch, economisch – uit te drukken met financiële proxy’s naast de conventionele boekhouding. Social return on investment doorloopt doorgaans zes stappen: de reikwijdte vaststellen en belanghebbenden identificeren; uitkomsten in kaart brengen via een veranderingstheorie; bewijs vinden voor die uitkomsten en er een indicatieve waarde aan geven; impact vaststellen door af te trekken wat hoe dan ook zou zijn gebeurd; de ratio berekenen; en de bevindingen rapporteren, gebruiken en inbedden. Elke stap kent oordelen die een lezer in de uiteindelijke ratio niet kan zien, tenzij de organisatie haar werkwijze openbaar maakt.
Vier correcties vormen het hart van die stap “impact vaststellen”, en elke bestaat om te voorkomen dat een organisatie zich meer eer toe-eigent dan zij verdient. Deadweight (dode last) is het aandeel van de uitkomst dat ook zonder de interventie zou zijn gebeurd. Attributie is het deel van de uitkomst dat terecht aan andere actoren wordt toegeschreven – andere financiers, andere diensten, de eigen inspanning van de persoon – en niet aan deze organisatie alleen. Verdringing is de mate waarin een positieve uitkomst voor de ene groep ten koste ging van een negatieve uitkomst voor een andere (een gecreëerde baan die gewoon uit een naburige stad is verhuisd, bijvoorbeeld). Afname (drop-off) is het afnemen van de waarde van een uitkomst in de jaren na een interventie, aangezien een baat zelden onbeperkt op volle sterkte blijft bestaan. Elk van deze vier overslaan, of ze laks toepassen, is de meest voorkomende manier waarop een SROI-ratio groter wordt dan het bewijs rechtvaardigt.
Een financiële proxy is een geldelijke vervanger voor een uitkomst die geen eigen marktprijs heeft – bijvoorbeeld de kosten van een vergelijkbare vrijetijdsactiviteit gebruiken als proxy voor de waarde van groter sociaal zelfvertrouwen. Een proxy is geen marktprijs en mag nooit als zodanig worden gepresenteerd; zij is een beredeneerde, openbaar te maken keuze, en verschillende redelijke mensen kunnen voor dezelfde uitkomst verschillende proxy’s kiezen. Sociale verslaglegging (social accounting) is de bredere discipline van het communiceren van de sociale en ecologische effecten van een organisatie aan haar belanghebbenden – social accounting is de praktijkfamilie waartoe SROI behoort, naast oudere multidimensionale kaders zoals de triple bottom line (sociale, ecologische en economische prestaties naast elkaar rapporteren in plaats van alle drie in één cijfer te vouwen) en op certificering gebaseerde benaderingen zoals de status van B Corporation, die de sociale en ecologische prestaties van een organisatie aan een norm toetst in plaats van een ratio op maat te produceren.
Benaderingen met indicatorensets bieden een verder alternatief voor een ratio op maat. Het systeem IRIS+, beheerd door het Global Impact Investing Network (GIIN) – een non-profitnetwerk dat de praktijk van impactinvesteren ondersteunt, investeren dat naast financieel rendement meetbaar sociaal of ecologisch voordeel beoogt – laat een investeerder of investeringsobject kiezen uit een gedeelde catalogus van maatstaven in plaats van elke uitkomst te monetariseren. Dit is vooral van belang voor een sociale onderneming of non-profitorganisatie die tegelijk aan meerdere financiers rapporteert, van wie elk anders een andere waardering op maat van dezelfde uitkomst zou eisen. Ten slotte is impactmeting en -management de overkoepelende term die steeds vaker in de sociale sector en bij impactinvesteren wordt gebruikt voor de doorlopende discipline van het stellen van uitkomsten, het verzamelen van bewijs en het gebruiken ervan om de praktijk bij te stellen – in onderscheid van een eenmalige evaluatie die is gemaakt om één financier tevreden te stellen.
Beste praktijken
Bouw de veranderingstheorie voordat u de spreadsheet bouwt. Een SROI-ratio die is berekend op een veranderingstheorie die niemand op de proef heeft gesteld, is rekenwerk in het kostuum van bewijs. Schrijf eerst het causale verhaal, toets het aan wat personeel in de frontlinie en deelnemers werkelijk waarnemen, en beslis pas dan wat het waard is te waarderen.
Behandel de ratio als communicatiemiddel, niet als oordeel. Een enkel cijfer – “elke euro die wordt geïnvesteerd levert vier euro aan sociale waarde op” – is een samenvatting, niet de analyse. Presenteer het naast de aannames en de bewijskwaliteit die het hebben opgeleverd, zodat een lezer kan beoordelen hoeveel gewicht het verdient.
Publiceer uw financiële proxy’s en hun bronnen. Als een proxy het niet overleeft aan de mensen te worden getoond wier uitkomsten zij vertegenwoordigt, hoort zij niet in het model. De bron van elke proxy noemen – een marktprijs, een overheidswaardering, een vergelijkbare enquête – laat anderen uw redenering controleren in plaats van uw conclusie te vertrouwen.
Pas deadweight, attributie, verdringing en afname toe, ook als dat de ratio verlaagt. Deze aftrekposten bestaan juist om te voorkomen dat een organisatie meer eer opeist dan zij heeft verdiend. Een SROI-oefening die een kleinere, beter onderbouwde ratio oplevert, is nuttiger dan een die een grotere, ongetoetste ratio oplevert.
Betrek de belanghebbenden wier uitkomsten u waardeert, niet alleen de financier die het rapport bestelt. De eigen principes van SROI vragen om betrokkenheid van belanghebbenden bij het besluiten wat te meten en hoe te waarderen; deze stap overslaan en het financiële team of het fondsenwervingsteam alleen proxy’s laten kiezen, is de meest voorkomende snelkoppeling die later legitimiteit ondermijnt.
Scheid wat u kunt tellen van wat u moet onderbouwen. Outputs – gegeven sessies, aanwezige mensen, uitgedeelde maaltijden – kunnen rechtstreeks worden geteld. Uitkomsten – minder isolatie, betere gezondheid, duurzame werkgelegenheid – vragen bewijs van verandering bij de betrokken mensen, niet louter bewijs van geleverde activiteit.
Stem uw bewijsstandaard af op de volwassenheid en de inzet van het programma. Een pilot met dertig deelnemers heeft niet dezelfde bewijszekerheid nodig als een nationaal programma in zijn vijfde jaar, en kan die ook niet eerlijk produceren. Kaders met gegradeerde bewijsniveaus, van een aannemelijke logische zaak tot onafhankelijk gerepliceerd causaal bewijs, helpen die verwachting expliciet te stellen in plaats van bij verstek.
Reserveer een volledige SROI-ratio voor besluiten die groot genoeg zijn om de moeite te rechtvaardigen. De methode is arbeidsintensief om goed te doen. Voor de meeste dagelijkse rapportage levert een goed onderbouwd uitkomstenverhaal tegen een veranderingstheorie per uur personeelstijd meer beslisbruikbare informatie op dan een afgedwongen ratio.
Zoek onafhankelijke borging voordat u een ratio publiceert die u vergelijkend wilt gebruiken. Zelfbeoordeelde SROI-cijfers komen vaak voor en kunnen intern nuttig zijn, maar een ratio die aan een financier, investeerder of het publiek wordt voorgelegd, weegt zwaarder, en brengt meer risico als zij fout is, zodra zij wordt gebruikt om organisaties te vergelijken of een toewijzingsbesluit te nemen.
Vergelijk SROI-ratio’s nooit tussen organisaties die een andere reikwijdte, andere proxy’s of een andere tijdshorizon gebruikten. Een ratio van zeven bij het ene goede doel en een ratio van drie bij een ander zegt vrijwel niets over wie meer goeds doet; het weerspiegelt vaker wie royalere proxy’s koos.
Combineer de kwantitatieve ratio met kwalitatief casusbewijs. Cijfers overtuigen een financiële commissie; een goed onderbouwd verslag van wat er veranderde voor een echte (geanonimiseerde) deelnemer overtuigt iedereen anders, en vaak vangt het kwalitatieve verslag een uitkomst op die het model miste.
Herzie de veranderingstheorie volgens een vaste cyclus, niet alleen wanneer een financier erom vraagt. Programma’s evolueren, en een veranderingstheorie die drie reorganisaties geleden is geschreven, stuurt de meetinspanning ongemerkt naar uitkomsten die het programma niet meer nastreeft.
Vragen om met uw team te bespreken
Welk besluit zal deze oefening werkelijk informeren? Wees, voordat u personeelstijd vastlegt voor een verversing van de veranderingstheorie of een SROI-berekening, expliciet over welk besluit het resultaat voedt – een verlenging van de financiering, een interne verschuiving van middelen, een publiek rapport of een echt oordeel over of het programma moet blijven draaien. Een oefening die is gebouwd voor het ene doel (het uitventen van een sterke hoofdratio) maakt andere, soms strijdige methodologische keuzes dan een oefening voor een ander doel (leren waar een programma ondermaats presteert). Als niemand het besluit kan noemen, dreigt de oefening een compliance-artefact te worden dat juist de personeelstijd verbruikt die anders naar dienstverlening had kunnen gaan. Het besluit vooraf noemen vertelt u ook hoeveel nauwgezetheid proportioneel is om in te steken.
Van wie is deze veranderingstheorie – van de financier of van de mensen die het werk uitvoeren? Een veranderingstheorie die door een opdrachtgevend team in één middag is geschreven, zonder personeel uit de frontlinie of deelnemers in de ruimte, beschrijft doorgaans het programma dat de financier zich voorstelde en niet het programma dat werkelijk draait. Vraag wie er in de ruimte was toen de huidige veranderingstheorie werd opgesteld en of personeel in de frontlinie haar zou herkennen als eerlijke beschrijving van hoe zij denken dat verandering ontstaat. Als het antwoord ongemakkelijk is, is dat ongemak zelf nuttige informatie over waar de meetinspanning nu verkeerd is gericht.
Welke van onze financiële proxy’s zou het niet overleven openbaar te worden gemaakt? Loop elke proxy langs die in een lopend SROI-model wordt gebruikt en vraag één voor één of zij zonder schaamte aan een sceptische journalist, een onbewogen bestuurslid of de deelnemer die zij beweert te vertegenwoordigen kan worden getoond. Een proxy die is gekozen omdat zij het grootste verdedigbare cijfer was, en niet het meest representatieve, is een teken dat de oefening van meten naar pleitbezorging is afgedreven. Dit is de moeite waard als vaste oefening, niet alleen wanneer een ratio op het punt staat te worden gepubliceerd.
Brengen wij deadweight en attributie eerlijk in mindering, of alleen wanneer het uitkomt? Aftrek voor deadweight en attributie zijn de onderdelen van een SROI-berekening die onder druk om een indrukwekkend getal te produceren het waarschijnlijkst worden afgezwakt. Vraag het team dat het volgende SROI-rapport voorbereidt zijn aannames voor deadweight en attributie expliciet te tonen, met het bewijs of de redenering erachter, in plaats van als één onverklaard kortingspercentage in een voetnoot. Als hetzelfde team niet kan uitleggen waarom de aftrek dit jaar kleiner is dan vorig jaar, behandel dat dan als een signaal en niet als voetnoot.
Wat zouden wij anders doen als wij deze uitkomst helemaal niet als ratio konden uitdrukken? Sommige uitkomsten die uw organisatie creëert, zijn uitkomsten waarvan uw belanghebbenden bezwaar zouden hebben tegen monetarisering – waardigheid, culturele continuïteit, een gevoel van veiligheid. Bespreek welke uitkomsten op uw huidige veranderingstheorie in die categorie vallen en of uw rapportage ze nu toch tot een proxywaarde dwingt omdat het rapportagesjabloon er een eist. Bespreek, waar het antwoord ja is, hoe een legitiem niet-geldelijk alternatief eruit zou zien en of uw financiers het zouden accepteren.
Hoe vergelijken wij impact over programma’s die volstrekt verschillende dingen meten? Een portefeuillefinancier of het bestuur van een non-profit met meerdere programma’s wordt regelmatig gevraagd een geletterdheidsprogramma te vergelijken met een huisvestingsprogramma en een maatjesproject, elk met een eigen veranderingstheorie en eigen proxy’s. Bespreek eerlijk of uw organisatie dit nu doet door alles in SROI-ratio’s te forceren (wat precies de valse vergelijkbaarheid uitnodigt waarvoor elders in dit onderwerp wordt gewaarschuwd), of op een andere wijze – een gedeeld resultatenkader, een gestandaardiseerde indicatorenset of een verhaal op portefeuilleniveau dat valse precisie weerstaat. Spreek als team af welke aanpak u werkelijk bereid bent onder tegenspraak te verdedigen.
In de praktijk: een voorbeeld van publieke waarde
Het volgende scenario is een fictieve illustratie, geen verslag van een bestaande organisatie.
Een goed doel voor gemeenschapswelzijn, hier alleen de Trust genoemd, voerde een peer-supportprogramma uit voor mensen die net na een geestelijke gezondheidscrisis uit het ziekenhuis waren ontslagen. Haar belangrijkste financier – een lokaal orgaan voor gezondheidszorginkoop – vroeg om een SROI-ratio vóór een besluit over verlenging van de financiering, nadat het de techniek dat jaar gunstig had zien gebruiken door andere aanvragers.
De evaluatieleider van de Trust begon bewust met de veranderingstheorie en niet met de spreadsheet. Twee workshops met peer-ondersteuners en acht deelnemers aan het programma leverden een causaal verhaal op dat op één belangrijk punt verschilde van de subsidieaanvraag die het programma oorspronkelijk had gecreëerd: deelnemers beschreven consequent als meest waardevolle uitkomst dat zij zich geloofd voelden, en niet alleen “minder geïsoleerd”, de term die het oorspronkelijke logisch model had gebruikt. De veranderingstheorie werd herzien om dit te weerspiegelen, wat op zijn beurt veranderde welke uitkomsten de waarderingsoefening moest onderbouwen.
Het waarderen van “zich geloofd voelen” tegen een financiële proxy bleek binnen de Trust zelf omstreden. Eén proxykandidaat – de vermeden kosten van een heropname bij een crisis – was verdedigbaar maar riskeerde te impliceren dat de waarde van het programma alleen in stroomafwaartse besparingen voor het zorgstelsel lag, wat onderwaardeerde wat deelnemers rechtstreeks belangrijk vonden. Het team besloot die proxy voor slechts één uitkomst te gebruiken, paste een voorzichtige attributieaftrek van 40 procent toe om de andere diensten weer te geven die deelnemers ook gebruikten, en rapporteerde een tweede, niet-gemonetariseerde uitkomst – zelfgerapporteerd gevoel van geloofd te worden, gevolgd op een standaard welzijnsschaal – als verhalende bevinding naast de ratio in plaats van erin opgenomen.
Het eindrapport aan de opdrachtgever opende met de veranderingstheorie en het bewijs, niet met het getal; de ratio verscheen met openbaar gemaakte aannames in een bijlage, naast een duidelijke verklaring dat een deel van de waarde van het programma kwalitatief werd gerapporteerd omdat de Trust oordeelde dat verdere monetarisering zou misrepresenteren wat deelnemers hadden gezegd. Het opdrachtgevende orgaan verlengde de financiering en noemde de kwaliteit van de bewijsbasis net zozeer als de ratio zelf – wat illustreert dat een verdedigbaar, eerlijk van kanttekeningen voorzien verslag overtuigender kan werken dan een groter, minder getoetst cijfer.
Vier sectorperspectieven
Lokale overheid
Lokale opdrachtgevers bouwen sociale waarde steeds vaker in bij aanbestedingen, niet alleen in door subsidies gefinancierde evaluaties. In het Verenigd Koninkrijk verplicht de Public Services (Social Value) Act 2012 publieke organen te overwegen hoe de diensten die zij opdragen het economische, sociale en ecologische welzijn van het gebied kunnen verbeteren, wat denken in de geest van SROI in de gangbare beoordeling van contracten heeft geduwd in plaats van het een optionele toevoeging voor alleen de sociale sector te laten. Het kenmerkende risico op dit niveau is een schaalmismatch: een nationale of gestandaardiseerde proxywaarde die uniform op zeer verschillende lokale contexten wordt toegepast, kan waarde in beide richtingen verkeerd weergeven, en lokale opdrachtgevers zijn goed geplaatst om te weten wanneer een nationale proxy hun gebied simpelweg niet beschrijft.
Nationale overheid
De nationale overheid staat dichter bij het formele kosten-batenapparaat (zie Onderwerp 2.2 — Maatschappelijke kosten-batenanalyse en kosteneffectiviteitsanalyse), met schaduwprijzen en disconteringsvoeten die centraal worden vastgesteld en consequent over departementen worden toegepast. Waar denken in de geest van SROI op nationaal niveau zijn plaats verdient, is in programmagebieden – steun in de vroege jeugd, preventie van dakloosheid, gemeenschapscohesie – waar een nationale evaluatiefunctie toch een gedisciplineerde manier nodig heeft om uitkomsten te beschrijven die de rigoureuze monetarisering weerstaan die een volledige kosten-batenanalyse zou vereisen (zie Onderwerp 2.2 — Maatschappelijke kosten-batenanalyse en kosteneffectiviteitsanalyse). Nationale organen zijn ook vaak de bron van de gegradeerde bewijsstandaarden en proxybibliotheken waarop lokale organisaties en organisaties in de sociale sector vertrouwen, wat de kwaliteit van dat centrale werk onevenredig belangrijk maakt.
Sociale sector en non-profit
Dit is het thuisgebied van SROI, en ook waar de druk om een vleiende ratio te produceren het grootst is, omdat de ratio rechtstreeks een subsidieverlenging of een plaats op een lijst van voorkeursleveranciers kan beïnvloeden (zie Onderwerp 3.8 — Management van de sociale sector en non-profitorganisaties voor de financieringsmodeldruk die dit gedrag vormt). Kleinere non-profitorganisaties missen vaak de specialistische capaciteit om een rigoureuze SROI-oefening uit te voeren, wat een reëel gelijkheidsprobleem schept: organisaties met veel middelen produceren gepolijstere ratio’s, niet noodzakelijk meer echte impact, en financiers die ratio’s naïef vergelijken, belonen uiteindelijk meetcapaciteit in plaats van uitkomsten.
Multilateraal en internationaal
Internationale ontwikkelingsorganen en impactinvesteringsorganen zijn geconvergeerd naar gedeelde indicatorensets in plaats van SROI-ratio’s per organisatie, juist om vergelijking tussen zeer verschillende contexten eerlijker te maken. Het systeem IRIS+ van het Global Impact Investing Network is het duidelijkste voorbeeld: in plaats van elke impactinvestering te vragen een eigen ratio op maat te genereren, biedt het een gedeelde catalogus van maatstaven waaruit investeerders en investeringsobjecten kunnen kiezen, wat de vergelijkbaarheid verbetert zonder te doen alsof één gemonetariseerde ratio een portefeuille over landbouw, gezondheid en financiële inclusie zinvol kan samenvatten. Het perspectiefspecifieke risico hier is dat mondiaal gestandaardiseerde maatstaven lokaal betekenisvolle uitkomsten kunnen platslaan die niet netjes op de standaardcatalogus aansluiten.
Veelvoorkomende faalpatronen
Proxy-inflatie. Onder druk om een indrukwekkende ratio te produceren, kiest een organisatie voor elke uitkomst de meest royale verdedigbare financiële proxy in plaats van de meest representatieve. De kosten zijn niet alleen een misleidende ratio; het is een langzame erosie van vertrouwen zodra een financier of journalist proxy’s in een sector vergelijkt en het patroon opmerkt, soms “SROI-shoppen” genoemd.
Slappe deadweight en attributie. Aftrek voor deadweight en attributie is de gemakkelijkste plek om te onderschatten wat hoe dan ook zou zijn gebeurd, omdat zij een eerlijk, soms onvleiend oordeel vereist over hoeveel eer de organisatie werkelijk verdient. De kosten zijn een opgeblazen ratio die instort onder toetsing de eerste keer dat een externe evaluator strengere aannames toepast.
Een veranderingstheorie die achteraf is geschreven. Sommige organisaties produceren pas een veranderingstheorie wanneer een financier erom vraagt, achteraf bedacht vanuit de uitkomsten die de organisatie al wilde claimen. Dit levert een document op dat degelijk oogt maar nooit is gebruikt om de eigen aannames van het programma te toetsen of te betwisten, en dat faalt zodra personeel in de frontlinie wordt gevraagd of het beschrijft wat zij werkelijk doen.
Eenmalige meting, nooit herhaald. Een SROI-oefening die één keer is besteld om een specifieke aanbesteding te winnen en nooit wordt bijgewerkt, functioneert als marketing en niet als management. De kosten zijn dat de organisatie er intern niets van leert en het cijfer verstart tot een bewering die jaren wordt herhaald nadat het onderliggende programma is veranderd.
Valse precisie. Een ratio die met twee decimalen wordt gerapporteerd – “4,32 dollar aan sociale waarde voor elke geïnvesteerde dollar” – impliceert een rekenzekerheid die de onderliggende proxy’s, aftrekposten en het bewijs zelden ondersteunen. De kosten zijn reputatieschade: een doorgewinterde lezer die één input aftast en die zacht vindt, zal de hele oefening afwaarderen en niet alleen die input.
Onvergelijkbare ratio’s vergelijken. Financiers en besturen rangschikken programma’s of subsidieontvangers soms alleen op SROI-ratio, alsof het cijfer even gestandaardiseerd is als een financieel rendement. Omdat reikwijdte, proxy’s, tijdshorizon en degelijkheid sterk verschillen tussen oefeningen, beloont deze praktijk systematisch optimistische modellering boven echte impact, en het is een van de meest aangehaalde kritiekpunten op de methode in de academische literatuur over het gebruik van SROI in de praktijk.
Volwassenheidsmodel
| Subdimensie | Initiëren | Ontwikkelen | Standaardiseren | Besturen | Orkestreren |
|---|---|---|---|---|---|
| Veranderingstheorie | Geen expliciete theorie; uitkomsten worden beweerd, niet gemodelleerd. | Een veranderingstheorie bestaat voor vlaggenschipprogramma’s, alleen door het management opgesteld. | Elk gefinancierd programma heeft een veranderingstheorie, samen met personeel in de frontlinie opgesteld en volgens een vaste cyclus herzien. | Veranderingstheorieën worden aan echt bewijs getoetst en herzien wanneer het bewijs ze tegenspreekt. | Veranderingstheorieën worden gedeeld en gezamenlijk verfijnd met vergelijkbare organisaties, financiers en deelnemers in een uitvoeringsnetwerk. |
| Uitkomstbewijs | Alleen outputs (activiteitentellingen) worden vastgelegd. | Enige uitkomstdata worden verzameld, inconsistent, vooral voor rapportage aan financiers. | Een standaardkader voor uitkomstbewijs wordt op alle programma’s toegepast, afgestemd op de volwassenheid van het programma. | De kwaliteit van het uitkomstbewijs wordt zelf gemeten en gerapporteerd, waarbij lacunes leiden tot extra investering in evaluatie. | Uitkomstbewijs wordt gebundeld en gebenchmarkt tussen organisaties met gedeelde indicatorensets. |
| Waardering en proxybeheer | Geen financiële proxy’s gebruikt; monetarisering niet geprobeerd. | Proxy’s ad hoc gekozen, niet gedocumenteerd, door wie de subsidieaanvraag opstelt. | Een gedocumenteerde proxybibliotheek met openbaar gemaakte bronnen bestaat; deadweight, attributie, verdringing en afname worden consequent toegepast. | Proxykeuzes en aftrekposten worden periodiek geaudit of onafhankelijk geborgd. | Proxy- en waarderingspraktijk wordt afgestemd via een sectororgaan, wat dubbele en inconsistente modellering vermindert. |
| Gebruik en communicatie van de ratio | Geen ratio geproduceerd; impact alleen in verhaalvorm beschreven, indien al. | Een ratio wordt af en toe geproduceerd, meestal om aan een specifiek verzoek van een financier te voldoen. | Ratio’s worden geproduceerd met volledig openbaar gemaakte aannames en nooit als enige grondslag voor een besluit gebruikt. | Ratio’s worden per programma over tijd gevolgd, waarbij veranderingen worden onderzocht in plaats van alleen gerapporteerd. | Ratio’s en hun aannames worden transparant gepubliceerd en gebruikt voor sectorbreed leren, niet alleen voor rapportage van één organisatie. |
| Vergelijkbaarheid over een portefeuille | Elk programma meet impact op een volstrekt eigen wijze. | Enkele gemeenschappelijke uitkomstcategorieën bestaan maar worden inconsistent toegepast. | Een gedeeld resultaten- of indicatorenkader is over de portefeuille verplicht gesteld. | Vergelijkingen op portefeuilleniveau houden uitdrukkelijk rekening met verschillen in reikwijdte, context en bewijskwaliteit in plaats van op ratio alleen te rangschikken. | De organisatie draagt bij aan, en put uit, sectoroverstijgende gestandaardiseerde maatstaven (zoals IRIS+) om vergelijkbaarheid buiten de eigen portefeuille te ondersteunen. |
Checklist
- Er bestaat een actuele, in de frontlinie getoetste veranderingstheorie voor het programma dat wordt gemeten.
- Uitkomsten worden in alle rapportage expliciet onderscheiden van outputs.
- Het besluit dat deze meetoefening zal informeren, is benoemd voordat de oefening begint.
- Elke gebruikte financiële proxy heeft een openbaar gemaakte bron en een gedocumenteerde onderbouwing.
- Deadweight, attributie, verdringing en afname zijn berekend en getoond, niet samengevouwen tot één ongedocumenteerde korting.
- Belanghebbenden wier uitkomsten worden gewaardeerd, waren betrokken bij het kiezen wat te meten en hoe te waarderen.
- Minstens één uitkomst die monetarisering weerstaat, wordt kwalitatief gerapporteerd en niet in een proxy geforceerd.
- Elke gepubliceerde ratio gaat vergezeld van haar aannames en bewijskwaliteit en wordt niet alleen gepresenteerd.
- De toegepaste bewijsstandaard past bij de volwassenheid van het programma en de inzet van het besluit.
- SROI-ratio’s worden niet met die van andere organisaties vergeleken zonder eerst reikwijdte en methodologie te controleren.
- De veranderingstheorie en het waarderingsmodel zijn ingepland voor herziening en worden niet als permanent behandeld.
- Onafhankelijke borging is gezocht voor elke ratio die bij externe vergelijking of openbare rapportage wordt gebruikt.
Belangrijkste bronnen
- Social Value International, A Guide to Social Return on Investment en Standards and Guidance — de belangrijkste methodologische referentie voor de principes, stappen en het borgingsproces van SROI.
- Nesta, Standards of Evidence — een gegradeerd kader om de sterkte van het bewijs af te stemmen op de volwassenheid van een interventie, veel gebruikt in de Britse sociale sector en bij sociale investeringen.
- Global Impact Investing Network, IRIS+ system — een gedeelde catalogus van impactmaatstaven die vergelijkbaarheid tussen impactinvesteringen ondersteunt zonder elke investering in één gemonetariseerde ratio te forceren.
- Arvidson, M., Lyon, F., McKay, S. en Moro, D. (2013), “Valuing the social? The nature and controversies of measuring social return on investment (SROI)”, Voluntary Sector Review, Volume 4, Issue 1 — een peer-reviewed kritiek op het gebruik van SROI in de praktijk, inclusief zorgen over proxykeuze en vergelijkbaarheid.
- De Britse Public Services (Social Value) Act 2012 (legislation.gov.uk) — de wettelijke grondslag voor het overwegen van sociale waarde bij Britse overheidsaanbestedingen, hier gebruikt als voorbeeld van het patroon, niet als bewering over hoe elk rechtsgebied opdrachtverlening reguleert.
Referenties
- Social return on investment — Wikipedia — https://en.wikipedia.org/wiki/Social_return_on_investment
- Theory of change — Wikipedia — https://en.wikipedia.org/wiki/Theory_of_change
- Logic model — Wikipedia — https://en.wikipedia.org/wiki/Logic_model
- Social enterprise — Wikipedia — https://en.wikipedia.org/wiki/Social_enterprise
- Impact investing — Wikipedia — https://en.wikipedia.org/wiki/Impact_investing
- Nonprofit organization — Wikipedia — https://en.wikipedia.org/wiki/Nonprofit_organization
- Triple bottom line — Wikipedia — https://en.wikipedia.org/wiki/Triple_bottom_line
- B Corporation (certification) — Wikipedia — https://en.wikipedia.org/wiki/B_Corporation_(certification)
- Social accounting — Wikipedia — https://en.wikipedia.org/wiki/Social_accounting
- Global Impact Investing Network — Wikipedia — https://en.wikipedia.org/wiki/Global_Impact_Investing_Network
- Public Services (Social Value) Act 2012 — Wikipedia — https://en.wikipedia.org/wiki/Public_Services_(Social_Value)_Act_2012
- A Guide to Social Return on Investment — Social Value International — https://www.socialvalueint.org/guide-to-sroi
- Standards of Evidence — Nesta — https://www.nesta.org.uk/report/nesta-standards-of-evidence/
- IRIS+ system — Global Impact Investing Network — https://iris.thegiin.org/
- "Valuing the social? The nature and controversies of measuring social return on investment (SROI)" — Arvidson, Lyon, McKay and Moro, Voluntary Sector Review — https://bristoluniversitypressdigital.com/view/journals/vsr/4/1/article-p3.xml
- Public Services (Social Value) Act 2012 — legislation.gov.uk — https://www.legislation.gov.uk/ukpga/2012/3/contents