공공가치에서 이것이 중요한 이유

재원 제공자, 위탁 기관, 이사회는 프로그램을 계속할 가치가 있는지 알려 주는 단일하고 비교 가능한 숫자를 점점 더 원한다. 사회적 투자수익률(SROI)은 정확히 그것을 약속한다. 투입한 한 단위당 창출된 사회적 가치가 화폐 단위로 몇 단위인지를 나타내는 비율이다. 이 약속이 매혹적인 것은 재무적 수익의 알아보기 쉬움을 빌리면서, 재무적 수익이 포착할 수 없는 것, 곧 줄어든 외로움, 회복된 자신감, 학업을 계속하는 청소년을 포착한다고 주장하기 때문이다.

독자가 올해 마주하는 긴장은 그 숫자가 대개 그 뒤의 증거보다 더 자신만만하다는 점이다. 크고 방어 가능한 비율을 내놓으라는 압력은 어떤 성과가 선택되는지, 어떤 재무적 대리 지표가 쓰이는지, 어떤 단서가 재원 신청서가 나가기 전에 삭제되는지를 조용히 바꿀 수 있다. 사회 부문 조직이 만들어 내는 성과의 일부, 곧 존엄, 소속감, 문화적 연속성은 단지 어렵다는 이유가 아니라 원칙적으로 아예 화폐 수치로 환원되어서는 안 된다고 많은 실무자가 믿는 것들이다.

이는 공식적인 비용편익분석이 자신의 영역으로 따로 떼어 둔 영역(주제 2.2 — 사회적 비용편익분석과 비용효과분석 참조)으로, 비용편익분석은 화폐화를 해결된 방법론적 문제로 취급한다. 그림자 가격을 찾고, 할인율을 적용하고, 분배를 가늠한다. 이 주제는 더 어려운 경우, 곧 화폐화가 아직 어떤 엄밀성으로도 불가능하거나, 그것을 강요하는 것 자체가 논쟁적인 조치인 경우를 다룬다. 이를 올바르게 하는 것이 중요한 이유는, 규율 있는 SROI나 변화 이론 작업의 대안이 '측정 없음'이 아니라 규율 없는 측정, 곧 정밀해 보이지만 정밀하지 않은 비율로 치장한 측정이기 때문이다.

핵심 개념

변화 이론은 조직의 활동이 주장하는 성과로 이어질 것으로 기대되는 방식과 이유에 대한 명시적이고 시험 가능한 서사다. 변화 이론은 로직 모델이 실제로 일으킨다고 주장하는 바에 정직하도록 지켜 주는 규율로 소개된 바 있으며(주제 2.1 — 공공가치 스코어카드와 성과 프레임워크 참조), 여기서는 이 주제의 나머지가 기대는 논리적 척추다. 변화 이론은 프로그램이 의존하는 가정, 곧 누가 어떤 메커니즘으로, 얼마의 기간에 걸쳐, 어떤 조건에서 바뀌는지를 진술하여, 단지 주장하는 대신 검토되고 이상적으로는 시험될 수 있게 한다. 로직 모델은 변화 이론의 도식적 사촌으로, 투입, 활동, 산출, 성과, 영향의 사슬이며 계획과 보고에는 유용하지만 인과의 이유에는 더 얇다. 로직 모델과 성과 프레임워크 일반은 그곳에서 완전히 다루어진다(주제 2.1 — 공공가치 스코어카드와 성과 프레임워크 참조). 약한 변화 이론 위에 세운 가치 평가 작업은 뒤따르는 산술이 아무리 신중해도 그 약점을 물려받는다.

사회적 투자수익률은 원래 영국 내각부가 의뢰한 작업에서 개발되어 지금은 국제적으로 관리되는 원칙 기반의 방법으로, 사회적, 환경적, 경제적인 재무 외적 가치를 기존 회계와 나란히 재무적 대리 지표를 사용해 표현한다. 사회적 투자수익률은 대개 여섯 단계를 거친다. 범위를 정하고 이해관계자를 식별하기, 변화 이론을 통해 성과를 지도로 그리기, 그 성과에 대한 증거를 찾고 잠정적 가치를 부여하기, 어차피 일어났을 일을 제거하여 영향을 확정하기, 비율을 계산하기, 발견을 보고하고 활용하고 내재화하기다. 각 단계에는 조직이 계산 과정을 공개하지 않는 한 독자가 최종 비율에서는 볼 수 없는 판단이 따른다.

'영향 확정' 단계의 중심에는 네 가지 조정이 있으며, 각각은 조직이 공을 과대 주장하는 것을 막기 위해 존재한다. 사중손실(deadweight)은 개입이 전혀 없었더라도 일어났을 성과의 비율이다. 귀속(attribution)은 성과 가운데 이 조직 단독이 아니라 다른 행위자, 곧 다른 재원 제공자, 다른 서비스, 당사자 자신의 노력에 정당하게 돌려야 할 몫이다. 대체(displacement)는 한 집단에 대한 긍정적 성과가 다른 집단에 대한 부정적 성과를 대가로 얻어진 정도다(예컨대 인근 도시에서 단순히 옮겨 온 일자리). 감쇠(drop-off)는 개입 이후 수년에 걸쳐 성과의 가치가 줄어드는 것이다. 편익이 완전한 강도로 무기한 지속되는 일은 드물기 때문이다. 이 넷 가운데 어느 하나를 건너뛰거나 느슨하게 적용하는 것은 SROI 비율이 증거가 뒷받침하는 것보다 커지는 가장 흔한 방식이다.

재무적 대리 지표는 자체 시장 가격이 없는 성과를 대신하는 화폐적 대체물이다. 예컨대 높아진 사회적 자신감의 가치에 대한 대리 지표로 비슷한 여가 활동의 비용을 쓰는 것이다. 대리 지표는 시장 가격이 아니며 그렇게 제시되어서는 안 된다. 그것은 논증되고 공개할 수 있는 선택이며, 서로 다른 합리적인 사람들이 같은 성과에 다른 대리 지표를 고를 수 있다. 사회 회계는 조직의 사회적 및 환경적 영향을 이해관계자에게 소통하는 더 넓은 규율이다. 사회 회계는 SROI가 속한 실무의 가족으로, 세 가지를 하나의 수치로 접는 대신 사회적, 환경적, 경제적 성과를 나란히 보고하는 삼중 바닥선(triple bottom line) 같은 더 오래된 다차원 틀과, 맞춤형 비율을 아예 산출하지 않고 조직의 사회적 및 환경적 성과를 하나의 표준에 비추어 평가하는 B 코퍼레이션 인증 같은 인증 기반 접근 방식을 함께 포함한다.

지표 집합 접근 방식은 맞춤형 비율에 대한 또 다른 대안을 제공한다. 글로벌 임팩트 투자 네트워크(GIIN)가 유지하는 IRIS+ 체계는 재무적 수익과 함께 측정 가능한 사회적 또는 환경적 편익을 창출하려는 투자인 임팩트 투자의 실무를 지원하는 비영리 네트워크로서, 투자자나 피투자자가 모든 성과를 화폐화하는 대신 공유된 척도 목록에서 고를 수 있게 해 준다. 이는 같은 성과에 대해 서로 다른 맞춤형 가치 평가를 요구할 수 있는 여러 재원 제공자에게 동시에 보고하는 사회적 기업이나 비영리조직에 가장 중요하다. 마지막으로 영향 측정 및 관리는 사회 부문과 임팩트 투자 전반에서 성과를 설정하고, 증거를 수집하고, 이를 실천을 조정하는 데 쓰는 지속적 규율을 가리키는 포괄 용어로 점점 더 많이 쓰이며, 단일 재원 제공자를 만족시키려고 만들어진 일회성 평가 작업과 구별된다.

모범 사례

  1. 스프레드시트를 만들기 전에 변화 이론을 세워라. 아무도 스트레스 테스트하지 않은 변화 이론 위에서 계산한 SROI 비율은 증거의 옷을 입은 산술이다. 인과 서사를 먼저 쓰고, 일선 직원과 참여자가 실제로 관찰하는 것에 비추어 시험한 뒤에야 무엇을 평가할 가치가 있는지 결정하라.

  2. 비율을 평결이 아니라 소통 장치로 다뤄라. '투입한 1파운드마다 사회적 가치 4파운드가 돌아온다' 같은 단일 수치는 분석이 아니라 요약이다. 그것을 낳은 가정과 증거의 질과 함께 제시하여 독자가 그것이 얼마의 비중을 받을 만한지 판단하게 하라.

  3. 재무적 대리 지표와 그 출처를 공표하라. 대리 지표가 그것이 대표하는 성과를 가진 사람들에게 보여 주는 것을 견디지 못한다면 모형에 들어가서는 안 된다. 각 대리 지표의 출처, 곧 시장 가격, 정부의 평가액, 비교 가능한 설문을 명시하면 다른 사람들이 결론을 믿는 대신 당신의 추론을 점검할 수 있다.

  4. 비율을 낮추더라도 사중손실, 귀속, 대체, 감쇠를 적용하라. 이 공제는 조직이 얻은 것보다 더 많은 공을 주장하는 것을 막기 위해 존재한다. 더 작지만 더 잘 입증된 비율을 내놓는 SROI 작업이 더 크고 검토되지 않은 비율을 내놓는 것보다 더 유용하다.

  5. 보고서를 의뢰한 재원 제공자만이 아니라 그 성과를 평가받는 이해관계자를 참여시켜라. SROI 자체의 원칙은 무엇을 측정하고 어떻게 평가할지 정하는 데 이해관계자의 참여를 요구한다. 이 단계를 건너뛰고 재무나 모금 팀이 혼자 대리 지표를 고르게 하는 것은 나중에 정당성을 훼손하는 가장 흔한 지름길이다.

  6. 셀 수 있는 것과 증거를 대야 하는 것을 구분하라. 산출, 곧 진행한 세션, 참석한 사람, 제공한 식사는 직접 셀 수 있다. 성과, 곧 줄어든 고립, 개선된 건강, 지속적인 고용은 단지 전달된 활동의 증거가 아니라 영향받은 사람들의 변화에 대한 증거를 필요로 한다.

  7. 증거의 기준을 프로그램의 성숙도와 이해관계에 맞춰라. 참여자 30명의 시범사업은 5년 차에 들어선 국가 프로그램과 같은 증거상의 확신을 필요로 하지 않으며 정직하게 만들어 낼 수도 없다. 그럴듯한 논리적 사례에서 독립적으로 재현된 인과 증거까지의 단계별 증거 수준을 쓰는 틀은 이 기대를 암묵적인 기본값이 아니라 명시적으로 설정하게 해 준다.

  8. 충분히 큰 결정에만 전체 SROI 비율을 할당하라. 이 방법은 잘 수행하려면 자원이 많이 든다. 대부분의 일상적 보고에는 변화 이론에 비추어 잘 입증된 성과 서사가 강요된 비율보다 직원 시간당 더 많은 결정 유용 정보를 준다.

  9. 비교 목적으로 쓰려는 비율을 공표하기 전에 독립적인 보증을 구하라. 자체 평가한 SROI 수치는 흔하며 내부적으로는 여전히 유용할 수 있지만, 재원 제공자, 투자자, 대중 앞에 놓인 비율은 조직을 비교하거나 배분 결정을 내리는 데 쓰이는 순간 더 큰 비중을 지니고, 틀렸을 때는 더 큰 위험을 진다.

  10. 범위, 대리 지표, 시간 지평이 다른 조직들의 SROI 비율을 비교하지 마라. 한 자선단체의 7과 다른 단체의 3은 어느 쪽이 더 많은 선을 행하는지 거의 말해 주지 않는다. 그것은 어느 쪽이 더 후한 대리 지표를 골랐는지를 더 자주 반영한다.

  11. 정량적 비율을 정성적 사례 증거와 짝지어라. 숫자는 재무 위원회를 설득하지만, 실제(익명화된) 참여자에게 무엇이 바뀌었는지에 대한 잘 입증된 설명은 나머지 모두를 설득하며, 모형이 놓친 성과를 잡아내는 것은 정성적 설명인 경우가 많다.

  12. 변화 이론을 재원 제공자가 요청할 때만이 아니라 고정된 주기로 재검토하라. 프로그램은 진화하며, 세 번의 조직 개편 전에 쓰인 변화 이론은 프로그램이 더 이상 실제로 추구하지 않는 성과 쪽으로 측정 노력을 조용히 잘못 이끌 것이다.

팀과 논의할 질문

이 작업은 실제로 어떤 결정에 정보를 제공할 것인가? 변화 이론 갱신이나 SROI 계산에 직원 시간을 쓰기로 하기 전에, 산출물이 어떤 결정에 반영될지, 곧 재원 갱신, 내부 자원 이동, 공개 보고서, 프로그램을 계속 운영할지에 대한 진정한 판단 중 무엇인지 명시하라. 한 목적(강한 대표 비율 홍보)을 위해 만든 작업은 다른 목적(프로그램이 어디서 부진한지 배우기)을 위해 만든 것과 다르고 때로는 상충하는 방법론적 선택을 할 것이다. 아무도 결정을 지목하지 못한다면, 그 작업은 서비스 전달에 쓸 수 있었던 바로 그 직원 시간을 소모하는 준법 산물이 될 위험이 있다. 결정을 미리 지목하면 얼마의 엄밀성을 투자하는 것이 비례적인지도 알 수 있다.

이것은 누구의 변화 이론인가, 재원 제공자의 것인가, 일을 전달하는 사람들의 것인가? 일선 직원이나 참여자 없이 위탁 팀이 오후 한나절에 쓴 변화 이론은 실제로 운영되는 프로그램이 아니라 재원 제공자가 상상한 프로그램을 기술하는 경향이 있다. 현재의 변화 이론이 작성될 때 누가 그 자리에 있었는지, 일선 직원이 변화가 일어난다고 믿는 방식에 대한 정직한 기술로 알아볼지 물어라. 답이 불편하다면 그 불편함 자체가 현재 측정 노력이 어디서 잘못 향하고 있는지에 대한 유용한 정보다.

우리의 재무적 대리 지표 가운데 공개되었을 때 살아남지 못할 것은 어느 것인가? 현재 운영 중인 SROI 모형에 쓰인 모든 대리 지표를 훑어보고, 하나씩 회의적인 기자, 감흥 없는 이사, 그것이 대표한다고 주장하는 참여자에게 부끄러움 없이 보여 줄 수 있는지 물어라. 가장 대표적인 것이 아니라 방어 가능한 가장 큰 수치라는 이유로 선택된 대리 지표는 작업이 측정에서 옹호로 표류했다는 징후다. 이는 비율이 공표되려 할 때만이 아니라 상시적 연습으로 해 볼 가치가 있다.

우리는 사중손실과 귀속을 정직하게 공제하고 있는가, 아니면 편리할 때만 그렇게 하는가? 사중손실과 귀속 공제는 인상적인 숫자를 내놓으라는 압박 아래 가장 누그러지기 쉬운 SROI 계산의 부분이다. 다음 SROI 보고서를 준비하는 팀에게 각주에 묻힌 설명 없는 단일 할인율이 아니라 각각의 증거나 추론과 함께 사중손실과 귀속 가정을 명시적으로 보이라고 요청하라. 같은 팀이 올해의 공제가 지난해보다 왜 작은지 설명하지 못한다면, 각주가 아니라 경고 신호로 다뤄라.

이 성과를 비율로 표현할 수 없다면 우리는 무엇을 다르게 하겠는가? 조직이 만들어 내는 성과 가운데 일부는 이해관계자가 화폐화되는 것을 보면 반대할 것들, 곧 존엄, 문화적 연속성, 안전감일 수 있다. 현재 변화 이론의 어떤 성과가 그 범주에 속하는지, 그리고 보고 양식이 요구한다는 이유로 현재의 보고가 그 성과들을 어쨌든 대리 가치로 압박하고 있는지 논의하라. 그렇다면 정당한 비화폐적 대안이 어떤 모습일지, 재원 제공자가 그것을 받아들일지 논의하라.

완전히 다른 것을 측정하는 프로그램들에 걸쳐 영향을 어떻게 비교하는가? 포트폴리오 재원 제공자나 다수 프로그램을 가진 비영리 이사회는 각자의 변화 이론과 대리 지표를 가진 문해 프로그램과 주거 프로그램과 말벗 서비스를 비교하라는 요청을 정기적으로 받는다. 조직이 현재 모든 것을 SROI 비율로 강요하여 이를 하고 있는지(이는 이 주제의 다른 곳에서 경고한 바로 그 거짓된 비교 가능성을 부른다), 아니면 공유 성과 프레임워크, 표준화된 지표 집합, 거짓된 정밀성에 저항하는 포트폴리오 수준의 서사 같은 다른 수단으로 하고 있는지 솔직하게 논의하라. 도전받았을 때 실제로 방어할 용의가 있는 접근이 무엇인지 팀으로서 합의하라.

실제 사례: 공공가치 사례

다음 시나리오는 허구의 예시이며 어떤 실제 조직에 대한 설명도 아니다.

여기서는 신탁(Trust)이라고만 부르는 한 지역사회 웰빙 자선단체는 정신건강 위기로 입원했다가 최근 퇴원한 사람들을 위한 동료 지원 프로그램을 운영했다. 주요 재원 제공자인 지역 보건 위탁 기관은 그해 다른 신청자들이 이 기법을 유리하게 쓰는 것을 본 뒤, 재원 갱신 결정에 앞서 SROI 비율을 요청했다.

신탁의 평가 책임자는 의도적으로 스프레드시트가 아니라 변화 이론으로 시작했다. 동료 지원자들과 프로그램 참여자 여덟 명과의 두 차례 워크숍은 처음에 프로그램을 만들어 낸 재원 신청서와 한 가지 중요한 점에서 다른 인과 서사를 낳았다. 참여자들은 가장 가치 있는 성과를 원래의 로직 모델이 쓴 용어인 '덜 고립됨'이 아니라 믿어 주는 사람이 있다고 느끼는 것이라고 일관되게 묘사했다. 변화 이론은 이를 반영하도록 수정되었고, 이는 다시 가치 평가 작업이 증거를 대야 할 성과를 바꾸었다.

'믿어 준다고 느끼는 것'을 재무적 대리 지표로 평가하는 일은 신탁 내부에서도 논쟁적이었다. 대리 지표 후보 하나인 위기 재입원의 회피 비용은 방어 가능했지만, 프로그램의 가치가 보건 체계에 돌아가는 하류의 절감에만 있다는 것을 암시하여 참여자들이 직접 중요하다고 말한 것을 과소평가할 위험이 있었다. 팀은 그 대리 지표를 하나의 성과에만 쓰기로 했고, 참여자들이 함께 이용하던 다른 서비스를 반영하기 위해 40퍼센트의 보수적인 귀속 공제를 적용했으며, 두 번째 비화폐 성과인 표준 웰빙 척도로 추적한 자기보고 방식의 믿어 준다는 느낌을 비율에 접어 넣지 않고 그 곁의 서사적 발견으로 보고했다.

위탁 기관에 대한 최종 보고서는 숫자가 아니라 변화 이론과 증거로 시작했다. 비율은 가정을 부록에 공개한 채 등장했고, 신탁이 더 이상 화폐화하면 참여자들이 말한 바를 왜곡하게 될 것이라고 판단했기 때문에 프로그램 가치의 일부를 정성적으로 보고했다는 평이한 진술이 함께했다. 위탁 기관은 비율 자체만큼이나 증거 기반의 질을 이유로 들며 재원을 갱신했다. 방어 가능하고 정직하게 단서를 단 설명이 더 크고 덜 검토된 수치보다 더 많은 설득의 일을 할 수 있음을 보여 준 사례다.

네 가지 부문 관점

지방정부

지방 위탁 기관은 보조금으로 재원을 댄 평가에만이 아니라 조달에 사회적 가치를 점점 더 많이 반영한다. 영국에서는 공공서비스(사회적 가치)법 2012(Public Services (Social Value) Act 2012)가 공공 기관에게 위탁하는 서비스가 해당 지역의 경제적, 사회적, 환경적 복리를 어떻게 개선할 수 있는지 고려하도록 요구하며, 이는 SROI에 가까운 사고를 사회 부문만을 위한 선택적 부가물로 남겨 두지 않고 주류 계약 평가로 밀어 넣었다. 이 수준의 고유한 위험은 규모 불일치다. 매우 다른 지역 맥락에 균일하게 적용된 국가 또는 표준화된 대리 가치는 어느 방향으로든 가치를 잘못 기술할 수 있으며, 지방 위탁 기관은 국가 대리 지표가 자기 지역을 그저 기술하지 못한다는 것을 알기에 좋은 위치에 있다.

중앙정부

중앙정부는 그림자 가격과 할인율이 중앙에서 정해지고 부처 전반에 일관되게 적용되는 공식 비용편익 장치(주제 2.2 — 사회적 비용편익분석과 비용효과분석 참조)에 더 가까이 있다. SROI식 사고가 국가 수준에서 자리를 얻는 곳은 영유아기 지원, 노숙 예방, 지역사회 결속 같은 프로그램 영역으로, 국가 평가 기능이 전체 비용편익분석이 요구할 엄밀한 화폐화에 저항하는 성과를 기술할 규율 있는 방법을 여전히 필요로 하는 곳이다(주제 2.2 — 사회적 비용편익분석과 비용효과분석 참조). 국가 기관은 또한 지방 및 사회 부문 조직이 의존하는 단계별 증거 기준과 대리 지표 라이브러리의 원천인 경우가 많아서, 그 중앙의 작업의 질이 불균형하게 중요하다.

사회 부문과 비영리

이곳은 SROI의 본거지이며, 비율이 재원 갱신이나 우선 공급자 명단의 자리에 직접 영향을 미칠 수 있기 때문에 듣기 좋은 비율을 내놓으라는 압박이 가장 심한 곳이기도 하다(이 행동을 형성하는 재원 모델의 압박은 주제 3.8 — 사회 부문과 비영리 조직 관리 참조). 규모가 작은 비영리조직은 엄밀한 SROI 작업을 수행할 전문 역량이 아예 없는 경우가 많으며, 이는 실질적인 형평 문제를 낳는다. 자원이 풍부한 조직은 반드시 더 큰 실제 영향이 아니라 더 윤이 나는 비율을 내놓으며, 비율을 순진하게 비교하는 재원 제공자는 성과가 아니라 측정 역량에 보상을 하게 된다.

다자 및 국제기구

국제 개발과 임팩트 투자 기구는 매우 다른 맥락 사이의 비교를 더 정직하게 만들기 위해 조직별 SROI 비율이 아니라 공유 지표 집합으로 수렴해 왔다. 글로벌 임팩트 투자 네트워크가 유지하는 IRIS+ 체계가 가장 분명한 예다. 모든 임팩트 투자에 자체 맞춤형 비율을 만들라고 요구하는 대신, 투자자와 피투자자가 고를 수 있는 공유 척도 목록을 제공하여, 농업, 보건, 금융 포용에 걸친 포트폴리오를 단일 화폐화된 비율이 의미 있게 요약할 수 있는 척하지 않으면서 비교 가능성을 개선한다. 이 부문 고유의 위험은 전 세계적으로 표준화된 척도가 표준 목록에 깔끔하게 대응되지 않는 지역적으로 의미 있는 성과를 평탄화할 수 있다는 점이다.

흔한 실패 유형

대리 지표의 인플레이션. 인상적인 비율을 내놓으라는 압박 아래, 조직이 각 성과에 대해 가장 대표적인 것이 아니라 방어 가능한 가장 후한 재무적 대리 지표를 고른다. 비용은 오해를 낳는 비율만이 아니다. 재원 제공자나 기자가 부문 전체의 대리 지표를 비교하여 그 유형을 알아차릴 때 신뢰가 서서히 침식되는 것인데, 이는 때로 'SROI 쇼핑'이라 불린다.

무른 사중손실과 귀속. 사중손실과 귀속 공제는 어차피 일어났을 일을 과소평가하기가 가장 쉬운 곳이다. 조직이 실제로 얼마의 공을 받을 만한지에 대한 정직하고 때로는 불쾌한 판단을 요구하기 때문이다. 비용은 외부 평가자가 더 엄격한 가정을 적용하는 첫 순간 무너지는 부풀려진 비율이다.

사후에 쓰인 변화 이론. 일부 조직은 재원 제공자가 요구할 때에야 변화 이론을 만들며, 조직이 이미 주장하고 싶었던 성과로부터 거꾸로 짜 맞춘다. 이는 엄밀해 보이지만 프로그램 자체의 가정을 시험하거나 도전하는 데 한 번도 쓰인 적이 없는 문서를 낳으며, 일선 직원에게 그것이 실제로 하는 일을 기술하는지 묻는 순간 실패한다.

한 번의 측정, 되풀이되지 않음. 특정 입찰을 따내기 위해 한 번 의뢰되고 결코 갱신되지 않는 SROI 작업은 관리가 아니라 마케팅으로 기능한다. 비용은 조직이 그것에서 내부적으로 아무것도 배우지 못하고, 그 수치가 근저의 프로그램이 바뀐 뒤 수년간 되풀이되는 주장으로 굳어진다는 것이다.

거짓된 정밀성. '투입한 1파운드당 사회적 가치 4.32파운드'처럼 소수점 둘째 자리까지 보고한 비율은 근저의 대리 지표, 공제, 증거가 좀처럼 뒷받침하지 못하는 수준의 산술적 확신을 암시한다. 비용은 평판에 관한 것이다. 입력 하나를 파고들어 그것이 무르다는 것을 발견한 노련한 독자는 그 입력만이 아니라 작업 전체를 깎아내릴 것이다.

비교 불가능한 비율을 비교하기. 재원 제공자와 이사회는 때로 SROI 비율 하나만으로 프로그램이나 보조금 수혜자의 순위를 매기며, 마치 그 수치가 재무적 수익만큼 표준화된 것처럼 군다. 범위, 대리 지표, 시간 지평, 엄밀성이 작업마다 엄청나게 다르기 때문에 이 관행은 낙관적 모형화에 체계적으로 보상하고 실제 영향에는 보상하지 않으며, SROI의 실제 활용에 관한 학술 문헌에서 이 방법에 대해 가장 많이 인용되는 비판 가운데 하나다.

성숙도 모델

하위 차원 착수 개발 표준화 관리 통합 운영
변화 이론 명시적 이론이 없고 성과는 모형화되지 않고 주장된다. 대표 프로그램에 변화 이론이 있으나 경영진만 작성한다. 재원을 받는 모든 프로그램에 일선 직원과 함께 만든 변화 이론이 있고 고정된 주기로 검토된다. 변화 이론이 실제 증거에 비추어 시험되고 증거가 반박하면 수정된다. 변화 이론이 전달 네트워크 전반의 동료 기관, 재원 제공자, 참여자와 공유되고 함께 다듬어진다.
성과 증거 산출(활동 건수)만 기록된다. 일부 성과 자료가 일관되지 않게, 주로 재원 제공자 보고용으로 수집된다. 프로그램 성숙도에 맞춘 표준 성과 증거 틀이 모든 프로그램에 적용된다. 성과 증거의 질 자체가 측정되고 보고되며, 간극은 추가 평가 투자를 촉발한다. 성과 증거가 공유 지표 집합을 사용해 조직들 사이에서 모이고 벤치마킹된다.
가치 평가와 대리 지표 거버넌스 재무적 대리 지표를 쓰지 않으며 화폐화를 시도하지 않는다. 재원 신청서를 준비하는 사람이 누구든 임시로, 문서화 없이 대리 지표를 고른다. 출처가 공개된 문서화된 대리 지표 라이브러리가 있고 사중손실, 귀속, 대체, 감쇠가 일관되게 적용된다. 대리 지표 선택과 공제가 주기적으로 감사되거나 독립적으로 보증된다. 대리 지표와 가치 평가 실무가 부문 단체 전반에서 조율되어 중복되고 일관되지 않은 모형화를 줄인다.
비율의 사용과 소통 비율이 산출되지 않고, 영향은 있다 해도 서사로만 기술된다. 비율이 가끔, 대개 특정 재원 제공자의 요청을 충족하기 위해 산출된다. 비율이 전체 가정을 공개한 채 산출되며 결정의 유일한 근거로 쓰이지 않는다. 비율이 프로그램별로 시간에 따라 추적되며 변화는 단지 보고되는 데 그치지 않고 조사된다. 비율과 그 가정이 투명하게 공표되며 단일 조직의 보고만이 아니라 부문 전체의 학습에 쓰인다.
포트폴리오 전반의 비교 가능성 각 프로그램이 영향을 전적으로 맞춤형 방식으로 측정한다. 일부 공통 성과 범주가 있으나 일관되지 않게 적용된다. 공유 성과 또는 지표 프레임워크가 포트폴리오 전반에 의무화된다. 포트폴리오 수준의 비교가 비율만으로 순위를 매기는 대신 범위, 맥락, 증거 질의 차이를 명시적으로 반영한다. 조직이 자신의 포트폴리오를 넘어선 비교 가능성을 뒷받침하기 위해 부문 간 표준화된 척도(IRIS+ 등)에 기여하고 이를 활용한다.

체크리스트

  • 측정 대상 프로그램에 일선에서 시험된 최신 변화 이론이 있다.
  • 모든 보고에서 성과와 산출이 명시적으로 구별된다.
  • 이 측정 작업이 정보를 제공할 결정이 작업 시작 전에 명명되었다.
  • 사용한 모든 재무적 대리 지표에 공개된 출처와 문서화된 근거가 있다.
  • 사중손실, 귀속, 대체, 감쇠가 문서화되지 않은 단일 할인율에 접혀 들지 않고 계산되어 제시된다.
  • 성과가 평가되는 이해관계자가 무엇을 측정하고 어떻게 평가할지 고르는 데 참여했다.
  • 화폐화에 저항하는 성과를 적어도 하나는 대리 지표로 강요하지 않고 정성적으로 보고한다.
  • 공표된 모든 비율이 단독으로 제시되지 않고 그 가정과 증거의 질과 함께 제시된다.
  • 적용한 증거 기준이 프로그램의 성숙도와 결정의 이해관계에 맞는다.
  • 범위와 방법론을 먼저 점검하지 않고 SROI 비율을 다른 조직의 비율과 비교하지 않는다.
  • 변화 이론과 가치 평가 모형을 영구적인 것으로 다루지 않고 검토를 예정한다.
  • 외부 비교나 공개 보고에 쓰이는 모든 비율에 대해 독립적인 보증을 구했다.

주요 출처

  • Social Value International, A Guide to Social Return on Investment 및 Standards and Guidance — SROI의 원칙, 단계, 보증 절차에 관한 주된 방법론적 참고 문헌.
  • Nesta, Standards of Evidence — 증거의 강도를 개입의 성숙도에 맞추는 단계별 틀로, 영국 사회 부문과 사회적 투자 전반에서 널리 쓰인다.
  • Global Impact Investing Network, IRIS+ system — 모든 투자를 단일한 화폐화된 비율로 강요하지 않고 임팩트 투자 전반의 비교 가능성을 뒷받침하는 데 쓰이는 공유된 영향 척도 목록.
  • Arvidson, M., Lyon, F., McKay, S. and Moro, D. (2013), 'Valuing the social? The nature and controversies of measuring social return on investment (SROI)', Voluntary Sector Review, Volume 4, Issue 1 — 대리 지표 선택과 비교 가능성에 대한 우려를 포함하여 SROI의 실제 활용을 비판한 동료 심사 논문.
  • 영국 공공서비스(사회적 가치)법 2012(Public Services (Social Value) Act 2012, legislation.gov.uk) — 영국 공공 조달에서 사회적 가치를 고려하는 법적 근거로, 모든 관할권이 위탁을 규율하는 방식에 대한 주장이 아니라 하나의 유형의 예로 쓰였다.

참고문헌

  1. Social return on investment — Wikipedia — https://en.wikipedia.org/wiki/Social_return_on_investment
  2. Theory of change — Wikipedia — https://en.wikipedia.org/wiki/Theory_of_change
  3. Logic model — Wikipedia — https://en.wikipedia.org/wiki/Logic_model
  4. Social enterprise — Wikipedia — https://en.wikipedia.org/wiki/Social_enterprise
  5. Impact investing — Wikipedia — https://en.wikipedia.org/wiki/Impact_investing
  6. Nonprofit organization — Wikipedia — https://en.wikipedia.org/wiki/Nonprofit_organization
  7. Triple bottom line — Wikipedia — https://en.wikipedia.org/wiki/Triple_bottom_line
  8. B Corporation (certification) — Wikipedia — https://en.wikipedia.org/wiki/B_Corporation_(certification)
  9. Social accounting — Wikipedia — https://en.wikipedia.org/wiki/Social_accounting
  10. Global Impact Investing Network — Wikipedia — https://en.wikipedia.org/wiki/Global_Impact_Investing_Network
  11. Public Services (Social Value) Act 2012 — Wikipedia — https://en.wikipedia.org/wiki/Public_Services_(Social_Value)_Act_2012
  12. A Guide to Social Return on Investment — Social Value International — https://www.socialvalueint.org/guide-to-sroi
  13. Standards of Evidence — Nesta — https://www.nesta.org.uk/report/nesta-standards-of-evidence/
  14. IRIS+ system — Global Impact Investing Network — https://iris.thegiin.org/
  15. 'Valuing the social? The nature and controversies of measuring social return on investment (SROI)' — Arvidson, Lyon, McKay and Moro, Voluntary Sector Review — https://bristoluniversitypressdigital.com/view/journals/vsr/4/1/article-p3.xml
  16. Public Services (Social Value) Act 2012 — legislation.gov.uk — https://www.legislation.gov.uk/ukpga/2012/3/contents