Эконометрика государственного сектора и оценка программ

Почему это важно: общественная ценность и оценка программ

Ежегодно государственные органы продлевают, расширяют или закрывают программы на основании сравнения результатов: участники программы содействия занятости находили работу быстрее, чем не участвовавшие в ней; школьники, охваченные репетиторской поддержкой, набирали больше баллов, чем те, кто её не получал. Каждое из этих сравнений верно как описание и опасно как аргумент, поскольку ни одно из них само по себе не показывает, вызвала ли программа эту разницу. Люди, записывающиеся на программу содействия занятости, нередко мотивированнее тех, кто этого не делает, а школьников для репетиторской поддержки часто отбирают потому, что учитель заранее ожидает от них хорошего отклика. Разрыв между утверждениями «группа, получившая вмешательство, добилась большего» и «вмешательство помогло ей добиться большего» — это именно тот разрыв, который призван закрыть причинный вывод (causal inference).

Это не академическая тонкость. Когда финансовый комитет решает, продлевать ли финансирование программы, ему, по сути, предлагают одобрить расходование государственных средств на основании утверждения о причинно-следственной связи — произносит ли кто-либо в зале это слово или нет. В теме 2.1 была описана рамка результатов, которая фиксирует, что программа призвана изменить (см. тему 2.1 — Сбалансированная система показателей общественной ценности и рамки результатов); в этой теме рассматриваются методы, позволяющие проверить, изменила ли она это на самом деле и в какой степени. Анализ «затраты — выгоды» и анализ затратной эффективности (см. тему 2.2 — Социальный анализ «затраты — выгоды» и анализ затратной эффективности), а также социальная отдача от инвестиций (см. тему 2.3 — Социальная отдача от инвестиций и измерение воздействия) нуждаются в обоснованной оценке величины эффекта; именно здесь эта оценка получается — или выясняется, что имеющееся у вас число не выдерживает возложенной на него нагрузки.

Ставки при этом не только финансовые. Правительство, которое масштабирует неэффективную программу, потому что некорректная оценка представила её эффективной, не просто потратило деньги, но и, что зачастую хуже, вытеснило по-настоящему эффективную альтернативу, у которой не было шанса. Правительство, которое закрывает эффективную программу, потому что наивное сравнение показало её бесполезность, разрушает ценность, которую защитила бы более качественная оценка. Умение корректно выявлять причинно-следственную связь и понимать, когда это невозможно, — самостоятельная компетенция в сфере общественной ценности, а не побочный интерес узких специалистов.

Основные понятия

Причинный вывод (causal inference) — раздел статистики, занимающийся установлением того, вызывает ли изменение одной переменной изменение другой и в какой степени, в отличие от ситуации, когда две переменные просто движутся вместе. Он даёт концептуальную основу — контрфактическое рассуждение, язык воздействия и контроля, перечень конкретных угроз причинному утверждению, — на которую опираются все методы этой темы. Википедия: Causal inference.

Контрфактическая ситуация — это результат, который получил бы человек или единица наблюдения, если бы не участвовали в программе. Это центральная ненаблюдаемая величина, которую пытается приблизить любой причинный метод: можно наблюдать, что произошло с участником, но нельзя увидеть, что произошло бы с тем же человеком без помощи. Каждый из перечисленных ниже методов — это своя стратегия построения убедительной замены недостающему наблюдению. Причинная модель Рубина (Rubin causal model), разработанная главным образом статистиком Дональдом Рубином, формализует это в виде рамки «потенциальных результатов»: у каждой единицы есть потенциальный результат при воздействии и потенциальный результат при его отсутствии, причинный эффект равен разности между ними, а наблюдается всегда только один из двух. Википедия: Rubin causal model.

Смешение (confounding) возникает, когда третий фактор влияет и на то, участвует ли единица в программе, и на результат, который программа призвана изменить; в итоге кажется, будто программа вызвала эффект, на деле созданный этим третьим фактором. Мотивация, прежний уровень способностей, местные экономические условия и благосостояние домохозяйства — постоянно встречающиеся факторы смешения при оценке государственных программ, поскольку они, как правило, влияют и на то, кто пользуется услугой, и на то, как этот человек или территория живут дальше. Википедия: Confounding.

Смещение отбора (selection bias) — частный случай смешения, возникающий из-за того, как участники вообще попадают в группу воздействия: самоотбор, направление сотрудниками или правила допуска приводят к тому, что группы с воздействием и без него систематически различаются ещё до того, как программа к ним прикоснулась. Программа содействия занятости, на которую записываются только самые мотивированные соискатели, будет выглядеть эффективной, даже если она ничего не меняет, поскольку группа сравнения никогда не была корректной заменой тому, как участники действовали бы без помощи. Википедия: Selection bias.

«Корреляция не означает причинность» — общее предостережение, которое эта тема переводит в практические действия: совместное движение двух переменных согласуется с тем, что одна вызывает другую, с обратной зависимостью, с общей причиной или со случайным совпадением, и сама по себе закономерность не позволяет их различить. Продажи мороженого и число утонувших растут каждое лето, хотя ни одно не вызывает другое: оба явления порождены тёплой погодой; оценка государственных программ полна более тонких вариантов той же ловушки. Википедия: Correlation does not imply causation.

Рандомизированное контролируемое исследование (randomized controlled trial, RCT), в литературе по оценке политики называемое также рандомизированной оценкой, случайным образом распределяет подходящие единицы между группой воздействия, получающей программу, и контрольной группой, которая её не получает, так что в среднем эти две группы различаются лишь тем, получали ли они воздействие. Рандомизация эффективна, потому что устраняет смешение целиком: она уравновешивает и те факторы смешения, которые можно измерить, и те, которые измерить нельзя, и не требует заранее называть их. Википедия: Randomized controlled trial.

Метод «разность разностей» (difference-in-differences, DiD) сравнивает изменение результатов во времени в группе воздействия с изменением за тот же период в группе сравнения, не получавшей программу, исходя из допущения, что без программы обе группы развивались бы по параллельным траекториям. Это основной рабочий метод, когда программа дошла до одной юрисдикции раньше другой, а рандомизация была невозможна: он позволяет использовать регулярно собираемые административные данные вместо специально организованного эксперимента. Википедия: Difference in differences.

Разрывный регрессионный дизайн (regression discontinuity design, RDD) использует правило программы, по которому воздействие назначается при пересечении измеренным баллом фиксированного порога: пособие, начинающееся ровно на пороге дохода, или коррекционные занятия для школьников, набравших чуть меньше проходного балла. Метод сравнивает результаты единиц чуть выше и чуть ниже порога, которые в остальном схожи. Поскольку в узкой полосе вокруг порога то, по какую сторону от него окажется единица, фактически произвольно, такое сравнение приближает локальный рандомизированный эксперимент, хотя никто ничего не рандомизировал. Википедия: Regression discontinuity design.

Оценивание методом инструментальных переменных (instrumental variables, IV) использует третью переменную — «инструмент», — которая влияет на вовлечение в программу, но не оказывает прямого влияния на результат иначе как через это вовлечение; это позволяет отделить ту часть связи между воздействием и результатом, которую иначе исказило бы смешение. Классический инструмент в государственной политике — расстояние до учреждения или место, распределённое по жребию: они меняют участие, не влияя на результат самостоятельно; основная трудность метода состоит в том, чтобы обосновать, что инструмент влияет на результат только через программу. Википедия: Instrumental variables estimation.

Естественный эксперимент (natural experiment) — ситуация, возникшая из-за политики, географии или обстоятельств, а не по замыслу исследователя, при которой одни люди оказываются затронуты программой, а сопоставимые с ними другие — нет, словно эксперимент был проведён, хотя его никто не проводил. Изменение политики, вступающее в силу при определённой дате рождения, граница, из-за которой почти одинаковые домохозяйства оказываются в разных юрисдикциях, или жеребьёвка при нехватке мест — это естественные эксперименты, которые затем можно анализировать с помощью RDD, IV или DiD. Википедия: Natural experiment.

Эффект Хоторна (Hawthorne effect) обозначает риск того, что люди меняют поведение просто потому, что знают о наблюдении за ними, независимо от реального содержания программы; это может завысить оценку эффекта, если контрольную группу наблюдают с меньшей интенсивностью: сам акт измерения способен стать частью воздействия. Википедия: Hawthorne effect.

Статистическая мощность (statistical power) — вероятность того, что оценка обнаружит истинный эффект заданного размера, если он существует; она зависит главным образом от объёма выборки, искомой величины эффекта и разброса результатов внутри групп. Недостаточно мощная оценка, не обнаружившая «значимого эффекта», зачастую не доказала, что программа бесполезна; она доказала лишь, что была слишком мала, чтобы дать ответ в ту или иную сторону, — и это различие руководители часто упускают под давлением необходимости вынести вердикт. Википедия: Power (statistics).

Лучшие практики

1. Выбирайте дизайн оценки до запуска программы, а не после. Рандомизированную оценку, поэтапное внедрение, подходящее для метода «разность разностей», или порог допуска, подходящий для разрывного регрессионного дизайна, гораздо проще заложить с самого начала, чем встраивать задним числом, когда реализация уже идёт в произвольном порядке.
2. Явно формулируйте контрфактическую ситуацию в каждом техническом задании на оценку. Запишите одним предложением, с чем вы сравниваете участников: с отсутствием программы, с прежней программой или с другим вмешательством, — ведь именно в невысказанной контрфактической ситуации обычно скрываются самые острые споры об оценке.
3. Относитесь к простому сравнению «до и после» как к исходной гипотезе, а не как к выводу. Результаты меняются по многим причинам, не связанным с вашей программой, — экономический цикл, сезонные эффекты, другие изменения политики, совпавшие по времени, — а дизайн «до и после» не позволяет отделить вклад вашей программы от их вклада.
4. Подбирайте метод под правило, по которому программа реально распределялась, а не под тот метод, который вам привычнее. Программа, где места распределялись по жребию, требует логики рандомизированной оценки, даже если вы никогда не назовёте её исследованием; программа, назначаемая по пороговому баллу, требует разрывного регрессионного дизайна; программа, охватившая одни территории раньше других, требует метода «разность разностей».
5. Заранее регистрируйте показатели результата и план анализа, прежде чем смотреть на результаты. Выбор того, какой показатель считать «успехом», после того как стало видно, какой из них сдвинулся, — хорошо описанный путь к ложноположительным выводам, а предварительная регистрация — стандартная защита от него.
6. Рассчитывайте мощность оценки на наименьший эффект, который всё ещё оправдывал бы стоимость программы, а не исходя из удобства. Оценка, слишком малая для выявления значимого для политики эффекта, даст неинформативный результат «значимых различий нет», который будут ошибочно трактовать как доказательство провала.
7. Сообщайте характеристики группы сравнения наряду с характеристиками группы воздействия, а не только итоговый эффект. Убедительная оценка позволяет скептически настроенному читателю проверить, что до воздействия группы были схожи; оценка, скрывающая это, заставляет читателя принимать сбалансированность на веру.
8. Заказывайте оценку у источника, независимого от команды, реализующей программу, а если это невозможно, отделяйте анализ организационным барьером. У команды, заинтересованной в успехе программы, есть структурный стимул, нередко неосознанный, истолковывать неоднозначные данные в пользу программы.
9. В каждом отчёте отделяйте статистическую значимость от практической и бюджетной. Точно оценённый ничтожный эффект и неточно оценённый большой эффект — это разные выводы, требующие разных решений, а сведение обоих к «значимо» или «незначимо» стирает различие, необходимое для решения о финансировании.
10. Закладывайте бюджет оценки как фиксированную долю стоимости программы уже на стадии проектирования, а не как остаток. Программа, достаточно крупная, чтобы иметь значение для общественной ценности, обычно достаточно крупна, чтобы профинансировать убедительную оценку воздействия, а отношение к оценке как к необязательной статье — это способ, которым слабые доказательства становятся нормой.
11. Публикуйте нулевые и отрицательные результаты так же заметно, как положительные. Среда заказа, публикующая только успешные оценки, создаёт смещение отбора в самой опубликованной доказательной базе, смещая будущие суждения всех о том, «что работает», в сторону оптимизма.
12. Передавайте каждую завершённую оценку в более широкую доказательную базу, которую ведёт ваш сектор, а не только в собственный архив. Одна оценка, как бы хорошо она ни была спроектирована, — лишь одна точка данных; именно систематический синтез многих оценок превращает вывод по программе в переносимое знание (см. тему 2.6 — Синтез доказательств и то, что работает).

Вопросы для обсуждения в вашей команде

С какой контрфактической ситуацией мы на самом деле сравниваем эту программу, и говорили ли мы об этом вслух? Любое утверждение о воздействии подразумевает сравнение, но команды часто оставляют его неявным, позволяя фразе «это сработало» незаметно скользить между «лучше, чем ничего», «лучше, чем то, что мы делали раньше», и «лучше, чем лучшая альтернатива, которую мы могли бы профинансировать». Попросите руководителя оценки сформулировать контрфактическую ситуацию одним предложением простым языком, а затем проверьте, подтверждают ли имеющиеся данные утверждение именно об этом сравнении. Если честная контрфактическая ситуация звучит как «мы не знаем, что произошло бы иначе», считайте текущее утверждение о воздействии гипотезой, а не выводом, и обсудите, что потребуется, чтобы закрыть этот пробел.

Могли ли люди или территории, вошедшие в эту программу, систематически отличаться от тех, кто в неё не вошёл, так, что это повлияло бы и на результат? Это вопрос о смещении отбора, и его стоит задавать даже тогда — особенно тогда, — когда ответ «нет» кажется очевидным. Мотивация, прежние обстоятельства, местный потенциал и практика направления сотрудниками — распространённые скрытые источники различий, которые дают вводящую в заблуждение оценку воздействия даже при большой и внешне аккуратной выборке. Если команда не может описать, как участники попали в программу, она не может исключить этот риск, и такой пробел должен беспокоить вас больше, чем малый размер выборки.

Был ли дизайн нашей оценки встроен в программу или пристроен к ней потом, и чего нам это стоило? Рандомизированная оценка, поэтапное внедрение или пороговый балл допуска гораздо дешевле и убедительнее, когда запланированы до запуска, чем когда восстанавливаются из тех административных данных, которые случайно сохранились. Спросите, какие варианты дизайна оценки рассматривались на стадии проектирования программы, и если ни одного — считайте это пробелом в процессе, который нужно закрыть до следующей программы, а не только ограничением нынешней. Обсудите, какие данные должны существовать с первого дня, чтобы следующая крупная программа допускала убедительную причинную оценку.

Достаточно ли велика наша выборка, чтобы обнаружить эффект, о котором стоит знать, и узнаем ли мы недостаточно мощную оценку с выводом «эффекта нет», если увидим её? Оценка, сообщающая об отсутствии статистически значимого эффекта, иногда верно сообщает, что программа не работает, а иногда лишь говорит, что оценка была слишком мала, чтобы увидеть реально существующий эффект. Попросите аналитиков назвать минимальный эффект, на выявление которого рассчитывалась мощность, и сравните его с эффектом, который действительно оправдал бы стоимость программы. Если эти два числа далеко друг от друга, вывод «эффекта нет» может быть неинформативным, а не приговором, и команде следует прямо сказать об этом, а не позволять молчанию читаться как провал.

Кто выигрывает профессионально или репутационно, если оценка окажется положительной, и меняет ли это объём независимой проверки, который ей необходим? Это не обвинение в нечестности, а признание того, что люди, которые разработали программу или реализуют её, структурно склонны истолковывать неоднозначные результаты благосклонно, зачастую не замечая этого. Обсудите, заказывал ли, анализировал или проверял оценку кто-либо независимый от команды реализации, и если нет, то как выглядел бы соразмерный организационный барьер для программы такого масштаба. Цель — результат, которому доверял бы и ваш самый скептичный финансирующий орган, а не только тот, который комфортно защищать вашей собственной команде.

Если вывод этой оценки устойчив, что мы на самом деле будем делать иначе и готовы ли мы это делать? Оценка, заказанная без намерения что-либо изменить в решении, — это безвозвратные затраты, выданные за должную добросовестность; об этом риске стоит сказать до появления результатов, а не после. Обсудите заранее, что оправдал бы убедительный положительный результат (масштабирование, и в каком объёме) и что запустил бы нулевой или отрицательный (перепроектирование или закрытие, и в какие сроки). Если никто в зале не может ответить на это до получения результатов, оценка, возможно, выполняет функцию легитимации, а не функцию принятия решения, и об этом стоит сказать честно (см. тему 2.1 — Сбалансированная система показателей общественной ценности и рамки результатов).

На практике: пример из области общественной ценности

Вымышленная иллюстрация. Министерство служб занятости в некоей средней по размеру стране (название не указано) провело годичный пилотный проект интенсивного коучинга для долгосрочно безработных соискателей наряду со стандартной услугой. По окончании пилота внутренний отчёт сравнил группу, получившую интенсивный коучинг, со всеми остальными, кто вышел из безработицы за тот же период: в группе с коучингом трудоустроились в течение шести месяцев 38 %, а среди остальных — 24 %. Министрам сообщили, что программа «сработала», и бизнес-кейс по её общенациональному внедрению пошёл дальше.

Перед утверждением финансирования финансовый комитет задал простой вопрос: как соискатели вообще попали в группу с коучингом? Ответ оказался исключительно важным. Социальные работники направляли в пилотный коучинг тех соискателей, которые, по их оценке, с наибольшей вероятностью извлекут пользу, — добросовестное решение по сортировке, которое фактически с самого начала отобрало в группу воздействия более готовых к работе людей. Сравнение 38 % с 24 % было искажено именно тем смещением отбора, о котором предупреждает эта тема: вполне возможно, что группа с коучингом превзошла бы остальных и вовсе без коучинга.

Вместо того чтобы одобрить или отклонить внедрение на основании такого сравнения, группа оценки министерства предложила второй этап с жеребьёвкой. Спрос на коучинг уже превышал число мест, поэтому группа случайным образом распределила места среди одинаково подходящих заявителей и сравнила показатели трудоустройства между выигравшими и проигравшими жеребьёвку; это применение логики рандомизированной оценки без необходимости отказывать в услуге тем, кто и так не получил бы её. Через двенадцать месяцев сравнение по жеребьёвке показало меньший, но реальный эффект: повышение шестимесячного показателя трудоустройства на 9 процентных пунктов, а не на 14 пунктов, как следовало из первоначального сравнения. Министерство использовало оценку по жеребьёвке вместе с собственными данными о затратах, чтобы построить обоснованный анализ затратной эффективности (см. тему 2.2 — Социальный анализ «затраты — выгоды» и анализ затратной эффективности) для масштабируемого, но ограниченного ресурсами внедрения вместо более крупного и невыполнимого расширения, которое оправдало бы некорректное первоначальное сравнение.

Четыре секторальные перспективы

Местное самоуправление

Местные органы, как правило, реализуют много небольших и средних программ, а не несколько очень крупных, из-за чего специально организованные рандомизированные оценки обходятся дорого относительно размера программы, а местные оценщики склоняются к квазиэкспериментальным методам, использующим уже собираемые административные данные: «разности разностей» по районам обслуживания, внедрявшим изменение в разное время, или разрывному регрессионному дизайну вокруг местного порога допуска. Различия границ и юрисдикций, которые в другом месте были бы помехой, нередко становятся для местного оценщика лучшим естественным экспериментом: два соседних округа или района могут различаться по политике, оставаясь схожими почти во всём остальном.

Национальное правительство

Национальные правительства обладают масштабом, позволяющим финансировать специально организованные рандомизированные оценки, и административными массивами данных, часто связанными между налоговыми, социальными, медицинскими и образовательными записями, чтобы проводить убедительные квазиэкспериментальные исследования при низких предельных издержках. Именно на этом уровне, как правило, находятся рабочие группы по оценке «что работает» и централизованные методические указания по оценке, например стандартное руководство по оценке министерства финансов: только национальное правительство может обосновать постоянные затраты на поддержание постоянной инфраструктуры оценки и единого методологического стандарта для многих ведомств.

Социальный сектор и некоммерческие организации

У некоммерческих и неправительственных организаций редко бывают объёмы выборки и бюджеты, которых требует достаточно мощная рандомизированная оценка, а их программы часто адаптивно меняются в ответ на наблюдения сотрудников на местах, что осложняет любой дизайн, предполагающий стабильное и чётко определённое воздействие. Партнёрство с академической исследовательской группой или специализированным посредником по оценке, подобное тем, что выросли вокруг движения рандомизированных оценок в международном развитии, зачастую остаётся единственным реалистичным путём к строгой причинной оценке, а финансирующие организации всё чаще требуют именно такого внешнего партнёрства, прежде чем взять на себя многолетние гранты.

Многосторонние и международные организации

Многосторонние организации финансируют программы во многих странах с различающимися системами данных, административным потенциалом и нормами этической экспертизы, что затрудняет единообразное применение стандартизированных причинных методов, но и создаёт естественные межстрановые различия, которые сами могут стать естественным экспериментом, когда политика принимается в одних государствах-членах раньше, чем в других. Рандомизированные оценки в экономике развития оказали на этом уровне особенно сильное влияние, дав данные, определившие распределение международного финансирования развития, но им присущ и документально подтверждённый риск неудачи внешней валидности: результат, верный для изученной страны и контекста, не переносится автоматически на другой контекст — об этом ограничении при проектировании многосторонних программ слишком часто умалчивают.

Типичные сбои и ошибки

Наивное сравнение «до и после». Программу оценивают исключительно по сравнению результатов до её начала с результатами после, без какой-либо группы сравнения, и любая уже идущая тенденция — экономический подъём, демографический сдвиг, отдельное изменение политики — ошибочно приписывается программе. Цена — уверенная причинная история, построенная на дизайне, который на деле не способен отличить эффект программы от всего остального, происходившего одновременно.

Смещение отбора, принятое за эффект программы. Участников, которые вступили сами или были направлены, потому что казались перспективными, сравнивают со всеми остальными, и получается оценка воздействия, на деле измеряющая, кого привлекла программа, а не что она с ними сделала. Цена — масштабируемая программа, которая выглядит менее эффективной, порой гораздо менее, когда доходит до менее самоотобранного населения.

Недостаточно мощная оценка, представленная как нулевой результат. Небольшой пилот не находит «статистически значимого эффекта», и это читают как доказательство того, что программа не работает, хотя выборка была слишком мала, чтобы обнаружить эффект того размера, который имел бы значение. Цена проявляется в обе стороны: по-настоящему эффективную программу могут закрыть на основании данных, которые никогда не могли показать её работоспособность, или ресурсы уходят на более крупное исследование, которое не понадобилось бы, будь исходное задание правильно рассчитано по мощности.

Экстраполяция локальной оценки за пределы её контекста. Разрывный регрессионный дизайн верно оценивает эффект для единиц вблизи порога допуска, а оценка методом инструментальных переменных верно оценивает эффект для единиц, чей статус воздействия действительно изменил инструмент, но затем оба вывода применяют ко всему населению, как будто оценка верна везде. Цена — политика, масштабированная на основании числа, которое всегда было верным лишь локально.

Оценка как театр. Оценку заказывают, чтобы создать видимость принятия решений на основе доказательств, но решение фактически уже принято, и никакой вероятный результат не изменил бы его. Цена — потраченный впустую бюджет оценки и, что разрушительнее, медленная эрозия доверия к самой оценке, когда сотрудники замечают, что результаты, похоже, никогда ничего не меняют.

Модель зрелости

Контрольный перечень

• Сформулируйте контрфактическую ситуацию для каждой крупной оценки программы одним предложением простым языком.
• Подтвердите, как участники попали в группу воздействия, и оцените, может ли сам этот процесс объяснить разницу в результатах.
• Выберите метод оценки (рандомизированная оценка, «разность разностей», разрывный регрессионный дизайн, инструментальные переменные или естественный эксперимент) в соответствии с реальным правилом распределения, по возможности до начала реализации.
• Рассчитайте статистическую мощность, необходимую для выявления наименьшего эффекта, который оправдал бы стоимость программы.
• Заранее зарегистрируйте показатели результата и план анализа до того, как станут известны результаты.
• Сообщайте сопоставимость групп воздействия и сравнения наряду с итоговым эффектом.
• Заказывайте или проверяйте оценку через подразделение, независимое от команды реализации.
• Отделяйте статистическую значимость от бюджетной и практической в каждом отчёте для лиц, принимающих решения.
• Закладывайте бюджет оценки как фиксированную долю стоимости программы на стадии проектирования.
• Публикуйте нулевые и отрицательные результаты так же заметно, как положительные.
• Проверьте, не экстраполируется ли положительная локальная оценка (из разрывного регрессионного дизайна или инструментальных переменных) за пределы населения, которое она реально охватывает.
• Передавайте завершённые оценки в более широкую доказательную базу, которую ведёт ваш сектор, а не только в собственный архив.

Ключевые источники

Методологическое ядро этой темы опирается на традицию прикладной эконометрики, связанную с именами Джошуа Д. Ангриста и Йорна-Штеффена Пишке, и на рамку потенциальных результатов, формализованную Дональдом Рубином. Движение рандомизированных оценок в государственной политике и экономике развития, связанное с Лабораторией действий по борьбе с бедностью имени Абдула Латифа Джамиля (Abdul Latif Jameel Poverty Action Lab, J-PAL) и её академической сетью, даёт значительную часть прикладной практики, упоминаемой в секторальных перспективах. Государственные стандарты оценки опираются на методическое руководство Казначейства Великобритании «Magenta Book», а практика синтеза доказательств — на стандарты Кампбелловского сотрудничества (Campbell Collaboration) для систематических обзоров в социальной политике (см. тему 2.6 — Синтез доказательств и то, что работает).

Ссылки

1. Causal inference — Wikipedia — https://en.wikipedia.org/wiki/Causal_inference
2. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
3. Difference in differences — Wikipedia — https://en.wikipedia.org/wiki/Difference_in_differences
4. Regression discontinuity design — Wikipedia — https://en.wikipedia.org/wiki/Regression_discontinuity_design
5. Instrumental variables estimation — Wikipedia — https://en.wikipedia.org/wiki/Instrumental_variables_estimation
6. Natural experiment — Wikipedia — https://en.wikipedia.org/wiki/Natural_experiment
7. Correlation does not imply causation — Wikipedia — https://en.wikipedia.org/wiki/Correlation_does_not_imply_causation
8. Confounding — Wikipedia — https://en.wikipedia.org/wiki/Confounding
9. Selection bias — Wikipedia — https://en.wikipedia.org/wiki/Selection_bias
10. Rubin causal model — Wikipedia — https://en.wikipedia.org/wiki/Rubin_causal_model
11. Hawthorne effect — Wikipedia — https://en.wikipedia.org/wiki/Hawthorne_effect
12. Power (statistics) — Wikipedia — https://en.wikipedia.org/wiki/Power_(statistics)
13. J-PAL (Abdul Latif Jameel Poverty Action Lab) — Massachusetts Institute of Technology — https://www.povertyactionlab.org/
14. Impact Evaluation in Practice — Paul J. Gertler, Sebastian Martinez, Patrick Premand, Laura B. Rawlings, and Christel M. J. Vermeersch, World Bank — https://www.worldbank.org/en/programs/sief-trust-fund/publication/impact-evaluation-in-practice
15. Mostly Harmless Econometrics: An Empiricist's Companion — Joshua D. Angrist and Jörn-Steffen Pischke, Princeton University Press — https://press.princeton.edu/books/paperback/9780691120355/mostly-harmless-econometrics
16. The Magenta Book — HM Treasury — https://www.gov.uk/government/publications/the-magenta-book
17. Campbell Collaboration — Campbell Collaboration — https://www.campbellcollaboration.org/
18. What Works Network — UK Cabinet Office — https://www.gov.uk/guidance/what-works-network