Синтез доказательств и то, что работает

Почему это важно: общественная ценность и синтез доказательств

У министра, мэра или директора программ благотворительной организации редко бывает роскошь действовать на основании одного чистого исследования. Чаще на столе лежат три противоречащие друг другу оценки, литературный обзор, цитирующий их выборочно, группа давления, размахивающая единственным исследованием, удобным для её позиции, и срок, заданный бюджетным циклом, а не темпом науки. Синтез доказательств существует потому, что отдельные исследования «шумны»: выборки малы, контексты различны, и любой результат может оказаться случайностью, локальным совпадением, которое нельзя перенести, или подлинным эффектом. Вопрос, на который нужен ответ руководителю, редко звучит как «что обнаружило это исследование?»; чаще он звучит так: «исходя из всего заслуживающего доверия, что было испробовано, чего мне ожидать, если я сделаю это здесь и сейчас?»

Теория общественной ценности делает это чем-то большим, чем техническая тонкость. Программа, финансируемая из коллективных ресурсов, опирается на ценностное предложение, которое граждане в совокупности одобрили бы (о том, как это предложение формулируется и отслеживается, см. тему 2.1 — Сбалансированная система показателей общественной ценности и рамки результатов). Предложение, построенное на одном выборочно подобранном исследовании или вовсе без обзора доказательств, — более слабое основание для притязаний на легитимность, чем предложение, основанное на тщательном синтезе, и более слабая опора для операционного потенциала, потому что кадры и бюджеты закладываются на его основании. Движение «что работает» — сеть независимых органов, оценивающих качество и силу доказательств для политики, — выросло непосредственно из этой проблемы: слишком много государственных решений принималось на основании самого громкого исследования, а не самого обоснованного.

Более трудная проблема, которой посвящена эта тема, — что делать руководителю, когда сам синтез неубедителен, оспаривается или просто недоступен вовремя. Иерархии доказательств создавались, чтобы навести порядок в запутанной доказательной базе, но при небрежном использовании фраза «доказательства пока недостаточно сильны» становится постоянным предлогом для уклонения от решения, которого действительность на самом деле не станет дожидаться. Руководитель, понимающий, как работает синтез и каковы его пределы, умеет отличить подлинную неопределённость, требующую осторожности, от иерархии, используемой как прикрытие бездействия.

Эта тема — естественное продолжение методов причинного вывода, на которые опирается синтез (см. тему 2.4 — Эконометрика государственного сектора и оценка программ), и стоит рядом с рамками результатов, которым синтез в конечном счёте служит, а не заменяет их (см. тему 2.1 — Сбалансированная система показателей общественной ценности и рамки результатов). Руководитель, умеющий прочитать систематический обзор, понять рейтинг «что работает» и ясно рассуждать об отсутствующих и отрицательных доказательствах, принимает лучшие решения «в моменте», чем тот, кто способен лишь требовать «больше доказательств» или принимать первое исследование, которое ему вручили.

Основные понятия

Систематический обзор (systematic review) — это синтез доказательств по определённому вопросу, использующий явный, заранее заданный и воспроизводимый метод поиска, оценки и объединения исследований, в отличие от нарративного литературного обзора, в котором источники выбираются по усмотрению автора (см. Systematic review). Его определяющие признаки: зарегистрированный протокол, написанный до начала поиска, стратегия поиска, включающая неопубликованную и «серую» литературу, явные критерии включения и стандартный метод оценки риска смещения каждого исследования. Именно это отличает систематический обзор от хорошо написанного эссе со сносками: другая команда, следуя тому же протоколу, нашла бы в целом те же доказательства и пришла бы в целом к такому же выводу.

Метаанализ (meta-analysis) — статистический метод, чаще всего сочетаемый с систематическим обзором: он объединяет количественные размеры эффекта из нескольких независимых исследований в единую, более точную оценку, обычно взвешивая каждое исследование по объёму выборки и качеству (см. Meta-analysis). Метаанализ хорош лишь настолько, насколько хороши питающие его исследования: объединение пяти слабых исследований даёт более точную оценку, возможно, смещённого эффекта, а не заслуживающую доверия. Поэтому аналитики сообщают о гетерогенности (heterogeneity) — о том, насколько результаты исследований различаются сверх того, что предсказывает случайность: высокая гетерогенность сигнализирует, что исследования на деле проверяли не одно и то же, и единое объединённое число может вводить в заблуждение.

Смещение публикации (publication bias) — склонность публиковать исследования с положительными значимыми результатами, в то время как нулевые или отрицательные остаются в «ящике стола» исследователя, из-за чего вмешательство выглядит в литературе более стабильно эффективным, чем на самом деле (см. Publication bias). Строгий обзор корректирует это, ища не только журнальные статьи, но и реестры испытаний и неопубликованные оценки. Руководителю, читающему синтез, основанный только на опубликованных работах, стоит спросить, что сделали авторы обзора, чтобы найти исследования, которые так и не попали в печать.

Иерархия доказательств (hierarchy of evidence) ранжирует дизайны исследований по тому, насколько хорошо они контролируют смешение и смещение: обычно вверху располагаются метаанализы рандомизированных испытаний, затем отдельные рандомизированные контролируемые испытания, далее квазиэкспериментальные и наблюдательные дизайны, а внизу — мнение экспертов (см. Hierarchy of evidence). Рандомизированное контролируемое испытание (randomized controlled trial) распределяет участников случайным образом в группу вмешательства или группу сравнения — это самый мощный инструмент выделения причинного эффекта из всего, что происходит вокруг (см. Randomized controlled trial; о том, как строятся и анализируются такие дизайны, см. тему 2.4 — Эконометрика государственного сектора и оценка программ). Иерархия — действительно полезная эвристика, но эвристика, а не закон: хорошо проведённое наблюдательное исследование редкой или медленно меняющейся политики может превзойти плохо проведённое испытание с недостаточной мощностью, а руководитель, воспринимающий иерархию как абсолютный рейтинг, порой отбросит более релевантные данные ради более престижного дизайна.

Подход GRADE (Grading of Recommendations, Assessment, Development and Evaluations — «градация рекомендаций, оценки, разработки и экспертизы») формализует второе, отдельное суждение, которого сама иерархия не даёт: он оценивает и достоверность доказательств, и — независимо от неё — силу рекомендации действовать на их основании, поскольку сильные доказательства не всегда оправдывают сильную рекомендацию, а слабые не всегда оправдывают бездействие перед лицом тяжёлого, неотложного вреда (см. GRADE approach). Это разделение — самая полезная идея этой темы для руководителя, работающего в цейтноте: оно позволяет честно сказать «доказательства здесь умеренные, и с учётом ставок и цены ожидания я рекомендую действовать» — обоснованное, документированное суждение вместо ложного выбора между ожиданием определённости и полным игнорированием доказательств.

Различие, постоянно возникающее в живых дебатах о политике, — между отсутствием доказательств и доказательством отсутствия: нехватка исследований о влиянии вмешательства («нет доказательств эффекта») — не то же утверждение, что хорошо обеспеченная по мощности совокупность исследований, положительно установившая отсутствие эффекта («доказательство отсутствия эффекта») (см. Evidence of absence). Новая местная программа, пока не имеющая оценок, просто не проверялась; хорошо изученная национальная программа, неоднократно не сдвигавшая ни один результат, проверена и показала, что не работает. Смешение этих двух ситуаций — одна из самых серьёзных по последствиям ошибок государственного руководителя: закрыть непроверенный, но перспективный пилот, словно он провалился, или продолжать финансировать неоднократно опровергнутую программу, словно никто ещё не присмотрелся достаточно внимательно.

Политика, основанная на доказательствах (evidence-based policy) — более широкое движение и нормативное утверждение о том, что государственные решения должны опираться на строго установленные доказательства, а не на идеологию, анекдоты или одну лишь интуицию (см. Evidence-based policy). Её критики, а всё чаще и сторонники предпочитают формулировку «политика, учитывающая доказательства» (evidence-informed policy), которая признаёт, что доказательства — лишь один из нескольких вводных факторов наряду с ценностями, мандатом, затратами и вопросами легитимности, которые эта книга считает фундаментальными, а не механическое правило принятия решений, способное быть решённым одними доказательствами.

Из этого движения вырос образец центра «что работает» (what works) или информационного центра (clearinghouse): независимый орган, систематически рассматривающий доказательства эффективности вмешательств в области политики и публикующий доступные, сопоставимые рейтинги, вместо того чтобы оставлять каждому местному заказчику проводить собственный обзор. Cochrane стала пионером этой модели в здравоохранении с 1993 года, поддерживая «живое» руководство по методологии систематических обзоров, используемое далеко за пределами медицины (см. Cochrane (organisation)). Кампбелловское сотрудничество (Campbell Collaboration) распространило ту же методологию на социальную политику, уголовное правосудие, образование и международное развитие (см. Campbell Collaboration). Затем последовали национальные центры: американский What Works Clearinghouse, с 2002 года действующий при Институте педагогических наук (Institute of Education Sciences) США, рассматривает исследования в сфере образования по явным стандартам дизайна (см. What Works Clearinghouse); английский Education Endowment Foundation публикует широко используемый Teaching and Learning Toolkit, оценивающий классные вмешательства по стоимости, силе доказательств и типичному воздействию в едином сопоставимом формате (см. Education Endowment Foundation). Аналогичные центры существуют для сокращения преступности, раннего вмешательства, бездомности и активного долголетия — небольшая международная семья, построенная на одном методе: систематический обзор, прозрачный рейтинг и краткое изложение для практиков, для чтения которого не нужен методолог.

Лучшие практики

1. Запрашивайте синтез раньше отдельного исследования. Когда на стол ложится яркий результат, сначала спросите, существует ли уже систематический обзор или рейтинг «что работает» для этого вмешательства, а не выглядит ли исследование убедительным само по себе.
2. Читайте исходный обзор наряду с рейтингом инструментария, а не вместо него. Однострочный рейтинг или значок с замком обобщает суждение; он не заменяет понимания того, на каких доказательствах он основан и насколько прямо применим к вашему контексту.
3. Явно разделяйте качество доказательств и силу вашей рекомендации. Заимствуйте логику GRADE хотя бы неформально: назовите, насколько достоверны доказательства, а затем отдельно — насколько сильно эта достоверность в сочетании со ставками и затратами оправдывает действие сейчас.
4. Прежде чем решать, назовите, с чем вы имеете дело: «пока нет доказательств» или «доказательство отсутствия эффекта». Фиксируйте это различие письменно в каждой справке о доказательствах, поскольку эти две ситуации требуют почти противоположных реакций — осторожного пилотирования или прекращения либо перепроектирования.
5. Прежде чем предполагать, что эффект перенесётся, проверьте соответствие контекста обзора вашему. Объединённый размер эффекта по исследованиям, проведённым в других местах, — это среднее, а не обещание; спросите, что изначально модерировало эффект и присутствуют ли эти модераторы у вас.
6. Заказывайте быструю оценку доказательств, если полный систематический обзор не укладывается в ваши сроки. Структурированный, ограниченный по времени обзор существующей литературы — дни или недели, а не месяцы — законный промежуточный путь между новым первичным исследованием и отсутствием обзора вовсе.
7. Публикуйте собственные оценки независимо от результата. Нулевые и отрицательные выводы так же ценны для следующего синтеза, как и положительные; их утаивание усиливает смещение публикации, подрывающее каждый будущий обзор в вашей области.
8. Заранее выстраивайте постоянные отношения с центром «что работает» или информационным центром в вашей области, пока в нём нет острой нужды. Искать что-либо в инструментарии органа синтеза впервые в разгар кризиса гораздо медленнее, чем уже знать, что он охватывает и кого спросить о пробеле.
9. Устанавливайте порог доказательств до получения результатов, а не после. Заранее договоритесь, какой уровень доказательств оправдал бы масштабирование, дальнейшее пилотирование или прекращение, чтобы уменьшить соблазн толковать неоднозначные результаты в пользу уже принятого решения.
10. Ограничивайте по времени поиск исследования, которое устранит все сомнения. Ожидание идеальной, однозначной доказательной базы — само по себе решение, обычно означающее продолжать делать то, что вы уже делаете; установите срок, учитывающий цену промедления наряду с ценой действия на слабых доказательствах.
11. Рассматривайте синтез как вклад в ценностное предложение, а не как его замену. Наилучшим образом подкреплённое вмешательство не становится автоматически правильным выбором, если наряду с ним взвесить затраты, распределительный эффект и легитимность (см. тему 2.1 — Сбалансированная система показателей общественной ценности и рамки результатов).
12. Документируйте, какие доказательства вы рассматривали и почему придали им такой вес. Письменный отчёт о рассмотренных исследованиях и о рассуждениях, стоящих за итоговым суждением, защищает легитимность решения и способность следующего рецензента извлечь из него урок.

Вопросы для обсуждения в вашей команде

Когда мы в последний раз меняли действующее решение, потому что систематический обзор или рейтинг «что работает» противоречил тому, что мы уже планировали делать? Если честный ответ — «никогда», над этим стоит задуматься: это наводит на мысль, что обзор доказательств может работать как подтверждающее упражнение, а не как подлинная проверка. Обсудите недавнее решение, при котором доказательная база была неоднородной, и проследите, повлияла ли она реально на выбор или собиралась в основном для подтверждения вывода, сделанного заранее. Подумайте, что должно измениться в том, как и когда доказательства доходят до лиц, принимающих решения, чтобы они имели реальное, а не символическое влияние.

Не принимаем ли мы где-либо «нет доказательств эффекта» за «доказательство отсутствия эффекта» или наоборот? Пройдитесь по текущему портфелю программ и выявите любую программу, которую вы молча отодвинули на второй план, потому что «доказательств нет», и проверьте, означает ли это, что она действительно не проверялась или что она действительно опровергнута. Сделайте то же в другую сторону: любая программа, которую вы продолжаете финансировать, потому что «никто не показал, что она не работает», тогда как на деле никто не смотрел. Обсудите, что потребуется для исправления двух-трёх наиболее значимых примеров и кто должен отвечать за это исправление.

Если бы решению потребовались доказательства к пятнице, есть ли у нас на самом деле процесс быстрой оценки доказательств или мы импровизировали бы его под давлением? Цейтнот — не гипотеза, а обычное условие, в котором принимается большинство реальных решений на основе доказательств. Обсудите, есть ли в вашей организации постоянный метод — названная команда, шаблон, краткий перечень центров «что работает», которые проверяются в первую очередь, — или каждый срочный запрос начинается с чистого листа. Если верно второе, обсудите, как выглядел бы минимально жизнеспособный процесс быстрой оценки и кто за него отвечал бы.

Чью иерархию доказательств мы на самом деле используем и соответствует ли она ставкам и обратимости этого решения? Разные области применяют стандарты доказательств по-разному, и иерархия, откалиброванная для необратимых решений с высокими ставками, не всегда является нужной планкой для недорогого, обратимого, легко контролируемого пилота. Обсудите, применяет ли ваша организация единый стандарт доказательств вне зависимости от ставок и защищает ли это вас от плохих решений или просто замедляет хорошие. Договоритесь в команде, какой стандарт должен требоваться для трёх следующих решений в вашей повестке, ещё до того, как вы узнаете, что говорят доказательства.

Что мы конкретно сделали, чтобы наши собственные оценки не исчезали в ящике стола? Каждый неопубликованный нулевой результат, лежащий в вашей организации, — это пробел, который какой-то другой организации придётся заново открывать трудным путём. Честно обсудите свой послужной список: сколько из ваших последних 10 оценок были переданы вовне и что случилось с остальными. Договоритесь о конкретном, обеспеченном ресурсами обязательстве — политике публикации, общем реестре, — а не об общем стремлении быть прозрачнее.

Честно ли мы используем фразу «нам нужно больше доказательств» или как способ избежать решения, которое нам не хочется принимать? Это самый неудобный вопрос темы, и его стоит задать прямо. Определите конкретное решение, которое сейчас застопорено по причине доказательств, и откровенно обсудите, что на самом деле изменило бы ваше мнение и придут ли ожидаемые доказательства реалистично вовремя. Если нет, обсудите, как выглядело бы честное решение в условиях подлинной неопределённости вместо продолжения ожидания и у кого есть полномочия принять его.

На практике: пример из области общественной ценности

Региональное агентство занятости, входящее в национальное ведомство, отвечающее за программы рынка труда, было вынуждено решить в пределах одного бюджетного цикла, масштабировать ли пилот профессиональной подготовки с трёх районов на весь регион. Пилот сочетал субсидируемые рабочие места с структурированным наставничеством, и собственное рандомизированное испытание агентства в трёх пилотных районах показало скромное, но статистически значимое увеличение устойчивой занятости через 12 месяцев. Картину осложнил конкурирующий источник доказательств: систематический обзор, опубликованный годом ранее и объединивший девять похожих программ в нескольких странах, обнаружил средний эффект, близкий к нулю, с большим разбросом между исследованиями и без чёткой закономерности, объясняющей, какие программы работали.

У группы доказательств агентства было шесть недель до срока подачи бюджета, чтобы согласовать два вывода. Первым побуждением младшего аналитика было считать объединённый обзор более авторитетным просто потому, что он объединяет больше исследований, и рекомендовать закрыть пилот. Ведущий консультант группы по доказательствам возразила: близкое к нулю объединённое среднее по действительно разным программам — не сильное доказательство того, что именно эта конкретная, хорошо реализованная местная программа потерпит неудачу; это свидетельство того, что программы профессиональной подготовки в целом неоднородны по качеству и соответствию, а это и так было известно. Высокая гетерогенность, о которой сообщал обзор, сама по себе была более важным выводом, чем объединённое среднее.

Консультант предложила срединный путь вместо бинарного выбора. Она рекомендовала поэтапное масштабирование на половину региона, с случайным выбором районов расширения, чтобы само внедрение порождало новые доказательства, а не просто тратило средства под допущение (о том, как поэтапное внедрение можно спроектировать как дополнительную оценку, см. тему 2.4 — Эконометрика государственного сектора и оценка программ). Она также рекомендовала опубликовать первоначальное испытание полностью, включая методы и исходные данные, чтобы его мог подхватить следующий систематический обзор, а не оставить во внутреннем отчёте, которого никто за пределами агентства никогда не увидит.

Руководство ведомства одобрило поэтапный подход, прямо сформулировав в бизнес-кейсе (см. тему 2.5 — Бизнес-кейсы и эффективность использования средств), что это решение, принятое при доказательствах умеренной достоверности со встроенным механизмом разрешения неопределённости в течение 18 месяцев, а не решение, принятое потому, что доказательства убедительны. Через 18 месяцев в районах расширения был получен эффект, близкий к исходному пилоту, и ведомство масштабировало программу дальше, имея более прочную доказательную базу, чем давал любой из двух источников по отдельности, и чёткий документальный след, показывающий, почему оно решило действовать, а не ждать.

Этот сценарий вымышлен и приводится в иллюстративных целях; он не описывает программу или оценку какого-либо реального ведомства.

Четыре секторальные перспективы

Местное самоуправление

У местного органа редко есть бюджет или нагрузка, чтобы заказать собственный систематический обзор, поэтому его практическое мастерство состоит в переводе национальных и международных данных синтеза на конкретный местный контекст в реальном цейтноте: проверить, похожа ли доказательная база вмешательства, получившего рейтинг в инструментарии, на его собственное население, систему услуг и уровень финансирования, прежде чем предполагать, что оценённый эффект перенесётся. Местные руководители также ближе всех к цене обеих ошибок, о которых предупреждает эта тема: действовать на основании вмешательства, которое синтез уже показал неработающим, и отвергать действительно перспективную, но слабо оценённую местную инновацию только потому, что ни один центр «что работает» её пока не оценил.

Национальное правительство

Национальное правительство — место, где находится большинство центров «что работает» и формальных руководств по иерархии доказательств; это даёт национальным ведомствам близость к инфраструктуре синтеза, но и наибольшую подверженность риску превратить иерархию доказательств в бюрократический шлагбаум, а не вспомогательное средство принятия решений. Характерная национальная задача — заказ и поддержание этой инфраструктуры: финансирование информационного центра, установление его стандартов доказательств и обеспечение того, чтобы его рейтинги действительно доходили до чиновников, пишущих бизнес-кейсы (см. тему 2.5 — Бизнес-кейсы и эффективность использования средств), а не оставались уважаемым сайтом, который политические группы редко открывают под давлением сроков.

Социальный сектор и некоммерческие организации

Некоммерческим организациям и благотворительным фондам, как правило, не хватает ресурсов для проведения строгих оценок в масштабе, и они сильно зависят от внешних органов синтеза, а всё чаще и от финансирующих организаций, которые требуют соответствия оцененному уровню доказательств как условия гранта. Это создаёт особый риск: организации, находящиеся под финансовым давлением, могут поддаться искушению преувеличить, насколько хорошо их программа соответствует благоприятному рейтингу, — форма «отмывания доказательствами» (evidence-washing); и наоборот, небольшие, но по-настоящему эффективные местные благотворительные организации могут оказаться вытесненными из финансирования, потому что они никогда не были достаточно крупны, чтобы породить доказательства, которые национальный информационный центр оценит высоко (о структурах финансирования, стоящих за этим давлением, см. тему 3.8 — Управление в социальном секторе и некоммерческих организациях).

Многосторонние и международные организации

Многосторонние и международные организации сталкиваются с проблемой обобщаемости в наиболее острой форме: вмешательство, доказавшее эффективность в системе здравоохранения, сельском хозяйстве или на рынке труда одной страны, регулярно предлагается для совершенно иного экономического и институционального контекста, а литература по синтезу лучше указывает на такой необоснованный перенос постфактум, чем заранее. Исследовательские сети, созданные для устранения этого пробела, такие как Лаборатория действий по борьбе с бедностью имени Абдула Латифа Джамиля (Abdul Latif Jameel Poverty Action Lab), подтолкнули политику развития к воспроизведению с учётом контекста вместо подтверждения концепции в одной стране, но напряжение между глобально сопоставимыми доказательствами и контекстно зависимыми эффектами остаётся определяющей чертой синтеза в таком масштабе.

Типичные сбои и ошибки

Иерархия доказательств как предлог для бездействия. Команда, стоящая перед трудным, спорным решением, ссылается на «недостаточные доказательства» или «пока нет рандомизированного испытания» как на причину откладывать бессрочно, хотя настоящая причина задержки — политический дискомфорт или желание избежать подотчётности. Это лишает организацию самой возможности, а доказательную базу — проверки в реальных условиях, которая могла бы разрешить неопределённость; следующий руководитель оказывается перед тем же пробелом.

Смешение отсутствия доказательств с доказательством отсутствия. Перспективную, но непроверенную местную инновацию закрывают так, словно её опробовали и она провалилась, а неоднократно опровергнутую национальную программу продолжают финансировать, потому что никто не сформулировал доказательства как отрицательный вывод, а не пробел. Обе ошибки дороги: одна закрывает перспективные варианты, другая защищает программы, которые трезвый синтез свернул бы годами раньше.

Рейтинг инструментария как весь анализ. Руководитель читает единственный значок с замком или звёздный рейтинг и на этом останавливается, не проверяя, соответствуют ли исходные исследования его контексту, населению или масштабу. Рейтинги намеренно сжаты ради доступности; без исходного обзора они могут порождать уверенные решения, построенные на более тонкой доказательной базе, чем подразумевает простота рейтинга.

Игнорирование гетерогенности в пользу заглавного объединённого результата. Единый средний размер эффекта метаанализа цитируется в справке, а широкий разброс между породившими его исследованиями — зачастую более информативный вывод — отбрасывается. Возникает ложная точность: руководитель действует так, будто любая реализация ведёт себя одинаково, тогда как качество реализации и контекст делают не меньше работы, чем само вмешательство.

Молчаливое формирование доказательной базы смещением публикации. Организация, оценивая вмешательство, читает только опубликованную академическую литературу, упуская неопубликованные отрицательные испытания и внутренние оценки, так и не попавшие в журнал. Получившаяся картина того, «что работает», систематически смещена в положительную сторону, а решения, построенные на ней, наследуют это смещение, хотя никто не выбирал его сознательно.

Модель зрелости

Контрольный перечень

• Систематический обзор или рейтинг «что работает» проверены до опоры на одно исследование.
• Прочитан исходный обзор доказательств, а не только сводный рейтинг или значок.
• Качество доказательств и сила рекомендации сформулированы как два отдельных суждения.
• Различие между «нет доказательств эффекта» и «доказательство отсутствия эффекта» явно отражено в письменной справке.
• Проверено соответствие контекста рассмотренных исследований рассматриваемому решению (население, масштаб, система услуг).
• Процесс быстрой оценки доказательств доступен и применяется, когда полный обзор не укладывается в сроки.
• Порог доказательств для решения согласован до рассмотрения результатов.
• Есть план публикации собственной оценки организации независимо от результата.
• Постоянные отношения с соответствующим центром «что работает» или информационным центром установлены заранее, а не создаются с нуля под давлением.
• Рассуждения, стоящие за итоговым суждением, задокументированы, включая рассмотренные и отвергнутые доказательства.
• Решение проверено на соответствие ценностному предложению и соображениям легитимности, а не только по силе доказательств.

Ключевые источники

• The Cochrane Handbook for Systematic Reviews of Interventions, поддерживаемый Cochrane, — основополагающая методология, на которой строится практика систематических обзоров во всех секторах.
• Руководство Кампбелловского сотрудничества (Campbell Collaboration) по систематическим обзорам и синтезу доказательств для социальной, поведенческой и криминологической политики — прямое распространение этой методологии на области государственной политики за пределами здравоохранения.
• The What Works Clearinghouse Standards Handbook (Institute of Education Sciences, США) — пример того, как национальный информационный центр устанавливает явные стандарты дизайна исследований и оценивает доказательства по ним.
• The Education Endowment Foundation's Teaching and Learning Toolkit — практический, ориентированный на практиков пример перевода объединённых доказательств в сопоставимые оценки стоимости, воздействия и силы доказательств.
• Работа Организации экономического сотрудничества и развития (ОЭСР) по наращиванию потенциала для политики, учитывающей доказательства, — межстрановой обзор того, как правительства организуют спрос и предложение в использовании доказательств.
• The College of Policing's What Works Centre for Crime Reduction и его инструментарий по сокращению преступности — ещё один пример образца информационного центра за пределами здравоохранения и образования.

Ссылки

1. Systematic review — Wikipedia — https://en.wikipedia.org/wiki/Systematic_review
2. Meta-analysis — Wikipedia — https://en.wikipedia.org/wiki/Meta-analysis
3. Evidence-based policy — Wikipedia — https://en.wikipedia.org/wiki/Evidence-based_policy
4. Cochrane (organisation) — Wikipedia — https://en.wikipedia.org/wiki/Cochrane_(organisation)
5. Campbell Collaboration — Wikipedia — https://en.wikipedia.org/wiki/Campbell_Collaboration
6. What Works Clearinghouse — Wikipedia — https://en.wikipedia.org/wiki/What_Works_Clearinghouse
7. Education Endowment Foundation — Wikipedia — https://en.wikipedia.org/wiki/Education_Endowment_Foundation
8. Publication bias — Wikipedia — https://en.wikipedia.org/wiki/Publication_bias
9. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
10. Evidence of absence — Wikipedia — https://en.wikipedia.org/wiki/Evidence_of_absence
11. Hierarchy of evidence — Wikipedia — https://en.wikipedia.org/wiki/Hierarchy_of_evidence
12. GRADE approach — Wikipedia — https://en.wikipedia.org/wiki/GRADE_approach
13. Cochrane Handbook for Systematic Reviews of Interventions — Cochrane — https://www.cochrane.org/authors/handbooks-and-manuals/handbook/current
14. Campbell Collaboration — Campbell Collaboration — https://www.campbellcollaboration.org/
15. What Works Clearinghouse Standards Handbook — Institute of Education Sciences, U.S. Department of Education — https://ies.ed.gov/ncee/wwc/Handbooks
16. Teaching and Learning Toolkit — Education Endowment Foundation — https://educationendowmentfoundation.org.uk/education-evidence/teaching-learning-toolkit
17. Building Capacity for Evidence-Informed Policy-Making — OECD — https://www.oecd.org/en/publications/building-capacity-for-evidence-informed-policy-making_86331250-en.html
18. What Works Centre for Crime Reduction — College of Policing — https://www.college.police.uk/research/what-works-centre-crime-reduction