الاقتصاد القياسي للقطاع العام وتقييم البرامج

هذا لماذا يهم في القيمة العامة

كل عام، تُجدِّد الهيئات العامة أو توسِّع أو تلغي برامج بقوة مقارنة نتائج: وجد المشاركون في برنامج الوظائف عملًا أسرع من غير المشاركين؛ سجّل التلاميذ في برنامج التقوية درجات أعلى من التلاميذ الذين لم يُقوَّوا. كل مقارنة صحيحة بوصفها وصفًا وخطِرة بوصفها حجة، لأن أيًّا منها، وحدها، لا تخبرك ما إذا كان البرنامج قد تسبَّب في الفرق. الأشخاص الذين يلتحقون ببرنامج وظائف كثيرًا ما يكونون أكثر تحفّزًا من الذين لا يلتحقون، والتلاميذ المُختارون للتقوية كثيرًا ما يُختارون لأن معلمًا يتوقّع بالفعل استجابتهم الجيدة. الفجوة بين "المجموعة المُعالَجة أدت أفضل" و"المعالجة جعلتها تؤدي أفضل" هي بالضبط الفجوة التي يوجد الاستدلال السببي لسدّها.

هذا ليس تدقيقًا أكاديميًا. لجنة مالية تُطلَب منها تجديد تمويل برنامج تُطلَب منها ضمنيًا التصريح بإنفاق مال عام على ادعاء سببية، سواء استخدم أحد في الغرفة تلك الكلمة أم لا. منحك الموضوع 2.1 إطار النتائج الذي يذكر ما يُفترَض أن يغيّره برنامج (انظر الموضوع 2.1 — بطاقة أداء القيمة العامة وأطر النتائج)؛ يمنحك هذا الموضوع المناهج التي تختبر ما إذا كان قد غيّره فعلًا، وبأي مقدار. يحتاج تحليل التكلفة والعائد وفعالية التكلفة (انظر الموضوع 2.2 — تحليل التكلفة والعائد الاجتماعي وتحليل فعالية التكلفة) والعائد الاجتماعي على الاستثمار (انظر الموضوع 2.3 — العائد الاجتماعي على الاستثمار وقياس الأثر) كلاهما إلى حجم أثر قابل للدفاع عنه ليعملا؛ هذا الموضوع هو من أين يأتي حجم الأثر ذاك، أو أين تتعلّم أن الرقم الذي لديك بالفعل لا يستطيع تحمّل الثقل المُلقى عليه.

المخاطر ليست مالية فقط. حكومة توسِّع برنامجًا غير فعّال لأن تقييمًا معيبًا جعله يبدو فعّالًا قد بذّرت مالًا، والأسوأ غالبًا، أزاحت بديلًا فعّالًا فعلًا لم يحصل قط على الفرصة؛ حكومة تلغي برنامجًا فعّالًا لأن مقارنة ساذجة جعلته يبدو عديم الجدوى قد دمّرت قيمة كان تقييم أفضل تصميمًا سيحميها. إصابة التحديد السببي، ومعرفة متى لا تستطيع إصابته، كفاءة قيمة عامة بحدّ ذاتها، لا اهتمامًا جانبيًا لمتخصّص.

المفاهيم الأساسية

الاستدلال السببي فرع الإحصاء المعني بإثبات ما إذا كان، وبأي مقدار، تغيّر متغيّر واحد ينتج تغيّرًا في آخر، بخلاف أن يتحرك المتغيّران معًا فقط. يوفّر الأساس المفهومي — الاستدلال المضاد للواقع، ولغة المعالجة والضبط، وكتالوج التهديدات المحدَّدة لادعاء سببي — الذي يستند إليه كل منهج في هذا الموضوع. ويكيبيديا: الاستدلال السببي.

السيناريو المرجعي المضاد للواقع هو النتيجة التي كان سيمرّ بها شخص أو وحدة لو لم يتلقَّ البرنامج، وهو الكمية المركزية غير القابلة للملاحظة التي يحاول كل منهج سببي تقريبها: يمكنك مشاهدة ما حدث لمشارك، لكن أبدًا ما كان سيحدث لذلك الشخص نفسه دون مساعدة. كل منهج أدناه استراتيجية مختلفة لبناء بديل موثوق لتلك الملاحظة المفقودة. نموذج روبين السببي، الذي طوّره أساسًا الإحصائي دونالد روبين، يُصيغ هذا رسميًا بوصفه إطار "النتائج المحتملة": لكل وحدة نتيجة محتملة تحت المعالجة ونتيجة تحت الضبط، والأثر السببي هو الفرق بينهما، ولا تُلاحَظ إلا واحدة منهما أبدًا. ويكيبيديا: نموذج روبين السببي.

التشويش يحدث حين يؤثّر عامل ثالث في كلٍّ من ما إذا كانت وحدة تتلقّى برنامجًا والنتيجة التي يُفترَض أن يغيّرها البرنامج، ما يجعل الأمر يبدو كأن البرنامج تسبَّب في أثر أنتجه فعلًا العامل المُشوِّش. التحفّز، والقدرة السابقة، والظروف الاقتصادية المحلية، وثروة الأسرة عوامل مُشوِّشة متكرِّرة في تقييم البرامج العامة، لأنها تؤثّر روتينيًا في كلٍّ من من يلتحق بخدمة وكيف يبلي ذلك الشخص أو المكان لاحقًا. ويكيبيديا: التشويش.

تحيّز الاختيار هو الحالة المحدَّدة للتشويش الناشئة عن كيفية وصول المشاركين إلى مجموعة المعالجة أصلًا — اختيار ذاتي، إحالة موظفين، أو قواعد أهلية — بحيث تختلف المجموعتان المُعالَجة وغير المُعالَجة منهجيًا قبل أن يلمسهما البرنامج على الإطلاق. برنامج وظائف يسجّل فيه فقط الباحثون عن عمل الأكثر تحفّزًا سيبدو فعّالًا حتى لو لم يفعل شيئًا، لأن مجموعة المقارنة لم تكن أبدًا بديلًا عادلًا لما كان سيفعله المشاركون دون مساعدة. ويكيبيديا: تحيّز الاختيار.

الارتباط لا يعني السببية هو التحذير العام الذي يُفعِّله هذا الموضوع: متغيّران يتحركان معًا يتّسق مع أن أحدهما يسبِّب الآخر، أو العكس، أو سبب مشترك، أو محض صدفة، ولا يستطيع النمط وحده التمييز بين هذه. تزداد مبيعات الآيس كريم ووفيات الغرق كلاهما كل صيف دون أن يسبِّب أحدهما الآخر، لأن الطقس الدافئ يدفع الاثنين؛ تقييم البرامج العامة مليء بنسخ أدقّ من الفخّ نفسه. ويكيبيديا: الارتباط لا يعني السببية.

التجربة العشوائية المُحكَمة (RCT)، تُسمَّى تقييمًا عشوائيًا في أدبيات تقييم السياسات، تخصِّص وحدات مؤهَّلة عشوائيًا إلى مجموعة معالجة تتلقّى البرنامج ومجموعة ضبط لا تتلقّاه، بحيث لا تختلف المجموعتان في المتوسط إلا في ما إذا عُولِجتا. العشوائية قوية لأنها تعالج التشويش بالجملة: توازن كلًّا من العوامل المُشوِّشة التي تستطيع قياسها والتي لا تستطيع، دون الحاجة إلى تسميتها سلفًا. ويكيبيديا: التجربة العشوائية المُحكَمة.

الفروق في الفروق (DiD) تقارن التغيّر في النتائج عبر الزمن لمجموعة مُعالَجة مقابل التغيّر خلال الفترة نفسها لمجموعة مقارنة لم تتلقَّ البرنامج، مفترضة أنه، بغياب البرنامج، كانت المجموعتان ستتّبعان اتجاهات متوازية. إنها المنهج الأساسي حين وصل برنامج إلى ولاية قضائية قبل أخرى ولم تكن العشوائية خيارًا قط، لأنها تستطيع استخدام بيانات إدارية تُجمَع روتينيًا بدلًا من تجربة مبنية لغرضها. ويكيبيديا: الفروق في الفروق.

تصميم الانقطاع الانحداري (RDD) يستغلّ قاعدة برنامج تخصِّص المعالجة بناءً على درجة مقيسة تعبر عتبة ثابتة — منفعة تبدأ بالضبط عند عتبة دخل، موضوع علاجي مُخصَّص لتلاميذ يسجّلون درجة أقل قليلًا من علامة النجاح — ويقارن النتائج لوحدات أعلى وأدنى العتبة قليلًا، وهي مُتماثلة بخلاف ذلك. لأن أي جانب من العتبة تقع فيه وحدة عشوائي فعليًا في نطاق ضيق حولها، تقارب المقارنة تجربة عشوائية محلية دون أن يكون أحد قد عشوَنَ شيئًا. ويكيبيديا: تصميم الانقطاع الانحداري.

تقدير المتغيرات الأداتية (IV) يستخدم متغيّرًا ثالثًا، "أداة"، يؤثّر في الالتحاق ببرنامج لكن لا أثر مباشر له في النتيجة إلا عبر ذلك الالتحاق، لينزع الجزء من علاقة المعالجة-النتيجة الذي كان التشويش سيلوِّثه بخلاف ذلك. أداة سياسة عامة كلاسيكية هي المسافة إلى مرفق، أو مكان مُخصَّص بقرعة، يغيِّر المشاركة دون أن يسبِّب النتيجة باستقلالية؛ يكمن معظم صعوبة المنهج في الدفاع عن أن الأداة تؤثّر في النتيجة فقط عبر البرنامج. ويكيبيديا: تقدير المتغيرات الأداتية.

التجربة الطبيعية هي وضع، ناشئ من سياسة أو جغرافيا أو ظرف لا تصميم باحث، يتعرَّض فيه بعض الناس لبرنامج ولا يتعرَّض آخرون مماثلون له، كما لو أن تجربة أُجريت دون أن يجريها أحد. تغيير سياسة يسري عند عتبة تاريخ ميلاد، حدود تضع أسرًا شبه متطابقة في ولايات قضائية مختلفة، أو قرعة تُقنِّن مكانًا مُقبَلًا عليه أكثر من طاقته، كلها تجارب طبيعية يستطيع تصميم الانقطاع الانحداري أو المتغيرات الأداتية أو الفروق في الفروق تحليلها لاحقًا. ويكيبيديا: التجربة الطبيعية.

أثر هوثورن يسمّي مخاطرة أن يغيّر الناس سلوكهم لمجرد معرفتهم أنهم يُلاحَظون، بمعزل عن محتوى البرنامج الفعلي، ما يمكن أن يضخّم أثرًا مُقدَّرًا إذا لم تُلاحَظ مجموعة الضبط بالكثافة نفسها — فعل القياس نفسه يمكن أن يصبح جزءًا من المعالجة. ويكيبيديا: أثر هوثورن.

القوة الإحصائية هي احتمال أن يكتشف تقييم أثرًا حقيقيًا بحجم معطى إن وُجِد، معتمدة أساسًا على حجم العينة، وحجم الأثر المنشود، ومدى تفاوت النتائج داخل المجموعات. تقييم ناقص القوة يجد "لا أثر ذا دلالة" كثيرًا ما لم يُظهر أن البرنامج لا يفعل شيئًا؛ بل أظهر أن التقييم كان صغيرًا جدًا بحيث لا يستطيع الإجابة بأي اتجاه، تمييز يفوته القادة كثيرًا تحت ضغط الوصول إلى حكم. ويكيبيديا: القوة (إحصاء).

أفضل الممارسات

1. قرِّر تصميم التقييم قبل إطلاق البرنامج، لا بعده. تقييم عشوائي، أو طرح متدرِّج يناسب الفروق في الفروق، أو عتبة أهلية تناسب تصميم الانقطاع الانحداري، كلها أسهل بناء منذ البداية بكثير من تعديلها لاحقًا بعد أن يكون التسليم قد بدأ فعلًا على أساس مخصَّص.
2. اذكر السيناريو المرجعي صراحة في كل موجز تقييم. اكتب، في جملة واحدة، بماذا تقارن المشاركين — لا برنامج على الإطلاق، البرنامج السابق، تدخّل مختلف — لأن سيناريوًا مرجعيًا غير مذكور هو حيث تتبيّن عادة أحدّ خلافات التقييم أنها مختبئة.
3. عامِل مقارنة قبل-وبعد البسيطة فرضية بداية، لا اكتشافًا أبدًا. تنجرف النتائج لأسباب كثيرة لا صلة لها ببرنامجك — الدورة الاقتصادية، آثار موسمية، تغييرات سياسة أخرى تقع في الوقت نفسه — وتصميم قبل-وبعد لا يستطيع موضوع إسهام برنامجك عنها.
4. طابِق المنهج مع القاعدة التي خصَّصت البرنامج فعلًا، لا مع المنهج الذي تجده أكثر إلفة. برنامج مُقنَّن بقرعة يستدعي منطق تقييم عشوائي حتى لو لم تسمِّه أبدًا تجربة؛ برنامج مُخصَّص بعتبة درجة يستدعي تصميم انقطاع انحداري؛ برنامج طُرِح في بعض المناطق قبل غيرها يستدعي الفروق في الفروق.
5. سجّل مقاييس النتائج وخطة التحليل سلفًا قبل النظر في النتائج. تقرير أي نتيجة تُحتسَب "نجاحًا" بعد رؤية أيها تحرّك طريق موثَّق جيدًا إلى إيجابيات زائفة، والتسجيل المسبق دفاع معياري ضده.
6. قوِّ التقييم لأصغر حجم أثر لا يزال يبرِّر تكلفة البرنامج، لا للراحة. تقييم صغير جدًا بحيث لا يكتشف أثرًا ذا صلة بالسياسة سيُنتج نتيجة "لا فرق ذا دلالة" غير مُفيدة تُقرأ خطأً دليل فشل.
7. أبلِغ عن خصائص مجموعة المقارنة إلى جانب مجموعة المعالجة، لا الأثر الرئيسي فقط. تقييم موثوق يتيح لقارئ متشكِّك التحقق من أن المجموعتين كانتا متماثلتين قبل المعالجة؛ تقييم يخفي هذا يجعل القارئ يأخذ التوازن على الثقة.
8. كلِّف بالتقييم من مصدر مستقل عن فريق التسليم، أو عزل التحليل إذا لم تستطع. فريق له مصلحة في نجاح برنامج لديه حافز بنيوي، غير واعٍ غالبًا، لتفسير أدلة غامضة لصالح البرنامج.
9. افصل الدلالة الإحصائية عن الدلالة العملية والمالية في كل تقرير. أثر صغير مُقدَّر بدقة وأثر كبير مُقدَّر بعدم دقة اكتشافان مختلفان يتطلبان قرارين مختلفين، وطيّ كليهما في "دالّ" أو "غير دالّ" يمحو التمييز الذي يحتاجه قرار تمويل فعلًا.
10. خصِّص ميزانية للتقييم كنسبة ثابتة من تكلفة البرنامج في مرحلة التصميم، لا كأي شيء يتبقّى. برنامج كبير بما يكفي ليهم للقيمة العامة عادة كبير بما يكفي لتمويل تقييم أثر موثوق، ومعاملة التقييم اختياريًا هي كيف يصبح الدليل الضعيف روتينيًا.
11. انشر النتائج الفارغة والسلبية بالوضوح نفسه للإيجابية. بيئة تكليف تُشهر فقط التقييمات الناجحة تخلق تحيّز اختيار في قاعدة الأدلة المنشورة نفسها، مُحيِّزة حكم "ما ينجح" اللاحق للجميع نحو التفاؤل.
12. غذِّ كل تقييم مكتمل في قاعدة الأدلة الأوسع التي يحفظها قطاعك، لا أرشيفك وحده. تقييم واحد، مهما كان جيد التصميم، نقطة بيانات واحدة؛ التوليف المنهجي عبر كثير منها هو ما يحوِّل اكتشاف برنامج إلى معرفة قابلة للنقل (انظر الموضوع 2.6 — توليف الأدلة وما ينجح فعلًا).

أسئلة للنقاش مع فريقك

ما السيناريو المرجعي الذي نقارن هذا البرنامج به فعلًا، وهل قلنا ذلك بصوت عالٍ؟ كل ادعاء أثر يتضمّن مقارنة، لكن الفرق تتركها ضمنية كثيرًا، تاركة "هذا نجح" ينزلق بصمت بين "أفضل من لا شيء"، و"أفضل مما كنا نفعله سابقًا"، و"أفضل من أفضل بديل كان يمكننا تمويله". اطلب من قائد تقييمك ذكر السيناريو المرجعي في جملة واحدة بلغة بسيطة، ثم تحقّق مما إذا كان الدليل الذي لديك يدعم فعلًا ادعاءً حول تلك المقارنة المحدَّدة. إذا كان السيناريو المرجعي الصادق "لا نعرف ماذا كان سيحدث بخلاف ذلك"، عامِل ادعاء الأثر الحالي فرضية، لا اكتشافًا، وناقش ما يلزم لسدّ تلك الفجوة.

هل يمكن للأشخاص أو الأماكن التي التحقت بهذا البرنامج أن تختلف منهجيًا عن التي لم تلتحق، بطرق ستؤثّر أيضًا في النتيجة؟ هذا سؤال تحيّز الاختيار، ويستحق طرحه حتى حين — خصوصًا حين — تبدو الإجابة "لا" واضحة. التحفّز، والظروف السابقة، والقدرة المحلية، وأنماط إحالة الموظفين مصادر اختلاف خفية شائعة تُنتج تقدير أثر مضلِّلًا حتى مع عينة كبيرة تبدو حذرة. إذا لم يستطع الفريق وصف كيف انتهى المشاركون في البرنامج، فلا يستطيع استبعاد هذا، وتلك الفجوة يجب أن تقلقك أكثر مما سيقلقك حجم عينة صغير.

هل بُني تصميم تقييمنا في البرنامج، أم أُضيف لاحقًا، وماذا كلّفنا ذلك؟ تقييم عشوائي، أو طرح متدرِّج، أو عتبة أهلية مُدرَّجة، كلها أرخص بكثير وأكثر مصداقية حين تُخطَّط قبل الإطلاق منها حين تُعاد بناؤها مما تصادف أن بقي من بيانات إدارية. اسأل أي خيارات تصميم تقييم نُظِر فيها في مرحلة تصميم البرنامج، وإن لم يُنظَر في أي منها، عامِل ذلك فجوة عملية يجب سدّها قبل البرنامج التالي، لا مجرد قصور في هذا. ناقش أي بيانات يجب أن توجد منذ اليوم الأول للبرنامج الرئيسي القادم لدعم تقدير سببي موثوق.

هل عينتنا كبيرة بما يكفي لاكتشاف أثر يستحق معرفته، وهل سنتعرّف على اكتشاف "لا أثر" ناقص القوة لو رأيناه؟ تقييم يُبلِّغ عن عدم وجود أثر ذي دلالة إحصائية يخبرك أحيانًا بحق أن البرنامج لا يعمل، وأحيانًا يخبرك فقط أن التقييم كان صغيرًا جدًا بحيث لا يرى أثرًا موجودًا فعلًا. اطلب من محلليك ذكر أصغر حجم أثر قُوِّي التقييم لاكتشافه، وقارن ذلك بحجم الأثر الذي سيبرِّر فعلًا تكلفة البرنامج. إذا كان هذان الرقمان متباعدين، فقد يكون اكتشاف "لا أثر" غير مُفيد لا مُدينًا، ويجب أن يقول الفريق ذلك صراحة بدلًا من ترك الصمت يُقرَأ فشلًا.

من يستفيد، مهنيًا أو سمعيًا، إذا عاد هذا التقييم إيجابيًا، وهل يغيّر ذلك مقدار التدقيق المستقل الذي يحتاجه؟ هذا ليس اتهامًا بعدم الصدق؛ بل اعتراف بأن من صمّموا أو يُسلِّمون برنامجًا أكثر ميلًا بنيويًا لتفسير نتائج غامضة بتسامح، غالبًا دون أن يلاحظوا أنهم يفعلون ذلك. ناقش ما إذا كان التقييم قد كُلِّف به أو حُلِّل أو رُوجِع من أي شخص مستقل عن فريق التسليم، وإن لم يكن، كيف سيبدو عزل متناسب لبرنامج بهذا الحجم. الهدف نتيجة سيثق بها أشدّ جهات تمويلك تشكّكًا أيضًا، لا فقط نتيجة يرتاح فريقك للدفاع عنها.

إذا كان اكتشاف هذا التقييم متينًا، ماذا سنفعل فعلًا بشكل مختلف، وهل نحن مستعدّون لفعله؟ تقييم كُلِّف به لكن لم يُقصَد أبدًا أن يغيّر قرارًا هو تكلفة غارقة مُزيَّنة ببذل عناية واجبة، ويستحق تسمية تلك المخاطرة قبل وصول النتائج لا بعدها. ناقش، سلفًا، ما سيبرِّره اكتشاف إيجابي قوي (توسّع، وبأي مقدار) وما سيُطلِقه اكتشاف فارغ أو سلبي (إعادة تصميم، أو إلغاء، وعلى أي جدول زمني). إذا لم يستطع أحد في الغرفة الإجابة عن هذا قبل رؤية النتائج، فقد يخدم التقييم وظيفة شرعية لا وظيفة قرار، ويستحق ذلك أن يُقال بصدق (انظر الموضوع 2.1 — بطاقة أداء القيمة العامة وأطر النتائج).

في الممارسة: مثال على القيمة العامة

توضيح خيالي. أدارت وزارة خدمات التوظيف في بلد متوسط الحجم غير مُسمًّى تجربة تجريبية لسنة واحدة لخدمة تدريب مكثَّف للباحثين عن عمل طويلي الأمد العاطلين، إلى جانب الخدمة المعيارية القائمة. في نهاية التجربة، قارن تقرير داخلي المجموعة التي تلقّت التدريب المكثَّف بكل من غادر البطالة خلال الفترة نفسها: كان لدى المجموعة المُدرَّبة معدل توظيف 38% خلال ستة أشهر، مقابل 24% لبقية الحالات. أُخبِر الوزراء بأن البرنامج "نجح" ومضت دراسة جدوى لتوسيعه وطنيًا.

قبل الموافقة على التمويل، طرحت لجنة المالية سؤالًا مباشرًا: كيف انتهى الباحثون عن عمل في المجموعة المُدرَّبة أصلًا؟ تبيّن أن الإجابة تهم هائلًا. كان موظفو الحالات قد أحالوا الباحثين عن عمل الذين حكموا أنهم "الأكثر احتمالًا للاستفادة" إلى التجربة، قرار فرز حسن النية اختار فعليًا مجموعة أكثر جهوزية للعمل في المعالجة منذ البداية. كانت مقارنة 38% مقابل 24% ملوَّثة بتحيّز الاختيار بالضبط الذي يحذّر منه هذا الموضوع: كان ممكنًا تمامًا أن تكون المجموعة المُدرَّبة قد تفوّقت على بقية الحالات حتى دون أي تدريب على الإطلاق.

بدلًا من الموافقة على التوسيع أو رفضه بتلك المقارنة، اقترحت وحدة تقييم الوزارة مرحلة ثانية باستخدام قرعة. كان الطلب على خدمة التدريب يفوق أصلًا الأماكن المتاحة، فخصَّصت الوحدة الأماكن عشوائيًا بين متقدِّمين متساوين الأهلية وقارنت معدلات التوظيف بين الفائزين والخاسرين بالقرعة، تطبيقًا لمنطق تقييم عشوائي دون الحاجة إلى حجب الخدمة عن أي شخص لم يكن سيتلقّاها بخلاف ذلك. بعد اثني عشر شهرًا، أظهرت مقارنة القرعة أثرًا أصغر لكن حقيقيًا: تحسّن 9 نقاط مئوية في التوظيف خلال ستة أشهر، لا فجوة 14 نقطة التي أوحت بها المقارنة الأصلية. استخدمت الوزارة التقدير القائم على القرعة، إلى جانب بيانات تكلفتها الخاصة، لبناء حالة فعالية تكلفة قابلة للدفاع عنها (انظر الموضوع 2.2 — تحليل التكلفة والعائد الاجتماعي وتحليل فعالية التكلفة) لتوسيع مُقيَّد الموارد، بدلًا من التوسّع الأكبر غير القابل للتسليم الذي كانت ستبرِّره المقارنة الأولية المعيبة.

أربعة منظورات قطاعية

الحكومة المحلية

تُدير الهيئات المحلية عادة برامج كثيرة صغيرة ومتوسطة بدلًا من قليل كبيرة جدًا، ما يجعل التقييمات العشوائية المبنية لغرضها مكلفة نسبة إلى حجم البرنامج ويدفع المقيِّمين المحليين نحو مناهج شبه تجريبية تعيد استخدام بيانات إدارية تُجمَع بالفعل — الفروق في الفروق عبر مناطق خدمة تبنّت تغييرًا في أوقات مختلفة، أو تصميم انقطاع انحداري حول عتبة أهلية محلية. اختلافات الحدود والولاية القضائية التي ستكون إزعاجًا في مكان آخر كثيرًا ما تكون أفضل تجربة طبيعية لمقيِّم محلي، لأن حيَّين أو منطقتين متجاورتين يمكن أن تختلفا في السياسة بينما تظلان متماثلتين في معظم الجوانب الأخرى.

الحكومة الوطنية

تملك الحكومات الوطنية الحجم لتمويل تقييمات عشوائية مبنية لغرضها ومجموعات بيانات إدارية، مرتبطة غالبًا عبر سجلات الضرائب والمنافع والصحة والتعليم، لتشغيل تصاميم شبه تجريبية موثوقة بتكلفة هامشية منخفضة. هذا الحجم أيضًا حيث تميل فرق عمل تقييم "ما ينجح" وإرشادات التقييم المركزية، كدليل تقييم معياري لوزارة مالية، إلى الاستقرار، لأن حكومة وطنية وحدها تستطيع تبرير التكلفة الثابتة لصيانة بنية تقييم دائمة ومعيار منهجي مشترك عبر وزارات كثيرة.

القطاع الاجتماعي وغير الربحي

نادرًا ما تملك المنظمات غير الربحية وغير الحكومية أحجام العينات أو الميزانيات التي يحتاجها تقييم عشوائي جيد القوة، وبرامجها كثيرًا ما تتغيّر تكيفيًا استجابة لما يلاحظه موظفو الخط الأمامي، ما يعقّد أي تصميم يفترض معالجة مستقرة ومُعرَّفة جيدًا. الشراكة مع مجموعة بحث أكاديمية أو وسيط تقييم متخصِّص، من النوع الذي نما حول حركة التقييم العشوائي في التنمية الدولية، غالبًا الطريق الواقعي الوحيد إلى تقدير سببي صارم، وجهات التمويل تطلب بازدياد بالضبط هذا النوع من الشراكة الخارجية قبل الالتزام بمنح متعددة السنوات.

المتعدد الأطراف والدولي

تموِّل الهيئات المتعددة الأطراف برامج عبر بلدان كثيرة بأنظمة بيانات وقدرة إدارية ومعايير مراجعة أخلاقية مختلفة، ما يجعل المناهج السببية المُوحَّدة أصعب تطبيقًا بانتظام لكنه يخلق أيضًا تفاوتًا طبيعيًا عبر البلدان يمكن أن يصبح هو نفسه تجربة طبيعية حين تُتبنَّى سياسة في بعض الدول الأعضاء قبل غيرها. كانت التقييمات العشوائية في اقتصاديات التنمية مؤثرة بوجه خاص على هذا المستوى، مُنتِجة أدلة شكّلت كيفية تخصيص تمويل التنمية الدولية، لكنها تحمل أيضًا مخاطرة موثَّقة لفشل الصلاحية الخارجية: نتيجة تصمد في البلد والسياق المدروسين لا تنتقل تلقائيًا إلى سياق مختلف، تحفّظ يتجاهله كثيرًا تصميم البرامج المتعددة الأطراف.

أنماط الفشل الشائعة

قبل-وبعد الساذج. يُحكَم على برنامج فقط بمقارنة النتائج قبل بدئه بالنتائج بعده، دون أي مجموعة مقارنة على الإطلاق، فيُنسَب خطأً أي اتجاه جارٍ بالفعل — انتعاش اقتصادي، تحوّل ديموغرافي، تغيير سياسة منفصل — إلى البرنامج. التكلفة قصة سببية واثقة مبنية على تصميم لا يستطيع فعلًا موضوع إسهام برنامجك عن كل شيء آخر حدث في الوقت نفسه.

تحيّز اختيار يُخطَأ بوصفه أثر برنامج. يُقارَن مشاركون اختاروا الالتحاق، أو أُحيلوا لأنهم بدوا مرشَّحين للنجاح، بكل شخص آخر، مُنتِجين تقدير أثر هو في الحقيقة مقياس لمن جذبه البرنامج لا لما فعله به. التكلفة برنامج مُوسَّع يبدو أقل فعالية، أحيانًا أقل بكثير، بمجرد وصوله إلى سكان أقل اختيارًا ذاتيًا.

التقييم ناقص القوة المُبلَّغ عنه اكتشافًا فارغًا. تجد تجربة تجريبية صغيرة "لا أثر ذا دلالة إحصائية" وتُقرَأ دليلًا على أن البرنامج لا يعمل، بينما كانت العينة في الحقيقة صغيرة جدًا بحيث لا تكتشف أثرًا بالحجم الذي كان سيهم. تسري التكلفة في الاتجاهين: يمكن إلغاء برنامج فعّال فعلًا بقوة دليل لم يكن قط قادرًا على إظهار أنه نجح، أو تنتقل الموارد لتمويل تجربة أكبر لم تكن ضرورية لو كان الموجز الأصلي مُقوًّى بشكل صحيح.

استقراء تقدير محلي أبعد من سياقه. يُقدِّر تصميم انقطاع انحداري بحق الأثر لوحدات قريبة من عتبة الأهلية، ويُقدِّر تقدير متغيّر أداتي بحق الأثر لوحدات غيّرت الأداة فعلًا حالة معالجتها، لكن يُطبَّق الاكتشافان حينئذ على السكان بأكملهم كما لو صمد التقدير في كل مكان. التكلفة سياسة مُوسَّعة بقوة رقم كان صحيحًا محليًا فقط دائمًا.

التقييم مسرحية. يُكلَّف بتقييم لخلق مظهر صنع قرار قائم على الأدلة، لكن القرار قد اتُّخِذ فعليًا بالفعل، ولم يكن أي اكتشاف معقول ليغيّره. التكلفة ميزانية تقييم مُهدَرة، والأكثر تآكلًا، تآكل بطيء للثقة في التقييم نفسه بمجرد أن يلاحظ الموظفون أن النتائج لا تبدو أبدًا أنها تغيّر النتائج.

نموذج النضج

قائمة التحقق

• اذكر السيناريو المرجعي لكل تقييم برنامج رئيسي في جملة واحدة بلغة بسيطة.
• أكِّد كيف انتهى المشاركون في مجموعة المعالجة، وقيِّم ما إذا كانت تلك العملية نفسها قد تفسِّر فرق النتيجة.
• اختر منهج التقييم (تقييم عشوائي، الفروق في الفروق، تصميم انقطاع انحداري، متغيرات أداتية، أو تجربة طبيعية) ليطابق قاعدة التخصيص الفعلية، قبل بدء التسليم حيثما أمكن.
• احسب القوة الإحصائية اللازمة لاكتشاف أصغر حجم أثر يبرِّر تكلفة البرنامج.
• سجّل مقاييس النتائج وخطة التحليل سلفًا قبل رؤية النتائج.
• أبلِغ عن قابلية مقارنة مجموعتي المعالجة والمقارنة إلى جانب الأثر الرئيسي.
• كلِّف بالتقييم أو راجعه عبر وظيفة مستقلة عن فريق التسليم.
• افصل الدلالة الإحصائية عن الدلالة المالية والعملية في كل تقرير لصانعي القرار.
• خصِّص ميزانية للتقييم كنسبة ثابتة من تكلفة البرنامج في مرحلة التصميم.
• انشر الاكتشافات الفارغة والسلبية بالوضوح نفسه المُعطى للإيجابية.
• تحقّق مما إذا كان تقدير محلي إيجابي (من تصميم انقطاع انحداري أو متغيرات أداتية) يُستقرَأ أبعد من السكان الذين يغطيهم فعلًا.
• وجّه التقييمات المكتملة إلى قاعدة الأدلة الأوسع التي يحفظها قطاعك، لا أرشيفك وحده.

المصادر الرئيسية

• جوشوا د. أنغريست ويورن-شتيفن بيشكه، اقتصاد قياسي غير ضارّ إلى حدّ كبير: رفيق التجريبي — التقليد التطبيقي الذي يقوم عليه جوهر هذا الموضوع المنهجي.
• إطار النتائج المحتملة الذي أضفى عليه دونالد روبين الصيغة الرسمية.
• حركة التقييم العشوائي في السياسة العامة واقتصاديات التنمية، المرتبطة بمختبر عبد اللطيف جميل لمكافحة الفقر (J-PAL) وشبكته الأكاديمية.
• الكتاب الأرجواني لوزارة الخزانة البريطانية — إرشادات تقييم حكومية.
• معايير تعاونية كامبل للمراجعة المنهجية في السياسة الاجتماعية.
• بول ج. غيرتلر وسباستيان مارتينيز وباتريك بريماند ولورا ب. رولينغز وكريستل م. ج. فيرميرش، تقييم الأثر في الممارسة، البنك الدولي.

المراجع

1. Causal inference — Wikipedia — https://en.wikipedia.org/wiki/Causal_inference
2. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
3. Difference in differences — Wikipedia — https://en.wikipedia.org/wiki/Difference_in_differences
4. Regression discontinuity design — Wikipedia — https://en.wikipedia.org/wiki/Regression_discontinuity_design
5. Instrumental variables estimation — Wikipedia — https://en.wikipedia.org/wiki/Instrumental_variables_estimation
6. Natural experiment — Wikipedia — https://en.wikipedia.org/wiki/Natural_experiment
7. Correlation does not imply causation — Wikipedia — https://en.wikipedia.org/wiki/Correlation_does_not_imply_causation
8. Confounding — Wikipedia — https://en.wikipedia.org/wiki/Confounding
9. Selection bias — Wikipedia — https://en.wikipedia.org/wiki/Selection_bias
10. Rubin causal model — Wikipedia — https://en.wikipedia.org/wiki/Rubin_causal_model
11. Hawthorne effect — Wikipedia — https://en.wikipedia.org/wiki/Hawthorne_effect
12. Power (statistics) — Wikipedia — https://en.wikipedia.org/wiki/Power_(statistics)
13. J-PAL (Abdul Latif Jameel Poverty Action Lab) — Massachusetts Institute of Technology — https://www.povertyactionlab.org/
14. Impact Evaluation in Practice — Paul J. Gertler, Sebastian Martinez, Patrick Premand, Laura B. Rawlings, and Christel M. J. Vermeersch, World Bank — https://www.worldbank.org/en/programs/sief-trust-fund/publication/impact-evaluation-in-practice
15. Mostly Harmless Econometrics: An Empiricist's Companion — Joshua D. Angrist and Jörn-Steffen Pischke, Princeton University Press — https://press.princeton.edu/books/paperback/9780691120355/mostly-harmless-econometrics
16. The Magenta Book — HM Treasury — https://www.gov.uk/government/publications/the-magenta-book
17. Campbell Collaboration — Campbell Collaboration — https://www.campbellcollaboration.org/
18. What Works Network — UK Cabinet Office — https://www.gov.uk/guidance/what-works-network