המסתורין של היעלמות ההטבות הנעלמות The Mystery of the Vanishing Benefits

המסתורין של היעלמות ההטבות הנעלמות

הקדמה של גברת “Speedy האנליסט ” להערכה

Martin Ravallion

הבנק העולמי, קבוצת מחקר ופיתוח

יולי 1999

סיכום ממצאים

המדריך הזה להערכת השפעה (של רפורמות) מוצג על דוגמה של מדינה מדומה של LABAS. הממשלה התחילה רפורמה נגד עוני לפני 12 חודשים בתמיכה של הבנק העולמי. התוכיות מיועדת להעביר תשלומים למשפחות עניות עם ילדים בגיל בית ספר. כדי להיות זכאיות, למשפחות צריכות להיות מאפיינים המראים שהם עניות. כדי להמשיך לקבול תשלומים, מאפייני משקי הבית צריכים להראות כי הם עניים. הילדים חייבים ללכת לבתי ספר עד גיל 18. שם התוכנית PROSCOL.

הממשלה רוצה להעריך את PROSCOL ולהחליט להרחיב אותה או לעצור. שר האוצר מבקש מגב’ ” Speedy האנליסט ” להשתמש בכלי שלה להערכת תכניות חברתיות שכולל:

• שיטות סטטיסטית, רנדומליות, התאמה, שיטת הפרשים, ועוד;
• משתני פיקוח, אינסטרומנטליים, רגרסיות, יעוד;
• שימוש בקבוצות התאמה;
• מקורות נטיות;
• סקרים מכוונים;
• מדדי עוני;
• השוואת עוני עם ובלי התוכנית.

לפני 12 חודשים הממשלה התחילה את התוכנית PROSCOL בתמיכה של הבנק העולמי. התוכנית מיועדת להעברת תשלומים למשפחות על ילדים בגיל בית ספר. מאפייני המשפחות צריכים להעיד על עוני שלהן. המשפחות חייבות לשלוח את הילדים לבית ספר עד לגיל 18. מנהל ארצי של הבנק ל- LABAS ביקש מהממשלה להעריך את התוכנית ולעזור להחליט להרחיב אותה או לעצור. המשרד לפיתוח חברתי (MSD) מנהל את PROSCOL. עם זאת, הבנק מבקש משר האוצר להעריך את התוכנית ביחידה מרכזית של הממשלה. הממשלה הסכימה, והתקשרו לגב’ ” Speedy האנליסט”.

לה יש תואר שני בכלכלי יישומית מהאוניברסיטה המקומית. סגן השר פנה אליה: ” Speedy, הממשלה משקיעה הרבה כסף בתוכנית, והשר רוצה לדעת כמה העניים מרוויחים. תוכלי לעשות את ההערכה?”.

Speedy חושבת כי המטרות הוגדרו לא מספיק ברור. מה זאת אומרת “מרוויחים”?

“אשתדל, מר סגן השר. בבקשה, תגדיר את מטרות PROSCOL”.

סגן השר עונה – להוריד רמת העוני ב- LABAS – עכשיו ובעתיד.

Speedy עונה: “התשלומים מיועדים להוריד עוני שוטפת, והדרישה להשאיר את הילדים בבית הספר מיועדת להוריד עוני בעתיד”. “זה נכון, Speedy”. Speedy: “אנו צריכים לדעת האם התשלומים מועברים למשפחות עניות, ובכמה התוכנית מגדילה את שיעור הלומדים בבית ספר?”.

“נכון. יש לנו קובץ ממשרד של פיתוח חברתי”.

בהערה 1 סוכמו השיטות בהן Speedy השתמשה בהערכה.

המסתורין התגלה

Speedy מוצאת כי בקובץ מ- MSD יש מידה שתעזור. הקריטריונים הוגדרו על בסיס פרוקסי שונים, כולל מספר אנשים במשק בית, השכלה של ראש משק בית, ומאפייניי הדיור. PROSCOL משלמת סכום קבוע עבור ילדים בגיל בית ספר בתנאי שהילדים מגיעים ל- 85% מהשיעורים, וזה מתועד על ידי בית הספר.

הערה 1. שיטות של הערכת ההשפעה של התוכנית

רנדומליות בחירה אקראית של קבוצות להשוואה.

התאמה הקבוצה להשוואות מתאימה לקבוצה לטיפול בעזרת מדד הנטיה – הסתברות חזויה של השתתפות בהינתן מאפיינים הצפים.

השוואות רפלקסיביות כאשר סקר “בסיסי” של המשתתפים נעשה לפני ההתערבות.

שיטות של הפרשי ההפרשים

שיטות של משתנים אינסטרומנטליים אשר מתיחסים להשתתפות ולא לתוצאות בתנאי של השתתפות.

הקובץ כולל את הדו”ח על המשתתפים ב- PROSCOL המבוסס על ראיונות איכותניים ועל קבוצות מיקוד. לא ידוע האם המרואיינים השתתפו ב-  PROSCOL, או עד כמה הם היו עניים יחסית לאלה שלא השתפו בתוכנית. Speedy לא ידעה האם הילדים היו הולכים לבית ספר ללא השתתפות בתכנית.

Speedy חושבת: ” הדו”ח הוא ההתחלה עם זאת הוא אינו אומר עד כמה המשתתפים עניים ואיך התוכנית משפיעה על לימודים בבית ספר. אני צריכה נתונים מפורטים ומדויקים”. לכן Speedy מכינה הערה 2:

ללמוד היטב את התוכנית;

למוד מפה של עוני, שוק העבודה, מבנה אתני של האוכלוסייה,  

שימוש בנתונים אחרים פרט לתוכנית,

לארגן מבנה הנתונים,

ועוד דרישות לנתונים – מדדים ומשתנים מסבירים.

לפני 9 חודשים בוצע סקר של “תקני קיום” (LBS, הלשכה לסטטיסטיקה ב- LABAS): 10,000 משקי בית ענו על השאלות על הכנסה, תעסוקה, הוצאות, בריאות, השכלה, דמוגרפיה, ועוד. שאלה על ההכנסה כללה שורה הקשורה להכנסה שהתקבלה מ- PROSCOL. לאחר שיחה לא טובה עם ראש LBS , Speedy אינה בטוחה כי היא תקבל את הנתונים הגולמיים. אבל לאחר כמה חודשים של של בקשות וטלפונים,  Speedy מקבלת העתק המסמכים היא צריכה כדי לקרוא את הנתונים. היא משתמשת בחבילה סטטיסטית SAPS כדי להכין טבלאות לפי עשירונים כאשר הנתונים ממויינים לפי הכנסה לנפש. מהטבלאות נובע כי התוכנית מיועד ת בפועל לצרכים של עניים. 30% מהמדגם, העניים ביותר, מקבלים 70% מהתשלומים מ- PROSCOL. ומה בנוגע להשפעה על הלימודים? היא משווה בטבלה אחרת לימודים בבית ספר אצל משתתפים ולא משתתפים ב- PROSCOL. בשני המקרים ההרשמה אצל ילדים בגיל 6-18 שווה בערך 80%.

Speedy מחשבת שנות לימוד ועושה תרשימים למשתתפים ולא משתתפים ב- PROSCOL. התוצאות דומות מאוד.

Speedy האנליסט מבקרת את מר Statistica בלתי מוטה

Speedy מבקרת את מר Statistica בלתי מוטה ב- LBS. היא שואלת אותו על שיוויון התוצאות על הלימודים. Statistica עונה כי יכול להיות שיש הטיה כאן. היתרון בלימודים הודות לתוכנית הוא ההבדל בהגעה לבית הספר לאותם הילדים עם ובלי התוכנית. עליך להשתמש במשפחות ללא PROSCOL כקבוצה להשוואה ולהסקה מה יהיה עם המשתתפים ב- PROSCOL ללא התוכנית. Statistica מסביר ל- Speedy ביטויים מתמטיים כאשר Pi=1 הוא ערך כאשר הילד משתתף בתוכני, ו- Pi=0 הוא הערך כאשר הילד אינו משתתף בתוכנית (Pi מסמן השתתפות של ילד מספר i בתוכנית). לאחר מכן Statistica מסביר את פירוש של התוחלת של הערך G: G = E(SI -Soi I Pi=1). (חלק מהאותיות לא מוסבר במאמר זה). מוסבר מושג של ממוצע קאונטר-פקטואלי (counter-factual) – בין ילדים שמשתתפים בתוכנית לבין המקר כאשר אותם הילדים אינם משתתפים. אבל הנתנים האלה, מסכם מר Statistica, אינם קיימים. שר האוצר רוצה לדעת עד כמה פחות היה מספר הילדים הלומדים ללא התוכנית. זה לא ניתן להעריך בלי להתגבר עם ההטיה (bias). הדרך הטובה ביותר. ממשיך Statistica, לקבוע, משתתף/לא משתתף בתוכנית, באקראי. אז למשתתפים ולא משתתפים תהיה אותה תוחלת תקופה של לימודים בהעדר התוכנית. לימודים במשפחות שאינן משתתפות, ישקף נכון גורם קאונטר-פקטואלי, כלומר, לימודים למשתתפים במידה ולא הייתה להם אפשרות להשתתף. גם כאן תהיה הטיה אבל הודות לגודל המדגם (גדול) נוכח להניח כי כל הבדל מובהק סטטיסטית בלימודים בין משתתפים ולא משתתפים מוסבר הודות לתוכנית.

Speedy מבינה שהיא צריכה לבדוק כי ההשתתפות בתוכנית אינה רנדומלית. אם יתברר כי התוכנית מיועדת למשפחות עניות אשר, כנראה, לא ישלחו את הילדים לבית ספר, זה מביא להטיה. אם PROSCOL עובדת טוב, אז צפוי כי למשתתפים תהיה פחות אחזו לימודים להעדר התוכנית. החישובים במקרה זה לא יעריכו מספיק את תועלת התוכנית.

Speedy מנתחת. נניח כי משפחות עניות שולחות את הילדים שלהן לעבודה ולא ללימודים. מפחות יותר עשירות שולחות את הילדים לבית ספר. התוכנית בוחרת במשפחות עניות, והן שולחות את הילדים לבית ספר. ההשפעה של התוכנית חיובית אבל ההבדל בלימודים במשפחות המשתתפות, לבין המשפחות שאינן משתתפות, קטן מאוד. כל זה יכול להביא להערכת חוסר של התוכנית בנושא של לימודים.

ביקור לכלכלנית Tangential (כאן  Tangentialבמובן: כל דבר צריך להיות על חשבון של משהו אחר)

Speedy עושה ביקור לכלכלנית Tangential של משרד האוצר המתמחה במימון חברתי. Tangential אומרת לה. “עשית הערכת יתר ברווח העניים מהתוכנית כי התעלמת מההכנסה שהמשפחות לא יקבלו. הילדים חייבים ללכת לבית ספר כדי לקבל תשלום. לכן הם לא יכולים לעבוד. ילדים בגיל 15-18 יכולים להרוויח כשני שליש משכר מבוגרים. משפחות בתוכנית יאבדו את ההכנסה, ואת צריכה לקחת את זה בחשבון בחישוב הכנסה נטו בתוכנית. אז תדעי כמה משפחה עניה תקבל ללא התשלום מהתוכנית. לכן אני מניחה כי הטבלה שלך מעריכה יתר את הרווח מהתוכנית לעניים”.

Speedy: למה אני צריכה לחסר את ההכנסה של עבודת ילדים? פחות עבודה כזו בטוח דבר טוב. “כמובן, יש להתיחס ליתרונות של הירידה בעבודת ילדים, וכתוצאה – עליה במספר הלומדים בבית ספר. את חושבת על עליה בהכנסה הנוכחית, ובהכנסה העתידית. השפעת עבודה של ילדים מתיחסת לשתיים, אבל בכיוונים ההפוכים. PROSCOL צריך לשקול את התרומות”.

Speedy מבינה כי יותר זמן בלימודים אולי בא על חשבון של הזמן בו הילדים לא עובדים. Tangential מציעה להריץ רגרסיה של שנות לימודים על קבוצת משתני פיקוח וגם על ההשתתפות, כן או לא, ב- PROSCOL. לילד i במדגם:

כאן a, b, c – פרמטרים,

X – ווקטור משתני פיקוח: גיל הילד, השכלה של ההורים, מאפיינים דמוגרפיים,

 – שארית הרגרסיה.

אומד של b נותן השפעת PROSCOL על לימודים. Tangential משתמשת במשוואת הרגרסיה ומסבירה ל- Speedy את הפירוש של b. Speedy מריצה את הרגרסיה עם ובלי משתני הפיקוח. ללא משתני הפיקוח, המקדם b אינו שונה באופן מובהק מ-0. עם משתני הפיקוח, המקדם חיובי ומובהק, ובמקרה זה התוכנית מוסיפה שנתיים של לימודים עד לגיל 18. Speedy חושבת: מדוע משתני הפיקוח עושים את ההבדל? והאם השתמשתי במשתני הפיקוח הנכונים? אני צריכה יותר עזרה.

הפרופסור Chisquare  עוזר להסביר את התוצאות

Speedy מתיעצת עם הפרופסור Chisquare אשר היה מורה שלה באוניברסיטה. היא מראה לו את הרגרסיות. הפרופסור אומר לה: הרגרסיה שלך של P על X אינה מאפשרת להשפעת התכנית להשתנות עם X. ההשפעה זהה לכל אחד, וזה לא נראה הגיוני. “כן”, עונה לו Speedy. “יותר סיכוי שההורים עם יותר השכלה ישלחו את הילדים שלהם לבית ספר, כך שהרווח שלהם מ- PROSCOL  יהיה נמוך יותר”.

הפרופסור מציע: כדי שרווח מהתוכנית ישתנה ביחד עם X, נציין  שנות לימודים, ממוצע, של אלה שלא משתתפים בתוכנית, ו-  – של אלה שמשתתפים.

אז רמת הלימודים היא

כאן ,  טעויות מקריות, כל אחת עם ממוצע אפס ואינה מתואמת עם X. הרגרסיה המורחבת נרשמת כך:

כאן .

אז  השפעת התוכנית בכל ערך X נתון. אם תשתמשי בערך ממוצע של X במדגם של המשתתפים, תקבלי רווח ממוצע שלהם מהתוכנית.

 הפרופסור ממשיך. פקודת REGRESS  ב- SAPS משתמשת בשיטת הריבועים הפחותים (OLS). כדי שאומדי OLS יהיו ללא הטיה, המשתנים באגף הימין צריכים להיות אקסוגניים. זאת אומרת, הם מוגדרים ללא תלות באפשרות של לימודים, כך שאינם מתואמים עם שאריות רגרסיה. Speedy נזכרת שהשתתפות המשפחות הוגדרה באופן שאינו אקראי. הפרופסור מסביר שזה מביא לכך ש-  תלוי ב- P.

Speedy נזכרת שגם Statistica היה מודאג לגבי ההטיה הנובעת מבחירת ההשתתפות לא באקראי.

הפרופסור רושם את המשוואה ל-P: . המשוואה הזו ליניארית אבל P יכול לקבל רק שני ערכים, 0 או 1. הערכים החזויים יכולים להיות שליליים, או גדולים מ- 1. כדי לקבל אומד של b ללא הטיה, X צריך לכלול את כל המשתנים ב- Z אשר משפיעים על לימודים, והשארית v צריך להיות בלתי מתואם עם השארית  מהרגרסיה ללימודים. הפרופסור מסביר מדוע זה עושה P אקסוגני ברגרסיה ללימודים, הודות ל- P בלתי מתואם עם . לאחר ההסברים של הפרופסור על בחירת משתני הפיקוח ב- X, הוא מוסיף. יש כאן שתי בעיות. ראשית, השיטה אינה עובדת אם לשארית v יש שונות 0, וכל הגורמים המשפיעים על ההשתתפות משפיעים גם על הלימודים. במקרה זה הרגרסיה לא מאפשרת את האמידה. שנית, ממוצע של השארית  יכול להיות שונה מ- 0, ולכן השיטה של OLS יכולה להביא להטיה. כך שחשוב שלא יהיה מתאם בין השארית במשוואה להשתתפות לבין השארית במשוואה ללימודים.

Speedy לומדת איך להרכיב יותר טוב את הקבוצה להשוואה

Speedy שואלת את הפרופסור איך היא יכולה להרכיב את הקבוצה להשוואה.

“תשווי רמות הלימודים בתנאי על המאפיינים שנצפו. תחלקי את המדגם בקבוצות עם ערכים דומים של X. תשווי ממוצעים בתנאי למשפחות עם וללא PROSCOL. אם לימודים בהעדר התוכנית אינם תלויים בהשתתפות, ב- X נתון, אז ההשוואה תיתן את השפעת PROSCOL ללא הטיה. Speedy מסכמת. הדרך הטובה להרכיב את הקבוצה להשוואה, היא להשתמש כפיקוח לכל משתתף, משפחה שאינה משתתפת עם אותם מאפיינים. אבל זה קשה כי יש הרבה משתנים. אני יכולה לא למצוא לא-משתתף עם אותם המאפיינים.

הפרופסור מסביר דרך טובה יותר להרכבת קבוצה להשוואה על ידי התאמה של ערך חזוי של P , בהנתן X, מה שנקראה  ציון היתכנות של X. (ציטוט ותיאור המאמר המתאים). כיוון שציון היתכנות זה מספר אחד, יותר קל לפקח עליו מאשר על X, שזה ווקטור.

Speedy: עושים רגרסיה של P על X כדי לקבל תחזית של P לכל X. לכל משתתף, אמצא לא-משתתף עם ערך ההסתברות החזויה הקרוב ביותר. ההבדל בלימודים יהיה הרווח מהתוכנית למשתתף.

בעקרון, זה נכון, עונה לה הפרופסור. את יכולה לקחת ממוצע של כל ההבדלים להעריך את ההשפעה. או ממוצעים לקבוצות הכנסה שונות. עם זאת, המודל הליניארי יכול לתת הסתברות גדול מ- 1, או שלילי. יותר טוב להשתמש בפקודה LOGIT ב-SAPS. (הסבר קצר על המודל LOGIT (מודל בינרי)). המלצה על המאמר של Hechman בנושא ההשוואה בין התצפיות ומשתני פיקוח. עוד: בהרכבת הקבוצה להשוואה יש להתעלם מהלא-משתתפים אשר להם יש ציון היתכנות נמוך מאשר לכולם. ו-X צריך לכלול את כל המשתנים המציינים על עוני לפי השימוש בהם בבחירת המשתתפים ב- PROSCOL. רנדומליות מאפשרת להתגבר על הבעיות הנ”ל. אבל לצערנו זה לא המקרה עם PROSCOL. Speedy מסכמת בהערה 3 את הצעדים הדרושים להתאמה של ציון היתכנות.

הערה 3. עדים בהתאמה

צעד 1. מדגמים רפרזנטטיביים לסקר משתתפים ולא משתתפים.

צעד 2. איחוד שני המדגמים ואמידת המודל LOGIT של השתתפות בתוכנית.

צעד 3. לחשב הסתברויות של השתתפות בתוכנית בעזרת הרגרסיה LOGIT.

צעד 4. להוציא חלק מהמדגם של לא-משתתפים אם ציון היתכנות שלהם נמוך יותר מדי.

צעד 5. במדגמים של משתתפים ולא-משתתפים, לכל משתתף למצוא לא-משתתף הקרוב ביותר אליו לפי ציון היתכנות.

צעד  6. בעזרת תוצאות הרגרסיה, לחשב רווח הודות להשתתפות בתוכנית.

צעד 7. לחשב ממוצע של הרווחים כדי לקבל סה”כ של הרווח מההשתתפות בתוכנית.

דאגות, ומה לא ניתן לצפות

כל השיטות המתוארות עד עכשיו, תאפשרנה להתעלם מההטיה רק אם הגורמים של לימודים שאינם נכללים ב-X, אינם מתואמים עם השתתפות בתוכנית. ישנן שתי סיבות של ההטיה – הודות לגורמים שהיתן לצפות אותם, וגורמים שלא ניתן לצפות אותם. המקרה האחרון נקרא “הטיית בחירה”.

הערה 4. מקורות ההטייה באמידה נאיבית של השפעת PROSOL

• הטייה בגלל הבדלים במאפיינים הנצפים.
• הטייה בגלל הבדלים במאפיינים הבלתי נצפים.

לא בהכרח שני מקורות ההטייה עובדים באותו הכיוון. לכן הסרה של אחד מהם אינה אומרת על כך שההטייה סה”כ תפחת בערך המוחלט.

Chisquare מוסיף כי במידה והבחירה של המשתתפים בתוכנית היא אנדוגנית בגלל גורמים בלתי נצפים, זה עלול להביא להטייה. זה נקרא לפעמים “בחירה בין בלתי נצפים”.

Speedy מעירה כי תנאים הדרושים לשיטה של Tangential אינם מגבילים יותר מאלה הדרושים לשיטה הראשונה שלה המבוססת על השוואת משפחות PROSCOL עם משפחות שהן לא ב- PROSCOL, למשפחות עם ערכים דומים בווקטור X של הגורמים.

Speedy מצטערת שלא נעשה סקר התחלתי

Speedy שואלת את Chisquare האם קיימת שיטה פרט לשיטה רנדומלית, אשר מטפלת היטב בגורמים הבלתי נצפים הבעייתיים? Chisquare: יש משהו את יכולה לעשות אם קיימים נתונם על המשתתפים ולא משתתפים שנאספו לפני PROSCOL התחילה. את אוספת נתונים על התוצאות והגורמים לקבוצות משתתפים ולא משתתפים, לפני ואחרי תחילת PROSCOL. לאחר מכן את משווה הבדלים בין המשתתפים לבין לא משתתפים, לפני ואחרי PROSCOL. השיטה נקראת אמידת “הפרשי הפרשים”. Chisquare מפתח משוואות מתמטיות המאפשרות להשתמש בנתונים התחלתיים (שנאספו לפני הפעלת PROSCOL) בנוכחות נתונים בלתי-נצפים ובעייתיים, המתואמים עם השתתפות בתוכנית. Chisquare מוסיף כי אם נתונים בלתי-נצפים ובעייתיים אינם משתנים למשך הזמן, השינויים בלימודים למשך הזמן מראים מה יכול לקרות בקבוצת המשתתפים לולא התוכנית. Chisquare משלים את הניתוח המתמטי שלו בעזרת הוספת איברים נוספים למשוואת הרגרסיה, המאפשרים לפקח על הפרשים בתנאים התחלתיים היכולים להשפיע על השינויים למשך הזמן בתוצאות. ועוד: שיטת השוואת ציוני ההיתכנות, אותה Chisquare הסביר למעלה, יכולה לוודא כי הקבוצה להשוואה דומה לקבוצת המשתתפים, לפני מעבר לשיטת הפרשי הפרשים (Heckman et al.,, 1998).

Speedy חוששת: בסקר חוזר לא קל למצוא את כל משקי הבית שנסקרו בסקר ההתחלתי. חלק מאלה שהשתתפו בסקר ההתחלתי, לא רוצים להתראיין שוב, או שהם עברו לגור במקום לא ידוע. Chisquare עונה: אם הנשירה מהסקר אקראית, אז הסקר החוזר עדיין יהיה יצוגי לאותה האוכלוסייה מהסקר ההתחלתי. אם יש נטייה שיטתית באנשים עם מאפיינים מסויימים, לצאת מהמדגם, זה מביא לבעייה של הטיית נשירה (attrition bias).

הערה 5. שימוש בהפרשי ההפרשים

השיטה מאפשרת השוואה בין המשתתפים לקבוצת ההשוואה, הן לפני הן לאחר ההתערבות.

צעד 1. סקר התחלתי, לפני ההתערבות, הכולל משתתפים ולא-משתתפים.

צעד 2. לאחר התחלת התוכנית, דרוש עוד סקר, או כמה סקרים, עם שאלון דומה.

צעד 3. לחשב הפרשים ממוצעים בין התוצאות “לפני” ו”אחרי”, לקבוצות של המשתתפים ושל ההשוואה.

צעד 4. לחשב הפרשים בין שני ההפרשים הממוצעים. זה אומד של השפעת התוכנית.

Chisquare מזכיר ל- Speedy על משתנים אינסטרומנטליים

Speedy: אין לי סקר התחלתי לאותם משקי הבית. האם יש עוד שיטה היציבה לגורמים בלתי נצפים ובעייתיים? Chisquare: אם כן, את צריכה משתנים אינסטרומנטליים (IV). זה פתרון קלסי לבעיה עם משתנה מסביר אנדוגני. IV זה מקור של שונות, ניתן לצפייה, בהשתתפות בתוכנית. הוא מתואם עם P, אבל לא ברגרסיה ללימודים, והוא אינו מתואם עם שארית ε במשוואה ללימודים. צריך לפחות משתנה אחד ב- Z שהוא לא ב- X, ולא מתואם עם ε. אומד בעזרת IV של השפעת התוכנית מתקבל בעזרת החלפת P בערך חזוי שלו, מותנה ב- Z. כיוון שהערך החזוי הזה תלוי רק ב- Z, אשר אקסוגני, ו- Z לא מתואם עם ε, הגיוני ליישם OLS לרגרסיה חדשה זו. כן, אמרה Speedy, ערכים חזויים תלויים רק בשונות אקסוגנית הודות ל- IV, ובמשתנים אקסוגניים אחרים, לכן עכשיו גורמים בלתי צפויים אינם בעייתיים כי הם אינם מתואמים עם השארית ברגרסיה של לימודים. Chisquare מסביר עוד כמה פרטים המאפשרים להשתמש ב- IV בנוחות.

עם כן, מוסיף Chisquare, אם המשתנה המוסבר יכול לקבל רק שני ערכים אפשריים, בבית ספר או לא בבית ספר, את צריכה להשתמש במודלים לא-ליניאריים בינריים, Logit או Probit. העקרון של בחינת אקסוגניות של השתתפות בתוכנית דומה גם במקרה זה. מאמרים של Rivers and Vuong (1988), Blundell and Smith (1993).

Speedy חוזרת למחשב שלה

למדתי הרבה, אבל מה אגיד למי שנתן את המשימה? Speedy מחליטה לנסות שיטה של השוואת ציוני היתכנות אותה הציע Chisquare. המודל Logit של השתתפות נראה הגיוני, וממנו נובע כי PROSCOL ממוקד היטב. לכל המשתנים הקשורים לעוני, מקדמי המודל חיוביים ומובהקים. היא מבצעת השוואה של ציוני היתכנות. היא מוצאת כי לילדים בקבוצה להשוואה, שיעור ההרשמה 60%, ואילו במשפחות המשתתפות ב-  PROSCOL, שיעור ההרשמה 80%.

היא חוזרת עכשיו להערות של גב’ Tangential על ההכנסה שלא התקבלה. היא רואה כי קיים סקר של עבודת ילדים מתחת לגיל 16 ב- LABAS. ממנו ניתן לחשב את ההכנסה מעבודת ילדים ולחסר אותה מההכנסה הכללית. עדיין, בהתחשב בהכנסה מעבודת הילדים, שני שליש מהמשתתפים בתוכנית הם מתחת לקו העוני ב-LABAS.

עכשיו Speedy יכולה לחשב את שיעור העוני עם ובלי PROSCOL. היא מוצאת כי שיעור העוני הנצפה בצפון-מערב LABAS והשווה 32%, היה שווה 36% לולא PROSCOL. התוכנית מאפשרת ל- 4% של האוכלוסייה לצאת מעוני. הישגים בהרשמה בבתי ספר אומרים כי יהיו רווחים כספיים ולא-כספיים בעתיד.

הערה 6. שימוש בהפרשי ההפרשים

מדד העוני הפשוט ביותר הוא חלק מהאוכלוסייה הגר במשקי בית עם הכנסה לנפש מתחת לקו העוני. המדד לא אומר כלום על התפלגות ההכנסה מתחת לקו העוני.

מדד נפוץ אחר הוא מדד של פער העוני (PG). לכל משק בית PG הוא ההפרש בין קו העוני להכנסת בית המשק. לאלה שמעל קו העוני, PG שווה 0. PG ממוצע בכל משקי הבית נקרא מדד פער העוני. מדד PG אומר על השפעת התוכנית על עומק העוני, אבל הוא אינו משקף שינויים בהתפלגות העוני לפני התוכנית.

מדדים אחרים, “רגישים להתפלגות”, הם מדד ריבועי PG, ומדד Watts המחושב כממוצע של לוגריתם של היחס בין קו העוני להכנסה של בית המשק (Atkinson, 1987).

Speedy עושה את החישובים לגבי כמה קווי עוני. לקו העוני עבורו 50% מהאוכלוסייה עניים, היחס הזה היה 52% ללא PROSCOL. לקו העוני עבורו 15% מהאוכלוסייה עניים, היחס הזה היה 19% ללא PROSCOL. הסיכום נתון בהערה 7.

הערה 7. השוואה ביון עוני עם ובלי התוכנית

בחישוב הפשוט מופיע רק מספר אחד. יותר טוב לאפשר לא להשתנות יחד עם מאפייני בתי משק. לאחר מכן אפשר לסכם את המידע בצורה של עקומות שכיחות של עוני (PIC – poverty incidence curves), עם ובלי התוכנית.

צעד 1. הכנסה לאחר התוכנית לכל משק בית, במדגם המכיל משתתפים ולא-משתתפים; מספר אנשים בכל משק בית; מספר אנשים סה”כ במדגם (N).

צעד 2. להכין עקומים של המידע בצורה של PIC. בציר אנכי נמצא אחוז האוכלוסייה הגרה במשקי בית עם ההכנסה קטנה או שווה לערך בציר האופקי.

צעד 3. לחשב התפלגות הכנסה לפני התוכנית, ואחרי התוכנית, לכל בית משק. לחזור על צעד 2. זה נותן PIC לפני התוכנית.

ניתוח עקומות PIC למדדי עוני שונים.

מפגש מקרי עם סוציולוג Sensible (הגיוני)

הסוציולוג Sensible עובדת בארגון לא ממשלתי ב- LABAS. Sensible אומרת ל- Speedy שהיא לא יודעת הרבה על השיטות הסטטיסטיות בהן Speedy השתתפה, אבל היא מכירה את PROSCOL. מהניסיון שלה, לא כל המשתתפים בתוכנית עניים, אבל רובם – כן. PROSCOL עוזר. עם זאת, אני לא בטוחה לגבי הסיפור על “ההכנסה שלא התקבלה” של Tangential. לפעמים לכלכלנים יש רעיונות מוזרים. ראיתי הרבה ילדים ממשפחות עניות שגם עבדו וגם הלכו לבית ספר. וחלק מילדים שלא הלכו לבית ספר לא עבדו. אולי Tangential צודק באופן תיאורטי, אבל אני לא יודעת כמה זה חשוב במציאות.

“אולי, את צודקת. אני צריכה לבדוק את ההפרש בכמות עבודת ילדים בין ילדי PROSCOL לקבוצת ההשוואה”, אומרת Speedy.

Sensible אומרת: כל בתי ספר מקבל מקומות להשתתפות ב- PROSCOL אפילו אם באזור שלו גרים מעט משפחות עניות. לכן אם משפחה עניה גרה באזור של עשירים יחסית (וכולם שייכים לאותו בית הספר), יש לה סיכויים גבוהים יותר להשתתף בתוכנית. הם רוצים שכל האזורים ישתתפו בתוכנית בגלל סיבות פוליטיות. כתוצאה, עוני יחסית לאחרים באזור שלך חשוב יותר מרמת העוני הנומינלית.

Speedy מסבירה ל- Sensible את הרעיון הנובע מהאזורים עניים/עשירים סביב בתי ספר. מיקום משפיע על השתתפות ב- PROSCOL אבל לא על הרשמה בבית ספר אשר תלויה יותר ברמה נומינלית של עוני ומאפייני המשפחה. לכן הקצאת תקציב PROSCOL לפי בתי ספר יכולה לשמש כמשתנה אינסטרומנטלי כדי להוריד הטייה באמידת השפעת התוכנית.

Speedy מריצה עוד פעם את הרגרסיה ללימודים, והפעם היא מחליפה השתתפות בתוכנית בתחזית ההשתתפות (ציון היתכנות) מהרגרסיה להשתתפות אשר מכילה עכשיו הקצאת התקציב לאזורי בתי ספר. היא מבינה כי מאפייני בתי ספר אשר משפיעים על הקצאת PROSCOL ולא הוכנסו לרגרסיה, ישאירו הטייה באמידת IV. ברגרסיה LOGIT להשתתפות בתוכנית, להקצאת התקציב מקדם חיובי ומובהק. היא מריצה גם רגרסיות לשנות לימוד לבנים ובנות, בנפרד. הן לבנים הן לבנות בגיל 18, התוצאות מראות כי הילדים היו עוזבים בית ספר בשנתיים מוקדם יותר ללא PROSCOL.

Speedy שוב מדווחת למנהל שלה

Speedy מגישה את הדו”ח לסגן השר. הוא נראה מרוצה. “אז PROSCOL עושה די טוב.” מזכיר משרד החוץ מארגן פגישה עם שר, והוא מבקש Speedy להשתתף. השר מעוניין ושואל אותה על היתרונות של PROSCOL. הוא מעריך את המאמצים כדי להבטיח כי קבוצת ההשוואה דומה למשפחות PROSCOL. הוא חושב כי יש להרחיב את PROSCOL ולהכליל את יתר האזורים ב- LABAS. הוא מעריך כי אפשר לעשות את זה תוך שנתיים. הוא מבקש מ- Speedy להמשיך ולעקוב אחר התוכנית.

Speedy מקבלת את ההצעה וממליצה: באזורים אחרים של  LABASלהוציא באופן רנדומלי חלק מהמשפחות המתאימות לתוכנית, מההשתתפות בה. לאחר מכן נעשה סקר חוזר של המשתתפים ואלה שהוצאו מהתוכנית – כדי לקבל אמידה מדויקת יותר.

השר מתנגד להצעה משיקולים פוליטיים. הוא לא רוצה שבעיתונים יכתבו על הוצאה רנדומלית של חלק מהמשפחות, והשארת אותן בעוני. Speedy מסבירה: אין לכם מספיק כסף כדי להריץ את התוכנית בבת אחת, ואתם צריכים להחליט מי מקבל את העזרה בהתחלה. למה לא לעשות בחירה רנדומלית? השר שואל: נוכל לבחור בתי ספר רנדומלית, בגל הראשון? Speedy עונה: כן, זה יעשה בחירה של בית ספר או אזור בית ספר משתנה אינסטרומנטלי טוב להשתתפות בתוכנית.

 :Speedyאם זה לא יעבוד, אדוני השר, נוכל לעשות משהו אחר – לערוך סקר התחלתי לפני שהתוכנית מתחילה בדרום. כמו כן אני רוצה להוסיף כמה שאלות לסקר, על עבודת ילדים.

אפילוג

בעוד 3 שנים. Speedy ראש יחידת ההערכה החברתית והכלכלית החדשה, המדווחת ישירות לשר האוצר. היחידה מעריכה כיום את כל התוכניות החברתיות של LABAS על בסיס קבוע. ל Speedy -יש צוות קבוע של שלושה עוזרים. היא שוכרת באופן קבוע הן את פרופסור Chisquare והן את הסוציולוג Sensible כיועצים. Speedy גם למדה כי הערכה קפדנית של ההשפעה הרבה יותר קשה ממה שהיא חשבה בהתחלה, ואפשר לפעמים לקבל מגוון רחב של אומדנים בהתאם למתודולוגיה של ההערכה.