Ordinary least squares OLS

שיטת הריבועים הפחותים

שיטת הריבועים הפחותים (Ordinary Least Squares, OLS) היא שיטת האומדן הנפוצה ביותר באקונומטריקה, והיא מהווה את הבסיס לרוב העבודה האמפירית בתחום כלכלת החינוך. שיטה זו משמשת לאומדן של יחסי גומלין, סיבתיים או אחרים, בין משתנה תלוי (או תוצאתי) לבין משתנה בלתי תלוי (או מסביר) אחד או יותר. ישנן סיבות רבות מדוע OLS היא השיטה המועדפת עבור אומדנים כאלו: מדובר בשיטה קלה לחישוב, קלה לפירוש, ובעלת תכונות חיוביות בהינתן הנחות חלשות יחסית. מאמר זה מספק סקירה קצרה של מספר אספקטים שונים של שיטה זו.

המנגנון של OLS

המטרה של רוב החישובים האמפיריים היא לאמוד יחסי גומלין סיבתיים בין משתנה מסביר למשתנה תלוי – כלומר, ההשפעה של המשתנה המסביר על המשתנה התלוי, בהינתן שכל שאר הנתונים נשארים קבועים. לדוגמא, חוקר אשר מעוניין לבדוק כיצד מספר התלמידים בכיתה (המשתנה המסביר) משפיע באופן סיבתי על ציוני אותם תלמידים (המשתנה התלוי). חוקרים רבים מעוניינים לעתים קרובות לאמוד השפעות סיבתיות מפני שהן רלוונטיות ביותר כאשר באים לקבוע מדיניות מסוימת. אם נמשיך את הדוגמא הקודמת, בכדי להמחיש באופן מדויק את השפעותיה של מדיניות צמצום מספר התלמידים בכיתה, יש להעריך את ההשפעה של צמצום מספר התלמידים ובו זמנית לשמור את שאר הגורמים שעלולים להשפיע על ציוני התלמידים כקבועים. שיטת ה-OLS מאפשרת אומדן של השפעות סיבתיות כאלו, בהינתן תנאים מסוימים. אם תנאים אלו אינם נשמרים, OLS מאפשר במקום זאת אומדן של קורלציה חלקית בין מספר התלמידים בכיתה לבין ציוני התלמידים. קורלציות חלקיות כאלו יכולות להיות שימושיות במקרים מסוימים, כמו לדוגמא בתיאור פשוט של יחסי גומלין, אך לרוב הן אינן מועילות כאשר דנים במדיניות. המטרה של חלק זה במאמר היא לתאר את התנאים שבהתקיימם אומדני OLS מאפשרים להסיק מסקנות סיבתיות.

הבה נניח כי חוקר מסוים אסף נתונים לגבי משתנה תלוי (y) ומשתנים מסבירים n (x1, x2,…,xn). הפרקטיקה המקובלת היא ליצור מודל של היחסים הסיבתיים בין המשתנה התלוי למשתנה המסביר באמצעות פונקציה ליניארית בעלת פרמטרים בלתי ידועים (β0, β1,…,βn) (1):

y = β0 + β1×1 + β2×2 + …βnxn + Ɛ

כאשר β0, β1,…,βn הם פרמטרים בלתי ידועים אותם אנו מבקשים לאמוד (באמצעות OLS או שיטה אחרת) ו-Ɛ הינו משתנה טעות, אשר מראה שינויים ב-y שאינם קשורים לשונות במשתנים המסבירים שנכללים במודל.

ההנחה היא כי הפרמטרים הבלתי ידועים מודדים (או אומדים) את היחסים הסיבתיים בין כל משתנה מסביר כשלעצמו לבין המשתנה התלוי. לדוגמא, β1 מודד את ההשפעה של x1 על y , ובאותו זמן שומר את שאר המשתנים המסבירים הידועים והגורמים הבלתי ידועים כקבועים. השאלה העיקרית עליה החוקר נדרש לענות היא כיצד לאמוד את הפרמטרים הבלתי ידועים האלו.

OLS  מהווה אפשרות אחת כזו. הרעיון מאחורי השיטה הוא כי היא בוחרת אומדנים של הפרמטרים הבלתי ידועים כך שהמודל הליניארי המוצג במשוואה 1 תואם את הנתונים במידה האפשרית המדויקת ביותר. לשם כך, אומדן ה-OLS עושה בדיוק את מה ששמו מרמז – הוא מפיק אומדני פרמטרים שמצמצמים את סכום הפער הריבועי בין המשתנה התלוי והפונקציה הליניארית עצמה. הנוסחא עצמה עבור אומדני ה-OLS היא אינה חלק ממאמר זה. בפרקטיקה, חוקרים מסתמכים על תוכנות סטטיסטיות סטנדרטיות (אקסל, Stata, SPSS, SASS וכדומה) כדי להגיע לאומדני OLS.

פרשנות אומדני OLS

אומדני OLS של הפרמטרים במשוואה 1, שלרוב מכונים אומדני מקדמים, הם בעלי פרשנות פשוטה. כל אומדן מקדם של בטא (מסומנים β^0,β^1,…,β^n) מספק אומדן של השינוי בערך הצפוי של המשתנה התלוי עבור עלייה של יחידה אחת במשתנה המסביר הצמוד למקדם, ובאותו זמן שומר את שאר המשתנים המסבירים כקבועים. לדוגמא, β^1 מספק אומדן של השינוי בערך הצפוי של y עבור עלייה של יחידה אחת ב-x1 ובאותו זמן שומר את שאר המשתנים המסבירים (x2,x3,…,xn) כקבועים. יש לציין כי הפרשנות אינה כוללת שמירה של משתנה הטעות כקבוע, כך שאומדני ה-OLS אינם משמשים אוטומטית לפרשנות סיבתית אלא אם כן אנחנו קובעים הנחה לגבי היחסים בין המשתנה המסביר לבין גורמים בלתי ידועים הכלולים במשתנה הטעות. בהנחה זו נדון בחלק הבא במאמר.

בחינה קרובה יותר של מנגנון האומדן של OLS מראה באופן ברור מה מייצגים האומדנים. תוצאה ידועה היטב באקונומטריקה היא כי אומדן ה-OLS לגבי β1 ממשוואה 1 הוא זהה לאומדן ה-OLS אליו הגענו מהרגרסיה של y על השאריות מהרגרסיה של x1, על כל שאר המשתנים המסבירים במודל. כאן, השאריות הן פשוט השונות בין כל x1 בודד כשלעצמו לבין פונקצית הרגרסיה המוערכת שקיבלנו מהרגרסיה של x1 על פני כל שאר המשתנים המסבירים. תוצאה זו מראה כי אומדני ה-OLS מייצגים את היחסים בין המשתנה התלוי והשונות בכל משתנה מסביר בודד, אשר אינה מוסברת על ידי השונות בשאר המשתנים המסבירים. במילים אחרות, מקדמי אומדני ה-OLS מודדים כיצד y משתנה, עם השתנות בלתי תלויה ברובה בכל משתנה מסביר בודד.

תכונות אומדני ה-OLS

המפתח לרוב המחקר בתחום החינוך הוא ביסוס טיעון סיבתי. חלק זה במאמר דן בתנאים הנחוצים בכדי שאומדן OLS יספק אומדנים אמינים של ההשפעה הסיבתית שהוגדרה במשוואה 1. בפרקטיקה, רוב הויכוח סביב התוקף של התוצאות האמפיריות במחקרים בתחום החינוך מתמקד בשאלה האם כלי האומדן בהם אנו משתמשים במהלך המחקר עונים על התנאים המפורטים כאן. כלי האומדן נחשב כמתאים, באופן כללי, כאשר הוא עונה על שני תנאים. ראשית, החשוב ביותר, הוא צריך לספק אומדנים אשר, בממוצע, הם שווים להשפעה הסיבתית, תכונה הידועה בתור חוסר הטיה (Unbiasedness). שנית, אם האומדן הוא אכן בלתי מוטה, הוא צריך להיות בעל שונות קלה כך שכל טעות באומדן ההשפעה הסיבתית תהיה קטנה ככל האפשר.

הרעיון של חוסר הטיה מתייחס לשאלה האם ההתפלגות של כלי האומדן מתרכזת בפרמטר בו אנו עוסקים, שבמקרה זה ההנחה היא כי מדובר בהשפעה סיבתית בלתי ידועה. האומדן הוא בלתי מוטה אם, עבור כל גודל דגימה, האומדן הוא בעל ערך ממוצע השווה להשפעה הסיבתית אותה בודקים. כלומר, אם אומדן ה-OLS במודל נתון הוא בלתי מוטה, אז אם נמשיך לדגום ולאמוד את המודל האמפירי, ממוצע אומדני ה-OLS יהיה שווה להשפעה הסיבתית הנידונה. חוסר הטיה פירושו כי הממוצע של כלל האומדנים שהושגו מהדגימות יהיה שווה להשפעה הנבדקת. בין אומדנים אלה תתקיים שונות, ולכן הצורך בטעויות מתוקננות, אשר מאפיינות את שונות זו.

על מנת שאומדני OLS יהיו בלתי מוטים, הם צריכים לענות על מה שמכונה תנאים אקסוגניים (exogeneity conditions). אומדן ה-OLS הוא בלתי מוטה כאשר, תלוי בכל משתנה מסביר בודד במודל, משתנה הטעות הוא בעל ערך צפוי השווה לאפס. בהקשר של המודל במשוואה 1, תנאי זה פירושו E[Ɛ|x1,x2,…,xn] = 0. באופן אינטואיטיבי יותר, על מנת שתנאי אקסוגני זה יתקיים, כל משתנה מסביר בודד צריך להיות, באופן חלקי, ללא קורלציה עם גורמים בלתי ידועים אשר משפיעים על המשתנה התלוי.

למרות שהתנאים הדרושים עבור אומדן OLS בלתי מוטה נראים על פניו פשוטים, חוקרים נתקלים פעמים רבות באתגרים נכבדים כאשר הם מנסים לבסס אקסוגניות. אנדוגניות (endogeneity), ההפרה של תנאי האקסוגניות, יכולה להתרחש בגלל מספר גורמים. הנפוצים ביותר ביניהם הם משתנים שהושמטו, טעויות במדידה, סיבתיות הפוכה (או סימולטניות), או דגימה בלתי-רנדומאלית מקרב האוכלוסייה. בכל מקרה, כאשר גורמים בלתי ידועים המשפיעים על המשתנה התלוי הם בעלי קורלציה עם משתנה מסביר, התוצאה היא כי אומדן ה-OLS יהיה מוטה, ולכן אינו יכול להבטיח אומדנים שיהיו, בממוצע, שווים להשפעה הסיבתית. כאשר אומדנים הם מוטים, החוקרים לרוב מסוגלים לצפות את כיוון ההטיה. כאשר אומדן OLS צפוי לספק אומדנים שהם גדולים מההשפעה הסיבתית, נאמר כי האומדן מוטה מעלה, או סובל מהטיה כלפי מעלה (upward bias). אומדן כלפי מטה (downward bias) מתרחש כאשר האומדן צפוי לספק אומדנים שהם קטנים מההשפעה הסיבתית.

בעוד שחשוב כי כלי האומדן יספק אומדנים שהם, בממוצע, שווים להשפעה הסיבתית הנבדקת, נתון נוסף שלו צריך לדאוג הוא השונות, או מידת הדיוק של האומדן. השינוי באומדן מאפיין את מידת ההתרחקות של האומדנים מהממוצע. שונות גדולה יותר פירושה התפזרות גדולה יותר של תוצאות האומדנים. כלי האומדן האידיאלי הוא כזה שמאופיין בחוסר הטיה והוא בעל שונות קטנה, כך שהוא מספק אומדנים שיהיו קרובים ככל האפשר להשפעה הסיבתית הנבדקת.

עד עתה, הראנו כי OLS הוא קל לחישוב וקל לפירוש. בנוסף, כלי זה הוא בלתי מוטה, תחת התנאים המוכרים. מאפיינים אלו מסבירים מדוע OLS הוא כלי אומדן כה פופולארי. עם זאת, קיים יתרון משמעותי נוסף ל-OLS על פני שיטות אחרות. בהינתן הנחות נוספות לגבי השונות והשונות המשותפת של משתנה הטעות (הנחת ההומוסקדסטיות וטעויות ללא קורלציה), אומדן ה-OLS הוא בעל השונות הקטנה ביותר מבין כל האומדנים הבלתי מוטים הפוטנציאליים של הפרמטרים במשוואה 1. תוצאה זו ידועה בתור משפט גאוס-מקרוב, ופירושו הוא כי בהינתן ההנחות שהוזכרו כאן, OLS הוא כלי האומדן המתאים ביותר עבור אומדן של הפרמטרים הסיבתיים במשוואה 1 מפני שהוא בלתי מוטה ומפיק את האומדנים המדויקים ביותר מבין כל כלי האומדן האפשריים האחרים.

דוגמא: ההשפעה הסיבתית של מספר התלמידים בכיתה על הישגי התלמידים

הדוגמא של אומדן ההשפעה הסיבתית של מספר התלמידים בכיתה על הישגיהם היא יעילה לשם המחשת הרעיונות המרכזיים בהם מאמר זה עוסק. הבה נניח כי חוקר מסוים אסף נתונים לגבי מספר התלמידים בכיתה (size), ציוני התלמידים (score), וניסיון המורה (exper), ויצר את המודל האמפירי הבא (2):

Score = β0 + β1size + β2exper + Ɛ

כאן, ההנחה היא כי β1 מודד (או אומד) את ההשפעה הסיבתית של מספר התלמידים על הציונים, ו-β2 מודד את ההשפעה הסיבתית של ניסיון המורה על ציוני התלמידים. משתנה הטעות Ɛ כולל את כל שאר הגורמים הקשורים לציונים, כולל השפעות הורי התלמידים, איכות בית הספר, והשפעה של תלמידים אחרים.

אומדן ה-OLS של ההשפעה הסיבתית של מספר התלמידים בכיתה ממשוואה 2 (β^1) ניתן לפירוש באופן הבא: β^1 מספק אומדן של השינוי בציון הממוצע בהינתן הוספה של ילד אחד למספר התלמידים בכיתה, בזמן שהוא משאיר את ניסיון המורה כקבוע. באופן דומה, β^2 מודד את השינוי בציון הממוצע בהינתן הוספה של שנה אחת לניסיון המורה, בזמן שהוא משאיר את מספר התלמידים כקבוע. שוב, יש לציין כי אומדני OLS אינן בהכרח אומדנים של השפעה סיבתית, מפני ששינויים במספר התלמידים וניסיון המורה עשויים להיות תואמים לשינויים בגורמים הנכללים במשתנה הטעות. לדוגמא, מספר התלמידים בכיתה עשוי להיות בקורלציה עם השפעת ההורים, אם הורים תומכים נוטים לרשום את ילדיהם לכיתות קטנות. במקרה כזה, אומדן ה-OLS יספק, קרוב לודאי, אומדן של השפעת מספר התלמידים שהוא גדול מההשפעה הסיבתית (הטיה כלפי מעלה).

יש להזכיר כי אומדן OLS הוא בלתי מוטה רק כאשר משתנה הטעות הוא ללא קורלציה עם כל משתנה מסביר בודד הנכלל במודל האמפירי. במקרה כזה, אומדן ה-OLS של ההשפעה הסיבתית של מספר התלמידים וניסיון המורה הוא בלתי מוטה אם משתנים מסבירים אלו הם ללא קורלציה עם השפעת ההורים, איכות בית הספר, השפעת התלמידים האחרים, וגורמים אחרים הנכללים במשתנה הטעות. בנוסף, קורלציה בין משתנה הטעות לבין מספר התלמידים עלולה להתעורר אם מספר התלמידים נמדד באופן שגוי, אם ציוני התלמידים הם בעלי השפעה סיבתית על מספר התלמידים בכיתה (סיבתיות הפוכה), או אם הדגימה המשמשת לאומדן משוואה 2 אינה דגימה רנדומאלית מקרב האוכלוסייה. במקרים אלו, אומדן ה-OLS יהיה מוטה.

דורות של חוקרים הסתמכו על אומדני OLS כדי לאפשר הבנה של יחסי גומלין חשובים המתקיימים בנתונים. מפתה, לעתים קרובות, להגיע למסקנות הנוגעות למדיניות המסתמכות על יחסים אלו, אך מסקנות אלו לרוב נעשות על סמך קורלציות יותר מאשר על בסיס אומדנים אמינים של השפעות סיבתיות. בתור חוקרים בתחום החינוך, או צרכנים של מחקרים כאלו, חשוב להבין כי הרלוונטיות של המדיניות הנשענת על התוצאות האמפיריות תלויה בסבירות של תקפות ההנחה האקסוגנית. אם היא אכן מתקיימת, אז המחקר מספק ראיות שימושיות של ההשפעה הסיבתית. אם אומדן המחקר סובל מאנדוגניות, יש לפרש את התוצאות באופן זהיר ולהימנע מהסקת מסקנות לגבי ההשפעה של מדיניות כזו או אחרת, מפני שייתכן והתוצאות משקפות קורלציה יותר מאשר סיבתיות.