תרגול

חיזוק מושג ה-likelihood

התפלגות Bernoulli, תצפית אחרי תצפית

עידו בן ארצי · גל עטון · רם אשל

חזרה

θ · החוקיות החבויה בטבע

↓   Bernoulli(θ)   ↓

y · התצפיות שבידינו

מהי פונקציית הנראות (Likelihood)?

פונקציית הנראות מתארת את ההסתברות שהמודל ייצר את הנתונים הספציפיים שנאספו במדגם, עבור ערכי פרמטר \(\theta\) אפשריים.

ובמילים פשוטות: עד כמה הנתונים שראינו צפויים תחת כל אחד מערכי הפרמטר האפשריים?

תצפיות שיש יותר דרכים שבהן הן יכולות לקרות, הן יותר סבירות.

\[P(Y \mid \theta = \mathord{?})\]

חשוב לזכור: פונקציית הנראות אינה התפלגות הסתברות על פני הפרמטר, משום שהיא אינה מסתכמת ל-1. תפקידה הוא רק לאפשר לנו להשוות את הסבירות היחסית של ערכי פרמטר שונים בהינתן הנתונים הקבועים שנאספו במדגם.

מה החוקיות ביישוב?

הסיפור: בבית החולים של יישוב מסוים נרשמו 90 לידות. אנחנו מנסים ללמוד מה החוקיות ביישוב לגבי מין הילוד: θ, ההסתברות שתינוק שנולד שם הוא בן. θ מכוסה, ואף אחד לא יודע אותו. θ מוגרל מחדש בכל טעינה ובכל “איפוס” (בין 0.10 ל-0.90), כך שגם המרצה לא יודע אותו מראש. “דגימה”: 90 לידות חדשות מאותו θ. כל לחיצה נוספת היא מדגם חדש, והטבלה מתעדכנת: אפשר להראות שמדגם אחר נותן מספרים אחרים. “חישוב נראות”: כל לחיצה מוסיפה שורה, מלמעלה למטה. בשורה הראשונה, θ = 0, לשאול את הכיתה לפני הלחיצה מה ייצא: בעולם שבו כל התינוקות בנות לא תיתכן אף לידה של בן, ולכן 0. אותו דבר יקרה ב-θ = 1. בשורה של השיא לשאול: הנראות היא בסביבות 10 בחזקת מינוס 26. האם זה אומר שהעולם הזה כמעט בלתי אפשרי? לא, כל רצף מסוים של 90 לידות נדיר מאוד. משווים בין הערכים, ולכן כשהטבלה מתמלאת מופיעה העמודה “יחסי”. “טבלה מלאה” ממלאת את השורות שנשארו בבת אחת. אז מופיע מחוון: θ הוא מספר רציף, ואפשר לחשב את הנראות לכל ערך בין 0 ל-1. בסוף: “גילוי הפרמטר”. בטבלה מודגשת השורה הקרובה ביותר לערך האמיתי.

אותו דבר, בגרף

כמו הגרף הריק בדף העבודה: ציר θ מלמטה, “יחסי” בצד. “חישוב נראות” מוסיף בכל לחיצה עמודה אחת, משמאל לימין. “התפלגות רציפה” משלימה את העמודות שנשארו ומוסיפה את העקומה, שעוברת בדיוק דרך ראשי העמודות.

מה לזכור

• likelihood של ערך פרמטר: עד כמה הנתונים שראינו צפויים, אילו זה היה הערך האמיתי.
• חישוב נראות: θ^k × (1 − θ)^n−k
• הערכים עצמם קטנים מאוד כש-n גדל. מה שיש לו משמעות הוא היחס בין ערכים, ולכן מחלקים בסכום.

ומה עוד

• הסכום על פני הערכים אינו 1. likelihood היא הסתברות של הנתונים בכל עולם, לא הסתברות של θ.
• ככל שיש יותר תצפיות, העקומה צרה יותר.
• שאלת השבוע: במחקר אמיתי אין כפתור “גילוי הפרמטר”. איך נדע כמה השיא של העקומה קרוב ל-θ? בשבוע הבא: Bayesian ו-Frequentist.