רגרסיה לינארית: ירידה בגרדינט

כדי לקבל מידע נוסף על המתמטיקה שמאחורי שיטת הגרדיאנט, לוחצים על סמל הפלוס.

ברמה הקונקרטית, אפשר לעבור על השלבים של ירידת הגרדיאנט באמצעות מערך נתונים קטן עם שבע דוגמאות של משקל מכונית בליברות ודירוג המיילים שלה לגלון:

1. האימון של המודל מתחיל בהגדרת המשקל וההטיה לאפס:
$$ \small{Weight:\ 0} $$ $$ \small{Bias:\ 0} $$ $$ \small{y = 0 + 0(x_1)} $$
2. מחשבים את הפסד ה-MSE באמצעות הפרמטרים הנוכחיים של המודל:
$$ \small{Loss = \frac{(18-0)^2 + (15-0)^2 + (18-0)^2 + (16-0)^2 + (15-0)^2 + (14-0)^2 + (24-0)^2}{7}} $$ $$ \small{Loss= 303.71} $$
3. מחשבים את השיפוע של הטנגנס לפונקציית ההפסד בכל משקל והטיה:
$$ \small{Weight\ slope: -119.7} $$ $$ \small{Bias\ slope: -34.3} $$

כדי לקבל מידע על חישוב השיפוע, לוחצים על סמל הפלוס.

כדי לקבל את השיפוע של הקווים המשיקים למשקל ול-bias, גוזרים את פונקציית ההפסד ביחס למשקל ול-bias, ואז פותרים את המשוואות.

המשוואה ליצירת תחזית תהיה:
$ f_{w,b}(x) = (w*x)+b $.

הערך בפועל יופיע כך: $ y $.

נחשב את MSE באמצעות הנוסחה הבאה:
$ \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)})^2 $
כאשר $i$ מייצג את דוגמת האימון ה-$ith$ ו-$M$ מייצג את מספר הדוגמאות.

משקל נגזר

הנגזרת של פונקציית ההפסד ביחס למשקל נכתבת כך:
$ \frac{\partial }{\partial w} \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)})^2 $


והערך שלה הוא:
$ \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)}) * 2x_{(i)} $

קודם כל מחשבים את הסכום של כל ערך חזוי פחות הערך בפועל ואז מכפילים אותו בערך התכונה כפול שתיים. לאחר מכן מחלקים את הסכום במספר הדוגמאות. התוצאה היא השיפוע של קו המשיק לערך של המשקל.

אם נפתור את המשוואה הזו עם משקל והטיה ששווים לאפס, נקבל את הערך ‎-119.7 עבור השיפוע של הקו.

נגזרת של הטיה

הנגזרת של פונקציית ההפסד ביחס להטיה נכתבת כך:
$ \frac{\partial }{\partial b} \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)})^2 $


והערך שלה הוא:
$ \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)}) * 2 $

קודם מחשבים את הסכום של כל ערך חזוי פחות הערך בפועל ואז מכפילים אותו בשניים. לאחר מכן מחלקים את הסכום במספר הדוגמאות. התוצאה היא שיפוע הקו המשיק לערך של הטיה.

אם נפתור את המשוואה הזו עם משקל והטיה ששווים לאפס, נקבל את הערך ‎-34.3 עבור השיפוע של הקו.

4. כדי לקבל את המשקל וההטיה הבאים, מבצעים תזוזה קטנה בכיוון של השיפוע השלילי. לבינתיים, נגדיר באופן שרירותי את ה"סכום הקטן" כ-0.01:
$$ \small{New\ weight = old\ weight - (small\ amount * weight\ slope)} $$ $$ \small{New\ bias = old\ bias - (small\ amount * bias\ slope)} $$ $$ \small{New\ weight = 0 - (0.01)*(-119.7)} $$ $$ \small{New\ bias = 0 - (0.01)*(-34.3)} $$ $$ \small{New\ weight = 1.2} $$ $$ \small{New\ bias = 0.34} $$

משתמשים במשקל החדש ובטיה כדי לחשב את ההפסד ולחזור על הפעולה. אחרי שש חזרות של התהליך, נקבל את המשקלים, ההטיות וההפסדים הבאים:

אפשר לראות שההפסד קטן יותר עם כל עדכון של המשקל וההטיה. בדוגמה הזו, הפסקנו אחרי שש חזרות. בפועל, המודל עובר אימון עד שהוא מתכנס. כשמודל מתכנס, איטרציות נוספות לא מפחיתות את השגיאה יותר, כי שיטת הגרדיאנט מצאה את המשקלים וההטיה שממזערים את השגיאה כמעט לחלוטין.

אם המודל ממשיך להתאמן אחרי ההתכנסות, ערך הפונקציה מתחיל לנוע בתנודות קלות כי המודל מעדכן כל הזמן את הפרמטרים סביב הערכים הנמוכים ביותר שלהם. לכן קשה לאמת שהמודל באמת התכנס. כדי לוודא שהמודל הגיע למצב של התכנסות, צריך להמשיך באימון עד שההפסד יתייצב.