การถดถอยเชิงเส้น: การลดค่าของ Gradient

คลิกไอคอนเครื่องหมายบวกเพื่อดูข้อมูลเพิ่มเติมเกี่ยวกับคณิตศาสตร์เบื้องหลังการไล่ระดับสี

ในระดับที่เจาะจง เราสามารถดูขั้นตอนการไล่ระดับการไล่ระดับ โดยใช้ชุดข้อมูลขนาดเล็กที่มีตัวอย่าง 7 รายการสำหรับความหนักของรถยนต์ในหน่วยปอนด์ และอัตราการสิ้นเปลืองน้ำมันเป็นไมล์ต่อแกลลอน

1. โมเดลจะเริ่มการฝึกโดยตั้งค่าน้ำหนักและอคติเป็น 0 ดังนี้
$$ \small{Weight:\ 0} $$ $$ \small{Bias:\ 0} $$ $$ \small{y = 0 + 0(x_1)} $$
2. คำนวณการสูญเสีย MSE ด้วยพารามิเตอร์โมเดลปัจจุบัน
$$ \small{Loss = \frac{(18-0)^2 + (15-0)^2 + (18-0)^2 + (16-0)^2 + (15-0)^2 + (14-0)^2 + (24-0)^2}{7}} $$ $$ \small{Loss= 303.71} $$
3. คำนวณความชันของเส้นสัมผัสฟังก์ชันการสูญเสียที่น้ำหนักแต่ละรายการ และอคติ
$$ \small{Weight\ slope: -119.7} $$ $$ \small{Bias\ slope: -34.3} $$

คลิกไอคอนเครื่องหมายบวกเพื่อดูข้อมูลเกี่ยวกับการคำนวณความชัน

หากต้องการหาความชันของเส้นสัมผัสกับน้ำหนักและ อคติ เราจะหาอนุพันธ์ของฟังก์ชันการสูญเสียเทียบกับ น้ำหนักและอคติ แล้วแก้สมการ

เราจะเขียนสมการสำหรับการคาดการณ์ได้ดังนี้
$ f_{w,b}(x) = (w*x)+b $

เราจะเขียนค่าจริงเป็น $ y $

เราจะคำนวณ MSE โดยใช้
$ \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)})^2 $
โดยที่ $i$ แสดงตัวอย่างการฝึกที่ $i$ และ $M$ แสดง จำนวนตัวอย่าง

อนุพันธ์ของน้ำหนัก

อนุพันธ์ของฟังก์ชันการสูญเสียที่เทียบกับน้ำหนักเขียนได้ดังนี้
$ \frac{\partial }{\partial w} \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)})^2 $


และประเมินได้เป็น
$ \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)}) * 2x_{(i)} $

ก่อนอื่นเราจะบวกค่าที่คาดการณ์แต่ละค่าลบด้วยค่าจริง แล้วคูณด้วยค่าฟีเจอร์ 2 เท่า จากนั้นเราจะนำผลรวมไปหารด้วยจำนวนตัวอย่าง ผลลัพธ์คือความชันของเส้นสัมผัสกับค่า ของน้ำหนัก

หากเราแก้สมการนี้โดยกำหนดให้น้ำหนักและอคติเท่ากับ 0 เราจะได้ความชันของเส้นเท่ากับ -119.7

อนุพันธ์ของอคติ

อนุพันธ์ของฟังก์ชันการสูญเสียที่เทียบกับ อคติเขียนได้ดังนี้
$ \frac{\partial }{\partial b} \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)})^2 $


และประเมินเป็น
$ \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)}) * 2 $

ก่อนอื่นเราจะบวกค่าที่คาดการณ์แต่ละค่าลบด้วยค่าจริง แล้วคูณด้วย 2 จากนั้นเราจะหารผลรวมด้วย จำนวนตัวอย่าง ผลลัพธ์คือความชันของเส้น สัมผัสกับค่าของอคติ

หากเราแก้สมการนี้โดยกำหนดให้น้ำหนักและอคติเท่ากับ 0 เราจะได้ความชันของเส้นเท่ากับ -34.3

4. เลื่อนไปเล็กน้อยในทิศทางของความชันที่เป็นลบเพื่อรับ น้ำหนักและอคติถัดไป ตอนนี้เราจะกำหนด "จำนวนเล็กน้อย" เป็น 0.01 โดยพลการ ดังนี้
$$ \small{New\ weight = old\ weight - (small\ amount * weight\ slope)} $$ $$ \small{New\ bias = old\ bias - (small\ amount * bias\ slope)} $$ $$ \small{New\ weight = 0 - (0.01)*(-119.7)} $$ $$ \small{New\ bias = 0 - (0.01)*(-34.3)} $$ $$ \small{New\ weight = 1.2} $$ $$ \small{New\ bias = 0.34} $$

ใช้น้ำหนักและอคติใหม่เพื่อคำนวณการสูญเสียและการทำซ้ำ เมื่อทำกระบวนการนี้ซ้ำ 6 ครั้ง เราจะได้ค่าถ่วงน้ำหนัก อคติ และการสูญเสียดังนี้

คุณจะเห็นว่าการสูญเสียลดลงเมื่อมีการอัปเดตน้ำหนักและอคติแต่ละครั้ง ในตัวอย่างนี้ เราหยุดหลังจากทำซ้ำ 6 ครั้ง ในทางปฏิบัติ โมเดลจะ ฝึกจนกว่าจะ บรรจบกัน เมื่อโมเดลบรรจบกัน การทำซ้ำเพิ่มเติมจะไม่ลด Loss มากขึ้น เนื่องจากการไล่ระดับความชันได้ค้นพบนํ้าหนักและอคติที่ลด Loss ได้เกือบ ต่ำสุดแล้ว

หากโมเดลยังคงฝึกต่อไปหลังจากบรรจบกันแล้ว Loss จะเริ่ม ผันผวนเล็กน้อยเนื่องจากโมเดลจะอัปเดต พารามิเตอร์อย่างต่อเนื่องรอบค่าต่ำสุด ซึ่งอาจทำให้ ตรวจสอบได้ยากว่าโมเดลบรรจบกันจริง หากต้องการยืนยันว่าโมเดล บรรจบกันแล้ว คุณจะต้องฝึกต่อไปจนกว่าการสูญเสียจะ คงที่