الانحدار الخطي: أسلوب التدرّج المتّجه

انقر على رمز الإضافة لمعرفة المزيد عن العمليات الحسابية التي تستند إليها طريقة "النزول التدريجي".

على مستوى ملموس، يمكننا استعراض خطوات نزول التدرّج باستخدام مجموعة بيانات صغيرة تتضمّن سبعة أمثلة على وزن السيارة بالرطل ومعدّل استهلاكها للوقود بالكيلومترات لكل غالون:

1. يبدأ النموذج التدريب من خلال ضبط الوزن والانحياز على صفر:
$$ \small{Weight:\ 0} $$ $$ \small{Bias:\ 0} $$ $$ \small{y = 0 + 0(x_1)} $$
2. احسب خسارة متوسط الخطأ المربع باستخدام مَعلمات النموذج الحالي:
$$ \small{Loss = \frac{(18-0)^2 + (15-0)^2 + (18-0)^2 + (16-0)^2 + (15-0)^2 + (14-0)^2 + (24-0)^2}{7}} $$ $$ \small{Loss= 303.71} $$
3. احتساب ميل المماس لدالة الخسارة عند كل وزن والتحيز:
$$ \small{Weight\ slope: -119.7} $$ $$ \small{Bias\ slope: -34.3} $$

انقر على رمز الإضافة للتعرّف على كيفية حساب الميل.

للحصول على ميل الخطوط المماسّة للوزن والانحياز، نحسب مشتقة دالة الخسارة بالنسبة إلى الوزن والانحياز، ثم نحل المعادلات.

سنكتب معادلة إجراء التوقّعات على النحو التالي:
$ f_{w,b}(x) = (w*x)+b $.

سنكتب القيمة الفعلية على النحو التالي: $ y $.

سنحتسب متوسط الخطأ التربيعي باستخدام المعادلة التالية:
$ \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)})^2 $
حيث يمثّل $i$ المثال التدريبي رقم $i$ ويمثّل $M$ عدد الأمثلة.

مشتق الوزن

يمكن كتابة مشتقة دالة الخسارة بالنسبة إلى الوزن على النحو التالي:
$ \frac{\partial }{\partial w} \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)})^2 $


وتكون قيمتها:
$ \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)}) * 2x_{(i)} $

نجمع أولاً كل قيمة متوقّعة مطروحًا منها القيمة الفعلية، ثم نضرب الناتج في ضعف قيمة السمة. بعد ذلك، نقسّم المجموع على عدد الأمثلة. والنتيجة هي ميل الخط المماس لقيمة الوزن.

إذا حللنا هذه المعادلة باستخدام وزن وانحياز يساويان صفرًا، سنحصل على -119.7 لميل الخط.

مشتقة الانحياز

يمكن كتابة مشتق دالة الخسارة بالنسبة إلى الانحياز على النحو التالي:
$ \frac{\partial }{\partial b} \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)})^2 $


وتكون النتيجة:
$ \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)}) * 2 $

أولاً، نجمع كل قيمة متوقّعة مطروحًا منها القيمة الفعلية، ثم نضرب الناتج في اثنين. ثم نقسم المجموع على عدد الأمثلة. والنتيجة هي ميل الخط المماس لقيمة الانحياز.

إذا حللنا هذه المعادلة باستخدام وزن وانحياز يساويان صفرًا، سنحصل على -34.3 لميل الخط.

4. حرِّك مقدارًا صغيرًا في اتجاه الميل السالب للحصول على الوزن والانحياز التاليَين. في الوقت الحالي، سنعرّف بشكل عشوائي "المبلغ الصغير" على أنّه 0.01:
$$ \small{New\ weight = old\ weight - (small\ amount * weight\ slope)} $$ $$ \small{New\ bias = old\ bias - (small\ amount * bias\ slope)} $$ $$ \small{New\ weight = 0 - (0.01)*(-119.7)} $$ $$ \small{New\ bias = 0 - (0.01)*(-34.3)} $$ $$ \small{New\ weight = 1.2} $$ $$ \small{New\ bias = 0.34} $$

استخدِم الوزن والانحياز الجديدَين لاحتساب الخسارة وكرِّر العملية. بعد إكمال العملية لست مرات، سنحصل على الأوزان والانحيازات والخسائر التالية:

يمكنك ملاحظة أنّ الخسارة تنخفض مع كل وزن وانحياز معدَّلَين. في هذا المثال، توقّفنا بعد ست تكرارات. من الناحية العملية، يتم تدريب النموذج إلى أن يتقارب. عندما يتقارب النموذج، لا تؤدي التكرارات الإضافية إلى تقليل الخسارة بشكل أكبر لأنّ عملية "النزول التدريجي" قد عثرت على الأوزان والانحياز اللذين يقلّلان الخسارة إلى أدنى حدّ.

إذا استمرّ النموذج في التدريب بعد التقارب، سيبدأ معدّل الخطأ في التقلّب بكميات صغيرة لأنّ النموذج يواصل تعديل المَعلمات حول أدنى قيمها. ويمكن أن يصعّب ذلك التحقّق من أنّ النموذج قد تقارب بالفعل. للتأكّد من أنّ النموذج قد تقارب، عليك مواصلة التدريب إلى أن يستقر معدّل الخطأ.