Regresja liniowa: spadek wzdłuż gradientu

Kliknij ikonę plusa, aby dowiedzieć się więcej o matematyce stojącej za metodą gradientu prostego.

Na konkretnym poziomie możemy prześledzić kroki metody spadku gradientowego, korzystając z małego zbioru danych zawierającego 7 przykładów wagi samochodu w funtach i jego zużycia paliwa w milach na galon:

1. Model rozpoczyna trenowanie od ustawienia wagi i wartości progowej na zero:
$$ \small{Weight:\ 0} $$ $$ \small{Bias:\ 0} $$ $$ \small{y = 0 + 0(x_1)} $$
2. Oblicz błąd MSE przy użyciu bieżących parametrów modelu:
$$ \small{Loss = \frac{(18-0)^2 + (15-0)^2 + (18-0)^2 + (16-0)^2 + (15-0)^2 + (14-0)^2 + (24-0)^2}{7}} $$ $$ \small{Loss= 303.71} $$
3. Oblicz nachylenie stycznej do funkcji straty przy każdej wadze i wartości progowej:
$$ \small{Weight\ slope: -119.7} $$ $$ \small{Bias\ slope: -34.3} $$

Kliknij ikonę plusa, aby dowiedzieć się, jak obliczyć nachylenie.

Aby uzyskać nachylenie linii stycznych do wagi i wartości progowej, obliczamy pochodną funkcji straty względem wagi i wartości progowej, a następnie rozwiązujemy równania.

Równanie do prognozowania zapiszemy w ten sposób:
$ f_{w,b}(x) = (w*x)+b $.

Wartość rzeczywistą zapiszemy jako: $ y $.

Błąd średniokwadratowy obliczamy za pomocą tego wzoru:
$ \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)})^2 $
gdzie $i$ oznacza $i$-ty przykład trenujący, a $M$ oznacza liczbę przykładów.

Pochodna wagi

Pochodną funkcji straty względem wagi zapisujemy jako:
$ \frac{\partial }{\partial w} \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)})^2 $


i ma wartość:
$ \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)}) * 2x_{(i)} $

Najpierw sumujemy każdą wartość prognozowaną pomniejszoną o wartość rzeczywistą, a następnie mnożymy ją przez dwukrotność wartości cechy. Następnie dzielimy sumę przez liczbę przykładów. Wynikiem jest nachylenie linii stycznej do wartości wagi.

Jeśli rozwiążemy to równanie z wagą i wartością progową równą zero, otrzymamy wartość -119,7 dla nachylenia linii.

Pochodna uprzedzeń

Pochodną funkcji straty względem wyrazu wolnego zapisujemy w ten sposób:
$ \frac{\partial }{\partial b} \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)})^2 $


i ma wartość:
$ \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)}) * 2 $

Najpierw sumujemy każdą przewidywaną wartość pomniejszoną o wartość rzeczywistą, a następnie mnożymy ją przez 2. Następnie dzielimy sumę przez liczbę przykładów. Wynikiem jest nachylenie linii stycznej do wartości odchylenia.

Jeśli rozwiążemy to równanie z wagą i wartością progową równą zero, otrzymamy wartość –34,3 dla nachylenia linii.

4. Przesuń się o niewielką wartość w kierunku ujemnego nachylenia, aby uzyskać następną wagę i wartość progową. Na razie zdefiniujemy „niewielką kwotę” jako 0, 01:
$$ \small{New\ weight = old\ weight - (small\ amount * weight\ slope)} $$ $$ \small{New\ bias = old\ bias - (small\ amount * bias\ slope)} $$ $$ \small{New\ weight = 0 - (0.01)*(-119.7)} $$ $$ \small{New\ bias = 0 - (0.01)*(-34.3)} $$ $$ \small{New\ weight = 1.2} $$ $$ \small{New\ bias = 0.34} $$

Użyj nowych wag i odchyleń, aby obliczyć stratę i powtórzyć proces. Po 6 iteracjach otrzymamy te wagi, odchylenia i wartości funkcji straty:

Widać, że z każdą zaktualizowaną wagą i odchyleniem wartość funkcji straty maleje. W tym przykładzie zakończyliśmy proces po 6 iteracjach. W praktyce model trenuje się do momentu, aż zbiegnie się. Gdy model osiągnie zbieżność, dodatkowe iteracje nie zmniejszają już straty, ponieważ metoda gradientu prostego znalazła wagi i wartości progowe, które niemal minimalizują stratę.

Jeśli model nadal trenuje po osiągnięciu zbieżności, strata zaczyna się wahać w niewielkim stopniu, ponieważ model stale aktualizuje parametry wokół ich najniższych wartości. Może to utrudniać sprawdzenie, czy model rzeczywiście osiągnął zbieżność. Aby potwierdzić, że model osiągnął zbieżność, trenuj go dalej, aż wartość funkcji straty się ustabilizuje.