線性迴歸：梯度下降

按一下加號圖示，進一步瞭解梯度下降背後的數學原理。

具體來說，我們可以透過一個小型資料集逐步瞭解梯度下降步驟，這個資料集包含七個範例，分別是車輛的重量 (磅) 和每加侖汽油可行駛里程數評分：

1. 模型會將權重和偏誤設為零，然後開始訓練：
$$ \small{Weight:\ 0} $$ $$ \small{Bias:\ 0} $$ $$ \small{y = 0 + 0(x_1)} $$
2. 使用目前的模型參數計算 MSE 損失：
$$ \small{Loss = \frac{(18-0)^2 + (15-0)^2 + (18-0)^2 + (16-0)^2 + (15-0)^2 + (14-0)^2 + (24-0)^2}{7}} $$ $$ \small{Loss= 303.71} $$
3. 計算每個權重和偏差的損失函式切線斜率：
$$ \small{Weight\ slope: -119.7} $$ $$ \small{Bias\ slope: -34.3} $$

按一下加號圖示，瞭解如何計算斜率。

如要取得權重和偏差切線的斜率，請根據權重和偏差得出損失函式的導數，然後解出方程式。

我們將預測方程式寫成：
$ f_{w,b}(x) = (w*x)+b $。

我們會將實際值寫為 $ y $。

我們會使用以下公式計算 MSE：
$ \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)})^2 $
其中 $i$ 代表第 $i$ 個訓練範例，$M$ 代表範例數量。

重量衍生值

損失函式對權重的導數可寫成：
$ \frac{\partial }{\partial w} \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)})^2 $


並評估為：
$ \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)}) * 2x_{(i)} $

首先，我們會將每個預測值減去實際值，然後乘以特徵值的兩倍。然後將總和除以範例數量。 結果是與權重值相切的直線斜率。

如果我們以權重和偏差值等於零來解這道方程式，會得到 -119.7 的斜率。

偏差衍生值

損失函式對偏差的導數可寫成：
$ \frac{\partial }{\partial b} \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)})^2 $


並評估為：
$ \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)}) * 2 $

首先，我們會將每個預測值減去實際值，然後乘以 2。然後將總和除以範例數量。結果是與偏差值相切的直線斜率。

如果我們以權重和偏差值等於零來解這道方程式，會得到 -34.3 的直線斜率。

4. 朝負斜率方向移動少量，即可取得下一個權重和偏差。目前，我們會任意將「少量」定義為 0.01：
$$ \small{New\ weight = old\ weight - (small\ amount * weight\ slope)} $$ $$ \small{New\ bias = old\ bias - (small\ amount * bias\ slope)} $$ $$ \small{New\ weight = 0 - (0.01)*(-119.7)} $$ $$ \small{New\ bias = 0 - (0.01)*(-34.3)} $$ $$ \small{New\ weight = 1.2} $$ $$ \small{New\ bias = 0.34} $$

使用新的權重和偏差計算損失並重複。完成六次疊代程序後，我們會得到下列權重、偏差和損失：

您可以看到，每次更新權重和偏差後，損失都會降低。 在本例中，我們在六次疊代後停止。在實務上，模型會持續訓練，直到收斂為止。模型收斂後，額外的疊代不會再減少損失，因為梯度下降已找到可將損失降至最低的權重和偏差。

如果模型在收斂後繼續訓練，損失就會開始小幅波動，因為模型會持續更新參數，使其接近最低值。這會導致難以驗證模型是否確實已收斂。如要確認模型是否已收斂，請繼續訓練，直到損失穩定為止。