线性回归：梯度下降

点击加号图标，详细了解梯度下降背后的数学原理。

在具体层面上，我们可以使用一个小数据集（包含 7 个示例，分别表示汽车的重量（以磅为单位）和每加仑燃油行驶里程数）来逐步完成梯度下降：

1. 模型通过将权重和偏差设置为零来开始训练：
$$ \small{Weight:\ 0} $$ $$ \small{Bias:\ 0} $$ $$ \small{y = 0 + 0(x_1)} $$
2. 使用当前模型参数计算 MSE 损失：
$$ \small{Loss = \frac{(18-0)^2 + (15-0)^2 + (18-0)^2 + (16-0)^2 + (15-0)^2 + (14-0)^2 + (24-0)^2}{7}} $$ $$ \small{Loss= 303.71} $$
3. 计算每个权重和偏置处损失函数切线的斜率：
$$ \small{Weight\ slope: -119.7} $$ $$ \small{Bias\ slope: -34.3} $$

点击加号图标，了解如何计算斜率。

为了获得与权重和偏差相切的直线的斜率，我们对损失函数相对于权重和偏差求导，然后求解方程。

我们将预测方程写为：
$ f_{w,b}(x) = (w*x)+b $。

我们将实际值写为：$y$。

我们将使用以下公式计算 MSE：
$ \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)})^2 $
其中，$i$ 表示第 $i$ 个训练样本，$M$ 表示样本数量。

权重导数

损失函数相对于权重的导数可写为：
$ \frac{\partial }{\partial w} \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)})^2 $


并计算出以下结果：
$ \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)}) * 2x_{(i)} $

首先，我们将每个预测值减去实际值，然后将其乘以特征值的两倍。 然后，我们将总和除以示例数量。 结果是与权重值相切的直线的斜率。

如果我们求解此方程，并将权重和偏差设为零，则会得到 -119.7 的直线斜率。

偏差导数

损失函数相对于偏差的导数可写为：
$ \frac{\partial }{\partial b} \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)})^2 $


并计算得出：
$ \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)}) * 2 $

首先，我们计算每个预测值与实际值之差的总和，然后将该总和乘以 2。然后，我们将总和除以样本数量。结果是与偏差值相切的直线的斜率。

如果我们求解此方程，并将权重和偏差设为零，则会得到 -34.3 的直线斜率。

4. 沿负斜率方向移动少量距离，即可得到下一个权重和偏差。目前，我们将任意定义“少量”为 0.01：
$$ \small{New\ weight = old\ weight - (small\ amount * weight\ slope)} $$ $$ \small{New\ bias = old\ bias - (small\ amount * bias\ slope)} $$ $$ \small{New\ weight = 0 - (0.01)*(-119.7)} $$ $$ \small{New\ bias = 0 - (0.01)*(-34.3)} $$ $$ \small{New\ weight = 1.2} $$ $$ \small{New\ bias = 0.34} $$

使用新的权重和偏差计算损失并重复此过程。完成六次迭代后，我们将获得以下权重、偏差和损失：

您可以看到，随着每次更新权重和偏差，损失会越来越小。 在此示例中，我们在六次迭代后停止了训练。实际上，模型会一直训练，直到收敛为止。 当模型收敛时，额外的迭代不会进一步减少损失，因为梯度下降法已经找到了几乎可将损失降至最低的权重和偏差。

如果模型在收敛后继续训练，损失会开始小幅波动，因为模型会不断更新参数，使其接近最低值。这可能会导致难以验证模型是否已实际收敛。如需确认模型是否已收敛，您需要继续训练，直到损失趋于稳定。