선형 회귀: 경사하강법

더하기 아이콘을 클릭하여 경사 하강법의 수학적 원리를 자세히 알아보세요.

구체적인 수준에서 자동차의 무게(파운드)와 연비 등급에 대한 예 7개가 포함된 작은 데이터 세트를 사용하여 경사하강법 단계를 살펴볼 수 있습니다.

1. 모델은 가중치와 편향을 0으로 설정하여 학습을 시작합니다.
$$ \small{Weight:\ 0} $$ $$ \small{Bias:\ 0} $$ $$ \small{y = 0 + 0(x_1)} $$
2. 현재 모델 매개변수로 MSE 손실을 계산합니다.
$$ \small{Loss = \frac{(18-0)^2 + (15-0)^2 + (18-0)^2 + (16-0)^2 + (15-0)^2 + (14-0)^2 + (24-0)^2}{7}} $$ $$ \small{Loss= 303.71} $$
3. 각 가중치와 편향에서 손실 함수의 접선의 기울기를 계산합니다.
$$ \small{Weight\ slope: -119.7} $$ $$ \small{Bias\ slope: -34.3} $$

더하기 아이콘을 클릭하여 경사 계산에 대해 알아보세요.

가중치와 편향에 접하는 선의 기울기를 구하려면 가중치와 편향에 관해 손실 함수의 도함수를 구한 다음 방정식을 풉니다.

예측을 위한 방정식은 다음과 같이 작성됩니다.
$ f_{w,b}(x) = (w*x)+b $

실제 값은 $ y $로 작성됩니다.

다음 공식을 사용하여 MSE를 계산합니다.
$ \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)})^2 $
여기서 $i$ 는 $i$ 번째 학습 예시를 나타내고 $M$ 은 예시 수를 나타냅니다.

가중치 도함수

가중에 대한 손실 함수의 도함수는 다음과 같이 작성됩니다.
$ \frac{\partial }{\partial w} \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)})^2 $


다음과 같이 평가됩니다.
$ \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)}) * 2x_{(i)} $

먼저 각 예측 값에서 실제 값을 뺀 값을 합한 다음 특성 값의 두 배를 곱합니다. 그런 다음 합계를 예시 수로 나눕니다. 결과는 가중치 값에 접하는 선의 기울기입니다.

가중치와 편향이 0인 이 방정식을 풀면 선의 기울기는 -119.7이 됩니다.

편향 도함수

바이어스에 대한 손실 함수의 도함수는 다음과 같이 작성됩니다.
$ \frac{\partial }{\partial b} \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)})^2 $


다음과 같이 평가됩니다.
$ \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)}) * 2 $

먼저 각 예측 값에서 실제 값을 뺀 값을 합한 다음 2를 곱합니다. 그런 다음 합계를 예시 수로 나눕니다. 결과는 편향 값에 접하는 선의 기울기입니다.

가중치와 편향이 0인 이 방정식을 풀면 선의 기울기는 -34.3이 됩니다.

4. 음수 기울기 방향으로 조금 이동하여 다음 가중치와 편향을 얻습니다. 지금은 '소액'을 0.01로 임의로 정의합니다.
$$ \small{New\ weight = old\ weight - (small\ amount * weight\ slope)} $$ $$ \small{New\ bias = old\ bias - (small\ amount * bias\ slope)} $$ $$ \small{New\ weight = 0 - (0.01)*(-119.7)} $$ $$ \small{New\ bias = 0 - (0.01)*(-34.3)} $$ $$ \small{New\ weight = 1.2} $$ $$ \small{New\ bias = 0.34} $$

새 가중치와 편향을 사용하여 손실을 계산하고 반복합니다. 이 프로세스를 6번 반복하면 다음 가중치, 편향, 손실이 나옵니다.

업데이트된 가중치와 편향이 있을 때마다 손실이 낮아지는 것을 확인할 수 있습니다. 이 예에서는 6번의 반복 후에 중지했습니다. 실제로 모델은 수렴될 때까지 학습됩니다. 모델이 수렴되면 경사하강법이 손실을 거의 최소화하는 가중치와 편향을 찾았기 때문에 추가 반복을 해도 손실이 더 줄어들지 않습니다.

모델이 수렴 후에도 계속 학습하면 모델이 최저값 주변의 매개변수를 계속 업데이트하므로 손실이 약간씩 변동하기 시작합니다. 이로 인해 모델이 실제로 수렴되었는지 확인하기 어려울 수 있습니다. 모델이 수렴되었는지 확인하려면 손실이 안정화될 때까지 학습을 계속해야 합니다.