У наступних розділах ми докладніше розглянемо ці два аспекти.
Логістична функція втрат
Вивчаючи модуль "Лінійна регресія", ви використовували квадратичну функцію втрат (інша назва – втрати L2) як функцію втрат. Квадратична функція втрат добре підходить для лінійної моделі, у якої швидкість зміни вихідних значень постійна. Візьмімо лінійну модель $y' = b + 3x_1$: щоразу, коли вхідні дані $x_1$ збільшуються на 1, вихідне значення $y'$ збільшується на 3.
Однак швидкість змін у моделі логістичної регресії не є постійною. Як пояснювалося в розділі "Обчислення ймовірності", сигмоїдна крива має S-подібну форму, а не лінійну. Коли логарифм шансів ($z$) близький до 0, їх незначне збільшення призводить до набагато помітніших змін, ніж якби значення $z$ було великим додатним чи від’ємним числом. У наведеній нижче таблиці показано вихідні дані сигмоїдної функції для вхідних значень від 5 до 10, а також відповідну точність, необхідну для відображення відмінностей у результатах.
Вхідні дані
Логістичні вихідні дані
Необхідна кількість цифр для точності
5
0,993
3
6
0,997
3
7
0,999
3
8
0,9997
4
9
0,9999
4
10
0,99998
5
Якби для обчислення помилок сигмоїдної функції використовувалася квадратична функція втрат, у міру наближення результату до 0 й 1 знадобилося б більше пам’яті, щоб зберегти точність, необхідну, щоб відстежувати ці значення.
Натомість для логістичної регресії використовується логістична функція втрат. Рівняння логістичної функції втрат виводить логарифм величини зміни, а не просто відстань від точки даних до прогнозного значення. Логістична функція втрат обчислюється так:
\((x,y)\in D\) – це набір даних, що містить багато прикладів із мітками, які є парами \((x,y)\) ;
\(y\) – мітка такого прикладу (оскільки це логістична регресія, кожне значення \(y\) має бути 0 або 1);
\(y'\) – прогноз моделі (значення між 0 і 1) з урахуванням набору ознак, які має \(x\).
Регуляризація в логістичній регресії
Регуляризація механізм штрафування складності моделі під час навчання – надзвичайно важлива при моделюванні логістичної регресії. Без регуляризації через асимптотичний характер логістичної регресії втрати продовжували б зменшуватися до 0, якщо в моделі велика кількість параметрів. Тому в більшості моделей логістичної регресії використовується одна з двох стратегій для зменшення їх складності й зменшення перенавчання.
[[["Easy to understand","easyToUnderstand","thumb-up"],["Solved my problem","solvedMyProblem","thumb-up"],["Other","otherUp","thumb-up"]],[["Missing the information I need","missingTheInformationINeed","thumb-down"],["Too complicated / too many steps","tooComplicatedTooManySteps","thumb-down"],["Out of date","outOfDate","thumb-down"],["Translation issue","translationIssue","thumb-down"],["Проблема з кодом або зразками","samplesCodeIssue","thumb-down"],["Other","otherDown","thumb-down"]],["Останнє оновлення: 2025-04-22 (UTC)."],[[["\u003cp\u003eLogistic regression models are trained similarly to linear regression models but use Log Loss instead of squared loss and require regularization.\u003c/p\u003e\n"],["\u003cp\u003eLog Loss is used in logistic regression because the rate of change isn't constant, requiring varying precision levels unlike squared loss used in linear regression.\u003c/p\u003e\n"],["\u003cp\u003eRegularization, such as L2 regularization or early stopping, is crucial in logistic regression to prevent overfitting due to the model's asymptotic nature.\u003c/p\u003e\n"]]],[],null,["[**Logistic regression**](/machine-learning/glossary#logistic_regression)\nmodels are trained using the same process as\n[**linear regression**](/machine-learning/crash-course/linear-regression)\nmodels, with two key distinctions:\n\n- Logistic regression models use [**Log Loss**](/machine-learning/glossary#Log_Loss) as the loss function instead of [**squared loss**](/machine-learning/glossary#l2-loss).\n- Applying [regularization](/machine-learning/crash-course/overfitting/regularization) is critical to prevent [**overfitting**](/machine-learning/glossary#overfitting).\n\nThe following sections discuss these two considerations in more depth.\n\nLog Loss\n\nIn the [Linear regression module](/machine-learning/crash-course/linear-regression),\nyou used [**squared loss**](/machine-learning/glossary#l2-loss) (also called\nL~2~ loss) as the\n[**loss function**](/machine-learning/glossary#loss-function).\nSquared loss works well for a linear\nmodel where the rate of change of the output values is constant. For example,\ngiven the linear model $y' = b + 3x_1$, each time you increment the input\nvalue $x_1$ by 1, the output value $y'$ increases by 3.\n\nHowever, the rate of change of a logistic regression model is *not* constant.\nAs you saw in [Calculating a probability](/machine-learning/crash-course/logistic-regression/sigmoid-function), the\n[**sigmoid**](/machine-learning/glossary#sigmoid-function) curve is s-shaped\nrather than linear. When the log-odds ($z$) value is closer to 0, small\nincreases in $z$ result in much larger changes to $y$ than when $z$ is a large\npositive or negative number. The following table shows the sigmoid function's\noutput for input values from 5 to 10, as well as the corresponding precision\nrequired to capture the differences in the results.\n\n| input | logistic output | required digits of precision |\n|-------|-----------------|------------------------------|\n| 5 | 0.993 | 3 |\n| 6 | 0.997 | 3 |\n| 7 | 0.999 | 3 |\n| 8 | 0.9997 | 4 |\n| 9 | 0.9999 | 4 |\n| 10 | 0.99998 | 5 |\n\nIf you used squared loss to calculate errors for the sigmoid function, as the\noutput got closer and closer to `0` and `1`, you would need more memory to\npreserve the precision needed to track these values.\n\nInstead, the loss function for logistic regression is\n[**Log Loss**](/machine-learning/glossary#Log_Loss). The\nLog Loss equation returns the logarithm of the magnitude of the change, rather\nthan just the distance from data to prediction. Log Loss is calculated as\nfollows:\n\n\\\\(\\\\text{Log Loss} = \\\\sum_{(x,y)\\\\in D} -y\\\\log(y') - (1 - y)\\\\log(1 - y')\\\\)\n\n\u003cbr /\u003e\n\nwhere:\n\n- \\\\((x,y)\\\\in D\\\\) is the dataset containing many labeled examples, which are \\\\((x,y)\\\\) pairs.\n- \\\\(y\\\\) is the label in a labeled example. Since this is logistic regression, every value of \\\\(y\\\\) must either be 0 or 1.\n- \\\\(y'\\\\) is your model's prediction (somewhere between 0 and 1), given the set of features in \\\\(x\\\\).\n\nRegularization in logistic regression\n\n[**Regularization**](/machine-learning/glossary#regularization), a mechanism for\npenalizing model complexity during training, is extremely important in logistic\nregression modeling. Without regularization, the asymptotic nature of logistic\nregression would keep driving loss towards 0 in cases where the model has a\nlarge number of features. Consequently, most logistic regression models use one\nof the following two strategies to decrease model complexity:\n\n- [L~2~ regularization](/machine-learning/crash-course/overfitting/regularization)\n- [Early stopping](/machine-learning/crash-course/overfitting/regularization#early_stopping_an_alternative_to_complexity-based_regularization): Limiting the number of training steps to halt training while loss is still decreasing.\n\n| **Note:** You'll learn more about regularization in the [Datasets, Generalization, and Overfitting](/machine-learning/crash-course/overfitting) module of the course.\n| **Key terms:**\n|\n| - [Gradient descent](/machine-learning/glossary#gradient-descent)\n| - [Linear regression](/machine-learning/glossary#linear_regression)\n| - [Log Loss](/machine-learning/glossary#Log_Loss)\n| - [Logistic regression](/machine-learning/glossary#logistic_regression)\n| - [Loss function](/machine-learning/glossary#loss-function)\n| - [Overfitting](/machine-learning/glossary#overfitting)\n| - [Regularization](/machine-learning/glossary#regularization)\n- [Squared loss](/machine-learning/glossary#l2-loss) \n[Help Center](https://support.google.com/machinelearningeducation)"]]