Regresión logística: pérdida y regularización.

Regresión logística los modelos se entrenan con el mismo proceso regresión lineal con las siguientes dos distinciones clave:

• Los modelos de regresión logística usan Pérdida logística como la función de pérdida en lugar de pérdida al cuadrado.
• Aplicación de la regularización es fundamental para evitar sobreajuste.

En las siguientes secciones, se analizan estas dos consideraciones con más detalle.

Pérdida logística

En el módulo Regresión lineal, usaste pérdida al cuadrado (también llamada pérdida L₂) como el función de pérdida. La pérdida al cuadrado funciona bien para una en el que la tasa de cambio de los valores de salida es constante. Por ejemplo: dado el modelo lineal $y' = b + 3x_1$, cada vez que incrementas la entrada valor $x_1$ por 1, el valor de salida $y'$ aumenta en 3.

Sin embargo, la tasa de cambio de un modelo de regresión logística no es constante. Como viste en Calcula una probabilidad, la la curva sigmoidea tiene forma de S. en lugar de lineales. Cuando el valor de logaritmos de probabilidad ($z$) se acerca a 0, el valor es bajo aumentos en $z$ generan cambios mucho mayores en $y$ que cuando $z$ es un valor alto un número positivo o negativo. En la siguiente tabla, se muestran los atributos para valores de entrada de 5 a 10, así como el valor de necesaria para capturar las diferencias en los resultados.

entrada	resultado logístico	dígitos de precisión requeridos
5	0,993	3
6	0,997	3
7	USD 0.999	3
8	0,9997	4
9	0.9999	4
10	0.99998	5

Si usaste una pérdida al cuadrado para calcular los errores de la función sigmoidea, salida se acerca cada vez más a 0 y 1, necesitarías más memoria para conservar la precisión necesaria para rastrear estos valores.

En cambio, la función de pérdida para la regresión logística es Pérdida logística. El La ecuación de pérdida logística devuelve el logaritmo de la magnitud del cambio, en lugar que la distancia de los datos a la predicción. La pérdida logística se calcula sigue:

\(\text{Log Loss} = \sum_{(x,y)\in D} -y\log(y') - (1 - y)\log(1 - y')\)

Donde:

• \((x,y)\in D\) es el conjunto de datos que contiene muchos ejemplos etiquetados, que son \((x,y)\) de pares.
• \(y\) es la etiqueta en un ejemplo etiquetado. Como se trata de regresión logística, cada valor de \(y\) debe ser 0 o 1.
• \(y'\) es la predicción de tu modelo (un valor entre 0 y 1), según el conjunto de atributos en \(x\).

Regularización en la regresión logística

La Regularización, un mecanismo para penalizar la complejidad del modelo durante el entrenamiento, es extremadamente importante en logística y el modelado de regresión. Sin regularización, la naturaleza asintótica de la logística la regresión seguiría generando pérdida hacia 0 en los casos en los que el modelo tenga una gran cantidad de funciones. En consecuencia, la mayoría de los modelos de regresión logística de las siguientes dos estrategias para disminuir la complejidad del modelo:

• Regularización L₂
• Interrupción anticipada: Limitar el número de pasos de entrenamiento para detenerlo mientras la pérdida está sigue disminuyendo.