¿Qué es Elastic Net?

La regresión lineal neta elástica utiliza las penalizaciones de las técnicas de lazo y cresta para regularizar los modelos de regresión. La técnica combina el lazo LASSO LASSO, abreviatura de Operador de Selección y Contracción Mínima Absoluta, es una fórmula estadística cuyo objetivo principal es la selección y regularización de características y métodos de regresión de crestas aprendiendo de sus deficiencias para mejorar la regularización de modelos estadísticos.

Red elástica

El método de la red elástica mejora las limitaciones del lazo, es decir, cuando el lazo toma algunas muestras para datos de alta dimensión, el procedimiento de la red elástica proporciona la inclusión de un número "n" de variables hasta la saturación. En el caso de que las variables sean grupos altamente correlacionados, Lasso tiende a elegir una variable de dichos grupos e ignorar el resto por completo.

Para eliminar las limitaciones encontradas en el lazo, la red elástica incluye una expresión cuadrática (|| β || 2) en la penalización, que, cuando se usa de forma aislada, se convierte en regresión de cresta. La expresión cuadrática en la penalización eleva la función de pérdida a convexa. La red elástica se basa en lo mejor de ambos mundos, es decir, regresión de lazo y cresta.

En el procedimiento para encontrar el estimador del método de la red elástica, hay dos etapas que involucran tanto las técnicas de lazo como de regresión. Primero encuentra los coeficientes de regresión de la cresta y luego realiza el segundo paso utilizando una especie de lazo de contracción de los coeficientes.

Este método, por tanto, somete los coeficientes a dos tipos de contracciones. La doble contracción de la versión ingenua de la red elástica provoca una baja eficiencia en la previsibilidad y un alto sesgo. Para corregir tales efectos, los coeficientes se reescalan multiplicándolos por (1 + λ 2 ).

Sumario rápido

  • El método de red elástica realiza la selección y regularización de variables simultáneamente.
  • La técnica de la red elástica es más apropiada cuando los datos dimensionales son mayores que el número de muestras utilizadas.
  • La selección de agrupaciones y variables son los roles clave de la técnica de la red elástica.

Geometría de red elástica

Cuando se traza en un plano cartesiano, la red elástica cae entre los gráficos de regresión de cresta y lazo, ya que es la combinación de esos dos métodos de regresión. El gráfico de la red elástica también presenta singularidad en los vértices, que son importantes para la escasez. También exhibe bordes convexos estrictos donde la convexidad depende del valor de α.

La convexidad también depende del efecto de agrupación que depende de la correlación. Correlación Una correlación es una medida estadística de la relación entre dos variables. La medida se utiliza mejor en variables que demuestran una relación lineal entre sí. El ajuste de los datos se puede representar visualmente en un diagrama de dispersión. de las variables seleccionadas. Cuanto mayor sea la correlación de las variables, mayor será el efecto de agrupación y, por tanto, mayor será el número de variables incluidas en la muestra.

Selección de variables

La construcción de modelos requiere la selección de variables para formar un subconjunto de predictores. Elastic net utiliza el enfoque del problema p >> n, lo que significa que el número de predictores es mayor que el número de muestras utilizadas en el modelo. La red elástica es apropiada cuando las variables forman grupos que contienen variables independientes altamente correlacionadas. Variable independiente Una variable independiente es una entrada, suposición o impulsor que se cambia para evaluar su impacto en una variable dependiente (el resultado). .

La selección de variables se incorpora al procedimiento de construcción del modelo para ayudar a aumentar la precisión. En el caso de que un grupo de variables esté altamente correlacionado y una de las variables se seleccione en la muestra, todo el grupo se incluye automáticamente en la muestra.

Incorporación CATREG

CATREG es un algoritmo que facilita la transformación de variables, tanto lineales como no lineales. El algoritmo utiliza funciones de paso y spline para transformar variables de forma no monotónica o monotónica en transformaciones no lineales. CATREG puede transformar y regularizar simultáneamente variables de forma no monotónica sin que necesariamente sea necesario expandir primero las variables en funciones básicas o variables ficticias.

Las funciones de pérdida neta elástica también se pueden denominar como el tipo restringido de la función de pérdida de regresión de mínimos cuadrados ordinarios. El algoritmo CATREG se incorpora a la red elástica, lo que mejora la eficiencia y simplicidad del algoritmo resultante. En comparación, la red elástica supera al lazo, que a su vez supera a la regresión de la cresta en términos de eficiencia y simplicidad.

Regularización de la red elástica

Durante el procedimiento de regularización, la sección l 1 de la sanción forma un modelo disperso. Por otro lado, la sección cuadrática de la penalización hace que la parte l 1 sea más estable en el camino hacia la regularización, elimina el límite de cantidad de variables a seleccionar y promueve el efecto agrupamiento.

El efecto de agrupación ayuda a que las variables se identifiquen fácilmente mediante la correlación. Eso mejora el procedimiento de muestreo. También aumenta el número de variables seleccionadas, ya que cuando se muestrea una variable en un grupo altamente correlacionado, todas las demás variables de ese grupo se agregan automáticamente a la muestra.

Grados efectivos de libertad

Los grados de libertad efectivos miden la complejidad de un modelo. Los grados de libertad son importantes durante la estimación o la predicción precisa del ajuste de un modelo. Los grados de libertad también se incorporan en el aprendizaje de suavizadores lineales. En cualquier método relacionado con la penalización l 1 , la naturaleza no lineal de los modelos plantea el desafío en el análisis.

Elastic net también se puede utilizar en otras aplicaciones, como en sparse PCA, donde obtiene componentes principales que son modificados por cargas dispersas. La otra aplicación está en la red elástica del kernel, donde se realiza la generación de máquinas kernel de clase con vectores de soporte.

Recursos adicionales

Finance ofrece la certificación Certified Banking & Credit Analyst (CBCA) ™ CBCA ™ La acreditación Certified Banking & Credit Analyst (CBCA) ™ es un estándar global para analistas de crédito que cubre finanzas, contabilidad, análisis crediticio, análisis de flujo de efectivo, modelado de convenios, préstamos reembolsos y más. programa de certificación para aquellos que buscan llevar sus carreras al siguiente nivel. Para seguir aprendiendo y desarrollando su base de conocimientos, explore los recursos financieros relevantes adicionales a continuación:

  • Árbol de decisión Árbol de decisión Un árbol de decisión es una herramienta de apoyo con una estructura en forma de árbol que modela los resultados probables, el costo de los recursos, los servicios públicos y las posibles consecuencias.
  • Variable dependiente Variable dependiente Una variable dependiente es aquella que cambiará dependiendo del valor de otra variable, llamada variable independiente.
  • Regresión lineal múltiple Regresión lineal múltiple La regresión lineal múltiple se refiere a una técnica estadística utilizada para predecir el resultado de una variable dependiente basada en el valor de variables independientes
  • Sobreajuste Sobreajuste El sobreajuste es un término utilizado en estadísticas que se refiere a un error de modelado que se produce cuando una función se corresponde demasiado con un conjunto particular de datos

Recomendado

¿Qué es la relación de deuda a capital?
Guía para el análisis de estados financieros
¿Qué es EV / EBITDA?