Hechos clave 29 de Mayo de 2023

Resumen Personal – Kevin Rojas

Mejor selección de subconjunto:

Exhaustivo:

En la selección del mejor subconjunto, ajustamos una regresión de mínimos cuadrados separada
para cada combinación posible de los p predictores y luego observamos todos los modelos
resultantes, con el objetivo de identificar el mejor. Aunque es conceptualmente simple y
teóricamente óptimo, puede ser computacionalmente costoso cuando el número de predictores
p es grande. Este enfoque puede ser muy efectivo para conjuntos más pequeños de predictores.

Selección paso a paso hacia adelante:

La selección paso a paso hacia adelante es una alternativa más eficiente desde el punto de vista
computacional a la selección del mejor subconjunto. Comienza con un modelo que no contiene
predictores y agrega predictores al modelo uno a la vez hasta que todos los predictores están
en el modelo. En cada paso, se agrega al modelo la variable que proporciona la mayor mejora
adicional al ajuste. Este enfoque es codicioso en el sentido de que no considera futuras adiciones
al elegir qué variable agregar a continuación.

Selección por pasos hacia atrás:

A diferencia de la selección por pasos hacia adelante, la selección por pasos hacia atrás comienza
con el modelo de regresión de mínimos cuadrados completo que contiene todos los p
predictores y luego elimina iterativamente el predictor menos útil, uno a la vez. Requiere que el
número de muestras n sea mayor que el número de variables p, para que podamos ajustar el
modelo completo.

Para selección de modelos

BIC

El criterio de información bayesiano (BIC), también conocido como criterio de información de

Schwarz (SIC), es un criterio para la selección de modelos entre un conjunto finito de modelos.
Se basa en la función de probabilidad y está estrechamente relacionado con el criterio de
información de Akaike (AIC).

BIC tiende a favorecer modelos más simples que AIC. Mientras que AIC está diseñado para
seleccionar el modelo que represente más adecuadamente la realidad (y la realidad suele ser
compleja), BIC está diseñado para encontrar el modelo VERDADERO. Cuando el objetivo es
describir los datos y ningún modelo es realmente correcto, a menudo se prefiere AIC. Sin
embargo, en situaciones donde existe un modelo verdadero entre el conjunto de modelos
candidatos, BIC tiende a funcionar mejor.

AIC

Se calcula usando el número de parámetros en el modelo y la probabilidad del modelo. Se

prefiere el modelo con el AIC más bajo. Tiende a elegir modelos más complejos en comparación
con BIC.
R-cuadrado ajustado

Es una modificación de R-cuadrado que se ajusta por el número de predictores en un modelo. A

diferencia de R-cuadrado, el R-cuadrado ajustado aumenta solo si el nuevo predictor mejora el
modelo más de lo que se esperaría por casualidad; disminuye cuando un predictor mejora el
modelo menos de lo esperado por casualidad.

Puntuación de validación cruzada

La validación cruzada proporciona una estimación más fiable del error fuera de la muestra y es
especialmente útil para conjuntos de datos más pequeños. Sin embargo, puede ser
computacionalmente intensivo.

Regresiones Ridge y Lasso

Las regresiones de Ridge y Lasso son técnicas para la regresión lineal regularizada. La
regularización es un proceso de introducción de información adicional para evitar el sobreajuste
y mejorar la generalización del modelo. La información adicional viene en forma de penalización
por complejidad, como la suma de los pesos absolutos para Lasso y la suma de los pesos al
cuadrado para Ridge.

La regresión de Ridge agrega una penalización equivalente al cuadrado de la magnitud de los

coeficientes. Esto ayuda a reducir la complejidad del modelo al disminuir los valores de los
coeficientes, aunque no al cero absoluto.

Lasso (Least Absolute Shrinkage and Selection Operator) adds a penalty equivalent to the
absolute value of the magnitude of coefficients. This can lead to the reduction of some
coefficients to absolute zero, which is equivalent to the variable being excluded from the model.

Métodos de reducción de dimensión

Los métodos de reducción de dimensiones se utilizan cuando tenemos una gran cantidad de
variables predictoras y creemos que hay una menor cantidad de combinaciones lineales de estas
variables que serán suficientes para la tarea de predicción.

PCA es una técnica para reducir la dimensión de un conjunto de datos mediante la creación de
nuevas variables no correlacionadas que maximizan sucesivamente la varianza.

PLS es una técnica que reduce los predictores a un conjunto más pequeño de componentes no
correlacionados y realiza una regresión de mínimos cuadrados en estos componentes, en lugar
de en los datos originales.