Máximas Del Curso Regresión Aprendizaje Teorı́a MV Ajuste

Programa: Especialización en
Estadı́stica
Primera Semana:Intro y Modelo de
Regresión

Carlos Eduardo Alonso-Malaver

3 de mayo de 2021

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MV Ajuste

Table of contents

1 Máximas

2 Del Curso

3 Modelo de Regresión
Exploración

4 Trabajo en R

5 Conceptos y Desarrollos

6 Máxima Verosimilitud

7 Bondad de Ajuste

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MV Ajuste

To err is human, to forgive divine, but to include errors in your

design is statistical.
Leslie Kish

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MV Ajuste

Máximas del Curso

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MV Ajuste

Máximas del Curso

Discutimos para llegar a lo más cercano al ecosistema
(verdad), usando argumentos desde la razón.
La primera persona que gana cuando tú aprendes o
mejoras tu comprensión de algún hecho, eres tú.
Pedir ayuda es de personas inteligentes.
Pedir ayuda de forma oportuna, es de personas sabias.

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MV Ajuste

Del Curso

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MV Ajuste

Del Curso:
Objetivos:
z Enseñar el cómo.
z Sentar los rudimentos iniciales para que sigan
leyendo-creciendo.

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MV Ajuste

Temas a Trabajar

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MV Ajuste

Temas a Trabajar

Modelo de Regresión

Componentes Principales

Métodos de Clasificación - Cluster

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MV Ajuste

Modelo de Regresión

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MV Ajuste

Modelo de Regresión

Objetivo - forma sencilla: explicar el comportamiento de Y a

partir del comportamiento de otras variables (X1 , X2 ).

Yj = β0 + β1 x1j + β2 x2j + . . . + βp xpj + εj j = 1, 2, . . . , T

Ejemplos:
El ingreso laboral (Y ) en función de la Educación (X1 ),
Experiencia (X2 ) y el Sexo (X3 ).
Consumo de combustible (Y ) de vehı́culo en función de la
Cilindraje (X1 ) y peso (X2 ) del vehı́culo.

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MV Ajuste

Análisis de Componentes Principales

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MV Ajuste

Componentes Principales

En el Análisis de Componentes principales - ACP - se parte de

un grupo de k variables, {X1 , X2 , . . . , Xk }, que en general están
altamente correlacionadas y a partir de ellas se quiere construir
un conjunto de k nuevas variables {Z1 , Z2 , . . . , Zk }, cuyas
principales caracterı́sticas son:
Son no correlacionadas
La variable Z1 es la variable que con tiene mayor cantidad
de información contenida en {X1 , X2 , . . . , Xk }, le sigue Z2 ,
y ası́.
Objetivo: En general el ACP se utiliza para reducir el número
de dimensiones (a dos), con el fin de poder graficar y detectar
asociaciones (multivariadas), que son complicadas de observar a
partir de la variables originales.

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MV Ajuste

Métodos de Clasificación

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MV Ajuste

Métodos de Clasificación - Cluster

Objetivo: Agrupar n individuos observados en k grupos.

{I1 , I2 , . . . , In } → {G1 , G2 , . . . , Gk }

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MVExplora
Ajuste

Modelo de Regresión

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MVExplora
Ajuste

Modelo de Regresión

Contenido
1 Ajuste de un Modelo de Regresión - Aprendo Haciendo.
2 Conceptos y Desarrollos - Soporte Teórico.
3 Ajuste de un Modelo de Regresión - Fortalezco lo
Aprendido.

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MVExplora
Ajuste

Modelo de Regresión

Modelo a Trabajar
Yj = β0 + β1 X1j + β2 X2j + . . . + βp Xpj + εj (1)
Componentes
1 Yj : Variable dependiente o a explicar.
2 X1j , X2j , . . . , Xpj : Variables independientes o co-variables.
3 β0 , β1 , . . . , βp : Parámetros a estimar.
4 εj : Término de Error.

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MVExplora
Ajuste

Modelo de Regresión

Etapas para Ajustar un Modelo

1 Exploración.
2 Especificación.
3 Estimación: En éste caso de los parámetros.
4 Evaluación del Modelo: Bondad de Ajuste. ¿La forma
planteada en 1. tiene sentido?.
5 Re-estructuración del Modelo: Principio de Parsimonia.
6 Uso del Modelo: Interpretación modelo y predicción .

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MVExplora
Ajuste

Exploración

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MVExplora
Ajuste

Etapas para Ajustar el Modelo

Exploración
Qué datos tengo?, Qué traen mis datos - Tipos de
Variables Aleatorias. Objetivo: Conocer o reconocer las
variables a trabajar.
Análisis Univariados: Tablas, Barplots e Histogramas.
Objetivo: Observar el comportamiento de las variables a
trabajar.
Análisis Bivariados: Asociación. Objetivo: Seleccionar las
variables que entrarán al modelo.

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MVExplora
Ajuste

Trabajo en R
Data: Eficiencia en el uso del combustible en autos
populares. Nombre: Miles per Gallon (mpg), paquete
ggplot2.
Perı́odo: Años: 1999 y 2008.
Objetivo: Identificar las variables que modifican la
eficiencia en combustible de un auto.

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MVExplora
Ajuste

Exploración

Qué trae mi data?

manufacturer: Trademark.
model:model name.
displ: engine displacement, in litres.
year: year of manufacture.
cyl:number of cylinders.
trans: type of transmission.
drv:f = front-wheel drive, r = rear wheel drive, 4 = 4wd.
cty:city miles per gallon.
hwy: highway miles per gallon.
fl:fuel type.
class: type of car

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MVExplora
Ajuste

Identificando Variables
Variables a Explicar - Variables Dependientes.
Co–Variables - Variables Independientes.

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MVExplora
Ajuste

Exploración

Análisis Univariados
Tablas.
Barplot.
Qué preguntas puedo hacer?

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MVExplora
Ajuste

Diagramas de Barras

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MVExplora
Ajuste

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MVExplora
Ajuste

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MVExplora
Ajuste

Exploración

Asociación
Scatter plot.
Coeficiente de Correlación.
Boxplot
Conclusiones: Variables a tener en cuenta.

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MVExplora
Ajuste

Diagramas de Dispersión - Scatter Plot

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MVExplora
Ajuste

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MVExplora
Ajuste

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MVExplora
Ajuste

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MVExplora
Ajuste

Diagramas de Cajas - Box Plot

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MVExplora
Ajuste

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MVExplora
Ajuste

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MVExplora
Ajuste

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MVExplora
Ajuste

Coeficiente de Correlación.

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MVExplora
Ajuste

Asociación

Covarianza
Asumiendo que se observa (y1 , x1 ), (y2 , x2 ), . . . , (yn , xn ), la
covarianza entre Y y X, γXY , está dada por:
n
P
(yj − y n )(xj − xn )
j=1
γXY =
n−2
n n
1 P 1 P
Donde y n = n yj y x n = n xj .
j=1 j=1

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MVExplora
Ajuste

Asociación

Covarianza
La covarianza es una medida de asociación cuya propiedad más
importante para éste curso es:

−∞ < γXY < ∞

Caracterı́stica que permite saber:

γXY > 0 indica que se tiene asociación positiva
(directamente proporcional).
γXY < 0 indica que se tiene asociación negativa
(inversamente proporcional).
PERO no nos permite conocer si la asociación es fuerte o
debil. Por lo anterior se define el coeficiente de correlación.

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MVExplora
Ajuste

Asociación

Coeficiente de Correlación
Asumiendo que se observa (y1 , x1 ), (y2 , x2 ), . . . , (yn , xn ), el
coeficiente de correlación entre Y y X, ρXY , se define como:
γXY
ρXY =
SX SY
n n
1 1
Donde SY2 = (yj − y n )2 y SX2 = (xj − xn )2 .
P P
n−1 n−1
j=1 j=1

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MVExplora
Ajuste

Asociación: Coeficiente de Correlación

Coeficiente de Correlación
El Coeficiente de Correlación es una medida de asociación cuya
propiedad más importante para éste curso es:

−1 ≤ ρXY ≤ 1

Caracterı́stica que nos permite saber:

Si se tiene asociación positiva, 0 < ρXY ≤ 1.
Si se tiene asociación negativa, 0 < ρXY ≤ 1.
Si ρXY ≈ 1, se tiene asociación positiva fuerte.
Si ρXY ≈ −1, se tiene asociación negativa fuerte.
Si ρXY ≈ 0, la asociación es debil.

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MVExplora
Ajuste

Gráfico de Dispersión y Coeficiente de Correlación

Simulaciones - Trabajo en R

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MVExplora
Ajuste

Exploración - Modelos de Regresión Simple.

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MVExplora
Ajuste

Exploración

Asociación
Modelos de Regresión Simple.

Yj = β0 + β1 X1j + εj (2)

Propósito
Hallar identificar (inicialmente) las covariables con asociación
estadı́sticamente significativa con la variable a explicar.

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MV Ajuste

Modelo de Regresión Multivariado

Trabajo en R

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MV Ajuste

Algunos Conceptos y Desarrollos desde la Teorı́a

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MV Ajuste

Modelo de Regresión

Supuestos

Yj = β0 + β1 X1j + β2 X2j + . . . + βp Xpj + εj j = 1, 2, . . . , T (3)

Supuestos
1 E (εj ) = 0, los errores se mueven alrededor de cero.
2 E (ε2j ) = Var(εj ) = σ 2 , la varianza de los errores es
constante (Homocedasticidad). σ 2 es un parámetro más a
estimar.
3 Cov(εj εk ) = E (εj εk ) = 0, los residuales no son
correlacionados, i.e. un error no tiene información de los
demás.

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MV Ajuste

Modelo de Regresión

Supuestos
Supuestos
1 εj ∼ Normal: El Término de Error tiene distribución
normal.
2 De lo anterior εj ∼ Normal(0, σ 2 ).

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MV Ajuste

Modelo de Regresión Lineal Simple

Estimación de Parámetros
Yj = β0 + β1 X1j + εj j = 1, 2, . . . , T (4)
Mı́nimos Cuadrados Ordinarios: Función objetivo, minimizar los
residuales. Lo que equivale a
T
X
mı́n S(β0 , β1 ) = mı́n ε2j .
β0 ,β1 β0 ,β1
j=1

Pero desde la Ec. (4), se tiene εj = Yj − β0 − β1 X1j , de donde

T
X
mı́n S(β0 , β1 ) = mı́n (Yj − β0 − β1 X1j )2 .
β0 ,β1 β0 ,β1
j=1

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MV Ajuste

Modelo de Regresión Lineal Simple

Estimadores MCO de los Parámetros

Yj = β0 + β1 X1j + εj j = 1, 2, . . . , T (5)
Dada la Ec. (5), los estimadores de Mı́nimos Cuadrados
Ordinarios - MCO -, están dados por:

β̂0 = Y − β̂1 X.
T
P
(Yj − Y )(X1j − X 1 )
j=1
β̂1 = T
.
)2
P
(X1j − X 1
j=1

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MV Ajuste

Modelo de Regresión Lineal Simple

Estimadores MCO de los Parámetros

Una vez estimados β0 , β1 , se puede calcular ε̂j = yj − ŷj donde

ŷj = β̂0 + β̂1 x1j .

Valores a partir de los cuales se construye el estimador de σ 2 ,

i.e.
T
ε̂2j
P
j=1
σ̂ 2 = .
n−2

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MV Ajuste

Modelo de Regresión Multivariado

Ahora, si lo anterior es claro, subamos el nivel, pensemos
en el modelo:

Yj = g(β, xj ) + εj = xTj β + εj , j = 1, 2, . . . , T

Con εj ∼ (0, σ02 ).

Bajo el modelo anterior, µj = g(β, xj ) = xTj β

T
X
S(X, β) = ||Y − µ||2 = [Yj − g(β, xj )]2
j=1
T
X
= [Yj − xTj β]2 (6)
j=1

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MV Ajuste

Modelo de Regresión
Ahora se dice que un β̂ existe si minimiza S(X, β) y

lı́m |g(β, xj )| = ∞, ∀ xj
|β|→∞

Asumiendo g(β, xj ) es suave en β, partiendo de la

Ecuación (6), el estimador β̂ satisface el sistema de
ecuaciones de estimación:
n n
X ∂g X ∂g
(β, xj )Yi = (β, xj )g(β, xj ) (7)
∂βj ∂βj
i=1 i=1

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MV Ajuste

Modelo de Regresión
En el caso de regresión lineal g(β, xj ) = xTj β y por ende la
Ecuación (7) está dada por:
p
X
xTj Y = xTj xk β̂k . (8)
k=1

Ecuaciones que son conocidas como las Ecuaciones

Normales, que pueden ser re-escritas como:

XT Y = XT Xβ̂. (9)

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MV Ajuste

Mı́nimos Cuadrados
En breve lo que debes recordar es:
Re-considerando el modelo

Yi = g(β, xi ) + i , i = 1, 2, . . . , T

Bajos los supuestos:

Supuestos de Gauss - Markov: {i } es una secuencia de v.a.
no correlacionadas con E i = 0 y Var(i ) = σ 2 < ∞.
xi es un p-vector conocido. Modelamos E(Yi |X = xi ).
El parámetro poblacional β pertenece al espacio de
parámetros Θ ⊂ Rp
El estimador de mı́nimos cuadrados β̂, minimiza
T
X
ρ(X, β) = [Yi − g(β, xi )]2
i=1

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MV Ajuste

Mı́nimos Cuadrados
Bajo supuestos no muy complicadosa de cumplir (condiciones
de regularidad):
S(X,β)
β̂ y s2 = T −p son estimadores consistentes de β y σ 2 .
β̂ n es asintoticamente normal.
Si se asume i ∼ N (0, σ 2 ), entonces β̂ es el estimador de
máxima verosimilitud.
Si g(β, xi ) es una función diferenciable en β y β̂ es un
punto interior de Θ, entonces

∂ρ(X, β) 
= 0p×1
∂β β=β̂
a
Seber & Wild (2003)

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MV Ajuste

Modelo de Regresión Lineal

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MV Ajuste

Modelo de Regresión Lineal

Un caso particular del modelo anterior, es el modelo lineal, i.e.

Yi = xTi β + i , i = 1, 2, . . . , T

De foma matricial es equivalente a:

Y = Xβ + ,  ∼ (0, σ 2 In ). (10)

Donde Xp×T se conoce como matriz diseño (p << T ).

En el caso Rango(X) = p el modelo es identificable y el estimador de
m.c.o. de β está dado por:
 −1
β̂ = XT X XT Y.

Con matriz de covarianza:

 −1
Σβ̂ = σ 2 XT X .

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MV Ajuste

Modelo de Regresión Lineal

Los resultados anteriores tienen como base observar:

−1 T
β̂ = β + XT X X .

Lo anterior es el método de mı́nimos cuadrados ordinarios

(m.c.o.)

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MV Ajuste

Mı́nimos Cuadrados Generalizados

Volviendo al modelo lineal podemos remover los supuestos de
homocedasticidad y no correlación, es decir se asume

Y = Xβ + ,  ∼ (0, σ 2 Σ). (11)

Donde Σ es la matriz de covarianza de los errores. Si asumimos es de

rango completo es posible hallar una matriz PT ×T ortogonal talque
Σ = P T DP con DT ×T = diag(λ1 , . . . , λT ) con λj > 0.
De lo anterior podemos llegar a
1 1
D− 2 P ΣP T D− 2 = BΣB T = I

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MV Ajuste

Mı́nimos Cuadrados Generalizados

Asumiendo se conoce Σ, podemos plantear el modelo

BY = BXβ + B.
Y∗ = X∗ β + η. (12)

Observa:
E η = E [B] = 0   
Ση = E BT B T = BE T B T = σ 2 I
Es decir, el modelo en la Ecuación (12), cumple con los supuestos de
m.c.o.
De donde:
−1 T
−1 T T
β̂ M CG = XT∗ X∗ X∗ Y∗ = XT (B T B)X X (B B)Y.

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MV Ajuste

Mı́nimos Cuadrados Generalizados

1
Finalmente se tiene B = D− 2 P , que nos lleva a:
1 1
B T B = P T D− 2 D− 2 P = P −1 D−1 (P T )−1 = (P T DP )−1 = Σ−1

−1 T −1
Hemos llegado: β̂ M CG = XT Σ−1 X X Σ Y.
Un caso particular de lo anterior se da haciendo Σ = diag{ω1 , . . . , ωT }
con ωj > 0, que se conoce como mı́nimos cuadrados ponderados.

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MV Ajuste

Propiedades de los Estimadores MCO

En resumen: Si se cumplen los supuestos, los estimadores de
MCO presentan las siguientes propiedades
Insesgados. Ésto es E (β̂j ) = βj
Mı́nima varianza dentro de los Estimadores Lineales
Insesgados. Ésto es: si se el estimador de MCO β̂j y otro
estimador βej , con E (β̂j ) = βj y E (βej ) = βj entonces
Var(β̂j ) ≤ Var(βej ).
Consistente Var(β̂j ) → 0 cuando n → ∞.
β̂j ∼ Normal.

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MV Ajuste

Máxima Verosimilitud

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MV Ajuste

Función de Verosimilitud
Asume se tiene X = (X1 , . . . , Xn ) variables aleatorias
independientes con Xj ∼ Pθ , donde Pθ tiene densidad pθ (·).
Entonces la densidad conjunta de X está dada por:
n
Y
fθ (x) = pθ (xj ) (13)
j=1

La Ecuación (13), vista como función del parámetro θ (puede

ser vector), se conoce como la función de verosimilitud, L(θ). i.e.

L(θ) = fθ (x)

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MV Ajuste

Máxima Verosimilitud
Dicho lo anterior en qué consiste el criterio de máxima
verosimilitud?, responder ésta pregunta es más sencillo en cinco
pasos,
Asume X proviene de un mecanismo aleatorio que se ubica
dentro de la familia P = {Pθ : θ ∈ Θ}.
Observé (pasado) x = (x1 , . . . , xn )
Y me pregunto: de cuál de todas las Pθ que pertenecen a P
proviene lo ya observado?
RTA: No lo sabemos.
Camino a seguir: optamos por pensar que los datos fueron
generados por aquella Pθ∗ talque L(θ) se maximiza sobre P.

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MV Ajuste

Máxima Verosimilitud
Lo anterior se instrumentaliza pensando en el estimador de θ,
θ̂(x) = θ̂, talque:
L(θ̂) = máx L(θ).
Pθ ∈P

Ejemplo:
Información (X = x|theta)
Parámetro 0 1 2
θ1 0.15 0.50 0.35
θ2 0.45 0.20 0.35

Aquı́: θ̂(0) = θ2 , θ̂(1) = θ1 , para x = 2 se tiene un problema θ̂(2)

puede cualquiera de los dos valores que toma θ.

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MV Ajuste

Ejemplo
Asume X = (X1 , . . . , Xn ) ∼ N (θ, σ 2 ) con σ conocido,
Entonces:  
1 θ − x̄n
L(θ) = ϕ ,
σ σ
Donde ϕ Pdenota la densidad de la normal estándar y
x̄n = n1 nj=1 xj
Un camino para hallar el máximo de L(θ) es visualizar lo
que sigue:
x̄n es fijo, es una constante, una vez se observa la muestra.
Pensar en el máximo L(θ) con respecto a θ es pensar en el
valor más alto de una densidad normal de media x̄n .
Del conocimiento de las densidades de la familia Gaussiana,
es simétrica alrededor de x̄n y unimodal-campana, se tiene

θ̂(x) = x̄n .

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MV Ajuste

Bondad de Ajuste

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MV Ajuste

Bondad de Ajuste

Coeficiente de Determinación
Una vez estimados β0 , β1 , . . . , βp , se puede calcular ε̂j = yj − ŷj
donde
ŷj = β̂0 + β̂1 x1j + . . . + β̂p xpj .
Dado lo anterior el coeficiente de determinación R2 se calcula
como:
T
ε̂2j
P
j=1
R2 = 1 − T
.
y)2
P
(yj −
j=1

Se tiene que 0 ≤ R2 ≤ 1 y se asume que el valor de R2 es el

porcentaje del comportamiento Y que es explicado por
X1 , X2 , . . . , Xp . Y por ende lo deseable es R2 ≈ 1.

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MV Ajuste

Coeficiente de Determinación en Excel

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MV Ajuste

Bondad de Ajuste

Akaike Information Criterium -AIC

La definición general del criterio de Akaike es

AIC(m) = −2(log(L) − p).

Donde L es la verosimilitud del modelo m y p es el número de

parámetros. Concepto que aplicado al modelo de regresión se
convierte en
AIC(m) = n log(σ̂ 2 ) + 2p
El mejor modelo es aquel que posee menor AIC.

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MV Ajuste

Trabajo con Matrices: Modelo de Regresión Múlitple

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MV Ajuste

Trabajo con Matrices

Modelo de Regresión Múlitple

El modelo

Yj = β0 + β1 X1j + β2 X2j + . . . + βp Xpj + εj j = 1, 2, . . . , T (14)

Usando la notación de matrices, se tiene:

Y = Xβ + ε (15)

Escritura que facilita todo lo que sigue.

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MV Ajuste

Modelo de Regresión

Recordando, Los Supuestos

1 E (ε) = 0.
2 Var(ε) = σ 2 I
3 ε ∼ NormalT (0, σ 2 I).

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MV Ajuste

Modelo de Regresión Múlitple

Estimador de MCO
Partiendo del modelo

Y = Xβ + ε (16)

El estimador de MCO de β, está dado por

β̂ M CO = (XT X)−1 XT Y

Con matriz de Covarianza

Var(β̂ M CO ) = σ 2 (XT X)−1 = {γij }i,j=0,...,p .

Cuyo estimador está dado por:

V̂ar(β̂ M CO ) = σ̂ 2 (XT X)−1 = {γ̂ij }i,j=0,...,p .

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MV Ajuste

Modelo de Regresión Múlitple

Contraste de Hipótesis
Los resultados anteriores nos permiten realizar varios
Contrastes de Hipótesis, uno de los más usuales es

H0 : βj = 0 versus H1 : βj 6= 0

Contraste que se lleva a cabo mediante la estadı́stica

β̂j
tc = 1 .
2
γ̂jj

Bajo H0 , tc ∼ t(T −(p+1)) . Donde T es el número de

observaciones y p + 1 es el número de parámetros.

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MV Ajuste

Modelo de Regresión Múlitple

Detección de Datos Atı́picos

Partiendo del Modelo Matricial, se puede calcular-definir la
matriz
H = X(XT X)−1 XT = {hij }T ×T
Que es la matriz de proyección (ŷ = Hy). Si los supuestos del
modelo se cumplen, se tiene que el residual estudiantizado
(studentized residual) se define como

ε̂j
êj = p
σ̂ 1 − hjj

Aunque no ocurre ası́ se asume que êj ∼ N (0, 1) de donde se

aplica la siguiente regla:
El residual observado es atı́pico si |êj | > k, con k = 2, 3

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MV Ajuste

Modelo de Regresión Múlitple

Observaciones Influyentes
Partiendo de la Matriz H = {hij }T ×T , El valor hjj es una
medida de la influencia del j − th observación. Y se tiene que el
promedio de hjj es
p+1
h=
T
De donde se tiene que una regla para detectar una observación
influyente es:
Si hjj > 3h entonces la observación j tiene una influencia
demasiado grande.
Se debe analizar.

CEAM Multivariate
Máximas Del Curso Regresión Aprendizaje Teorı́a MV Ajuste

CEAM Multivariate