Regresión Logit y

Probit

Carlos Palomares
Sesión 10: UNALM-UNAC-UNI-USIL
2018
INDICE
INTRODUCCIÓN
TIPOLOGÍA DE MODELOS LOGIT
ETAPAS PARA CONSTRUIR UN MODELO LOGIT
APLICACIÓN PRÁCTICA
INTRODUCCIÓN (I)
TÉCNICA DE ANALISIS DE GRUPOS

– Método
- Análisis Discriminante
Diferencias – Variables explicativas
- Regresión logística
– Resultado

ANÁLISIS DE REGRESIÓN
Y = f (X1, X2, …, XK)

con Y: variable categórica

f(): función logística
INTRODUCCIÓN (II)
AJUSTE LINEAL
Regresión tradicional
ENDOGENA vs. X1 Regresión logística
10 1.5

NUBE DE PUNTOS 1.0

ENDOGENA

ENDOGENA
6
A AJUSTAR 0.5
4

0.0
2

0 -0.5
0 2 4 6 8 10 0 10 20 30 40 50 60

X1 XI

PROBLEMAS DEL AJUSTE LINEAL:

– Distribución no normal de la perturbación aleatoria

– Heterocedasticidad
– Valor estimado fuera del rango 0-1
INTRODUCCIÓN (III)
AJUSTE NO LINEAL

Modelo Probit
1

s2
  X i 1 
Yi   e 2
ds  ui
 (2 )1/ 2

0,5

Logit
Modelo Logit
Probit
0   X
1 e k ki
Yi     k X k i
 ui   k X k i
 ui
1 e 1 e
INDICE
INTRODUCCIÓN
TIPOLOGÍA DE MODELOS LOGIT
ETAPAS PARA CONSTRUIR UN MODELO LOGIT
APLICACIÓN PRÁCTICA
TIPOLOGÍA DE MODELOS LOGIT(I)

Respuesta binaria: LOGIT DICOTÓMICO

(0, 1)

Datos no ordenados:
LOGIT
LOGIT MULTINOMIAL
Respuesta múltiple
(1, 2, …, J) Datos ordenados:
LOGIT ORDINAL
TIPOLOGÍA DE MODELOS
LOGIT(II)

LOGIT DICOTÓMICO
Características:
Se modeliza una ecuación cuyo resultado se interpreta como
probabilidad de pertenencia al grupo codificado como 1.
Expresión general del modelo:
 k X k i
1 e
Pr ob(Yi  1)   (   k X k i )
    k X ki
1 e 1 e
Ejemplo:
Para el caso de dos variables explicativas
  1 X 1i   2 X 2 i
1 e
Pr ob(Yi  1)    1 X 1i   2 X 2 i
   1 X 1i   2 X 2 i
1 e 1 e
TIPOLOGÍA DE MODELOS
LOGIT(III)

LOGIT MULTINOMIAL
Características:
- Se modelizan tantas ecuaciones como alternativas tiene Y.
- Para cada variable se estiman tantos parámetros como alternativas
de Y menos una.
- Es necesario identificar una categoría de referencia.
Expresión general del modelo:
1
Pr ob(Yi  0)  J 1
para j  0
1  e
 kj' X ki

j 1

 kj' X ki
e
Pr ob(Yi  j )  J 1
para j  1, 2, ..., ( J  1)
1  e
 kj' X ki

j 1
TIPOLOGÍA DE MODELOS
LOGIT(IV)

LOGIT MULTINOMIAL
Ejemplo:
Para el caso de 3 alternativas de Y (la primera es la que se toma como
referencia) y 2 variables explicativas
1
Pr ob(Yi  1)   2  12 X 1i   22 X 2 i  3  13 X 1i   23 X 2 i
1 e e
e 2  12 X 1i   22 X 2 i
Pr ob(Yi  2)   2  12 X 1i   22 X 2 i  3  13 X 1i   23 X 2 i
1 e e
 3  13 X 1i   23 X 2 i
e
Pr ob(Yi  3) 
1  e 2  12 X 1i   22 X 2 i  e 3  13 X 1i   23 X 2 i
TIPOLOGÍA DE MODELOS LOGIT(V)

LOGIT ORDINAL
Características:
- Se modelizan tantas ecuaciones como alternativas tiene Y.
- Se estima un parámetro para cada variable explicativa y tantos
parámetros “límites” como alternativas tiene Y menos una.
Expresión general del modelo:
Pr ob(Yi  0)  (  k ' X k i )
Pr ob(Yi  1)   ( 1   k ' X ki )   (  k ' kX i )

Pr ob(Yi  2)  (  2   k ' X ki )  ( 1   k ' X ki )

...
Pr ob(Yi  ( J  1))  1  ( ( J  2 )   k ' X k i )
TIPOLOGÍA DE MODELOS LOGIT(VI)

LOGIT ORDINAL
Ejemplo:

Para el caso de 3 alternativas de Y y 2 variables explicativas

1
Pr ob(Yi  1) 
1  e  LIMIT1  1 X 1i   2 X 2 i  
1 1
Pr ob(Yi  2)   LIMIT2   1 X 1i   2 X 2 i  

1 e 1  e  LIMIT1  1 X 1i   2 X 2 i  
1
Pr ob(Yi  3)  1   LIMIT2   1 X 1i   2 X 2 i  
1 e
INDICE
INTRODUCCIÓN
TIPOLOGÍA DE MODELOS LOGIT
ETAPAS PARA CONSTRUIR UN MODELO LOGIT
APLICACIÓN PRÁCTICA
ETAPAS PARA CONSTRUIR UN MODELO LOGIT(I)

ESPECIFICACIÓN Definición de la variable endógena,

explicativas y forma funcional

ESTIMACIÓN Cálculo de los parámetros

Individual: Ver que variables resultan

significativas estadísticamente
VALIDACION
Conjunta: Ver si en conjunto el modelo es
aceptable

Predicción
UTILIZACIÓN
Interpretación de los parámetros
ETAPAS PARA CONSTRUIR UN MODELO
LOGIT(II)

ESTIMACIÓN
Método de máxima verosimilitud

max prob Yi  Yˆi

max prob ui  0
max prob u1  0 y u 2  0 y ... y un  0
max f (u )  f (u1 ) * f (u2 ) * ... * f (un )
max log( f (u ))  log( función de verosimilitud )  log(L)

 e  X i   e   X i 
log L   Yi ln    X i 
  (1  Yi ) ln 1    X i 
1  e   1  e 

RESOLUCIÓN A TRAVÉS DE UN ALGORITMO DE OPTIMICACIÓN

ETAPAS PARA CONSTRUIR UN MODELO LOGIT(III

VALIDACIÓN
INDIVIDUAL: Contraste de hipótesis
1. H0 :   0 2 2
 ˆ    Distrib.  ˆ  Distrib.
2. Estadístico de contraste Wald    
 DT ( ˆ )    DT ( ˆ )  
similar a similar a t2
  t2   si H0 cierta
3. Regla de decisión
0,30

0,25
Acepto H0 si:
 /2
t
0,20

0,15

 /2 Valor de estadístico Wald < n  k

Niv. sig. > 
0,10

0,05

0,00

 t n/ k2  t n/ k2
1

11

15

17
13

19

CONJUNTA
log L(completo)
1. Pseudo R = 2 1
log L(reducido )
3. Razón de Verosimilitud = X2 =  2 log L(reducido)    2 log L(completo)
2. Porcentaje de aciertos: a través de un punto de corte
ETAPAS PARA CONSTRUIR UN MODELO LOGIT(IV)

UTILIZACIÓN
1
PREDICCIÓN Yˆi  ˆ  ˆk X k i
1 e
Signo
INTERPRETACIÓN DEL PARÁMETRO:
Cuantía
Yˆi    xi
Ratio odds:  e
1  Yˆi

Yˆi
Caso especial:
Razón entre 1  Yˆ e    xi
Obs j con x=x
odds: i
   x j
ˆ
Yj e Obs i con x=x+1 e  x     x  e 
1  Yˆ j

Efecto Marginal: EM i  ˆk * Yˆi * (1  Yˆi )

INDICE
INTRODUCCIÓN
TIPOLOGÍA DE MODELOS LOGIT
ETAPAS PARA CONSTRUIR UN MODELO LOGIT
APLICACIÓN PRÁCTICA
APLICACIÓN PRÁCTICA

1. LOGIT DICOTÓMICO
- Salida básica
- Salida completa
- Identificación de atípicos
- Otros estadísticos para la valoración global del modelo

- Elección del punto de corte óptimo: Curva COR

- Tratamiento de las variables categóricas
- Cálculo del Efecto Marginal
- Estimación por pasos

2. LOGIT MULTINOMIAL

3. LOGIT ORDINAL