MLGs

Introduccin
Breve revisin
del modelo
lineal
La familia
Exponencial
simple
Componentes
del Modelo
Lineal
Generalizado
Estimacin en
el MLG
Algoritmo de
mnimos cuadrados
ponderados
iterativos
Software

Regresin
Binaria y
Poisson

Modelos Lineales Generalizados

(MLGs)
Dr. Francisco J. Ariza-Hernndez
arizahfj@colpos.mx
UAGro.
Dr. Paulino Prez-Rodriguez
perpdgo@colpos.mx
C.P.
4a SIEP

Regresin Logstica
Regresin Poisson

11 de julio de 2011

MLGs

Contenido
Introduccin
Breve revisin
del modelo
lineal

Introduccin

La familia
Exponencial
simple

Breve revisin del modelo lineal

La familia Exponencial simple

Componentes del Modelo Lineal

Generalizado

Estimacin en el MLG

Regresin Binaria y Poisson

Componentes
del Modelo
Lineal
Generalizado
Estimacin en
el MLG
Algoritmo de
mnimos cuadrados
ponderados
iterativos
Software

Regresin
Binaria y
Poisson
Regresin Logstica
Regresin Poisson

MLGs

Contenido
Introduccin
Breve revisin
del modelo
lineal
La familia
Exponencial
simple
Componentes
del Modelo
Lineal
Generalizado
Estimacin en
el MLG
Algoritmo de
mnimos cuadrados
ponderados
iterativos
Software

Regresin
Binaria y
Poisson
Regresin Logstica
Regresin Poisson

Introduccin

MLGs

Introduccin
Introduccin
Breve revisin
del modelo
lineal
La familia
Exponencial
simple
Componentes
del Modelo
Lineal
Generalizado
Estimacin en
el MLG
Algoritmo de
mnimos cuadrados
ponderados
iterativos
Software

Regresin
Binaria y
Poisson
Regresin Logstica
Regresin Poisson

Los MLGs fueron inicialmente introducidos por Nelder y

Weddernburn (1972).
Son un clase de modelos estadsticos para relacionar

variables respuestas con variables explicativas.

Incluyen: Modelos de regresin, modelo para proporciones

(var nominales, ordinales y de conteo)

Simplifica la implementacin en software estadstico.

MLGs

Contenido
Introduccin
Breve revisin
del modelo
lineal
La familia
Exponencial
simple
Componentes
del Modelo
Lineal
Generalizado
Estimacin en
el MLG
Algoritmo de
mnimos cuadrados
ponderados
iterativos
Software

Regresin
Binaria y
Poisson
Regresin Logstica
Regresin Poisson

Breve revisin del modelo lineal

MLGs

Introduccin
Breve revisin
del modelo
lineal
La familia
Exponencial
simple
Componentes
del Modelo
Lineal
Generalizado
Estimacin en
el MLG
Algoritmo de
mnimos cuadrados
ponderados
iterativos

Breve revisin del modelo

lineal
Decimos que un modelo es lineal, si los parmetros aparecen en
forma aditiva en en modelo,
yi = xi 0 + ei ;

i = 1, 2, . . . , n.

(1)

Comunmente se supone que ei N(0, 2 ). El modelo (1) en

forma matricial se expresa como:

Software

Regresin
Binaria y
Poisson

y = X + e

Regresin Logstica
Regresin Poisson

Usando este supuesto, se pueden obtener los estimadores de

= (X 0 X)1 X 0 y
mxima verosimilitud de ,

(2)

MLGs

Suposiciones:
Introduccin
Breve revisin
del modelo
lineal
La familia
Exponencial
simple
Componentes
del Modelo
Lineal
Generalizado
Estimacin en
el MLG
Algoritmo de
mnimos cuadrados
ponderados
iterativos
Software

Regresin
Binaria y
Poisson
Regresin Logstica
Regresin Poisson

E (ei ) = 0, para i = 1, 2, . . . , n.

V (ei ) = 2 , ( 2 = constante), para i = 1, 2, . . . , n.

Cov(ei , ej ) = 0 para toda i 6= j.

Consecuencias
Aplicando las suposiciones anteriores al modelo de regresin
mltiple, tenemos que Y es una variable aleatoria tal que
Y = E (Y ) = 0 + 1 x1 + 2 x2 + ... + k xk

Predictor lineal
2 = V (Y ) = 2
Y
Cov(yi , yj ) = 0

Es decir,
Y N(0 + 1 x1 + 2 x2 + + k xk , 2 )

MLGs

Suposiciones:
Introduccin
Breve revisin
del modelo
lineal
La familia
Exponencial
simple
Componentes
del Modelo
Lineal
Generalizado
Estimacin en
el MLG
Algoritmo de
mnimos cuadrados
ponderados
iterativos
Software

Regresin
Binaria y
Poisson
Regresin Logstica
Regresin Poisson

E (ei ) = 0, para i = 1, 2, . . . , n.

V (ei ) = 2 , ( 2 = constante), para i = 1, 2, . . . , n.

Cov(ei , ej ) = 0 para toda i 6= j.

Consecuencias
Aplicando las suposiciones anteriores al modelo de regresin
mltiple, tenemos que Y es una variable aleatoria tal que
Y = E (Y ) = 0 + 1 x1 + 2 x2 + ... + k xk

Predictor lineal
2 = V (Y ) = 2
Y
Cov(yi , yj ) = 0

Es decir,
Y N(0 + 1 x1 + 2 x2 + + k xk , 2 )

MLGs

Suposiciones:
Introduccin
Breve revisin
del modelo
lineal
La familia
Exponencial
simple
Componentes
del Modelo
Lineal
Generalizado
Estimacin en
el MLG
Algoritmo de
mnimos cuadrados
ponderados
iterativos
Software

Regresin
Binaria y
Poisson
Regresin Logstica
Regresin Poisson

E (ei ) = 0, para i = 1, 2, . . . , n.

V (ei ) = 2 , ( 2 = constante), para i = 1, 2, . . . , n.

Cov(ei , ej ) = 0 para toda i 6= j.

Consecuencias
Aplicando las suposiciones anteriores al modelo de regresin
mltiple, tenemos que Y es una variable aleatoria tal que
Y = E (Y ) = 0 + 1 x1 + 2 x2 + ... + k xk

Predictor lineal
2 = V (Y ) = 2
Y
Cov(yi , yj ) = 0

Es decir,
Y N(0 + 1 x1 + 2 x2 + + k xk , 2 )

MLGs

Introduccin

Interpretacin de los
coeficientes

Breve revisin
del modelo
lineal
La familia
Exponencial
simple
Componentes
del Modelo
Lineal
Generalizado
Estimacin en
el MLG
Algoritmo de
mnimos cuadrados
ponderados
iterativos
Software

Regresin
Binaria y
Poisson
Regresin Logstica
Regresin Poisson

Geomtricamente,
La ecuacin de RLS representa una lnea.
En RLM representa un plano, si k = 2. Y un hiperplano si
k = 3, 4, . . .
0 es el valor de Y cuando X1 = X2 = = Xk = 0
j , j = 1, . . . , k representa el cambio en Y

correspondiente a una unidad de cambio en Xj , cuando los

dems predictores permanecen constantes.
j , j = 1, . . . , k son llamados Coeficientes de Regresin

Parcial; j representa la contribucin de Xj a la variable Y

despus de haber sido ajustada por las otras variables
predictoras.

MLGs

Introduccin

Interpretacin de los
coeficientes

Breve revisin
del modelo
lineal
La familia
Exponencial
simple
Componentes
del Modelo
Lineal
Generalizado
Estimacin en
el MLG
Algoritmo de
mnimos cuadrados
ponderados
iterativos
Software

Regresin
Binaria y
Poisson
Regresin Logstica
Regresin Poisson

Geomtricamente,
La ecuacin de RLS representa una lnea.
En RLM representa un plano, si k = 2. Y un hiperplano si
k = 3, 4, . . .
0 es el valor de Y cuando X1 = X2 = = Xk = 0
j , j = 1, . . . , k representa el cambio en Y

correspondiente a una unidad de cambio en Xj , cuando los

dems predictores permanecen constantes.
j , j = 1, . . . , k son llamados Coeficientes de Regresin

Parcial; j representa la contribucin de Xj a la variable Y

despus de haber sido ajustada por las otras variables
predictoras.

MLGs

Introduccin

Interpretacin de los
coeficientes

Breve revisin
del modelo
lineal
La familia
Exponencial
simple
Componentes
del Modelo
Lineal
Generalizado
Estimacin en
el MLG
Algoritmo de
mnimos cuadrados
ponderados
iterativos
Software

Regresin
Binaria y
Poisson
Regresin Logstica
Regresin Poisson

Geomtricamente,
La ecuacin de RLS representa una lnea.
En RLM representa un plano, si k = 2. Y un hiperplano si
k = 3, 4, . . .
0 es el valor de Y cuando X1 = X2 = = Xk = 0
j , j = 1, . . . , k representa el cambio en Y

correspondiente a una unidad de cambio en Xj , cuando los

dems predictores permanecen constantes.
j , j = 1, . . . , k son llamados Coeficientes de Regresin

Parcial; j representa la contribucin de Xj a la variable Y

despus de haber sido ajustada por las otras variables
predictoras.

MLGs

Introduccin

Interpretacin de los
coeficientes

Breve revisin
del modelo
lineal
La familia
Exponencial
simple
Componentes
del Modelo
Lineal
Generalizado
Estimacin en
el MLG
Algoritmo de
mnimos cuadrados
ponderados
iterativos
Software

Regresin
Binaria y
Poisson
Regresin Logstica
Regresin Poisson

Geomtricamente,
La ecuacin de RLS representa una lnea.
En RLM representa un plano, si k = 2. Y un hiperplano si
k = 3, 4, . . .
0 es el valor de Y cuando X1 = X2 = = Xk = 0
j , j = 1, . . . , k representa el cambio en Y

correspondiente a una unidad de cambio en Xj , cuando los

dems predictores permanecen constantes.
j , j = 1, . . . , k son llamados Coeficientes de Regresin

Parcial; j representa la contribucin de Xj a la variable Y

despus de haber sido ajustada por las otras variables
predictoras.

MLGs

Ejemplo..
Introduccin
Breve revisin
del modelo
lineal
La familia
Exponencial
simple
Componentes
del Modelo
Lineal
Generalizado
Estimacin en
el MLG

Estamos interesados en relacionar la edad y la exposicin al

humo de cigarros (xi ) con el peso (yi ) de un nio.
El MRL Normal:
yi

= xi0 + ei ;

ei N(0, 2 )

= 0 + 1 Ei + 2 Fi + 3 Ei Fi + ei

Algoritmo de
mnimos cuadrados
ponderados
iterativos
Software

Regresin
Binaria y
Poisson
Regresin Logstica
Regresin Poisson

Predictor
Edad
Hbito de fumar
Interaccin

Variable
Ei :edad en aos
Fi = 1(exp) 0 (nexp)
Ei F i

Coeficiente
1
2
3

MLGs

Anlisis y resultados
Introduccin
Breve revisin
del modelo
lineal
La familia
Exponencial
simple
Componentes
del Modelo
Lineal
Generalizado
Estimacin en
el MLG
Algoritmo de
mnimos cuadrados
ponderados
iterativos
Software

Regresin
Binaria y
Poisson
Regresin Logstica
Regresin Poisson

Se ajust el modelo por Mxima Verosimilitud, usando datos

de los hos, en diferentes edades, de 1752 mujeres.
Coef
0
1
2
3

EMV
5025.5
2678.1
-128.16
39.20

s.e.
83.18
19.1
105.7
24.43

p-valor
<2e-16
<2e-16
0.225
0.109

El peso incrementa con la edad

El peso al nacer (0 + 2 ) es menor en madres fumadoras
El incremento en peso (2 + 3 ) Edad es mayor en

madres fumadoras

MLGs

Generalizando el modelo
Introduccin
Breve revisin
del modelo
lineal
La familia
Exponencial
simple
Componentes
del Modelo
Lineal
Generalizado
Estimacin en
el MLG
Algoritmo de
mnimos cuadrados
ponderados
iterativos

En muchos casos la distribucin de la respuesta continua

puede ser no normal

En otros, la respuesta puede ser discreta, p.e.
dicotmica o binaria (yi = 1, yi = 0)
ordinal
nominal
conteo

Software

Regresin
Binaria y
Poisson
Regresin Logstica
Regresin Poisson

Puede necesitarse un modelo no lineal para relacionar la

media con los predictores.

MLGs

Algunos ejemplos
Introduccin
Breve revisin
del modelo
lineal
La familia
Exponencial
simple
Componentes
del Modelo
Lineal
Generalizado
Estimacin en
el MLG
Algoritmo de
mnimos cuadrados
ponderados
iterativos
Software

Regresin
Binaria y
Poisson

1. Estudio sobre nacimientos por cesrea. Datos de infecciones

en nacimientos por cesrea.

Antibiticos
Con factores de riesgo
Sin factores de riesgo
No antibiticos
Con factores de riesgo
Sin factores de riesgo

Cesrea
Con inf

planeada
Sin inf

Cesrea
Con inf

no planeada
Sin inf

1
0

17
2

11
0

87
0

28
8

30
32

23
0

3
9

Variable respuesta: Ocurrencia o no ocurrencia de

infeccin.
Covariables: 1. Cesrea planeada: (1 : si, 0 : no)

Regresin Logstica
Regresin Poisson

2. Presencia de factores de riesgo (1 : si, 0 : no)

3. Tratamiento con antibiticos (1 : si, 0 : n0)
Escal de la respuesta: binaria

MLGs

Introduccin
Breve revisin
del modelo
lineal
La familia
Exponencial
simple
Componentes
del Modelo
Lineal
Generalizado
Estimacin en
el MLG
Algoritmo de
mnimos cuadrados
ponderados
iterativos
Software

Regresin
Binaria y
Poisson
Regresin Logstica
Regresin Poisson

2. Tendencia de mortalidad
Los datos corresponde al numero trimestral de muertes por
VIH, en Autralia de 1983 (enero-marzo) a 1986 (abril-junio)
Trimestre 1 2 3 4 5 6 7 8
9 10 11 12
Muertes 0 1 2 3 1 4 9 18 23 31 20 25
Variable respuesta: nmero de muertes por trimestre.
Escala de la respuesta: binaria
inters: modelar la tendencia de mortalidad

13
37

MLGs

observaciones
Introduccin
Breve revisin
del modelo
lineal
La familia
Exponencial
simple
Componentes
del Modelo
Lineal
Generalizado
Estimacin en
el MLG
Algoritmo de
mnimos cuadrados
ponderados
iterativos
Software

Regresin
Binaria y
Poisson
Regresin Logstica
Regresin Poisson

Claramente los modelos de regresin normal no son

apropiados para los ejemplo anteriores

Se necesita un contexto mas general para trata con

diferente escalas de medida en las variables respuesta

Mtodos para ajustar esos modelo e inferencias en este

contexto.

MLGs

Introduccin
Breve revisin
del modelo
lineal
La familia
Exponencial
simple

Los MLGs nos permiten extendernos a situaciones mas

generales:

Componentes
del Modelo
Lineal
Generalizado

Casos donde la variable respuesta tiene distribuciones

diferentes que la normal. Familia Exponencial.

Estimacin en
el MLG

Enlazar, a travs de una funcin, el predictor lineal con la

media de la distribucin.

Algoritmo de
mnimos cuadrados
ponderados
iterativos
Software

Regresin
Binaria y
Poisson
Regresin Logstica
Regresin Poisson

MLGs

Contenido
Introduccin
Breve revisin
del modelo
lineal
La familia
Exponencial
simple
Componentes
del Modelo
Lineal
Generalizado
Estimacin en
el MLG
Algoritmo de
mnimos cuadrados
ponderados
iterativos
Software

Regresin
Binaria y
Poisson
Regresin Logstica
Regresin Poisson

La familia Exponencial simple

MLGs

Introduccin
Breve revisin
del modelo
lineal
La familia
Exponencial
simple
Componentes
del Modelo
Lineal
Generalizado

La familia Exponencial
simple
Sea Y una variable aleatoria con fdp (discreta o continua) que
depende de un nico parmetro . La distribucin de Y
pertenece a la familia Exponencial simple si puede escribirse
como:
f (y ; ) = exp{a(y )b() + c() + d(y )}

Estimacin en
el MLG
Algoritmo de
mnimos cuadrados
ponderados
iterativos
Software

Regresin
Binaria y
Poisson
Regresin Logstica

Si a(y ) = y la distribucin est en forma cannica

b() es el parmetro natural
Si hay otros parmetros se incluyen en las funciones

a(), b(), c() y d().

Regresin Poisson

Muchas distribuciones comunmente conocidas pertenecen a la

familia exponencial, por ejemplo: Normal, Bernoulli, Binomial,
Poisson, etc.

MLGs

Ejemplos
Introduccin
Breve revisin
del modelo
lineal
La familia
Exponencial
simple
Componentes
del Modelo
Lineal
Generalizado
Estimacin en
el MLG
Algoritmo de
mnimos cuadrados
ponderados
iterativos
Software

Regresin
Binaria y
Poisson
Regresin Logstica
Regresin Poisson

Cuadro 1: Algunos miembros de la familia exponencial

Distribucin
Poisson
Normal
Binomial

Parmetro natural
log

d
logy !

1
2
2
2 2 log(2 )
n log(1 )

y
2
2

log yn

log

MLGs

Propiedades de la Familia
Exponencial

Introduccin
Breve revisin
del modelo
lineal
La familia
Exponencial
simple

La media

Componentes
del Modelo
Lineal
Generalizado
Estimacin en
el MLG
Algoritmo de
mnimos cuadrados
ponderados
iterativos
Software

Regresin
Binaria y
Poisson
Regresin Logstica
Regresin Poisson

E {a(Y )} =

c 0 ()
b 0 ()

La Varianza
Var {a(Y )} =

b 00 ()c 0 () c 00 ()b 0 ()
[b 0 ()]3

Estas cantidades son de mucha utilidad al construir el

algoritmo de estimacin en los Modelos Lineales Generalizados.

MLGs

Funciones Score
Introduccin
Breve revisin
del modelo
lineal
La familia
Exponencial
simple
Componentes
del Modelo
Lineal
Generalizado
Estimacin en
el MLG

Sea l(; y ) = a(y )b() + c() + d(y ). A dl(; y )/d se le llama

la funcin Score y puede ser vista como una variable aleatoria,
pues depende de Y .
dl(; y )
= a(y )b 0 () + c 0 ()
d
U(Y ) := a(Y )b 0 () + c 0 ()

Algoritmo de
mnimos cuadrados
ponderados
iterativos
Software

Regresin
Binaria y
Poisson

La funcin score se utilizar posteriormente al hacer inferencia.

00
0 ()
E (U) = 0 y Var (U) = E (U 0 ) = b ()c
c 00 () = I().
b 0 ()

Regresin Logstica
Regresin Poisson

Es importante resaltar que la Var (U) escencialmente coincide

con la matriz de Informacin de Fisher.

MLGs

Introduccin

Matriz de Informacin de
Fisher

Breve revisin
del modelo
lineal
La familia
Exponencial
simple
Componentes
del Modelo
Lineal
Generalizado

I() = E

Estimacin en
el MLG
Algoritmo de
mnimos cuadrados
ponderados
iterativos

(

= E

2
log f (y ; )
2

2 )

log f (y ; )

Software

Regresin
Binaria y
Poisson
Regresin Logstica
Regresin Poisson

comunmente usada en Inferencia estadstica.

MLGs

Contenido
Introduccin
Breve revisin
del modelo
lineal
La familia
Exponencial
simple
Componentes
del Modelo
Lineal
Generalizado
Estimacin en
el MLG
Algoritmo de
mnimos cuadrados
ponderados
iterativos
Software

Regresin
Binaria y
Poisson
Regresin Logstica
Regresin Poisson

Componentes del Modelo Lineal

Generalizado

MLGs

Componentes del GLM

Introduccin
Breve revisin
del modelo
lineal
La familia
Exponencial
simple

El GLM tiene 3 componentes: Componente aleatoria,

componente sistemtica y la funcin liga.
1

Componentes
del Modelo
Lineal
Generalizado

Componente aleatoria: Las variables aleatorias Y1 , ..., Yn

tienen distribucin que pertenece a la familia exponencial
simple. La distribucin de cada Yi est en forma cannica
y depende de un nico parmetro i , es decir:
f (yi ; i ) = exp{yi b(i ) + c(i ) + d(yi )}

Estimacin en
el MLG
Algoritmo de
mnimos cuadrados
ponderados
iterativos
Software

Regresin
Binaria y
Poisson
Regresin Logstica
Regresin Poisson

Componente sistemtica: Se supone que existe una serie

de covariables X que pueden incidir sobre la los valores
que toman las Yi0 s. El impacto de estas covariables se
mide a travs de ciertos parmetros del modelo para las
Y 0 s, digamos .
Funcin liga: g(i ) = x 0i = i , con E (Yi ) = i .

MLGs

Propiedades de las
funciones liga

Introduccin
Breve revisin
del modelo
lineal
La familia
Exponencial
simple
Componentes
del Modelo
Lineal
Generalizado
Estimacin en
el MLG
Algoritmo de
mnimos cuadrados
ponderados
iterativos

Funciones montonas
Diferenciables

Ejemplos:
Funcin liga para datos Poisson.
1

Software

Regresin
Binaria y
Poisson

Regresin Logstica
Regresin Poisson

En gral., una funcin liga para este tipo de datos debe

mapear de R+ a los R
Usando la funcin i = log(i ) = xi0 se garantiza que
i > 0 para toda Rp y todos los valores de xi
la liga log es la seleccin natural

MLGs

Introduccin
Breve revisin
del modelo
lineal
La familia
Exponencial
simple
Componentes
del Modelo
Lineal
Generalizado
Estimacin en
el MLG
Algoritmo de
mnimos cuadrados
ponderados
iterativos
Software

Regresin
Binaria y
Poisson
Regresin Logstica
Regresin Poisson

Funcin liga para datos binomiales

En la distribucin binomial, la media es ni i , donde

0 < i < 1.
La funcin liga debe mapear de (0, 1) R
Opciones estndar:
1 logit: i = log{i /(1 i )},
2 probit: i = (i ),
3 log-log complemetaria: log{ log(1 i )}

MLGs

Contenido
Introduccin
Breve revisin
del modelo
lineal
La familia
Exponencial
simple
Componentes
del Modelo
Lineal
Generalizado
Estimacin en
el MLG
Algoritmo de
mnimos cuadrados
ponderados
iterativos
Software

Regresin
Binaria y
Poisson
Regresin Logstica
Regresin Poisson

Estimacin en el MLG
Algoritmo de mnimos cuadrados ponderados iterativos
Software

MLGs

Ajuste del modelo

Introduccin
Breve revisin
del modelo
lineal
La familia
Exponencial
simple
Componentes
del Modelo
Lineal
Generalizado
Estimacin en
el MLG
Algoritmo de
mnimos cuadrados
ponderados
iterativos
Software

La verosimilitud de un MLG es
L(y; , x) =

n
Y

exp{yi b() + c(i ) + d(yi )}

i=1

El estimador de mxima verosimilitud (EMV) se define como

= sup L(y; , x),

Regresin
Binaria y
Poisson
Regresin Logstica
Regresin Poisson

y requiere de
En gral., no existe una expresin cerrada para ,
un algoritmo para calcularlo.

MLGs

Ajuste del modelo

Introduccin
Breve revisin
del modelo
lineal
La familia
Exponencial
simple
Componentes
del Modelo
Lineal
Generalizado
Estimacin en
el MLG
Algoritmo de
mnimos cuadrados
ponderados
iterativos
Software

La verosimilitud de un MLG es
L(y; , x) =

n
Y

exp{yi b() + c(i ) + d(yi )}

i=1

El estimador de mxima verosimilitud (EMV) se define como

= sup L(y; , x),

Regresin
Binaria y
Poisson
Regresin Logstica
Regresin Poisson

y requiere de
En gral., no existe una expresin cerrada para ,
un algoritmo para calcularlo.

MLGs

Introduccin
Breve revisin
del modelo
lineal
La familia
Exponencial
simple
Componentes
del Modelo
Lineal
Generalizado
Estimacin en
el MLG
Algoritmo de
mnimos cuadrados
ponderados
iterativos
Software

Regresin
Binaria y
Poisson
Regresin Logstica
Regresin Poisson

Algoritmo de mnimos
cuadrados ponderados
iterativos
Los estimadores de mxima verosimilitud se obtienen
resolviendo iterativamente la ecuacin:
X 0 WXb (m) = X 0 Wz
o bien de forma equivalente:
b (m) = (X 0 WX)1 X 0 Wz
El algoritmo se puede resumir en los pasos siguietes:
1.- m = 1
2.- Calcular estimadores iniciales de los parmetros de inters
b (m)
3.- Calcular el predictor lineal i = x 0i b (m)

MLGs

Introduccin
Breve revisin
del modelo
lineal
La familia
Exponencial
simple
Componentes
del Modelo
Lineal
Generalizado
Estimacin en
el MLG
Algoritmo de
mnimos cuadrados
ponderados
iterativos
Software

Regresin
Binaria y
Poisson
Regresin Logstica
Regresin Poisson

4.- Calcular i = g 1 (
i )
5.- Calcular la variable dependiente ajustada
i
zi = i + (yi
i )
i


2

i
6.- Calcular los pesos wii1 =
i
matriz W = diag(w11 , ..., wnn )

var (Yi ) y construir la

7.- m = m + 1
8.- Obtener b (m) = (X 0 WX)1 X 0 Wz
9.- Repetir los pasos 3 a 8 hasta que las estimaciones
sucesivas de b no cambien significativamente.
Nota: El algoritmo de mnimos cuadrados ponderados
iterativos es equivalente al algoritmo de Newton-Raphson.

MLGs

Paquetes de Cmputo
Introduccin
Breve revisin
del modelo
lineal
La familia
Exponencial
simple
Componentes
del Modelo
Lineal
Generalizado
Estimacin en
el MLG
Algoritmo de
mnimos cuadrados
ponderados
iterativos
Software

Regresin
Binaria y
Poisson

Existen muchos paquetes de cmputo que pueden obtener los

estimadores de mxima verosimilitud para los parmetros de los
modelos lineales generalizados,
GNU-R/S-Plus: La funcin glm() del paquete base ajusta

este tipo de modelos, hay que proporcionar una

descripcin simblica del componente sistemtico, la
distribucin de las Y 0 s y la funcin liga.
Distribucin
Normal
Binomial
Gamma

Regresin Logstica
Regresin Poisson

SAS: PROC Genmod.

Genstat, Matlab

Ligas
identity (D)
logit (D), probit, clogloc
identity, inverse (D), log

MLGs

Implementacin en R
Introduccin
Breve revisin
del modelo
lineal
La familia
Exponencial
simple
Componentes
del Modelo
Lineal
Generalizado
Estimacin en
el MLG
Algoritmo de
mnimos cuadrados
ponderados
iterativos
Software

Regresin
Binaria y
Poisson
Regresin Logstica
Regresin Poisson

La funcin glm(), es usado para ajustar MLGs en R.

Usage:

glm(formula, family = gaussian, data, weights, subset,

na.action, start = NULL, etastart, mustart, offset
control = list(...), model = TRUE, method = "glm.f
x = FALSE, y = TRUE, contrasts = NULL, ...)"
Donde:
formula: es un objeto de la clase formula
family: descripcin de la distribucin del error y la
funcin liga.
binomial(link = "logit")
gaussian(link = "identity")
Gamma(link = "inverse")
inverse.gaussian(link = "1/mu^2")
poisson(link = "log")
quasi(link = "identity", variance = "constant")
quasibinomial(link = "logit")
quasipoisson(link = "log")

MLGs

Contenido
Introduccin
Breve revisin
del modelo
lineal
La familia
Exponencial
simple
Componentes
del Modelo
Lineal
Generalizado
Estimacin en
el MLG
Algoritmo de
mnimos cuadrados
ponderados
iterativos
Software

Regresin
Binaria y
Poisson
Regresin Logstica
Regresin Poisson

Regresin Binaria y Poisson

Regresin Logstica
Regresin Poisson

MLGs

Preliminares
Introduccin
Breve revisin
del modelo
lineal
La familia
Exponencial
simple
Componentes
del Modelo
Lineal
Generalizado
Estimacin en
el MLG
Algoritmo de
mnimos cuadrados
ponderados
iterativos
Software

Regresin
Binaria y
Poisson

En algunos modelos de regresin la variable respuesta Y toma

solo dos valores, que en general puede ser codificada como 0
1.
Suponga que se tiene una sola covariable, digamos x , el modelo
de regresin lineal simple usual es:
Y = 0 + 1 x + , N(0, 2 )
y se supone que Y N(0 + 1 x , 2 ), por lo tanto
E (Y ) = 0 + 1 x . Pero sabemos que Y Binomial, y si se
ajusta el modelo de rls, nada asegura que:

Regresin Logstica
Regresin Poisson

0 0 + 1 x 1

MLGs

Continuacin...
Introduccin
Breve revisin
del modelo
lineal
La familia
Exponencial
simple
Componentes
del Modelo
Lineal
Generalizado
Estimacin en
el MLG
Algoritmo de
mnimos cuadrados
ponderados
iterativos
Software

Regresin
Binaria y
Poisson
Regresin Logstica
Regresin Poisson

Tericamente 0 E (Y |x ) 1, lo que sugiere tomar una

funcin de densidad acumulada para modelar a E (Y |x ),
tpicamente se selecciona la distribucin logstica para esta
aproximacin, ya que:
Tiene gran flexibilidad matemtica
Es factible de interpretacin fsica o biolgica

Se propone tomar
p = P(Y = 1|x ) = (x ) =

exp {0 + 1 x }
1
=
1 + exp {0 + 1 x }
1 + exp {0

(x )
Al tomar ln 1(x
) = 0 + 1 x llamada regresin logstica que
recuerda a la rls.

MLGs

Estimacin
Introduccin
Breve revisin
del modelo
lineal
La familia
Exponencial
simple
Componentes
del Modelo
Lineal
Generalizado
Estimacin en
el MLG
Algoritmo de
mnimos cuadrados
ponderados
iterativos
Software

Regresin
Binaria y
Poisson
Regresin Logstica
Regresin Poisson

Los estimadores de 0 , 1 se obtienen al maximizar la funcin

de verosimilitud:
L(y; 0 , 1 |x) =

n
Y

pi yi (1 pi )1yi

i=1

El modelo logstico puede generalizarse fcilmente para incluir

ms covariables,
pi = P(Yi = 1|X) =

1
,
1 + exp {x 0i }

donde es un vector de parmetros y X es una matriz de

covariables.

MLGs

Pruebas de hiptesis
Introduccin
Breve revisin
del modelo
lineal
La familia
Exponencial
simple
Componentes
del Modelo
Lineal
Generalizado
Estimacin en
el MLG
Algoritmo de
mnimos cuadrados
ponderados
iterativos
Software

Regresin
Binaria y
Poisson
Regresin Logstica
Regresin Poisson

Una vez que se ajusta el modelo se prueban hiptesis como las

siguientes:
H0 : i = 0 vs H1 : i 6= 0
La estadstica de prueba utilizada es:
Wi =

i
,
S(i )

se rechaza H0 al nivel de significancia si |Wi | > Z/2 .

Tambin es usual probar:
H0 : El modelo es adecuado vs H1 : El modelo no es adecuado
se prueba empleando razn de verosimilitudes o bien la de
Hosmer-Lemeshow.

MLGs

Hosmer-Lemeshow
Introduccin
Breve revisin
del modelo
lineal
La familia
Exponencial
simple
Componentes
del Modelo
Lineal
Generalizado
Estimacin en
el MLG
Algoritmo de
mnimos cuadrados
ponderados
iterativos
Software

Regresin
Binaria y
Poisson
Regresin Logstica
Regresin Poisson

La prueba de bondad de ajuste de Hosmer-Lemeshow se

obtiene calculando el estadstico de Ji-cuadrado de Pearson
para una tabla de contingencia de 2xg donde g es el numero de
grupos. El estadstico es:
2HL =

g
X
(Oi ni pi )2
i=1

ni pi (1 pi )

Se rechaza H0 para valores grandes de 2HL . El p value est

dado por P(2 > 2HL ) donde 2 es una v.a. ji-cuadrada con
g 2 grados de libertad.

MLGs

Interpretacin
Introduccin
Breve revisin
del modelo
lineal
La familia
Exponencial
simple
Componentes
del Modelo
Lineal
Generalizado
Estimacin en
el MLG
Algoritmo de
mnimos cuadrados
ponderados
iterativos
Software

Regresin
Binaria y
Poisson
Regresin Logstica
Regresin Poisson

Al cociente
P(Y = 1|x )
(x )
=
,
1 (x )
P(Y = 0|x )
se le denomina razn de momios, los cuales se utilizan muchas
veces para explicar el concepto de probabilidad.
Por ejemplo, se dice que el equipo A es favorito sobre el equipo
en una proporcin 3:1, equivale a decir que los momios son 3:1.
Es decir, la probabilidad de que el equipo A gane el B es 0.75,
donde:
0.75 =
0.75
1 0.75

3
3
=
3+1
4
3/4
3/4
3
=
=
1 3/4
1/4
1

MLGs

Introduccin
Breve revisin
del modelo
lineal
La familia
Exponencial
simple
Componentes
del Modelo
Lineal
Generalizado
Estimacin en
el MLG
Algoritmo de
mnimos cuadrados
ponderados
iterativos
Software

Regresin
Binaria y
Poisson
Regresin Logstica
Regresin Poisson

Sea g(x ) = ln

(x )
1(x )

Continuacin...
= 0 + 1 x .

En regresin por mnimos cuadrados 1 representa un cambio

en y como consecuencia de un cambio unitario en la variable
explicativa.
Sea x = xi , entonces g (xi + 1) g (xi ) = 1 representa una
diferencia de momios, es decir:

(xi )

(xi + 1)
ln
1
(xi + 1)
1
(xi )



(xi + 1)

(xi )
= ln
/
1
(xi + 1) 1
(xi )

1 = ln

Por lo tanto exp 1 representa el efecto de la variable

independiente en la razn de momios.

MLGs

Ejemplos
Introduccin
Breve revisin
del modelo
lineal
La familia
Exponencial
simple
Componentes
del Modelo
Lineal
Generalizado
Estimacin en
el MLG
Algoritmo de
mnimos cuadrados
ponderados
iterativos
Software

Regresin
Binaria y
Poisson
Regresin Logstica
Regresin Poisson

Ejemplo 1:
Si Y denota la presencia o ausencia de cncer de pulmn,
x = 1 si una n
persona
o es fumadora, x = 0 en caso contrario,

entonces exp 1 = 2 indica que la enfermedad es dos veces

ms frecuente en fumadores que entre no fumadores.
Ejemplo 2:
Si Y denota la presencia o ausencia de una enfermedad
coronaria, x = 1 si una n
persona
hace ejercicio, x = 0 en caso
o
contrario, entonces exp 1 = 0.5 indica que el riesgo de
tener una enfermedad coronaria se reduce a la mitad en
aquellos que realizan ejercicio.

MLGs

Continuacin...
Introduccin
Breve revisin
del modelo
lineal
La familia
Exponencial
simple
Componentes
del Modelo
Lineal
Generalizado
Estimacin en
el MLG
Algoritmo de
mnimos cuadrados
ponderados
iterativos
Software

Regresin
Binaria y
Poisson

Si en lugar de tomar incrementos unitarios, i.e. c = 1, se toma

c > 0,
ln

(xi )

(xi + c)
ln
= c 1
1
(xi + c)
1
(xi )

Ejemplo 3:
Supngase que se realiza un estudio para medir el riesgo de
tener una enfermedad coronaria, como funcin de la edad y que
se ha ajustado el modelo correspondiente obtenindose
g (x ) = 5.310 + 0.111Edad, la razn estimada para un
incremento de 10 aos es:

Regresin Logstica
Regresin Poisson

exp {10(0.111)} = 3.03,

lo cual significa que por cada incremento de 10 aos en la edad
el riesgo de tener una enfermedad coronaria se triplifica.

MLGs

Ejemplo general:
Introduccin
Breve revisin
del modelo
lineal
La familia
Exponencial
simple
Componentes
del Modelo
Lineal
Generalizado
Estimacin en
el MLG
Algoritmo de
mnimos cuadrados
ponderados
iterativos
Software

Regresin
Binaria y
Poisson
Regresin Logstica
Regresin Poisson

Se pretende investigar la relacin existente entre la edad y la

presencia de enfermedades coronarias significativa se tienen
registros de 100 personas seleccionadas para participar en la
investigacin. Los datos se muestran en la Tabla 2.
Cuadro 2: Presencia de enfermedades coronarias
Edad
60
55
50
45
40
35
30
25

Frecuencia
Si
No
8
2
13
4
5
3
6
7
5
10
3
9
2
13
1
9

Prop.
0.8000
0.7647
0.6250
0.4615
0.3333
0.2500
0.1333
0.1000

Ajustar el modelo de regresin logstica e interpretar los

resultado.

MLGs

Continuacin...
Introduccin
Breve revisin
del modelo
lineal
La familia
Exponencial
simple
Componentes
del Modelo
Lineal
Generalizado
Estimacin en
el MLG
Algoritmo de
mnimos cuadrados
ponderados
iterativos
Software

Regresin
Binaria y
Poisson
Regresin Logstica
Regresin Poisson

La Figura ?? muestra un diagrama de Proporcin de personas

por grupo de edad, y se observa claramente que conforme la
edad aumenta, la proporcin de personas con enfermedades
coronarias aumenta.

MLGs

Continuacin...
Introduccin
Breve revisin
del modelo
lineal
La familia
Exponencial
simple
Componentes
del Modelo
Lineal
Generalizado
Estimacin en
el MLG
Algoritmo de
mnimos cuadrados
ponderados
iterativos
Software

Regresin
Binaria y
Poisson
Regresin Logstica
Regresin Poisson

Hosmer and Lemeshow Test

|----|----------|--|-----|
|Step|Chi-square|df|Sig. |
|----|----------|--|-----|
|1
|.218
|6 |1.000|
|----|----------|--|-----|
Variables in the Equation
|---------------|------|-----|------|--|----|------|
|
|B
|S.E. |Wald |df|Sig.|Exp(B)|
|------|--------|------|-----|------|--|----|------|
|Step 1|Edad
|.112 |.024 |21.431|1 |.000|1.118 |
|
|--------|------|-----|------|--|----|------|
|
|Constant|-5.110|1.085|22.167|1 |.000|.006 |
|------|--------|------|-----|------|--|----|------|

MLGs

Ms ejercicios
Introduccin
Breve revisin
del modelo
lineal
La familia
Exponencial
simple
Componentes
del Modelo
Lineal
Generalizado
Estimacin en
el MLG
Algoritmo de
mnimos cuadrados
ponderados
iterativos
Software

Regresin
Binaria y
Poisson
Regresin Logstica
Regresin Poisson

Se dan los siguientes datos Y=presencia(0) o ausencia(1) de

una enfermedad 3 aos despus del tratamiento. La covariable
x mide el nmero de das. Se desea medir el impacto de X para
predecir el resultado en 3 aos.
Cuadro 3: Presencia o ausencia de una enfermedad
Y
1
1
1
1
1
1
1
1
1
1
1
1

x
21
24
25
26
28
31
33
34
34
37
43
49

Y
1
1
0
0
0
0
0
0
0
0
0
0

x
51
55
25
29
43
44
46
46
51
55
56
58

MLGs

Preeliminares
Introduccin
Breve revisin
del modelo
lineal
La familia
Exponencial
simple
Componentes
del Modelo
Lineal
Generalizado

Si la respuesta Yi en un modelo de regresin es un conteo, el

modelo de regresin Poisson puede ser til. La funcin de
densidad de una v.a. Poisson es:
f (y ; ) =

y exp {}
, y = 0, 1, 2, ...
y!

Estimacin en
el MLG
Algoritmo de
mnimos cuadrados
ponderados
iterativos
Software

Regresin
Binaria y
Poisson
Regresin Logstica
Regresin Poisson

En el modelo de regresin Poisson usualmente:

i = x 0i = 0 + 1 xi1 + + k xik ,
aunque tambin es posible usar i = exp {x 0i }, i = ln(x 0i ).

MLGs

Continuacin...
Introduccin
Breve revisin
del modelo
lineal
La familia
Exponencial
simple
Componentes
del Modelo
Lineal
Generalizado
Estimacin en
el MLG
Algoritmo de
mnimos cuadrados
ponderados
iterativos
Software

Regresin
Binaria y
Poisson
Regresin Logstica
Regresin Poisson

La estimacin de parmetros se realiza por el mtodo de

mxima verosimilitud, hay que maximizar:
L() =

n
Y
i=1

f (yi ; i ) =

n
Y
yi i exp {i }
i=1

yi !

La optimizacin de L() no es sencilla, se utilizan mtodos

numricos para resolver el problema.

MLGs

Pruebas de hiptesis
Introduccin
Breve revisin
del modelo
lineal
La familia
Exponencial
simple
Componentes
del Modelo
Lineal
Generalizado
Estimacin en
el MLG
Algoritmo de
mnimos cuadrados
ponderados
iterativos
Software

Regresin
Binaria y
Poisson
Regresin Logstica
Regresin Poisson

Una vez que se ajusta el modelo es usual probar hiptesis como

las siguientes:
H0 : i = 0 vs H1 : i 6= 0
La estadstica de prueba utilizada es:
Wi =

i
,
S(i )

se rechaza H0 al nivel de significancia si |Wi | > Z/2 .

MLGs

Ejemplo
Introduccin
Breve revisin
del modelo
lineal

Los datos de la Tabla 4 corresponden al nmero trimestral de

muertes por SIDA en Australia de 1983 (enero-marzo) a 1986
(abril-junio).

La familia
Exponencial
simple

Cuadro 4: Muertes por trimestre

Componentes
del Modelo
Lineal
Generalizado
Estimacin en
el MLG

Trimestre
Muertes

1
0

2
1

3
2

4
3

5
1

6
4

7
9

8
18

9
23

10
31

11
20

12
25

13
37

Algoritmo de
mnimos cuadrados
ponderados
iterativos
Software

Regresin
Binaria y
Poisson
Regresin Logstica
Regresin Poisson

El inters cientfico es modelar la tendencia de mortalidad, i ,

para lo cual se propone el siguiente modelo:
i = exp x 0i = exp {0 + 1 ln Trimestrei } ,


en el contexto del GLM esta ln i se denomina la liga Log y

corresponde a la liga cannica.

14
45

MLGs

Continuacin...
Introduccin
Breve revisin
del modelo
lineal
La familia
Exponencial
simple
Componentes
del Modelo
Lineal
Generalizado
Estimacin en
el MLG
Algoritmo de
mnimos cuadrados
ponderados
iterativos
Software

Regresin
Binaria y
Poisson
Regresin Logstica
Regresin Poisson

Parameter Estimates
|-----------|------|----------|----------------------------------|-----------------------|
|Parameter |B
|Std. Error|95% Wald Confidence Interval
|Hypothesis Test
|
|
|
|
|----------------------------|-----|---------------|--|----|
|
|
|
|Lower
|Upper|Wald Chi-Square|df|Sig.|
|-----------|------|----------|----------------------------|-----|---------------|--|----|
|(Intercept)|-1.944|.5116
|-2.947
|-.941|14.442
|1 |.000|
|-----------|------|----------|----------------------------|-----|---------------|--|----|
|lntrimestre|2.175 |.2151
|1.753
|2.596|102.271
|1 |.000|
|-----------|------|----------|----------------------------|-----|---------------|--|----|
|(Scale)
|1a
|
|
|
|
| |
|
|-----------|------|----------|----------------------------|-----|---------------|--|----|
Dependent Variable: muertes
Model: (Intercept), lntrimestre
a. Fixed at the displayed value.

MLGs

Artculos, libros, software

Introduccin
Breve revisin
del modelo
lineal
La familia
Exponencial
simple
Componentes
del Modelo
Lineal
Generalizado
Estimacin en
el MLG
Algoritmo de
mnimos cuadrados
ponderados
iterativos
Software

Regresin
Binaria y
Poisson
Regresin Logstica
Regresin Poisson

Dobson, A. (2002).
An Introduction to Generalized Linear Models (second
ed.).
Chapman and Hall.
McCullagh, P. and J. A. Nelder (1989).
Generalized Linear Models (second ed.).
Chapman and Hall.
Nelder, J. A. and W. M. Weddernburn (1972).
Generalized linear models.
Journal of the Royal Statistical Society A 135, 370384.