UNIVERSIDAD DEL VALLE.

FACULTAD DE
INGENIERIA

ESCUELA DE INGENIERIA INDUSTRIAL Y

ESTADISTICA

Profesor: GABRIEL CONDE

COLECCION DE NOTAS DE CLASE

CURSO MODELOS NO LINEALES
(ELECTIVO)

II SEMESTRE 2012
 EL MODELO LINEAL GENERAL

Forma general : Y = (x) + ; x D

Y, : son variable aleatorias (parte aleatoria) Y observable, no observable de las

cuales se deben conocer o suponer algunas caractersticas.

(x) : es la parte determinstica del modelo y su forma puede ser conocida o

supuesta. Contiene parmetros desconocidos i .

Ms generalmente : (x) = 0 + iqi(x) donde las qi(x) son funciones conocidas.

O ms an (x) puede ser funcin de varias variables, as:

Y = (x1,x2, , xp-1) + ; E() = 0, X D

donde (x1,x2, , xp-1) = 0 + ixi tal como Y = 0 + 1x1 + 2x2 + 3x3 + ; E() = 0

o incluso: (x1,x2, , xp-1) = 0 + iqi(x1,x2, , xp-1).

Definicin: (Modelo lineal general muestral)

Consideremos las n relaciones:

p
Yi x ij j i , E( i ) 0, i 1,2,..., n
i 1

Lo cual se escribe matricialmente:

y1 x 11 x 12 x 1p 1 1
x x 2p
y 2 x 22 2 2

X
21
donde Y , ,
Y X
,

y n x n1 x n2 x np p n
 Las Yi son v. a. observables.
Los xij son variables no aleatorias observables. xij D
Los j son parmetros desconocidos. j .
Los i son v.a. no observables tales que COV(i j) = ij, que forman la matriz .

En muchos casos suponemos la distribucin de y la estructura de .
Si se tiene un parmetro independiente 0 entonces la 1a columna de la matriz
X ser de 1s.
En cada problema es esencial definir D y . Esto es importante porque un
modelo puede ser bueno para un cierto D pero no para otro.
Los valores de los xij son observables sin error o con errores muy pequeos
que pueden tomarse como variables no aleatorias.

Definicin: (Modelo de regresin)

Tenemos k+1 variable aleatorias X0, X1, , Xk con una distribucin conjunta cuya

media est dada por el vector y matriz de coovarianzas y tales que la funcin
de distribucin condicional conjunta de Y = (X0 X1 = x1, X2 = x2, , Xk = xk)
satisface:
k

1) E[(X0 X1 = x1, X2 = x2, , Xk = xk)] = (x1,x2, , xk) = 0 i x i , Esto es, la

i 1

E(Y) es funcin lineal de los parmetros desconocidos is.

2) VAR[(X0 X1 = x1, X2 = x2, , Xk = xk)] = 2Y 2

Esto define el modelo de regresin lineal.

La especificacin 2) nos dice que 2 no depende de los valores xis.

En ciertos casos algunos supuestos, tal como el de normalidad, concernientes
a la distribucin conjunta de las variables aleatorias pueden ser hechos como
parte del modelo.

Definicin: (Modelo de diseo)

El modelo de diseo satisface la definicin del modelo lineal general, pero con la
caracterstica adicional de que el rango de la matriz X nxp es k p < n.
Adicionalmente la matriz X de diseo consiste slo de 0s y 1s. Adems X asume
cierta estructura dependiendo del diseo particular.
 MODELOS LINEALES GENERALIZADOS

Nelder y Wedderburn (1983) estudiaron los Modelos Lineales Generalizados

extendiendo la teora de modelos lineales, incorporando de esta manera la
posibilidad de modelar variables respuestas continuas o categricas con
distribuciones del error no necesariamente homocedsticos. Los modelos log
lineales, logit, probit, logstico y de regresin lineal son algunos modelos que
forman parte de esta familia. Veamos cmo definir los modelos lineales
generalizados:

Componente Aleatoria: Formada por el vector aleatorio observable Y= (Y1,Y2,

,Yn) tal que sus elementos son independientes e idnticamente distribuidos
con funcin de distribucin perteneciente a la familia exponencial uniparamtrica,

h(y, ) = exp[p()y q() + r(y)]

donde p(.), q(.), y r(.) son funciones conocidas.

Componente Sistemtica: En el modelo lineal general est dada por el

predictor lineal.

Funcin de Enlace: La funcin enlace g(u), relaciona el predictor lineal con el

valor esperado de la variable respuesta, E(Y/X) = u, a travs de la funcin:

g(u) = X, o tambin g(u) =

Donde g(u) es una funcin conocida, montona y diferenciable de

As que u = g-1().

En el caso particular del modelo lineal, u y , pueden asumir cualquier valor en la

recta real, y la funcin de enlace es la identidad = u. Para la distribucin de
Poisson, dado que u > 0, una funcin de enlace adecuado es la funcin
logartmica = ln(u).

Para la Binomial, como existe la restriccin de que el dominio de la funcin enlace

est en el intervalo (0,1), una funcin adecuada es la llamada funcin logit o
logstica = ln[u/(1-u)].
Los MLG permiten modelar variables respuestas continuas y categricas. Al igual
que en el caso continuo, los modelos con respuesta categrica consideran la
posibilidad de modelar ms de una variable respuesta.

NOTAS ACLARATORIAS DEL MODELO LINEAL GENERALIZADO

En los modelos lineales normales la variable dependiente debe tener un

comportamiento especfico, por ejemplo normalidad. Se construye una
componente sistemtica adecuada (estimacin de parmetros) que explique las
observaciones.

Un conjunto de datos puede ser considerado como una muestra proveniente de

diferentes distribuciones, de aqu que el modelo lineal generalizado sea ms
amplio y da opciones para el comportamiento aleatorio de la respuesta dentro de
una familia extensa de funciones correspondiente a la familia de funciones
exponenciales vista en la clase pasada:

y b
f Y (y; , ) Exp (1)
a c y,

Una forma equivalente (con constante y conocida) para esta familia es:

f Y (y; , ) a , y) Exp y b (2)

Hacen parte de esta familia : la Normal, la Gamma, la Exponencial, la Poisson, la

Binomial, la Binomial Negativa, la Chi-cuadrado, la inversa Gaussiana, la
Geomtrica, la Poisson Compuesta y otras. Por comodidad de nuestro estudio
podemos clasificar los componentes de sta familia en dos:
 SOBRE LA FAMILIA DE EXPONENCIALES

La Familia Exponencial Natural (PN): Esta familia de funciones esta definida por el
conjunto: P = {p(z; ) Fd U Fc U Fm; p(z; ) = a(z)ez k()}

donde Fd = conjunto de funciones discretas, Fc = conjunto de funciones continuas,

Fm = conjunto de funciones mixtas.

Con referencia al formato (2) corresponde al caso en que se considera

constante y conocida. Bien sea Y discreta o continua tenemos una funcin
generadora de momentos dada por: m(t) = eb(t+) b() .
De aqu se sigue que:

E(Y) = b() y Var(Y) = b()a(). Si tomamos la forma (1) y

E(Y) = b() y Var(Y) = b() Si tomamos la forma (2).

Definicin: b() = () se le denomina aplicacin de valor principal. Podemos

escribir = E(Y) = () entonces = -1(). Al dominio de variacin de lo
denotamos por (dominio principal).

Algunos miembros de PN

La distribucin Normal N(, 2), 2 desconocido.

La distribucin Poisson Po()
La distribucin Binomial B(n, p), n conocido
La distribucin Gamma G(, r), r conocido
La distribucin binomial Negativa BN(r, p), r conocido
La distribucin inversa Gaussiana IG(, r), r conocido.

b) La Familia Exponencial con dispersin (PD) (uno de los parmetros est

asociado a la dispersin).
a , y)
Definimos esta familia por la forma: f Y (y; , )
*
Exp y b (3)

Se puede probar que en este caso E(Y) = b() y Var(Y) = b()
Se puede hacer la transformacin = () y 2 = 1/ y as obtener formas en
parmetros ms familiares.

Algunos miembros de PD : La distribucin Normal N(, 2), La distribucin Poisson

Po(), La distribucin Binomial B(n, p), La distribucin Gamma G(, r)
La distribucin binomial Negativa BN(r, p), La distribucin inversa Gaussiana
IG(, r).
ALGORITMO DE AJUSTE PARA LA ESTIMACION DE LOS PARAMETROS EN
EL MODELO LINEAL GENERALIZADO
(Resumen)

Es necesario la comprensin de la definicin de la funcin de desvo, que

definimos as:
n
D( ; y) 2 w i ((y i~ i (~ ) (y i i ( i )))
i 1

donde: (y1, y2, , yn) es un vector de valores observados,

2i = 2/wi , i = -1(yi), i = -1(i)

Para la distribucin Normal esta expresin se convierte en el desvo usual dado

por: D(; y) = wi(yi - i)2 .

El Algoritmo se basa en lo siguiente:

Si L es la funcin de verosimilitud entonces consideramos:

U() = lnL(, 2; y)/t

Recordemos que g(i) = xi, donde g es inyectiva xi es la i-sima fila de

la matriz de datos X y = (1,, p).

A partir de aqu es necesario calcular los valores de para los cuales

lnL(, 2; y)/t = 0. Despus de algunas transformaciones
matemticas llegamos a una la expresin:

U() = lnL(, 2; y)/t = -2XtHWG(y - )

donde H W y G son matrices diagonales tales que: H = diag{hi} con

2 1
1 d i d i d i
hi
V( i ) d i
,
d i d i
Adems: W = diag{wi}, G = diag{g(i)}

Entonces hay que encontrar tal que XtHWG(y - ) = 0

Utilizando la aproximacin de Taylor de primer orden para la funcin
U() = lnL(, 2; y)/t obtenemos la expresin:

= + (XtHWX)-1XtHWG(y - )

Una consecuencia del mtodo de Newton-Raphson para ste caso en

particular se llama algoritmo Fisher scoring en el cual se usa la
siguiente relacin iterativa:

(m+1) = (m) + (XtH(m)WX)-1XtH(m)WG(m)(y - (m))

Si hacemos y* = X + G(y - ) y reemplazamos en la relacin anterior

tenemos:

(m+1) = (XtH(m)WX)-1XtH(m)Wy*(m)

Para iniciar las iteraciones suponemos: (0) = y, de donde:

y*(0) = X(0) + G(0)(y - (o)) = (0) = g(0)() = g(y)

lo cual indica que el algoritmo se inicia con:

(1) = (XtH(0)WX)-1XtH(0)Wg(y)

Una estimacin para 2

En varios modelos es usual utilizar la estimacin:

n
2 w i (y i i ) 2
i 1
 TEOREMA DE TAYLOR

Para funciones suaves de una variable f: R R el teorema de Taylor

asegura que:

f (a) f (k) (a)

f(x) f(a) f (a)(x a) (x a) (x a) k R k (x, a)
2! k!

R k (x, a)
donde 0 , cuando x a
(x a) k

O sea que Rk(x, a) es pequeo comparado con la cantidad (x a)k

Si f: Rn R es diferenciable en x0 entonces la versin de Taylor de
primer orden se puede escribir:

R 1 (x, x 0 )
f(x) = f(x0) +[Df(x0)](x - x0) + R1(x, x0) con 0 , cuando x x 0
(x x 0 )

x 1 x 01

f(x 0 ) f(x 0 ) f(x 0 ) x 2 x 02
donde Df(x0) = , ,, y (x x 0 )
x 1 x 2 x n

x x
n 0n

Con lo cual podemos escribir:

n
f(x 0 )
f(x) f(x 0 ) (x i x 0i ) R 1 (x, x 0 )
i1 x i

Si f: Rn R es diferenciable en x0 entonces la versin de Taylor de

segundo orden es:
n
f(x 0 ) 1 n 2 f(x 0 )
f(x) f(x 0 ) (x i x 0i ) (x i x 0i )(x j x 0j ) R 2 (x, x 0 )
i1 x i 2 i, j1 x i x j
MODELOS LINEALES GENERALIZADOS

Muchas veces no se cumplen los supuestos de normalidad y varianza

constante en el Modelo de Regresin Lineal.

Formas para resolver este problema: ***

- Transformacin de la variable respuesta

- Usar Mnimos cuadrados ponderados

El Modelo Lineal Generalizado (MLGdo) es otra alternativa. Es una

generalizacin (o unificacin) que combina o incluye modelos lineales y
no lineales e incorpora distribuciones asociadas a la respuesta, no
normales (se extiende a la familia exponencial de distribuciones)

Comenzamos el estudio con la Regresin Logistica (Y = 1 Y = 0)

Y con la regresin Poisson (conteos)

MODELO DE REGRESIN LOGISTICA

Comencemos con la forma lineal (muestral) yi = Xi + i

Donde Xi = (1, xi1, xi2, , xik) y = (0, 1, , k)

yi = 1 con P(yi = 1) = i , yi = 0 con P(yi = 0) = 1 - i ,

Como E(i) = 0 entonces E(yi) = 1* i + 0*(1 - i) = i ,

O sea que E(yi) = Xi = i

Esto trae problemas

1) i = 1 - Xi, si yi = 1 y i = - Xi, yi = 0

Por lo tanto los errores i no se distribuyen normal.

2) La varianza del error no es constante:

V(yi) = E[yi E(yi)] = (1 - i)2 i + (0 - i)2(1 - i) = i(1 - i)

Que se puede escribir como

V(yi) = E(yi)[1 E(yi)] lo cual indica que la varianza de las

observaciones es funcin de la media E(yi)

3) Existe la restriccin 0 E(yi) = i 1

Esta restriccin causa problemas al entrar en contradiccin con la

funcin de respuesta lineal Xi, porque se podran producir valores
fuera del intervalo [0, 1]

Se acostumbra utilizar una funcin montona creciente (o decreciente)

en forma de S, llamada funcin logstica, que se define como:

E(Y) = exp(X)/[1 + exp(X)]

Que se puede escribir como E(Y) = 1/[1 + exp(-X)]

Linealizacin y notacin:

Redefinimos a X = (letra griega eta)

[Predictor Lineal]

Escribimos: = E(Y) = 1/[1 + exp(-)]

De donde exp() = /(1 ) o sea que:

 = ln[/(1 )]

A la expresin /(1 ) se le llama Ventaja

A la funcin = ln[/(1 )] se le llama Ventaja Logaritmica

La llamaremos funcin de enlace en forma general.

Nota: Otras transformaciones utilizadas: Probit y la log-log

complementaria.

EN RESUMEN: La forma general del modelo de regresin logstica es:

Yi = E(yi) + i

Donde las observaciones yi son v. a. independientes de Bernoulli,

cuyos valores esperados son:

= E(Y) = E(Y) = exp(X)/[1 + exp(X)]

ESTIMACIN DE LOS PARMETROS EN EL MODELO DE

REGRESIN LOGSTICA

Usamos el mtodo de mxima verosimilitud para estimas los

parmetros del predictor Xi

Cada observacin de la muestra sigue la distribucin de Bernoulli, por

lo que la distribucin de probabilidad de cada observacin es:

fi(yi) = iyi(1 - i)1-yi, i = 1,2, ,n

Cada yi toma el valor 0 1. Dado que las observaciones son

independientes la funcin de verosimilitud es:

L(y1, y2, , yn, ) = in fi(yi) = in iyi(1 - i)1-yi,

Sacando el logaritmo:

ln[L(y1, y2, , yn, )] = yi ln[i/(1 i)] + ln(1 i)

Como 1 i = [1 + exp(Xi)]-1 y i = ln[i/(1 i)] = Xi, el logaritmo de

la verosimilitud puede expresarse:

lnL(Y, ) = yiXi ln[1 + exp(Xi)]

En la mayora de los problemas de aplicacin se tienen varias

observaciones para un mismo nivel de x

Si zi es la cantidad de 1s en el nivel i y ni es la cantidad de intentos en

cada nivel u observacin, entonces el logaritmo de la verosimilitud se
transforma en:

L(Y, ) = zii + niln(1 i) - ziln(1 i)

Muchos paquetes estadsticos utilizan el algoritmo mnimos cuadrados

iterativamente reponderados (IRLS). (Estudiar fotocopias)

EJEMPLO:

Un artculo de la revista Biomtrica present datos acerca de los

mineros de carbn que presentan sntomas de una enfermedad grave y
de la cantidad de aos de exposicin, los datos aparecen en la tabla de
abajo. La variable respuesta de inters Y es la proporcin de mineros
que tienen sntomas graves.

a) Trazar un grfico de dispersin (pensar un ajuste logstico)

b) Un modelo razonable de la probabilidad de la cantidad de casos

graves es la binomial, por lo tanto, se propone ajustar un modelo de
regresin logstica a estos datos.
PRUEBAS DE HIPTESIS DE LOS PARMETROS DEL MODELO

Deviacin del modelo:

La desviacin del modelo compara el logaritmo de la verosimilitud del

modelo saturado con el logaritmo de la verosimilitud de un modelo
ajustado.

[Modelo saturado = tiene n parmetros con n datos = ajuste perfecto]

El valor de la flv para el modelo ajustado nunca podr ser mayor que el
de el valor de flv para el modelo saturado.

Definimos la desviacin del modelo asi:

() = 2ln[L(modelo saturado)] 2ln[L()]

Si el modelo de regresin logstica es correcto la desviacin del

modelo tiene aproximadamente un distribucin ji-cuadrado, con n-p g.l.

Valores grandes de la desviacin indican que el modelo no es correcto.

Un valor pequeo implica que el modelo ajustado se ajusta a los datos
adecuadamente (tan bien como el modelo saturado).

As que:

() 2,n-p modelo adecuado

() 2,n-p modelo no adecuado

Pruebas de hiptesis sobre subconjuntos de parmetros:

Podemos escribir: = X = X11 + X22

p parmetros. 1 p - r parmetros. 2 r parmetros

Planteamos Ho: 2 = 0 VS 2 0
Si se cumple Ho entonces tenemos slo el modelo reducido:

= X = X11

La desviacin del modelo reducido (1) ser siempre menor que la del
modelo completo () (El reducido tiene menos parmetros)

Si (1) no es mucho menor que () el reducido y el completo se

parecen podemos decir que 2 = 0 no se rechaza Ho

Si (1) difiere mucho de () es probable que al menos uno de los

parmetros de 2 sea diferente de cero y se rechaza Ho.

La diferencia de las desviaciones (1) - () = (21) tiene

n (p r) (n p) = r gl

Por lo tanto, si Ho es cierta y n es grande entonces la diferencia

() - (1) = (21) tiene una distribucin 2 con r gl

Si (21) 2,r se rechaza Ho

Si (21) < 2,r no se rechaza Ho

Cmo podemos hacer pruebas de los coeficientes individuales?

EVALUACION:

1) Leer y entender las secciones 13.3 y 13.4 del libro "Analisis de Regresin Lineal" de
Montgomery

2) Leer y entender las secciones fotocopiadas del libro de la UNAL (que ya se entreg a
c/grupo)

3) Leer y entender captulo 3, documento "Estimacin de Minimos Cuadrados Ponderados en

los Modelos Lineales Generalizados" (se enviar por correo a c/u)

4) Entregar por escrito las soluciones (cdigo y salidas en R) y comentarios de los ejercicios
propuestos 13.7; 13.8; 13.9. Libro de Montgomery

5) Entregar por escrito las soluciones (cdigo y salidas en R) y comentarios de los ejercicos
propuestos 13.16; 13.17. Libro de Montgomery.
Esta tarea de evaluacin es para presentar el da 18 de octubre

Adicionalmente para la proxima clase se deben entregar y se evaluarn las actividades

propuestas en la clase pasada sobre el Modelo Lineal Generalizado y el Modelo Logistico
 EL MODELO LOGISTICO. UNA POSIBLE APLICACIN

ELEMENTOS, DEFINICIONES Y NOTACIN:

El objetivo es modelar cmo influye en la probabilidad de aparicin de

un suceso, habitualmente dicotmico en presencia o no de diversos
factores y el valor o nivel de los mismos o respecto a los valores de
cualquier otra variable cualitativa. Tambin puede ser usada para
estimar la probabilidad de aparicin de cada una de las posibilidades
de un suceso con ms de dos categoras (politmico).
Este tipo de situaciones se aborda mediante tcnicas de regresin. La
metodologa de la regresin lineal normal no es aplicable ya que ahora
la variable respuesta slo presenta dos valores como por ejemplo
renovacin/no renovacin de un cultivo de caa.

Si clasificamos el valor de la variable respuesta como 0 cuando no se

presenta el suceso (no renovar) y con el valor 1 cuando s est
presente (si renovar), y buscamos cuantificar la posible relacin entre el
si renovar y por ejemplo, la humedad presente en un terreno, la
variedad de caa, algunos factores climticos, etc. Podramos pensar
en una regresin lineal: (suponemos n variables independientes).
n
Y a b1 X 1 ... b n X n a b i X i
i 1

y estimar, a partir de nuestros datos, por el procedimiento habitual de

mnimos cuadrados, los coeficientes a y bi de la ecuacin. Sin
embargo, y aunque esto es posible matemticamente, nos conduce a
la obtencin de resultados absurdos, ya que cuando se calcule la
funcin obtenida para diferentes valores de las variables
independientes se obtendrn resultados que, en general, sern
diferentes de 0 y 1, los nicos realmente posibles en este caso, ya que
esa restriccin no se impone en la regresin lineal, en la que la
respuesta puede en principio tomar cualquier valor real (# real).
Si utilizamos cmo variable dependiente la probabilidad p de que una
suerte se renueve (evento R = 1) y 1 p la probabilidad de que la
suerte no se renueve (evento R = 0) y construimos la siguiente
funcin:

p Pr(Y 1 | x ) Pr(Y 1 | x)
log( ) log log
1 p 1 Pr(Y 1 | x) Pr(Y 0 | x)

donde x (x1, x2,..., xn) , ahora s tenemos una variable que puede tomar
cualquier valor relacionada a su vez con la probabilidad que queremos.
Podemos plantearnos el buscar para ella una ecuacin de regresin
tradicional:

p Pr(Y 1 | x) Pr(Y 1 | x) n
log( ) log log a bi xi
1 p 1 Pr(Y 1 | x) Pr(Y 0 | x) i 1

que se convierte en:

n

exp a b i x i

p Pr(R 1 | x) i 1
n

1 exp a b i x i
i 1

Y este es precisamente el tipo de ecuacin que se conoce como

modelo logstico, donde el nmero de factores puede ser ms de uno,
as la sumatoria que hace el papel de exponente en la anterior
expresin podra ser:

b1.variedad + b2.zona + b3.temperatura + b4.precipitacin

COEFICIENTES DEL MODELO LOGSTICO PARA CALCUCAR EL

RIESGO

Una de las caractersticas que hacen tan interesante la regresin

logstica es su relacin con un parmetro de cuantificacin de riesgo
conocido en la literatura como "odds ratio"
El odds asociado a un suceso es el cociente entre la probabilidad de
que ocurra frente a la probabilidad de que no ocurra:
p
odds
1 p (Ventaja)

donde p la probabilidad de que ocurra el suceso. As, por ejemplo,

podemos calcular el odds de renovar para una determinada variedad
(V1), que en realidad determina cuntas veces es ms probable que
haya renovacin a que no la haya para esa variedad. Igualmente
podramos calcular el odds de renovacin para un valor de la variable
zona (Z1). Si dividimos el primer odds entre el segundo, hemos
calculado un cociente de odds, esto es un odds ratio, que cuantifica
cunto ms probable es la renovacin para la variedad V1 (primer
odds) respecto a cuando se siembra en la zona Z1. La nocin que se
est midiendo es parecida a la que encontramos en lo que se
denomina riesgo relativo que corresponde al cociente de la
probabilidad de que aparezca un suceso (renovar) cuando est
presente un factor respecto a cuando est presente otro factor.

LO QUE NECESITAMOS:

Definir las variables cuya combinacin lineal nos permiten estimar la

probabilidad de que una variable dicotmica (R = 0 1) tome uno de
sus dos valores.

LO QUE NOS RESUELVE:

Nos provee la probabilidad de renovar o no renovar un cultivo en

funcin de la combinacin lineal de las variables independientes (o
explicativas) definidas o provistas en la base de datos.

Podemos determinar:
1) Los coeficientes que determinan la combinacin lineal que ante una
variacin de los valores de las respectivas variables nos permitirn
estimar las probabilidades de que el evento se de o no. 2) Si alguno o
algunos de los coeficientes son o no significativamente diferentes de
cero. 3) Calcular algunos odds ratio

LO QUE NECESITAMOS VALIDAR:

Determinar la no colinealidad entre las variables independientes que

definamos.

Determinar factores de confusin.

Valorar el grado de ajuste del modelo de regresin (podemos

pensar en r2, por ejemplo).

Validar el modelo sometiendo a prueba con datos reservados para

ello o con datos nuevos (futuros).