Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Regresión Logística
Regresión Logística
REGRESIN LOGISTICA
ndice
1. OBJETIVOS................................................................................................................................................... 2
2. INTRODUCCIN AL MODELO DE REGRESIN LOGSTICA ................................................................... 2
3. INTRODUCCIN A LA SELECCIN DE VARIABLES................................................................................. 2
4. CONCEPTO DE REGRESIN LOGSTICA ................................................................................................. 4
4.1.Regresin logstica binaria .......................................................................................................................... 4
5. REQUISITOS Y ETAPAS DE LA REGRESIN LOGSTICA ....................................................................... 7
6. ESTIMACIN DE LOS COEFICIENTES DEL MODELO Y DE SUS ERRORES ESTNDAR.................... 7
6.1. El estadstico de Wald................................................................................................................................ 7
6.2. El estadstico G de razn de verosimilitud ................................................................................................. 7
6.3. La prueba Score......................................................................................................................................... 7
7. MULTICOLINEALIDAD ................................................................................................................................. 9
8. LAS VARIABLES SIMULADAS (DUMMY) .................................................................................................. 10
9. FUNCIN DE VEROSIMILITUD................................................................................................................. 10
9.1. Mtodo de Newton-Raphson.................................................................................................................... 11
10. TIPOS DE MODELOS DE REGRESIN LOGSTICA.............................................................................. 14
11. INTERPRETACIN DEL MODELO LOGSTICO ..................................................................................... 14
12. MEDIDAS DE CONFIABILIDAD DEL MODELO....................................................................................... 15
12.1. Devianza................................................................................................................................................. 15
12.2. Criterio AIC de Akaike ............................................................................................................................ 15
12.3. Prueba de bondad de ajuste de Hosmer-Lemeshov.............................................................................. 15
13. ESTADSTICOS INFLUENCIALES PARA REGRESIN LOGSTICA..................................................... 16
13.1. Residuales de Pearson .......................................................................................................................... 16
13.2. Residuales de devianza ......................................................................................................................... 16
13.3. Uso de la regresin logstica en clasificacin......................................................................................... 16
14. DIAGNSTICO EN REGRESIN LOGSTICA ........................................................................................ 17
15. MODELOS PREDICTIVOS....................................................................................................................... 17
16. MTODOS DE SELECCIN AUTOMTICA............................................................................................ 17
16.1. Hacia adelante........................................................................................................................................ 17
16.2. Hacia atrs.............................................................................................................................................. 17
16.3. Stepwise ................................................................................................................................................. 17
16.4. Consideraciones..................................................................................................................................... 18
17. VALORACIN DE LA CAPACIDAD PREDICTIVA DEL MODELO.......................................................... 18
17.1.Clasificacin............................................................................................................................................. 18
17.2. Clculo del rea bajo la curva ROC....................................................................................................... 18
17.3. Eleccin del punto de corte ptimo ........................................................................................................ 19
18. VALIDACIN DEL MODELO.................................................................................................................... 19
19. REGRESIN LOGSTICA CONDICIONAL............................................................................................... 19
20. ESTUDIOS DE CASOS Y CONTROLES APAREADOS.......................................................................... 19
21. REGRESIN MULTINOMIAL ................................................................................................................... 20
22. REGRESIN ORDINAL............................................................................................................................ 20
22.1 Odds-proporcionales ............................................................................................................................... 20
22.2 Categoras adyacentes............................................................................................................................ 21
23. ELEMENTOS DE INTERS EN REGRESIN LOGSTICA..................................................................... 21
24. ELEMENTOS DERIVADOS...................................................................................................................... 21
25. BIBLIOGRAFA.......................................................................................................................................... 22
2
1. Objetivos
Estudiar los modelos de regresin logstica considerando sus fundamentos tericos y sus aplicaciones.
Se pretende que al finalizar el curso los alumnos hayan adquirido los conocimientos relativos a las
formulaciones, supuestos y condiciones de aplicacin del modelo de regresin logstica.
El objetivo final es que los alumnos puedan plantear y disear una investigacin emprica en la que se
requiera aplicar dichos modelos.
2. Introduccin al modelo de regresin logstica
Los modelos de regresin logstica son modelos estadsticos en los que se desea conocer la relacin entre:
Una variable dependiente cualitativa, dicotmica (regresin logstica binaria o binomial) o con ms de dos
valores (regresin logstica multinomial).
Una o ms variables explicativas independientes, o covariables, ya sean cualitativas o cuantitativas, siendo
la ecuacin inicial del modelo de tipo exponencial, si bien su transformacin logartmica (logit) permite su
uso como una funcin lineal.
Como se ve, las covariables pueden ser cuantitativas o cualitativas. Las covariables cualitativas deben ser
dicotmicas, tomando valores 0 para su ausencia y 1 para su presencia (esta codificacin es importante, ya
que cualquier otra codificacin provocara modificaciones en la interpretacin del modelo). Pero si la
covariable cualitativa tuviera ms de dos categoras, para su inclusin en el modelo debera realizarse una
transformacin de la misma en varias covariables cualitativas dicotmicas ficticias o de diseo (las llamadas
variables dummy), de forma que una de las categoras se tomara como categora de referencia. Con ello
cada categora entrara en el modelo de forma individual. En general, si la covariable cualitativa posee n
categoras, habr que realizar 1 n covariables ficticias.
Por sus caractersticas, los modelos de regresin logstica permiten dos finalidades:
Cuantificar la importancia de la relacin existente entre cada una de las covariables y la variable
dependiente, lo que lleva implcito tambin clarificar la existencia de interaccin y confusin entre
covariables respecto a la variable dependiente (es decir, conocer la odds ratio para cada covariable).
Clasificar individuos dentro de las categoras (presente/ausente) de la variable dependiente, segn la
probabilidad que tenga de pertenecer a una de ellas dada la presencia de determinadas covariables.
No cabe duda que la regresin logstica es una de las herramientas estadsticas con mejor capacidad para
el anlisis de datos en investigacin clnica y epidemiologa, de ah su amplia utilizacin.
El objetivo primordial que resuelve esta tcnica es el de modelar cmo influye en la probabilidad de
aparicin de un suceso, habitualmente dicotmico, la presencia o no de diversos factores y el valor o nivel
de los mismos. Tambin puede ser usada para estimar la probabilidad de aparicin de cada una de las
posibilidades de un suceso con ms de dos categoras (politmico).
3. Introduccin a la seleccin de variables
Pero, del conjunto de variables que pueda tener un estudio, qu variables deben introducirse en el
modelo? El modelo debe ser aqul ms reducido que explique los datos (principio de parsimonia), y que
adems sea clnicamente congruente e interpretable. Hay que tener en cuenta que un mayor nmero de
variables en el modelo implicar mayores errores estndar.
Deben incluirse todas aquellas variables que se consideren clnicamente importantes para el modelo, con
independencia de si un anlisis univariado previo se demostr o no su significacin estadstica. Por otro
lado, no debera dejarse de incluir toda variable que en un anlisis univariado previo demostrara una
relacin "suficiente" con la variable dependiente. Como se ve, no se habla de significacin estadstica
( ) 0, 05 p< , que sera un criterio excesivamente restrictivo, sino de un cierto grado de relacin (por ejemplo
0, 25 p< ). La laxitud de esta recomendacin se debe a que un criterio tan restrictivo como una 0, 05 p<
puede conducir a dejar de incluir en el modelo covariables con una dbil asociacin a la variable
dependiente en solitario pero que podran demostrar ser fuertes predictores de la misma al tomarlas en
conjunto con el resto de covariables.
Una cuestin importante a tener en cuenta es el correcto manejo de las variables cualitativas transformadas
en varias variables ficticias.
3
Siempre que se decida incluir (o excluir) una de estas variables, todas sus correspondientes variables
ficticias deben ser incluidas (o excluidas) en bloque. No hacerlo as implicara que se habra recodificado la
variable, y por tanto la interpretacin de la misma no sera igual.
Otro aspecto de inters es la significacin que pudiera tener cada variable ficticia. No siempre todas las
variables ficticias de una covariable son significativas, o todas no significativas. En estos casos es
recomendable contrastar el modelo completo frente al modelo sin la covariable mediante la prueba de razn
de verosimilitud (es decir, se sacaran del modelo en bloque todas las variables ficticias de la covariable de
inters). La decisin se tomara dependiendo del resultado de la prueba y del inters clnico de la
covariable: Si se obtiene significacin en este contraste, la variable permanece en el modelo; si no se
obtiene significacin y la covariable es de inters clnico a criterio del investigador, habra que valorar la
magnitud en la que se distancia de la significacin para decidir si la covariable debe permanecer o no en el
modelo.
Una vez se dispone de un modelo inicial debe procederse a su reduccin hasta obtener el modelo ms
reducido que siga explicando los datos. Para ello se puede recurrir a mtodos de seleccin paso a paso,
bien mediante inclusin "hacia adelante" o por eliminacin "hacia atrs", o a la seleccin de variables por
mejores subconjuntos de covariables. Estos mtodos se encuentran implementados en numerosos
paquetes estadsticos, por lo que son muy populares. Dado que para la comprensin de los mtodos de
seleccin paso a paso se requiere un conocimiento previo acerca del ajuste del modelo, ste es un aspecto
que debe ser tratado en otro momento; se sugiere al lector que se introduzca en este aspecto una vez tenga
conocimientos sobre el anlisis del ajuste del modelo. No obstante hay que advertir que su uso nunca
puede sustituir a la valoracin juiciosa de los modelos que van surgiendo de forma seriada en cada paso y
del modelo final. No hacerlo as puede llevar a dar por bueno un modelo surgido de forma automtica (por
criterios preestablecidos por el paquete estadstico muchas veces mal conocidos por el usuario del
software), con escaso valor clnico.
Cada vez que se encuentre ante un modelo de regresin logstica (el inicial, cualquiera de los intermedios o
el final), se tendr que contrastar su significacin global, mediante las pruebas de ajuste global del modelo.
Una vez se dispone un modelo preliminar, se podran incluir factores de interaccin, es decir, estudiar cmo
la asociacin de dos o ms covariables puede influir en la variable dependiente. Existen estrategias de
desarrollo de modelos de regresin por las que se recomienda la inclusin en el modelo inicial de todas las
covariables necesarias ms las interacciones de las mismas, o por lo menos, las interacciones de primer
orden (tomadas las covariables dos a dos), a los que se les llama modelos saturados. Interacciones de
mayor orden suelen ser de difcil interpretacin. En cualquier caso siempre hay que tener presente las
limitaciones de tamao muestral (que se vern luego), y de interpretacin desde el punto de vista clnico (no
se deberan incluir interacciones de significado incierto).
Otra estrategia en el desarrollo del modelo final es el diseo y ajuste de un modelo final preliminar sin
interacciones, en el que luego se ensayaran la inclusin, uno por uno, de trminos de interaccin que
pudieran tener traduccin clnica (Hosmer y Lemeshow), y valorar su significacin respecto del modelo
previo sin interacciones.
Una vez se haya decidido la inclusin de un factor de interaccin, se tendr en cuenta que siempre debern
estar incluidas tambin de forma aislada en el modelo las covariables que componen la interaccin
(principio jerrquico): si la interaccin es "HTA-diabetes", en el modelo se encontrarn como covariables
HTA y diabetes (DM):
0 1 2 3
logit HTA DM HTADM = + + + + [1a]
Por otra parte, y en relacin con la inclusin de interacciones, hay que tener en cuenta que la inclusin de
las mismas puede generar multicolinealidad, tanto ms probable cuanto mayor sea el nmero de
interacciones.
Siempre debe considerarse la suficiencia del tamao muestral para el nmero de covariables que se desea
incluir en el modelo: modelos excesivamente grandes para muestras con tamaos muestrales relativamente
pequeos implicarn errores estndar grandes o coeficientes estimados falsamente muy elevados
(sobreajuste). En general se recomienda que por cada covariable se cuente con un mnimo de 10 individuos
por cada evento de la variable dependiente con menor representacin (Peduzzi). Por ejemplo, si la variable
dependiente Y es muerte y en los datos hay 120 sujetos vivos y 36 sujetos muertos, el evento de Y
menos representado es muerte, con 36 sujetos; de esta forma el modelo no debera contener ms de
36
3
10
covariables.
Lo anterior es vlido siempre que se trate de covariables cuantitativas o cualitativas con distribuciones bien
equilibradas. La situacin se complica si una o ms de las covariables cualitativas no tiene una distribucin
4
equilibrada (uno de sus dos valores tiene una mnima representacin); en ese caso se recomienda que en
su tabla de contingencia respecto a la variable dependiente, en cada celda haya un mnimo de 10
observaciones. En el siguiente ejemplo se debera disponer de suficiente tamao muestral como para que
en cada celda haya 10 ms sujetos (es decir, que tanto a , b , c como d sean mayores de 10).
x = 0 x = 1
y = 0 a b
y = 1 c d
4. Concepto de regresin logstica
La regresin logstica es un instrumento estadstico de anlisis bivariado o multivariado, de uso tanto
explicativo como predictivo. Resulta til su empleo cuando se tiene una variable dependiente dicotmica (un
atributo cuya ausencia o presencia se ha puntuado con los valores cero y uno, respectivamente) y un
conjunto de m variables predictoras o independientes, que pueden ser cuantitativas (que se denominan
covariables o covariadas) o categricas. En este ltimo caso, se requiere que sean transformadas en
variables ficticias o simuladas (dummy).
El propsito del anlisis es:
Predecir la probabilidad de que a alguien le ocurra cierto evento: por ejemplo, estar desempleado =1 o
no estarlo = 0; ser pobre = 1 o no ser pobre = 0; graduarse como socilogo =1 o no graduarse =
0;
Determinar qu variables pesan ms para aumentar o disminuir la probabilidad de que a alguien le
suceda el evento en cuestin.
Esta asignacin de probabilidad de ocurrencia del evento a un cierto sujeto, as como la determinacin del
peso que cada una de las variables dependientes en esta probabilidad, se basan en las caractersticas que
presentan los sujetos a los que, efectivamente, les ocurren o no estos sucesos. Por ejemplo, la regresin
logstica tomar en cuenta los valores que asumen en una serie de variables (edad, sexo, nivel educativo,
posicin en el hogar, origen migratorio, etc.) los sujetos que estn efectivamente desocupados (= 1) y los
que no lo estn (= 0). En base a ello, predecir a cada uno de los sujetos independientemente de su
estado real y actual una determinada probabilidad de ser desocupado (es decir, de tener valor 1 en la
variable dependiente). Es decir, si alguien es un joven no amo de casa, con baja educacin y de sexo
masculino y origen emigrante (aunque est ocupado) el modelo le predecir una alta probabilidad de estar
desocupado (puesto que la tasa de desempleo de el grupo as definido es alta), generando una variable con
esas probabilidades estimadas. Y proceder a clasificarlo como desocupado en una nueva variable, que
ser el resultado de la prediccin. Adems, analizar cul es el peso de cada uno de estas variables
independientes en el aumento o la disminucin de esa probabilidad. Por ejemplo, cuando aumenta la
educacin disminuir en algo la probabilidad de ser desocupado. En cambio, cuando el sexo pase de 0 =
mujer a 1 = varn, aumentar en algo la probabilidad de desempleo porque la tasa de desempleo de los
jvenes de sexo masculino es mayor que la de las mujeres jvenes. El modelo, obviamente, estima los
coeficientes de tales cambios.
Cuanto ms coincidan los estados pronosticados con los estados reales de los sujetos, mejor ajustar el
modelo. Uno de los primeros indicadores de importancia para apreciar el ajuste del modelo logstico es el
doble logaritmo del estadstico de verosimilitud (likelihood). Se trata de un estadstico que sigue una
distribucin similar a
2
y compara los valores de la prediccin con los valores observados en dos
momentos: (a) en el modelo sin variables independientes, slo con la constante y (b) una vez introducidas
las variables predictoras. Por lo tanto, el valor de la verosimilitud debiera disminuir sensiblemente entre
ambas instancias e, idealmente, tender a cero cuando el modelo predice bien.
4.1.Regresin logstica binaria
Los modelos de regresin logstica binaria resultan los de mayor inters ya que la mayor parte de las
circunstancias analizadas en medicina responden a este modelo (presencia o no de enfermedad, xito o
fracaso, etc.). Como se ha visto, la variable dependiente ser una variable dicotmica que se codificar
como 0 1 (respectivamente, ausencia y presencia). Este aspecto de la codificacin de las variables no
es banal (influye en la forma en que se realizan los clculos matemticos), y habr que tenerlo muy en
5
cuenta si se emplean paquetes estadsticos que no recodifican automticamente las variables cuando stas
se encuentran codificadas de forma diferente (por ejemplo, el uso frecuente de 1 para la presencia y 1 2
para la ausencia).
La ecuacin de partida en los modelos de regresin logstica es:
( )
0
1
0
1
exp
Pr 1 |
1 exp
n
i i
i
n
i i
i
b b x
y x
b b x
=
=
| |
+
|
\ .
= =
| |
+ +
|
\ .
[1b]
donde: ( ) Pr 1 | y X = es la probabilidad de que y tome el valor 1 (presencia de la caracterstica
estudiada), en presencia de las covariables X ;
X es un conjunto de n covariables
{ }
1 1
, , ,
n
x x x que forman parte del modelo;
0
b es la constante del modelo o trmino independiente;
i
b los coeficientes de las covariables.
Es lo que se denomina distribucin logstica. En la siguiente imagen vemos un ejemplo de esta distribucin:
la probabilidad de padecer enfermedad coronaria en funcin de la edad. Como puede verse, la relacin
entre la variable dependiente (cualitativa dicotmica), y la covariable (edad, cuantitativa continua en este
caso), no es definida por una recta (lo que correspondera un modelo lineal), sino que describe una forma
sigmoidea (distribucin logstica).
Figura 1.
Si se divide la expresin [1] por su complementario, es decir, si se construye su odds (en el ejemplo de
presencia o no de enfermedad, la probabilidad de estar enfermo entre la probabilidad de estar sano), se
obtiene una expresin de manejo matemtico ms fcil:
( )
( )
0
1
Pr 1 |
exp
1 Pr 1 |
n
i i
i
y x
b b x
y x
=
| | =
= +
|
=
\ .
[2]
Pero esta expresin an es difcil de interpretar. Su representacin grfica es (figura 2):
6
Figura 2
Si ahora se realiza su transformacin logaritmo natural, se obtiene una ecuacin lineal que lgicamente es
de manejo matemtico an ms fcil y de mayor comprensin:
( )
( )
0
1
Pr 1 |
log
1 Pr 1 |
n
i i
i
y x
b b x
y x
=
| | =
= +
|
|
=
\ .
[3]
o simplificando:
0
log
1
i
i i
i
p
x
p
| |
= +
|
\ .
[3a]
En la expresin [3] se ve a la izquierda de la igualdad el llamado logit, es decir, el logaritmo natural de la
odds de la variable dependiente (esto es, el logaritmo de la razn de proporciones de enfermar, de fallecer,
de xito, etc.). El trmino a la derecha de la igualdad es la expresin de una recta, idntica a la del modelo
general de regresin lineal:
1 1 2 2 n n
y a b x b x b x = + + + + [4]
Siguiendo el ejemplo de las figuras 1 y 2, se puede representar el logit frente a la edad como se observa en
la figura 3:
Figura 3.
Pero la regresin lineal presenta una diferencia fundamental respecto al modelo de regresin logstica. En el
modelo de regresin lineal se asume que los errores estndar de cada coeficiente siguen una distribucin
normal de media 0 y varianza constante (homoscedasticidad). En el caso del modelo de regresin logstica
no pueden realizarse estas asunciones pues la variable dependiente no es continua (slo puede tomar dos
valores, 0 1, pero ningn valor intermedio). Llamando al posible error de prediccin para cada
covariable
i
x se tendr que el error cometido depender del valor que llegue a tomar la variable
dependiente, tal como se ve en [5].
( )
( )
( )
1 1 Pr
Pr
0 Pr
y x
y x
y x
= =
= +
= =
[5]
7
Esto implica que sigue una distribucin binomial, con media y varianza proporcionales al tamao
muestral y a
( )
Pr 1 |
i
y x = (la probabilidad de que 1 y = dada la presencia de
i
x ).
5. Requisitos y etapas de la regresin logstica
Recodificar las variables independientes categricas u ordinales en variables ficticias o simuladas y de
la variable dependientes en 0 y 1;
Evaluar efectos de confusin y de interaccin del modelo explicativo;
Evaluar la bondad de ajuste de los modelos;
Analizar la fuerza, sentido y significacin de los coeficientes, sus exponenciales y estadsticos de
prueba (Wald).
6. Estimacin de los coeficientes del modelo y de sus errores estndar
Para la estimacin de los coeficientes del modelo y de sus errores estndar se recurre al clculo de
estimaciones de mxima verosimilitud, es decir, estimaciones que hagan mxima la probabilidad de obtener
los valores de la variable dependiente Y proporcionados por los datos de nuestra muestra. Estas
estimaciones no son de clculo directo, como ocurre en el caso de las estimaciones de los coeficientes de
regresin de la regresin lineal mltiple por el mtodo de los mnimos cuadrados. Para el clculo de
estimaciones mximoverosmiles se recurre a mtodos iterativos, como el mtodo de NewtonRaphson.
Dado que el clculo es complejo, normalmente hay que recurrir al uso de rutinas de programacin o a
paquetes estadsticos. De estos mtodos surgen no slo las estimaciones de los coeficientes de regresin,
sino tambin de sus errores estndar y de las covarianzas entre las covariables del modelo.
El siguiente paso ser comprobar la significacin estadstica de cada uno de los coeficientes de regresin
en el modelo. Para ello se pueden emplear bsicamente tres mtodos: el estadstico de Wald, el estadstico
G de razn de verosimilitud y la prueba Score.
6.1. El estadstico de Wald
Contrasta la hiptesis de que un coeficiente aislado es distinto de 0, y sigue una distribucin normal de
media 0 y varianza 1. Su valor para un coeficiente concreto viene dado por el cociente entre el valor del
coeficiente y su correspondiente error estndar. La obtencin de significacin indica que dicho coeficiente
es diferente de 0 y merece la pena su conservacin en el modelo. En modelos con errores estndar
grandes, el estadstico de Wald puede proporcional falsas ausencias de significacin (es decir, se
incrementa el error tipo II). Tampoco es recomendable su uso si se estn empleando variables de diseo.
6.2. El estadstico G de razn de verosimilitud
Se trata de ir contrastando cada modelo que surge de eliminar de forma aislada cada una de las covariables
frente al modelo completo. En este caso cada estadstico G sigue una
2
con un grado de libertad (no se
asume normalidad). La ausencia de significacin implica que el modelo sin la covariable no empeora
respecto al modelo completo (es decir, da igual su presencia o su ausencia), por lo que segn la estrategia
de obtencin del modelo ms reducido (principio de parsimonia), dicha covariable debe ser eliminada del
modelo ya que no aporta nada al mismo. Esta prueba no asume ninguna distribucin concreta, por lo que es
la ms recomendada para estudiar la significacin de los coeficientes.
6.3. La prueba Score
Su clculo para el caso de una nica variable viene dado por:
( )
( ) ( )
1
2
1
1
n
i i
i
n
i
i
x y y
S
y y x x
=
=
[6]
8
En el caso de mltiples covariables hay que utilizar clculo matricial, si bien no requiere un clculo iterativo
(precisamente su rapidez de clculo sera su aspecto ms favorable). En contra del mismo dos aspectos:
(a) Se sabe que este estadstico se incrementa conforme aumenta el nmero de covariables (es decir
tiende a dar significacin con mayor frecuencia).
(b) Este estadstico tambin asume una distribucin normal con media 0 y varianza 1.
Al igual que en los casos anteriores, si alcanza significacin indica que la covariable debera permanecer en
el modelo. Su uso en algunos paquetes estadsticos ha quedado relegado a la seleccin de variables en
mtodos paso a paso (por la mayor rapidez de clculo).
Cuando la covariable es cualitativa con n categoras (siendo 2 n> ), en el modelo se analizar la
significacin de cada una de sus 1 n variables ficticias, as como la significacin global de la covariable
comparando la presencia en bloque frente a la ausencia en bloque de sus 1 n covariables ficticias.
En el siguiente ejemplo, tomado de Hosmer y realizado con SPSS
| |
|
|
|
=
|
|
|
\ .
[10]
Un conjunto de M covariables, que pueden expresarse como una matriz de N filas y M columnas.
Sin embargo, dado que el modelo contiene una constante, sta se puede expresar como una columna
12
adicional en la que todos sus elementos son 1. Por tanto la matriz X queda como una matriz con N
filas y ( ) 1 M + columnas, de la forma:
1, 2 1, 1
2, 2 2, 1
, 2 , 1
1
1
1
m
m
n n m
x x
x x
X
x x
+
+
+
| |
|
|
=
|
|
|
\ .
[11]
Y por ltimo un conjunto de coeficientes de regresin , uno para cada covariable, incluida la
covariable creada para la constante, con una fila y ( ) 1 M + columnas
( )
1 2 1
, , ,
m
+
= [12]
El proceso se inicia construyendo la funcin de verosimilitud (likelihood function) de la ecuacin de regresin
logstica:
( ) ( )
( )
1
i
i
N y
y
i i
L p p
= [13]
o mejor, su transformacin logartmica (log likelihood):
( ) ( ) ( ) ( )
ln ln 1
i i i i
LL y p N y p = +
[14]
donde
i
p es la probabilidad de ocurrencia de 1 y = con los valores muestrales de las covariables
{ }
1 2 1
, , ,
m
X x x x
+
= , para el sujeto { } 1, 2, , i N = . El valor ( ) 2 LL se llama devianza y mide en
qu grado el modelo se ajusta a los datos: cuanto menor sea su valor, mejor es el ajuste.
Se trata de conocer aquellos valores de que hacen mxima la funcin de verosimilitud (o su logaritmo).
Se sabe que si se iguala a cero la derivada parcial de una funcin respecto a un parmetro, el resultado es
unos valores de dicho parmetro que hacen llevar a la funcin a un valor mximo o un valor mnimo (un
punto de inflexin de la curva). Para confirmar que se trata de un mximo y no de un mnimo, la segunda
derivada de la funcin respecto a dicho parmetro debe ser menor de cero.
La primera derivada de ( ) LL respecto de (llamada funcin score) en su forma matricial es:
( )
( )
( )
LL
U X Y p
= =
[15]
donde: p es una matriz de N filas y una columna que contiene las probabilidades de cada individuo
de que tengan su correspondiente evento
i
y
La segunda derivada, llamada matriz informativa o hessiana, es:
( )
( )
2
LL
H
= =
X WX [16]
donde: W es una matriz diagonal
1
de n filas y n columnas, en la que los elementos de su diagonal
vienen dados por los respectivos productos
( )
1
i i
p p , de manera que W queda de la
forma siguiente:
1
Matriz cuadrada en la que todos sus elementos son 0 excepto su diagonal
13
( )
( )
( )
1 1
2 2
1 0 0
0 1 0
0 0 1
n n
p p
p p
p p
| |
|
|
= |
|
|
|
\ .
W
[17]
y para cada fila su
i
p es:
1
1
1
1 exp
i
m
j i j
j
p
x
+
=
=
| |
+
|
\ .
[18]
Una vez se dispone todos los elementos necesarios, se procede a explicar como tal el mtodo iterativo para
la determinacin de los coeficientes de regresin.
Se le asigna un valor inicial emprico a los coeficientes de regresin, en general cero a todos ellos
En cada iteracin t la matriz de nuevos coeficientes de regresin experimentales resulta de sumar
matricialmente un gradiente a la matriz de coeficientes experimentales del paso anterior. Este gradiente es
el resultado del cociente entre la primera derivada y la segunda derivada de la funcin de verosimilitud de la
ecuacin de regresin.
( ) ( )
1 1
t t t
p
= +
t -1
X W X X Y [19]
El segundo paso se repite tantas veces como sea necesario hasta que la diferencia entre la matriz de
coeficientes de regresin en dicha iteracin y la matriz de la iteracin previa, sea 0 o prcticamente 0 (por
ejemplo <10
6
). Los paquetes estadsticos suelen tener un lmite de iteraciones que pueden modificarse si
no se obtiene convergencia inicialmente. SPSS
Supngase que dos elementos tienen valores iguales en todas las variables menos en una.
Sean
( )
,1 , 2 , ,
, , , , ,
i i i h i k
x x x x los valores de las variables para el primer elemento y
( )
,1 , 2 , ,
, , , , ,
j j j h j k
x x x x para el segundo, y todas las variables son las mismas en ambos elementos
menos en la variable h donde
, ,
1
i h j h
x x = + . Entonces, el odds ratio para estas dos observaciones es:
( )
exp
i
h
j
O
O
=
e indica cunto se modifica el ratio de probabilidades cuando la variable
j
x aumenta en una unidad.
Si se considera 0, 5
i
p = en el modelo logit, entonces
0 1 1, ,
log 0
1
i
i k k i
i
p
x x
p
= + + + =
es decir,
0 ,
1,
2
1 1
k
j i j
i
j
x
x
=
=
donde
1,i
x representa el valor de
1
x que hace igualmente probable que un elemento cuyas restantes
variables son
( )
2, ,
,
i k i
x x pertenezca a la primera o la segunda poblacin.
12. Medidas de confiabilidad del modelo
12.1. Devianza
Es similar a la suma de cuadrados del error de la regresin lineal y se define como:
( )
1
1
2 log 1 log
1
n
i i
i
i i
p p
D y y
y y
=
| | | |
= + | |
| |
\ . \ .
16
donde g es el nmero de grupos;
i
n es el numero de observaciones en el isimo grupo;
i
O es la suma de las Y en el isimo grupo; y
i
p es el promedio de las
i
p en el isimo grupo.
13. Estadsticos influenciales para regresin logstica
Existen varios tipos de residuales que permiten cotejar si una observacin es influencial o no.
13.1. Residuales de Pearson
Definidos como:
( )
1
i i i
i
i i i
y m p
r
m p p
donde
i
y representa el nmero de veces que 1 y = entre las
i
m repeticiones de
i
X si los valores de la
variable de respuesta estn agrupadas,
El residual de Pearson es similar al residual estudentizado usado en regresin lineal. As, un residual de
Pearson mayor que 2 indica un dato anormal.
Si el modelo es correcto, los residuales de Pearson sern variables de media cero y varianza unidad que
pueden servir para hacer el diagnstico de dicho modelo. El estadstico
2 2
0
1
k
i
i
e
=
=
permite realizar
un
contraste global de la bondad del ajuste. Se distribuye asintticamente como una
2
con ( ) 1 n k
grados de libertad, donde 1 k + es el nmero de parmetros en el modelo.
En lugar de los residuos de Pearson se pueden utilizar, tambin, las desviaciones o pseudoresiduos
definidos por:
( ) ( ) ( )
2 log 1 log 1
i i i i i
d y p y p = +
13.2. Residuales de devianza
Definidos como:
( ) ( )
( )
1
2 log log
i i i i
i i i i i i i
i i i
m p m p
D sign y m p y m y
y m y
= +
sobre 10 categoras de p .
15. Modelos predictivos
El objetivo del modelo puede ser:
Generar una ecuacin con capacidad predictiva, como una clasificacin (anlisis discriminante);
Buscar qu factores tienen capacidad predictiva
Si la respuesta es la aparicin de un evento, pueden llamarse modelos pronsticos. En este tipo de estudios
es tpico contar con un gran nmero de variables a explorar.
16. Mtodos de seleccin automtica
16.1. Hacia adelante
1. Se inicia con un modelo vaco (slo );
2. Se ajusta un modelo y se calcula el p valor de incluir cada variable por separado;
3. Se selecciona el modelo con la ms significativa;
4. Se ajusta un modelo con la(s) variable(s) seleccionada(s) y se calcula el p valor de aadir cada
variable no seleccionada por separado;
5. Se selecciona el modelo con la ms significativa;
6. Se repite 4 - 5 hasta que no queden variables significativas para incluir.
16.2. Hacia atrs
1. Se inicia con un modelo con TODAS las variables candidatas;
2. Se eliminan, una a una, cada variable y se calcula la prdida de ajuste al eliminar;
3. Se selecciona para eliminar la menos significativa;
4. Se repite 2 3 hasta que todas las variables incluidas sean significativas y no pueda eliminarse ninguna
sin que se pierda ajuste.
16.3. Stepwise
Se combinan los mtodos adelante y atrs;
Puede empezarse por el modelo vaco o por el completo, pero en cada paso se exploran las variables
incluidas, por si deben salir y las no seleccionadas, por si deben entrar;
No todos los mtodos llegan a la misma solucin necesariamente;
18
16.4. Consideraciones
Criterio exclusivamente estadstico: no se tienen en cuenta otros conocimientos sobre las variables
ms interesantes a incluir (aunque se puede forzar a que algunas variables siempre estn en el
modelo);
Si hay un conjunto de variables muy correlacionadas, slo una ser seleccionada;
No es fcil tener en cuenta interacciones entre variables (los modelos deben ser jerrquicos).
17. Valoracin de la capacidad predictiva del modelo
El modelo permite calcular una prediccin del resultado en escala de probabilidad;
Puede decidirse clasificar un individuo en el grupo de sucesos si su probabilidad supera un valor :
Pr 1
Pr 0
e
e
y
clasificacin
y
> =
=
=
17.1.Clasificacin
realidad y
0
1 0
1 VP FP
modelo y
e
0 FN VN
Sensibilidad = VP/(VP+FN)
Especificidad = VN/(VN+FP)
Area bajo la curva ROC construida para todos los posibles puntos de corte de para clasificar los
individuos:
Figura 8.
17.2. Clculo del rea bajo la curva ROC
Guardar los valores que predice el modelo (esperados)
Calcular la U de Mann-Whitney respecto a los esperados:
1 0
1
U
AUC
n n
=
donde
1
n y
0
n son respectivamente el nmero esperado de 1 y 0.
19
Figura 9.
1 0
26273
1 1 0, 69
295 286
U
AUC
n n
= = =
+
=
+ + + + + +
La constante del modelo se anula (es igual para casos y para controles).
Ajuste del modelo
Software:
Se puede usar un programa para analizar modelos de Cox de supervivencia, pues la funcin de
verosimilitud es la misma.
Es un modelo lineal generalizado, por lo que pueden emplearse los mismos mtodos para valorar
efectos;
Los coeficientes son ( ) log : OR OR e
= .
21. Regresin multinomial
La variable dependiente es categrica con ms de dos grupos;
Puede analizarse con regresin logstica politmica (modelo multinomial);
Se elige una categora como referencia y se modelan varios logits simultneamente, uno para cada una
de las restantes categoras respecto a la de referencia.
Ejemplo: hbito tabquico
La variable resultado tiene tres categoras:
Fumador;
Exfumador;
No fumador (referencia).
Se modelan dos logits simultneamente:
( )
1 1
/ | logit fumador no fumador z z = + ;
( )
2 2
/ | logit ex fumador no fumador z z = +
Las covariables z son comunes pero se estiman coeficientes diferentes para cada logit (incluso
diferente constante).
22. Regresin ordinal
La variable respuesta tiene ms de dos categoras ordenadas;
Se modela un nico logit que recoge la relacin (de tendencia) entre la respuesta y las covariables;
Hay varios modelos posibles segn interese modelar la tendencia:
odds proporcionales (acumulado);
categoras adyacentes (parejas).
22.1 Odds-proporcionales
Se compara un promedio de los posibles logia acumulados (respecto a la primera categora):
logit respuesta
muy bajo bajo alto muy alto
1
2
3
Cada logit tiene una constante diferente pero comparten el coeficiente de las covariables
21
Modelo de odds proporcionales:
( )
|
k k k
logit y y z z > = +
donde 1, 2, , y C = ;
2, 3, , k C = .
Supone que el cambio entre diferentes puntos de corte de la respuesta es constante ( ) , pero parte de
diferentes niveles
( )
k
.
22.2 Categoras adyacentes
Compara cada categora con la siguiente:
logit respuesta
muy bajo bajo alto muy alto
1
2
3
Cada logit tiene una constante diferente pero comparten el coeficiente de las covariables.
Modelo de categoras adyacentes:
( )
1
|
k k k k
logit y y z z
> = +
donde 1, 2, , y C = ;
2, 3, , k C = .
Supone que el cambio entre categoras adyacentes de la respuesta es constante ( ) , pero parte de
diferentes niveles
( )
k
.
23. Elementos de inters en regresin logstica
Parmetros: ( ) ,
Matriz de varianzacovarianza:
( ) ( ) ( )
( ) ( ) ( )
( ) ( ) ( )
1 1
1 1 1 2
1 2 1 2
var cov , cov ,
cov , var cov ,
cov , cov , var
| |
|
|
=
|
|
\ .
=
permite: interpretar los coeficientes como riesgos.
22
Errores estndar de : ( ) var ee
=
permite: calcular intervalos de confianza y realizar tests de hiptesis.
Deviance: 2log D L =
permite: valorar el ajuste del modelo (datos agrupados);
realizar test de hiptesis (comparando modelos).
25. Bibliografa
1 Fagerland MW, Hosmer DW, Bofin AM. Multinomial goodness-of-fit tests for logistic regression models.
Statist Med. 2008; 27:423853.
2. Wendy A. Bergerud. Introduction to logistic regression models with worked forestry examples biometrics
Information. Handbook 7. British Columbia Ministry of Forests Research Program.
3. Muller R, Mckel M. Logistic regression and CART in the analysis of multimarker studies Clin Chim Acta
2008; 394: 16.
4. Hsiehl FY, Bloch DA, Larsen MD. A simple method of sample size calculation for linear and logistic
regression Statist. Med. 1998;17:1623-34.
5. Gil JF, Prez A, Castaeda JA. Empirical power from existing sample size formulae for logistic regression.
Proceedings of the Annual Meeting of the American Statistical Association, 2001.
6. Ortega Calvo M, Cayuela Domnguez A. Regression logstica no condicionada y tamao de muestra: una
revisin bibliogrfica. Rev Esp Salud Pblica 2002; 76: 85-93.
7. Alderete AM. Fundamentos del anlisis de regresin logstica en la investigacin psicolgica. Evaluar,
2006; 6: 5267.
8. Silva C, Salinas M. Modelos de regresin y correlacin III. Regresin logstica. Ciencia y trabajo 2007; 24:
81-4.
9. Hidalgo Montesinos MD, Gmez Benito J. Comparacin de la eficacia de regresin logstica politmica y
anlisis discriminante logstico en la deteccin del DIF no uniforme. Psicothema 2000;12(Supl. 2), 298-300.
10. Bender Grouven U. Logistic regression models used in medical research are poorly presented. BMJ
1996; 313: 628.
11. Silva Ayaguer LC. Excursin a la regresin logstica en ciencias de la salud. Madrid: Daz de Santos,
1995
12. Hosmer DW, Lemeshow S. Applied logistic regression. New York: Wiley, 1989.
13. Abraira Santos V, Prez de Vargas Luque A. Mtodos multivariantes en bioestadstica Madrid: Centro de
estudios Ramn Areces, 1996.
14. Silva Ayaguer LC, Barroso Ultra IM. Regresin logstica. Madrid: La muralla, 2004.
15. Prez Lpez C. Mtodos estadsticos avanzados con SPSS. Thomson, 2005
16. Fauln Fajardo FJ. Bioestadstica amigable. Madrid:Daz de Santos, 2006
17. Snchez-Cantalejo Ramrez E. Regresin logstica en salud pblica. EASP 2000
18. Hosmer DW, Lemeshow S. Applied logistic regression. Chichester: Wiley. 2000
19. Christensen, R. Log-linear models and logistic regression. Berlin: Springer. 1997
20. www.seh-lelha.org/rlogis1.htm
21. www.seh-lelha.org/pdf/rlogis2.pdf
22. www.hrc.es/bioest/Reglog_1.html
23. www.hrc.es/bioest/Reglog_2.html
24. halweb.uc3m.es/esp/Personal/personas/jmmarin/esp/DM/tema2dm.pdf
25. ciberconta.unizar.es/LECCION/logis/inicio.html
26. saei.org/hemero/epidemiol/nota6.html
27. http://www.5campus.com/leccion/logis
28. patoral.umayor.cl/anestbas/rl.html
29. www.uoc.edu/in3/emath/docs/T10_Reg_Logistica.pdf
30. math.uprm.edu/~edgar/clasifall6.pdf
23
31. halweb.uc3m.es/esp/Personal/personas/amalonso/esp/bstat-tema9.pdf
32. www.salvador.edu.ar/csoc/idicso/docs/aephc1.pdf
33. es.geocities.com/r_vaquerizo/VL_regresion_logistica.htm
34. www.u-. cursos.cl/medicina/2008/2/TM1EPISP3/1/material_alumnos/objeto/20781
35. ciberconta.unizar.es/leccion/logis/060.HTM