3.1.

Modelos con matriz de dise o de rango n deciente.

La Figura 4.1 resulta iluminante a este respecto; el plano horizontal representa M, y en l yacen los vectores X0 , . . . , Xp1 que lo generan. La proyeccin e o es unica. Si X0 , . . . , Xp1 son linealmente independientes, forman base X del espacio que generan, y los coecientes 0 , . . . , p1 que permiten expresar PM y como combinacin lineal de dichos vectores son unicos. o Si, como acontece en el caso de rango deciente de la matriz X, los vectores X0 , . . . , Xp1 no son linealmente independientes, hay innidad de maneras de expresar PM y como combinacin lineal de ellos. No hay por tanto o una unica estimacin m o nimo cuadrtica del vector . Se dice que hay mula ticolinealidad exacta entre las columnas de la matriz de diseo X. n
ww w.

at

em

Uno de los que hemos llamado supuestos habituales (Seccin 2.3, pg. 7, o a apartados 1 a 3) es que el rango de la matriz de diseo X coincide con n el nmero de sus columnas, p. Cuando sto no ocurre, sigue habiendo una u e unica proyeccin de y sobre M = R(X), tal como ha quedado demostrado. o (Recurdese que R(X) designa el subespacio generado por las columnas de e X.) Ocurre sin embargo (Lema 3.9) que = (X X) X y no es unico.

at

ic a1

.c

om

Figura 3.1: Regresin en el caso de matrix X de rango deciente. o

X p1

Una matriz de diseo de rango deciente es demasiado pobre para desn lindar todos los efectos de inters: no podemos con la informacin disponible e o deslindar la relacin de cada uno de los regresores con la variable respuesta, o pero puede ocurrir que si lo podamos deslindar con algunos. El Ejemplo 4.1 a continuacin lo ilustra. o Ejemplo 3.1 Imaginemos una matriz de dise o como n
1 1 2 2 1 1 2 2 4 4 2 2 3 5 1 . 7 8 4
ww w.

Observemos que la primera columna, X0 , es igual a la segunda, X1 , dividida entre dos. La Figura 4.2 ilustra una situacin similar. Puede o verse que X0 y X1 yacen uno sobre otro, diriendo slo en el mdulo. o o En un caso as la proyeccin, PM y , puede expresarse de manera , o unica como combinacin lineal de X 2 y uno de los vectores X 0 X 1 . o o Podemos estimar 2 , pero no 0 1 : no es posible adscribir a uno de o ellos la parte de PM y colineal con la direccin com n de X 0 y X 1 . o u

at

em

at

ic

a1

.c o

X1

X0

Figura 3.2: Caso de un vector parcialmente estimable.

X2 X0 PM y

1.c at em at ic a

om

X1

La nocin de funcin estimable a continuacin permite caracterizar situao o o ciones como la mostrada en el ejemplo anterior.

3.2.

Funciones estimables.

vocamente Incluso aunque el vector no sea estimable por no estar un determinado, puede haber algunos parmetros o combinaciones lineales de a parmetros que s puedan estimarse. a Denicin 3.1 Decimos que una funcin lineal de los parmetros a es o o a estimable si existe un vector c de constantes tal que: E[c Y ] = a El Teorema a continuacin permite caracterizar las funciones estimables. o Teorema 3.1 La funcin lineal a es estimable si a R(X ). o

ww w.

Fin del ejemplo

 Demostracion: a = E[c Y ] = E[c (X + )] = c X (3.1)

Como (4.1) ha de vericarse para cualesquiera valores de , ha de existir c tal que: c X = a , lo que demuestra que a R(X ).

Observacin 3.1 El teorema anterior incluye como caso partio cular el de parmetros aislados, i . En efecto, podemos ver i como la a funcin lineal e i+1 , en que e i es un vector de ceros con un 1 en posio cin isima. Entonces, i es estimable si e i R(X ). La totalidad de o e los parmetros sern estimables si {e 1 , . . . , e p } (que son linealmente a a independientes) estn en R(X ). Esto requiere que la dimensin de a o R(X ) sea p, es decir, que X sea de rango completo. Observacin 3.2 El enunciado del Teorema 4.1 tiene gran cono tenido intuitivo. Son estimables aqullas combinaciones lineales de los e parmetros cuyos coecientes coinciden con los dados por las de X. a En efecto, si queremos estimar a y a coincide con la j-sima la e xj de la matriz X, es claro que Yj ser un estimador insesgado de a a , pues:
ww w.
om

E[Yj ] = E[xj + j ] = E[a + j ] = a . De manera anloga se demuestra que si a puede expresarse como a combinacin lineal de las de X, la combinacin lineal anloga de o o a observaciones en el vector Y es un estimador insesgado de a .

3.3.

Restricciones de identicacin. o

Hemos visto que la inestimabilidad de los parmetros es consecuencia de a la indeterminacin del sistema de ecuaciones normales: o (X X) = X y Si contamos con informacin adicional sobre que podamos imponer sobre o podemos aadir al anterior sistema ecuaciones el vector de estimadores , n adicionales que reduzcan o resuelvan la indeterminacin. Por ejemplo, si suo piramos que A = c, podr e amos formar el sistema: (X X) = X y A = c (3.2) (3.3)

M at

em

at

ic

a1 .c

y, dependiendo del rango de X X y A, obtener estimaciones unicas de . Se dice entonces que las relaciones A = c son restricciones de identicacin. o Ejemplo 3.2 Retomemos el Ejemplo 4.1. Vimos que era parcialmente estimable, y que el problema resid en que la componente a de PM y colineal con la direccin (com n) de X0 y X1 no puede ser o u distribuida entre ambos. Si, no obstante, supiramos que 0 = 1, el e problema dejar de existir. Por tanto, A = 1 con a
A= 1 0 0 es una restriccin de identicacin. o o Fin del ejemplo

R: Ejemplo 3.1 Supongamos que se investiga el efecto de tres

Habremos de realizar mediciones de la dureza con varias probetas de acero elaborado con los distintos tratamientos, y estimar dicho lmodelo. La variable explicativa o regresor i-simo tomar el valor 1 e a cuando se emplee el tratamiento i-simo, y cero en caso contrario. e Con esta especicacin i , (i = 1, 2, 3), se interpretar como la dureza o a estimada derivada de utilizar el tratamiento i-simo. Consideremos los e datos siguientes: > cbind(X, y) [1,] [2,] [3,] [4,] [5,] [6,] [7,] [8,] [9,] [,1] [,2] [,3] [,4] 1 0 0 4.8150 1 0 0 4.3619 1 0 0 4.3579 0 1 0 4.8403 0 1 0 5.2419 0 1 0 6.2087 0 0 1 3.9853 0 0 1 4.0601 0 0 1 3.4247

ww w.

at

Y = 1 X1 + 2 X2 + 3 X3 + ;

em

diferentes tratamientos trmicos sobre la dureza de un acero. Podemos e pensar en el modelo:

at

ic a1

.c

om

Una matriz de diseo de rango incompleto se puede presentar por falta de n cuidado al disear el experimento, pero, ms frecuentemente, es intencional. n a El Ejemplo 4.1 ilustra este punto.

(3.4)

Podemos estimar los parmetros mediante a > ajuste1 <- lsfit(X, y, intercept = FALSE) > ajuste1$coefficients X1 X2 X3 4.5116 5.4303 3.8234 > ajuste1$residuals [1] [6] 0.30342 -0.14972 -0.15371 -0.58995 -0.18841 0.77837 0.16193 0.23672 -0.39865

> SSE <- sum(ajuste1$residuals^2) > SSE [1] 1.3687

En esta nueva parametrizacin, 0 ser una dureza media y 1 a o a 3 recoger el efecto diferencial (respecto de dicha dureza media) an resultado de emplear cada uno de los tres tratamientos. Para introducir en el modelo 0 multiplicando a una columna de unos, basta omitir el argumento intercept=FALSE, con lo que obtenemos: > ajuste2 <- lsfit(X, y, intercept = TRUE) > ajuste2$coefficients Intercept 3.82339 X1 0.68824 X2 1.60690 X3 0.00000
ww w.

> ajuste2$residuals [1] [6] 0.30342 -0.14972 -0.15371 -0.58995 -0.18841 0.77837 0.16193 0.23672 -0.39865

> SSE <- sum(ajuste1$residuals^2) > SSE [1] 1.3687

at

em at

Podr amos pensar, sin embargo, en adoptar una diferente parametrizacin: o Y = 0 + 1 X1 + 2 X2 + 3 X3 + ; (3.5)

ic a

1.c

om

at em

at

Observemos que los dos ajustes son idnticos, como muestran los resie duos, que son iguales, y SSE =1.3687, igual en los dos casos; resultado lgico, dado que los subespacios que generan X1 , . . . , X3 y estos tres o vectores ms la columna de unos son idnticos. Las proyecciones han a e de serlo tambin. e En el segundo ajuste, lsfit ha proporcionado una estimacin de o los parmetros, a pesar de que el rango de la matriz X ampliada con a una columna deunoses incompleto. lsfit ha tomado una restriccin o identicadora arbitraria ha hecho 3 = 0 y proporcionado una de las innitas soluciones equivalentes. La restriccin adoptada hace 3 = 0. El tratamiento 3 pasa as a o convertirse en caso de referencia y la dureza atribuible al mismo viene medida por 0 =3.8234. Los valores estimados 1 y 2 miden as las diferencias de dureza de los tratamientos 1 y 2 respecto del caso de referencia, o tratamiento 3. Podr amos adoptar restricciones de identicacin diferentes. Una o muy habitual ser en el caso que nos ocupa, 1 + 2 + 3 = 0. Esto a, equivale a forzar que los efectos diferenciales de los tres tratamientos no puedan ser todos positivos o negativos. Con esta restriccin, 0 o tendr la interpretacin de dureza media y 1 , 2 , 3 ser desviaa o an ciones respecto de esta dureza media.

ic a

1 .c

om

Fin del ejemplo

3.4.

Multicolinealidad exacta y aproximada

La existencia de dependencia lineal exacta entre las columnas de la matriz de diseo X, es, como se ha visto, fruto habitualmente de una decisin n o consciente. Escogemos un diseo de rango incompleto, pero lo suplementamos n con restricciones de identicacin que solventan el problema de la estimacin o o y dotan a los parmetros de la interpretacin que deseamos. a o En la medida en que la matriz X sea de nuestra eleccin, siempre podemos o eludir el problema. Si, por el contrario, no podemos disear nuestro experin mento y nos vemos obligados a utilizar unos datos X, y dados, puede ocurrir que la matriz X, aunque no precisamente de rango incompleto, proporcione una matriz (X X) casi singular. Esto se traduce en dicultades numricas e para resolver las ecuaciones normales, dicultades para seleccionar un modelo adecuado, grandes varianzas de los estimadores y otros inconvenientes a los que nos referiremos en el Cap tulo 10.

ww

w.

Pueden verse Seber (1977), Seccin 3.8, o Draper and Smith (1998), Seco cin 20.4, por ejemplo. o

ww w.

at

em

at

ic

a1

.c om

3.5.

Lectura recomendada.