75 Revista Colombiana de Estadstica W- 17-18, 1988

INERENCIA EN REGRESIN NO LINEAL

Sergio Yaez Canal

Universidad Nacional de Colombia Seccional Medellfn

Resumen. Bajo el supuesto de errores i.i.d. W(0,a ) los estimadores mnimo'-cuadrticos de regresin lineal son los mejores estimadores lineales insesgados. Bajo idnticos supuestos estos resultados son ciertos en regresin no lineal, pero a s l n t t l c a m e n t e . Ahora bien, en muestras pequeas, que es el caso comn en la prctica, ninguna de dichas propiedades se cumple. Se presenta en este trabajo el porcentaje de sesgo de las estimaciones como medida de validez de las inferencias asintticas. Se ilustra el ntodo con un modelo de demanda residencial de energa elctrica para Medelln. Medelln, abril 1990.

1.

I n t r o d u c c i n , sea, y = X3+e (1.1)

un modelo de regresin lineal donde los Cy, l ' l , . . . ,n son independientes e idnticamente distribuidos (i.i.d) N(0,a ) . Bajo estas condiciones se sabe que los estimadores muimos cuadrticos (M.C.) de los parmetros son los mejores estimadores lineales insesgados, normalmente Retribuidos y de mnima va-

76

rianza, cualquiera sea el tamao muestral "n". As se tienen los siguientes resultados:

B^ = iX'X)~h'v ^
3j^,- W(3,a2(X'X)-l^ donde Bu es el vector de estimadores M.C. de 3*

(1.2)
^-^^

A partir de (1.3) se pueden construir todas las inferencas usuales sobre los.parmetros de regresin. Para el caso de la prediccin de una nueva observacin Y correspondiente a x , esto es y = x 3 se sabe que

a^(y ) = a^(l+x'(X'X)~^x ) o o o

(1.4)

y de aqu se puede construir un intervalo de confianza para la prediccin utilizando un estadstico " t " . Ahora bien, para modelos no lineales de regresin, los re2 sultados obtenidos bajo la condicin de errores i.i.d. W(0,a ) son anlogos al caso lineal pero de carcter asinttico. Seber y Wild (1989) sealan que el carcter asinttico de dicha aproximacin obliga a analizar qu pasa en el caso de muestras pequeas, pues se conoce, que inclusive bajo la con_ ^ 2 dicin de que los errores sean i.i.d. W(0,a ) , los estimadores M.C. son sesgados, no se distribuyen normalmente y no son de mnima varianza. Siguiendo a Ratkowsky (1983) se mostrar en este trabajo como el sesgo se puede utilizar como una medida del grado de no linealidad del modelo, para determinar la validez de las

77
inferencias, cuya justificacin reposa en los supuestos de linealidad.

2. Los Mnimos Cuadrado en Regresin ho Lineal.

Sea, l = )5(Xj;B)+ej / (c = 1,2,...,n) (2.1)

donde y. es la variable dependiente, e. es el error aleatorio con E(e.) = 0,x, es un vector Wxl de variables independientes y 3 es un vector Kxl de parmetros. Se considerarn modelos de regresin intrnsicamente no lineales, es decir que no pueden ser transformados en modelos lineales . -El siguiente modelo de demanda de energa elctrica en el sector residencial (que se usar en la seccin 4) es un ejemplo

a=fe[aCe^V]^/(^-^> + e

(2.2)

Obsrvese que en (2.2) el nmero de parmetros no coincide con el nmero de variables independientes y por lo tanto para los modelos no lineales, en general, no existe un forma matricial equivalente a (1.1). Los estimadores M . C de 3 escritos B i i minimizan la suma de cuadrados de los errores

5(3) = I[t/^J(x^;B)]^
I

(2.3)

pero en el caso no lineal se obtienen por medio de una aproximacin lineal, que se presenta en la seccin 2.1. Los resulta-

"T^T'"'^^

78
dos numricos se. obtienen por medio de mtodos interativos, variantes del mtodo de Gauss-Newton. Los estimadores M.C. en regresin no lineal, son utilizados para hacer inferencias aproximadas aplicando resultados asintticos a muestras finitas. Se puede probar que bajo ciertas condiciones (no se exige normalidad de los errores) son estimadores consistentes y asintticamente normales, ver por ejem po Judge et al (1982). Si se asume normalidad de los errores entonces los estimadores M.C. son tambin estimadores mximoverosmiles.

2.1. La aproximacin lineal

Se usar la siguiente notacin

i^B)
HB)

l5(x^;3). ilB)A2^B),.'.,iyS^))

(2.4) (2.5)

F(3) = HB) ^ 3' F = F(B*);F^= F(Bu) M 'M'

mo cuadrtico.

(2.6)
nxfe

(2.7)

donde B* es el verdadero valor de 3 y Bw es el estimativo mni^

La idea es aproximar i i B ) por el trmino lineal de la expansin en series de Taylor, que es la mejor aproximacin lineal-:

79

iiB) ix!^B*)+ 1 ^ y=i

H,-iB) 63 (6y-3y*)

(2.8)

HB) " <(3*)+F(3-3*)

y se puede o b t e n e r

(2.9)

Y* = F3+e
donde

(2.10)

y* = y-i(3*) + FB*
Malinvaud (1970) llama a (2.10) el seudo-modelo lineal, que es el anlogo de (1.1) en regresin lineal y as se obtiene el anlogo de (1.2)

^M ' (f'^y^f'V*

(2.11)

El valor de Bu suficientemente cercano a 3* se obtiene por mtodos interativos a partir de (2.9) minimizando la simia de cuadrados (2.3). Una completa descripcin de los distintos I M todos computacionales para M.C. no lineales, as con tma discusin sobre los valores iniciales se puede encontrar en Seber y Wild (1989). Es claro de esta aproximacin, que existe una discrepancia entre 3u y 3*> de la cual podemos obtener el sesgo de los estimativos de los parmetros en el atodo M.C. en regresin no lineal. En la seccin 3 se examinar dicho sesgo.

2.2. Inferencia asinttica.

2 Dado que los sean i.i.d. M(0,a ) en (2.1) se puede probar para n grande

I' J

.f

80 B,^'^''^ N^B,o^iF'F)~h (2.12)

resultado anlogo a (1.3) y a partir del cual se pueden construir todas las inferencias usuales sobre los parmetros de re2 2 gresin. F se estima por F^ y a por S = S(Bw)/(n-fe). ^, Para el caso de la prediccin de una nueva observacin Y correspondiente a x , Seber y Wild (1989) partiendo de la expansin en series de Taylor

iix^iB^) = ix^iB) + i'^B^-B)

(2.13)

donde i ' es el vector I f de primeras derivadas de i x ;B) con xC respecto a cada uno de los elementos de 3 > prueba que

O^Y^) = o^l+iiF'F)~'^i^)

(2.14)

resultado anlogo a (1.4) y del cual se puede construir un intervalo de confianza para la prediccin utilizando un estads-

tico " t " .

3. El Sesgo en Regresin no Lineal.

Box (1971) partiendo de una expansin del modelo en series de Taylor hasta el trmino de segundo orden, encontr la siguiente frmula para el sesgo de Bi

'M(3.1)

' 2 - ,0-l. sesgo(B^) = E(B^-B*) =-%-GU;]''|<5;C'- C y ; r \

donde i (= i - ) es el vectorfexlde primeras derivadas de

iXj.;B) y Hf es la matrizfexfede segundas derivadas con respe to a cada uno de los elementos de B, evaluados en X^, donde

81 2 t = l,2,...,n. En la prctica S y Bu son usados en lugar de o^ y B. Para l a prediccin Y , Box (1971) deriv l a frmula
se8go(yo) = E(y^-(Xo;3)) = f5sesgo(Bjy)+y2tr[H^Cov(Bn^)l (3.2)

2 -1 donde Cov(Bii) = - i ^ l ^ u ) 6 ss la matriz de varianza-covarianza de 3^. Ratkowsky (1983 , muestra por medio de estudios de simiulacin que el porcentaje de sesgo ,a X %sesgo(3^) sesgo(B.M) (100) ^ (3.3)

es una cantidad til en la medida en que un valor absoluto en exceso del 1%, es una buena regla prctica para determinar el grado de no linealidad del modelo. Retkowsky (1983) muestra, tasibin, que en el caso de la proyeccin sesgo(yo)(100) %sesgo(y ) = 7 o 'o

(3.4)

se puede utilizar en el mismo sentido de (3.3) para dcidir si las inferencias asintticas de la seccin 3 son vlidas.

4. Aplicacin.
El modelo que se usar es tomado de Vlez et al (1987). La demanda residencial de Energa Elctrica en dos ciudades colombianas: un modelo econmico. Artculo basado en el segundo captulo de Botero et al (1986).

J ?

82
El modelo para el caso de Medelln es el siguientes

i-.k -'t

B/Vf X V^/iV^-B)^

^t

^*^ *^

donde t = 1970, 1971,.. .1983; n = 14 datos; 2.^= consumo del subscritor medio; C^ = representa el intercepto de la funcin de oferta cuando el precio es uno; P^ ' elasticidad de la ofer ta respecto al precio; Y^ ingreso per capta;fe= parmetro constante; a = parmetro que representa el efecto de las preferencias y necesidades de los subscriptores sobre la demanda; 3 = parmetro que representa la elasticidad de la demanda con respecto al precio; T = parmetro que representa la elastididad de la demanda con respecto del ingreso; e^. = trmino de error del modelo. El modelo se ajust utilizando el modulo NONLIN del paquete estadstico SYSTAT que utiliza algoritmos cuasi-Newton para encontrar los estimadores M . C , al respecto ver Wiikinson (1988). El ajuste fue satisfactorio razonando por analoga al caso lineal. Con base en los resultados de consumo de energa elctrica en el sector residencial para Medelln de 1984 y 1985 que ya se conocan, se observaba el buen comportamiento del modelo respecto a predicciones. La interpretacin de los parmetros desde el punto de vista econmico conclua que los estimativos eran perfectamente aceptables. As utilizando criterios estadsticos y econmicos se concluy que el modelo estaba bien es^ pecificado. Para el caso de inters de este trabajo, calcularemos el porcentaje de sesgo para los parmetros y la prediccin para determinar la validez de las inferencias que se hicieron si-

83
guiendo los criterios asintticos expuestos en la seccin 3, siendo el tamao muestral en este caso pequeo, n = 14 datos. Ratkowsky (1983) observa que para un parmetro que represente un trmino constante en el modelo, el porcentaje de sesgo puede ser arbitrariamente grande o pequeo y por ello recomienda que este tipo de anlisis no se haga con dichos parmetros. As, utilizaremos el siguiente modelo:

!Z=-2.8[aC^'^y^]^/(^-P> + e

(4.2)

donde fe 2.8 es el valor obtenido al ajustar (4.1) Se ajust (4.2) utilizando el modulo NONLIN del SYSTAT y se observa que el ajuste es bueno, razonando por analoga al caso lineal. En el cuadro 1 se puede observar que el porcentaje de sesgo para 3 y T superan el 1% lo cual indica im grodo de no-linealidad alto en el modelo. El caso de T es 18.8%, (adems comparando dicho sesgo con el error estndar se tiene un resultado de 4.4) lo cual indica que la influencia de T sobre la nolineailidad es muy grande y sugiere que el iiK>delo no est bien especificado respecto a T y a la variable asociada Y. Obsrvese, tambin, en el cuadro 2, la alta influencia de T sobre las proyecciones: si corregimos los sesgos de los parmetros, el sesgo obtenido al comparar las proyecciones con los parmetros originales y las proyecciones con los parmetros corregidos es del orden del 36% para los aos desde 1984 a 1990. Tambin en el cuadro 2 se ve que la sobre-estimacin de las proyecciones es debida exclusivamente a T.

84

CUADRO 1.

PARAM.

VALOR 168.0401 1 0.048 0.306

E.S.
16.661 0.010 0 .013

SESGO

%SESGO

ABS(SES/E.S.) 0.03642473 0.19896262 4.44448398

3
T

-0.606872550 -0.361% -0.001989626 4.145% 0.057778291 18.882%

CUADRO 2
ARO
PROYEC. 1:=0.248222 3=.046011 T-0.248222 a18468
3J046011

SESGO

%SESGO

1984 1985 1986 1987 1988 1989 1990

5294, .056 .177 5468, 5522 .694 5591. .336 5652, .247 5705 .114 5756, .472

3392.065 3494.303 3522.537 3558.010 3589.420 3616. 630 3644.044

5267, .760 5433 .661 5487 .769 5555 .893 5616 .345 5668 .812 5721 .766

3389. ,161 3487. .030 ,171 3515. 3550. ,527 3581. .832 3608. ,951 ,274 3636.

.895 1904. .147 1981. .524 2007. 2040. ,809 2070, .415 .162 2096. .198 2122.

.982% 35. ,230% 36, .350% 36. ,499% 36. .630% 36. .742% 36. .853% 36.

Ahora bien, respecto al sesgo de las proyecciones, se puede decir que el efecto del sesgo de T, sobreestima las proyecciones, como ya de observ en el cuadro 2. En la frmula (3.2) el efecto del sesgo de los parmetros se ve en el cuadro 3 en la columna (f{*SPA) y el efecto de la aproximacin de la coltmina (TRA21A/2) , es claro que el porcentaje de sesgo se debe completamente a T y es de una magnitud similar a la sealada en el cuadro 2. (La columna E.S(PRO)-del cuadro 3, muestra el error estndar de las proyecciones calculadas de acuerdo a (2.14) y son resiiltados aparentemente aceptables). Desde el punto de vista estadstico se concluye que el modelo debe ser revisado, concretamente la especificacin respec^

85
to al ingreso per-cpita Y) la variable asociada al parnetro T. Tal como est, el modelo es altamente no-lineal y las inferencias respecto a los parmetros y a la prediccin no tienen ninguna validez estadstica, a pesar de que los diagnsticos realizados sobre (4.2) eran "buenos", utilizando criterios ana logos a los utilizados en regresin lineal.

CUADRO 3

AO
1984 1985 1986 1987 1988 1989 1990

PROYEC. 5294.056 5468.177 5522.694 5591.336 5652.247 5705.114 5758.472

E.S(PRO) 397.239 443.637 447.376 452.118 456.357 460.059 463.817

^*SPA 2310.671 2393.719 2427.863 2470.996 2509.404 2542.839 2576.679

TRAZA/2 -45.175 -44.586 -45.224 -46.030 -46.748 -47.372 -48.004

SESGO 2265.496 2349.133 2382.639 2424.966 2462.657 2495.467 2528.675

AfiO

%ii*SPA)
43.647% 43.775% 43.962% 44.193% 44.397% 44.571% 44.746%

%(TR/2)

^SESGO

1984 1985 1986 1987 1988 1989 1990

-0.853% -0.815% -0.819% -0.823% -0.827% -0.830% -0.834%

42.793% 42.960% 43.143% 43.370% 43.570% 43.741% 43.912%

Este ejemplo ilustra con claridad, como a pesar de que el trabajo en regresin lineal se hace por analoga a la regresin lineal, sus estimadores se comportan de manera c o m p l e t a m e n t e diferente, dependiendo del grado de no linealidad en muestras pequeas, de forma que las inferencias asintticas pueden care-

86
cer de toda validez.

5. Consideraciones Finales.
El estudio de los modelos no lineales de regresin es un campo relativamente nuevo. Su desarrollo importante es de la decada de los 80's, a partir de los trabajos de Bates y Watts (1980) y Ratkowsky (1983) quienes utilizando los trabajos pioneros de Beale (1960) y Box (1971) presentan reglas prcticas para la determinacin del grado de no-linealidad del modelo. El mtodo expuesto en este artculo es desarrollado por Ratkowsky (1983) y se recomienda se utilice conjuntamente con las medidas de curvatura de Bates y Watts (1980) as como tambin, con estudios de simulacin sobre las propiedades mustrales de los estimadores M . C . Se escogi, en este trabajo, la medida de porcentaje de sesgo por aparecer como ms natural desde el punto de vista estadstico para ilustrar el hoy complejo campo de la regresin no-lineal. Es pertinente anotar que Bates y Watts (1980) muestran la relacin del sesgo aqu utilizado, con sus medidas de curvatura. En el momento de la implementacin del modelo de la seccin 4, la bibliografa que conocamos escasamente citaba el artculo de Bates y Watts (1980), pero no destacaba la importancia central de dicho artculo en el desarrollo de la regresin no-lineal, hoy claramente reconocida. Las referencias ms utilizadas fueron: Draper y Smith (1981) y Amemiya (1983), este ltimo especialista en modelos no lineales en econometra. Miller (1974) sealaba la no validez del jackknife en modelos no lineales como reducidores de sesgo. Simonoff y Tsai (1986) desarrollan mtodos basados en jackknife para regresin no lineal, teniendo en cuenta los efectos de no linealidad. Los ana

87
lisis de residuales son revisados por Cook y Tsai (1985) al incluir las medidas de no linealidad. En fin, se puede afirmar con Seber y Wild (1989) que hasta hace pocos .aos la situacin de los modelos no lineales era en general deficiente y que l a a medidas de no linealidad son una de las principales razones de su reciente desarrollo. Para terminar se puede citar el epgrafe, al captulo 7sobre Medidas de Curvatura de no linealidad, del libro de Bates y Watts (1988): "La gran tragedia de la Ciencia: la muerte violenta de una bella hiptesis por una fea realidad". Thomas Huxley.

BIBLIOGRAFA
^aemiya, T., (1983). "Non-Linear Regression Models" captulo 6- en Griliches, Z. e Intrilligator, M.D. Handbook of Econometric, volumen 1. North Holland: Amsterdan. Bates, D.M. y Watts, D.C, (1980). Relative curvature measures of nonlinearity. J.R. Stat. Soc. B, 42, 1-25. Bates, D.M. y Watts, D . C , (1988). Nonlinear Regression Analysis & its aplications. Wiley: New York. Beale, E.M.L., (1960). Confidence regions in non-linear estimation. J.R. Stat. Soc. B, 22, 41-88. Botero, J., Velez, C E . , Garca, G., Castao, E. y Yaez, S., (1986). Revisin y reestimacin del submodelo de demanda de energa elctrica en Colombia. Copia a mquina. Medelln: Centro de Investigaciones Econmicas. Universidad de Antioquia. Box, M.J., (1971). Bias in nolinear estimation. J.R. Stat. Soc. B, 33, 171-201.

88
Cook, R.D. y Tsai, C.L., (1985). Residuals in nolinear regression. Biometrika, 72, 23-29. Draper, N.R. y Smith, H., (1981). Applied Regression Analysis, 2a. Ed. Wiley: New York. Judge, G.G., Hill, R . C , Griffiths, W.E., Ltkepohl, H., y Lee, T . C , (1982). Introduction to the theory and praAtice of econometrics. Wiley: New York. Malinvaud, E., (1970). Statistical Methods of Econometrics. North Holland: Amsterdfon. Miller, R.G., (1974). An Unbalanced jackknife. The Annals of statistics, 2, 880-891. Ratkowsky, D.A., (1983). Nonlinear Regression Modeling. Marcel Dekker: New York. Simonoff, J.S. y Tsai, C L . , (1986). Jackknife - Bosed estimators and confidence regions in Nonlinear Regression. Technometrics, 28, 103-112. Seber, G.A.F., Wild, C J . (1989). Nonlinear Regression. Wiley New York.