Modelos de regresión no lineal

1. Describa como obtener ecuaciones por mínimo cuadrados no lineales del modelo.

Y = axB +e.

Describir cómo obtener estimaciones de mínimos cuadrados no lineales de los parámetros del modelo Y =
axB +e.

No podemos simplemente tomar registros de ambos lados de la ecuación como la perturbación es aditiva en
lugar de multiplicativo. Por lo tanto, debemos tratar el modelo como una regresión no lineal. La ecuación
linealizada es:

Donde α0 y β0 son el punto de expansión. Para valores dados de α0 y β0, La ecuación de estimación sería:

Las estimaciones de α y β se obtienen aplicando mínimos cuadrados ordinarios a esta ecuación. El proceso
se repite con las nuevas estimaciones en el papel de α0 y β0. La iteración podría continuar hasta la
convergencia. Los valores iniciales son siempre un problema. Si uno no tiene valores particulares en mente,
0
̅; y β = 0 o β = 1 y
un candidato sería α = 𝒚
0 0
̅/𝒙
α0 o bien x'y / x'x o 𝒚 ̅.
Alternativamente, se podría buscar directamente los α y β para minimizar la suma de cuadrados, S (α, β) =
Σi (yi - αxβ)2 = Σi 𝜺𝟐𝒊 Las condiciones de primer orden para la minimización son ∂S (α, β) / ∂α = -2Σi
(yi - αxβ)xβ = 0 y ∂S (α, β)/ ∂β = -2Σi (yi - αxβ) α (lnx)xβ = 0. Los métodos para resolver ecuaciones
no lineales como éstas se discuten en el Capítulo 5.
Primero, las dos regresiones simples producen

En la regresión de Y sobre 1, K, L, y los valores predichos de la ecuación log lineal menos las predicciones
a partir de la ecuación lineal, el coeficiente en α es -587.349 con un error estándar estimado de 3135. Como
esto no es significativamente diferente de cero, esta evidencia favorece el modelo lineal. En la regresión de
lnY en 1, LnK, lnL y las predicciones del modelo lineal menos el exponente de las predicciones del
loglinear Modelo, la estimación de α es .000355 con un error estándar de .000275. Por lo tanto, esto
contradice el anterior resultado y favorece el modelo loglinear. Un enfoque alternativo es adaptar el modelo
Box-Cox del ejercicio 4. La estimación por máxima verosimilitud de λ es aproximadamente -12, que está
mucho más cerca del modelo log-lineal Que el lineal. Las log-probabilidad son -192,5107 en el MLE, -
192,6266 en λ = 0 y -202,837 en λ = 1.Por lo tanto, la hipótesis de que λ = 0 (el modelo log-lineal) no sería
rechazada, sino la hipótesis de que λ = 1 (el modelo lineal) sería rechazado usando el modelo de Box-Cox
como marco.
 Utilizando los datos de Zellner y Revankar en la Tabla A9.1, estimar α, βk, βl y λ utilizando el método de
escaneado sugerido en la Sección F9.2. (No olvide escalar Y, K y L por el número de establecimientos.)
Utilice (9-16), (9-12) y (9-13) para calcular los errores estándar asintóticos apropiados para sus
estimaciones. Calcular los dos Las elasticidades de salida, ∂lnY / ∂lnK y ∂lnY / ∂lnL en las medias
muestrales de K y L. [Sugerencia: ∂lnY / ∂lnK = K∂lnY / ∂K.]¿Cómo se comparan estas estimaciones con
los valores dados en el Ejemplo 10.5? La búsqueda de la suma mínima de cuadrados produjo los siguientes
resultados:

La suma de los cuadrados residuales se minimiza al 𝜆 = −2.38 . A este valor, los resultados de la
regresión son los siguientes:

Las estimaciones encontradas para el modelo de Zellner y Revankar fueron .254 y .882, respectivamente, por lo
que son bastante similares. Para el modelo log-linear simple, los valores correspondientes son .2790 y .927
4. Para el modelo en el Ejercicio 3, probar la hipótesis de que λ = 0 usando una prueba de Wald, una prueba
de razón de verosimilitud y una prueba de multiplicador de Lagrange. Tenga en cuenta, el modelo
restringido es el Cobb-Douglas, log-lineal.

La prueba de Wald se basa en un modelo sin restricciones. El estadístico es el cuadrado de la usual relación t,
W = (-.232 / .0771)2 = 9,0546. El valor crítico de la distribución de chi cuadrado es 3,84, por lo que la Hipótesis de
que λ = 0 puede ser rechazada. La razón de razón de probabilidad se basa en ambos modelos. La suma de Squared
residuals para los modelos no restringido y restringido se da más arriba. La log-probabilidad es

Por ultimo para calcular las estadísticas del múltiplo de lagrange se regresan los residuos de la regresión log-lineal

en una constante donde los coeficientes del modelo log-lineal son (0,27898 y
0,92731). El R En esta regresión es .23001, por lo que el estadístico del multiplicador de Lagrange es LM = nR2
2

=25 (0,23001) = 5,7503. Las tres estadísticas sugieren la misma conclusión, la hipótesis debe ser rechazada.

En lugar de minimizar la suma de las desviaciones cuadráticas, ahora maximizamos la función de log-verosimilitud

concentrada, lnL La búsqueda del máximo de lnL

produjo los siguientes resultados:
Las elasticidades de salida para esta función evaluadas en las medias muestrales

Estos son muy similares a las estimaciones anteriores. La suma de las dos elasticidades de salida para los estados
dados, en el ejemplo del texto se dan a continuación para el modelo estimado con y sin transformar la variable
dependiente. Tenga en cuenta que el primero de estos hace que el modelo se parezca mucho más similar a la
modelo Cobb Douglas para el cual esta suma es constante.

Una vez más, nos interesa probar la hipótesis de que λ = 0. La estadística del test de Wald es W = (0,123 / 0,2482)2
= .2455. Ahora no rechazamos la hipótesis de que λ = 0. Este es un sorprendente resultado. La razón de razón de
probabilidad se basa en ambos modelos. La suma de los residuos cuadrados para el modelo restringido se da más
arriba. La suma de los logs de las salidas es 19.29336, por lo que la restricción Log-likelihood es lnL0= (0-1)
(19.29336) - (25/2) [1 + ln (2π) + ln (.781403 / 25)] = -11.44757. La probabilidad del ratio estadístico es
-2 [-11.13758 - (-11.44757)] = .61998. Una vez más, la estadística es pequeña. Finalmente, para calcular la
estadística del multiplicador de Lagrange, ahora utilizamos el método descrito en el Ejemplo 10.12. El resultado es
LM = 1,5621. Todos estos sugieren que el modelo log-lineal no es una restricción significativa en el modelo Box-
Cox . Este resultado bastante peculiar parecería surgir debido a la sustancial reducción de la función log-
verosimilitud que se produce cuando la variable dependiente se transforma junto con la mano derecha lado. Esto no
es una contradicción porque el modelo con sólo el lado derecho transformado no es una paramétrica en el modelo
con ambos lados transformados sí. Se dan algunas pruebas adicionales en el próximo ejercicio.
Demuestre que la secuencia limitante para λ = 0 es

La prueba se puede hacer por inducción matemática. Por conveniencia, denotar la i-ésima derivada por fi la
primera derivada aparece en la Ecuación (9-34). Simplemente conectando en i = 1, está claro que f1 satisface la
relación. Ahora, use la regla de la cadena para diferenciar f1, Recoger términos para obtener
 Perturbaciones no esféricas - El modelo de regresión generalizada

once the inverse matrices are

multiplied= una vez que las matrices inversas se multiplican .
Donde β es el estimador GLS. Demuestre que si Ω es conocido, si las perturbaciones son distribuidas normalmente y siLa hipótesis nula,
Rβ = q, es verdadera, entonces esta estadística se distribuye exactamente como F con J y n K grados delibertad. ¿Qué suposiciones sobre
los regresores son necesarias para llegar a esta conclusión? Necesitan ser no estocástico

Y el numerador es ε*'X*(X*'X*)-1R '[R (X *'X*)-1R ']-1R (X *'X*)-1X *Ε * / J. Al multiplicarlo, encontramos queLa matriz de la forma
cuadrática anterior es idempotente. Por lo tanto, esta es una forma cuadrática idempotente en unVector aleatorio normalmente
distribuido. Por lo tanto, su distribución es la de σ2 Veces una variable chi cuadrada conGrados de libertad igual al rango de la matriz.
Para encontrar el rango de la matriz de la forma cuadrática,Puede encontrar su huella. Es decir

Matriz no singular en los corchetes y A = (X * 'X *) - 1R', que es una matriz de K × J que no puede tener rango más alto que J. Por lo
tanto, el producto entero no puede tener rango más alto que J. Continuando, Ahora encontramos que el numerador (aparte del factor
de escala, σ2) es la relación de una variable chi-cuadrada [J] con sus grados de libertad.

Ahora nos dirigimos al denominador. Al multiplicarlo, encontramos que el denominador es

(Y * - X *

Β) '(y * - X * β) / (n - K). Esta es exactamente la suma de los cuadrados de los residuos en la regresión de mínimos cuadrados de y * en X
*. Puesto que y * = X * β + ε * y β = (X * 'X *) - 1X *' y * el denominador es ε * 'M * ε * / (n - K), la forma familiar de la suma de
cuadrícula. Una vez más, esta es una forma cuadrática idempotente en un vector normal (y, de nuevo, aparte del factor de escala, σ2,
que ahora cancela). El rango de la matriz M es n - K, como siempre, por lo que el denominador es también una variable chi cuadrada
dividida por sus grados de libertad.

Queda sólo para demostrar que las dos variables chi-cuadrado son independientes. Sabemos que son si las dos matrices son
ortogonales. Son desde M * X * = 0. Esto completa la prueba, ya que todos los requisitos para la distribución F han sido mostrados.

3 Supongamos ahora que las perturbaciones no se distribuyen normalmente, aunque conocido.

Demuestre que la distribución de limitación de la estadística anterior es (1 / J) veces un chi cuadrado
Variable con J grados de libertad. (Sugerencia: El denominador converg a en 𝜽𝟐 .) Concluya que en el
modelo de regresión generalizado, la distribución limitante de La estadística Wald
Es chi cuadrado con J grados de libertad, independientemente de la distribución de las perturbaciones,
siempre y cuando los datos sean por lo demás bien comportados. Obsérvese que en una muestra finita, la
distribución verdadera puede ser aproximada con una distribución de F [J, n-K]. Sin embargo, es un poco
ambiguo interpretar este hecho como implicando que la estadística está asintóticamente distribuida como
F con J y n-K grados de libertad, porque la distribución limitante utilizada para obtener nuestro resultado
es el chi cuadrado, no el F. En Esta instancia, la F [J, nK] es una variable aleatoria que tiende
asintóticamente a la variable chi-cuadrado.
2
En primer lugar, sabemos que el denominador de la estadística F converge a σ . Por lo tanto, la distribución límite de la estadística F
2
es la misma que la distribución limitante de la estadística que resulta cuando el denominador es reemplazado por σ . Es útil escribir
esta estadística modificada como:

Tenga en cuenta que este es un vector J

0 0 0 2 -1
× 1. Al multiplicarlo, encontramos que E [ε ε '] = Var [ε ] = R {σ (X *' X *) } R '. Por lo tanto, la estadística modificada se puede
0 0 -1 0
escribir como W * = ε 'Var [ε ] ε / J. Esta es la "forma cuadrática de rango completo" discutida en el Apéndice B. Por conveniencia,
0 -1/2 0 -1 / 2
sea C = Var [ε ], T = C y v = Tε . Entonces, W * = v'v. Por construcción, v = Var [ε0] ε , entonces E [v] = 0 y Var [v] = I. La
distribución limitante de v'v es chi cuadrado J si la distribución limitante de v es normal estándar . Todas las condiciones para el
teorema del límite central se aplican a v, por lo que tenemos el resultado que necesitamos. Esto implica que mientras los datos
estén bien comportados, el numerador de la estadística F convergerá a la razón de una variable chi cuadrada a sus grados de
libertad.
 7 .

Estas son las ecuaciones normales para el estimador GLS, por lo que los dos estimadores son los mismos. Cabe
señalar que la solución es sólo implícita, ya que Ω es una función de β. Para otra aplicación más común, vea la
discusión del estimador FIML para modelos de ecuaciones simultáneas en el Capítulo 15.