Documentos de Académico
Documentos de Profesional
Documentos de Cultura
El modelo de regresión múltiple más sencillo es la regresión de tres variables, con una
variable dependiente y dos variables explicativas. Durante el análisis, trataremos con modelos
de regresión lineal múltiple, es decir, modelos lineales en los parámetros, que pueden ser o no
lineales en las variables.
7.1 Modelo con tres variables: notación y supuestos
Al generalizar la función de regresión poblacional (FRP) de dos variables, podemos escribir la
FRP de tres variables así:
Yi = β1 + β2X2i + β3X3i + ui
Donde Y es la variable dependiente, X2 y X3 las variables explicativas, u es el término de
perturbación estocástica, e i la i-ésima observación; en caso de que los datos sean series de
tiempo, el subíndice t denotará la t-ésima observación. En la ecuación, β1 es el término del
intercepto, Los coeficientes β2 y β3 se denominan coeficientes de regresión parcial.
La no colinealidad significa que ninguna de las regresoras puede escribirse como
combinación lineal exacta de las regresoras restantes en el modelo. De manera formal, la no
colinealidad significa que no existe un conjunto de números λ2 y λ3, al menos uno diferente
de cero, tales que:
λ2X2i + λ3X3i = 0
7.2 Interpretación de la ecuación de regresión múltiple
Con los supuestos del modelo de regresión clásico, se cumple que, al tomar la esperanza
condicional de Y en ambos lados de Yi = β1 + β2X2i + β3X3i + ui, obtenemos:
El procedimiento más directo para obtener los estimadores que reducen, es diferenciarla
respecto de las incógnitas, igualar a cero las expresiones resultantes y resolverlas al mismo
tiempo. De este procedimiento se obtienen las siguientes ecuaciones normales:
En forma equivale a:
En forma equivalente:
El estimador ˆσ 2 se calcula de, una vez que se dispone de los residuos, pero también se
obtiene, más rápido, con la siguiente relación:
Elevamos al cuadrado (7.5.2) en ambos lados y sumamos sobre los valores muestrales para
obtener
En palabras, la ecuación (7.5.3) afirma que la suma de cuadrados total (STC) es igual a la
suma de cuadrados explicada (SCE) + la suma de cuadrados de residuos (SCR).
Ahora, por definición:
Para comparar dos términos R2 se debe tener en cuenta el número de variables X presentes en
el modelo. Esto se verifica con facilidad si consideramos un coeficiente de determinación
alterno, que es el siguiente:
Donde
Y = producción
X2 = insumo trabajo
X3 = insumo capital
u = término de perturbación estocástica
e = base del logaritmo natural
Cada uno de los coeficientes de regresión (parcial), β2 hasta βk, es la elasticidad (parcial) de
Y respecto de las variables X2 hasta Xk.
7.10 Modelos de regresión polinomial
Los modelos de regresión polinomial, de amplio uso en la investigación econométrica
relacionada con funciones de costo y de producción. Al introducir estos modelos, ampliamos
la gama de modelos a todos los que se aplica fácilmente el modelo clásico de regresión lineal.
Se relaciona el costo marginal (CM) de corto plazo de la producción de un bien (Y ) con el
nivel de su producción (X ).
Que se denomina una función cuadrática o, más generalmente, un polinomio de segundo
grado en la variable X; la mayor potencia de X representa el grado del polinomio (si se
agregara X3 a la función anterior, sería un polinomio de tercer grado, y así sucesivamente).
La versión estocástica se escribe así:
Tenga en cuenta que, en estos tipos de regresiones polinomiales, sólo hay una variable
explicativa al lado derecho, pero aparece elevada a distintas potencias, convirtiéndolas en
modelos de regresión múltiple. A propósito, observe que si se supuso que Xi es fi ja o no
estocástica, los términos de Xi elevados a alguna potencia también se hacen fi jos o no
estocásticos.
7.11 Coeficientes de correlación parcial
Explicación de los coeficientes de correlación simple y parcial
El coeficiente de correlación r como medida del grado de asociación lineal entre dos
variables. Para el modelo de regresión con tres variables podemos calcular tres coeficientes de
correlación: r12 (correlación entre Y y X2), r13 (coeficiente de correlación entre Y y X3) y r23
(coeficiente de correlación entre X2 y X3); observe que el subíndice 1 representa a Y por
conveniencia notacional. Estos coeficientes de correlación se denominan coeficientes de
correlación bruta o simple, o coeficientes de correlación de orden cero, y se calculan a partir
de la definición del coeficiente de correlación.
Definimos
r12.3 = coeficiente de correlación parcial entre Y y X2, manteniendo X3 constante
r13.2 = coeficiente de correlación parcial entre Y y X3, manteniendo X2 constante
r23.1 = coeficiente de correlación parcial entre X2 y X3, manteniendo Y constante
Estas correlaciones parciales se obtienen con facilidad a partir de los coeficientes de
correlación simples o de orden cero, de la siguiente forma:
Para la estimación puntual de los parámetros de los modelos de regresión, se utiliza el método
de mínimos cuadrados ordinarios (MCO). Sin embargo, si el objetivo no sólo es la estimación
sino además la inferencia, debemos suponer que las ui siguen alguna distribución de
probabilidad. Con el supuesto de normalidad se halla que los estimadores de MCO de los
coeficientes de regresión parcial, idénticos a los estimadores de máxima verosimilitud (MV),
son los mejores estimadores lineales insesgados (MELI). Además, los estimadores ˆ β2, ˆ β3 y
ˆ β1 están, ellos mismos, normalmente distribuidos con medias iguales a los verdaderos β2, β3
y β1, y con las varianzas. Además, (n − 3)ˆσ 2/σ2 sigue la distribución χ2 con n − 3 gl, y los
tres estimadores de MCO están distribuidos independientemente de ˆσ 2.
La distribución t sirve para establecer intervalos de confianza y para probar hipótesis
estadísticas sobre los verdaderos coeficientes de regresión parcial poblacionales. De modo
similar, con la distribución χ2 se prueban hipótesis sobre el verdadero σ2. Para demostrar el
mecanismo real utilizaremos el siguiente ejemplo ilustrativo.
8.2 Pruebas de hipótesis en regresión múltiple: comentarios generales
Una vez fuera del mundo simple del modelo de regresión lineal con dos variables, las pruebas
de hipótesis adquieren diversas e interesantes formas, como las siguientes:
1. Pruebas de hipótesis sobre un coeficiente de regresión parcial individual.
2. Pruebas de significancia global del modelo de regresión múltiple estimado, es decir, ver si
todos los coeficientes de pendiente parciales son iguales a cero al mismo tiempo.
3. Pruebas de que dos o más coeficientes son iguales a otro.
4. Pruebas de que los coeficientes de regresión parcial satisfacen ciertas restricciones.
5. Pruebas de la estabilidad del modelo de regresión estimado a través del tiempo o en
diferentes unidades de corte transversal.
6. Pruebas sobre la forma funcional de los modelos de regresión.
8.3Pruebas de hipótesis sobre coeficientes de regresión individuales
Con el supuesto que ui ∼ N(0, σ2), podemos utilizar la prueba t para demostrar una hipótesis
sobre cualquier coeficiente de regresión parcial individual. En la práctica, no se tiene que
suponer un valor particular de α para llevar a cabo la prueba de hipótesis. Tan sólo se emplea
el valor p, que en el caso del ejercicio es de 0.0065. La interpretación de este valor p es que, si
la hipótesis nula fuese verdadera, la probabilidad de obtener un valor t igual a 2.8187 o mayor
(en términos absolutos) sería de sólo 0.0065 o 0.65%, que de hecho es una probabilidad
pequeña, mucho menor que el valor artificialmente adoptado de α = 5%.
Este ejemplo es una oportunidad para decidir si deseamos utilizar la prueba t de una o dos
colas. Sin embargo, se debe utilizar la prueba de una cola. Es decir, la hipótesis nula y alterna
deben ser:
H0:β2 < 0 y H1:β2 ≥ 0
Se puede rechazar la hipótesis nula con base en la prueba t de una cola, en este caso. Si
rechazamos la hipótesis nula en una prueba bilateral, contaremos con pruebas suficientes para
rechazar el escenario unilateral siempre que el estadístico esté en la misma dirección que la
prueba.
8.4 Prueba de significancia general de la regresión muestral
Según la hipótesis separada de que cada verdadero coeficiente de regresión parcial de la
población era cero. Pero ahora considere la siguiente hipótesis:
H0:β2 = β3 = 0
Esta hipótesis nula es una hipótesis conjunta de que β2 y β3 son iguales a cero en forma
conjunta o simultánea. Una prueba de tal hipótesis se denomina prueba de significancia
general de la línea de regresión observada o estimada, es decir, si Y está relacionada o no
linealmente con X2 y X3 a la vez.
Al probar la significancia individual de un coeficiente de regresión parcial, supusimos
implícitamente que cada prueba de significancia se basaba en una muestra diferente (es decir,
independiente). Así, en la prueba de significancia de ˆ β2 según la hipótesis de que β2 = 0,
supusimos tácitamente que la prueba se basaba en una muestra diferente de la utilizada en la
prueba de significancia de ˆ β3 conforme a la hipótesis nula de que β3 = 0.
Si se establece un intervalo de confianza a 95% para β2. Pero si utilizamos los mismos
datos muestrales para establecer un intervalo de confianza para β3, es decir, con un
coeficiente de confianza de 95%, no es posible asegurar que β2 y β3 se encuentren dentro de
sus respectivos intervalos de confianza con una probabilidad de (1 − α)(1 − α) = (0.95)(0.95).
En otras palabras, aunque las afirmaciones
Pr [ ˆ β2 − tα/2 ee ( ˆ β2) ≤ β2 ≤ ˆ β2 + tα/2 ee ( ˆ β2)] _ 1 − α
Pr [ ˆ β3 − tα/2 ee ( ˆ β3) ≤ β3 ≤ ˆ β3 + tα/2 ee ( ˆ β3)] _ 1 − α
Son individualmente ciertas, no es cierto que la probabilidad de que β2 y β3 se encuentren al
mismo tiempo en los intervalos, porque los intervalos pueden no ser independientes cuando se
derivan con la misma información.
El método del análisis de varianza en las pruebas de significancia general de una
regresión múltiple observada: la prueba F
No se puede utilizar la prueba t usual para probar la hipótesis conjunta de que los verdaderos
coeficientes parciales de pendiente sean simultáneamente iguales a cero. Sin embargo, esta
hipótesis conjunta se prueba con la técnica del análisis de varianza (ANOVA), lo cual se
demuestra de la siguiente manera:
Ahora puede demostrarse que, según el supuesto de la distribución normal para ui y la
El enfoque de la prueba t
El procedimiento más simple es estimar de la forma usual sin tener en cuenta la restricción
explícitamente. Esto se denomina regresión no restringida o no limitada. Si el valor t
calculado excede el valor t crítico en el nivel de significancia seleccionado, rechazamos la
hipótesis de rendimientos constantes a escala; de lo contrario, no la rechazamos.
La prueba t anterior es una clase de examen post mortem, pues se trata de encontrar si se
satisface la restricción lineal después de estimar la regresión “no restringida”. Un método
directo sería incorporar la restricción en el procedimiento de estimación desde el comienzo.
En el ejemplo presente, este procedimiento se realiza fácilmente:
β2 = 1 − β3
β3 = 1 − β2
Por consiguiente, con cualquiera de estas igualdades podemos eliminar un coeficiente β en y
estimar la ecuación resultante. Así, si utilizamos la función de producción Cobb-Douglas de la
siguiente manera:
(ln Yi − ln X2i ) = β0 + β3(ln X3i − ln X2i ) + ui
Este procedimiento esquematizado se conoce como mínimos cuadrados restringidos
(MCR). Este procedimiento puede generalizarse a modelos con cualquier número de
variables explicativas y más de una restricción de igualdad lineal.
Prueba F general
La prueba F proporciona un método general de prueba de hipótesis sobre uno o más
parámetros del modelo de regresión con k variables: Yi= β1 +β2X2i +β3X3i +···+βkXki +ui.
La estrategia general de la prueba F es la siguiente: hay un modelo más grande, el modelo no
restringido, y un modelo más pequeño, el modelo restringido o limitado, que se obtuvo del
modelo más grande al eliminar algunas de sus variables, o al colocar algunas restricciones
lineales sobre uno o más coeficientes del modelo más grande. Se puede utilizar esta regla de
decisión: si la F calculada excede Fα(m, n − k), donde Fα(m, n − k) es el F crítico en el nivel
de significancia α, se rechaza la hipótesis nula; de lo contrario no se rechaza.
El modelo estimado de regresión con dos variables sirve para la predicción de la media, y para
predicción individual. La regresión múltiple estimada también sirve para fines similares, y el
procedimiento para hacerlo es una extensión directa del caso de dos variables, con excepción
de las fórmulas para estimar la varianza y el error estándar de los valores de pronóstico, las
cuales son más bien complejas.
8.9 La tríada de las pruebas de hipótesis: razón de verosimilitud (RV), de Wald (W) y
del multiplicador de Lagrange (ML).
Se utiliza generalmente, las pruebas t, F y ji cuadrada para probar diversas hipótesis en el
contexto de los modelos de regresión lineal. Pero una vez que se sale de los modelos de
regresión lineal, se necesitan métodos para probar hipótesis con los que se manejen modelos
de regresión, lineales o no lineales. Con la conocida tríada de pruebas de verosimilitud, de
Wald y del multiplicador de Lagrange se logra este propósito. Lo interesante es que
asintóticamente (es decir, en muestras grandes) las tres pruebas son equivalentes en cuanto a
que la estadística de prueba asociada a cada prueba sigue la distribución ji cuadrada.
Para Davidson y MacKinnon los modelos de regresión lineal, con errores normales o sin ellos,
no hay necesidad de revisar ML, W y RV, pues, al hacerlo no se gana información adicional a
la contenida en F.
8.10 Prueba de la forma funcional de la regresión: elección entre modelos de regresión
lineal y log-lineal.
La selección entre un modelo de regresión lineal (la regresora es una función lineal de las
regresoras) o un modelo de regresión log-lineal (el logaritmo de la regresora es función de los
logaritmos de las regresoras) es la eterna pregunta en el análisis empírico. Se puede utilizar
una prueba propuesta por MacKinnon, White y Davidson, que se denomina, por brevedad,
prueba MWD, para escoger entre los dos modelos.
Aunque la prueba MWD parece compleja, su lógica es muy simple. Si el modelo lineal es en
realidad el modelo correcto, la variable construida Z1 no debe ser estadísticamente signifi
cativa en el paso IV, pues en ese caso los valores Y estimados del modelo lineal y los
estimados del modelo log-lineal (después de obtener sus valores antilog para efectos
comparativos) no deben diferir. El mismo comentario vale para la hipótesis alterna H1