Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Tema Uji
Tema Uji
𝑛 𝑛 𝑛
2
min 𝑆𝐶𝐸 = 𝑢ො 𝑖2 = 𝑦𝑖 − 𝑦ො𝑖 2
= 𝑦𝑖 − 𝛽መ0 − 𝛽መ1 𝑥1𝑖 − ⋯ − 𝛽መ𝑘 𝑥𝑘𝑖
𝑖=1 𝑖=1 𝑖=1
𝑛
Condiciones de primer orden
𝜕𝑆𝐶𝐸
= 0 → 𝑦𝑖 − 𝛽መ0 − 𝛽መ1 𝑥1𝑖 − ⋯ − 𝛽መ𝑘 𝑥𝑘𝑖 = 0
𝜕𝛽መ0 𝑖=1
𝑛
𝜕𝑆𝐶𝐸
= 0 → 𝑥1𝑖 𝑦𝑖 − 𝛽መ0 − 𝛽መ1 𝑥1𝑖 − ⋯ − 𝛽መ𝑘 𝑥𝑘𝑖 = 0
𝜕𝛽መ1 𝑖=1
...
𝑛
𝜕𝑆𝐶𝐸
= 0 → 𝑥𝑘𝑖 𝑦𝑖 − 𝛽መ0 − 𝛽መ1 𝑥1𝑖 − ⋯ − 𝛽መ𝑘 𝑥𝑘𝑖 = 0
𝜕 𝛽መ𝑘 𝑖=1
Tras resolver el sistema de (1+k) ecuaciones normales con (1+k) incógnitas (𝛽መ0 , 𝛽መ1 , …, 𝛽መ𝑘 ): 𝑦ො𝑖 = 𝛽መ0 + 𝛽መ1 𝑥1𝑖 + ⋯ + 𝛽መ𝑘 𝑥𝑘𝑖
FRM
ESTIMADORES MCO basados en el modelo de regresión múltiple
PROCESO DE ESTIMACIÓN POR MÍNIMOS CUADRADOS ORDINARIOS
𝑛 𝑛 𝑛
2
min 𝑆𝐶𝐸 = 𝑢ො 𝑖2 = 𝑦𝑖 − 𝑦ො𝑖 2
= 𝑦𝑖 − 𝛽መ0 − 𝛽መ1 𝑥1𝑖 − ⋯ − 𝛽መ𝑘 𝑥𝑘𝑖
𝑖=1 𝑖=1 𝑖=1
𝑛
Condiciones de primer orden
𝑛
𝜕𝑆𝐶𝐸
= 0 → 𝑥1𝑖 𝑦𝑖 − 𝛽መ0 − 𝛽መ1 𝑥1𝑖 − ⋯ − 𝛽መ𝑘 𝑥𝑘𝑖 = 0
𝜕𝛽መ1 𝑖=1
...
𝑛
𝜕𝑆𝐶𝐸
= 0 → 𝑥𝑘𝑖 𝑦𝑖 − 𝛽መ0 − 𝛽መ1 𝑥1𝑖 − ⋯ − 𝛽መ𝑘 𝑥𝑘𝑖 = 0
𝜕 𝛽መ𝑘 𝑖=1
Tras resolver el sistema de (1+k) ecuaciones normales con (1+k) incógnitas (𝛽መ0 , 𝛽መ1 , …, 𝛽መ𝑘 ): 𝑦ො𝑖 = 𝛽መ0 + 𝛽መ1 𝑥1𝑖 + ⋯ + 𝛽መ𝑘 𝑥𝑘𝑖
FRM
ESTIMADORES MCO basados en el modelo de regresión múltiple
PROCESO DE ESTIMACIÓN POR MÍNIMOS CUADRADOS ORDINARIOS
𝑛 𝑛 𝑛
2
min 𝑆𝐶𝐸 = 𝑢ො 𝑖2 = 𝑦𝑖 − 𝑦ො𝑖 2
= 𝑦𝑖 − 𝛽መ0 − 𝛽መ1 𝑥1𝑖 − ⋯ − 𝛽መ𝑘 𝑥𝑘𝑖
𝑖=1 𝑖=1 𝑖=1
𝑛
Condiciones de primer orden
𝑛
𝜕𝑆𝐶𝐸
= 0 → 𝑥1𝑖 𝑦𝑖 − 𝛽መ0 − 𝛽መ1 𝑥1𝑖 − ⋯ − 𝛽መ𝑘 𝑥𝑘𝑖 = 0
𝜕𝛽መ1 𝑖=1
... Propiedad numérica 2 de la FRM
σ𝑛𝑖=1 𝑥𝑖𝑗 𝑢ො 𝑖 = 0 ∀𝑗 = 1, 2, … , 𝑘
𝑛
𝜕𝑆𝐶𝐸
= 0 → 𝑥𝑘𝑖 𝑦𝑖 − 𝛽መ0 − 𝛽መ1 𝑥1𝑖 − ⋯ − 𝛽መ𝑘 𝑥𝑘𝑖 = 0
𝜕 𝛽መ𝑘 𝑖=1
Tras resolver el sistema de (1+k) ecuaciones normales con (1+k) incógnitas (𝛽መ0 , 𝛽መ1 , …, 𝛽መ𝑘 ): 𝑦ො𝑖 = 𝛽መ0 + 𝛽መ1 𝑥1𝑖 + ⋯ + 𝛽መ𝑘 𝑥𝑘𝑖
FRM
ESTIMADORES MCO basados en el modelo de regresión múltiple
PROCESO DE ESTIMACIÓN POR MÍNIMOS CUADRADOS ORDINARIOS
𝑛 𝑛 𝑛
Propiedad numérica 3 de la FRM:
2 El punto (𝑥1ҧ , 𝑥ҧ2 , … , 𝑥ҧ𝑘 , 𝑦)
ത siempre está
min 𝑆𝐶𝐸 = 𝑢ො 𝑖2 = 𝑦𝑖 − 𝑦ො𝑖 2
= 𝑦𝑖 − 𝛽መ0 − 𝛽መ1 𝑥1𝑖 − ⋯ − 𝛽መ𝑘 𝑥𝑘𝑖
sobre la FRM.
𝑖=1 𝑖=1 𝑖=1
Tras resolver el sistema de (1+k) ecuaciones normales con (1+k) incógnitas (𝛽መ0 , 𝛽መ1 , …, 𝛽መ𝑘 ): 𝑦ො𝑖 = 𝛽መ0 + 𝛽መ1 𝑥1𝑖 + ⋯ + 𝛽መ𝑘 𝑥𝑘𝑖
FRM
ESTIMADORES MCO basados en el modelo de regresión múltiple
INTERPRETACIÓN DE LA FRM
El Modelo de Regresión Lineal Múltiple (RLM) permite examinar los efectos que tiene en la variable dependiente
ante cambios en una variable explicativa, mientras se mantienen fijos el resto de variables explicativas del modelo.
El parámetro estimado de la pendiente 𝛽መ1 representa El parámetro estimado de la pendiente 𝛽መ2 representa el
el efecto estimado parcial de la variable explicativa 𝑥1 efecto estimado parcial de la variable explicativa 𝑥2
sobre 𝑦ෝ , manteniendo constante el resto de variables sobre 𝑦ෝ , manteniendo constante el resto de variables
explicativas (𝑥2 , 𝑥3 … , 𝑥𝑘 ): explicativas (𝑥1 , 𝑥3 , … , 𝑥𝑘 ):
Δ𝑦ෝ Δ𝑦ෝ
𝛽መ1 = ቤΔ𝑥 =0 𝛽መ2 = ቤΔ𝑥 =0
Δx1 Δ𝑥23=0 Δx2 Δ𝑥13=0
… …
Δ𝑥𝑘 =0 Δ𝑥𝑘 =0
Aunque es probable que siga existiendo algún grado de correlación entre alguna o algunas de las variables
explicativas y el término de error, el modelo de regresión múltiple por lo menos nos garantiza que el parámetro 𝛽𝑘
capta el efecto de 𝑥𝑘 sobre 𝑦, manteniendo fijos 𝑥1 , 𝑥2 , … , 𝑥𝑘−1 .
ESTIMADORES MCO basados en el modelo de regresión múltiple
BONDAD DE AJUSTE (COEFICIENTE DE DETERMINACIÓN, 𝑹𝟐 ) FRM: 𝑦ො𝑖 = 𝛽መ0 + 𝛽መ1 𝑥1𝑖 + 𝛽መ2 𝑥2𝑖 + ⋯ + 𝛽መ𝑘 𝑥𝑘𝑖
2 𝑆𝐸𝐶 𝑆𝐶𝐸
𝑅 = =1− ; 0 ≤ 𝑅2 ≤ 1 (cuanto mayor R2 , mejor ajuste del modelo estimado)
𝑆𝑇𝐶 𝑆𝑇𝐶
𝑅 2 nos informa sobre la proporción de la variabilidad muestral total de 𝑦 que viene
explicada por las variables explicativas 𝑥1 , 𝑥2 , … , 𝑥𝑘 .
Donde:
• La Suma Total de Cuadrados (STC) es la variabilidad muestral total de la variable dependiente: σ𝑛𝑖=1 𝑦𝑖 − 𝑦ത 2
2
• La Suma Explicada de Cuadrados (SEC) es la variabilidad muestral de los valores ajustados: σ𝑛𝑖=1 𝑦ො𝑖 − 𝑦തො
• La Suma de los Cuadrados de los Residuos (SCE) es la variabilidad muestral de los residuos: σ𝑛𝑖=1 𝑢ො 𝑖2
Atención! Incorporar más variables explicativas en el modelo ↓ 𝑆𝐶𝐸 y ↑ 𝑅 2 . Por este motivo, el 𝑅 2 no debe utilizarse para decidir si hay que
añadir uno o más variables explicativas en el modelo. El criterio que debe seguirse para ello es la inferencia estadística (Tema 4).
PROPIEDADES ESTADÍSTICAS DE MCO:
VALOR ESPERADO Y
VARIANZA DEL ESTIMADOR
PROPIEDADES ESTADÍSTICAS DE MCO
Cuando el procedimiento MCO mediante el cual se obtienen las estimaciones se aplica a todas las muestras aleatorias
posibles...
Modelo poblacional: 𝑦𝑖 = 𝛽0 + 𝛽1 𝑥1𝑖 + ⋯ + 𝛽𝑘 𝑥𝑘𝑖 + 𝑢𝑖 PROPIEDAD ESTADÍSTICA 1 DE MCO: LOS ESTIMADORES MCO SON
ESTIMADORES INSESGADOS DE LOS PARÁMETROS POBLACIONALES
MUESTRA 1 MCO: 𝑦ො𝑖 = 𝛽0 + 𝛽1 𝑥1𝑖 + 𝛽2 𝑥2𝑖 + ⋯ + 𝛽𝑘 𝑥𝑘𝑖 𝐸 𝛽𝑗 = 𝛽𝑗 𝑗 = 0, 1, 2, … , 𝑘
MUESTRA 2 MCO: 𝑦𝑖 = 𝛽෨0 + 𝛽෨1 𝑥1𝑖 + 𝛽෨2 𝑥2𝑖 + ⋯ + 𝛽෨𝑘 𝑥𝑘𝑖 Si se cumplen los supuestos RLM 1, RLM2, RLM3 y RLM 4, cuando
... aplicamos el procedimiento MCO a todas las posibles muestras
aleatorias, éste ofrece estimaciones de 𝛽𝑗 , cuya media coincide con el
MUESTRA M MCO: y෭𝑖 = 𝛽0 + 𝛽1 𝑥1𝑖 + 𝛽2 𝑥2𝑖 + ⋯ + 𝛽𝑘 𝑥𝑘𝑖 verdadero valor del parámetro 𝛽𝑗 .
=
=
𝛽መ0 +𝛽෨0 + ⋯ 𝛽0 𝛽መ1 +𝛽෨1 + ⋯ 𝛽1 𝛽መ2 +𝛽෨2 + ⋯ 𝛽2 𝛽መ𝑘 +𝛽෨𝑘 + ⋯ 𝛽𝑘
𝑀 𝑀 𝑀 𝑀
PROPIEDADES ESTADÍSTICAS DE MCO
VALOR ESPERADO Y VARIANZA DEL ESTIMADOR
𝑦 = 𝛽0 + 𝛽1 𝑥1 + 𝛽1 𝑥2 + ⋯ + 𝛽𝑘 𝑥𝑘 + 𝑢
Como ya sabemos un modelo lineal en parámetros es bastante flexible
ya que las variables dependientes/independientes pueden expresarse
en logaritmos o cuadrados.
PROPIEDADES ESTADÍSTICAS DE MCO
VALOR ESPERADO Y VARIANZA DEL ESTIMADOR
El valor medio de la perturbación u no depende del valor que tomen las variables explicativas:
𝐸 𝑢 𝑥1 , 𝑥2 , … , 𝑥𝑘 = 𝐸 𝑢 = 0
Otros factores inobservados, distintos a las xs, que pueden influir sobre la y
Si se cumple este supuesto, los parámetros 𝛽𝑗 estimados tendrán una interpretación causal
(ceteris paribus).
El supuesto RLM4 sí que permite correlaciones entre las variables explicativas, siempre
y cuando éstas no sean perfectas.
PROPIEDADES ESTADÍSTICAS DE MCO
VALOR ESPERADO Y VARIANZA DEL ESTIMADOR
Si se cumplen los supuestos RLM1-4, los estimadores MCO son estimadores insesgados de los parámetros
poblacionales:
SUBESPECIFICACIÓN: En el modelo poblacional verdadero 𝑥2 tiene un efecto parcial relevante sobre 𝑦. No obstante, nuestra
especificación no incluye dicha variable.
𝛽1
𝐸 𝛽0 = 𝛽0 , 𝐸 𝛽1 = 𝛽1 , 𝐸 𝛽2 = 𝛽2
Modelo subespecificado: 𝑦 = 𝛽0 + 𝛽1 𝑥1 + 𝜖
Modelo subespecificado estimado: 𝑦 = 𝛽෨0 + 𝛽෨1 𝑥1 El SESGO es nulo, 𝛽2 𝛿ሚ1 = 0 y 𝐸 𝛽෨1 = 𝛽1 , si:
SESGO • 𝛽2 = 0. La variable omitida 𝑥2 no tiene un efecto parcial relevante sobre 𝑦
σ𝑛𝑖=1(𝑥1𝑖 − 𝑥ҧ1 )(𝑥2𝑖 − 𝑥ҧ 2 )
𝐸 𝛽෨1 = 𝛽1 + 𝛽2 𝐸 y/o
σ𝑛𝑖=1 𝑥1𝑖 − 𝑥ҧ1 2
• 𝛿ሚ1 = 0. Corr(𝑥1 , 𝑥2 )=0 en la muestra y, por tanto, el hecho de incluir 𝑥2 en el
𝑃𝑒𝑛𝑑𝑖𝑒𝑛𝑡𝑒 𝑑𝑒 𝑙𝑎 𝐹𝑅𝑀 𝑑𝑒 𝑙𝑎 𝑣𝑎𝑟𝑖𝑎𝑏𝑙𝑒 𝑜𝑚𝑖𝑡𝑖𝑑𝑎 𝑥2 termino de error no supone un incumplomento de RLM3.
𝛽2 𝑒𝑠 𝑒𝑙 𝑒𝑓𝑒𝑐𝑡𝑜 𝑝𝑎𝑟𝑐𝑖𝑎𝑙 𝑝𝑜𝑏𝑙𝑎𝑐𝑖𝑜𝑛𝑎𝑙 𝑠𝑜𝑏𝑟𝑒 𝑙𝑎 𝑣𝑎𝑟𝑖𝑎𝑏𝑙𝑒 𝑥1 , 𝑐𝑢𝑦𝑜 𝑠𝑖𝑔𝑛𝑜 𝑑𝑒𝑝𝑒𝑛𝑑𝑒
𝑑𝑒 𝑙𝑎 𝑣𝑎𝑟𝑖𝑎𝑏𝑙𝑒 𝑜𝑚𝑖𝑡𝑖𝑑𝑎 𝑥2 𝑠𝑜𝑏𝑟𝑒 𝑦. 𝑑𝑒 𝐶𝑜𝑟𝑟 𝑥1 , 𝑥2
𝑥2𝑖 = 𝛿ሚ0 + 𝛿ሚ1 𝑥1𝑖
PROPIEDADES ESTADÍSTICAS DE MCO
VALOR ESPERADO Y VARIANZA DEL ESTIMADOR
SUBESPECIFICACIÓN: En el modelo poblacional verdadero 𝑥2 tiene un efecto parcial relevante sobre 𝑦. No obstante, nuestra
especificación no incluye dicha variable.
Modelo subespecificado: 𝑦 = 𝛽0 + 𝛽1 𝑥1 + 𝜖
Modelo subespecificado estimado: 𝑦 = 𝛽෨0 + 𝛽෨1 𝑥1 SESGO al alza si 𝛽2 𝛿ሚ1 > 0 SESGO a la baja si 𝛽2 𝛿ሚ1 < 0
SESGO 𝐸 𝛽෨1 > 𝛽1 𝐸 𝛽෨1 < 𝛽1
σ𝑛𝑖=1(𝑥1𝑖 − 𝑥ҧ1 )(𝑥2𝑖 − 𝑥ҧ 2 )
𝐸 𝛽෨1 = 𝛽1 + 𝛽2 𝐸
σ𝑛𝑖=1 𝑥1𝑖 − 𝑥ҧ1 2
𝑃𝑒𝑛𝑑𝑖𝑒𝑛𝑡𝑒 𝑑𝑒 𝑙𝑎 𝐹𝑅𝑀 𝑑𝑒 𝑙𝑎 𝑣𝑎𝑟𝑖𝑎𝑏𝑙𝑒 𝑜𝑚𝑖𝑡𝑖𝑑𝑎 𝑥2
𝛽2 𝑒𝑠 𝑒𝑙 𝑒𝑓𝑒𝑐𝑡𝑜 𝑝𝑎𝑟𝑐𝑖𝑎𝑙 𝑝𝑜𝑏𝑙𝑎𝑐𝑖𝑜𝑛𝑎𝑙 𝑠𝑜𝑏𝑟𝑒 𝑙𝑎 𝑣𝑎𝑟𝑖𝑎𝑏𝑙𝑒 𝑥1 , 𝑐𝑢𝑦𝑜 𝑠𝑖𝑔𝑛𝑜 𝑑𝑒𝑝𝑒𝑛𝑑𝑒
𝑑𝑒 𝑙𝑎 𝑣𝑎𝑟𝑖𝑎𝑏𝑙𝑒 𝑜𝑚𝑖𝑡𝑖𝑑𝑎 𝑥2 𝑠𝑜𝑏𝑟𝑒 𝑦. 𝑑𝑒 𝐶𝑜𝑟𝑟 𝑥1 , 𝑥2
𝑥2𝑖 = 𝛿ሚ0 + 𝛿ሚ1 𝑥1𝑖 𝛽1 𝛽1
PROPIEDADES ESTADÍSTICAS DE MCO
VALOR ESPERADO Y VARIANZA DEL ESTIMADOR
Si se cumplen los supuestos GAUSS-MARKOV para datos de corte transversal, los Estimadores MCO son
insesgados y eficientes (óptimos):
+ RLM1-5
• RLM5. Homoscedasticidad EFICIENCIA
𝛽𝑗
LOS ESTIMADORES MCO TIENEN MÍNIMA VARIANZA
𝑉𝑎𝑟 𝑢 𝑥1 , 𝑥2 , … , 𝑥𝑘 = 𝜎𝑢2
𝑉𝑎𝑟 𝑦 𝑥1 , 𝑥2 , … , 𝑥𝑘 = 𝜎𝑦2
𝑥𝑖=1
𝑥𝑖=2
𝑥𝑖=3
PROPIEDADES ESTADÍSTICAS DE MCO
VALOR ESPERADO Y VARIANZA DEL ESTIMADOR
¿De qué depede la varianza de los estimadores MCO y, por tanto, su precisión?
Si se satisfacen los supuestos Gauss−Markov (RLM1−5), podemos obtener las varianzas de los estimadores de cada pendiente de MCO, obtenidas tras aplicar MCO a todas las posibles muestras
𝑉𝑎𝑟(𝛽መ𝑗 )
𝜎2
𝑉𝑎𝑟 𝛽መ𝑗 = para j = 1,2, … , k
𝑆𝑇𝐶𝑗 (1 − 𝑅𝑗2 )
𝛽𝑗
𝜎 2 = 𝑉𝑎𝑟 𝑢 𝑥1 , 𝑥2 , … , 𝑥𝑘 es la varianza del termino de error
• ↑ 𝜎 2 cuanto mayor es la variabilidad de los factores desconocidos que afectan a y (“ruido”): ↑ 𝑉𝑎𝑟 𝛽መ𝑗 (menor precisión del estimador MCO).
• ↓ 𝜎 2 introduciendo variables explicativas relevantes adicionales (no siempre posible ni deseable).
2
𝑆𝑇𝐶𝑗 = σ𝑛𝑖=1 𝑥𝑗𝑖 − 𝑥𝑗ҧ es la varianza muestral total en 𝑥𝑗
• Cuanto mayor variabilidad muestral en las explicativas, ↓ 𝑉𝑎𝑟 𝛽መ𝑗 (más precisión del estimador MCO).
• A medida que aumenta n, podemos incrementar la 𝑆𝑇𝐶𝑗
• Si alguna de las variables explicativas es constante (se incumple el supuesto RLM4 de NO COLINEALIDAD PERFECTA), (𝑆𝑇𝐶𝑗 = 0) y 𝑉𝑎𝑟 𝛽መ𝑗 = Indeterminada.
• Cuanto mayores sean las relaciones lineales entre las explicativas, ↑ 𝑉𝑎𝑟 𝛽መ𝑗 (menor precisión del estimador MCO). Alta correlación (pero no perfecta) entre dos o más explicativas se denomina MULTICOLINEALIDAD.
• Casos extremos: 𝑅𝑗2 =0. La correlación muestral de 𝑥𝑗 con el resto de variables explicativas es nula, se obtiene la 𝑉𝑎𝑟 𝛽መ𝑗 más pequeña.
𝑅𝑗2 =1. 𝑥𝑗 es una combinación lineal perfecta de las otras variables explicativas (se incumple el supuesto RLM4 de NO COLINEALIDAD PERFECTA).
POR TANTO, AL AÑADIR UNA VARIABLE IRRELEVANTE A UN MODELO (SOBRESPECIFICACIÓN), NORMALMENTE PRODUCE UN AUMENTO DE LAS VARIANZAS DE LOS ESTIMADORES MCO (DEBIDO A LA MULTICOLINEALIDAD).
PROPIEDADES ESTADÍSTICAS DE MCO
VALOR ESPERADO Y VARIANZA DEL ESTIMADOR
¿De qué depede la varianza de los estimadores MCO y, por tanto, su precisión?
Si se satisfacen los supuestos Gauss−Markov (RLM1−5), podemos obtener las varianzas de los estimadores de cada pendiente de MCO, obtenidas tras aplicar MCO a todas las posibles muestras
𝑉𝑎𝑟(𝛽መ𝑗 )
𝜎2
𝑉𝑎𝑟 𝛽መ𝑗 = para j = 1,2, … , k
𝑆𝑇𝐶𝑗 (1 − 𝑅𝑗2 )
𝛽𝑗
Si recurrimos a los MCO para obtener una estimación de los parámetros del modelo, ésta sería más precisa:
Aumentando el tamaño de la muestra: ↑ 𝑛 → ↑ 𝑆𝑇𝐶𝑗 → ↓ 𝑉𝑎𝑟(𝛽𝑗 )
Añadiendo variables explicativas relevantes: ↑ 𝑘 → ↓ 𝜎 2 → ↓ 𝑉𝑎𝑟(𝛽𝑗 )
Si las variables explicativas muestran poca correlación entre ellas: ↓ 𝑅𝑗2 → ↓ 𝑉𝑎𝑟(𝛽𝑗 )
Cuanto mayor variabilidad muestral presenten las variables explicativas: ↑ 𝑆𝑇𝐶𝑗 → ↓ 𝑉𝑎𝑟(𝛽𝑗 )
PROPIEDADES ESTADÍSTICAS DE MCO
VALOR ESPERADO Y VARIANZA DEL ESTIMADOR