Regresión y correlación

Contenidos: .
 Dependencia funcional o exacta y dependencia estadística
 Concepto de regresión
 Método de mínimos cuadrados
 Análisis de la bondad de ajuste. Error cuadrático medio, varianza residual
y coeficiente de determinación lineal

Estadística Económica
Sara Mateo.
 Independencia - Dependencia
Cuando se estudian dos características simultáneamente sobre una muestra,
se puede considerar que una de ellas influye sobre la otra de alguna
manera. Por ejemplo la altura y el peso o las horas de estudio y la
calificación en un examen.

El objetivo principal de la regresión es descubrir el modo en que se relacionan.

Dos variables pueden considerarse:

• Variables independientes  No tienen relación (una de ellas no sirve para

explicar los movimientos de la otra)
• Dependencia funcional  Y=f(x)
• Dependencia estadística

Dependencia
Independencia estadística Dependencia funcional
estadística

- +
Grado de asociación entre dos variables
 GRÁFICOS DE DISPERSIÓN: Permite ver si hay asociación
Dadas dos variables X y Y tomadas sobre el mismo elemento de la
población, el diagrama de dispersión es simplemente un gráfico de
dos dimensiones, donde en un eje (la abscisa) se sitúa una
variable, y en el otro eje (la ordenada) se sitúa la otra variable. Si
las variables están correlacionadas, el gráfico mostraría algún nivel
de correlación (tendencia) entre las dos variables. Si no hay
ninguna correlación, el gráfico presentaría una figura sin forma,
una nube de puntos dispersos en el gráfico.

Asociación
positiva. Si
aumenta X
aumenta Y

Estadística Económica
2007-2008. Sara Mateo.
 GRÁFICOS DE DISPERSIÓN / RECTA DE REGRESIÓN
La relación entre dos variables métricas puede ser
representada mediante la línea de mejor ajuste a los datos.
Esta recta se le denomina recta de regresión, que puede ser
negativa o positiva, la primera con tendencia decreciente y la
segunda creciente.
 GRÁFICOS DE DISPERSIÓN / RECTA DE REGRESIÓN
Para el cálculo de la recta de regresión se aplica el método de
mínimos cuadrados entre dos variables. Esta línea es la que
hace mínima la suma de los cuadrados de los residuos, es
decir, es aquella recta en la que las diferencias elevadas al
cuadrado entre los valores calculados por la ecuación de la
recta y los valores reales de la serie, son las menores posibles.

y = a + bx
 Recta de regresión Pendiente

yn
yn 1 yˆ i
y3
u3 ui
yi
y1 yi
y2

Intercepto
x1 x2 x3 xi xn 1 xn

yi  a  bxi  ui ui  yi  yˆi
Error
Llamemos a “u” perturbación o error, siendo la diferencia que hay entre el
valor observado de la variable exógena (y) y el valor estimado que
obtendremos a través de la recta de regresión yˆ i .

y i  a  bxi
La metodología para la obtención de la recta será hacer MÍNIMA la suma de
los CUADRADOS de las perturbaciones. ¿Por qué se elevan al cuadrado?

n n

u  ( yi  yˆi )2
2
i  i  i i
u 2

i 1
 ( y  ˆ
y ) 2

i 1

 n 2 n n
2
 ui   ( yi  yˆi )    yi  aq bpxi  
2
min
q, p  i 1 i 1 i 1 
Estadística Económica
2007-2008. Sara Mateo.
 En el modelo de regresión lineal simple la función elegida para aproximar la relación entre las
variables es una recta, es decir y=a+bx, donde a,b son los parámetros. A esta recta la
llamaremos RECTA DE REGRESIÓN DE Y SOBRE X.

Vamos a deducir su ecuación usando el método de los mínimos cuadrados. Dado un valor de
X, tenemos los dos valores de Y, el observado, yi , y el teórico, yi* = a + bxi. Hemos de
minimizar los errores cometidos:
n n

y abx   y abx 

MINIMIZAR
2 2
 i i i i
i 1 El valor que hemos
i 1
Errores cometidos al
aproximar por una recta
aproximado para “y” con
la recta de regresión  y*
 na  y b x
i
i
i
i 
 a  y bx

 x y  y bx  x b x
i
i i
i
i
i
2
i

 x y 
 y
 x bxnx b x
i

 yi  a bxi 0   y  ab x 
2
 2 i i
n
i i
a 
i i i i i
i i i i
   

  x y a x b x   
  
 2  yi  a bxi xi 0 i i i
2
i
xi yi  ynx b

xi2  nx 2 

b  i  i 
i i i i 
S xy
S xy bS x2  b 
S x2
y obtenemos que la recta de regresión de Y sobre X: y = a + bx con los
valores a y b anteriormente calculados, o bien la siguiente expresión:

S xy
y y  x  x 
S x2

Aplicando el mismo razonamiento llegaríamos a la expresión de la recta de

regresión de X sobre Y: x = a’ + b’y con los valores a’ y b’ calculados como:

S xy
b'  y a' x b' y
S y2

Por tanto, se podría expresar como:

S xy
x x  y y 
Estadística Económica S y2
2007-2008. Sara Mateo.
 Varianza residual: Ayuda a medir la dependencia.

  yi  yˆi 
2
Si es grande, los residuos, por término
VR = Su2  S R2y  medio, serán grandes. Dependencia
N pequeña y viceversa.

Varianza marginal: Es la varianza total de X o de Y. Si dividimos la

varianza residual entre esta se elimina el problema de unidades de
medida.
2 Su2 VR
2 Sx 
Ayuda a determinar la
Sy S y2 VT y
asociación pero en
sentido inverso. La
mejor medida es R.
Coeficiente de correlación general:

Su2 rxy  R
Haciendo unas transformaciones se demuestra que r(xy)
R  1 2 visto en el capítulo 6 sólo es un caso particular de R
SY
Elevado al cuadrado obtenemos el coeficiente de determinación que sirve como medida 2
del buen ajuste de la recta de regresión R
2
Cuando solo exista una variable explicativa o S xy S xy  S xy 
2
R bb'   r 2
S x2 S y2  S x S y 
independiente y una sola dependiente se cumple: xy

 1  r  1 1  R  1 0  r 2  1 0  R2  1

Para el caso de distribuciones bidimensionales: R  r  R2  r 2

 S  S S
Recta de regresión: yˆi   y  XY2 x   XY2 xi  y  XY2  xi  x 
 SX  SX SX

S XY S X SY S XY SY SY
yˆi  y  2  i 
x  x  y   i 
x  x  y  r  xi  x 
S X SY S X S X SY S X SX

r  1 1  r  0 r 0 0  r 1 r 1

Pendiente Negativa Positiva

Nula

Estadística Económica
2007-2008. Sara Mateo.
 2
S Y
Se descompone en:

S  S  VR
2
u
2
ry

S  S S
2
R
2
Y
2
u
 VE

S 2
S 2
 S 2
S 2
u  R 1
VR VE

R  1 2 
2 u Y

SY2 VT VT
2
SY SY

S S S
2
Y
2
R
2
u VT  VR  VE

2
R Tanto por uno de la Y que viene explicado por la X

SIRVE PARA DETERMINAR SI EL AJUSTE HECHO ES BUENO. ES DECIR, SI LA

VARIABLE X EXPLICA LAS VARIACIONES DE LA VARIABLE Y. DEBERÁ SER > 0.75
 S XY
yˆi  qa  bpxi  y  2  xi  x 
SX
El objetivo último de la regresión es la predicción de una variable para un
valor determinado de la otra. La predicción de Y para X = x0 será simplemente
el valor obtenido en la recta de regresión de Y sobre X al sustituir el valor de x
por x0. La fiabilidad de esta predicción será tanto mayor cuando mayor sea la
correlación entre las variables (es decir mayor sea R2 )

Dado un valor de la variable “X” que no ha sido observado, estimar el

correspondiente valor de “Y”
Dado x0 estimar yˆ0

S XY
ˆ 0  aq  bpx0  y  2
y  x0  x 
SX