1

TEORÍA DE
LA
REGRESION
EL MODELO DE REGRESIÓN LINEAL SIMPLE UNIVARIANTE

ESTIMACIÓN POR MÍNIMOS

CUADRADOS

2
 ¿Qué productos buscamos en
la regresión?
 Parámetros
– o, 1
Predicción
– Crear una función lineal que permita describir
el comportamiento de una variable dependiente
Y en función de una o mas variables
independientes X

3
 Procedimientos para estimar
los parámetros
Estimación por mínimos cuadrados
Estimación por máxima verosimilitud
Método del estimador insesgado de
varianza mínima

4
 Estimación por mínimos
cuadrados
Es el mas utilizado
Fue desarrollado por Karl
Gauss (1777-1855)
La idea es producir estimadores
de los parámetros ( o, 1) que
hagan mínima la suma de
cuadrados de las distancias entre
los valores observados Yi, y los
valores estimados Ŷi
5
 Supuestos del método de
mínimos cuadrados
1. El modelo de regresión es lineal en los parámetros y
.
2. Los valores de X son fijos en muestreo repetido.
3. El valor medio de la perturbación i es igual a cero.
4. Homocedasticidad o igual variancia de i.
5. No autocorrelación entre las perturbaciones i.
6. La covariancia entre i y Xi es cero.
7. El número de observaciones n debe ser mayor que el número
de parámetros a estimar.
8. Variabilidad en los valores de X.
9. El modelo de regresión está correctamente especificado.
10. No hay relaciones lineales perfectas entre las variables
explicativas Xi.

6
 Método de los
Mínimos Cuadrados
n
( Xi X i)
(Yi Y i)
i 1

1 ( Xi X i )2
i n1

0 Y 1 X

Error = Y observada o real – Ŷ estimada

El método minimiza la suma de estos errores elevada al
cuadrado, para evitar el valor cero que ocurre cuando
se suman los errores.
7
 Para simplificar lo anterior…
n n

( Xi (X Covarianza XY
X i )(Yi Y i) i 1
i 1 i X i )(Yi Y i) SPXY
1 n
n
( Xi X i )2 SPXX Varianza X
i 1
( Xi X i )2
i 1

SPXY n
( i Y i )2 SPY Varianza Y
1 i 1 Y Y Se guarda para
después…

SPX
X 8
 Ejemplo práctico:
 Suponer que se toma una muestra aleatoria de 10
personas de una población cualquiera, y se registran sus
pesos y medidas.

 Se busca crear una función matemática que permita

predecir el peso (kg), en función de la estatura (cm).
– Peso = f(Estatura)

 Por tanto, la variable dependiente será el peso, y la

variable independiente será la estatura.
– Y = peso (kg); X = estatura (cm)

9
 Elaborar una memoria de calculo
observaciones estatura (cm) Xi peso (kg) Yi X2i Y2 i XiYi

1 162.00 63.00 26,244 3,969 10,206

2 158.00 52.00 24,964 2,704 8,216
3 167.00 78.00 27,889 6,084 13,026
4 151.00 49.00 22,801 2,401 7,399
5 162.00 71.00 26,244 5,041 11,502
6 168.00 62.00 28,224 3,844 10,416
7 167.00 68.00 27,889 4,624 11,356
8 153.00 48.00 23,409 2,304 7,344
9 152.00 56.00 23,104 3,136 8,512
10 173.00 67.00 29,929 4,489 11,591
1,613.00 614.00 260,697 38,596 99,568
2
Elementos que
Xi Yi X2 Y XiYi
necesitamos i i

Medias 161.30 61.40

Datos de Infante, S. y G. Zárate. 1991. Métodos estadísticos, un enfoque interdisciplinario. Ejemplo 12.1. 465 p.
10
 Para simplificar la estimación
de
n
Xi
(X SPXY X iYi Covarianza XY
i 1 X i )(Yi Y i) SPXY
i

Yi n
n
( SPXX Varianza X
i X i )2
i 1 X

n
( i SPY Varianza
Y i )2
i 1 Y Y Y

SPX Se guarda para

después…
1
Y
SPX 11
 Estimando parámetros
Xi (1,613)
SPXY X iYi 99,56 529.
(614)
8 8
Yi n 10

SPXY
1.018
1
529.8
7
SPXX 61.4 102.91
0
520.1 (1.0187)161.3
Y 1 X
12
 Obteniendo la ecuación de
regresión

Yi 102.91 1.0187
0 1Xi
Xi

13
 Obteniendo los valores
estimados de Yi
En cada fila (observación), se calculan
los valores estimados para Yi (denotados
por Ŷi), mediante la ecuación de
regresión obtenida, sustituyendo los
valores
Y1 de Xi : 102.91 1.0187 162 62.11
0 1 X1
102.91 1.0187 158 58.04
Y2 0 2X
2
⁝ 102.91 1.0187 173
73.32
14
 En la memoria de cálculo…
Se calcula con la ecuación de regresión obtenida
para cada valor de X
observaciones estatura (cm) Xi peso (kg) Yi X2i Y2 i XiYi Yi estimada

1 162.00 63.00 26,244 3,969 10,206 62.11

2 158.00 52.00 24,964 2,704 8,216 58.04
3 167.00 78.00 27,889 6,084 13,026 67.21
4 151.00 49.00 22,801 2,401 7,399 50.91
5 162.00 71.00 26,244 5,041 11,502 62.11
6 168.00 62.00 28,224 3,844 10,416 68.22
7 167.00 68.00 27,889 4,624 11,356 67.21
8 153.00 48.00 23,409 2,304 7,344 52.95
9 152.00 56.00 23,104 3,136 8,512 51.93
10 173.00 67.00 29,929 4,489 11,591 73.32
1,613.00 614.00 260,697 38,596 99,568

Elementos que
Xi Yi X2 Y2 XiYi
necesitamos i i

Medias 161.30 61.40

15
 El gráfico muestra así los valores
reales y los estimados…
90.00

80.00 y = -102.91+1.0187x

70.00

60.00

50.00
Y = Peso

valores
peso reales
(kg)
Yi
valores estimados
40.00
(kg)

Lineal (peso (kg)

30.00 Yi)

20.00

10.00

-
145.00 150.00 155.00 160.00 165.00 170.00
175.00
X = Estatura (cm) 16
 ¿Qué logramos con este
método?
Del número infinito de rectas de regresión
que se pueden generar, hemos generado
aquella cuya suma de cuadrados de las
distancias entre los valores reales y
estimados (Yi - Ŷi), sea la menor de todas…

17
 X2 Y2 ei
observaciones estatura (cm) Xi peso (kg) Yi i i
XiYi Yi estimada (residuales) e2i
(residuales)

1 162.00 63.00 26,244 3,969 10,206 62.11 0.89 0.79

2 158.00 52.00 24,964 2,704 8,216 58.04 - 6.04 36.46

3 167.00 78.00 27,889 6,084 13,026 67.21 10.79 116.50

4 151.00 49.00 22,801 2,401 7,399 50.91 - 1.91 3.64

5 162.00 71.00 26,244 5,041 11,502 62.11 8.89 78.98

6 168.00 62.00 28,224 3,844 10,416 68.22 - 6.22 38.75

7 167.00 68.00 27,889 4,624 11,356 67.21 0.79 0.63

8 153.00 48.00 23,409 2,304 7,344 52.95 - 4.95 24.46

9 152.00 56.00 23,104 3,136 8,512 51.93 4.07 16.59

10 173.00 67.00 29,929 4,489 11,591 73.32 - 6.32 39.92

1,613.00 614.00 260,697 38,596 99,568 0.00 356.72

Hemos conseguido hacer mínima esta suma…

18
EL MODELO DE REGRESIÓN LINEAL SIMPLE UNIVARIANTE

INTERPRETACION DE LA
ECUACION DE REGRESION

19
 Interpretación de la ecuación
de regresión estimada
Una vez obtenida la recta estimada el
investigador puede necesitar interpretar
los componentes de la ecuación.

Es frecuente cometer algunos errores.

– Estos son los mas comunes…

20
 Interpretación de la
estimación
de la ordenada al 0
 origen
0: se interpreta matemáticamente como el
valor que tomará una Ŷi cuando X = 0

 Este parámetro no tiene interpretación práctica

en muchos problemas.

– En nuestro ejemplo: una persona de 0 cm, no puede

pesar -102.91 kg de estatura.

– Sin embargo, este valor es necesario para representar

la tendencia que muestran los datos en el espacio de
valores observados para la variable independiente.
21
 ¿Bajo que condiciones es posible
una interpretación práctica de 0?
Debe ser físicamente posible que X tome
el valor de 0.
Deben tenerse suficientes datos
alrededor del valor X = 0.
– Podemos concluir que es poco razonable tratar
de predecir el comportamiento de Y para
valores imposibles de X.

22
 Interpretación del estimador
de la pendiente 1
 , también llamado Coeficiente de Regresión, es
1
de mayor importancia que 0 , ya que ya que nos
indica la forma en que están relacionadas X y Y.
 Mide cuanto y en que dirección (positiva o negativa) se
modifican los valores de Y cuando cambia X.
– Ejemplo: en el caso anterior, se dice que por cada 1.0187 kg
de incremento en el peso, se incrementará 1.0 cm de
estatura.
– Precaución: una vez mas, esta afirmación solo opera para un
cierto intervalo de valores.
• Suponer que el valor mínimo de estatura sea de 1 metro: le
correspondería un peso estimado de -1.04 kg, situación
naturalmente imposible.
• Para una mejor interpretación de 1,
debemos estimar su varianza…
23
 Conclusiones
 Recordar: un supuesto básico del modelo de
regresión, es que para cada valor posible de X, Y
es una variable aleatoria con distribución normal
media es Y/X
cuya

 Lo correcto es decir que las medias poblacionales

de Y se incrementan (o disminuyen) al aumentar X

 Recordar que en realidad trabajamos con

estimadores de parámetros desconocidos, y son
por tanto, variables aleatorias sobre las que deben
hacerse afirmaciones probabilísticas.
24
EL MODELO DE REGRESIÓN LINEAL SIMPLE UNIVARIANTE

PROPIEDADES DE LOS
ESTIMADORES DE MINIMOS
CUADRADOS
25
 Propiedades de los estimadores
de mínimos cuadrados
Los estimadores de la ordenada al origen 0 , la
pendiente 1 y la recta de regresión
( tienen las siguientes Y/X)
distribuciones: 2
2
~N ; X i2 ~N
0 0 1
n(SPXX 1 ;
)
SPXX2
Y X
~N 0 1X )
Y/ Y
0
( X
0
; X
0
0
Y/X 0
2
2 2 1 (X0
Donde…
YX 0 X)
26
n SPXX
 Como estimador , se utiliza S2 e, que se
2

de expresa:
S.C.ERROR SPYY 1SPXY
S e2
n 2 n 2
 El estimador S2e es insesgado, siempre y cuando
el modelo de línea recta adoptado sea correcto;
es decir, que en esas condiciones:
2
E(Se
2
) 27
Sustituyendo por S2e, 2

obtenemos estimadores para las 1 y ŶXo:

varianzas de 0, S2 X2
2
~N X i2 e
0 0; S 20
n(SPXX n(SPXX
i
) )
2

1 ~N S 2 S e2
1 ; 1
SPXX

2 2 SPXX
1 (X 0
2
1 (X0 2

X) 2Y 0 S e2 X)
YX 0
S X

n SPXX n SPXX
28
 Ejemplo: estimar varianzas de los
datos analizados
Del caso de las estaturas y pesos:
– Se tenían: SPXY=529.8; SPXX=520.1;
SPYY=896.4; X2 =260,697; X= 161.30
i

~N
2
X i2 2 2
X i2
2
260697
0 0; 50.124 2
)
n(SPXX 0
n(SPXX 10(520.1) (
) )

2 2
1 ~N 2
0.0019( 2
1; 1 2 )

SPXX
SPXX 520.1
29
 Para obtener estimadores de estas
varianzas requerimos estimar a través
e de
S–2 Recordar
: que 1 = 1.0187

SPY SPXY 896.4

S e2
1
44.58
Y (1.0187)529.8
7
n 2 10 2

30
  Ya con el valor de… S2 44.58
e 7
Se procede a calcular las
varianzas estimadas de 0 y
1:
S2 X2
e
50.124 50.124(44.587 2234.879
S 20 2
)
i ( )
n(SPXX
2 ) S e2
S 0.0019( 2
) 0.0019(44.587) 0.0847
1
SPXX
31
  Finalmente, si se desea estimar la recta para un
valor X0 de un valor arbitrario elegido por nosotros
(digamos, 100 cm – o 1 metro- ):
– Recordar que 0 = -102.91

YX 120 1( X 0 ) ( 102.91) 1.0187(100)

0
0
1.04kg
 … la varianza asociada con la estimación
anterior es:

2 2 1 ( X 0 X )2 2 1 (100 2
2
7.32
n SPXX 161.3) 520.
YX0 120
5
10 1
32
En tanto que su varianza estimada
es: 2
1 (X0
S e2 7.325(44.587) 326.62kg
2Y 0 X)
S X 2

n SPXX
2
– Donde: S e2 44.58
7

33
 Conclusión:
 Para un valor hipotético X0 = 100 cm de estatura, el valor
estimado de Ŷxo deberá ser de -1.04 kg, con una varianza
estimada de 326.62 kg2, o una desviación estándar de ±18.07 kg
(-19.12 a 17.03 kg).

– Es decir, el peso estimado a 100 cm de estatura, deberá estar entre

ese intervalo de valores.

 De acuerdo a actuales estándares en pediatría, a estaturas

aproximadas a 100 cm, se corresponden pesos aproximados a
los 17 Kg.
– Para comprobarlo, ver enlace en:
http://www.guiainfantil.com/salud/embarazo/tabla_pesos.htm

34