ESCUELA POLITECNICA NACIONAL

 
PROBABILIDAD Y ESTADISTICA BASICA
 
REGRESION LINEAL SIMPLE POR EL METODO DE MINIMOS
CUADRADOS
 
ALEX MARCELO HARO HARO
DAVID NICOLAS VEGA PAEZ
 
GR3 
 

“La probabilidad estadística de que las estructuras orgánicas y las reacciones

tan precisamente armonizadas que caracterizan a los organismos vivos se
generen por accidente, es cero. Así es, cero”
 CONCEPTO GENERAL
REGRESION LINEAL DE LOS CUADRADOS MINIMOS

La regresión lineal de los mínimos cuadrados (en inglés OLS: Ordinary Least Squares Regression –
Mínimos Cuadrados Ordinarios) es un método común para estimar los coeficientes de las ecuaciones
de regresión lineal que describen la relación entre una (o varias) variables independientes cuantitativas y una
variable dependiente.

Según el número de variables, podemos hacer una regresión También podemos utilizar el método del máximo de
simple o múltiple. Se llama regresión de los mínimos cuadrados verosimilitud y el estimador del método generalizado de
por qué se basa en la minimización del error cuadrático. momentos.
 En la práctica, la regresión lineal se usa en varios dominios:

 En la Meteorología, con la predicción de temperaturas o de

la cantidad de lluvia basándose en factores externos

 En la Economía, si tienes que predecir la facturación de una

empresa basándose en la cantidad de ventas

 En la Biología, si tienes que predecir el número de

individuos en una especie dependiendo en el número de
predadores o la cantidad de recursos naturales
 ECUACIONES PARA LA REGRESIÓN LINEAL
DE LOS CUADRADOS MÍNIMOS

FÓRMULA DE LOS CUADRADOS MÍNIMOS

En el caso de un modelo con p variables explicativas, el modelo de
regresión OLS se escribe

Donde Y es la variable dependiente, β0 el intercepto del

modelo, X j la variable explicativa del modelo número j (entre 1
y p), y e el error aleatorio con esperanza 0 y varianza σ².
En el caso de n observaciones, la estimación del valor predicho
de la variable dependiente Y para la observación número i es
calculada así:
Ejemplo:
Queremos predecir la altura de plantas según el número de días pasados
en el sol. Antes de la exposición, miden 30 cm. Una planta crece de 1 mm (0.1 cm)
después de un día de exposición.
 Y representa la altura de las plantas
 X representa el número de días pasados en el sol
 β0 es 30 por qué una planta mide 30 cm en el inicio
 β1 es 0.1 porque es el coeficiente que es multiplicado por el número de días

Así, una planta expuesta durante 5 días en el sol va a tener una altura aproxima de:
Y = 30 + 0.1*5 = 30.5 cm.

Las predicciones no son siempre exactas y por eso tenemos que tomar en cuenta el error aleatorio ε.

Además, antes de predecir, tenemos que encontrar los coeficientes β: empezamos con entrar una tabla que
contiene las alturas de las plantas con el número de días pasados en el sol. Si quiere conocer las calculaciones en
detalle, lea el próximo párrafo.
 FUNCION DE LOS CUADRADOS MÍNIMOS
El método OLS (Ordinary Least Squares – Mínimos Cuadrados Ordinarios) tiene el objetivo de
minimizar la suma de diferencias cuadradas entre los valores observadas y predichas.
Así podemos estimar el vector β de los coeficientes:

con X la matriz de variables explicativas precedida por un

También podemos calcular la varianza σ² del error aleatorio ε
vector de 1s, D la matriz diagonal de los pesos w_i, y el
con la fórmula siguiente:
vector de los n valores observados de la variable
dependiente
Así podemos escribir el vector de los valores predichos:

p* es el número de variables explicativas mas 1 si el intercepto

no es definido, w_i es el peso de la observación numero i, W es
la suma de los pesos de todas las observaciones, y es el vector
de los valores observadas, y el vector de los valores predichas.
 EXPLICACIÓN INTUITIVA DEL MÉTODO DE LOS CUADRADOS
MÍNIMOS

De manera intuitiva, el objetivo del método de los cuadrados mínimos es

minimizar el error de predicción entre los valores reales y predichos. Podemos
preguntarnos por qué minimizar la suma de los errores cuadrados en vez de la
suma directa de los errores.

Tenemos en cuenta la suma de los errores cuadrados en vez de los errores

porque a veces pueden ser negativas y entonces la suma podría acercarse de 0.
Ejemplo:
Si sus valores reales son 2, 3, 5, 2 y 4 y sus valores predichos son 3, 2, 5, 1, 5, la suma de
los errores es (3-2)+(2-3)+(5-5)+(1-2)+(5-4) =1-1+0-1+1=0,

y el error medio es 0/5=0, que podría causar conclusiones falsas.

Si calculamos el error medio cuadrático, obtenemos:

(3-2)^2+(2-3)^2+(5-5)^2+(1-2)^2+(5-4)^2=4 y 4/5=0.8.

Calculando la raíz cuadrática para volver a la escala de los datos, obtenemos

sqrt(0.8)=0.89

y así en medio las predicciones varían de 0.89 en comparación con el valor real.
 SUPOSICIONES PARA LA REGRESIÓN LINEAL

1.Los individuos (observaciones) son independientes. En general, es verdadero en las situaciones diarias (la cantidad de
lluvia no depende del dia precedente, el salario no depende del mes anterior, y la altura de una persona no depende de la
última persona medida antes).

2. La varianza es homogénea.

3. Los residuos siguen una distribución normal.

4. Los residuos del modelo (o los errores) son las

diferencias entre los datos y los valores predichos

con el modelo ajustado. Los residuos representen

la parte de variabilidad explicada por el modelo.

Los residuos bajan mientras el R² aumenta.

 CUÁLES SON LAS VENTAJAS DE LA REGRESIÓN LINEAL

SELECCIÓN DE VARIABLES
1. El límite teórico es n-1, y con valores más grandes la matriz X’X
llega a ser non-invertible.
2. La supresión de algunas variables también puede ser no optimal: en
algunos casos, es posible que no añadamos una variable al modelo
porque es casi colineal a otros variables o a un bloc de variables, pero
sería más relevante remover una variable que ya está en el modelo y
añadir la nueva variable.
3. También para los casos en los cuales hay muchas variables
exploratorias, otros métodos han sido desarrollados como el método de
los cuadrados mínimos parciales (PLS)
 ANEXOS
Explicación de los tipos de modelos y las formas de distribución:
 GRACIAS
POR SU
ATENCION!