En un modelo de regresión de dos variables, para la estimación de los

coeficientes por mínimos cuadrados ordinarios se minimiza la suma de los

errores al cuadrado:
μi= yi −^y i

Donde y estimado es ^y i= β^ 0 + ^B1 x 1

Entonces, los errores son:
μi= yi − ^β 0− ^B1 x 1

Buscamos minimizar la suma de los errores al cuadrado para encontrar los

valores de los coeficientes:
∑u2i =( y i− β^ 0− β^ 1 x1 )
2

Se diferenciaba parcialmente respecto a cada uno de los coeficientes y

obteníamos un sistema de ecuaciones para encontrar los valores de los
coeficientes.

Sin embargo, que pasa cuando tenemos más de dos y hasta k variables
explicativas en nuestro modelo:
^y i= β^ 0 + ^B1 x 1 + ^B2 x 2 +...+ B
^ k xk

Lo podemos reescribir utilizando términos matriciales apilando todas las

observaciones:

[ ][ ][ ] [ ]
y1 1 x11 x 21 x 31 B1 u1
y 2 = 1 x12 x 22 x 32 B2 + u2
yk 1 x 1 n x 2n x3 n Bk un

y= X ^β+u

Donde
y=vector columna de nx1 observaciones de la variable dependiente

X= matriz de nxk observaciones de las k-1 variables, donde la primera columna de unos representa el intercepto

B= vector columna de kx1 de los parametros desconocidos

u= vector columna de nx1 perturbaciones

El método de mínimos cuadrados sugiere que los parametros estimados
serán aquellos que minimicen la suma de los errores al cuadrado:
Los errores se definen como:
y= X ^β+u

u= y−X ^β

Pero lo que tenemos que minimizar es la suma de los errores al cuadrado,

pero sabemos que:
2 '
∑u =u^ u^

Si multiplicamos, tenemos lo siguiente:

∑u = ( y−X ^β ) ( y−X ^β )
2 '

Simplificando con las propiedades de las matrices:

La transpuesta del producto de matrices es:
'
( X β^ ) = B^ ' X '
La transpuesta de la suma de matrices es.
( A−B )' =A ' +B '

De acuerdo con las propiedades de las transpuestas de las matrices tenemos:

∑u2=( y '−( X ^β )') ( y− X β^ )

∑u =( y '− ^β ' X ') ( y−X β^ )

2

Multiplicando las matrices, tenemos:

^ ^β ' X ' y + ^β ' X ' X ^β
∑u2= y ' y − y ' X β−

Podemos reagrupar los términos y tenemos:

∑u = y ' y −2 y ' X ^β + ^β ' X ' X β^
2

Ahora si, a partir de esta expresión podemos derivar respecto al vector de

coeficientes
 2
∂Σu ^
=−2 X ' y +2 X ' X B=0
^
∂β

Reglas de derivación para matrices:

dy
Si y= Ax entonces =A'
dx
dz
S ea z=x ' Ax entonces =2 A x
dx

Apartir del resultado de la derivada, la igualamos a cero y despejamos B

∂ Σ u2 ^
=−2 X ' y +2 X ' X B=0
∂ β^

^
−2 X ' y +2 X ' X B=0
^
2 X ' X B=2 X' y

Dividimos entre ½ y tenemos la siguiente expresión:

X ' X ^B= X ' y

Para despejar B, no pasamos el termino dividiendo, sino para que se

convierta en la matriz identidad la ecuación la multiplicamos por la inversa de
(X’X)-1
(X ' X )−1 X ' X ^B=(X ' X )−1 X ' y

Por o tanto, tenmos:

^B=(X ' X )−1 X ' y

EJEMPLO: