Elementos Bsicos de

Probabilidad y Estadstica
Javier Aparicio
Divisin de Estudios Polticos, CIDE
javier.aparicio@cide.edu

Julio 2009

http://publiceconomics.wordpress.com/verano2009
2
Contenido
Variables aleatorias (VA): X
Distribucin de probabilidad
Valor esperado de una VA: E(X)
Varianza de una VA:
VA discretas y continuas
Covarianza y correlacin
Muestreo y estimadores
Sesgo y eficiencia de los estimadores
Propiedades de los estimadores muestrales
Teorema del Lmite Central
| |
2
) ( X E
3

rojo 1 2 3 4 5 6
verde
1 2 3 4 5 6 7
2 3 4 5 6 7 8
3 4 5 6 7 8 9
4 5 6 7 8 9 10
5 6 7 8 9 10 11
6 7 8 9 10 11 12
X f p
2 1 1/36
3 2 2/36
4 3 3/36
5 4 4/36
6 5 5/36
7 6 6/36
8 5 5/36
9 4 4/36
10 3 3/36
11 2 2/36
12 1 1/36
Una variable aleatoria X se puede definir como la suma de los nmeros
cuando se tiran dos dados. Se define f como las frecuencias asociadas
asociadas a los posibles valores de X.
Finalmente se define p, como la probabilidad de ocurrencia de cada resultado, la
cual es 1/36.
Un ejemplo de distribucin de probabilidad: X es la suma de dos dados
4
Esta es la distribucin vista grficamente. En este ejemplo es simtrica: ms alta para X
igual a 7, y decreciente en ambos lados.
6
__
36
5
__
36
4
__
36
3
__
36
2
__
36
2
__
36
3
__
36
5
__
36
4
__
36
probabilidad
2 3 4 5 6 7 8 9 10 11 12 X
Un ejemplo de distribucin de probabilidad: X es la suma de dos dados

1
36
1
36
5



Definicin de E(X), el valor esperado de X:



Notacin alternativa de E(X):

E(X) = x


Valor esperado de una variable aleatoria
El valor esperado de una variable aleatoria, tambin conocida como la media poblacional,
es el promedio ponderado de sus valores posibles.

=
= + + =
n
i
i i n n
p x p x p x X E
1
1 1
... ) (
6
Del ejemplo anterior, el valor esperado es 7, lo cual es obvio porque, como vimos en la
grfica anterior, la distribucin es simtrica en torno a 7.
Valor esperado de una variable aleatoria

x
i
p
i
x
i
p
i
x
i
p
i
x
i
p
i

x
1
p
1
x
1
p
1
2 1/36 2/36
x
2
p
2
x
2
p
2
3 2/36 6/36
x
3
p
3
x
3
p
3
4 3/36 12/36
x
4
p
4
x
4
p
4
5 4/36 20/36
x
5
p
5
x
5
p
5
6 5/36 30/36
x
6
p
6
x
6
p
6
7 6/36 42/36
x
7
p
7
x
7
p
7
8 5/36 40/36
x
8
p
8
x
8
p
8
9 4/36 36/36
x
9
p
9
x
9
p
9
10 3/36 30/36
x
10
p
10
x
10
p
10
11 2/36 22/36
x
11
p
11
x
11
p
11
12 1/36 12/36
E x
i
p
i
= E(X) 252/36 = 7
7

Definicin de E[g(X)], el valor esperado de una funcin de X:


Para encontrar el valor esperado de una funcin de una variable aleatoria, se calculan todos
los posibles valores de la funcin, ponderndolos por las probabilidades correspondientes,
y sumando el resultado.
Valor esperado de una funcin de una variable aleatoria
| |

=
= + + =
n
i
i i n n
p x g p x g p x g X g E
1
1 1
) ( ) ( ... ) ( ) (
Ejemplo:

=
= + + =
n
i
i i n n
p x p x p x X E
1
2 2
1
2
1
2
... ) (
8
x
i
p
i
g(x
i
) g(x
i
) p
i
x
i
p
i
x
i
2
x
i
2

p
i


x
1
p
1
g(x
1
) g(x
1
) p
1
2 1/36 4 0.11
x
2
p
2
g(x
2
) g(x
2
)

p
2
3 2/36 9 0.50
x
3
p
3
g(x
3
) g(x
3
)

p
3
4 3/36 16 1.33
... ... 5 4/36 25 2.78
... ... 6 5/36 36 5.00
... ... 7 6/36 49 8.17
... ... 8 5/36 64 8.89
... ... 9 4/36 81 9.00
... ... 10 3/36 100 8.83
... ... 11 2/36 121 6.72
x
n
p
n
g(x
n
) g(x
n
)

p
n
12 1/36 144 4.00
E g(x
i
)

p
i
54.83
El valor esperado de X
2
es la suma de sus valores ponderados en la columna final. Es el
valor promedio de de los valores en la columna previa, tomando las distintas
probabilidades en cuenta.
Valor esperado de una funcin de una variable aleatoria

9
Varianza poblacional de X




El valor esperado de la desviacin es conocida como la varianza
poblacional de X. Es una medida de dispersin de la distribucin de X
alrededor de su media poblacional.
La desviacin estndar de X es la raz cuadrada de su varianza poblacional.

Varianza poblacional de una variable aleatoria discreta
| |
2
) ( X E
2
X
o
] ) [(
2
X E
X
o
Desviacin estndar de X
| |
i
n
i
i n n
p x p x p x X E

=
= + + =
1
2 2
1
2
1
2
) ( ) ( ... ) ( ) (
10
x
i
p
i
x
i
(x
i
)
2
(x
i
)
2
p
i


2 1/36 5 25 0.69
3 2/36 4 16 0.89
4 3/36 3 9 0.75
5 4/36 2 4 0.44
6 5/36 1 1 0.14
7 6/36 0 0 0.00
8 5/36 1 1 0.14
9 4/36 2 4 0.44
10 3/36 3 9 0.75
11 2/36 4 16 0.89
12 1/36 5 25 0.69
5.83
Para obtener la varianza, primero es necesario sustraer la media a cada valor de
x. Segundo, este resultado se eleva al cuadrado y finalmente se multiplica por la
probabilidad de ocurrencia de cada x.
Varianza poblacional de una variable aleatoria discreta
11
Dos variables aleatorias X y Y son independientes si y slo si:

E[f(X)g(Y)] = E[f(X)] E[g(Y)]
para cualquier funcin de f(X) y g(Y).

Caso especial: si X y Y son independentes,
E(XY) = E(X) E(Y)

Independencia de dos variables aleatorias
Dos variables X y Y son independientes si y slo si, dada cualquier funcin
de f(X) y g(Y), el valor esperado del producto de f(X)g(Y) es igual al valor
esperado de f(X) multiplicado por el valor esperado de g(Y).
Caso especial, el valor esperado de XY es igual al valor esperado de X
multiplicado por el valor esperado de Y, si y slo si X y Y son
independientes.
12
X
Variables aleatorias continuas

altura
55 60 70 75 65
Las variables aleatorias continuas pueden tomar cualquier valor infinitesimal en un rango.
Un ejemplo es la temperatura de una habitacin. Se asume que sta puede situarse entre
cualquier valor entre 55 y 75 grados Fahrenheit con la misma probabilidad en todo el rango.
En el caso de variables aleatorias continuas, la probabilidad de ser igual a un valor en el
rango siempre es infinitesimal. Por esta razn, slo se puede hablar de la probabilidad de
una variable aleatoria continua se encuentre dentro de un rango de valores dados.
13
55 60 70 75
X
65
0.05
Variables continuas aleatorias

Densidad de
probabilidad
f(X)
f(X) = 0.05 para 55 X 75
f(X) = 0 para X < 55 y X > 75
s s
Soponga que se requiere calcular la probabilidad de la temperatura entre 65 y 70 grados.
Para obtenerla, se debe calcular el rea debajo de la funcin de densidad entre 65 y 70.
La altura del rectngulo es 0.05 y su ancho es 5, por lo tanto su rea es 0.25.
0.25
14
| | | || |
| || |
| || | 0 0 0
) ( ) ( ) ( ) (
) ( ) ( ) )( (
= = =
=
=
Y Y X X
Y X
Y X Y X
E Y E E X E
Y E X E Y X E



| | ) )( ( ) , cov(
Y X XY
Y X E Y X o = =
Covarianza y correlacin
Si dos variables son independientes, su covarianza es cero.

Para demostrarlo se reescribe la covarianza como el producto de de los valores esperados
de sus factores. Esto se puede hacer porque X y Y son independientes.

El valor esperado de ambos factores es cero porque E(X) =
X
y E(Y) =
Y
. E(
X
) =
X
y E(
Y
)
=
Y
porque
X
y
Y
son constantes. Por lo tanto la covarianza es cero.

Covarianza








15
Covarianza y correlacin

Cov(X, Y) es una medida de asociacin insatisfactoria entre X y Y porque depende de las
unidades de medida (o escala) de X y Y.
Una mejor medida es el coeficiente de correlacin porque no es dimensional:
El numerador posee las unidades de medida de X y Y, mientras que la varianza de X y Y en
el denominador posee las unidades de medida al cuadrado de estas varibles.
Si X y Y son independientes,
XY
ser igual a cero porque o
XY
ser igual a cero.
Si hay una asociacin positiva entgre ellos, o
XY
, y por tanto
XY
, ser positiva.
Si hay una exacta relacin lineal positiva,
XY
tomar su valor mximo de 1.
Similarmente,si hay una relacin negativa,
XY
ser negativa con un valor mnimo de 1.


Correlacin
2 2
Y X
XY
XY
o o
o
=
16

Suponga que tenemos una variable aleatoria X, y
deseamos estimar su (desconocida) media
poblacional
X

Un primer paso es obtener una muestra de n
observaciones: {X
1
, , X
n
}.
An antes de conseguir la muestra, Xi contiene valores
aleatorios, los cuales provendrn de la distribucin de
X, pero no sabemos qu valores tomarn.
De modo que podemos pensar en variables aleatorias en
DOS niveles:
1. La variable aleatoria X por si misma
2. El componente aleatorio de la muestra {X1, , Xn}:
error muestral.
Muestreo y estimadores
17
Muestreo y estimadores
Una vez que tenemos una muestra de n observaciones
{X
1
, , X
n
}, podemos usar frmulas matemticas para
estimar la (desconocida) media poblacional,
X
.
Esta frmula es un estimador. Un estimador tpico es la
media muestral:


Este estimador es tambin una variable aleatoria
porque depende de las valores aleatorios {X
1
, , X
n
}.
( )
n
X X
n
X + + = ...
1
1
18



Densidad de
probabilidad de X

X
X
X
X
Densidad de
probabilidad de X
Como se ve en el grfico, X tiene la misma media que X. Sin embargo, la varianza ed la
distribucin de X es ms pequea que la de X.
Muestreo y estimadores
19
Funcin de
densidad de
probabilidad

X

estimator B
Cmo escoger entre los estimadores A y B? La respuesta es usar el estimador ms
eficiente, es decir, aquel con la varianza ms pequea porque ste tiende a ser ms
acertado. En el diagrama el estimador ms eficiente es B.
Sesgo y eficiencia
estimador A
20


Trade off entre sesgo y eficiencia (varianza)
Suponga que tiene un estimador alternativo u de la poblacin, uno insesgado, el otro
sesgado pero con menor varianza. Cmo escoger entre ambos?
Funcin de
densidad de
probabilidad
u
estimador B
estimador A
21


Una medida ampliamente utilizada es la media del error cuadrado del estimador, definido
como el valor esperado del cuadrado de la desviacin del estimador alrededor del
verdadero parmetro de la poblacin.
Funcin de
densidad de
probabilidad
u
Z

sesgo
| |
2 2 2
) ( ) ( ) ( MSE u o u + = =
Z Z
Z E Z
estimador B
Trade off entre sesgo y eficiencia (varianza)
22

Varianza:


Estimador:



Covarianza:


Estimador:
Estimadores muestrales de varianza, covarianza y correlacin
( ) .
1
1
1
2
2
=

=
n
i
i X
X X
n
s
( )( ).
1
1
1 =

=
n
i
i i XY
Y Y X X
n
s
( )( ) { }
Y X XY
Y X E Y X o = = ) , ( cov
( ) { }
2
2
) var(
X X
X E X o = =
23

Correlacin:



Estimador:



Estimadores de varianza, covarianza y correlacin
El coeficiente de correlacin de la poblacin
XY
para dos variables X y Y es definida por
su covarianza dividida por la raz cuadrada del producto de sus varianzas.
El coeficiente de correlacin muestral, r
XY
, se obtiene de reemplazar la covarianza y las
varianzas por sus estimadores.
2 2
Y X
XY
XY
o o
o
=
( )( )
( ) ( )
( )( )
( ) ( )

= =
2 2
2 2
2 2
1
1
1
1
1
1
Y Y X X
Y Y X X
Y Y
n
X X
n
Y Y X X
n
s s
s
r
Y X
XY
XY
24
Consistencia

Un estimador de la poblacin es consistente si satisface
dos condiciones:

(1) Posee un lmite probabilstico (plim), de modo que su
distribucin se vuelva un pico conforme el tamao de
la muestra tienda a infinito, y

(2) El pico de esta distribucin se localice en el
verdadero valor del parmetro poblacional.
Propiedades de los estimadores: consistencia
25


En este ejemplo, el estimador cumple con ambas condiciones
Una condicin suficiente de consistencia es que el estimador debe ser insesgado y su
varianza debe tender a cero conforme n se incrementa.
50 100 150 200
n = 5000
0.8
0.4
0.2
0.6
Funcin de densidad de
probabilidad de X
Propiedades de los estimadores: consistencia
26


Sin embargo, la condicin es suficiente, no necesaria. Es posible que un estimador est
sesgado en una muestra finita, pero el sesgo disminuye conforme el tamao de muestra
aumenta.
n = 100
n = 1000
n = 20
Funcin de densidad de
probabilidad de Z
u Z
n = 100000
Propiedades de los estimadores: consistencia
27
Si una variable aleatoria X tiene una distribucin normal, su media
muestral, X, tambin tendr una distribucin normal.
Sin embargo, qu ocurre si no conocemos la verdadera
distribucin de X? El teorema del lmite central resuelve el problema.
El TLC establece que: si las observaciones X
i
de una muestra son
obtenidas de manera independiente (aleatoria) de la misma
distribucin y, si sta distribucin tiene una media y varianza
poblacional finita la distribucin de X converger hacia una
distribucin normal.
Es decir, que aunque la distribucin de X sea desconocida, la
distribucin de sus estimadores muestrales tender a ser normal
conforme N aumente.
Esto implica que tanto los estadsticos t como los intervalos de
confianza sern aproximadamente vlidos, siempre que la muestra
sea suficientemente grande.
Teorema del Lmite Central
28
Teorema del Lmite Central
0
5
10
15
-0.6 -0.4 -0.2 0 0.2 0.4 0.6
El grfico muestra cmo, conforme n aumenta, la distribucin de la media de X
converge hacia una distribucin normal.
Applets en lnea:
A Central Limit Theorem Applet
Sample from a population / Sampling distributions
n = 100