Teorı́a de Conjuntos Probabilidad Procesos Estocásticos Cadenas de Markov

Cadenas de Markov

Cristian Andrés González Prieto

Fundación Universitaria Los Libertadores

Facultad de Ingenierı́a y Ciencias Básicas

Agosto de 2020

CAGP Fundación Universitaria Los Libertadores

Procesos Estocásticos
Teorı́a de Conjuntos Probabilidad Procesos Estocásticos Cadenas de Markov

Tabla de contenido

1 Teorı́a de Conjuntos

2 Probabilidad

3 Procesos Estocásticos

4 Cadenas de Markov

CAGP Fundación Universitaria Los Libertadores

Procesos Estocásticos
Teorı́a de Conjuntos Probabilidad Procesos Estocásticos Cadenas de Markov

Tabla de contenidos

1 Teorı́a de Conjuntos

2 Probabilidad

3 Procesos Estocásticos

4 Cadenas de Markov

CAGP Fundación Universitaria Los Libertadores

Procesos Estocásticos
Teorı́a de Conjuntos Probabilidad Procesos Estocásticos Cadenas de Markov

Teorı́a de conjuntos

Conjunto
Un conjunto es una colección de elementos que podrı́an tener
caracterı́sticas en común. Suelen notarse con una letra
mayúscula.

Ejemplo:
A = {a, e, i, o, u}, está forma de ver al conjunto se llama por
extensión.
A = {x|x es una vocal}, esta forma de ver al conjunto se llama
por comprensión.

CAGP Fundación Universitaria Los Libertadores

Procesos Estocásticos
Teorı́a de Conjuntos Probabilidad Procesos Estocásticos Cadenas de Markov

Relación conjunto - elemento

Pertenencia
Se dice que un elemento pertenece a un conjunto si hace parte
de él. Se nota por ∈.

Ejemplo:
B = {x|x es un número par}, entonces 4 ∈ B y 1 ∈
/ B.

CAGP Fundación Universitaria Los Libertadores

Procesos Estocásticos
Teorı́a de Conjuntos Probabilidad Procesos Estocásticos Cadenas de Markov

Relación conjunto - conjunto

Contenencia
Se dice que el conjunto A está contenido en B si todos los
ejementos de A pertenecen a B. Se nota como A ⊆ B.

Ejemplo:
A = {x|x es una letra del alfabeto} y B = {x|x es una vocal}.
Entonces, B ⊆ A.
Sea C = {x|x es una letra griega}, entonces C * A.

CAGP Fundación Universitaria Los Libertadores

Procesos Estocásticos
Teorı́a de Conjuntos Probabilidad Procesos Estocásticos Cadenas de Markov

Operaciones entre conjuntos

Unión
Sean A y B conjuntos. Se define la unión entre A y B como:
A ∪ B = {x|x ∈ A o x ∈ B}.

Ejemplo: Sean A = {a, e, i, o, u} y B = {a, b, c, d, e}, entonces

A ∪ B = {a, e, i, o, u, b, c, d}.

CAGP Fundación Universitaria Los Libertadores

Procesos Estocásticos
Teorı́a de Conjuntos Probabilidad Procesos Estocásticos Cadenas de Markov

Operaciones entre conjuntos

Intersección
Sean A y B conjuntos. Se define la intersección entre A y B
como: A ∩ B = {x|x ∈ A y x ∈ B}.

Ejemplo: Sean A = {a, e, i, o, u} y B = {a, b, c, d, e}, entonces

A ∩ B = {a, e}.

CAGP Fundación Universitaria Los Libertadores

Procesos Estocásticos
Teorı́a de Conjuntos Probabilidad Procesos Estocásticos Cadenas de Markov

Operaciones entre conjuntos

Diferencia
Sean A y B conjuntos. Se define la diferencia entre A y B como:
A − B = {x|x ∈ A y x ∈/ B}.

Ejemplo: Sean A = {a, e, i, o, u} y B = {a, b, c, d, e}, entonces

A − B = {i, o, u}.

CAGP Fundación Universitaria Los Libertadores

Procesos Estocásticos
Teorı́a de Conjuntos Probabilidad Procesos Estocásticos Cadenas de Markov

Operaciones entre conjuntos

Complemento
Sea U el conjunto universal y B un conjunto tal que B ⊆ U . Se
define el complemento de B como:
B c = B 0 = {x|x ∈ U y x ∈
/ B}.

Ejemplo: Sean U = {a, e, i, o, u} y B = {i, o, u}, entonces

B c = {a, e}.
CAGP Fundación Universitaria Los Libertadores
Procesos Estocásticos
Teorı́a de Conjuntos Probabilidad Procesos Estocásticos Cadenas de Markov

Operaciones entre conjuntos

Diferencia simétrica
Sean A y B conjuntos. Se define la diferencia simétrica entre A
y B como: A 4 B = (A ∪ B) − (A ∩ B).

Ejemplo: Sean A = {a, e, i, o, u} y B = {a, b, c, d, e}, entonces

A 4 B = {b, c, d, i, o, u}.

CAGP Fundación Universitaria Los Libertadores

Procesos Estocásticos
Teorı́a de Conjuntos Probabilidad Procesos Estocásticos Cadenas de Markov

Ejemplo

Verificar si los siguientes conjuntos son equivalentes:

(A ∪ B)c y Ac ∩ B c .

CAGP Fundación Universitaria Los Libertadores

Procesos Estocásticos
Teorı́a de Conjuntos Probabilidad Procesos Estocásticos Cadenas de Markov

Conjunto de partes

Definición
Se define el conjunto de partes ℘(.) como el conjunto de todos
los subsonjuntos que se pueden formar con sus elementos.

Ejemplo: Sea A = {a, b, c}, entonces

℘(A) = {φ, {a}, {b}, {c}, {a, b}, {a, c}, {b, c}, A}

Cardinalidad
Sea A un conjunto. Se define el cardinal de A como el número
de elementos que tiene ese conjunto. Se nota por |A|.

Ejemplo: Sea A = {a, e, i, o, u}, entonces |A| = 5.

Nota: |℘(A)| = 2|A|

CAGP Fundación Universitaria Los Libertadores

Procesos Estocásticos
Teorı́a de Conjuntos Probabilidad Procesos Estocásticos Cadenas de Markov

Tabla de contenidos

1 Teorı́a de Conjuntos

2 Probabilidad

3 Procesos Estocásticos

4 Cadenas de Markov

CAGP Fundación Universitaria Los Libertadores

Procesos Estocásticos
Teorı́a de Conjuntos Probabilidad Procesos Estocásticos Cadenas de Markov

Conceptos básicos
Experimento Aleatorio
Un experimento se dice aleatorio si su resultado no se puede
determinar de antemano.
Ejemplo: El resultado de lanzar un dado.
Espacio muestral
Es el conjunto Ω de todos los posibles resultados de un
experimento aleatorio.

Ejemplo:
El lanzamiento de una moneda. Ω = {c, s}
El lanzamiento de un dado 3 veces consecutivas.
Ω = {(a, b, c) : a, b, c ∈ {1, 2, 3, 4, 5, 6}}
CAGP Fundación Universitaria Los Libertadores
Procesos Estocásticos
Teorı́a de Conjuntos Probabilidad Procesos Estocásticos Cadenas de Markov

Conceptos básicos

σ−álgebra
= es una colección de subconjuntos de Ω que cumple con:
1 Ω∈=
2 Si A ∈ = entonces Ac ∈ =
∞
[
3 Si A1 , A2 , ... ∈ = entonces Ai ∈ =
i=1
Los elementos de = se llaman eventos.

CAGP Fundación Universitaria Los Libertadores

Procesos Estocásticos
Teorı́a de Conjuntos Probabilidad Procesos Estocásticos Cadenas de Markov

Ideas:
A Ω se le conoce como evento seguro.
A φ se le conoce como evento imposible.
Decir que un evento ocurre, significa que el resultado
obtenido al realizar un experimento aleatorio cuyo espacio
muestral el Ω, es un elemento de A.
Si A y B son eventos, entonces:
A ∪ B es un evento que ocurre sii A o B o ambos ocurren.
A ∩ B es un evento que ocurre sii A y B ocurren.
Ac es un evento que ocurre sii A no ocurre.
A − B es un evento que ocurre sii A ocurre pero B no.

CAGP Fundación Universitaria Los Libertadores

Procesos Estocásticos
Teorı́a de Conjuntos Probabilidad Procesos Estocásticos Cadenas de Markov

Conceptos básicos

Eventos mutuamente excluyentes

Dos eventos A y B se dicen mutuamente excluyentes si
A ∩ B = φ.

Ejemplo:
A ={Estudiantes que pasan el curso de Control de Calidad}
B ={Estudiantes que pierden el curso de Control de
Calidad}

CAGP Fundación Universitaria Los Libertadores

Procesos Estocásticos
Teorı́a de Conjuntos Probabilidad Procesos Estocásticos Cadenas de Markov

El concepto de probabilidad

Probabilidad
La medida de probabilidad se define como una función P
definida sobre = y de valor real que satisface las siguientes
condiciones:
1 P (A) ≥ 0 para todo A ∈ =.
2 P (Ω) = 1.
3 Si A ∩ B = φ entonces P (A ∪ B) = P (A) + P (B).

CAGP Fundación Universitaria Los Libertadores

Procesos Estocásticos
Teorı́a de Conjuntos Probabilidad Procesos Estocásticos Cadenas de Markov

Propiedades

1 P (φ) = 0
2 P (Ac ) = 1 − P (A)
3 P (A ∪ B) = P (A) + P (B) − P (A ∩ B)
4 P (B − A) = P (B) − P (A ∩ B)
5 Si A ⊆ B entonces P (A) ≤ P (B)
Cuando dos eventos son mutuamente excluyentes, la regla de
la suma de la probabilidad establece que:

P (A ∪ B) = P (A) + P (B)

CAGP Fundación Universitaria Los Libertadores

Procesos Estocásticos
Teorı́a de Conjuntos Probabilidad Procesos Estocásticos Cadenas de Markov

Propiedades

1 P (φ) = 0
2 P (Ac ) = 1 − P (A)
3 P (A ∪ B) = P (A) + P (B) − P (A ∩ B)
4 P (B − A) = P (B) − P (A ∩ B)
5 Si A ⊆ B entonces P (A) ≤ P (B)
Cuando dos eventos son mutuamente excluyentes, la regla de
la suma de la probabilidad establece que:

P (A ∪ B) = P (A) + P (B)

CAGP Fundación Universitaria Los Libertadores

Procesos Estocásticos
Teorı́a de Conjuntos Probabilidad Procesos Estocásticos Cadenas de Markov

Propiedades

1 P (φ) = 0
2 P (Ac ) = 1 − P (A)
3 P (A ∪ B) = P (A) + P (B) − P (A ∩ B)
4 P (B − A) = P (B) − P (A ∩ B)
5 Si A ⊆ B entonces P (A) ≤ P (B)
Cuando dos eventos son mutuamente excluyentes, la regla de
la suma de la probabilidad establece que:

P (A ∪ B) = P (A) + P (B)

CAGP Fundación Universitaria Los Libertadores

Procesos Estocásticos
Teorı́a de Conjuntos Probabilidad Procesos Estocásticos Cadenas de Markov

Propiedades

1 P (φ) = 0
2 P (Ac ) = 1 − P (A)
3 P (A ∪ B) = P (A) + P (B) − P (A ∩ B)
4 P (B − A) = P (B) − P (A ∩ B)
5 Si A ⊆ B entonces P (A) ≤ P (B)
Cuando dos eventos son mutuamente excluyentes, la regla de
la suma de la probabilidad establece que:

P (A ∪ B) = P (A) + P (B)

CAGP Fundación Universitaria Los Libertadores

Procesos Estocásticos
Teorı́a de Conjuntos Probabilidad Procesos Estocásticos Cadenas de Markov

Propiedades

1 P (φ) = 0
2 P (Ac ) = 1 − P (A)
3 P (A ∪ B) = P (A) + P (B) − P (A ∩ B)
4 P (B − A) = P (B) − P (A ∩ B)
5 Si A ⊆ B entonces P (A) ≤ P (B)
Cuando dos eventos son mutuamente excluyentes, la regla de
la suma de la probabilidad establece que:

P (A ∪ B) = P (A) + P (B)

CAGP Fundación Universitaria Los Libertadores

Procesos Estocásticos
Teorı́a de Conjuntos Probabilidad Procesos Estocásticos Cadenas de Markov

Propiedades

1 P (φ) = 0
2 P (Ac ) = 1 − P (A)
3 P (A ∪ B) = P (A) + P (B) − P (A ∩ B)
4 P (B − A) = P (B) − P (A ∩ B)
5 Si A ⊆ B entonces P (A) ≤ P (B)
Cuando dos eventos son mutuamente excluyentes, la regla de
la suma de la probabilidad establece que:

P (A ∪ B) = P (A) + P (B)

CAGP Fundación Universitaria Los Libertadores

Procesos Estocásticos
Teorı́a de Conjuntos Probabilidad Procesos Estocásticos Cadenas de Markov

Probabilidad Condicional
Idea
Con frecuencia estamos interesados en determinar la
probabilidad de que un evento B ocurra dado que ya se conoce
el resultado de un evento A.
La regla multiplicativa de la probabilidad establece que la
probabilidad de que dos eventos A y B ocurran es igual a la
probabilidad de A multiplicada por la probabilidad de B dado
A.
P (A ∩ B) = P (A)P (B|A)

De lo anterior se tiene que:

P (A ∩ B) P (A ∩ B)
P (B|A) = P (A|B) =
P (A) P (B)

CAGP Fundación Universitaria Los Libertadores

Procesos Estocásticos
Teorı́a de Conjuntos Probabilidad Procesos Estocásticos Cadenas de Markov

Ejemplo
Considere los siguientes eventos:
A ={Una persona saca 35 en el primer parcial}
B ={Una persona saca 45 en el segundo parcial}
Entonces A ∩ B ={Una persona que saca 35 en el primer parcial
y 45 en el segundo parcial}
Suponga que:
5 3
P (A) = = 0.3125 P (A ∩ B) = = 0.1875
16 16
Entonces:
P (A ∩ B) 0.1875
P (B|A) = = = 0.6
P (A) 0.3125

CAGP Fundación Universitaria Los Libertadores

Procesos Estocásticos
Teorı́a de Conjuntos Probabilidad Procesos Estocásticos Cadenas de Markov

Independencia

Eventos independientes
Se dice que dos eventos A y B son independientes si:

P (A|B) = P (A) o P (B|A) = P (B)

Lo cual implica que:

P (A ∩ B) = P (A)P (B)

Es decir, nos interesamos en dos eventos tales que, el resultado

de uno no tiene efecto sobre la ocurrencia del otro. Se dice que
con eventos independientes.

CAGP Fundación Universitaria Los Libertadores

Procesos Estocásticos
Teorı́a de Conjuntos Probabilidad Procesos Estocásticos Cadenas de Markov

Tarea

Sean A y B eventos tales que:

P (A) = 0.5
P (B) = 0.3
P (A ∩ B) = 0.1
1 ¿Son eventos mutuamente excluyentes?
2 ¿Son eventos independientes?
3 Calcular
P (B|A)
.

CAGP Fundación Universitaria Los Libertadores

Procesos Estocásticos
Teorı́a de Conjuntos Probabilidad Procesos Estocásticos Cadenas de Markov

Tabla de contenidos

1 Teorı́a de Conjuntos

2 Probabilidad

3 Procesos Estocásticos

4 Cadenas de Markov

CAGP Fundación Universitaria Los Libertadores

Procesos Estocásticos
Teorı́a de Conjuntos Probabilidad Procesos Estocásticos Cadenas de Markov

Procesos Estocásticos

Definición 1
Los procesos que evolucionan de manera probabilı́stica en el
tiempo, se les conoce como procesos estocásticos.

Son una colección indexada de variables aleatorias {Xt } donde t

toma valores en un conjunto T dado. Con frecuencia T es
considerado el conjunto de los enternos no negativos y Xt
representa una caracterı́stica de interés cuantificable en el
tiempo t. Describen el comportamiento de un sistema en
operación durante algunos periodos.

CAGP Fundación Universitaria Los Libertadores

Procesos Estocásticos
Teorı́a de Conjuntos Probabilidad Procesos Estocásticos Cadenas de Markov

Definición 2

Un proceso estocástico es una familia de variables aleatorias

(v.a) (Xt )t∈T definidps sobre (Ω, =, P ). T se llama conjunto de
ı́ndices del proceso y S es el espacio de estados. Los elementos
de S se llaman estados.
1 Ejemplo 1: Sea Xt :=“Número de individuos de la
t−ésima generación de una población”.T = N y S = N.
2 Ejemplo 2: Sea Xt :=“La utilidad en pesos, obtenida por
un jugador, en t lanzamientos independientes de una
moneda corriente”.T = {1, 2, ...} y S = [0, ∞).
3 Ejemplo 3: Sea Xt :=“Número de partı́culas en una
sustancia acuosa de volumen t”.T = [0, ∞) y S = N.

CAGP Fundación Universitaria Los Libertadores

Procesos Estocásticos
Teorı́a de Conjuntos Probabilidad Procesos Estocásticos Cadenas de Markov

Definición 2

Un proceso estocástico es una familia de variables aleatorias

(v.a) (Xt )t∈T definidps sobre (Ω, =, P ). T se llama conjunto de
ı́ndices del proceso y S es el espacio de estados. Los elementos
de S se llaman estados.
1 Ejemplo 1: Sea Xt :=“Número de individuos de la
t−ésima generación de una población”.T = N y S = N.
2 Ejemplo 2: Sea Xt :=“La utilidad en pesos, obtenida por
un jugador, en t lanzamientos independientes de una
moneda corriente”.T = {1, 2, ...} y S = [0, ∞).
3 Ejemplo 3: Sea Xt :=“Número de partı́culas en una
sustancia acuosa de volumen t”.T = [0, ∞) y S = N.

CAGP Fundación Universitaria Los Libertadores

Procesos Estocásticos
Teorı́a de Conjuntos Probabilidad Procesos Estocásticos Cadenas de Markov

Definición 2

Un proceso estocástico es una familia de variables aleatorias

(v.a) (Xt )t∈T definidps sobre (Ω, =, P ). T se llama conjunto de
ı́ndices del proceso y S es el espacio de estados. Los elementos
de S se llaman estados.
1 Ejemplo 1: Sea Xt :=“Número de individuos de la
t−ésima generación de una población”.T = N y S = N.
2 Ejemplo 2: Sea Xt :=“La utilidad en pesos, obtenida por
un jugador, en t lanzamientos independientes de una
moneda corriente”.T = {1, 2, ...} y S = [0, ∞).
3 Ejemplo 3: Sea Xt :=“Número de partı́culas en una
sustancia acuosa de volumen t”.T = [0, ∞) y S = N.

CAGP Fundación Universitaria Los Libertadores

Procesos Estocásticos
Teorı́a de Conjuntos Probabilidad Procesos Estocásticos Cadenas de Markov

Definición 2

Un proceso estocástico es una familia de variables aleatorias

(v.a) (Xt )t∈T definidps sobre (Ω, =, P ). T se llama conjunto de
ı́ndices del proceso y S es el espacio de estados. Los elementos
de S se llaman estados.
1 Ejemplo 1: Sea Xt :=“Número de individuos de la
t−ésima generación de una población”.T = N y S = N.
2 Ejemplo 2: Sea Xt :=“La utilidad en pesos, obtenida por
un jugador, en t lanzamientos independientes de una
moneda corriente”.T = {1, 2, ...} y S = [0, ∞).
3 Ejemplo 3: Sea Xt :=“Número de partı́culas en una
sustancia acuosa de volumen t”.T = [0, ∞) y S = N.

CAGP Fundación Universitaria Los Libertadores

Procesos Estocásticos
Teorı́a de Conjuntos Probabilidad Procesos Estocásticos Cadenas de Markov

Definición 2

Un proceso estocástico es una familia de variables aleatorias

(v.a) (Xt )t∈T definidps sobre (Ω, =, P ). T se llama conjunto de
ı́ndices del proceso y S es el espacio de estados. Los elementos
de S se llaman estados.
1 Ejemplo 1: Sea Xt :=“Número de individuos de la
t−ésima generación de una población”.T = N y S = N.
2 Ejemplo 2: Sea Xt :=“La utilidad en pesos, obtenida por
un jugador, en t lanzamientos independientes de una
moneda corriente”.T = {1, 2, ...} y S = [0, ∞).
3 Ejemplo 3: Sea Xt :=“Número de partı́culas en una
sustancia acuosa de volumen t”.T = [0, ∞) y S = N.

CAGP Fundación Universitaria Los Libertadores

Procesos Estocásticos
Teorı́a de Conjuntos Probabilidad Procesos Estocásticos Cadenas de Markov

Definición 2

Un proceso estocástico es una familia de variables aleatorias

(v.a) (Xt )t∈T definidps sobre (Ω, =, P ). T se llama conjunto de
ı́ndices del proceso y S es el espacio de estados. Los elementos
de S se llaman estados.
1 Ejemplo 1: Sea Xt :=“Número de individuos de la
t−ésima generación de una población”.T = N y S = N.
2 Ejemplo 2: Sea Xt :=“La utilidad en pesos, obtenida por
un jugador, en t lanzamientos independientes de una
moneda corriente”.T = {1, 2, ...} y S = [0, ∞).
3 Ejemplo 3: Sea Xt :=“Número de partı́culas en una
sustancia acuosa de volumen t”.T = [0, ∞) y S = N.

CAGP Fundación Universitaria Los Libertadores

Procesos Estocásticos
Teorı́a de Conjuntos Probabilidad Procesos Estocásticos Cadenas de Markov

Procesos estocásticos

Sea (Xt )t∈T un proceso estocástico. Sı́

T es un subconjunto de los números naturales, entonces
(Xt )t∈T recibe el nombre de proceso de parámetro discreto.
T es un intervalo en los reales, entonces (Xt )t∈T recibe el
nombre de proceso de parámetro continuo.
S es discreto, entonces (Xt )t∈T recibe el nombre de proceso
de estado discreto.
S es un conjunto no numerable, entonces (Xt )t∈T es un
proceso de estados continuo.

CAGP Fundación Universitaria Los Libertadores

Procesos Estocásticos
Teorı́a de Conjuntos Probabilidad Procesos Estocásticos Cadenas de Markov

Ejemplo

El clima de Bogotá puede cambiar con rapidez de una hora a

otra. Sin embargo, las posibilidades de tener clima seco la
siguiente hora es de alguna forma mayor si ahora está seco. En
particular, la probabilidad de que en una hora esté seco es 0.8 si
ahora está seco pero, es de 0.6 si ahora llueve. Esas
probabilidades no cambian si se considera la información de
dı́as anteriores.
¿Es un proceso estocástico?

CAGP Fundación Universitaria Los Libertadores

Procesos Estocásticos
Teorı́a de Conjuntos Probabilidad Procesos Estocásticos Cadenas de Markov

Tabla de contenidos

1 Teorı́a de Conjuntos

2 Probabilidad

3 Procesos Estocásticos

4 Cadenas de Markov

CAGP Fundación Universitaria Los Libertadores

Procesos Estocásticos
Teorı́a de Conjuntos Probabilidad Procesos Estocásticos Cadenas de Markov

Cadenas de Markov

Definición 1
Una sucesión aleatoria (Xt )t∈N con conjuntos de estados
discretos se llama cadena de Markov con parámetro de tiempo
discreto si satisface la siguiente condición:

P (Xn+1 = j|Xn = i, Xn−1 = in−1 , ..., X0 = i0 ) = P (Xn+1 = j|Xn = i)

para todo n ∈ N y para todo i0 , i1 , ..., in−1 , i, j ∈ S con

P (Xn = i, Xn−1 = in−1 , ..., X0 = i0 ) > 0

CAGP Fundación Universitaria Los Libertadores

Procesos Estocásticos
Teorı́a de Conjuntos Probabilidad Procesos Estocásticos Cadenas de Markov

Cadenas de Markov

Definición 2
En otras palabras, si se conoce el presente “Xn = i”, el
conocimiento adicional del pasado “Xn−1 , Xn−2 , ..., X0 ” no tiene
ninguna influencia en la estructura probabilı́stica del futuro, es
decir, en “Xn+1 ”.

Ejemplo 1
Suponga que se lanza una moneda corriente infinidad de veces.
Sea Xn =“Número de caraas obtenidas en los primeros n
lanzamientos”. ¿Es una cadena de Markov?

CAGP Fundación Universitaria Los Libertadores

Procesos Estocásticos
Teorı́a de Conjuntos Probabilidad Procesos Estocásticos Cadenas de Markov

Cadenas de Markov

Ejemplo 2
Tres niños: A, B y C se lanzan unos a otros un balón. A siempre
le pasa el balón a B y este siempre se lo pasa a C. C le pasa el
balón indistintamente a A o a B. Sea Xn =“n−ésima persona
que lanza el balón”. ¿Es una cadena de Markov?

Ejemplo 3
En una escuala hay 150 niñas y 250 niños. Se selecciona un
alumno tras otro para un examen oftalmológico. Sea Xn =“Sexo
del n−ésimo alumno escogido”. ¿Es una cadena de Markov?

CAGP Fundación Universitaria Los Libertadores

Procesos Estocásticos
Teorı́a de Conjuntos Probabilidad Procesos Estocásticos Cadenas de Markov

Cadenas de Markov
Definición 3
Sea (Xn )n≥0 una cadena de Markov. Las probabilidades

πij = P (Xn+1 = j|Xn = i)

se llaman probabilidades de transición.

Definición 4
Una cadena de Markov se llama homogénea o con
probabilidades de transición estacionarias si las probabilidades
de transición de una cadena no dependen de n.

P (Xn+1 = j|Xn = i) = P (X1 = j|X0 = i) ∀n = 1, 2, ...

CAGP Fundación Universitaria Los Libertadores

Procesos Estocásticos
Teorı́a de Conjuntos Probabilidad Procesos Estocásticos Cadenas de Markov

Cadenas de Markov

Definición 5
La medida de probabilidad π = (πi )i∈S con

πi = P (X0 = i)

se llama distribución inicial.

CAGP Fundación Universitaria Los Libertadores

Procesos Estocásticos
Teorı́a de Conjuntos Probabilidad Procesos Estocásticos Cadenas de Markov

Ejemplo
Suponga (Xn )n una sucesión de v.a. independientes con
P (Xn = i, Xn−1 = in−1 , ..., X0 = i0 ) > 0

P (Xn+1 = j, Xn
P (Xn+1 = j | Xn = i, Xn−1 = in−1 , ..., X0 = i0 ) =
P (Xn = i,
P (Xn+1 = j)P (Xn = i)...P (X0 = i0 )
=
P (Xn = i)...P (X0 = i0 )
P (Xn+1 = j)P (Xn = i)
=
P (Xn = i)
P (Xn+1 = j, Xn = i)
=
P (Xn = i)
= P (Xn+1 = j|Xn = i)

CAGP Fundación Universitaria Los Libertadores

Procesos Estocásticos