PROCESOS ESTOCÁSTICOS

(MPES)
Licenciatura en Matemáticas

Unidad 2 Actividad 3
Jesús Abraham Rojas Úrzulo
jesus_rojas_urzulo@nube.unadmexico.mx
Matricula: ES1821013126
Jesús Abraham Rojas Úrzulo Licenciatura en Matemáticas
Matricula: ES1821013126 Procesos Estocásticos (MPES)

Instrucciones: Realiza lo que se te pide en cada uno de los siguientes problemas:

1. En la siguiente cadena determina las clases de comunicación, el periodo de cada una de ellas
y si se trata de clases recurrentes o transitorias. Reescribe la matriz de transición en la forma
canónica: S={1,2,3,4,5} y
0.1 0.3 0.2 0.2 0.2
0.0 0.1 0.3 0.3 0.3
𝑃 = 0.0 0.0 0.4 0.6 0.0
0.0 0.5 0.0 0.5 0.0
[0.0 0.8 0.0 0.2 0.0]
Con la matriz anterior se puede crear el siguiente diagrama de comunicación.

Del diagrama anterior se pude observar que una vez que se sale del estado 1, no hay forma de
regresar, por otro lado, claramente los estados 2, 4 y 5 están comunicados entre sí, ya que en un
número finito de pasos se puede visitar cada estado partiendo de otro de esa clase.
Finalmente, el estado 3 está conectado de ida al 4 directamente y de regreso a través de 2, el estado
3 está conectado a 2 a través de 4 y directamente de regreso. De manera similar estando en 3 se
puede llegar a 5 a través de 4 y 2, y viceversa estando en 5 se puede llegar a 3 a través de 2 y 4, por
lo tanto, 3 pertenece a dicha clase.
Existen dos clases {1} y {2,3,4,5}, donde claramente 1 es transitoria ya que saliendo de dicho estado
no se puede regresar y solamente se puede comenzar en él. Mientras que la clase {2,3,4,5} es
recurrente.
De forma canónica 2 3 4 5 1
1
0.1 0.3 0.3 0.3 0.0
0.0 0.4 0.6 0.0 0.0
𝑃′ = 0.5 0.0 0.5 0.0 0.0
0.8 0.0 0.2 0.0 0.0
[0.3 0.2 0.2 0.2 0.1]
Jesús Abraham Rojas Úrzulo Licenciatura en Matemáticas
Matricula: ES1821013126 Procesos Estocásticos (MPES)

2. En cada uno de los siguientes casos, escribe el espacio de estados, la matriz de transición y
dibuja la gráfica dirigida de una cadena de Markov que tenga las características indicadas.
a) Una cadena con espacio de estados infinitos, irreducibles y aperiódicos.

Esta es una caminata aleatoria con probabilidad p de avanzar, q de retroceder y r de mantenerse en

el estado actual, por lo tanto, se tiene que p+q+r=1.

Por lo tanto, la matriz de transición es

⋱ … … … ⋱
⋮ 𝑟 𝑝 0 ⋮
𝑃= ⋮ 𝑞 𝑟 𝑝 ⋮
⋮ 0 𝑞 𝑟 ⋮
[⋱ … … … ⋱]

Claramente los estados son infinitos, además como se puede acceder a cualquier estado desde otro
estado, todos pertenecen a la misma clase, por lo tanto, es irreducible.

Finalmente, se tiene regresar a cualquier estado partiendo desde dicho estado en cualquier número
de pasos para que sea aperiódico.

En un paso, se tiene probabilidad r de mantenerse en el:

𝑝(𝑖, 𝑖) = 𝑟 > 0

En dos pasos, se tiene probabilidad p de avanzar y q de retroceder, por lo tanto.

𝑝(𝑖, 𝑖) = 𝑝(𝑖 + 1, 𝑖)𝑝(𝑖, 𝑖 + 1) + 𝑝(𝑖 − 1, 𝑖)𝑝(𝑖, 𝑖 − 1) = 𝑝𝑞 + 𝑞𝑝 = 2𝑝𝑞 > 0

En tres pasos, se puede avanzar y retroceder cuando en el paso intermedio se mantiene en el

segundo estado, es decir.

𝑝(𝑖, 𝑖) = 𝑝(𝑖 + 1, 𝑖)𝑝(𝑖 + 1, 𝑖 + 1)𝑝(𝑖, 𝑖 + 1) + 𝑝(𝑖 − 1, 𝑖)𝑝(𝑖 − 1, 𝑖 − 1)𝑝(𝑖, 𝑖 − 1) = 𝑝𝑟𝑞 + 𝑞𝑟𝑝 = 2𝑝𝑟𝑞

Es decir, siempre se encontrará una probabilidad mayor a cero de regresar a dicho estado para todo
número natural, por lo tanto.

𝐺𝑖 = {1,2,3,4 … . }

Haciendo que sea aperiódico.

Jesús Abraham Rojas Úrzulo Licenciatura en Matemáticas
Matricula: ES1821013126 Procesos Estocásticos (MPES)

b) Una cadena con espacio de estados finito, con una clase de periodo 2 y otra de periodo 3.

Se tienen 5 estados, por lo tanto, claramente es de espacio de estados finito

0 1 0 0 0
1 0 0 0 0
𝑃= 0 0 0 1 0
0 0 0 0 1
[0 0 1 0 0]
Claramente se tienen dos clases {1,2} y {3,4,5}.

Si se está en la clase 1, se tiene que 1 → 2 → 1, por lo tanto, solo se puede regresar en dos
movimientos, de la misma forma,2 → 1 → 2. Entonces 𝐺1 = 𝐺2 = {2}, por lo tanto, es de periodo 2.

Si se está en la clase 2, se tiene 3 → 4 → 5 → 3, 4 → 5 → 3 → 4 y 5 → 3 → 4 → 5, por lo tanto, solo se

puede regresar en tres movimientos. Entonces 𝐺3 = 𝐺4 = 𝐺5 = {3}, por lo tanto, es de periodo 3.

c) Una cadena en la que todos los estados sean transitorios y tengan periodo 0.

Claramente en esta configuración, cuando se abandona un estado, nunca se regresa, por lo tanto,
tiene periodo cero, y todos los estados son transitorios.

1 0 0 0 …
0 1 0 0 …
𝑃= 0 0 1 0 …
0 0 0 1 …
[⋮ ⋮ ⋮ ⋮ ⋱]
Jesús Abraham Rojas Úrzulo Licenciatura en Matemáticas
Matricula: ES1821013126 Procesos Estocásticos (MPES)

3.- Sea j un estado transitorio en algún espacio de estados S: Define el conjunto

C j = k pm ( j , k )  0 para algun entero positivo m

a) Escribe un párrafo describiendo cómo son los elementos del conjunto Cj.

Los estados j son transitorios, y existe un número de pasos m para el cual el estado pasará a k, esto porque
Pm(j,k) > 0, es decir, existe una probabilidad positiva de pasar a k. Además ya que j es transitorio eventualmente
se saldrá del estado y nunca se regresará, por lo tanto, el conjunto en cuestión debe ser recurrente ya que no
debe regresar a los estados transitorios j.

b) ¿Cj es un conjunto irreducible y cerrado? Justifica claramente tu respuesta.

Colorario 2.4. Todo estado recurrente pertenece a un conjunto cerrado e irreducible de estados.

Por lo tanto, ya que los elementos de Cj son recurrentes, entonces es un conjunto irreducible y cerrado

Bibliografía
México, U. A. (2021). Procesos Estocásticos . Ciudad de México.