CADENAS DE

MARKOV
Aux. Harold Mauricio Gamboa Alba

1/2023
¿Qué es una cadena de Markov (CM)?

Proceso estocástico.
Propiedad de perdida de memoria (prop.
Markoviana).
Discreto y finito en tiempo y espacio.
Prob. de transición constantes en el tiempo.

Cambios de estado en tiempos iguales.

Metodología de resolución
1. Definir los estados tentativos de la CM e indicar la cantidad de los mismos.

2. Establecer el paso del cambio de estado. (Tiempo o acontecimiento).

3. Calcular las probabilidades de transición de un paso .

4. Llenar la matriz de transición y verificar los estados de ser necesario.

5. Realizar cálculo de probabilidades (.

 Metodología de resolución
Estados:
𝑆 1 𝑆 2 𝑆3

[ ]
𝑆1 𝑃 11 𝑃 12 𝑃 13
𝑃= 𝑆2 𝑃 21 𝑃 22 𝑃 23
𝑆3 𝑃 31 𝑃 32 𝑃 33
N° de estados = 3
Paso = 1 año, 1 día, 1 hora, etc.

a) Calcular la probabilidad de transición en “n” pasos con el estado inicial conocido.

b) Calcular la probabilidad de transición en “n” pasos con incertidumbre en el estado inicial.
c) Calcular propiedades de una CM ergódica.
d) Calcular propiedades de absorción (CM absorbente).
e) Calcular valores particulares del problema.
 a) Cálculo de probabilidades de transición en “n” pasos con
el estado inicial conocido.

• Se pueden calcular en cualquier tipo de CM (sea absorbente o ergódica).

• Se debe conocer con certeza el estado inicial “i” y el estado final “j”.
• Identificar adecuadamente el paso “n”:
Estamos aquí Paso = n = k-1

1 2° 3° 4° | 5° • En el/la [k°] (unidad).

°
• Después de “k” (unidades).
n=1 n=2 n=3 n=4
| • Después del/la [k°] (unidad).
• En “k” pasos.

Paso = n = k
 Formas de cálculo.
• Champan – Kolmogorov:
• Matriz de transición (calculadora):
1) Desarrollar formula:

𝑀𝑎𝑡𝑟𝑖𝑧 𝑃 →𝐶𝑎𝑙𝑐𝑢𝑙𝑎𝑑𝑜𝑟𝑎→ 𝑀𝑎𝑡𝑟𝑖𝑧 𝑃 𝑛

2) Calcular Matriz (si es necesario).
1) Modo matriz (Menu  4) 3) Reemplazar y calcular.
2) Definir matriz (dimensión). 4) Expresar en fracción y decimal (2 decimales)
3) Llenar elementos de matriz.
4) Presionar “AC” para guardar.
5) Llamar a la matriz deseada (OPTN Mat”k”).
6) Elevar al cuadrado o al cubo según corresponda.
 b) Cálculo de probabilidades de transición en “n” pasos con
incertidumbre en el estado inicial.

• Se pueden calcular en cualquier tipo de CM (sea absorbente o ergódica).

• Se debe conocer con certeza el estado final “j”.
• El estado inicial “i” esta asociado a una incertidumbre dada por un vector
denominado vector de estado inicial
• Identificar adecuadamente el paso “n”.

𝑆1 0 𝑆20 𝑆03 ⋯ 𝑆0 𝑚 “n” pasos  𝑆1 𝑛 𝑆2 𝑛 𝑆 3𝑛⋯ 𝑆𝑛𝑚

𝑉 =[ 𝑣1 𝑣 2 𝑣 3 ⋯ 𝑣 𝑚 ]
0
𝑉 =[ 𝑣 1 𝑣 2 𝑣 3 ⋯ 𝑣 𝑚 ]
𝑛

El sistema puede encontrarse inicialmente en el estado El sistema después de “n” pasos puede encontrarse en el
…, con una prob.. estado …, con una prob.
 Formas de cálculo.
• ´Variación de la ecuación de
• Versión matricial:
Champan – Kolmogorov:
1) Establecer el vector de estado inicial:
1) Establecer el vector de estado inicial.
2) Desarrollar formula:

2) Desarrollar la formula:
3) Calcular Matriz (si es necesario).
4) Reemplazar y calcular.
5) Expresar en fracción y porcentaje
3) Calcular (2 decimales).
4) Reemplazar y calcular.
5) Escoger componente del vector y
expresarlo tanto en fracción como en
porcentaje (2 decimales).
c) Calcular propiedades de una CM ergódica.
• Se debe verificar que la CM sea ergódica (todos los estados están conectados
entre si).
2

1 3

• Existen 3 tipos de cálculos en el estado estable:

- El vector de estado estable .
- El tiempo esperado de primera llegada
- La probabilidad de primera llegada en “n” pasos .
C.1) Vector de estado estable ()

• La CM debe ser ergódica.

• Permite conocer el valor de probabilidad a la larga de que el sistema se encuentre en
cualquiera de los estados independientemente del estado inicial.
• El vector que recolecta la información de probabilidades del estado estable se denomina
vector de estado estable:

𝑆1 𝑆 2 𝑆 3 ⋯ 𝑆 𝑚
C.1) Vector de estado estable ()
𝑆1 𝑆 2 𝑆3

[ ]
CÁLCULO DEL VECTOR DE ESTADO ESTABLE:
𝑆1 𝑃 11 𝑃 12 𝑃 13
1. Verificar CM ergódica.
𝑃= 𝑆2 𝑃 21 𝑃 22 𝑃 23
2. Desarrollar la formula para todo “j”:
𝑆3 𝑃 31 𝑃 32 𝑃 33
𝜋1 =𝜋1 𝑝 11+𝜋 2 𝑝21 +𝜋 3 𝑝 31
El N° de ecuaciones = N° de estados = m

3. Se elimina UNA de las ecuaciones obtenidas y en su lugar 𝜋 2=𝜋 1 𝑝 12+𝜋 2 𝑝 22+𝜋 3 𝑝 32

se usa la ecuación de normalización:
𝜋 3=𝜋 1 𝑝 13 +𝜋 2 𝑝 23 +𝜋 3 𝑝 33
𝜋 1 + 𝜋 2+ 𝜋 3 =1
C.2) El tiempo esperado de primera llegada ()

• La CM debe ser ergódica.

• Determina el N° de pasos en promedio en el que se incurre para llegar del
estado “i” al estado “j” por primera vez.

CÁLCULO DEL TIEMPO ESPERADO DE PRIMERA LLEGADA:

1. Verificar CM ergódica.
2. Desarrollar la formula las veces que sean necesarias y resolver el sistema
de ecuaciones generado:

Tiempo de
recurrencia
C.3) Probabilidad de primera llegada en “n” pasos ()

• La CM debe ser ergódica.

• Permite conocer el valor de probabilidad de que el sistema pase de “i” a “j” por primera vez
cuando han pasado “n” pasos.

CÁLCULO DE LA PROBABILIDAD DE PRIMERA LLEGADA EN “n” PASOS:

1. Verificar CM ergódica.

2. Desarrollar la formula las veces que sean necesarias y resolver el sistema de ecuaciones
generado:
EJEMPLO:
En las lámparas incandescentes de una casa se han encontrado las probabilidades de
ocurrencias de fallas, esta probabilidad de falla depende del mes de vida que tiene la lampara.
Si una lámpara falla se la cambia inmediatamente por una nueva.
a) ¿Cuál es la probabilidad de que una lámpara de 2 meses de vida tenga 2 meses de
vida después de transcurrido 3 meses?
Mes de Probabilidad de
b) Actualmente es Enero y hay un total de 300 lámparas de las cuales 100 son nuevas,
vida supervivencia (p)
25 tienen 1 mes, 65 tienen 2 meses y 110 tienen 3 meses.
0 0,9 ¿Cuál es la probabilidad de que una lámpara tenga 3 meses de vida en el mes de
MARZO?
1 0,85
c) ¿Cuál es la probabilidad de que una lámpara tenga 1 mes de uso al 4° mes dado que
2 0,78 actualmente tiene 3 meses de uso?

d) ¿Cuál es la vida promedio de una lámpara?

3 0
e) ¿Cuántos meses transcurren en promedio para que una lámpara de 1 mes de vida
tenga por primera vez 3 meses de vida?

f) ¿Cuál es la probabilidad de que por primera vez una lámpara nueva tenga 2 meses
de vida después del 3° mes?