INVESTIGACIÓN DE

OPERACIONES 2
CLASIFICACIÓN DE LAS CADENAS DE MARKOV

Docente:
Ing. Manuel Sánchez Terán
 CADENAS DE MARKOV

Logro de sesión:
CLASIFICACIÓN DE Al finalizar la sesión, el estudiante entiende lo que
LAS CADENAS DE representa una matriz de transiciones, relaciona las
probabilidades de pasar de un estado a otro y reconoce una
MARKOV a Cadena de Markov como aquella que considera relevante
al evento inmediato anterior y que posteriormente le
llevará a alcanzar la ocurrencia más probable de una
situación en cuestión.

Ing. Manuel Sánchez Terán

 CADENAS DE MARKOV

REPRESENTACIÓN GRÁFICA
Ejemplo: La línea telefónica
Sea una línea telefónica de estados:
(D) Desocupada y (O) Ocupada

Si en el instante t está ocupada, en el instante t+1 estará ocupada con probabilidad 0.7 y desocupada con probabilidad 0.3.
Si en el instante t está desocupada, en el instante t+1 estará ocupada con probabilidad 0.1 y desocupada con probabilidad
0.9.

0.1

0.9 D O 0.7

0.3

Ing. Manuel Sánchez Terán

 CADENAS DE MARKOV

CLASIFICACIÓN
Matriz de transiciones:
0.4 0.6 0 0 0
0.5 0.5 0 0 0
𝑃= 0 0 0.3 0.7 0
0 0 0.5 0.4 0.1
0 0 0 0.8 0.2
Representación gráfica:
0.7
0.3 0.4
0.6
3 4
1 2
0.4 0.5 0.5
0.8
0.1
s2
0.5 5
s1
0.2
Dados dos estados i y j, una trayectoria de i a j es una sucesión de transiciones que comienza en i y termina en j, tal que cada
transición en la secuencia tiene una probabilidad positiva de ocurrir.

Ing. Manuel Sánchez Terán

 CADENAS DE MARKOV

CLASIFICACIÓN
Matriz de transiciones:
0.4 0.6 0 0 0
0.5 0.5 0 0 0
𝑃= 0 0 0.3 0.7 0
0 0 0.5 0.4 0.1
0 0 0 0.8 0.2
Representación gráfica:
0.7
0.3 0.4
0.6
3 4
1 2
0.4 0.5 0.5
0.8
0.1
s2
0.5 5
s1
0.2
Un estado j es alcanzable desde el estado i si hay una trayectoria que conduzca de i a j. (El estado 5 es alcanzable desde el
estado 3 a través de la trayectoria 3-4-5, pero el estado 5 no es alcanzable desde el estado 1 no hay trayectoria que vaya de 1
a 5)

Ing. Manuel Sánchez Terán

 CADENAS DE MARKOV

CLASIFICACIÓN
Matriz de transiciones:
0.4 0.6 0 0 0
0.5 0.5 0 0 0
𝑃= 0 0 0.3 0.7 0
0 0 0.5 0.4 0.1
0 0 0 0.8 0.2
Representación gráfica:
0.7
0.3 0.4
0.6
3 4
1 2
0.4 0.5 0.5
0.8
0.1
s2
0.5 5
s1
0.2
Se dice que dos estados i y j se comunican si j es alcanzable desde i, e i es alcanzable desde j. (Los estados 1 y 2 se
comunican: podemos pasar de 1 a 2 y de 2 a 1)

Ing. Manuel Sánchez Terán

 CADENAS DE MARKOV

CLASIFICACIÓN
Matriz de transiciones:
0.4 0.6 0 0 0
0.5 0.5 0 0 0
𝑃= 0 0 0.3 0.7 0
0 0 0.5 0.4 0.1
0 0 0 0.8 0.2
Representación gráfica:
0.7
0.3 0.4
0.6
3 4
1 2
0.4 0.5 0.5
0.8
0.1
s2
0.5 5
s1
0.2
Un conjunto de estados S en una cadena de Markov es un conjunto cerrado si una vez dentro de uno de los estados de éste
permanece en el conjunto por tiempo indefinido. (Tanto S1 = {1, 2} como S2 = {3, 4, 5} son conjuntos cerrados. Observe que una
vez que entramos a un conjunto cerrado no podemos dejarlo nunca)

Ing. Manuel Sánchez Terán

 CADENAS DE MARKOV

CLASIFICACIÓN
Cadena Irreductible

2 3

1 4

Se dice que una cadena de Markov es irreductible si todo estado puede alcanzarse desde cualquier otro estado después de
una cantidad finita de transiciones. En este caso se comunican todos los estados de la cadena. Todos los estados de una
cadena irreductible deben formar un conjunto cerrado.

Ing. Manuel Sánchez Terán

 CADENAS DE MARKOV

CLASIFICACIÓN
Estado y cadena absorbente:

Un estado i es estado absorbente si pii = 1. Siempre que se entre a un estado de absorbente, nunca se saldrá de él. Por
supuesto, un estado absorbente es un conjunto cerrado que sólo contiene un estado. (El estado 3 es un estado absorbente)

Ing. Manuel Sánchez Terán

 CADENAS DE MARKOV

CLASIFICACIÓN
Estado transitorio:

Un estado i es un estado transitorio si existe la probabilidad de dejar el estado i de tal modo que nunca se regrese a él (los
estados 1 y 2 son transitorios).

Estado transitorio sin retorno es un estado transitorio que no se comunica con ningún otro estado, ni siquiera consigo
mismo; esto significa que una vez que la cadena ha alcanzado dicho estado la probabilidad de que retorne a él es nula (el
estado 2 es un estado sin retorno).

Ing. Manuel Sánchez Terán

 CADENAS DE MARKOV

CLASIFICACIÓN
Estado y cadena recurrente:

1 2

Si un estado no es transitorio, se llama estado recurrente. Todos los estados de una cadena irreductible deben ser
recurrentes. (Los estados 1 y 2 son estados recurrentes; el estado 3 es transitorio)

Ing. Manuel Sánchez Terán

 CADENAS DE MARKOV

CLASIFICACIÓN
Cadena periódica:

1 2

1 2 3
3 4

Una cadena es periódica con período k>1 si k es el número más pequeño tal que las trayectorias que conducen del estado i de
regreso al estado i tienen una longitud que es múltiplo de k. (Ambas son cadenas de Markov con período 3. Sin importar donde
estemos se tiene la seguridad de volver tres, o múltiplo, períodos después)

Si un estado recurrente no es periódico se le conoce como aperiódico.

Si una cadena tiene algún estado absorbente también es aperiódica.

Ing. Manuel Sánchez Terán
 CADENAS DE MARKOV

CLASIFICACIÓN
Cadena ergódica:

2 3

Una cadena de Markov es ergódica si es que es irreductible, recurrente y aperiódica.

Ing. Manuel Sánchez Terán

 CADENAS DE MARKOV

CLASIFICACIÓN
EJERCICIOS:

Absorbente
1
Irreductible
Recurrente
Periódica
Ergódica
3 2
Tiene conjuntos cerrados
Tiene estados transitorios

Ing. Manuel Sánchez Terán

 CADENAS DE MARKOV

CLASIFICACIÓN
EJERCICIOS:

Absorbente
1
Irreductible
Recurrente
Periódica
Ergódica
3 2
Tiene conjuntos cerrados
Tiene estados transitorios

Ing. Manuel Sánchez Terán

 CADENAS DE MARKOV

CLASIFICACIÓN
EJERCICIOS:

Absorbente
Irreductible
1 2 Recurrente
Periódica
Ergódica
3
Tiene conjuntos cerrados
Tiene estados transitorios

Ing. Manuel Sánchez Terán

 CADENAS DE MARKOV

CLASIFICACIÓN
EJERCICIOS:

Absorbente
Irreductible
1 2 Recurrente
Periódica
Ergódica
3
Tiene conjuntos cerrados
Tiene estados transitorios

Ing. Manuel Sánchez Terán

 CADENAS DE MARKOV

CLASIFICACIÓN
EJERCICIOS:

Absorbente
Irreductible
1 2
Recurrente
Periódica
Ergódica
4 3
Tiene conjuntos cerrados
Tiene estados transitorios

Ing. Manuel Sánchez Terán

 CADENAS DE MARKOV

CLASIFICACIÓN
EJERCICIOS:

Absorbente
Irreductible
1 2
Recurrente
Periódica
Ergódica
4 3
Tiene conjuntos cerrados
Tiene estados transitorios

Ing. Manuel Sánchez Terán

 CADENAS DE MARKOV

CLASIFICACIÓN
EJERCICIOS:

Describir la cadena mostrada.

Ing. Manuel Sánchez Terán

 CADENAS DE MARKOV

CLASIFICACIÓN
EJERCICIOS:

Cadena:
• Absorbente
• No es irreductible
Estados:
• Tiene dos conjuntos cerrados (0,1,4) y (2,3)
• 2 Absorbente; si el proceso ingresa en él (tercer renglón de la matriz) nunca sale.
• 3 Transitorio; existe la posibilidad de que no regrese (si va al estado 2)
• 4 Transitorio sin retorno; cuando el proceso deja el estado nunca vuelve.
• 0 y 1 Recurrentes.
Ing. Manuel Sánchez Terán