UNIVERSIDAD NACIONAL DE SAN CRISTOBAL DE HUAMANGA

FACULTAD DE INGENIERIA DE MINAS, GEOLOGIA Y CIVIL

ESCUELA DE FORMACION PROFESIONAL DE INGENIERIA DE
MINAS

ANALISIS DE MARKOVS
Definiciones del análisis de Markov

CURSO : ANALISIS DE SISTEMAS MINEROS (MI-547)

PROFESOR : MsC. Ing. EDMUNDO CAMPOS ARZAPALO

E – MAIL : edmcam@Hotmail.com
 El ejemplo del Jardinero
 Todos los años, al inicio de la estación de
cultivo, un jardinero realiza pruebas químicas
para revisar la condición de la tierra.
Dependiendo del resultado de las pruebas,
puede clasificar la productividad de la tierra
para la nueva temporada como buena,
regular o deficiente.
El ejemplo del Jardinero
Con el paso de los años, el jardinero
observó que la productividad del año en
curso puede suponerse dependiente sólo
de la condición del terreno del año
anterior. Por lo tanto, puede
El ejemplo del Jardinero
representar las probabilidades de
transición en un periodo de un año de
un estado de productividad a otro en
términos de la siguiente cadena de
Markov
 Probabilidades de transición
Estado del sistema
el próximo año
1 2 3
Estado del 0.2 0.5 0.3
1
sistema
este año 0 0.5 0.5 =P
1
2

3 0 0 1
 Probabilidades de transición
1
 Las probabilidades de transición en P
indican que la probabilidad de un año en
curso puede no ser la del año anterior. por
ejemplo, si la condición del terreno para este
año es regular (estado 2), la productividad
del año
 Probabilidades de transición
 siguiente puede seguir siendo regular con
probabilidad 0.5 o volverse deficiente
con probabilidad 0.5.
 Ejemplo

Productividad Estado
( Condición del terreno) del sistema

Buena 1

Regular 2

Deficiente 3
 ¿Podría alterar la matriz de
transición?
 El jardinero puede alterar las
probabilidades de transición P tomando
otros cursos de acción que tenga a su
disposición.
 ¿Podría alterar la matriz de
transición?
 Lo más común sería fertilizar el jardín lo
cual mejoraría la condición del terreno
para el siguiente período
¿ Qué cosa son los rendimientos
asociados?
 Los rendimientos asociados a la matriz de
transición P se presentan en una matriz de
rendimientos R.
¿ Qué cosa son los rendimientos
asociados?
 La matriz de rendimiento proporciona el
rendimiento monetario a percibir si el
sistema está en determinado estado.
 ¿ Qué tipo de problema de
decisión tiene el jardinero?
 El debe saber si la actividad de cultivo
seguirá realizándose un número de años
limitado o, para todos los fines prácticos ,
en forma indefinida. Etapa Finita o
Infinita.
 ¿ Qué tipo de problema de
decisión tiene el jardinero?
 En ambos casos el jardinero deberá
determinar el mejor curso de acción que
debe seguir( fertilizar el terreno o no
hacerlo) dado el resultado de las pruebas
químicas (estado del sistema)
 Proceso de optimización
 El proceso de optimización está basado en
la maximización del ingreso esperado.
 La matriz de rendimiento es diferente para
cada matriz de transición
 Curso de acción general
 El jardinero puede decidir tomar un curso
de acción general.
 Se puede decidir fertilizar el terreno sea
cual sea el estado en el siguiente periodo
para elevar el rendimiento esperado
general.
 Matriz de transición para un
curso esperado de acción

El jardinero está interesado en evaluar el

ingreso esperado resultante de seguir un
curso de acción específico, siempre que
ocurra un estado dado del sistema.
 Política estacionaria
Debemos observar que cada política
estacionaria debe estar asociada con
matrices de transición y rendimiento
diferentes a las que se obtienen de aplicar
la política general
 Ejemplo
Rendimiento del terreno

1 0.2 0.5 0.3 1 7 6 3

P = 0 0.5 0.5 R = 0 5 1
0 0 1 0 0 -1

Fertilizando el terreno
0.3 0.6 0.1 6 5 -1
P = 0.1 0.6 0.3 R 7 4 0
2 2
=
0.05 0.4 0.55 6 3 -2

Se desea plantear las matrices que representan el caso que

sólo se fertilice en el estado 3
 Resultado del ejemplo

0.2 0.5 0.3 7 6 3

P= R= 7 4 0
0.1 0.6 0.3
6 3 -2
0.05 0.4 0.55
 Sistemas Dinámicos
• Sistema dinámico: es aquel sistema que a lo
largo del tiempo se mueve de un estado a
otro.
• Probabilidad absoluta: es la probabilidad
inicial de los diferentes estados del sistema
• Probabilidad transición: es la probabilidad que
el sistema se mueva de un estado a otro
 Sistemas Dinámicos
• La probabilidad de transición es la
probabilidad condicional de pasar de un
estado a otro.
• Probabilidad de transición es la
probabilidad de pasar de un estado i a un
estado j
 Cadenas de Markov
• Las cadenas de Markov intervienen en el
análisis de situaciones en las que el sistema
se mueve de un estado a otro.
• Las cadenas de Markov supone que los
diferentes estados del sistema son
mutuamente excluyentes.
• Las cadenas de Markov son una inmensa
ayuda para poder avizorar el comportamiento
del sistema en el largo plazo
 Situación Gráfica

1 2 3
 Probabilidad de Transición
1 2 3 4

1 P11 P12 P13 P14

P es llamada
2 P21 P22 P23 P24
P = matriz de
3 P31 P32 P33 P34 transición

4 P41 P42 P43 P44

 Probabilidad de Transición
• Una cadena de Markov describe el
comportamiento de transición de un sistema
en intervalos de tiempo igualmente
espaciados.
• La probabilidad de transición para el intervalo
de tiempo “n” (probabilidad de n-ésimo
orden) viene dada por la n-ésima potencia
de la matriz de transición
Conceptos sobre la probabilidad
• La probabilidad absoluta a (0)( a1, a2, a3.,
an) representa la probabilidad inicial de
llegar al estado “n”
• La matriz de transición representa la
probabilidad de pasar del estado i al estado
j en un período de tiempo.
• Los renglones ( filas) de la matriz de
transición deben sumar 1 y los Pij >= 0
 Clasificación de los estados en
las cadenas de Markov
• Los diferentes estados que se tratan
a continuación se presentan en el
largo plazo.
Cadena de Markov
Irreductible
Cadenas ergódicas
 Cadena de Markov Irreductible
• Una cadena es irreductible si cada estado j
se puede alcanzar desde cualquier otro
estado i después de un número finito de
transiciones.
•
Es decir: para i = j n
Pij > 0
para 1<= n< infinito
Estados Cerrados y Absorbentes
• La cadena de Markov alcanzó un estado
cerrado si el sistema en un estado C
permanecerá en él indefinidamente, si la
probabilidad Eii = 1. En este caso el
estado i se denomina estado absorbente
 Ejemplo
1 2 3 4

1 1/2 1/4 1/4 0

P= 2 0 0 1 0
3 1/3 0 1/3 1/3
4 0 0 0 1

Los cuatro estados no constituyen una cadena irreductible

ya que los estados 0,1 y 2 no se pueden alcanzar desde el
estado 3.
El estado 3 es un conjunto cerrado.
 Tiempos de primer retorno
• El tiempo de primer retorno es el
número de pasos para el cual el
sistema partiendo del estado i
regresa al mismo estado.