CADENAS DE MRKOV

MIGUEL ACOSTA

TUTOR:
ING. FREDY MARTNEZ LPEZ

UNIVERSIDAD DE CRDOBA
PROGRAMA INGENIERA DE SISTEMAS
ASIGNATURA MTODOS ESTOCSTICOS
SEDE SAHAGN

NOVIEMBRE DE 2017
 INTRODUCCIN

Dentro de esta investigacin se propone abordar el tema de las cadenas de Mrkov

que hacen referencia a una herramienta para analizar el comportamiento y el
gobierno de determinados tipos de procesos estocsticos, esto es, procesos que
evolucionan de forma no determinstica a lo largo del tiempo en torno a un conjunto
de estados.

Para tales cadenas, se hace el uso de diversos trminos involucrados para un mejor
entendimiento, como son: Los estados son la caracterizacin de la situacin en que
se halla el sistema en un instante dado, matriz de transicin: Que es el arreglo
numrico donde se condensa las probabilidades de un estado a otro. Estados
absorbentes: Una cadena de Mrkov en la que uno o ms estados es un estado
absorbente, es una cadena de Mrkov absorbente.

Todos estos temas se explican ms a detalle y con mejor entendimiento dentro del
documento.
 1. CADENAS DE MRKOV

Definicin

Una cadena de Mrkov es una sucesin de ensayos similares u observaciones en

la cual cada ensayo tiene el mismo nmero finito de resultados posibles y en donde
la probabilidad de cada resultado para un ensayo dado depende slo del resultado
del ensayo inmediatamente precedente y no de cualquier resultado previo.

Las cadenas de Mrkov son unas herramientas para analizar el comportamiento y

el gobierno de determinados tipos de procesos estocsticos, esto es, procesos que
evolucionan de forma no determinsticas a lo largo del tiempo en torno a un conjunto
de estados.

Una cadena de Mrkov, por lo tanto, representa un sistema de varia su estado a lo

largo del tiempo, siendo cada cambio una transicin del sistema. Dichos cambios
no estn predeterminados, aunque si lo est la probabilidad del prximo estado en
funcin de los estados anteriores, probabilidad que es constante a lo largo del
tiempo (sistema homogneo en el tiempo). Eventualmente, en una transicin, el
nuevo estado puede ser el mismo que el anterior y es posible que exista la
posibilidad de influir en las probabilidades de transicin actuando adecuadamente
sobre el sistema (decisin).
 2. ESTADOS

Los estados son la caracterizacin de la situacin en que se halla el sistema en un

instante dado, de dicha caracterizacin puede ser tanto cuantitativa como
cualitativa.

El estado de un sistema en un instante t es una variable cuyos valores solo pueden

pertenecer al conjunto de estaos en el sistema. El sistema modelizado por la
cadena, por lo tanto, es una variable que cambia con el valor del tiempo, cambio al
que llamamos transicin.

2.1 MATRIZ DE TRANSICIN

Una matriz de transicin es el arreglo numrico donde se encuentran las

probabilidades de un estado a otro. Dicha matriz es cuadrada con tantas filas y
columnas como estados que tiene el sistema, y los elementos de matriz representan
la probabilidad de que el estado prximo sea el correspondiente a la columna si el
estado actual es el correspondiente a la fila. La matriz debe cumplir con ciertos
requisitos:

1. La suma de las probabilidades de los estados debe ser igual a 1.

2. La matriz de transicin debe ser cuadrada.
3. Las probabilidades de transicin deben estar entre 0 y 1
 3. ESTADOS ABSORBENTES Y ESTADOS TRANSITORIOS

3.1 ESTADOS ABSORBENTES

Un estado tal que si el proceso entra en l permanecer indefinidamente en este

estado (ya que las probabilidades de pasar a cualquiera de los otros son cero), se
dice estado absorbente.

De una cadena de Mrkov que consta de estados transitorios y absorbentes se dice

que es una cadena absorbente de Mrkov.

Si una cadena de Mrkov contiene algn estado absorbente, la lnea de la matriz de

transicin correspondiente a las probabilidades de transicin de dicho estado
constar de un 1 en la diagonal principal y ceros en los dems elementos. Ser por
lo tanto una matriz no regular.

Para poder estudiar las cadenas de Mrkov absorbentes es preciso reordenar la

matriz de transicin de forma que las filas correspondientes a los estados
absorbentes aparezcan en primer lugar. As ordenada se dir que la matriz de
transicin est en la forma cannica.

Donde:

I: Matriz Identidad

0: Matriz Nula

N: Matriz No Absorbente

A: Matriz Absorbente
El valor esperado se calcula como:

V. Esp=(I-N)^-1

La probabilidad de caer en los estados absorbentes se calcula como:

P=A*(I-N)^-1

Ejemplo

La empresa jurdica M&A, emplea 3 tipos de abogados: subalternos, superiores y

socios. Durante cierto ao el 10% de los subalternos ascienden a superiores y a un
10% se les pide que abandonen la empresa. Durante un ao cualquiera un 5% de
los superiores ascienden a socios y a un 13% se les pide la renuncia. Los abogados
subalternos deben ascender a superiores antes de llegar a socios. Los abogados
que no se desempean adecuadamente, jams descienden de categora.

a) Forme la matriz de transicin T

b) Determine si T es regular, absorbente o ninguna de las 2.
c) Calcule la probabilidad de que un abogado subalterno llegue a socio
d) Cunto tiempo deber permanecer en su categora un abogado
subalterno recin contratado?
e) Cunto tiempo deber permanecer en la empresa un abogado
subalterno recin contratado?
f) Calcule la probabilidad de que un abogado superior llegue a socio.
a) Se hace la matriz T y nos queda:

b) Ntese que la parte azul cielo tiene probabilidades iguales a 1, por lo tanto, esta
es la parte absorbente de la matriz. Por esta razn es una matriz absorbente.

Ahora se procede a restar la matriz normal de la identidad y se halla la inversa para

ver los tiempos entre estados, para posteriormente esta ltima ser multiplicada por
la matriz absorbente y saber las probabilidades de cambios de estado.

c) Al multiplicar la matriz inversa por la Absorbente se puede hallar dicha

probabilidad, esta es 0.14
d) Al simplemente hallar la matriz inversa se es posible hallar el tiempo en aos que
debera permanecer normalmente un abogado subalterno en su compaa, seran
5 aos.

e) Cuando piden el tiempo que debera permanecer un abogado subalterno, pero

durante la empresa sera sumar el tiempo en que se queda como subalterno con el
tiempo en que permanece como superior: esto es, 5+2.77= 7.77 aos.

f) Por ltimo la probabilidad de que pase de subalterno a socio es mostrada en la

ltima matriz, sera 0,28.

3.2 ESTADO TRANSITORIO

No regresa al estado de modo seguro, es decir, un estado b tiene dos caminos por
donde coger (a y c), si coge por el camino del estado a, no puede volver al estado
b, y, por consiguiente, tampoco puede pasar al estado c, y si coge por el camino del
estado c, no puede volver al estado b, y, por consiguiente, tampoco puede pasar al
estado a.

Ejemplo.
Supongamos una cadena con la siguiente matriz de transicin

cuyo diagrama es
El estado E1 es transitorio ya que,

As,

Luego E1 es un estado transitorio. De hecho, no se puede acceder a E1 desde E3 o

E4.
 CONCLUSIN

Para concluir podemos decir que las cadenas de Mrkov son una herramienta para
analizar el comportamiento y el gobierno de determinados tipos de procesos
estocsticos, esto es, procesos que evolucionan de forma no determinstica a lo
largo del tiempo en torno a un conjunto de estados.

Que para su elaboracin requieren del conocimiento de diversos elementos como

son el estado y la matriz de transicin.

Dichos elementos fueron descubiertos por su creador Mrkov, el cual realiz una
secuencia de experimentos conectados en cadena y la necesidad de descubrir
matemticamente los fenmenos fsicos.