Cadena de Markov

En la teora de la probabilidad, se conoce como cadena de Mrkov a un tipo especial de

proceso estocstico discreto en el que la probabilidad de que ocurra un evento depende del
evento inmediatamente anterior. En efecto, las cadenas de este tipo tienen memoria.
"Recuerdan" el ltimo evento y esto condiciona las posibilidades de los eventos futuros.
Esta dependencia del evento anterior distingue a las cadenas de Mrkov de las series de
eventos independientes, como tirar una moneda al aire o un dado.
Reciben su nombre del matemtico ruso Andrei Andreevitch Markov (1856-1922), que las
introdujo en 1907.
1

Estos modelos muestran una estructura de dependencia simple, pero muy til en muchas
aplicaciones.
Contenido
[ocultar]
- 1 Definicin formal
- 2 Notacin til
o 2.1 Cadenas homogneas y no homogneas
o 2.2 Probabilidades de transicin y matriz de transicin
o 2.3 Vector de probabilidad invariante
o 2.4 Clases de comunicacin
o 2.5 Tiempos de entrada
o 2.6 Recurrencia
o 2.7 Periodicidad
- 3 Tipos de cadenas de Markov
o 3.1 Cadenas irreducibles
o 3.2 Cadenas positivo-recurrentes
o 3.3 Cadenas regulares
o 3.4 Cadenas absorbentes
o 3.5 Cadenas de Markov en tiempo continuo
- 4 Aplicaciones
o 4.1 Fsica
o 4.2 Meteorologa
o 4.3 Modelos epidemiolgicos
o 4.4 Internet
o 4.5 Simulacin
o 4.6 Juegos de azar
o 4.7 Economa y Finanzas
o 4.8 Msica
- 5 Referencias
- 6 Bibliografa
- 7 Enlaces externos
[editar] Definicin formal
En matemticas, se define como un proceso estocstico discreto que cumple con la
propiedad de Mrkov, es decir, si se conoce la historia del sistema hasta su instante actual,
su estado presente resume toda la informacin relevante para describir en probabilidad su
estado futuro.
Una cadena de Mrkov es una secuencia X
1
, X
2
, X
3
,... de variables aleatorias. El rango de
estas variables, es llamado espacio estado, el valor de X
n
es el estado del proceso en el
tiempo n. Si la distribucin de probabilidad condicional de X
n+1
en estados pasados es una
funcin de X
n
por s sola, entonces:

Donde x
i
es el estado del proceso en el instante i. La identidad mostrada es la propiedad de
Mrkov.
[editar] Notacin til
[editar] Cadenas homogneas y no homogneas
- Una cadena de Markov se dice homognea si la probabilidad de ir del estado i al
estado j en un paso no depende del tiempo en el que se encuentra la cadena, esto es:
para todo n y para cualquier
i, j.
Si para alguna pareja de estados y para algn tiempo n la propiedad antes mencionada no se
cumple diremos que la cadena de Markov es no homognea.
[editar] Probabilidades de transicin y matriz de transicin
- La probabilidad de ir del estado i al estado j en n unidades de tiempo es
,
en la probabilidad de transicin en un paso se omite el superndice de modo que queda

- Un hecho importante es que las probabilidades de transicin en n pasos satisfacen la
ecuacin de Chapman-Kolmogorov, esto es, para cualquier k tal que 0 < k < n se
cumple que

donde E denota el espacio de estados.
- Cuando la cadena de Markov es homognea, muchas de sus propiedades tiles se
pueden obtener a travs de su matriz de transicin, definida entrada a entrada como

esto es, la entrada i, j corresponde a la probabilidad de ir del estado i a j en un paso.
Del mismo modo se puede obtener la matriz de transicin en n pasos como:
, donde .
[editar] Vector de probabilidad invariante
- Se define la distribucin inicial .
- Diremos que un vector de probabilidad (finito o infinito numerable) es invariante
para una cadena de Markov si

donde P denota la matriz de transicin de la cadena de Markov. Al vector de probabilidad
invariante tambin se le llama distribucin estacionaria o distribucin de equilibrio.
[editar] Clases de comunicacin
- Para dos estados i,j en el espacio de estados E, diremos que de i se accede a j (y se
denotar ) si
para algn n,
si y entonces diremos que i comunica con j y se denotar ij.
La propiedad "" es una relacin de equivalencia. Esta relacin induce una particin en el
espacio de estados. A estas clases de equivalencia las llamaremos clases de comunicacin.
Dado un estado x, denotaremos a su clase de comunicacin como C(x).
- Diremos que un subconjunto C del espacio de estados (al que denotaremos E) es
cerrado si ningn estado de E-C puede ser accedido desde un estado de C, es decir,
si para todo xC, para todo yE-C y para todo natural m>0.
[editar] Tiempos de entrada
Si , definimos el primer tiempo de entrada a C como la variable aleatoria

esto es, denota la primera vez que la cadena entra al conjunto de estados C.
[editar] Recurrencia
En una cadena de Markov con espacio de estados E, si xE se define
y diremos que:
- x es estado recurrente si .
- x es transitorio si
- x es absorbente si
- Una clase de comunicacin es clase recurrente si todos sus estados son recurrentes.
Sea , si xEdiremos que:
- x es cero-recurrente si
- x es positivo-recurrente si
El real
x
se interpreta como el tiempo promedio de recurrencia.
[editar] Periodicidad
- El periodo de un estado xE se define como:

donde denota el mximo comn divisor.
- Si d(x)=1 diremos que x es un estado aperidico.
- Una cadena de Markov se dice aperidica si todos sus estados son aperidicos.
[editar] Tipos de cadenas de Markov
[editar] Cadenas irreducibles
Una cadena de Markov se dice irreducible si se cumple cualquiera de las siguientes
condiciones (equivalentes entre s):
1. Desde cualquier estado de E se puede acceder a cualquier otro.
2. Todos los estados se comunican entre s.
3. C(x)=E para algn xE.
4. C(x)=E para todo xE.
5. El nico conjunto cerrado es el total.
La cadena de Ehrenfest o la caminata aleatoria sin barreras absorbentes son ejemplos de
cadenas de Markov irreducibles.
[editar] Cadenas positivo-recurrentes
Una cadena de Markov se dice positivo-recurrente si todos sus estados son positivo-
recurrentes. Si la cadena es adems irreducible es posible demostrar que existe un nico
vector de probabilidad invariante y est dado por:

[editar] Cadenas regulares
Una cadena de Markov se dice regular (tambin primitiva o ergdica) si existe alguna
potencia positiva de la matriz de transicin cuyas entradas sean todas estrictamente
mayores que cero.
Cuando el espacio de estados E es finito, si P denota la matriz de transicin de la cadena se
tiene que:

donde W es una matriz con todos sus renglones iguales a un mismo vector de probabilidad
w, que resulta ser el vector de probabilidad invariante de la cadena. En el caso de cadenas
regulares, ste vector invariante es nico.
[editar] Cadenas absorbentes
Una cadena de Markov con espacio de estados finito se dice absorbente si se cumplen las
dos condiciones siguientes:
1. La cadena tiene al menos un estado absorbente.
2. De cualquier estado no absorbente se accede a algn estado absorbente.
Si denotamos como A al conjunto de todos los estados absorbentes y a su complemento
como D, tenemos los siguientes resultados:
- Su matriz de transicin siempre se puede llevar a una de la forma

donde la submatriz Q corresponde a los estados del conjunto D, I es la matriz identidad, 0
es la matriz nula y R alguna submatriz.
- , esto es, no importa en donde se encuentre la cadena,
eventualmente terminar en un estado absorbente.
[editar] Cadenas de Markov en tiempo continuo
Si en lugar de considerar una secuencia discreta X
1
, X
2
,..., X
i
,.. con i indexado en el
conjunto de nmeros naturales, se consideran las variables aleatorias X
t
con t que vara en
un intervalo continuo del conjunto de nmeros reales, tendremos una cadena en tiempo
continuo. Para este tipo de cadenas en tiempo continuo la propiedad de Mrkov se expresa
de la siguiente manera:
tal que
[editar] Aplicaciones
[editar] Fsica
Las cadenas de Markov son usadas en muchos problemas de la termodinmica y la fsica
estadstica. Ejemplos importantes se pueden encontrar en la Cadena de Ehrenfest o el
modelo de difusin de Laplace.
[editar] Meteorologa
Si consideramos el clima de una regin a travs de distintos das, es claro que el estado
actual solo depende del ltimo estado y no de toda la historia en s, de modo que se pueden
usar cadenas de Markov para formular modelos climatolgicos bsicos.
[editar] Modelos epidemiolgicos
Una importante aplicacin de las cadenas de Markov se encuentra en el proceso Galton-
Watson. ste es un proceso de ramificacin que se puede usar, entre otras cosas, para
modelar el desarrollo de una epidemia (vase modelaje matemtico de epidemias).
[editar] Internet
El pagerank de una pgina web (usado por Google en sus motores de bsqueda) se define a
travs de una cadena de Markov, donde la posicin que tendr una pgina en el buscador
ser determinada por su peso en la distribucin estacionaria de la cadena.
[editar] Simulacin
Las cadenas de Markov son utilizadas para proveer una solucin analtica a ciertos
problemas de simulacin tales como el Modelo M/M/1.
[editar] Juegos de azar
Son muchos los juegos de azar que se pueden modelar a travs de una cadena de Markov.
El modelo de la ruina del jugador, que establece la probabilidad de que una persona que
apuesta en un juego de azar finalmente termine sin dinero, es una de las aplicaciones de las
cadenas de Markov en este rubro.
[editar] Economa y Finanzas
Las cadenas de Markov se pueden utilizar en modelos simples de valuacin de opciones
para determinar cundo existe oportunidad de arbitraje, as como en el modelo de colapsos
de una bolsa de valores o para determinar la volatilidad de precios. En los negocios, las
cadenas de Mrkov se han utilizado para analizar los patrones de compra de los deudores
morosos, para planear las necesidades de personal y para analizar el reemplazo de equipo.
[editar] Msica
Diversos algoritmos de composicin musical usan cadenas de Markov, por ejemplo el
software Csound o Max
[editar] Referencias
1. Basharin, Gely P.; Langville, Amy N.; Naumov, Valeriy A. (2004). The Life and
Work of A. A. Markov (en ingls). Linear Algebra and its Applications
386: pp. 3-26. Consultado el 31 de marzo de 2010.
[editar] Bibliografa
- A.A. Markov. "Rasprostranenie zakona bol'shih chisel na velichiny, zavisyaschie
drug ot druga". Izvestiya Fiziko-matematicheskogo obschestva pri Kazanskom
universitete, 2-ya seriya, tom 15, pp. 135156, 1906.
- A.A. Markov. "Extension of the limit theorems of probability theory to a sum of
variables connected in a chain". reprinted in Appendix B of: R. Howard. Dynamic
Probabilistic Systems, volume 1: Markov Chains. John Wiley and Sons, 1971.
- Classical Text in Translation: A. A. Markov, An Example of Statistical
Investigation of the Text Eugene Onegin Concerning the Connection of Samples in
Chains, trans. David Link. Science in Context 19.4 (2006): 591600. Online:
http://journals.cambridge.org/production/action/cjoGetFulltext?fulltextid=637500
- Leo Breiman. Probability. Original edition published by Addison-Wesley, 1968;
reprinted by Society for Industrial and Applied Mathematics, 1992. ISBN 0-89871-
296-3. (See Chapter 7.)
- J.L. Doob. Stochastic Processes. New York: John Wiley and Sons, 1953. ISBN 0-
471-52369-0.
- S. P. Meyn and R. L. Tweedie. Markov Chains and Stochastic Stability. London:
Springer-Verlag, 1993. ISBN 0-387-19832-6. online:
https://netfiles.uiuc.edu/meyn/www/spm_files/book.html . Second edition to appear,
Cambridge University Press, 2009.
- S. P. Meyn. Control Techniques for Complex Networks. Cambridge University
Press, 2007. ISBN 978-0-521-88441-9. Appendix contains abridged Meyn &
Tweedie. online: https://netfiles.uiuc.edu/meyn/www/spm_files/CTCN/CTCN.html
- Booth, Taylor L. (1967). Sequential Machines and Automata Theory (1st edicin).
New York: John Wiley and Sons, Inc.. Library of Congress Card Catalog Number 67-25924.
Extensive, wide-ranging book meant for specialists, written for both theoretical
computer scientists as well as electrical engineers. With detailed explanations of
state minimization techniques, FSMs, Turing machines, Markov processes, and
undecidability. Excellent treatment of Markov processes pp. 449ff. Discusses Z-
transforms, D transforms in their context.
- Kemeny, John G.; Hazleton Mirkil, J. Laurie Snell, Gerald L. Thompson (1959).
Finite Mathematical Structures (1st edicin). Englewood Cliffs, N.J.: Prentice-Hall,
Inc.. Library of Congress Card Catalog Number 59-12841. Classical text. cf Chapter 6 Finite
Markov Chains pp. 384ff.
- E. Nummelin. "General irreducible Markov chains and non-negative operators".
Cambridge University Press, 1984, 2004. ISBN 0-521-60494-X
[editar] Enlaces externo







Cadenas Markov




ndice
1. Introduccin
2. Cadenas de Markov
3. Ecuaciones de Chapman-Kolmogorov
4. Clasificacin de los estados en una cadena de Markov
5. Tiempos de primera pasada
6. Estados Absorbentes
7. Cadenas de Markov en tiempo continuo
8. Algunas v. a. importantes
9. Probabilidades de estado estable
10. Ejemplos explicativos


Introduccin

Las cadenas de Markov se incluyen dentro de los denominados procesos
estocsticos. Dichos estudian el comportamiento de variables aleatorias a lo largo del
tiempo X(t,w). Se definen como una coleccin de variables aleatorias {X(t,w), t e I},
donde X (t,w) puede representar por ejemplo los niveles de inventario al final de la semana
t. El inters de los procesos estocsticos es describir el comportamiento de un sistema e
operacin durante algunos periodos.
Los procesos estocsticos se pueden clasificar atendiendo a dos
aspectos: si el espacio de estados posibles de la variable aleatoria contiene
valores discretos o continuos y de si los valores del tiempo son discretos o
continuos.
Las cadenas de Markov es un proceso estocstico en el que los valores
del tiempo son discretos y los estados posibles de la variable aleatoria
contiene valores discretos, es decir, es una cadena estocstica de tiempo
discreto.
Las cadenas de Markov, se clasifican, adems, dentro de los procesos estocsticos
de Markov, que son aquellos en el que el estado futuro de un proceso es independiente de
los estados pasados y solamente depende del estado presente. Por lo tanto las
probabilidades de transicin entre los estados para los tiempos k-1 y k solamente depende
de los estados que la variable adquiere dichos tiempos.
INDICE

Cadenas de Markov

Las cadenas de Markov estn constituidas por un conjunto de valores {Xn , n
:0,1,2...} que cumplen la probabilidad de alcanzar cualquier estado j de la variable depende
exclusivamente del estado i alcanzado en el instante de tiempo anterior.
P[Xn+1= j / Xn = i, Xn-1 = i1,..., X0=in]=P[Xn+1=j / Xn=i] V i,j
Se define para cada par de estados (i, j) que se alcanzan en dos pasos consecutivos
de n y n+1 una probabilidad condicional denominada probabilidad de transicin pij.
P[X+1=j / Xn=i] = pij
Las probabilidades de transicin de un paso son estacionarias, es decir, que no
cambian con el tiempo.
Si pij no depende del instante n se dice que la cadena de Markov es homognea. Las
probabilidades de transicin estructuradas en forma matricial da lugar a lo que se denomina
matriz de transicin. Dicha matriz relaciona los estados de la variable en dos pasos
consecutivos y n+1 a travs de sus probabilidades de transicin.

Periodo n+1

Estado 1 ... Estado M
Periodo n
Estado 1 p11 p1* p1M
.... P * 1 p** p*M
Estado M pM 1 pM* pMM


Una probabilidad de transicin pij ^(n) de n pasos
entre los estados i y j indica la probabilidad de que partiendo del estado i en pasos se llegue
al estado j.

INDICE



Ecuaciones de Chapman-Kolmogorov

Estas ecuaciones proporcionan un mtodo para determinar las probabilidades de que
un proceso del estado i notada por pij ^(n).
pij ^(n) = k=0..K pik ^(m) pkj ^(-m) ; V i,j,n; 0<ms n

Cada sumando representa la probabilidad de que partiendo del estado i se llegue al
estado k transcurridos m perodos y posteriormente desde el estado k se llegue al estado j en
n-m perodos.
INDICE



Clasificacin de los estados en una cadena de Markov

Las probabilidades de transicin asociadas a los estados juegan un papel importante
en el estudio de las cadenas de Markov. Para describir con mas detalles las propiedades de
una cadena de Markov es necesario presentar algunos conceptos y definiciones que se
refieren a estos estados.
U estado j es accesible desde el estado i si para algn n se tiene que pij ^(n) >0.
Una cadena de Markov se puede dividir en clases. Una clase est formada por todos
los estados que son accesibles entre s .
Considerando las probabilidades fii de que el proceso regrese al estado i comenzando en el
estado i se puede clasificar los estados en recurrente s fii =, transitorio s fii <1y absorbente
s pii =1.
En una cadena de Markov finita e irreducible todos los estados de dicha cadena so
recurrentes.
El perodo de u estado i es el nmero T de perodos para el cual se cumple que pij ^(n) =0,
siendo los valores distintos de T, 2T, 3T,.. y T es el valor ms elevado que cumple esa
propiedad.
Un estado es apriodico si la variable aleatoria puede encontrarse en el mismo estado en
dos perodos consecutivos.
Un estado i es recurrente positivo si comenzando en el estado i el tiempo esperado para que
el proceso regrese al estado i es finito.

Un estado se denomina esgrico si es recurrente positivo y adems aperidico. Una cadena
es ergrica si todos sus estados son esgricos.
INDICE


Tiempos de primera pasada.

Es importante el n de transiciones de que hace el proceso al ir del estado i al j por
primera vez; a esto se llama tiempo de 1 pasada. Tiempo de recurrencia ser una
particularizacin de lo anterior para i=j (n de transiciones hasta volver al estado inicial i).
En general los tiempos de 1 pasada son variables aleatorias, donde las
distribuciones de probabilidad dependen de las probabilidades de transicin del proceso.
stas probabilidades satisfacen lo siguiente:

f
ij
(1)
=p
ij
(1)
=p
ij

f
ij
(1)
= p
ik
f
kj
(1)

k=j
f
ij
(n)
= p
ik
f
kj
(n-1)

k=j


La ltima suma puede resultar menor que 1, lo que significa que un proceso que
comienza en i, puede nunca alcanzar el estado j. Es sencillo calcular el tiempo de primera
pasada de i a j; siendo
ij
esta esperanza:

si f
ij
(n)
<1

ij
= n=1

n f
ij
(n)
=1 si f
ij
(n)
=1
n=1 n=1

ij
satisface de manera nica, la ecuacin:
ij
=1+ p
ik

kj

k=j
que reconoce que la 1 transicin puede ser al estado j o a algn otro estado k.
Para el caso de
ii
(con j=i)es el n esperado de transiciones para que el proceso regrese al
estado i(tiempo esperado de recurrencia).stos se calculan de inmediato de la forma:
1

ii
=----- siendo t
i
las probabilidades de estado estable.
t
i



INDICE




Estados Absorbentes.

Un estado se llama absorbente si p
ik
=1, es decir, si una vez que el
estado llega a k, permanece ah para siempre. Si k es un estado absorbente y
el proceso comienza en i, la probabilidad de llegar a k se llama probabilidad
de absorcin de k (f
ik
). Si se tienen 2 o ms estados absorbentes, el proceso
ser absorbido por uno de stos. Para saber cual, hay que resolver el sistema
de ecuaciones:


M
f
ik
= p
ij
f
jk
para i=0,1,,M
j=0


Esto es importante en las caminatas aleatorias: cadenas de Markov en las que si el
sistema se encuentra en el estado i, entonces, en una sola transicin, o permanece en i, o se
mueve a uno de los 2 estados inmediatamente adyacentes a i.
INDICE

Cadenas de Markov en tiempo continuo

Se etiquetan los estados posibles del sistema 0,1,,M. Se comienza en 0, y t>0. Sea
la v.a.X(t) el estado del sistema en t. Tomar un valor en 0st<t
1
, despus tomar otro
valor en t
1
st<t
2
,
Es interesante conocer el estado del proceso en t=s+t(t unidades en el futuro). Ser
sencillo conocerlo si el proceso tiene la propiedad markoviana:
P{X(s+t)=j/X(s)=i y X(r)=x(r)}= P{X(s+t)=j/X(s)=i} i,j y r>0, s>r y t>0.

P{X(s+t)=j/X(s)=i} es una probabilidad de transicin. Si es independiente de s, se llamar
probabilidad de transicin estacionaria.
Un proceso estocstico de tiempo continuo {X(t); t>0} es una cadena de Markov de
tiempo continuo si tiene la propiedad markoviana.
INDICE

Algunas v. a. importantes:

*La distribucin de probabilidad del tiempo que falta para que el proceso haga una
transicin fuera de un estado dado es siempre la misma(independientemente del tiempo que
el proceso haya pasado en ese estado), es decir:no tiene memoria. La nica distribucin en
TC que cumple esto es la distribucin exponencial:
P{T
i
st}=1-e
-qt
para t>0 (parmetro q, media 1/q).

Por tanto, describiremos la cadena de Markov:
-La v.a. T
i
tiene una distribucin exponencial con media 1/q.
-Al salir de un estado i, se pasa a otro j, con probabilidad p
ij
que cumple que p
ij
=0
para toda i, y la suma de todas las p
ij
es 1.
-El siguiente estado que se visita tras i, es independiente del tiempo transcurrido
en i.
Las intensidades de transicin(probabilidades de transicin, pero en TC) :
d 1 p
ii
(t)
q
i
= p
ii
(0)=lim , para i=0,1,2,,M,
dt t0 t

y
d 1 p
ij
(t)
q
i
= p
ij
(0)=lim = q
i
p
ij
, para toda j=i
dt t0 t


donde p
ij
es la funcin de probabilidad de transicin de TC, q
i
y q
ij
son las tasas de
transicin(q
i
= q
ij
).
i=j


INDICE

Probabilidades de estado estable:

La funcin de probabilidad de transicin de TC satisface las ecuaciones de
Chapman-Kolmogorov, luego para cualequiera estados i,j y nmeros t y s(0ss<t):


M
p
ij
= p
ik
(s)p
kj
(t-s) para i=0,1,,M
k=1

Se dice que un par de estados i,j se comunican si existen tiempos t
1
, t
2
tales que
p
ij
(t
1
)>0 y p
ij
(t
2
)>0. Todos los estados que se comunican forman una clase. Si todos los
estados en una cadena forman una clase, entonces la cadena ser irreducible, por lo que:
p
ij
(t)>0, para todo t>0 y todos los estados i,j , y ms an:
lim p
ij
(t)=t
j
llamadas probabilidades de estado estable(o estacionarias).
t

Las probabilidades estacionarias satisfacen: M
t
j
q
j
= t
i
q
ij
para j=0,1,,M y t
j
=0
i=j j=0

(stas ecuaciones se suelen llamar de balance).

INDICE







Concepto
Un estado ? i ? s absorbente, la probabilidad de permanecer en ese estado es igual a 1. Es
decir, cuando el sistema cae en el estado ? i ? no vuelve a salir de l. Es un caso especial de
conjunto cerrado en que el conjunto contiene slo el estado ? i ?.
Ejercicio
La empresa jurdica Harold Vega se clasifican a los empleados en subalternos, superiores y
socios; el 10% de los subalternos ascienden a superiores y a un 10% se les pide que
abandone la empresa, durante un ao cualquiera 5% asciende a socio y a 13% se les pide
que renuncie. Los abogados subalternos deben ascender a superiores para llegar a ser
socios, los abogados que no se desempean un buen nivel no descienden de nivel.
a) a) Forme la matriz de transicin con esos datos
b) b) Determine si la matriz de transicin es regular, absorbente o ninguna de las dos.
c) c) Cul es la probabilidad de que un abogado subalterno llegue a ser socio
d) d) Cunto tiempo debera esperar permanecer en su categora un abogado subalterno recin
contratado.
e) e) Cunto tiempo debera esperar permanecer en la empresa un abogado subalterno recin
contratado.
f) f) Cul es la probabilidad de que un superior se convierta en socio

Solucin
a) a)


b) La matriz es absorbente ya que en los estados de Socio y Despedido son absorbentes.
Para responder a las preguntas c) a f) se necesitan llevar a cabo una serie de clculos. En
matrices absorbentes, para determinar los tiempos medios en los cuales se permanecer en
un estado determinado se le debe restar una matriz identidad de mismo tamao, la matriz
que contiene a los estados no absorbentes (representado con el color ms claro) y luego se
debe la matriz inversa de la matriz resultante de la resta.


Para hallar probabilidades de permanencia en un determinado estado se debe multiplicar la
matriz (inversa de la resta de una matriz identidad menos la matriz de estados no
absorbentes) por la matriz de estados absorbentes (representado por el tono de rojo medio)


a) c) La probabilidad es 0,14
b) d) 5 aos
c) e) 5+2,78 =7,78 aos
d) f) La probabilidad es 0,28

b)

Fuente: Investigacin de Operaciones, Hamdy A. Taha, 2004























Cadenas de Markov
Serie de eventos en el cuales la probabilidad de que ocurriria algo entre ellos depende del
evento inmediato anterior se representan por diagramas de estado o por una matriz
transaccin Aplicaciones: anlisis de compra, de compradores, pronostico de concesin a
deudores morosos planeacin de personales de necesidad.
Ejemplo
Existe un 75% de posibilidades de que el da siguiente funcione y un 25% de que no
funcione , pero si no esta funcionando hay un 75% de posibilidades de que tampoco
funcione al da siguiente y solo un 25% de que si lo haga para comenzar el anlisis se debe
de conocer el estado actual supngase que esta comenzando y que hay un 75% de
posibilidades de que este funcionando y un 25% de que no este funcionando ,Cual es la
probabilidad de estar funcionando el primero y segundo da.
Inicio
P (f)= .75
P (nf) =.25

Ejercicio
Hace mucho tiempo en una galaxia lejana existi un clima que dependa solo del clima del
da anterior. por ejemplo la probabilidad de que lloviera hoy dependera solo de lo sucedido
ayer , existen solo 3 tipos de clima despejado, lluvia y nieven enseguida se presenta la
matriz de transicin diaria para estos tipos de clima.
1. Calcule las probabilidades de estado para pasado maana siendo que llovi hoy.
2. Calcule las probabilidades de estado para pasado maana si hay un 30% de probabilidades
de que hoy este despejado y un 50% de que haya lluvia.
Procedimiento para calcular la proporcin de estados no absorbentes que
terminaron en estados absorbentesMen
1. Eliminar los renglones correspondientes, a los estados absorbentes originales.
2. Dividir la matriz restante en estados absorbentes y no absorbentes, denominar "g "a la
parte de la matriz bajo estados absorbentes y "h" a la parte de la matriz bajo estados no
absorbentes.
3. Calcular la matriz fundamental "Q" que es igual a Q =(I-H)-1 , donde I es igual a la matriz
original y el exponente -1 , se refiere al inverso de la matriz.
4. Calcular la matriz de posiciones R =QG.
Ejemplo
Una empresa de abogados emplea 3 categoras de empleados: principiantes, con
experiencia y socios como se muestra en la matriz de transicin.
1. Determine la probabilidad de que un abogado principiante, recin contratado deje la
empresa antes de ser socio.
2. Cual es la probabilidad de que un abogado principiante salga siendo socio.


Conclusin:
- 50% de los principiantes sale siendo socio.
- 50% da los principiantes sale sin ser socio.
De los abogados con experiencia:
- 33% sale sin ser socio.
- 66% sale siendo socio.
De los socios:
- 100% sale siendo socio
Ejercicios Cadenas de MarkovMen
El controlador de la Ace Widgets analizo las cuentas por cobrar de la compaa y desarrollo
la siguiente matriz de transicin:
De(mes 1)

Las cuentas A tienen de 0 a 30 das y actualmente dan un total de $100 000 .Las cuentas B
tienen de 31 a 90 das y dan un total de $50 000 en este momento. Que concesin debe dar
el controlador para cuentas morosas?
El departamento de comercializacion de la marca X hizo una investigacin y encontro que ,
si un cliente compra su marca , existe un 70% de posibilidades de que la compre de nuevo
la proxima vez. Por otro lado, si la utima compra fue de otra marca , entonces se escoge la
marca la marca x solo el 20% del iempo.Cual es el porcentaje de mercado que puede
pronosticarse a la larga para la marca X?
La alpha corp ,. Al considerer sus estrategias de mercado , observa que sus propios clientes
son bastante leales: 85% compran de nuevo su producto .Sin embargo , solo 10% de los
clientes de la competencia se aventuran a tratar con Alpha .el departamento de publicidad
piensa que la lealtad de los clientes puede elevarse al 90% con una campaa especial
dirigida a los clientes de la firma .De otra manera podr estructurarse los anuncios para
comparar Alpha con sus competidores .Con esto puede esperarse elevar el cambio de marca
de 10% al 20% .En cualquier caso la compaa de publicidad costaria $100 000y
redundaria una contribucin de $6 000 por cada punto ganado en el porcentaje del mercado.
1. Antes de cualquier camopaa publicitaria Cul el porcentaje de mercado a favor de Alpha
Corporation?
2. Cul es la estrategia de publicidad que daria el mayor aumento en el pocentaje de
mercado?
3. Es provechosa la mejor campaa de publicidad?
Un gerente de credito estima que el 95% de aquellos que pagan sus cuentas a tiempo de un
mes tambien lo haran el siguiente mes.sin embargo, de aquellos que se tardan solo la midad
pagaran a tiempo la proxima vez.
1. si una persona paga a tiempo ,Cul es el la probabilidad de que pagara a tiempo durante
seis meses desde ahora?
2. En promedio Cul es la proporcion de cuentas pagadas a tiempo y que proporcion se
pagan tarde?
Se esta considerando comprar dos copiadoras de oficina . son similares en todos los
aspectos excepto en el control de claro-oscuro que opera en forma automatica .en la
maquina A existe una posibilidad del 95% de que el control permanezca ajustado todo el
dia, si esta ajustado en la maana.Pero si no esta ajustado , hay un 10% de posibilidades de
que permanezca asi.Para la maquina B , las cantidades equivalentes de que permanezca asi
.Para la maquina B, la cantidades equivalentes son 90% y el 5%, respectivamente. Si el
costo es el mismo Qu maquina debe comprarse?
Fin de los apuntes correspondientes a la 4ta Unidad: Cadenas de Markov. Ir Arriba


ltima Actualizacin: Martes 13 de Septiembre 2005 | Navegadores Recomendados: Opera y
Mozilla Firefox

Comentarios y Sugerencias: Maestra Sylvia De Reza De La Cruz | Webmaster | Arriba