Apunte Markov PDF

n Operativa
@ 71.07 Investigacio
> Cadenas de Markov

Horacio Rojo y Miguel Miranda
c
2009
Facultad de Ingeniera,
Universidad de Buenos Aires
Digitalizado por Virginia Guala
$September 12, 2009
Cadenas de Markov 1
Indice
1 PROCESOS ESTOCASTICOS
1.1 Denicion de Proceso Estocastico . . . . . . . . . . . . . . . . . . . . . . . . . .
1.2 Clasicacion de los Procesos Estocasticos . . . . . . . . . . . . . . . . . . . . . .
3
3
3
2 CADENAS DE MARKOV HOMOGENEAS
DE PARAMETRO
DISCRETO
2.1 Estudio de las probabilidades en las cadenas de markov homogeneas . . . . . . .
2.2 Clasicacion de las cadenas de Markov Homogeneas en ergodicas y no ergodicas
2.3 Estudio del Comportamiento de las Cadenas Ergodicas en el Regimen Permanente
2.4 Estudio del comportamiento de las cadenas no ergodicas . . . . . . . . . . . . .
10
10
21
27
34
3 CADENAS DE MARKOV HOMOGENEAS
DE PARAMETRO CONTINUO
43
3.1 Estudio de las probabilidades en las cadenas de Markov homogeneas . . . . . . . 43
3.2 Estudio del comportamiento de las cadenas regulares en el reg. permanente . . . 49
DE CADENAS DE MARKOV
4 APLICACION
A SISTEMAS DE ATENCION
4.1 Denicion del problema . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.2 Modelizacion mediante una cadena de Markov tipo nacimiento y muerte . . . . .
4.3 Modelo general de canales en paralelo de igual velocidad . . . . . . . . . . . . .
4.4 Modelo de dos canales en paralelo de distinta velocidad y cola innita . . . . . .
4.5 Modelo de dos canales en paralelo de distinta velocidad y cola nita de una sola
posicion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.6 Modelo de dos canales en serie de distinta velocidad, sin cola intermedia . . . . .
5 APLICACIONES
5.1 Aplicacion comercial (Brand switching) . . . . . . . . . . . . .
5.2 Planeamiento de Personal . . . . . . . . . . . . . . . . . . . . .
5.3 Gestion de inventarios . . . . . . . . . . . . . . . . . . . . . . .
5.4 Planeamiento de produccion . . . . . . . . . . . . . . . . . . . .
5.5 Analisis de fallas . . . . . . . . . . . . . . . . . . . . . . . . . .
5.6 Analisis de cuentas . . . . . . . . . . . . . . . . . . . . . . . . .
5.7 Estudio de conabilidad en un sistema de lneas de transmision
BIBLIOGRAFIA
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
54
54
56
58
69
72
73
78
78
82
86
89
93
95
97
102
Cadenas de Markov 2
PROLOGO
Las cadenas de Markov comprenden un captulo particularmente importante de
ciertos fenomenos aleatorios que afectan a sistemas de naturaleza dinamica y
que se denominan procesos estocasticos. Deben su nombre a Andrei Andreivich
Markov, matematico ruso que postulo el principio de que existen ciertos procesos cuyo estado futuro solo depende de su estado presente y es independiente
de sus estados pasados. Dichos procesos, denominados proceso de Markov, as
como un subconjunto de ellos llamados cadenas de Markov, constituyen una
herramienta matematica muy general y poderosa para el analisis y tratamiento
de un sinn
umero de problemas de caracterstica aleatoria en campos de muy
diversa ndole, como ser la fsica, la Ingeniera y La Economa por citar solo
unos pocos.
En el captulo 1 se describen los procesos estocasticos y dentro de los mismos
se encuadran a los procesos y cadenas de Markov. En el captulo 2 se analizan en detalle a las cadenas de Markov de parametro discreto, deniendose las
probabilidades de transicion y de estado y las ecuaciones generales que rigen el
comportamiento de esas cadenas, las que luego se aplican al estudio de las principales cadenas ergodicas y no ergodicas. En el captulo 3 se sigue un esquema
similar aplicado a las cadenas de Markov de parametro continuo, que son luego
utilizadas en el captulo 4 para la modelizacion de los sistemas de atencion. Por
u
ltimo en el captulo 5 se indican otras aplicaciones de las cadenas de Markov.
Queremos dejar constancia de nuestro profundo agradecimiento a los ingenieros
Eduardo Dieguez y Fernando Salvador por la exhaustiva tarea de revision efectuada y por los invalorables consejos y sugerencias que nos han formulado en
la elaboracion del texto.
Los Autores
Cadenas de Markov 3
1
1.1
PROCESOS ESTOCASTICOS
Denici
on de Proceso Estoc
astico
Un proceso estocastico es un modelo matematico que describe el comportamiento

de un sistema dinamico, sometido a un fenomeno de naturaleza aleatoria.
La presencia de un fenomeno aleatorio hace que el sistema evolucione seg
un
un parametro, que normalmente es el tiempo t cambiando probabilsticamente
de estado. En otras palabras: al realizar una serie de observaciones del proceso, en diferentes ocasiones y bajo identicas condiciones, los resultados de las
observaciones seran, en general, diferentes. Por esa razon para describir el
comportamiento del sistema es necesario denir una variable aleatoria: X(t)
que represente una caracterstica mesurable de los distintos estados que puede
tomar el sistema seg
un sea el resultado del fenomeno aleatorio, y su correspondiente probabilidad de estado asociada: ().
Luego el proceso estocastico queda denido por el conjunto:
(), (),
Ejemplo 1.a
En un sistema de generacion de energa electrica,
el pronostico de la potencia electrica horaria
requerida para un da es un proceso estocastico,
en el cual son:
t= 0, 1, 2 ...... 24: horas del da.
X(t)= pronostico de la potencia electrica requerida.
px(t)= probabilidad de estado asociada.
1.2
Clasicaci
on de los Procesos Estoc
asticos
Para su estudio los procesos estocasticos pueden clasicarse de diversas maneras, como se indica a continuacion.
1.2.1) Clasicacion de los procesos estocasticos seg
un la memoria de la historia
de estados
Cadenas de Markov 4
Esta clasicacion tiene relacion con la memoria que guarda el proceso de

la historia de los estados anteriores. Para efectuar este analisis se dene la
probabilidad condicional o de transicion entre estados mediante la siguiente expresion:
{( + ) = + /() = , ( 1 ) = 1 , ( 2 ) =
2 , ( 3 ) = 3 , . . . . . .}
(1.2)
Siendo:
+ : un estado particular en el instante +
: un estado particular en el instante t
1 : un estado particular en el instante 1
En funcion de lo anterior se denen los siguientes procesos:

a) Procesos aleatorios puros.
Son procesos en los que se cumple que:
{( + ) = + /() = , ( 1 ) = 1 , ( 2 ) =
2 , . . .} = {( + ) = + }
(1.3)
Es decir que la probabilidad de que el sistema se encuentre en un
estado cualquiera + en el instante + se puede calcular independientemente de cuales hayan sido los estados anteriores , 1 ,
Cadenas de Markov 5
2 ,. . ., es un proceso sin memoria de la historia de estados anteriores.

Ejemplos de dicho proceso se encuentran en todos los ensayos independientes al azar.
b) Proceso sin memoria tipo Markov.
Son procesos en los que se cumple que:
{( + ) = + /() = , ( 1 ) = 1 , ( 2 ) =
2 , . . .} = {( + ) = + /() = }
(1.4)
Es decir que la probabilidad de que el sistema se encuentre en un
estado cualquiera + en el instante + se puede calcular si se
conoce cual ha sido el estado inmediatamente anterior , independientemente de cuales hayan sido los restantes estados anteriores: 1 ,
2 , . . .: es un proceso sin memoria de toda la historia de estados
anteriores, excepto del inmediatamente anterior , resumiendose en
este toda la informacion necesaria para calcular la probabilidad del
estado + . Tambien se lo suele caracterizar como un proceso en
el cual dado el presente ( ), el futuro (+ ) es independiente del
pasado (1 , 2 , . . .).
Ejemplo de dicho proceso se encuentran en el funcionamiento de una
red de transmision de energa electrica en la cual el estado del sistema
esta dado por el n
umero de lneas fuera de servicio en un instante
dado. Otro ejemplo lo constituye un canal de telecomunicaciones, en
el cual el estado del sistema es la salida digital del canal. En ambos
casos los estados futuros dependen del estado actual y no de como ha
evolucionado para llegar a dicho estado.
c) Procesos con memoria.
Son todos los restantes procesos estocasticos cuyas probabilidades condicionales de transicion no cumplen con (1.3) ni (1.4).
Cadenas de Markov 6
Ejemplo 1.b
El siguiente es un proceso con tres variantes que permiten ejemplicar
cada uno de los tres tipos de procesos mencionados. Dado un bolillero
con tres bolillas: 1, 2 y 3, se denen las siguientes experiencias de
pruebas repetidas:
a) Se extraen bolillas con reposicion y los resultados aleatorios 1, 2
o 3 denen los estados X(t) del siguiente proceso:
si, si la bolilla es 1 o 2
() =
= 1, 2, 3, . . .
no, si la bolilla es 3
1/3

89:;
?>=<
este es un proceso aleatorio puro de ensayos indeno^
pendientes, pues la probabilidad de presentacion de
2/3
1/3
los estados si y no en t valen 2/3 y 1/3 respec
0123
7654
siS
tivamente, independientemente de cual haya sido el
2/3
estado anterior.
Lo dicho se ilustra el siguiente grafo de transiciones sucesivas
entre estados, en el cual los nodos representan los estados del proceso, los arcos las transiciones sucesivas posibles entre estados y los
atributos de los arcos las probabilidades condicionales de transicion
entre dos estados sucesivos.
b) Se estraen bolillas con o sin reposicion seg
un sea 1 o 2, y 3 respectivamente, deniendose los estados X(t) del siguiente proceso:
{
}
si,
si la bolilla es 1 o 2, (y se reponen todas)
() =
= 1, 2, 3, . . .
no, si la bolilla es 3, (y no se reponen)
este es un proceso tipo Markov pues conocido un estado X(t) en t se pueden calcular las
probabilidades de los estados X(t+1) en t+1,
tal como se indica en el grafo de transiciones.

89:;
?>=<
no^
7654
0123
siS
2/3
1

1/3
Cadenas de Markov 7
c) se extraen bolillas con o sin reposicion seg

un sean 1, y 2 o 3 respectivamente, deniendose los estados X(t) del siguiente proceso:
{
}
si,
si la bolilla es 1, (y se reponen todas)
() =
= 1, 2, 3, . . .
no, si la bolilla es 2 o 3, (y no se reponen)
este es un proceso con memoria pues la probabilidad del estado X(t+l)= si, requiere el
conocimiento de los estados X(t) y X(t-1), tal
como se indica en el grafo de transiciones; y lo
propio para el estado X(t+l)= no.
1/2 (si X(t-1)=si)

0 (si X(t-1)=no)
1/2 (si X(t-1)=si)

1 (si X(t-1)=no)

89:;
?>=<
no^

0123
7654
siS
2/3
1/3
1.2.2) Clasicacion de los procesos de Markov seg

un la naturaleza discreta o continua de las variables.
Referida especcamente a los procesos de, Markov, esta clasicacion guarda
relacion con la naturaleza discreta o continua del espacio de estados de la
variable X(t) y del parametro tiempo t.
(a) Naturaleza del espacio de estados.
Cuando X(t) representa una magnitud continua (tension o corriente
electrica, fuerza, energa, potencia, presion, etc), el espacio de estados
de X(t) debera ser un intervalo de n
umeros reales, y se hablara entonces de un proceso de Markov con estados continuos o brevemente
proceso de Markov. En cambio cuando X(t) representa una magnitud discreta (cantidad de artculos en stock en un almacen, n
umero
de lneas en servicio en un sistema de transmision de energa electrica,
cantidad de clientes en un sistema de atencion y espera, etc.) el espacio de estados de X(t) sera una secuencia nita o numericamente
innita de enteros, y se hablara entonces de un proceso de Markov
con estados discretos, o cadena de Markov.
Cadenas de Markov 8
(b) Naturaleza del parametro tiempo.

Dada la naturaleza dinamica del sistema cuyo comportamiento describe, la denicion de la variable aleatoria X(t) requiere la especicacion del parametro t, es decir del conjunto de instantes en que se
puede observar los estados del sistema. As si las observaciones se realizan en cualquier instante del continuo ( 0), se habla de un proceso
o cadena de Markov de parametro continuo, mientras que en otras
ocasiones las observaciones se efect
uan en determinados instantes de
tiempo (p. ej. de hora en hora, = 0, 1, 2, . . .) y en este caso se habla
de un proceso o cadena de Markov de parametro discreto.
Lo anterior se resume en el siguiente cuadro:
Naturaleza
del
parametro
tiempo t
Naturaleza del espacio de estados X(t)

Discreto
Continuo
Discreto
Cadenas de Markov de Procesos de Markov de
( = 0, 1, . . .)
parametro discreto
parametro discreto
Continuo
Cadenas de Markov de Procesos de Markov de
( 0)
parametro continuo
parametro continuo
1.2.3) Clasicacion de las Cadenas de Markov seg

un su homogeneidad en el
Cadenas de Markov 9
tiempo
Con referencia especcamente a las cadenas de Markov, de parametro
discreto o continuo, los distintos estados de la variable X(t) se suelen representar genericamente con letras: i, j, k, etc. En particular los valores
de dichos estados dependen de la naturaleza del sistema que se modela,
pero habitualmente se utilizan n
umeros enteros: 0, 1, 2, . . . , . Luego para
las cadenas de Markov la probabilidad condicional da transicion (1.4) se
expresa de la siguiente manera:
{( + ) = /() = } = (, + )
(1.5)
Una cadena de Markov es homogenea cuando la probabilidad condicional

de transicion (1.5) del estado i al estado j en cualquier instante t solo depende de la diferencia , es decir:
(, + ) = (); 0
(1.6)
y es no homogenea en caso contrario. En base a las tres clasicaciones

efectuadas se puede realizar el siguiente cuadro:
Procesos aleatorios puros
(estados cont.)
Procesos
Procesos de Markov
}{
{
Procesos
de
Markov
Cadenas
de
p.
discr.
homogeneas
Estoc
asticos
de Markov
de p.cont.
no homogen.
Los captulos siguientes se limitaran al analisis de las cadenas de Markov

homogeneas, tanto de parametro discreto como continuo, y sus respectivos
problemas de aplicacion.
Cadenas de Markov 10
CADENAS DE MARKOV HOMOGENEAS
DE PARAMETRO
DISCRETO
En la primera parte del captulo se estudian las probabilidades condicionales de

transicion -denidas en (l.5) y (1.6) - e incondicionales de estado - denida en
(1.1) - en las cadenas de Markov homogeneas, y se desarrollan las ecuaciones que
rigen su comportamiento, las que luego se aplican al estudio del comportamiento
de dichas cadenas en los regmenes transitorio y permanente.
2.1
Estudio de las probabilidades en las cadenas de markov homog

eneas
2.1.1) Probabilidad condicional de transicion

a) Denicion general
Tal como se ha expresado en (1.6), la probabilidad condicional de
transicion del estado i al estado j en un intervalo : () en una
cadena de Markov homogenea de parametro discreto es la probabilidad
condicional de que el sistema se encuentre en estado j en el instante
+ , habiendose encontrado en el estado i en el instante t, con t y
enteros. Matematicamente es:
= 0, 1, 2, . . .
= = 0, 1, 2, . . .
() = {(+) = /() = }; con:
(2.1)
= 0, 1, 2, . . . ,
= 0, 1, 2, . . . ,
El intervalo = n = entero se denomina n

umero de pasos o transiciones o avances de la cadena sobre el parametro t. El conjunto de
probabilidades de transicion () ,i,j denen la matriz de probabilidades de transicion ():
/
0
1
() = ..
.
..
.
0
00 ()
10 ()
..
.
..
.
0 ()
1
01 ()
11 ()
..
.
..
.
1 ()
......
......
......
......
0 ()
1 ()
..
.
..
.
()
(2.2)
matriz en la que se cumplen las siguientes condiciones:
0 () 1 ;
,
(2.3)

() = 1 ; = 0, 1, . . . ,
(2.4)
=0
con = = 1, 2, 3, . . .
b) Probabilidad de transicion de 1 paso
Es un caso particular de la (2.1) y representa la probabilidad condicional de transicion del estado i al estado j, en un intervalo = 1.
{
(1) = {( + 1) = /() = }; con:
= 0, 1, 2, . . .
= 0, 1, 2, . . . ,
= 0, 1, 2, . . . ,
(2.5)
Analogamente el conjunto de probabilidades de transicion de 1 paso

,i,j denen la matriz de probabilidades de transicion de 1 paso P:
/
0
1
() = ..
.
..
.
0
00
10
..
.
..
.
0
1
01
11
..
.
..
.
1
......
......
......
......
0
1
..
.
..
.
(2.6)
Ejemplo 2.a
Si en la cadena de Markov descripta en la experiencia b) del ejemplo
l.b se denominan:
estado 0 = no
estado 1 = si
el grafo y la matriz de transicion de 1 paso son respectivamente:
= 0
1
0
0
1/3
1
1
2/3

0123
7654
0^

7654
0123
1S
1/3
2/3
Ejemplo 2.b
Si bien la experiencia a) del ejemplo l.b corresponde a 1 proceso de
ensayos independientes, se lo puede tratar dentro de la teora de las
cadenas de Markov, siendo sus estados, el grafo y la matriz de transicion de 1 paso las siguientes:
estado 0 = no
estado 1 = si
2/3

7654
0123
0^
1/3

7654
0123
1S
1/3
1/3
1/3
2/3
2/3
2/3
c) Probabilidad de transicion de 2 pasos

En forma analoga se dene:
{
(2) = {( + 2) = /() = }; con:
= 0, 1, 2, . . .
= 0, 1, 2, . . . ,
= 0, 1, 2, . . . ,
(2.7)
Esta probabilidad, en una cadena de Markov, se puede calcular en

funcion de las probabilidades de 1 paso, mediante la ecuacion de
Chapman-Kolmogorov, cuya expresion, para este caso es:
(2) =
=0
{
. ;
= 0, 1, . . . ,
= 0, 1, . . . ,
(2.8)
la cual establece que para todo par de estados i y j separados por un

avance = 2 pasos, la probabilidad de transicion se puede expresar
en funcion de las probabilidades de transicion de 1 paso del estado i a

un conjunto exhaustivo de estados k (todos los estados posibles) y de
las probabilidades de transicion de 1 paso de cada uno de los estados
k al estado j.
Para su demostracion se denen los conjuntos A, y C cuyos elementos son ternas ordenadas de eventos: la primera componente es el
estado del sistema en t, la segunda en t+1 y la tercera en t+2
: conjunto de ternas cuya primera componente es el estado i en t
: cada conjunto de ternas cuya segunda componente es uno de los

estados k en t+1
: conjunto de ternas cuya tercera componente es el estado j en t+2
adem
as se cumple que: ( ) = (/). ()
(2) = (/) =
( )
=0
()
(/ ). ( )
=0
()
y por ser una cadena de Markov se cumple la (1.4), luego es:

(/ ) = (/ )
con lo cual queda demostrada la (2.8) pues:
(2) = (/) =

()
( ). ( /).
=0

()

=0
Como antes, el conjunto de probabilidades de transicion de 2 pasos:

(2), i,j denen la matriz de probabilidades de transicion de 2 pasos:
00 (2)
10 (2)
..
(2) =
.
..
.
0 (2)
01 (2) . . . . . .
11 (2) . . . . . .
..
.
..
.
1 (2) . . . . . .
0 (2)
1 (2)
..
.
..
.
(2)
(2.9)
y aplicando la ecuacion de Chapman (2.8) a cada uno de los elementos de la matriz (2.9) queda la expresion matricial de la ecuacion de
Chapman-Kolmogorov:
00 (2) . . .
..
.
(2) =
..
.
0 (2) . . .
P(2)=P.P= 2
0 (2)
00 01 . . .
..
.
..
= ..
.
.
..
..
..
.
.
.
(2)
0 1 . . .
0
00 . . .
..
x 10
.
..
..
.
.
0 . . .
0
1
..
.
(2.10)
Ejemplo 2.c
La matriz de transicion de 2 pasos de la cadena del Ejemplo n 2.a,
aplicando la ecuacion (2.10) es:
(2) =
0, 33 0, 67
=
0, 33 0, 67
0, 33 0, 67
0,67
=
0, 22 0, 78

0123
7654
0^
0,33

0123
7654
1S
0,22
0,78
La ecuacion de Chapman-Kolmogorov (2.10) es una condicion necesaria, pero no suciente para que una cadena sea Markoviana.
d) Expresion qeneral de la ecuacion de Chapman-Kolmogorov
En forma generica la probabilidad de transicion de n pasos es:
= 0, 1, 2, . . .
= 1, 2, . . .
() = {( + ) = /() = }; con:
(2.11)
= 0, 1, 2, . . . ,
= 0, 1, 2, . . . ,
Repitiendo el proceso descripto en el punto anterior para deducir la

ecuacion (2.8) se llega a las expresiones algebraicas generales de la
ecuacion de Chapman-Kolmogorov:

. ( 1) : forma a)
=0
= 1, 2, . . .
; con: = 0, 1, 2, . . . , (2.12)
() =
= 0, 1, 2, . . . ,
( 1). : forma b)
=0
Como antes, el conjunto de probabilidades de transicion de n pasos

(), ij denen la matriz de probabilidades de transicion de n casos:
00 ()
10 ()
() =
..
.
0 ()
01 () . . . . . .
11 () . . . . . .
0 ()
1 ()
1 () . . . . . .
()
(2.13)
y la expresion matricial general de la ecuacion de Chapman-Kolmogorov,

tomando por ejemplo la forma a), queda:
() =
00 () . . .
..
.
..
.
0 () . . .
0 ()
00 01 . . .
..
.
..
.
= ..
.
..
..
..
.
.
.
()
0 1 . . .
0
00 ( 1) . . .
..
.
x 10 ( 1)
..
..
.
.
0 ( 1) . . .
0 ( 1)
1 ( 1)
..
.
( 1)
P(n)=P.P(n-1)
extendiendo la ecuacion anterior en forma recursiva se obtiene:
P(n)= P . P(n-l) = P . P . P(n-2) = P . P . P . P(n-3)= . . .
() =
(2.14)
que es la expresion generica matricial de la ecuacion de ChapmanKolmogorov.

Ejemplo 2.d
Las matrices de transicion de 3, 4 y 5 pasos de la cadena del ejemplo
2.a son, aplicando la ecuacion (2.14):

0
3
(2) = = . =
0, 33 0, 67
x
0, 33 0, 67
0
4
0, 22 0, 78
(4) = = . =
(5) = = . =
0, 259 0, 741
=
0, 259 0, 741
0, 247 0, 753
0, 259 0, 741
0, 247 0, 753
x
0, 33 0, 67
0, 259 0, 741
0, 222 0, 778
0, 33 0, 67
0, 222 0, 778
=
0, 247 0, 753
0, 251 0, 749
2.1.2) Probabilidad incondicional de estado

(a) Denicion general
Tal como se ha expresado en (1.1), la probabilidad incondicional de
estado p(t) en una cadena de Markov homogenea de parametro discreto, es la probabilidad de que el sistema se encuentre en el estado i
en el instante t:
{
= 0, 1, 2, . . .
() = = () ; con:
(2.15)
= 0, 1, 2, . . . ,
y el conjunto de probabilidades incondicionales de estado () i, denen el vector de probabilidades de estado p(t):

() = 0 () 1 () 2 () . . . ()
vector en el cual se cumplen las siguientes condiciones:
(2.16)
() 1 ;
()
= 1 ; con = 0, 1, 2, . . .
(2.17)
(2.18)
=0
(b) Probabilidad de estado inicial

Es un caso particular de la (2.15) para t=0 :
(0) = = ( = 0) ; con = 0, 1, . . . ,
(2.19)
y el conjunto de probabilidades de estado iniciales (0) ,i denen

el vector de probabilidades de estado inicial:
(0) = 0 (0) 1 (0) 2 (0) . . . (0)
(2.20)
(c) Probabilidad de estado luego de 1 paso

En forma analoga se dene:
(1) = = ( = 1) ; con = 0, 1, . . . ,
(2.21)
Esta probabilidad se puede expresar en funcion de las probabilidades

de estado iniciales aplicando el Teorema de la Probabilidad Total,
quedando expresada la llamada ecuacion de estado:
(1) =
(0). ; con = 0, 1, . . . ,
(2.22)
=0
Como antes, el conjunto de probabilidades de estado luego de 1 paso (1), j, denen el vector de
probabilidades de estado luego de 1 paso:
(1) = 0 (1) 1 (1) 2 (1) . . . (1)
(2.23)
y aplicando la ecuacion de estado (2.22) a cada uno de los elementos

del vector (2.23) queda la expresion matricial de la ecuacion de estado:
(1) = 0 (1) 1 (1) . . . (1) = 0 (0) 1 (0) . . . (0)
p(1)= p(0) . P
00 . . . 0
1
x ..10
..
.
.
0 . . .
(2.24)
(d) Expresion general de la Ecuacion de Estado

En forma generica la probabilidad de estado luego de n pasos es:
{
= 0, 1, 2, . . .
() = = ( = ) ; con:
(2.25)
= 0, 1, 2, . . . ,
Con las mismas consideraciones hechas para deducir la ecuacion (2.22)

se llega a las expresiones algebraicas generales de la ecuacion de estado:
(0). () : forma a)
=0
1, 2, . . .
; con: =
(2.26)
() =
=
0, 1, 2, . . . ,
1).
:
forma
b)
=0
Como antes, el conjunto de probabilidades de estado luego de n pasos

() denen el vector de probabilidades de estado:
() = 0 () 1 () 2 () . . . ()
(2.27)
y la expresion matricial general de la ecuacion de estado (2.26), tomando

por ejemplo la forma a), queda:
() = 0 (0) 1 (0) . . . (0)
00 () . . . 0 ()
()
1 ()
x 10..
..
.
.
0 () . . . ()
p(n)= p(0) . P(n)
(2.29)
Las ecuaciones (2.28) y (2.29) constituyen las expresiones genericas

matriciales de la ecuacion de estado, las cuales se resumen en la siguiente expresion:
() =
(0). ()
(2.30)
( 1).
Las ecuaciones (2.14) y (2.30) permiten calcular la probabilidad de

cada uno de los estados de la cadena, luego de un n
umero n cualquiera
de pasos, conocidas la probabilidad de estado para un instante dado y
la matriz de probabilidades de transicion de 1 paso P.
Ejemplo 2.e
En la cadena del ejemplo 2.a, si se parte de un estado inicial con las
siguientes probabilidades:
0 (0) = 0, 5
(0) = 0, 5 0, 5
1 (0) = 0, 5
las probabilidades de 1, 2, 3 y 4 pasos seran respectivamente:
(1) = (0). = 0, 5 0, 5 x
0
1
= 0, 167 0, 833
0, 333 0, 667
(2) = (0). 2 = 0, 5 0, 5 x
0, 333 0, 667
= 0, 278 0, 722
0, 222 0, 778
2.2
(3) = (0). 3 = 0, 5 0, 5 x
0, 222 0, 778
= 0, 241 0, 759
0, 259 0, 741
(4) = (0). 4 = 0, 5 0, 5 x
0, 259 0, 741
= 0, 253 0, 747
0, 247 0, 753
Clasicaci
on de las cadenas de Markov Homog
eneas en erg
odicas
y no erg
odicas
A continuacion se efect
ua una clasicacion de las cadenas de Markov homogeneas
seg
un la posibilidad o no que tengan de ser reducibles o separables en cadenas
mas chicas para el estudio de su comportamiento en los llamados regmenes
transitorio y permanente. Esta clasicacion dara lugar a la denicion de las
cadenas ergodicas o irreductibles y las cadenas no ergodicas o separables. Previamente se requiere dar la denicion de estados accesibles y comunicantes y
luego clasicar los estados en clases.
2.2.1) Denicion de estados accesibles y comunicantes
Un estado j es accesible desde un estado i si se cumple que para alg
un paso
1 es () > 0, lo cual signica que es posible pasar desde el estado i
al estado j luego de un n
umero n de transecciones, y se escribe: .
La accesibilidad es una propiedad transitiva, es decir:
si
Ejemplo 2.f
En la cadena de la gura el estado 6 es accesible desde el 5 en un paso y
desde el 4 en dos pasos, a traves del 5. El estado 1 no es accesible desde el 2.
Accesibilidad en una transicion
0123
7654
0
70123
/ 654
1

70123
7654
0123
/ 654
/3
2 ==
@
==
==
==
==

7654
0123
7654
0123
7 =^ =
4S
==
==
==
==

7654
0123
7654
0123
o
6K
5
0
1
2
3
4
5
6
7
0 1 2 3 4 5 6 7
Dos estados i y j son comunicantes si j es accesible desde i, y viceversa, y

se escribe:
La comunicacion es tambien una propiedad transitiva, es decir:
si
En el ejemplo 2.f los estados 5 y 7 son comunicantes.

2.2.2) Clasicacion de estados en clases comunicantes y estados sin retorno
Una clase comunicante es un conjunto de estados que se comunican todos
entre si. Como caso particular la clase puede consistir en un solo estado.
En el ejemplo 2.f se pueden formar las siguientes clases comunicantes:
1 = {2}
= {3, 4}
2
3 = {5, 6, 7}
Las clases comunicantes se pueden clasicar en recurrentes y transitorias.
(a) Clases recurrentes- Estados absorbentes
Una clase es recurrente cuando la probabilidad de que la cadena se
encuentre en un estado de dicha clase despues de transiciones es
positiva; esto signica que una vez que la cadena ha alcanzado dicha
clase, siempre regresara a ella.

En el ejemplo 2.f la clase 3 es recurrente.
Un caso especial de clases recurrentes lo constituyen los llamados estados absorbentes, que son aquellos estados que una vez que la cadena
los ha alcanzado, no puede abandonarlos; es decir, siendo accesibles
desde otros estados no absorbentes de la cadena, no se cumple la inversa. De lo anterior se deduce que un estado absorbente i tiene una
probabilidad = 1.
(b) Clases transitorias
Una clase es transitoria cuando la probabilidad de que la cadena se
encuentre en un estado de dicha clase despues de transiciones es
nula; esto signica que una vez que la cadena ha alcanzado dicha
clase, existe una probabilidad de que no retorne nunca a ella.
En el ejemplo 2.f las clases 1 y 2 son transitorias.
Estados sin retorno son aquellos estados que no se comunican con
ning
un otro estado, ni siquiera consigo mismo; esto signica que una
vez que la cadena ha alcanzado dicho estado la probabilidad de que
retorne a el es nula.
En el ejemplo 2.f los estados 0 y 1 son sin retorno. Resumiendo lo
anterior, los estados pueden clasicarse de la siguiente manera:
Estados sin retorno {

transitorias
{
Clases comunicantes
recurrentes
estados absorbentes
2.2.3) Clasicacion de las cadenas de Markov homogeneas en ergodicas y no

ergodicas
Una cadena de Markov homogenea es ergodica o irreductible cuando todos
sus estados se comunican, es decir constituyen una u
nica clase comunicante
recurrente.
Las cadenas ergodicas pueden ser clasicadas en regulares y periodicas.
(a) Cadenas regulares

Una cadena ergodica es regular o aperiodica cuando todos los estados
pueden comunicarse simultaneamente en una cantidad r de pasos; en
estas condiciones la potencia r de la matriz P : es una matriz con
todos sus elementos no nulos. Un criterio para comprobar que una cadena es regular consiste en calcular las sucesivas potencias de P hasta
encontrar un n
umero r de pasos tal que la matriz tiene todos sus
elementos no nulos.
Ejemplo 2.g
Dada la siguiente cadena:
0,5
0,5
0,2

"
7654
0123
7654
0123
01X 1b
1

11

1 0,2
1 11 0,6
1
7654
0123
2
0, 5 0, 5
= 0, 2 0, 2 0, 6
1
se cumple que para r = 3

0, 545 0, 245 0, 210
= 0, 518 0, 398 0, 084
0, 350 0, 350 0, 300
3
todos sus elementos son no nulos, por lo tanto es una cadena ergodica
regular. Como ejemplo: desde el estado 3 se puede acceder al mismo
estado recien en 3 pasos.
(b) Cadenas periodicas
Una cadena ergodica es periodica cuando no se puede encontrar una
potencia r de P para la cual todos los elementos de sean no nulos;
en estas condiciones las sucesivas potencias de la matriz denotan
un patron periodico que permite asegurar siempre la presencia de al
menos un cero en .
Ejemplo 2.h
Dada la cadena siguiente:
7654
0123
0g
'
7654
0123
:1
1
1/2
z
7654
0123
2
0 1 0
= 1/2 0 1/2
0 1 0
1/2
es ergodica periodica pues sus sucesivas potencias son:

1/2 0 1/2
= 0 1 0 ;
1/2 0 1/2
2
0 1 0
= 1/2 0 1/2 ;
0 1 0
3
1/2 0 1/2
= 0 1 0
1/2 0 1/2
4
como puede observarse se cumple el patron de repeticion periodico:

{
= 3 = 5 = . . . = ; con m : impar
2 = 4 = 6 = . . . = ; con n : par
con la presencia siempre de ceros en las matrices.
Una cadena de Markov homogenea es no ergodica o reducible o separable cuando no todos sus estados se comunican, en esas condiciones la
cadena es separable en un conjunto de clases comunicantes y estados
sin retorno.
Ejemplo 2.i
0,5

7654
0123
0f
0,5
0,2
0,3

7654
0123
2f
0,7
0,6
&
7654
0123
1S
0,8
&
7654
0123
3S
0, 5
0, 8
=
0
0
0, 5
0, 2
0
0
0
0
0, 7
0, 6
0
0
0, 3
0, 4
0,4
es separable en dos clases comunicantes recurrentes 1 = {0, 1} y

2 = {2, 3}
La cadena del ejemplo 2.f es separable en:
1 clase comunicante recurrente : 3 = {5, 6, 7}

2 clase comunicante transitoria : 1 = {2} y 2 = {3, 4}
2 estados sin retorno

:0 1
Dentro de las cadenas no ergodicas merecen especial atencion dos
tipos particulares de cadenas denominadas respectivamente cadenas
absorbentes y cadenas cclicas.
(a) Cadenas absorbentes
Una cadena absorbente es una cadena no ergodica separable en
1 o varios estados absorbentes y
1 o varios estados no absorbentes, constitudos por clases comunicantes transitorias o estados sin retorno, desde los cuales se puede
acceder a por lo menos un estado absorbente
Ejemplo 2.j
0,3

7654
0123
0g
'
7654
0123
1

0,5
1
0,5

7654
0123
2
0,7
0
1
2
0
1
2
0, 7 0, 3
0, 5
0, 5
1
es una cadena absorbente separable en una clase comunicante transitoria C={ 0,1} y un estado absorbente 2, para el cual se cumple que
22 = 1
(b) Cadenas cclicas
Una cadena cclica es una cadena no ergodica en la cual el proceso
pasa de un estado a otro cclicamente seg
un un cierto patron de comportamiento. El ciclo es un camino cerrado entre estados de una clase
recurrente.
Para que una cadena sea cclica debe cumplirse que:
tenga por lo menos un ciclo, y
sea posible entrar en el ciclo

Ejemplo 2.k
0,5

7654
0123
0
1
111

0,2
1 0,3
1 111

'
7654
0123
7654
0123
1g
2
1
0
1
2
0
1
2
0, 5 0, 2 0, 3
1
1
es una cadena cclica separable en una clase comunicante transitora

1 ={ 0 } una clase comunicante recurrente 2 ={ 1, 2 } , que forma
un ciclo.
Muchas caractersticas de comportamiento de las cadenas no ergodicas
despues que se han producido un n
umero elevado de transiciciones (en
lo que luego se denira como regimen permanente), se estudian mediente el analisis de sus clases comunicantes recurrentes como si fueran
cadenas ergodicas independientes.
En resumen las cadenas de Markov homogeneas se pueden clasicar en:
{
regulares
Cadenas erg
odicas: una clase comunicante recurrente
periodicas
Cadenas no ergodicas: separables en

clases comunicantes mas estados sin retorno
absorbentes
cclicas
A partir de esta clasicacion en los puntos siguientes se estudia el

comportamiento de las cadenas ergodicas y no ergodicas mencionadas.
2.3
Estudio del Comportamiento de las Cadenas Erg

odicas en el
R
egimen Permanente
Se dene como regimen permanente o estado estacionario de una cadena de

Markov homogenea a la situacion que el sistema alcanza luego de un periodo
relativamente largo de tiempo. En dicho regimen la cadena ya ha entrado en
una condicion de equilibrio estocastico, lo cual signica que sus probabilidades
de estado devienen estables en el tiempo.

En cambio regimen transitorio es la situacion en que el sistema se encuentra
luego de un perodo relativamente corto de tiempo. En dicho regimen la cadena
no ha encontrado todava una condicion particular de equilibrio estocastico, es
decir sus probabilidades de estado no son estables en el tiempo.
Dentro de las cadenas ergodicas regulares y periodicas interesa estudiar especcamente sus comportamientos en el regimen permanente, y sus conclusiones, seg
un se ha dicho mas arriba, son extensibles a las clases recurrentes de
las cadenas no ergodicas.
2.3.1) Estudio del comportamiento de las cadenas regulares en el regimen permanente
Tal como se ha denido en 2.2.3, una cadena regular es una cadena ergodica
en la cual todos sus estados pueden comunicarse simultaneamente en una
cantidad r de pasos.
Para describir el comportamiento de una cadena regular en el regimen permanente o a lago plazo es preciso conocer las probabilidades de transicion
y de estado cuando el n
umero n de transiciones tiende a . Se puede demostrar que si la cadena es regular, el lmite de la matriz de probabilidades
de transicion P(n) cuando n tiende a es una matriz regular (todos sus
elementos son positivos), con todas sus las iguales, es decir, de (2.14) es:
0 . . .
..
.
lim () = lim = 0 . . .
..
.
0 . . .
. . .
..
.
. . .
..
.
. . .
..
.
..
.
(2.31)
y el lmite del vector de probabilidades de estado queda, tomando la 1ra.

igualdad de la (2.30):
0 . . .
..
.
lim () = (0). lim () = 0 (0) . . . (0) . . . (0) x 0 . . .
..
.
0 . . .
y por cumplirse que:
. . .
..
.
. . .
..
.
. . .
..
.
..
.
(0) = 1, queda:
=0
lim () = 0 . . . . . .
(2.32)
las (2.31) y (2.32) expresan que en una cadena de Markov regular, luego
de un n
umero sucientemente grande de transiciones ( ), sus probabilidades de transicion () y de estado () se estabilizan en valores
lmites iguales para cada estado j, e independientes del estado inicial i. Este
estado se conoce como regimen permanente o estacionario, y sus probabilidades de estado representan los porcentajes de tiempo que la cadena
permanece en cada estado j luego de un perodo largo de tiempo.
Esta distribucion de estados lmites se puede determinar mediante tres
caminos alternativos.
(a) mediante el lmite de la ecuacion (2.31):lim () = lim ;
(b) mediante una ecuacion que se deriva de la 2da. igualdad de la ecuacion
de estado (2.30). Para , seg
un lo expresado mas arriba se
cumple que:
lim () = lim ( 1) =
reemplazando en la 2da. igualdad de la (2.30) quedan:
siendo:
=0
= 1
(2.33)
(2.34)
luego con las ecuaciones (2.33) y (2.34), conocida la matriz de transicion P de la cadena regular, se puede calcular el vector de probabilidades p del regimen permanente.
(c) mediante la llamada ecuacion de balance de ujos probabilsticos,
que se deriva de la ecuacion (2.33). En efecto, si se desarrolla esta
u
ltima es:
= 0 . . . . . . = 0 . . . . . .
00 . . .
..
.
x 0 . . .
..
.
0 . . .
0 . . .
..
.
. . .
..
.
. . .
0
..
.
..
.
en la cual el elemento generico es:
=
. =
. + .
=0
agrupando queda:
. = (1 )
y aplicando la ecuacion (2.4) a las transiciones del estado j a un conjunto exhaustivo de estados k es:
= 1 1 =
reemplazando queda:
. = .
; = 0, . . . ,
(2.35)
que es la ecuacion de balance de ujos
probabilsticos, la cual expresa que
para un nodo generico j la suma de
los ujos probabilsticos que concur-
ren al nodo es igual a la suma de
los ujos probabilsticos que salen del
nodo.
==
@
==

JJ ===
u:
JJ =
uuu
JJ ==

u
JJ
uuu
$
WPQRS
/ VUT
/
JJ
u: @
== JJ
u
== JJ
uu
uu
== JJ$
uu
==

==

Ejemplo 2.l
0,5
0,2

"
7654
0123
7654
0123
01X 1b
1

11

1 0,2
1 11 0,6
1
7654
0123
2
0,5
0, 5 0, 5 0
= 0, 2 0, 2 0, 6
1
0
0
la cual es ergodica regular pues 3 :
0, 35 0, 35 0, 30
= 0, 74 0, 14 0, 12
0, 50 0, 50 0
2
0, 545 0, 245 0, 210

= 0, 518 0, 398 0, 084
0, 350 0, 350 0, 300
3
tiene todos sus elementos no nulos, se puede determinar el vector de

probabilidades p del regimen permanente mediante el calculo de las
sucesivas potencias de :
0, 5315 0, 3215 0, 1470
= 0, 4226 0, 3386 0, 2388
0, 5450 0, 2450 0, 2100
4
16
0, 4985 0, 3158 0, 1858

; = 0, 4979 0, 3090 0, 1931
0, 5077 0, 3096 0, 1827
8
0, 5 0, 3125 0, 1875
= 0, 5 0, 3125 0, 1875 = 17 = 18 = lim
0, 5 0, 3125 0, 1875
se observa que a medida que aumenta n, los elementos () tienden

a un lmite jo, independiente del valor de i.
Luego por (2.32) es:
= lim () = 0 1 2 = 0, 5 0, 3125 0, 1875
(2.32)
Analogo resultado puede obtenerse mediante la aplicacion de las ecuaciones (2.33) y (2.34), que en este ejemplo son:
0, 5 0, 5 0
0 1 2 = 0 1 2 x 0, 2 0, 2 0, 6
1
0
0
0 + 1 + 2 = 1
ordenando queda:
0, 5 0 0, 2
0, 5 0 + 0, 8
0, 6
0 +
1 2
1
1 + 2
1 + 2
=
=
=
=
0
0
0
1
sistema de cuatro ecuaciones con tres incognitas. Eliminando una

cualquiera de las tres primeras ecuaciones, por ejemplo la 3ra. ecuacion
( la cuarta no se puede eliminar porque las tres primeras satisfacen la
solucion trivial), queda:
0, 5 0 0, 2 1 2 = 0
0, 5 0 + 0, 8 1
= 0
0 +
1 + 2 = 1
ecuacion del tipo: p . A = B, siendo:
0, 5 0, 5 0
0, 2 0, 2 0, 6
1
0
0
= 0 0 1
resolviendo la ecuacion se llega al resultado anterior:

= .1 = 0, 5 0, 3125 0, 1875
Al mismo sistema de ecuaciones podra haberse arribado partiendo
de la ecuacion de balance de ujos probabilsticos (2.35) y la ecuacion
(2.34):
para el nodo 0: 0, 2 1 + 2 = 0, 5 0 0, 5 0 0, 2 1 2 = 0
para el nodo 1: 0, 5 0 = (0, 2 + 0, 6) 1 0, 5 0 + 0, 8 1

= 0
para el nodo 2: 0, 6 1 =
2
0, 6 1 + 2 = 0
y de la (2.34):
0 +
1 + 2 = 1
2.3.2) Estudio del comportamiento de las cadenas periodicas en el regimen permanente

Tal como se ha denido en 2.2.3 , una cadena periodica es una cadena
ergodica en la cual no se puede encontrar una potencia r de la matriz P
para la cual todos los elementos de 2 sean no nulos. A diferencia de
las cadenas regulares, en las cadenas periodicas no pueden lograrse valores
lmites de la matriz () = 2 cuando n tiende a . No obstante la
cadena se estabiliza en valores lmites de probabilidades de estado a largo
plazo, los cuales, como en el caso anterior representan los porcentajes de
tiempo que el proceso permanece en cada estado, y que se pueden calcular
a partir de las expresiones (2.33) y (2.34) o de las (2.35) y (2.34) indistintamente.
Ejemplo 2.m
Dada la cadena periodica del ejemplo 2.h
7654
0123
0g
'
7654
0123
:1
1
1/2
z
7654
0123
2
1/2
0 1 0
= 1/2 0 1/2
0 1 0
seg
un se ha visto en dicho ejemplo el lmite de cuando n tiende a
no existe, no obstante aplicando las ecuaciones (2.33)
0
1
0 1 2 = 0 1 2 x 1/2 0
0
1
0 + 1 + 2 = 1
y (2.34) son:
0
1/2
0
eliminando una de las tres primeras ecuaciones, y resolviendo el sistema

resultante quedan:
0 = 2 = 1/4
; 1 = 1/2
2.4
Estudio del comportamiento de las cadenas no erg

odicas
Seg
un se ha dicho anteriormente, dentro de las cadenas no ergodicas merecen
especial atencion las cadenas absorbentes y las cadenas cclicas. Ademas, de las
mismas interesa fundamentalmente estudiar su comportamiento en el regimen
transitorio, pues en el permanente queda caracterizado por el estudio del comportamiento de sus clases recurrentes como cadenas ergodicas independientes.
2.4.1) Estudio del comportamiento de las cadenas absorbentes.
Como se ha denido en 2.2.3, una cadena absorbente es una cadena no
ergodica separable en:
uno o varios estados absorbentes (estados con probabilidad nula de ser
abandonados, por lo tanto cuando son alcanzados por el proceso, este
se detiene denitivamente o se detiene para luego comenzar desde otro
estado), y
uno o varios estados no absorbentes constituidos por clases comunicantes transitorias o estados sin retorno, desde cada una de las cuales
se puede acceder a por lo menos un estado absorbente.
Ejemplos de cadenas absorbentes se pueden encontrar en m
ultiples
procesos de la realidad. Uno de los mas ilustrativos lo constituyen los
procesos de inspeccion como el del siguiente problema.
Ejemplo 2.n
Se tiene que inspeccionar una muestra de tres piezas hasta encontrar una
pieza que sea mala, con probabilidad p, o las tres piezas buenas.
Se tienen los siquientes estados:
Estados
0 1 2 3 4 5 6
Buenas 0 0 1 1 2 2 3
Situacion
Malas 0 1 0 1 0 1 0
con los siguientes grafo y matriz de transicion:
1

7654
0123
/1
1

0123
7654
7654
0123
70123
/ 654
8}2
0
3
}
}}
1 }}
}}
}}
}
}} 1
}}
}
}
1
1
}}
}

}
~
0123
7654
7654
0123
7654
0123
/5
86
4
1
0
1
2
=
3
4
5
6
0 1
2
3
4
5
6
(1 )
1
(1 )
1
(1 )
1
1
Se puede observar la presencia de cuatro estados absorbentes: 1, 3, 5 y

6 y das tres estados sin retorno: 0, 2 y 4.
En las cadenas absorbentes es de interes conocer:
(a) el n
umero esperado de veces que el proceso pasa por cada estado no
absorbente antes de ser absorbido
(b) el n
umero esperado de transiciones que el proceso tarda en ser absorbido
(c) la probabilidad de absorcion por cada estado absorbente
Para realizar estos analisis se opera con la matriz de transicion P, pero
reagrupada en cuatro submatrices, constituyendo lo que se conoce cono
forma canonica o estandar. Para un proceso de a estados absorbentes y
n estados no absorbentes, dicha forma es:
0
a estados
n estados
=

en donde son:
* I(axa): matriz identidad; cada elemento representa la probabilidad de
permanecer en un estado absorbente en un paso
* 0(axn): matriz nula; cada elemento representa la probabilidad de pasar
de un estado absorbente a uno no absorbente en un paso
* A(nxa): matriz de estados absorbentes; cada elemento representa la
probabilidad de ser absorbido (pasar de un estado no absorbente a uno
absorbente) en un paso
* N(nxn): matriz de estados no absorbentes; cada elemento representa
la probabilidad de no ser absorbido (pasar de un estado no absorbente
a otro no absorbente) en un paso
En la cadena del ejemplo 2.n sera:
1
3
5
=
6
0
2
4
1 3 5
1
1
1
1
(1 )
1
(1 )
(1 )
Para los analisis que siguen se utilizaran las matrices A y N.

(a) N
umero esperado de veces que el proceso pasa por cada estado no absorbente antes de ser absorbido
De acuerdo a lo visto anteriormente cada elemento de N representa
la probabilidad de pasar de un estado no absorbente i a otro estado

no absorbente j en un paso. Luego cada elemento de la matriz 2
representa la probabilidad de pasar de un estado no absorbente i a
otro estado no absorbente j en dos pasos, y en forme generica cada
elemento de la matriz representa la probabilidad de pasar de un
estado no absorbente i a otro estado no absorbente j en n pasos.
Por lo tanto el n
umero esperado de veces que la cadena puede pasar
por un estado no absorbente j, habiendo comenzado en un estado no
absorbente generico i, esta dado por:
/ =
1
|{z}
al comienzo
+ |{z}
1 +
en un paso
2
|1
{z }
en dos pasos
+ . . . + |1
{z } + . . . =
(2.36)
Ejemplo 2.
n
Dada la siguiente cadena absorbente:
1

7654
0123
@3

1/4

3/4

1/2
,
7654
0123
0
= 1
2
3
1
2 3
1/2 1/2
1
1/4
3/4
1
su forma estandar es:
1
= 3
0
2
1
1
en n pasos
siendo lim = 0 = / = ( )1

7654
0123
@1

1/2

7654
0123
0l
1
1/2
1/2
3/4 1/4
donde son:
0
= 0
2
2
1/2
1/4
= 0
2
1
1/2
3
3/4
luego resulta:
1
1/2
1/4
1
( )
= 0
2
0
2
8/7 4/7
2/7 8/7
por lo tanto si la cadena comienza en el estado no absorbente 0, pasara

en promedio por ese estado: 8/7 veces, incluyendo el comienzo, y por
el estado 2: 4/7 veces, antes de ser absorbida por los estados 1 o 3; si
en cambio la cadena comienza en el estado no absorbente 2, pasara en
promedio por ese estado: 8/7 veces, incluyendo el comienzo, y por el
estado 0: 2/7 veces, antes de ser absorbida por los estados 1 o 3.
(b) N
umero esperado de transiciones que el proceso tarda en ser absorbido
En funcion de lo anterior, cuando la cadena comienza en un estado no
absorbente i, el n
umero esperado de pasos que tarda en ser absorbida
es la suma de los elementos de la la i , de la matriz ( )1 , por lo
tanto queda expresado como:
/ = ( )1
1
1
..
.
1
Ejemplo 2.o
Para la cadena del ejemplo 2.
n es:
(2.37)
0
2
8/7 4/7
2/7 8/7
= 0
2
1 = 0 12/7
1
2 10/7
Es decir que si la cadena comienza en el estado no absorbente 0 tardara 12/7 transiciones en promedio antes de ser absorbida, si en cambio
comienza en el estado 2, tardara 10/7 transiciones.
b.1) Extension para cadenas no absorbentes
Para determinar el n
umero de pasos promedio para alcanzar un
estado cualquiera j determinado, se procede de manera analoga al
punto anterior, suponiendo que el estado j es absorbente.
Ejemplo 2.p
0,4
0,2
z
7654
0123
0h
0,3
0,6
0,3

0123
7654
41
M

,
7654
0123
2
0,5
0,3
0,4
0
1
2
0
1
2
0, 4 0, 3 0, 3
0, 2 0, 5 0, 3
0, 6 0, 4 0
Para averiguar el n
umero de transiciones que se realizan hasta alcanzar por primera vez el estado 2, se debe considerarlo absorbente;
es decir, la nueva matriz de transicion sera en su formato estandar:
2
0
1
2
0
1
1
0
0
0, 3 0, 4 0, 3
0, 3 0, 2 0, 5
luego:
=
1 0
0, 4 0, 3
0, 6 0, 3
=
1 0
0, 2 0, 5
0, 2 0, 5
( )1 =
2, 08 1, 25
0, 82 2, 50
3, 33
( )1 1 =
3, 32
es decir, partiendo del estado 0, el n

umero promedio de pasos que
transcurren entes de alcanzar el estado 2 es 3.33, y partiendo del
estado 1, el n
umero promedio de pasos que transcurren antes de
alcanzar el estado 2 es 3.32.
(c) Probabilidad de absorcion por cada estado absorbente
Para cada estado no absorbente i interesa conocer la probabilidad de
ser absorbido por cada estado absorbente j. Este valor es igual a la
probabilidad de ir desde i a j en un paso, mas la probabilidad da hacerlo en dos pasos, mas la probabilidad de hacerlo en tres pasos, etc.
Luego:
( ) = ( en un paso) + ( en 2 pas.) + ( en 3 pas.) + . . .
=
+
+
+...
2
3
= ( + + + + . . .)
( ) = ( )1 x
(2.38)
Ejemplo 2.q
Para el ejemplo 2.
n es:
1
( ) = ( )
x = 0
2
= 0
2
0
2
8/7 4/7
2/7 8/7
1
3
4/7 3/7
1/7 6/7
0
2
1
3
1/2 0
0 3/4
es decir, comenzando en el estado 0 la probabilidad de terminar en

el estado 1 es 4/7 y en el estado 3 es 3/7, y comenzando en el estado
2 la probabilidad de terminar en el estado 1 es 1/7 y en estado 3 es 6/7.
2.4.2) Estudio del comportamiento de las cadenas cclicas
Como se ha denido en 2.2.3, una cadena cclica es una cadena en la cual
el proceso pasa de un estado a otro cclicamente seg
un un cierto patron de
comportamiento, cumpliendose las condiciones:
* tiene por lo menos un ciclo (camino cerrado entre estados de una clase
comunicante recurrente),
* es posible entrar en el ciclo.
En el regimen transitorio (corto plazo) se puede determinar el n
umero
de intentos promedio que se realizan para alcanzar el ciclo. Este calculo
se puede hacer suponiendo que el ciclo es un estado absorbente.
Ejemplo 2.r
En la cadena cclica del ejemplo 2.k, haciendo:
=
1y2
0
1y2
0
1
0
0, 5 0, 5
= 1 0, 5 = 0, 5 (1 )1 = 2
( )1 x 1 = 2 x 1 = 2 0 = 2
En el regimen permanente (largo plazo) el sistema es cclico, y el tiempo
que el proceso pasa en cada estado del ciclo se calcula con el procedimiento
visto para las cadenas ergodicas, ecuaciones (2.33) y (2.34). Para el ejemplo 2.r sera:
0, 5 0, 2 0, 3
(0) (1) (2) x 0
0
1 = (0) (1) (2)
0
1
0
{
= (0)
(0) x 0, 5
(0)
= 0
0, 2 x (0) + (2) = (1)
(1) = (2) = 0, 5
(0) + (1) + (2) = 1

El ciclaje es com
un en operaciones de maquinas, en ciertas funciones
matematicas y en algunos sistemas fsico-economicos.
CADENAS DE MARKOV HOMOGENEAS
DE PARAMETRO
CONTINUO
Se sigue a continuacion un desarrollo analogo al de las cadenas de parametro

discreto deniendose primero las probabilidades condicionales de transicion e
incondicionales de estado, y estudiandose luego el comportamiento de las cadenas regulares en el regimen permanente.
3.1
Estudio de las probabilidades en las cadenas de Markov homog

eneas
3.1.1) Probabilidad condicional de transicion

(a) Denicion general
La probabilidad condicional de transicion es:
0
0
() = {( + ) = /() = }; con:
(3.1)
= 0, 1, 2, . . . ,
= 0, 1, 2, . . . ,
y la matriz de probabilidades de transicion es:
0
1
() = ..
.
..
.
0
00 ()
10 ()
..
.
..
.
0 ()
1
01 ()
11 ()
..
.
..
.
1 ()
......
......
......
......
0 ()
1 ()
..
.
..
.
()
cumpliendose:
0 () 1 ;
,

() = 1 ; = 0, 1, . . . ,
=0
con 0 . . .
(3.3)
(3.4)
(3.2)
Ademas en el caso de parametro t continuo, las probabilidades de transicion deben ser continuas en t = 0, es decir que deben cumplirse las
siguientes condiciones: Ejemplo 3.a
{
lim () =
0
0 ; =
1 ; =
(3.5)
(3.6)
El siguiente es un ejemplo de matriz de probabilidades condicionales

de transicion correspondiente a una cadena de Markov homogenea de
parametro continuo con dos estados: 0 y 1.
00 () 01 ()
0, 7 + 0, 3 0, 3 0, 3
=
() =
10 () 11 ()
0, 7 0, 7 0, 3 + 0, 7
con 0
luego para cada valor de se tiene una matriz distinta, por ejemplo:
para = 0
1 0
(0) =
0 1
0, 88 0, 12
(5) =
0, 28 0, 72
para

7654
0123
0f
0,12
0,28
0,7
0, 7 0, 3
() =
0, 7 0, 3
0
0
0,88
para = 0, 5

7654
0123
0f

7654
0123
0f
0,3
0,7
&
7654
0123
1S
1
&
7654
0123
1S
0,72
&
7654
0123
1S
0,3
(b) Tasas o intensidades de transicion

Al estudiar el comportamiento de una Cadena de Markov homogenea
de parametro continuo, es necesario trabajar con probabilidades de
transicion entre instantes de tiempo muy proximos. Esta situacion
conduce, por la ecuacion (3.5) a probabilidades de transicion que tienden a cero, es decir que cuando 0 () 0.
Para solucionar el inconveniente de tener que trabajar con probabilidades () diferenciales, se introduce el concepto de la derivada de
la probabilidad de transicion entre dos estados i y j distintos en = 0.
Esta nueva magnitud, llamada tasa o intensidad de transicion, expresa
la variacion de la probabilidad de transicion entre estados diferentes de
la cadena en un intervalo peque
no, referida a un unitario (por
el concepto de derivada), y queda denida matematicamente como:
[
=
()
=0
(3.7)
Formalmente, esta tasa de transicion en una cadena de parametro

continuo es la magnitud equivalente a la probabilidad de transicion de
un paso en las cadenas de parametro discreto.
Para i = j el valor resultante se denomina tasa o intensidad de permanencia en el estado i , y matematicamente es:
()
=
=0
[
(3.8)
Nuevamente el conjunto de tasas de

transicion y permanencia denen la matriz
de tasas de transicion D:
00 01 . . . . . . 0
10 11 . . . . . . 1
.
..
..
= ..
.
.
..
..
..
.
.
.
0 1 . . . . . .
(3.9)
Entre las tasas de transicion y permanencia se puede establecer una

relacion analoga a la (3.4):
de (3.4)
() = 1
=0
derivando:
luego: =
]
()
=0
=0
=
[ ()]=0 =
= 0
=0
=0
(3.10)
La ecuacion (3.10) expresa que los elementos de la diagonal principal de la matriz D se calculan como la suma de los elementos de su
la cambiada de signo.
Ejemplo 3.b
La matriz de tasas D correspondiente al ejemplo 3.a es:
=
0, 3 0, 3
0, 7 0, 7
en la cual se observa el cumplimiento de la ecuacion (3.10).

(c) Ecuacion de Chapman-Kolmogorov
La ecuacion de Chapman-Kolmogorov (2.12) y (2.14) es tambien aplicable al caso continuo, adoptando la siguiente forma en sus expresiones
algebraicas:
0
() =
( ). (); con:
(3.11)
= 0, 1, 2, . . . ,
=0
o matricial:
= 0, 1, 2, . . . ,
() = ( ) . ()
(3.12)
Ejemplo 3.c
Tomando la matriz de probabilidades de transicion del ejemplo 3.a:
0, 7 + 0, 3 0, 3 0, 3
() =
0, 7 0, 7 0, 3 + 0, 7
se vericara la ecuacion de Chapman (3.11) y (3.12) tomando como
ejemplo = 0, = 1, = 3, = 0, 5. Luego son:
por calculo directo:
01 (3) = 0, 3 0, 33 = 0, 285
por aplicacion de la ecuacion de Chapman:
01 (3) = 00 (2, 5) . 01 (0, 5) + 01 (2, 5) . 11 (0, 5) =
= 0, 725 . 0, 118 + 0, 275 . 0, 275 = 0, 285
luego verica.
3.1.2) Probabilidad incondicional de estado
(a) Denicion
La probabilidad incondicional de estado es:
{
0
() = = (); con:
= 0, 1, 2, . . . ,
(3.13)
y el vector de probabilidades incondicionales de estado es:

() = 0 () 1 () . . . . . . ()
(3.14)
cumpliendose:
0 () 1 ,
() = 1 , con 0
(3.15)
(3.16)
=0
(b) Probabilidad de estado inicial

Es un caso particular de la (3.13) para = 0:
(0) = = ( = 0) ; con = 0, 1, . . . ,
(3.17)
y el vector de probabilidades:
(0) = 0 (0) 1 (0) . . . . . . (0)
(3.18)
(c) Ecuacion de estado

La ecuacion de estado (2.26) y (2.30) es tambien aplicable al caso continuo, adoptando las siguientes formas en sus expresiones algebraicas:

(0). ()
: forma a)
=0
0
; con: 0
() =
(3.19)
=
0,
1,
2,
.
.
.
,
( ). () : forma b)
=0
o matricial:
{
() =
=
(0)
. ()
= ( ) . ()
(3.20)
expresion generica matricial de la ecuacion de estado para el caso continuo. Las ecuaciones (3.12) y (3.20) permiten calcular la probabilidad de cada uno de los estados de la cadena, en cualquier instante de
tiempo t.
3.2
Estudio del comportamiento de las cadenas regulares en el reg.

permanente
En forma analoga al caso discreto, el regimen permanente o estado estacionario

de una cadena de Markov homogenea de parametro continuo se obtiene tendiendo el parametro , y si la cadena es regular se cumple tambien que el
lmite de la matriz de probabilidades de transicion P(t) con es regular
con todas las las iguales e independientes del tiempo:
0 . . .
..
.
lim () = 0 . . .
..
.
0 . . .
. . .
..
.
. . .
..
.
. . .
..
.
..
.
(3.21)
y el vector de probabilidades de estado queda, de la 1ra. igualdad de la ecuacion

(3.20):
0 . . .
..
.
lim () = (0). lim () = 0 (0) . . . (0) . . . (0) x 0 . . .
..
.
0 . . .
y por cumplirse que
. . .
..
.
. . .
..
.
. . .
..
.
..
.
(0) = 1, queda:
=0
lim () = = 0 . . . . . .
(3.22)
Igual que en el caso discreto, las (3.21) y (3.22) expresan que en una cadena de
Markov regular, luego de un tiempo t sucientemente grande sus probabilidades
de transicion () y de estado () se estabilizan en valores lmites similares
e independientes del estado inicial y del tiempo t, deniendose a este estado
como regimen permanente o estado estacionario. Esta distribucion se puede

determinar mediante tres caminos alternativos:
a) mediante el lmite de la ecuacion (3.21)
b) mediante una ecuacion que se deriva de la 2da. igualdad de la ecuacion de
estado (3.20) para
lim () = lim ( ) = , luego es:
siendo de (3.16)
= . ()
= 1
=0
(3.23)
(3.24)
Se puede observar que de (3.23) el vector p de probabilidades en el regimen

permanente es constante e independiente del intervalo que se toma dentro de dicho regimen. Luego de (3.23) y (3.24) conocida la matriz ()
se puede calcular el vector p.
c) un camino mas practico de calculo es hacerlo en funcion de la matriz D.
Desarrollando la (3.23):
0 . . . . . .
00 () . . .
..
.
x 0 () . . .
..
.
0 () . . .
0 () . . .
..
.
() . . .
..
.
() . . .
derivando con respecto a en = 0 es:
0 ()
..
.
() = 0 . . . . . .
..
.
()
0 . . . . . .
{z
00 . . .
..
.
0 . . .
..
.
0 . . .
|
0 . . .
..
.
. . .
..
.
. . .
0
..
.
..
.
{z
0 0 ... 0
(3.25)
{z
0
siendo de (3.24):
0 . . . . . .
1
1
..
.
1
= 1
y de (3.10)
(3.26)
(3.27)
las (3.25) a (3.27) tambien pueden expresarse de la forma

. = 0 ;
=0
m+1
ecuaciones
= 1
(3.28)
(3.29)
=0
siendo:
(3.27)
Ademas por (3.27) la suma de los elementos de cualquier la de la matriz D es cero, luego una columna cualquiera es combinacion lineal de las
m columnas restantes, o lo que es equivalente: una cualquiera de las m+1
ecuaciones es combinacion lineal de las m ecuaciones restantes, pudiendose
eliminar. Si se desecha por ejemplo la u
ltima ecuacion, su lugar formal en
la expresion matricial (3.25) puede ser ocupado por la (3.26), eliminando
la u
ltima columna de D, e incorporando en su lugar el vector de unos, y
reemplazando el u
ltimo cero del vector de terminos independientes por un
uno, quedando de esta manera integradas las ecuaciones (3.25) y (3.26) en

una sola ecuacion:
0 1 . . . 1
{z
00
10
...
0
0
01
11
...
...
1
...
...
...
...
0,1
1,1
...
...
,1
{z
1
1
...
1
}
0 0 ... 0 1
(3.30)
=
{z
1
(3.27)
luego el vector p de probabilidades del regimen estacionario queda expresado:

p = B . 1
(3.31)
y dada la estructura particular de B, p esta integrada por la u

ltima la de
1
la matriz .
Este sistema de ecuaciones puede ser tambien interpretado como un sistema de balance de ujos probabilisticos para una cadena de parametro
continuo. En efecto, si en la (3.27) se efect
ua el cambio de variables j por
i y k por j queda:
reemplazando en la (3.28) queda:

0=
. + . =
. .
y ordenando:
. = .
(3.32)
que es la extension de la ecuacion (2.35) de balance de ujos probabilisticos

para el caso de cadenas de parametro continuo.
DE CADENAS DE MARKOV
APLICACION
A SISTEMAS DE ATENCION
4
4.1
Denici
on del problema
Dado un sistema de atencion o prestacion de un servicio cualquiera a clientes

de cualquier naturaleza, se quiere estudiar las caractersticas del proceso de
atencion y de eventual espera en cola de los clientes (problema de analisis)
o determinar la conguracion de los canales de atencion para satisfacer un
objetivo denido (problema de dise
no o sntesis).
Las principales caractersticas de estos procesos son las siguientes:
* arribos de unidades a intervalos de tiempo regulares o irregulares a un
sistema integrado por un centro de atencion o servicio (canales) y un centro
de espera (cola)
* el centro de servicio puede estar constituido por una o varias estaciones o
canales y cada unidad debe pasar por una (o eventualmente varias) estacion
con el n de recibir un servicio de duracion aleatoria.
* la duracion del servicio y el regimen de arribos denen que las unidades
puedan tener que esperar que una estacion se encuentre disponible, formando colas o lneas de espera.
Como ejemplo de estos procesos pueden mencionarse los siguientes:
Naturaleza de las
unidades
Naturaleza del
servicio
Naturaleza de
las estaciones
clientes
aviones
llamadas telefonicas
mensajes
maquinas en reparacion
vehculos
ventas de un artculo
aterrizaje
conversaciones
decodicacion
reparacion
paso en un cruce
vendedores
pista
circuitos
decodicadores
mecanicos
semaforo
La estructura de estos sistemas con sus elementos basicos puede representarse

de la siguiente manera:
|
|
{z
}
linea de espera
{z
sistema
Seg
un que la naturaleza del estudio sea de analisis o de dise
no, los interrogantes que surgen en el problema pueden estar dados por:
funcionamiento del sistema
umero necesario de canales

n
conguracion del sistema velocidad de atencion de los canales
capacidad de la cola, etc
Ademas el objetivo del problema puede ser:

* Z = Costo mnimo
= costo operativo de 1 canal ($/hora.canal) x M (n de canales) +
+ costo por demora de los clientes ($/hora.cliente ) x L (n medio de
clientes en el sistema) mnimo
* Z = Benecio maximo
= benecio por atencion de clientes ($/cliente) x (velocidad de ingreso
de clientes: clientes/hora) - costo operativo de cada canal ($/hora.canal)
x M (n de canales) maximo
Para el calculo del n

umero medio de clientes en el sistema es preciso denir una
variable aleatoria de estado i = n que represente al n
umero de clientes en el
sistema. En funcion de la misma sera:
= () =
para lo cual es necesario calcular las probabilidades de estado p, lo cual puede

efectuarse mediante el metodo de cadenas de Markov descripto en los captulos
anteriores.
A continuacion se efect
ua la modelizacion del proceso mediante una cadena de
Markov particular llamada de nacimiento y muerte para luego aplicar dicho
modelo en distintos casos de sistemas de atencion.
4.2
Modelizaci
on mediante una cadena de Markov tipo nacimiento
y muerte
En el proceso en estudio se producen

dos fenomenos aleatorios: arribos
y servicios, los cuales en general

responden a procesos tipo Poisson de
medias y respectivamente.
En base a estas hipotesis el proceso se puede modelar como una cadena de

Markov cuyos estados X(t) = i = n identican a los clientes en el interior del
sistema, analizando por separado las probabilidades y tasas de transicion de
ambos fenomenos:
a) arribos
El regimen de arribos x producidos en un intervalo t viene dado por:
()
. () = (/, ) =
; y para x = 1 es:
!
1
. ()
= ()
como puede observarse el proceso Poisson de arribos es Markoviano homogeneo, pues las probabilidades de arribos solo dependen del tiempo
t y no de la historia. Luego las tasas de arribos seran:
]
0 (0) + 0 .(0)
. = . ()
=0
=
!
=0
1
= 1
]
. ()
= 0 .0 + 0 . =
(4.1)
=0
b) despachos
El regimen de despachos = producidos en un intervalo t es:
()
1
. () = (/, ) =
!
. ()
analogamente al caso anterior se llega a:

. = 0
1 . =
(4.2)
siendo tambien el proceso de despachos Markoviano homogeneo, y por lo

tanto el fenomeno aleatorio conjunto arribos-despachos tambien lo es.
Por otra parte, estos resultados establecen que en intervalos de tiempo
dt muy peque
nos la probabilidad de que se produzcan x=2 o mas arribos o x=2 o mas servicios es nula (diferencial de segundo orden), luego el
tama
no de la poblacion X(t) = i = n solo puede aumentar en uno, o disminuir en uno o permanecer igual. Esta cadena particular recibe el nombre
de proceso de nacimiento y muerte y queda denida por las tasas de las
ecuaciones (4.1) y (4.2)
`
2
; = + 1 ()
; = 1
()
=

0 ; , / 2
(4.3)
1

XYZ[
_^]\
1
W
WVUT
PQRS
Las tasas de transicion se ilustran en el grafo

de la gura. En los puntos siguientes se aplica esta
cadena a distintos casos de sistemas de atencion
+1

XYZ[
_^]\
+1
W
+1
4.3
+2
Modelo general de canales en paralelo de igual velocidad
La estructura general del sistema y las hipotesis basicas de funcionamiento son

las siguientes:
* canales en paralelo de igual velocidad

* cola de capacidad nita o innita, sin prioridades

* poblacion innita, sin impaciencia
* regimen de arribos: Poisson

* regimen de despachos: exponencial
Ademas se denen los siguientes parametros y variables:
..
.

. = velocidad de arribo(cl/h) = 1/ = 1/tiempo promedio entre arribos

. = velocidad de despacho(cl/h) = 1/ = 1/tiempo promedio entre servicio
. = / = factor de traco
. = longitud (n
umero promedio de clientes) del sistema
. = longitud (n
umero promedio de clientes) de la cola
. = n
umero promedio de clientes en los canales
. = tiempo promedio de permanencia en el sistema
. = tiempo promedio de espera en la cola
. ( > 0) = probabilidad de tener que esperar en la cola (no ser atendido
de inmediato)
. = n
umero de canales en paralelo
. = m = n
umero maximo de clientes en el sistema (capacidad)
. = i = variable de estado que expresa el n
umero de clientes en el sistema
. = probabilidad de n en el regimen estacionario
A efectos de calcular los indicadores , , , es necesario calcular
la probabilidad del regimen estacionario, a partir de las Ecuaciones (3.30) y
(3.27) y con las tasas denidas en la (4.3). Para la construccion del grafo y
la matriz de tasas de transicion A es recomendable seguir los siguientes pasos:
1. se construye el grafo de tasas de transicion
2. se construye la matriz A por las con el siguiente procedimiento:
(a) tasas de transicion : para cada la i , en correspondencia con las
columnas j se colocan las tasas correspondientes a los arcos que
salen del estado i a cada uno de los estados j en el grafo
(b) tasas de permanencia : son los elementos de la diagonal principal
de la matriz A, y para cada la i se calculan como la suma de las tasas
de transicion de esa la, cambiada de signo, seg
un la ecuacion (3.27)
(c) la u
ltima columna de la matriz de tasas se reemplaza por un vector de
unos
Aplicando esta metodologa al caso en estudio se tiene:
Estados i = n =
z
GFED
@ABC
0
z
GFED
@ABC
: 1
0
/
(0)
(1)
(2)
= (3)
( 2)
( 1)
()
3

@ABC
GFED
: 2
2
...
%
GFED
@ABC
n-1
2 F
89:;
?>=<
(0)
(1)
(2)
0
1
2
(0 )
0
0
1 (1 + 1 )
1
0
2
(2 + 2 )
0
0
3
...
...
...
0
0
0
0
0
0
0
0
0
...
...
...
...
+1
8

ONML
HIJK
n+1
+
...
( 1)
...
1
...
0
...
0
...
0
...
0
...
...
...
2
. . . (1 + 1 )
...
...
...
1
...
...
...
...
...
...
...
...
...
...
...
...
......
( )
1
1
1
1
...
1
1
1
...
luego de (3.30): p.A = B se pueden despejar las probabilidades del regimen permanente. En este caso la estructura particular de A hace innecesario el calculo
de 1 pues se puede establecer ecuaciones de recurrencia tal como se indica a
continuacion:
.0 = 0 0
+1 1
=0
(4.4)
.1 =
0 0 1 (1 + 1 )
+2 2
=0
(4.5)
.2 =
1 1
2 (2 + 2 ) +3 3
=0
(4.6)
.....................................................................................................................
.1 =
2 2 1 (1 + 1 ) +
=0
(4.7)
.....................................................................................................................
. =
+1
+2
+3
...
+2
+1
. . . + = 0 (4.8)
luego de (4.4)
0 0 = 1 1
1 =
0
0
1
sumando (4.4) y (4.5)
1 1 = 2 2
2 =
1
1 =
2
1 0
0
2 1
sumando (4.4), (4.5) y (4.6)
2 2 = 3 3
3 =
2
2 =
3
2 1 0
0
3 2 1
1
1 =
sumando (4.4), (4.5), (4.6) y (4.7) : 1 1 =
1 . . . 2 1 0
0
. . . 3 2 1
(4.9)
quedando las probabilidades (0 ) :
.0
(4.10)
= 1 0 = . . .
(4.11)
y reemplazando la (4.10) en (4.8) :
=0
obteniendose 0
= 0, 1, . . . ,
Se distinguiran cuatro casos, seg

un que la capacidad de la cola N sea innita
o nita, y para cada caso dos subcasos seg
un que el n
umero de canales M sea
mayor que uno o exactamente uno.
4.3.1) Sistema de > 1 canales similares de atencion en paralelo de igual y

cola innita ( )
La estructura general del sistema es:
{z
..
.

}
y se cumplen:

= = .
;
=
1/
}
= , = 1, 2, . . . , 1
; = /
; = 1/
= , = , + 1, + 2, . . .
luego aplicando las (4.10) y (4.11) quedan:
. para <
z }| {
.0

.. . . .
0 =
=
0
=
.2.3 . . .
!
!
de (4.10)
. para
z
}|
{
.
.
.
.
..
.
.
.
.0
.2 . . . . . . . .
!
|
{z
}|
{z
}
(4.12)
0
!
(4.13)
reemplazando en (4.11):
( 1
)
( 1
)
)
= 0
+
= 0
+
!
!
!
=0
=0
=0
=
=
0 =
( 1

=0
1
! (1 / )
)1
(4.14)
para que la serie geometrica sea convergente debe cumplirse que:

<
(4.15)
Luego de calculada la probabilidad con las ecuaciones (4.12), (4.13)

y (4.14) se pueden calcular los demas indicadores caractersticos.
(a)
= ( ) =
( ) = 0
( )
=
!( )
( )

+1
( )
(/ ) =
= 0
= 0
!
! (/ )
=
+1
1
= 0
=
! (/ ) (1 / )
+1
1
= 0
! (1 / )2
(b)
(4.16)
= () =
. =
=0
z}|{
. +
=0
}|
.
z }| {
. +
.
pero de (4.9) es:

{
1 .1 = .
/ < : .1 = . = 1 reempl. en a:
/ : .1 = . = 1 reempl. en b:
)
]
( 1
= +
1 +
1 = +
=1
(c)
= =
(d)
. = /
(4.17)
(4.18)
(4.19)
(e)
= . = / =
(f) ( > 0)
De la (4.14) y su desarrollo previo surge facilmente:
(4.20)
( > 0) = ( ) = 0
! 1 /
(4.21)
Se demuestra que:
(
)
1
( > ) = 0
(1/ )
! 1 /
(4.22)
4.3.2) Sistema con un canal y cola innita


y son aplicables las expresiones anteriores con M=1:

de (4.13): = .0
de (4.14): 0 =
(4.23)
1
=1
1 + /(1 )
de (4.15): < 1
de (4.16):

=
(1
)
(4.24)
(4.25)
2
2
=
(1 )
(1 )2
(4.26)
de (4.17): = +
(4.27)
de (4.18): =
(4.28)
de (4.19): = /
(4.29)
de (4.20): = / =
de (4.21): ( > 0) = (1 )
(4.30)
1
=
1
(4.31)
de (4.22): ( > ) = (1)
(4.32)
4.3.3) Sistema > 1 canales similares en paralelo de igual y cola nita


{z
y se cumplen:
= = . ; = 0, 1, . . . , 1
= =
; = 1, 2, . . . , 1
= =
; = , + 1, . . . ,
= 0
Luego aplicando las (4.10) y (4.11) quedan expresiones similares a las (4.12)
y (4.13)
0
!
=
0
!
<
(4.33)
(4.34)
reemplazando en (4.11) se obtiene 0 .
= 0
( 1

=0
=0
0 =
( 1

=0
)
= 0
( 1

=0
+1
1 (/ )
1 (/ )
( )
+
! !
)
=1
))1
(4.35)
Debe notarse que en este modelo la relacion / puede ser 1. Luego

de conocida la probabilidad p de las ecuaciones (4.33), (4.34) y (4,35) se
pueden calcular los demas indicadores:
=
=
=
=
=
( )
()
/
/

(4.36)
(4.37)
(4.38)
(4.39)
(4.40)
(
siendo = (1 ) = 1
)
0
(4.41)
4.3.4) Sistema con un canal y cola nita


y son aplicables las expresiones anteriores con M=1

de (4.34): = .0
(
de (4.35): 0 =
(
) )1 (
)1
1
1 + +1
1
1+
=
=
1
1
1 +1
(4.42)
(4.43)
Tambien en este modelo puede ser 1. Luego de conocida la probabilidad pn de las (4.42) y (4.43) se pueden calcular los indicadores:
(a)
= () =
. = 0
. = 0
= 0 .
=0
=0
=0
( + 1) (1 ) + (1 +1 )
0 .
(1 )2
(
(
= 0
1 +1
1
)
=
. +2 ( + 1) +1 +
(1 )2
(4.44)
expresion general que puede simplicarse para los casos limites:

a.1)
si 1 : 0
= 1 = (1 )
a.2) si 1 : 0
=
(1 )2
)
=

= + 2
1
(4.45)
1
+ + 1
1
=
=+
=
+1
1
1
(4.46)
1
2
(4.47)
a.3) si 1 : = +
1
1
( + 2)( 1)
=
12
2
(b)
= ( 1) =
=1
( 1) =
=0
= (1 0 )
(4.48)
=0
expresion general que puede simplicarse para los casos limites:

b.1) si 1 : 0 = 1 =
b.2)
(
)
1
1
si 1 : 0 =
= 1
=1
+1
+1
(4.49)
(4.50)
1
2
b.3) si 1 : 1 = ( 1) +
1
1
( 1)( + 1)( 1)
= ( 1)
12
2
(4.51)
(c)
=
(4.52)
(d)
= /
; siendo = (1 )
(4.53)
(e)
/
=
. = /
4.4
(4.54)
Modelo de dos canales en paralelo de distinta velocidad y cola

innita
La estructura general del sistema es la siguiente:
y el grafo de tasas de transicion, la matriz A y el vector p son:
Estados i =
/2
7654
0123
0Z p
(0)
(1)
(1)
(2)
(3)
(4)
/2
?>=< q
89:;

7654
0123
02
a
!
0123
7654
3`
(0)
(1)
(1)
(2)
(3)
(4)
1
1
2
3
3
4
/2
/2
0
0
0
... 1
( + )
0
0
0
... 1
0
( + )
0
0
... 1
0
( + + )
0
... 1
0
0
0
( + )
( + + )
... 1
0
0
0
0
0
( + ) . . . 1
.............................................................................
.0 =
.1 =
.1 =
89:;
1 ?>=<
1Z
.0
+ .1
2 .0
( + )1
2 .0
+ .2
......
= 0 (4.55)
( + )1
+ .2
= 0 (4.56)
+ .2
= 0 (4.57)
.2 =
.1
.1 ( + + )2
+( + )3
= 0 (4.58)
.3 =
.2 ( + + )3 +( + )4
= 0 (4.59)
................................................................................................................
. =
+1
+1
+2
luego de (4.55): .0 = 1 + 1
+3
+4 . . . = 1 (4.60)
(4.61)
sumando (4.55), (4.56) y (4.57) :

(1 + 1 ) = ( + )2 2 =
(1 + 1 )
+
sumando (4.55), (4.56), (4.57) y (4.58):

.2 = ( + )3 3 =
2
+
(4.62)
sumando (4.55), (4.56), (4.57), (4.58) y (4.59):

.3 = ( + )4 4 =
3
+
(4.63)
ademas de las (4.56) y (4.57) se pueden despejar 1 y 1 :

de (4.56): 1 =
/2
2 +
0
+
+
(4.64)
de (4.57): 1 =
/2
2 +
0
+
+
(4.65)
reemplazando las (4.63) y (4.64) en la (4.60) queda:

.0 =
.
.
.
.
2 +
0 +
2 +
0 , despejando 2 queda:
+
2( + )
+
2( + )
2( + ) 2( + )
2 =
0
.
.
+
+ +
(
y por
ltimo de (4.60) se despeja 0 :
u
de
: 0 = . . . . . .
(4.66)
(4.67)
4.5
Modelo de dos canales en paralelo de distinta velocidad y cola

nita de una sola posici
on
y el grafo de tasas de transicion,la matriz A y el vector p son:
Estados i = (a, b, cola)
gfed
2 àbc
1, 0, 0
]
/2
gfed
àbc
0, 0, 0 r
(000)
(100)
(010)
(110)
(111)
/2

gfed
àbc
0, 1, 0 r

àbc
gfed
2 1, 1, 0
k
+
(000)
(100)
(010)
(110)
000
100
010
110
/2
/2
0
( + )
0
0
( + )
( + + )
0
0
0
( + )
000
100
010
110
1
1
1
1
1
111
àbc
gfed
1, 1, 1
.000 =
.100 =
.010 =
.110 =
. =
.000
+ .100
2 .000
( + )100
2 .000
+ .010
( + )010
+ .110
=0
+ .110
=0
+.010 ( + + )110 +( + )111 = 0
.100
000
=0
+100
+010
+110
+111 = 1
resolviendo el sistema de ecuaciones se obtienen la cinco probabilidades como

en los ejemplos anteriores.
4.6
Modelo de dos canales en serie de distinta velocidad, sin cola

intermedia

y el grafo de tasas de transicion,la matriz A y el vector p son:
Estados i = (a, b)
0 WVUT
PQRS
1, 0 o
WVUT
PQRS
0, 0
Y
WVUT
PQRS
1,
1
A

WVUT
PQRS
PQRS
1, 0 o WVUT
1 , 1
estado = (1 , 1) signica canal b bloqueado
(0, 0)
= (1, 0)
(0, 1)
(1, 1)
(1 , 1)
(0, 0) (1, 0)
(0, 1)
(1, 1)
00 10
01
11
0
0
0
0
( + )
0
( + )
0
0
00
10
01
11
1
1
1
1
1
1 ,1
luego aplicando la (3.30): p.A = B queda:
.00 =
.10 =
.00
.00 .10
. =
= 0 (4.68)
+ .11
.10 ( + )01
.01 =
.11 =
+ .01
+ .1 ,1 = 0 (4.70)
.01 ( + ).11
00
10
01
= 0 (4.69)
11
= 0 (4.71)
1 ,1 = 1 (4.72)
luego de (4.68):
01 =
.00
(4.73)
de (4.71):
11
2
=
.01 =
.00
+
( + )
de (4.68) y (4.74):
(4.74)
10
= .11 + .00 =
2
+
( + )
)
00
(4.75)
y de (4.69), (4.72) y (4.73):

1 ,1
( + )
.01 .10 =
=
2
( + )
( + )
)
00
(4.76)
y de las (4.72), (4.73), (4.74), (4.75)y (4.76):

00
)1
(
2
( + )
= 1+
+
+
( + )
2
(4.77)
Si se cumple que = = , haciendo = / quedan:

1
1 + 2 + 32 2
(4.78)
+ 12 2
=
1 + 2 + 32 2
(4.79)
1 + 2 + 32 2
(4.80)
00 =
10
01 =
11 = 1 ,1 =
1 2
2
1 + 2 + 32 2
(4.80)
ecuaciones que para los casos lmites se transforman en:
{
a) 1
00 = 01 = 0
10 = 11 = 1 ,1 = 1/3
00
b) = 1 10
11
00
c) 1 10
11
= 01 = 2/9
= 3/9
= 1 ,1 = 1/9
= 1 2
= 01 =
= 1 ,1 = 0
Por u
ltimo los indicadores: longitud del sistema L, n
umero promedio de canales
que estan efectivamente trabajando: , y grado de ocupacion de cada uno de
ellos: 1 y 2 , quedan expresados de la siguiente forma:
2 + 25 2
+ 1 ,1 ) =
1 + 2 + 32 2
(4.82)
= 10 + 01 + 1 ,1 + 211
2 + 22
=
1 + 2 + 32 2
(4.83)
1 = 10 + 11
+ 2
=
1 + 2 + 32 2
(4.84)
2 = 01 + 11 + 1 ,1
+ 2
=
1 + 2 + 32 2
(4.85)
= 10 + 01 + 2(11
ecuaciones que para los casos lmites se transforman en:

a) 1 : = 5/3 ; = 4/3 ; 1 = 2 = 2/3
b) = 1 : = 1 ; = 8/9 ; 1 = 2 = 4/9
c) 1 : = 2 ; = 2 ; 1 = 2 =
APLICACIONES
5.1
Aplicaci
on comercial (Brand switching)
Un cliente puede adquirir un televisor de alguna de las siguientes marcas: X, Y

o Z. Se asume que estas alternativas cubren todas las posibilidades de compra.
Con respecto al comportamiento de compra, los fabricantes de los televisores
disponen de la siguiente informacion:
* El 30% de los clientes que poseen un televisor X se mantienen leales a la
marca en su proxima compra, mientras que el 40% adquiere un Y y el 30%
restante, un Z.
* De los clientes que actualmente poseen un televisor marca Y, el 40% compra un televisor X, el 25% vuelve a adquirir un Y y el resto uno de la marca
Z.
* El 20% de los clientes que poseen un Z compran un X, el 30% un Y y el
resto no cambia de marca.
Se desea saber:
a) Cual es la probabilidad de que un poseedor de un televisor X adquiera un
Z al cabo de dos compras?
b) Cual es la probabilidad de que el due
no de un X compre nuevamente un
televisor de la misma marca luego de tres transacciones?
c) Cual sera el porcentaje de participacion en el mercado a largo plazo?
d) Cual es el n
umero esperado de compras que transcurriran antes que el
actualmente poseedor de un televisor X adquiera un Z?
Solucion:
a) Se puede resumir el comportamiento de la proxima compra con la siguiente
matriz de transicion:

0, 3 0, 4
=
0, 4 0, 25
0, 2 0, 3
0,3

89:;
?>=< j
V

* ?>=<
6 89:;
0,4
0, 3
0, 35
0, 5
0,25
0,4
0,5
0,3

?>=< v
89:;
S
0,2
0,35
0,5
(1)
(2)
1
= [0, 3 0, 4 0, 3]
(1)
1 .
0, 3 0, 4 0, 3
= [0, 3 0, 4 0, 3] 0, 4 0, 25 0, 35 = [0, 31 0, 31 0, 38]
0, 2 0, 3 0, 5
(2)
Si vector 1 informa las probabilidades de que el due

no de un televisor
X adquiera un X, Y o Z despectivamente en la segunda compra. Luego, la
probabilidad de que adquiera un Z en dos transacciones es 38%.
La misma informacion puede obtenerse de la matriz 2 . En ella podemos
observar todas las probabilidades asociadas al segundo paso para todos los
estados iniciales.
As la probabilidad de que el actualmente poseedor de un Y adquiera un
Z en la segunda compra es 38,25%.
0, 31 0, 31 0, 38
2
La probabilidad de que el due
no
= 0, 29 0, 3275 0, 3825
de un televisor marca Z vuelva a
0, 28 0, 305 0, 415
adquirir otro de la misma marca en
dos transacciones es 41,5%, etc.
b)
(3)
1
(2)
1 .
0, 3 0, 4 0, 3
= [0, 31 0, 31 0, 38] 0, 4 0, 25 0, 35 = [0, 293 0, 3155 0, 3915]
0, 2 0, 3 0, 5
Otra forma de calcular el vector V es:

(3)
1
(1)
1 . 2
0, 31 0, 31 0, 38
= [0, 3 0, 4 0, 3] 0, 29 0, 3275 0, 3825 = [0, 293 0, 3155 0, 3915]
0, 28 0, 305 0, 415
Es decir, la probabilidad de que el ahora due

no de un X compre nuevamente un televisor de la misma marca el cabo de 3 pasos es 29,3%. Al
mismo resultado pudo arribarse a partir de la 3 .
0, 293 0, 3155 0, 3915
= 0, 2945 0, 3127 0, 3928
0, 289 0, 3128 0, 3982
3
c) Se forma un sistema de ecuaciones formado por N-1 ecuaciones extradas

del producto matricial
0, 3 0, 4 0, 3
[() () ()] 0, 4 0, 25 0, 35 = [() () ()]
0, 2 0, 3 0, 5
y por la ecuacion p(x) + p(y) + p(z) =1
().0, 3 + ().0, 4 + ().0, 2 = ()

().0, 4 + ().0, 25 + ().0, 35 = ()
() + () + () = 1
Resolviendo este sistema de 3 ecuaciones con 3 incognitas resulta:
p(x)=0,2919 p(y)=0,3135 p(z)=0,3946
Es decir, a largo plazo los porcentajes de participacion en el mercado seran
29,19%, 31,35% y 39,46?% para las marcas X, Y y Z respectivamente. Al
mismo resultado pudo haberse arribado calculando una potencia de P para
un n
umero alto de transacciones:
0, 2919 0, 3135 0, 3946

= 0, 2919 0, 3135 0, 3946
0, 2919 0, 3135 0, 3946
8
d) Se modica la matriz de transicion P, convirtiendo al estado Z en un estado

absorbente:

0, 3 0, 4
0, 4 0, 25
0
0
0, 3
0, 35
1
Esta matriz se descompone en 4 submatrices de la forma
1
0
0, 3 0, 3
0, 35 0, 4
0
0, 4
0, 25
Luego se procede a calcular la matriz ( )1

=
1 0
0, 3 0, 4
0, 7 0, 4
=
0 1
0, 4 0, 25
0, 4 0, 75
( )1 =
2, 0548 1, 0959
1, 0959 1, 9178
El vector
= ( )1 .1 nos dara el n
umero promedio de pasos que
transcurren hasta que el proceso se absorba para cada uno de los estados
no absorbentes iniciales.
2, 0548 1, 0959
1
3, 1507
=
1, 0959 1, 9178
1
3, 0137
Luego, el n
umero esperado de transacciones que transcurren hasta que
el actualmente poseedor de un televisor X adquiera un Z es 3,1507.
5.2
Planeamiento de Personal
El Departamento de Relaciones con el Personal de una rma realiza un estudio de niveles de categora para proveer promociones adecuadas en el momento
oportuno, controlar el pago de haberes, analizar necesidades: de contratacion
de personal, etc. Esta empresa tiene 20 empleados de categora 3 (la mas alta),
80 de categora 2 y 200 de categora 1 (la mas baja de todas).
En base a datos historicos se espera que el 35% de los empleados de la categora
1, el 20% de la 2 y el 5% de la 3 dejen la empresa anualmente por renuncias,
despidos, jubilaciones, fallecimientos, etc.
Considerando las siguientes polticas de personal:
- mantener la misma cantidad de empleados (total y por niveles)
- realizar contrataciones solamente en el primer nivel
- dar promociones a los empleados una sola vez por a
no
el gerente del Departamento encargo al grupo de Investigacion Operativa de la
empresa:
1. Averiguar que cantidad de gente debera contratarse y que cantidad debera
promoverse a la categora inmediata superior para mantener los niveles de
empleados estables, anualmente.
2. Determinar el tiempo de permanencia promedio de un empleado en la
compa
na (ndice de rotacion del personal)
3. Calcular la probabilidad de que un empleado que recien ingresa a la rma

llegue a la maxima categora.
Solucion:
1. El siguiente graco representa el proceso de promociones anuales de los
empleados.

7654
0123
1
7654
0123
/
q8 0O
q
q
q
qqq
0,20qqqqq
0,05
qq
qqq
q
q
q
qqqq
7654
0123
0123
7654
/3
2K
S
0,35
Todos los empleados llegaran si estado 0, que es un estado absorbente.

Las probabilidades de transicion a los demas estados se desconocen, pero
se puede resolver el problema analizando el ujo de empleados en cada
nodo.
Para mantener el mismo nivel de empleados en
la categora, la cantidad promedio a promover
- Nodo 3
a la categora 3 (x) debe ser igual a la cantidad
O
promedio que pasan al estado 0 (y).
y=20 . 0,05 = 1
/ GFED
@ABC
x=1
20
Permanecen z = 20 - 1 = 19
- Nodo 2
>
}}
}
}}
}}
}}}
@ABC
GFED
80 3 /
El n
umero medio de empleados a promover a
la categora 2 (x) debe ser igual a los que se
promocionan a la categora 3 mas los que se
absorben (y)
y = 80 . 0,20 = 16
x= 16 + 3 = 19
Permanecen z = 80 - 19 = 61
La cantidad media de empleados a contratar

anualmente (x) debe igualar al n
umero promedio de individuos que pasan al estado 0 mas
los que se promueven al estado 2.
y = 200 . 0,35 = 70
x= 70 + 19 = 89
z = 200 - 89 = 111
- Nodo 1

ONML
HIJK
200
19

Estos valores podemos resumirlos en el siguiente cuadro (o en su correspondiente matriz de transicion):

Cat. 1 2 3
1 111 19
2
61 3
3
19
0,555

7654
0123
1
1
2
3
1 0, 555 0, 95
0, 7625 0, 375
= 2
3
0, 95
4
0 Total
70 200
16 80
1
20

0123
7654
/8 0
q
qq O
qqq
q
q
0,20qqqq
0,095
0,05
q
qqq
q
q
qq
qqqq
0,0375
7654
0123
0123
7654
/3
2K
S
4
0, 35
0, 2
0, 05
1
0,35
0,95
0,7625
2. Agrupando la matriz de transicion, se procede a calcular la matriz (

)1 :
0
1
2
3
0 1
0
0
0
1 0, 35 0, 555 0, 095
2 0, 2
0, 7625 0, 0375
3
0, 95
0, 555
=
0, 95
0, 7625 0, 0375
0, 95
0, 555
=
0, 95
2, 2472 0, 8989 0, 6742
1
0, 7625 0, 0375 ( ) =
0
4, 2105 3, 1579
0, 95
0
0
20
Luego, el ndice de permanencia promedio en la empresa es de 3,82 a
nos por
empleado.
3, 8203
= 7, 3684
20, 0
3. Para calcular la probabilidad de que un empleado que se encuentra actualmente en el estado 1 logre la maxima categora, se supone al estado 3 como
un estado absorbente.
0,555

7654
0123
1

0123
7654
/8 0
qq
qqq
q
q
0,20qqqqq
0,095
qq
qqq
q
q
q
qqqq
0,0375
7654
0123
0123
7654
/3
2K
S
0,35
0,7625
La matrz de transicion reagrupada en el formato

3
0
es:

3
1
0
1
1
0, 35 0, 555 0, 095
2 0, 0375 0, 2
0, 7625
=
0, 555
0, 95
0, 7625
( )1 =
( ) =
0, 445 0, 095
0
0, 2375
2, 2472 0, 8989
0
4, 2105
( )1 . =
2, 2472 0, 8989
0
0, 35
0, 03371 0, 9663
.
=
0
4, 2105 0, 375 0, 2
0, 1579 0, 8421
Luego, la probabilidad de que un empleado de la primer categora alcance

la maxima es de 3,37%. Tambien se puede observar que la probabilidad de
lograr esa categora para un empleado de la categora 2 es de 15,79%.
Otra nformacion u
til es el n
umero esperado de a
nos que transcurren hasta
alcanzar la maxina categora. Para ello, se multiplica la natrz ( )1
por un vector unitario:
2, 2472 0, 8989 1
3, 1461
.
=
0
4, 2105 1
4, 2105
En promedio, un empleado de categora 1 tardara 4,21 a

nos hasta alcanzar
la categora 3.
5.3
Gesti
on de inventarios
La demanda mensual de un repuesto en un proceso productivo tiene la siguiente

distribucion de probabilidad:
0
1
2 3
0, 6 0, 3 0, 1 0
Si el stock inicial es de 3 unidades, y la observacion del nivel de inventarios

se realiza al nalizar cada mes, determinar:
a. la probabilidad de que al cabo de dos meses se haya agotado el stock
b. la probabilidad de que al cabo de cuatro meses haya dos o mas de dos
repuestos en stock
c. el n
umero promedio de meses que trancurren hasta agotar el stock
d. el costo total de almacenamiento en cada ciclo de compra, si el costo de
almacenamiento unitario mensual es de 10$.
Solucion:
a. Llamaremos:
S0: ninguna unidad en stock al nalizar un mes
S1: una unidad en stock al nalizar un mes
S2: dos unidades en stock al nalizar un mes
S3: tres unidades en stock al nalizar un mes
0,6
3
2 1 0
3 0, 6 0, 3 0, 1 0
2
0, 6 0, 3 0, 1
1
0, 6 0, 4
0
1
0,6

0,3
ONML
HIJK
HIJK
/ ONML
3 GG
2 GG
GG
GG
GG
GG
GG
GG
GG0,1
GG0,1
GG
GG
0,3
GG
GG
GG
GG
1
GG
GG
G#
G#
0,4
HIJK
ONML
HIJK
/ ONML
2
1V
0,6
Los estados S3, S2 y S1 son transitorios, mientras que el estado S0 es

absorbente.
b.
3
2 1
0
3 0, 36 0, 36 0, 21 0, 07
2
= 2
0, 36 0, 36 0, 28
1
0, 36 0, 64
0
1
Luego la probabilidad de que trancurridos dos meses se haya agotado

el stock es 0,07=7%
3
2 1
0
3 0, 13 0, 26 0, 29 0, 32
2
0, 13 0, 26 0, 61
1
0, 13 0, 87
0
1
La probabilidad de que haya dos

o mas repuestos al cabo de cuatro
meses es 0,26 + 0,13 = 0,39 (39% ).
c. Se reagrupa la matriz de transicion P en cuatro submatrices y se calcula

la inversa de I-N
0 3 2 1
1 0
0
0
0
3
0, 6 0, 3 0, 1
2 0, 1
0, 6 0, 3
1 0, 4
0, 6
0, 4 0, 3 0, 1
=
0, 4 0, 3
0, 4
3 2 1
3 0, 6 0, 3 0, 1
=
2
0, 6 0, 3
1
0, 6
( )
10/4 30/16 25/32

=
10/4 30/16
10/4
10/4 30/16 25/32

1
5, 16
=
10/4 30/16 x 1 = 4, 38
10/4
1
2, 5
La duracion promedio de un lote de tre unidades es de 5,16 meses.
d. El n
umero prometido de meses que el sistema esta en cada uno de los estados S3, S2 y S1 es, respectivamente, 10/4, 30/16 y 25/32, valores que
obtenemos de la matriz ( )1 . Luego; el costo esperado de almacenamiento es:
[
]
10
30
25
$
1 x
+ 2 . x
+ 3 . x
x 10
4
16
32
.
= 85, 94
5.4
Planeamiento de producci
on
A un centro productivo de una fabrica llegan piezas para someterse a un proceso

de mecanizado en dos maquinas (A y B). Luego de cada etapa de elaboracion
se realiza, un control de calidad (CCA y CCB). La secuencia de fabricacion de
las piezas se muestra en el siguiente graco:
0,03
de otro centro

/
0,05
àbc
/ gfed
0,10

/
0,02

àbc
/ gfed
0,09

/ a Almacenes
0,05

/ Desechos
Si durante el mecanizado una pieza se estropea, se la desecha sin pasar por

Control de Calidad. En los centros de inspeccion se puede devolver una pieza
para ser reprocesada o considerarla defectuosa. Las probabilidades estimadas
para cada caso se muestran en el graco.
Los tiempos esperados para la realizacion de cada operacion de mecanizado y
de inspeccion y los costos asociados son los siguientes.
Mecanizado A
Control A
Mecanizado B
Mecanizado A
() Costo($/)
2
1200
0, 1
2000
3
1800
0, 2
2000
El costo directo de cada pieza que llega al Centro es de 3000$/pieza y el costo

de oportunidad del material defectuoso es de 500$/pieza. Determinar:
1. la probabilidad de completar satisfatoriamente una pieza que entra al centro.
2. el n
umero esperado de piezas que deben ingresar al centro para producir
1000 piezas buenas.
3. los requerimientos de personal para cada pieza terminada.

4. el costo directo esperado de cada pieza terminada que sale del Centro
productivo.
Solucion:
Estado
PA
CCA
1. PB
CCB
D
A
Operacion
Procesamiento en maquina A
Control de Calidad del proceso A
Procesamiento en maquina B
Control de Calidad del proceso B
Defectuosas
Almacen de piezas terminadas
Los estados D y A son estados absorbentes.

~
@ABC
GFED
PA
0,03
0,90
~ 0,91
0,95 / GFED
0,90 / ?>=<
0,90 / ONML
HIJK
@ABC
HIJK
89:;
/ ONML
CCA<
PB
CCB
A
MMM
T
<<

MMM

<<

MMM
1

MMM0,10 << 0,02

MMM
<<

0,09
MMM <<
0,05
MMM <<

MMM<
& ?>=<
89:;
D
T
1
Reagrupando:
0, 90
0, 10
0, 30
0, 95
0, 02
0, 91 0, 09
0, 05
0, 05 0, 90
1
1
0, 10
0, 90
0, 02
0, 03
0, 95
0, 09
0, 91
0, 05 0, 90
0, 05
0 0, 90 0
0
0, 30 0 0, 95 0
=
0
0
0 0, 91
0
0 0, 05 0
( )1
1, 0277 0, 925
0, 0308 1, 0277
=
0
0
0
0
( )1 . =
0, 2661
0, 1621
0, 1419
0, 0571
1
0, 90
0
0
0, 30
1
0, 95
0
=
0
0
1
0, 91
0
0
0, 05
1
0, 9206
1, 0229
1, 0477
0, 0524
0, 7539
0, 8378
0, 8581
0, 9429
0, 8377
0, 9309
0, 9534
1, 0477
0, 10 0
0, 02 0
=
0, 09 0
0, 05 0, 90
Por lo tanto, la probabilidad de completar satisfactoriamente una pieza

que entra al proceso (probabilidad de
absorcion en el estado A) es 0,7539
(75,39% ).
2. El n
umero esperado de piezas que deben entrar al proceso para producir
una pieza buena es 1/0,7539=1,3264. Luego, se necesitaran 1327 piezas
para producir 1000 piezas buenas.
3. De la matriz ( )1 se obtiene el n
umero de veces que una pieza que
entra al centro productivo pasa por cada operacion.
Estados No de veces
No de veces
HH/pieza HH/pieza
(por pieza
(por pieza
procesada terminada
que entra) que sale terminada)
(a)
(b)=(a)x1,3264
(c)
(b)x(c)
PA
1,0277
1,3631
2
2,7263
CCA
0,925
1,2269
0,1
0,1227
PB
0,9206
1,2211
3
3,6633
CCB
0,8377
1,1111
0,2
0,2222
Estados
4.
PA
CCA
PB
CCB
Costo HH/pieza Costo/pieza

($/HH) terminada terminada
1200
2,7263
3271,56
2000
0,1227
245,40
1800
3,6633
6593,94
2000
0,2222
444,4
Costo M. de O.: 10555,30
Costo de materiales:
3000
$
pieza que entra
x 1, 3264
pieza que entra

piezas terminadas
= 3979, 2
$
pieza terminada
Venta de material de rezago:

500
$
pieza defectuosa
x 0, 2461
pieza defectuosa
piezas que entra
x 1, 364
pieza que entra

piezas terminada
= 163, 21
$
pieza terminada
Costo Mano de Obra 10555, 30

Costo de Materiales
3979, 2
- Venta de Defectuosos 163, 21
Costo directo
14371.29
5.5
pieza terminada
Analisis de fallas
Una maquina de un proceso productivo puede estar en uno de los siguientes

estados al nal de cada da de operacion:
0 = Perfectamente operable
1 = Operable con deterioro menor
2 = Operable con deterioro mayor
3 = Inoperable Cuando el sistema se encuentra en alguno de los tres primeros
estados pueden producirse artculos defectuosos durante el da siguiente. Los
costos esperados (debido a la produccion de defectuosos) para cada uno de los
estados son
Estado Costo
0
0
1
1000$
2
3000$
Cuando la maquina se encuentra en el estado 3 se la repara llevandola al estado
0 . Este trabajo toma un da para completarse a un costo de 4000$. El lucro
cesante diario es de 2000$.
Asumiendo las siguientes probabilidades de transicion
Estado 0 1 2
3
0
0 7/8 1/16 1/16
1
3/4 1/8 1/8
2
1/2 1/2
1. Formular el problena como una cadena de Markov
2. Calcular el costo promedio esperado a largo plazo
3. Determinar el n
umero promedio de das de funcionamiento de la maquina
Solucion:
1.
0 1 2
3
0
7/8 1/16 1/16
= 1
3/4 1/8 1/8
2
1/2 1/2
3 1
1/16
@@
~
@@
~~
@@
~
~
@@
3/4
~~
@@
~

~~ 7/8
1/8
HIJK
ONML
HIJK
HIJK
/ ONML
/ ONML
1
0 AA
2
A
X
}
A` A AA
}
}
AA AA
}
1/2
}
AA AA1/16
}}
AA AA
}
1/8 }}
AA A
}}
1 AAA AAA
AA A }}}
}~
A
ONML
HIJK
3
2. Calculamos las probabilidades en regimen estacionario asociadas a cada

estado
7/8 1/16 1/16
3/4 1/8 1/8
= [(0) (1) (2) (3)]
1/2 1/2
[(0) (1) (2) (3)]

1
(3) = (0)
(0).7/8 + (1).3/4 = (1)
(0) = 2/13
(1) = 7/13
(0).1/16 + (1).1/8 + (2).1/2 = (2)
(2) = 2/13
(3) = 2/13
(0) + (1) + (2) + (3) = 1
Costo promedio = 0.(0) + 1000.(1) + 3000.(2) + (4000 + 2000).(3) =

= 1923, 08$
3. Considerando el estado E absorbente

0 1 2
3
0 0 7/8 1/16 1/16
= 1 0 3/4 1/8 1/8
2 0 0 1/2 1/2
3 0 0
0
1
1 7/8 1/16
= 0 1/4 1/8
0
0
1/2
3
0 1
2
1
1/16
7/8 1/16
1/8
3/4 1/8
1/2
1/2
( )
1 7/2 1
= 0 4 1
0 0 2
1 7/2 1
1
5, 5
( ) .1 = 0 4 1 x 1 = 5
0 0 2
1
2
1
Por lo tanto, el tiempo esperado de cada ciclo de la maquina es 5,5 das.

5.6
Analisis de cuentas
El departamento de contadura de una empresa tiene la siguiente informacion

sobre la evolucion de los creditos de un mes a otro (en porcentajes):
Cuenta Corriente
Cred. Documentados
Morosos
Cuenta
Corriente
30
Creditos
Documentados
10
40
Morosos
Cobro
Incobrables
10
10
50
50
70
30
Suponiendo que se mantienen los niveles de creditos

1. Cual es la probabilidad de que una cuenta en Cuenta Corriente se cobre?
2. Cuantos meses transcurren en promedio hasta que se liquida una cuenta
de cada uno de los dos tipos de credito?
Solucion:
1.

0, 3 0, 1 0, 1
0, 4 0, 1
=

0, 5
0, 5
0, 7 0, 3
1
1
0, 7 0, 1 0, 1
=
0, 6 0, 1
1
1
0, 5
0, 3 0, 1 0, 1
0, 5
0, 4 0, 1
0, 7 0, 3
( )
1, 429 0, 238 0, 167

=
0
1, 667 0, 167
0
0
1
1, 429 0, 238 0, 167

0, 5 0
0, 950 0, 050
( ) . =
0
1, 667 0, 167 x 0, 5 0 = 0, 950 0, 050
0
0
1
0, 7 0, 3
0, 7
0, 3
1
La probabilidad de que una cuenta CC se cobre es de 95%.

2.
1, 429 0, 238 0, 167
1
1, 834
=
0
1, 667 0, 167 x 1 = 1, 834
0
0
1
1
1
En ambos casos es 1,834 meses.
5.7
Estudio de conabilidad en un sistema de lneas de transmisi

on
El sistema esta constituido por tres lneas de transmision de energa o informacion que operan en paralelo. Cada lnea puede encontrarse en servicio, o
fuera de servicio, ya sea por mantenimiento programado (indisponibilidad programada) o por falla, debido a la accion de un agente externo (indisponibilidad
forzada). Ademas el regimen de operacion no permite retirar una lnea por
mantenimiento programado cuando existe alguna otra en paralelo fuera de servicio, ya sea por mantenimiento programado o por falla forzada.
FUENTE
1
2
3
sentido del ujo
En estas condiciones los estados posibles son:
SUMIDERO
Estado
1
2
3
4
5
6
7
No de lneas
No de lneas
en servicio en falla forzada
3
0
2
1
2
0
1
2
1
1
0
3
0
2
No de lneas
en manten. programado
0
0
1
0
1
0
1
y las transiciones entre los estados se pueden expresar mediante el siguiente

grafo:
0123
7654
m
?1
1 ind. progr.

7654
0123
3Z
1 mant. progr.
1 falla forzada
1 falla forzada
1 reprac.
1 falla

7654
0123
5Z
1 mant. progr.

7654
0123
7
1 reprac.
1 falla forzada
1 reprac.
1 falla
7654
0123
6- 2 Z

7654
0123
64Z
1 reprac.
1 falla forzada
1 mant. progr.

7654
0123
6
Se puede observar que existen cuatro transiciones basicas:

- falla forzada
- reparacion
- indisponibilidad programada
- mantenimiento
Se asumira la hipotesis de que tanto los regmenes de falla y de indisponibilidad programada como las duraciones de las reparaciones y los mantenimientos
tienen probabilidades de transicion dadas por funciones de distribucion exponencial:

- () falla forzada = (1 )
- () indisp. progr. = (1 )
- () reparacion = (1 )
- () mantenimiento = (1 )
De esta manera el sistema se puede estudiar como una cadena de Markov homogenea con parametro t continuo. Luego las respectivas tasas de transicion
seran:
- falla forzada = ( (0))f. forz. =

(5.1)
(5.2)
- indispon. progr = ( (0))ind. progr. =
- reparacion = ( (0))reparacion =
(5.3)
- mantenimiento = ( (0))mantenim. =
(5.4)
Los valores anteriores corresponden a probabilidades de transicion por cable.

Para evaluar las probabilidades de transicion entre los siete estados denidos
es necesario afectar a las expresiones (5.1) a (5.4) por el n
umero de lineas que
estan en condiciones de efectuar la transicion, as del estado 1 al estado 2 se
puede pasar por falla en cualquiera de las 3 lneas, luego la tasa de transicion
12 sera 12 = 3 , y as con las demas, luego el grafo con las tasas de transicion
es:

0123
7654
m
?1
13 =3

7654
0123
3Z
35 =2
31 =
57 =
24 =2
42 =2

7654
0123
64Z
52 =
75 =2

7654
0123
7
7654
0123
6- 2 Z
12 =3
53 =

7654
0123
5Z
12 =
46 =
74 =
64 =3

7654
0123
6
Todas las restantes tasas que no guran en el grafo son nulas. Luego las
probabilidades del estado permanente:
= 1 2 3 4 5 6 7
se calculan de la expresion (3.3.1):
= .1
con la matriz A denida en la (3.3 0), y que en este caso es:
(12 + 13 )
12
13
0
0
0
21
(21 + 24 )
0
24
0
0
31
0
(31 + 35 )
0
35
0
=
0
42
0
(42 + 46 )
0
46
0
52
53
0
(52 + 53 + 57 ) 0
0
0
0
64
0
64
0
0
0
74
75
0
1
1
1
1
1
1
1
3( + )
3
3
0
0
0
(2 + )
0
2
0
0
0
2( + )
0
2
0
=
0
2
0
( + 2 )
0
0
( + + )
0
0
0
0
3
0
3
0
0
0
2
0
1
1
1
1
1
1
1
Luego calculando la matriz 1 , su 7ma. la dara los valores de las probabilidades del estado permanente. Mediante este metodo pueden determinarse,
ademas:
. probabilidad de tres lneas en servicio:
. probabilidad de dos lneas en servicio: 2 + 3
. probabilidad de una lnea en servicio: 4 + 5
. probabilidad de ninguna lnea en servicio: 6 + 7
Como ejemplo pueden calcularse los valores anteriores para los siguientes datos: =
10, 7 indisp/cable-a
no; = 0, 4 fallas/cable-a
no; = 983, 5 manten./cablea
no; = 190, 4 repar./cable-a
no.
References
[1] Bronson, R Investigacion de Operaciones, serie Shaum; Mc. Graw Hill
[2] Gallagher y Watson, Quantative Methods for Busines; Mc. Graw Hill
[3] Gillett B., Introduction to Operations Research; Mc. Graw Hill
[4] Hillier y Lieberman, Introduccion a la Investigacion de Operaciones; Mc.
Graw Hill
[5] Kaufman A., Metodos y Modelos de Investigacion de Operaciones;
C.E.C.S.A
[6] Parsen, Procesos Estocasticos; Parainfo
[7] Prawda J., Metodos y Modelos de Investigacion de Operaciones; Limusa
[8] Rau J., Optimization and Probability in System Engieneering; Van Nostran
Reinhold
[9] Shambin y Stevens, Investigacion de Operaciones, Un enfoque fundamental; Mc. Graw Hill

Apunte Markov PDF

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Apunte Markov PDF

Cargado por

Copyright:

Formatos disponibles

n Operativa

> Cadenas de Markov

2 CADENAS DE MARKOV HOMOGENEAS

3 CADENAS DE MARKOV HOMOGENEAS

Un proceso estocastico es un modelo matematico que describe el comportamiento

Esta clasicacion tiene relacion con la memoria que guarda el proceso de

En funcion de lo anterior se denen los siguientes procesos:

2 ,. . ., es un proceso sin memoria de la historia de estados anteriores.

si la bolilla es 1 o 2, (y se reponen todas)

c) se extraen bolillas con o sin reposicion seg

si la bolilla es 1, (y se reponen todas)

1/2 (si X(t-1)=si)

1/2 (si X(t-1)=si)

1.2.2) Clasicacion de los procesos de Markov seg

(b) Naturaleza del parametro tiempo.

Naturaleza del espacio de estados X(t)

1.2.3) Clasicacion de las Cadenas de Markov seg

Una cadena de Markov es homogenea cuando la probabilidad condicional

y es no homogenea en caso contrario. En base a las tres clasicaciones

Procesos aleatorios puros

Los captulos siguientes se limitaran al analisis de las cadenas de Markov

CADENAS DE MARKOV HOMOGENEAS

En la primera parte del captulo se estudian las probabilidades condicionales de

Estudio de las probabilidades en las cadenas de markov homog

2.1.1) Probabilidad condicional de transicion

El intervalo = n = entero se denomina n

matriz en la que se cumplen las siguientes condiciones:

Analogamente el conjunto de probabilidades de transicion de 1 paso

c) Probabilidad de transicion de 2 pasos

Esta probabilidad, en una cadena de Markov, se puede calcular en

la cual establece que para todo par de estados i y j separados por un

en funcion de las probabilidades de transicion de 1 paso del estado i a

: conjunto de ternas cuya primera componente es el estado i en t

: cada conjunto de ternas cuya segunda componente es uno de los

: conjunto de ternas cuya tercera componente es el estado j en t+2

y por ser una cadena de Markov se cumple la (1.4), luego es:

Como antes, el conjunto de probabilidades de transicion de 2 pasos:

Repitiendo el proceso descripto en el punto anterior para deducir la

Como antes, el conjunto de probabilidades de transicion de n pasos

y la expresion matricial general de la ecuacion de Chapman-Kolmogorov,

que es la expresion generica matricial de la ecuacion de ChapmanKolmogorov.

2.a son, aplicando la ecuacion (2.14):

2.1.2) Probabilidad incondicional de estado

y el conjunto de probabilidades incondicionales de estado () i, denen el vector de probabilidades de estado p(t):

(b) Probabilidad de estado inicial

y el conjunto de probabilidades de estado iniciales (0) ,i denen

(c) Probabilidad de estado luego de 1 paso

Esta probabilidad se puede expresar en funcion de las probabilidades

(1) = 0 (1) 1 (1) 2 (1) . . . (1)

y aplicando la ecuacion de estado (2.22) a cada uno de los elementos

(1) = 0 (1) 1 (1) . . . (1) = 0 (0) 1 (0) . . . (0)

(d) Expresion general de la Ecuacion de Estado

Con las mismas consideraciones hechas para deducir la ecuacion (2.22)

Como antes, el conjunto de probabilidades de estado luego de n pasos

y la expresion matricial general de la ecuacion de estado (2.26), tomando

() = 0 (0) 1 (0) . . . (0)

p(n)= p(0) . P(n)

Las ecuaciones (2.28) y (2.29) constituyen las expresiones genericas

Las ecuaciones (2.14) y (2.30) permiten calcular la probabilidad de

Dos estados i y j son comunicantes si j es accesible desde i, y viceversa, y

En el ejemplo 2.f los estados 5 y 7 son comunicantes.

clase, siempre regresara a ella.

Estados sin retorno {