Apunte Markov PDF

@ 71.
07 Investigación Operativa
> Cadenas de Markov

Horacio Rojo y Miguel Miranda
⃝2009
c Facultad de Ingenierı́a,
Universidad de Buenos Aires
Digitalizado por Virginia Guala
$September 12, 2009
Cadenas de Markov ∣ 1
Indice
1 PROCESOS ESTOCÁSTICOS 3
1.1 Definición de Proceso Estocástico . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2 Clasificación de los Procesos Estocásticos . . . . . . . . . . . . . . . . . . . . . . 3
2 CADENAS DE MARKOV HOMOGÉNEAS

DE PARÁMETRO DISCRETO 10
2.1 Estudio de las probabilidades en las cadenas de markov homogéneas . . . . . . . 10
2.2 Clasificación de las cadenas de Markov Homogéneas en ergódicas y no ergódicas 21
2.3 Estudio del Comportamiento de las Cadenas Ergódicas en el Régimen Permanente 27
2.4 Estudio del comportamiento de las cadenas no ergódicas . . . . . . . . . . . . . 34

DE PARÁMETRO CONTINUO 43
3.1 Estudio de las probabilidades en las cadenas de Markov homogéneas . . . . . . . 43
3.2 Estudio del comportamiento de las cadenas regulares en el reg. permanente . . . 49
4 APLICACIÓN DE CADENAS DE MARKOV

A SISTEMAS DE ATENCIÓN 54
4.1 Definición del problema . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
4.2 Modelización mediante una cadena de Markov tipo nacimiento y muerte . . . . . 56
4.3 Modelo general de canales en paralelo de igual velocidad . . . . . . . . . . . . . 58
4.4 Modelo de dos canales en paralelo de distinta velocidad y cola infinita . . . . . . 69
4.5 Modelo de dos canales en paralelo de distinta velocidad y cola finita de una sola
posición . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
4.6 Modelo de dos canales en serie de distinta velocidad, sin cola intermedia . . . . . 73
5 APLICACIONES 78
5.1 Aplicación comercial (“Brand switching”) . . . . . . . . . . . . . . . . . . . . . . 78
5.2 Planeamiento de Personal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
5.3 Gestión de inventarios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
5.4 Planeamiento de producción . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
5.5 Analisis de fallas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
5.6 Analisis de cuentas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
5.7 Estudio de confiabilidad en un sistema de lı́neas de transmisión . . . . . . . . . 97
BIBLIOGRAFÍA 102
PRÓLOGO
Las cadenas de Markov comprenden un capı́tulo particularmente importante de

ciertos fenómenos aleatorios que afectan a sistemas de naturaleza dinámica y
que se denominan procesos estocásticos. Deben su nombre a Andrei Andreivich
Markov, matemático ruso que postuló el principio de que existen ciertos proce-
sos cuyo estado futuro sólo depende de su estado presente y es independiente
de sus estados pasados. Dichos procesos, denominados proceso de Markov, ası́
como un subconjunto de ellos llamados cadenas de Markov, constituyen una
herramienta matemática muy general y poderosa para el análisis y tratamiento
de un sinnúmero de problemas de caracterı́stica aleatoria en campos de muy
diversa ı́ndole, como ser la fı́sica, la Ingenierı́a y La Economı́a por citar sólo
unos pocos.
En el capı́tulo 1 se describen los procesos estocásticos y dentro de los mismos
se encuadran a los procesos y cadenas de Markov. En el capı́tulo 2 se anali-
zan en detalle a las cadenas de Markov de parámetro discreto, definiéndose las
probabilidades de transición y de estado y las ecuaciones generales que rigen el
comportamiento de esas cadenas, las que luego se aplican al estudio de las prin-
cipales cadenas ergódicas y no ergódicas. En el capı́tulo 3 se sigue un esquema
similar aplicado a las cadenas de Markov de parámetro continuo, que son luego
utilizadas en el capı́tulo 4 para la modelización de los sistemas de atención. Por
último en el capı́tulo 5 se indican otras aplicaciones de las cadenas de Markov.
Queremos dejar constancia de nuestro profundo agradecimiento a los ingenieros
Eduardo Diéguez y Fernando Salvador por la exhaustiva tarea de revisión efec-
tuada y por los invalorables consejos y sugerencias que nos han formulado en
la elaboración del texto.
Los Autores
1 PROCESOS ESTOCÁSTICOS
1.1 Definición de Proceso Estocástico
Un proceso estocástico es un modelo matemático que describe el comportamiento
de un sistema dinámico, sometido a un fenómeno de naturaleza aleatoria.
La presencia de un fenómeno aleatorio hace que el sistema evolucione según
un parámetro, que normalmente es el tiempo t cambiando probabilı́sticamente
de estado. En otras palabras: al realizar una serie de observaciones del pro-
ceso, en diferentes ocasiones y bajo idénticas condiciones, los resultados de las
observaciones serán, en general, diferentes. Por esa razón para describir el
comportamiento del sistema es necesario definir una variable aleatoria: X(t)
que represente una caracterı́stica mesurable de los distintos estados que puede
tomar el sistema según sea el resultado del fenómeno aleatorio, y su correspon-
diente probabilidad de estado asociada: 𝑝𝑥 (𝑡).
Luego el proceso estocástico queda definido por el conjunto:
𝑋(𝑡), 𝑝𝑥 (𝑡), 𝑡
Ejemplo 1.a
En un sistema de generación de energı́a eléctrica,
el pronóstico de la potencia eléctrica horaria
requerida para un dı́a es un proceso estocástico,
en el cual son:
t= 0, 1, 2 ...... 24: horas del dı́a.
X(t)= pronóstico de la potencia eléctrica re-
querida.
px(t)= probabilidad de estado asociada.
1.2 Clasificación de los Procesos Estocásticos

Para su estudio los procesos estocásticos pueden clasificarse de diversas mane-
ras, como se indica a continuación.
1.2.1) Clasificación de los procesos estocásticos según la memoria de la historia
de estados
Esta clasificación tiene relación con la memoria que guarda el proceso de

la historia de los estados anteriores. Para efectuar este análisis se define la
probabilidad condicional o de transición entre estados mediante la siguien-
te expresión:
𝑃 {𝑋(𝑡 + Δ𝑡) = 𝑥𝑡+Δ𝑡 /𝑋(𝑡) = 𝑥𝑡 , 𝑋(𝑡 − Δ𝑡1 ) = 𝑥𝑡−Δ𝑡1 , 𝑋(𝑡 − Δ𝑡2 ) =

𝑥𝑡−Δ𝑡2 , 𝑋(𝑡 − Δ𝑡3 ) = 𝑥𝑡−Δ𝑡3 , . . . . . .} (1.2)
Siendo:
𝑥𝑡+Δ𝑡 : un estado particular en el instante 𝑡 + Δ𝑡
𝑥𝑡 : un estado particular en el instante t
𝑥𝑡−Δ𝑡1 : un estado particular en el instante 𝑡 − Δ𝑡1
En función de lo anterior se definen los siguientes procesos:

a) Procesos aleatorios puros.
Son procesos en los que se cumple que:

𝑥𝑡−Δ𝑡2 , . . .} = 𝑃 {𝑋(𝑡 + Δ𝑡) = 𝑥𝑡+Δ𝑡 } (1.3)
Es decir que la probabilidad de que el sistema se encuentre en un

estado cualquiera 𝑥𝑡+Δ𝑡 en el instante 𝑡 + Δ𝑡 se puede calcular inde-
pendientemente de cuáles hayan sido los estados anteriores 𝑥𝑡 , 𝑥𝑡−Δ𝑡1 ,
𝑥𝑡−Δ𝑡2 ,. . ., “es un proceso sin memoria de la historia de estados ante-

riores”.
Ejemplos de dicho proceso se encuentran en todos los ensayos inde-
pendientes al azar.
b) Proceso sin memoria tipo Markov.

Son procesos en los que se cumple que:

𝑥𝑡−Δ𝑡2 , . . .} = 𝑃 {𝑋(𝑡 + Δ𝑡) = 𝑥𝑡+Δ𝑡 /𝑋(𝑡) = 𝑥𝑡 } (1.4)
Es decir que la probabilidad de que el sistema se encuentre en un

estado cualquiera 𝑥𝑡+Δ𝑡 en el instante 𝑡 + Δ𝑡 se puede calcular si se
conoce cuál ha sido el estado inmediatamente anterior 𝑥𝑡 , independien-
temente de cuáles hayan sido los restantes estados anteriores: 𝑥𝑡−Δ𝑡1 ,
𝑥𝑡−Δ𝑡2 , . . .: es un “proceso sin memoria de toda la historia de estados
anteriores, excepto del inmediatamente anterior 𝑥𝑡 ”, resumiéndose en
éste toda la información necesaria para calcular la probabilidad del
estado 𝑥𝑡+Δ𝑡 . También se lo suele caracterizar como un proceso en
el cual “dado el presente (𝑥𝑡 ), el futuro (𝑥𝑡+Δ𝑡 ) es independiente del
pasado (𝑥𝑡−Δ𝑡1 , 𝑥𝑡−Δ𝑡2 , . . .)”.
Ejemplo de dicho proceso se encuentran en el funcionamiento de una
red de transmisión de energı́a eléctrica en la cual el estado del sistema
está dado por el número de lı́neas fuera de servicio en un instante
dado. Otro ejemplo lo constituye un canal de telecomunicaciones, en
el cual el estado del sistema es la salida digital del canal. En ambos
casos los estados futuros dependen del estado actual y no de cómo ha
evolucionado para llegar a dicho estado.
c) Procesos con memoria.

Son todos los restantes procesos estocásticos cuyas probabilidades condi-
cionales de transición no cumplen con (1.3) ni (1.4).
Ejemplo 1.b
El siguiente es un proceso con tres variantes que permiten ejemplificar
cada uno de los tres tipos de procesos mencionados. Dado un bolillero
con tres bolillas: 1, 2 y 3, se definen las siguientes experiencias de
pruebas repetidas:
a) Se extraen bolillas “con reposición” y los resultados aleatorios 1, 2
o 3 definen los estados X(t) del siguiente proceso:
⎧ ⎫
⎨ si, si la bolilla es 1 ó 2 ⎬
𝑥(𝑡) = 𝑡 = 1, 2, 3, . . .
no, si la bolilla es 3
⎩ ⎭
1/3
89:;
?>=<

éste es un “proceso aleatorio puro” de ensayos inde- no^
pendientes, pues la probabilidad de presentación de 2/3 1/3
0123
7654
los estados “si” y “no” en t valen 2/3 y 1/3 respec-
tivamente, independientemente de cual haya sido el siS
estado anterior. 2/3
Lo dicho se ilustra el siguiente “grafo de transiciones” sucesivas

entre estados, en el cual los nodos representan los estados del pro-
ceso, los arcos las transiciones sucesivas posibles entre estados y los
atributos de los arcos las probabilidades condicionales de transición
entre dos estados sucesivos.
b) Se estraen bolillas “con o sin reposición” según sea 1 o 2, y 3 res-
pectivamente, definiéndose los estados X(t) del siguiente proceso:
{ }
si, si la bolilla es 1 o 2, (y se reponen todas)
𝑥(𝑡) = 𝑡 = 1, 2, 3, . . .
no, si la bolilla es 3, (y no se reponen)
89:;
?>=<
0

éste es un “proceso tipo Markov” pues cono- no^
cido un estado X(t) en t se pueden calcular las 1 2/3
7654
0123
probabilidades de los estados X(t+1) en t+1,
tal como se indica en el grafo de transiciones. siS
1/3
c) se extraen bolillas “con o sin reposición” según sean 1, y 2 o 3 res-

pectivamente, definiéndose los estados X(t) del siguiente proceso:
{ }
si, si la bolilla es 1, (y se reponen todas)
𝑥(𝑡) = 𝑡 = 1, 2, 3, . . .
no, si la bolilla es 2 o 3, (y no se reponen)
1/2 (si X(t-1)=si)

éste es un “proceso con memoria” pues la prob-
89:;
?>=<
0 (si X(t-1)=no)

abilidad del estado X(t+l)= si, requiere el no^
conocimiento de los estados X(t) y X(t-1), tal 1/2 (si X(t-1)=si)
2/3
0123
7654
1 (si X(t-1)=no)
como se indica en el grafo de transiciones; y lo
siS
propio para el estado X(t+l)= no.
1/3
1.2.2) Clasificación de los procesos de Markov según la naturaleza discreta o con-

tinua de las variables.
Referida especı́ficamente a los procesos de, Markov, esta clasificación guarda

relación con la naturaleza discreta o continua del espacio de estados de la
variable X(t) y del parámetro tiempo t.
(a) Naturaleza del espacio de estados.
Cuando X(t) representa una magnitud continua (tensión o corriente
eléctrica, fuerza, energı́a, potencia, presión, etc), el espacio de estados
de X(t) deberá ser un intervalo de números reales, y se hablará en-
tonces de un “proceso de Markov con estados continuos” o brevemente
“proceso de Markov”. En cambio cuando X(t) representa una mag-
nitud discreta (cantidad de artı́culos en stock en un almacén, número
de lı́neas en servicio en un sistema de transmisión de energı́a eléctrica,
cantidad de clientes en un sistema de atención y espera, etc.) el es-
pacio de estados de X(t) será una secuencia finita o numéricamente
infinita de enteros, y se hablará entonces de un “proceso de Markov
con estados discretos”, o “cadena de Markov”.
(b) Naturaleza del parámetro tiempo.

Dada la naturaleza dinámica del sistema cuyo comportamiento de-
scribe, la definición de la variable aleatoria X(t) requiere la especifi-
cación del parámetro t, es decir del conjunto de instantes en que se
puede observar los estados del sistema. Ası́ si las observaciones se real-
izan en cualquier instante del continuo (𝑡 ≥ 0), se habla de un proceso
o cadena de Markov de parámetro continuo, mientras que en otras
ocasiones las observaciones se efectúan en determinados instantes de
tiempo (p. ej. de hora en hora, 𝑡 = 0, 1, 2, . . .) y en este caso se habla
de un proceso o cadena de Markov de parámetro discreto.
Lo anterior se resume en el siguiente cuadro:
Naturaleza del espacio de estados X(t)

Discreto Continuo
Naturaleza Discreto Cadenas de Markov de Procesos de Markov de
del (𝑡 = 0, 1, . . .) parámetro discreto parámetro discreto
parámetro Continuo Cadenas de Markov de Procesos de Markov de
tiempo t (𝑡 ≥ 0) parámetro continuo parámetro continuo
1.2.3) Clasificación de las Cadenas de Markov según su homogeneidad en el

tiempo
Con referencia especı́ficamente a las cadenas de Markov, de parámetro
discreto o continuo, los distintos estados de la variable X(t) se suelen re-
presentar genéricamente con letras: i, j, k, etc. En particular los valores
de dichos estados dependen de la naturaleza del sistema que se modela,
pero habitualmente se utilizan números enteros: 0, 1, 2, . . . , 𝑚. Luego para
las cadenas de Markov la probabilidad condicional da transición (1.4) se
expresa de la siguiente manera:
𝑃 {𝑋(𝑡 + Δ𝑡) = 𝑗/𝑋(𝑡) = 𝑖} = 𝑃𝑖𝑗 (𝑡, 𝑡 + Δ𝑡) (1.5)
Una cadena de Markov es homogénea cuando la probabilidad condicional

de transición (1.5) del estado i al estado j en cualquier instante t sólo de-
pende de la diferencia Δ𝑡, es decir:
𝑃𝑖𝑗 (𝑡, 𝑡 + Δ𝑡) = 𝑃𝑖𝑗 (Δ𝑡); ∀𝑡 ≥ 0 (1.6)
y es no homogénea en caso contrario. En base a las tres clasificaciones

efectuadas se puede realizar el siguiente cuadro:
⎧
 Procesos aleatorios puros

⎨ ⎧
Procesos ⎨ Procesos de Markov (estados cont.)
{ }{
Estocásticos 
 Procesos de Markov Cadenas de p. discr. homogéneas
⎩ ⎩
de Markov de p.cont. no homogén.
Los capı́tulos siguientes se limitaran al análisis de las cadenas de Markov

homogéneas, tanto de parámetro discreto como continuo, y sus respectivos
problemas de aplicación.

DE PARÁMETRO DISCRETO
En la primera parte del capı́tulo se estudian las probabilidades condicionales de
transición -definidas en (l.5) y (1.6) - e incondicionales de estado - definida en
(1.1) - en las cadenas de Markov homogéneas, y se desarrollan las ecuaciones que
rigen su comportamiento, las que luego se aplican al estudio del comportamiento
de dichas cadenas en los regı́menes transitorio y permanente.
2.1 Estudio de las probabilidades en las cadenas de markov ho-

mogéneas
2.1.1) Probabilidad condicional de transición
a) Definición general
Tal como se ha expresado en (1.6), la probabilidad condicional de
transición del estado i al estado j en un intervalo Δ𝑡: 𝑝𝑖𝑗 (Δ𝑡) en una
cadena de Markov homogénea de parámetro discreto es la probabilidad
condicional de que el sistema se encuentre en estado j en el instante
𝑡 + Δ𝑡, habiéndose encontrado en el estado i en el instante t, con t y
Δ𝑡 enteros. Matemáticamente es:
⎧
⎨ 𝑡 = 0, 1, 2, . . .

Δ𝑡 = 𝑛 = 0, 1, 2, . . .
𝑝𝑖𝑗 (Δ𝑡) = 𝑃 {𝑋(𝑡+Δ𝑡) = 𝑗/𝑋(𝑡) = 𝑖}; con: 𝑖 = 0, 1, 2, . . . , 𝑚
(2.1)

⎩
𝑗 = 0, 1, 2, . . . , 𝑚
El intervalo Δ𝑡= n = entero se denomina número de pasos o transi-

ciones o avances de la cadena sobre el parámetro t. El conjunto de
probabilidades de transición 𝑝𝑖𝑗 (Δ𝑡) ,∀i,j definen la matriz de proba-
bilidades de transición 𝑃 (Δ𝑡):
𝑗
𝑖/ 0 1 ...... 𝑚
0 𝑝00 (Δ𝑡) 𝑝01 (Δ𝑡) ...... 𝑝0𝑚 (Δ𝑡)
1 𝑝10 (Δ𝑡) 𝑝11 (Δ𝑡) ...... 𝑝1𝑚 (Δ𝑡)
𝑃 (Δ𝑡) = .. .. .. .. (2.2)
. . . .
.. .. .. ..
. . . .
𝑚 𝑝𝑚0 (Δ𝑡) 𝑝𝑚1 (Δ𝑡) ...... 𝑝𝑚𝑚 (Δ𝑡)
matriz en la que se cumplen las siguientes condiciones:

⎧

 0 ≤ 𝑝𝑖𝑗 (Δ𝑡) ≤ 1 ; ∀𝑖, 𝑗 (2.3)



𝑚


⎨ ∑
𝑝𝑖𝑗 (Δ𝑡) = 1 ; 𝑖 = 0, 1, . . . , 𝑚 (2.4)
𝑗=0







⎩
con Δ𝑡 = 𝑛 = 1, 2, 3, . . .
b) Probabilidad de transición de 1 paso
Es un caso particular de la (2.1) y representa la probabilidad condi-
cional de transición del estado i al estado j, en un intervalo Δ𝑡= 1.
{
𝑡 = 0, 1, 2, . . .
𝑝𝑖𝑗 (1) = 𝑃 {𝑋(𝑡 + 1) = 𝑗/𝑋(𝑡) = 𝑖}; con: 𝑖 = 0, 1, 2, . . . , 𝑚 (2.5)
𝑗 = 0, 1, 2, . . . , 𝑚
Análogamente el conjunto de probabilidades de transición de 1 paso

𝑝𝑖𝑗 ,∀i,j definen la matriz de probabilidades de transición de 1 paso P:
𝑗
𝑖/ 0 1 ...... 𝑚
0 𝑝00 𝑝01 ...... 𝑝0𝑚
1 𝑝10 𝑝11 ...... 𝑝1𝑚
𝑃 (Δ𝑡) = .. .. .. .. (2.6)
. . . .
.. .. .. ..
. . . .
𝑚 𝑝𝑚0 𝑝𝑚1 ...... 𝑝𝑚𝑚
Ejemplo 2.a
Si en la cadena de Markov descripta en la experiencia b) del ejemplo
l.b se denominan:
estado 0 = no
estado 1 = si
el grafo y la matriz de transición de 1 paso son respectivamente:
0123
7654
0

𝑗 0^
𝑖/ 0 1
1 1/3
7654
0123
𝑃 = 0 0 1

1 1/3 2/3 1S
2/3
Ejemplo 2.b
Si bien la experiencia a) del ejemplo l.b corresponde a 1 proceso de
ensayos independientes, se lo puede tratar dentro de la teorı́a de las
cadenas de Markov, siendo sus estados, el grafo y la matriz de tran-
sición de 1 paso las siguientes:
estado 0 = no
estado 1 = si
1/3
7654
0123

0^
2/3 1/3 1/3 2/3
7654
0123
𝑃 =
1S 1/3 2/3
2/3
c) Probabilidad de transición de 2 pasos

En forma análoga se define:
{
𝑡 = 0, 1, 2, . . .
𝑝𝑖𝑗 (2) = 𝑃 {𝑋(𝑡 + 2) = 𝑗/𝑋(𝑡) = 𝑖}; con: 𝑖 = 0, 1, 2, . . . , 𝑚 (2.7)
𝑗 = 0, 1, 2, . . . , 𝑚
Esta probabilidad, en una cadena de Markov, se puede calcular en

función de las probabilidades de 1 paso, mediante la ecuación de
Chapman-Kolmogorov, cuya expresión, para este caso es:
𝑚 {
∑ 𝑖 = 0, 1, . . . , 𝑚
𝑝𝑖𝑗 (2) = 𝑝𝑖𝑘 .𝑝𝑘𝑗 ; ∀ (2.8)
𝑗 = 0, 1, . . . , 𝑚
𝑘=0
la cual establece que para todo par de estados i y j separados por un

avance Δ𝑡= 2 pasos, la probabilidad de transición se puede expresar
en función de las probabilidades de transición de 1 paso del estado i a

un conjunto exhaustivo de estados k (todos los estados posibles) y de
las probabilidades de transición de 1 paso de cada uno de los estados
k al estado j.
Para su demostración se definen los conjuntos A, 𝐵𝑘 y C cuyos ele-

mentos son ternas ordenadas de eventos: la primera componente es el
estado del sistema en t, la segunda en t+1 y la tercera en t+2
⎧

 𝐴 : conjunto de ternas cuya primera componente es el estado i en t
⎨ 𝐵𝑘 : cada conjunto de ternas cuya segunda componente es uno de los


estados k en t+1
𝐶 : conjunto de ternas cuya tercera componente es el estado j en t+2




además se cumple que: 𝑃 (𝐶 ∩ 𝐴) = 𝑃 (𝐶/𝐴).𝑃 (𝐴)
⎩
𝑚
∑ 𝑚
∑
𝑃 (𝐶 ∩ 𝐵𝑘 ∩ 𝐴) 𝑃 (𝐶/𝐵𝑘 ∩ 𝐴).𝑃 (𝐵𝑘 ∩ 𝐴)
𝑘=0 𝑘=0
𝐿𝑖𝑗 (2) = 𝑃 (𝐶/𝐴) = =
𝑃 (𝐴) 𝑃 (𝐴)
y por ser una cadena de Markov se cumple la (1.4), luego es:
𝑃 (𝐶/𝐵𝑘 ∩ 𝐴) = 𝑃 (𝐶/𝐵𝑘 )
con lo cual queda demostrada la (2.8) pues:

𝑚
∑
𝑃 (𝐶 ∩ 𝐵𝑘 ).𝑃 (𝐵𝑘 /𝐴).
𝑃(𝐴)

𝑚
∑
𝑘=0
𝐿𝑖𝑗 (2) = 𝑃 (𝐶/𝐴) = = 𝑝𝑘𝑗 .𝑝𝑖𝑘
𝑃(𝐴)

𝑘=0
Como antes, el conjunto de probabilidades de transición de 2 pasos:

𝑝𝑖𝑗 (2), ∀ i,j definen la matriz de probabilidades de transición de 2 pa-
sos:
𝑝00 (2) 𝑝01 (2) . . . . . . 𝑝0𝑚 (2)

𝑝10 (2) 𝑝11 (2) . . . . . . 𝑝1𝑚 (2)
.. .. ..
𝑃 (2) = . . . (2.9)
.. .. ..
. . .
𝑝𝑚0 (2) 𝑝𝑚1 (2) . . . . . . 𝑝𝑚𝑚 (2)
y aplicando la ecuación de Chapman (2.8) a cada uno de los elemen-

tos de la matriz (2.9) queda la expresión matricial de la ecuación de
Chapman-Kolmogorov:
𝑝00 (2) . . . 𝑝0𝑚 (2) 𝑝00 𝑝01 . . . 𝑝0𝑚 𝑝00 . . . 𝑝0𝑚

.. .. . .. ..
. . = .. . . x 𝑝10 𝑝1𝑚
𝑃 (2) = .. .. .. .. .. .. ..
. . . . . . .
𝑝𝑚0 (2) . . . 𝑝𝑚𝑚 (2) 𝑝𝑚0 𝑝𝑚1 . . . 𝑝𝑚𝑚 𝑝𝑚0 . . . 𝑝𝑚𝑚
P(2)=P.P=𝑃 2 (2.10)
Ejemplo 2.c
La matriz de transición de 2 pasos de la cadena del Ejemplo n∘ 2.a,
aplicando la ecuación (2.10) es:
0,33
0123
7654

0^
0 1 0 1 0, 33 0, 67 0,67 0,22
0123
7654
𝑃 (2) = = =⇒
1S
0, 33 0, 67 0, 33 0, 67 0, 22 0, 78 0,78
La ecuación de Chapman-Kolmogorov (2.10) es una condición nece-

saria, pero no suficiente para que una cadena sea Markoviana.
d) Expresión qeneral de la ecuación de Chapman-Kolmogorov
En forma genérica la probabilidad de transición de n pasos es:
⎧
⎨ 𝑡 = 0, 1, 2, . . .

𝑛 = 1, 2, . . .
𝑝𝑖𝑗 (𝑛) = 𝑃 {𝑋(𝑡 + 𝑛) = 𝑗/𝑋(𝑡) = 𝑖}; con: (2.11)
⎩ 𝑖 = 0, 1, 2, . . . , 𝑚

𝑗 = 0, 1, 2, . . . , 𝑚
Repitiendo el proceso descripto en el punto anterior para deducir la

ecuación (2.8) se llega a las expresiones algebraicas generales de la
ecuación de Chapman-Kolmogorov:
⎧ 𝑚 ⎫
∑
𝑝𝑖𝑘 .𝑝𝑘𝑗 (𝑛 − 1) : forma a) 

 

 

 
⎨ 𝑘=0
  {
⎬ 𝑛 = 1, 2, . . .
𝑝𝑖𝑗 (𝑛) = ; con: 𝑖 = 0, 1, 2, . . . , 𝑚 (2.12)


 𝑚


 𝑗 = 0, 1, 2, . . . , 𝑚
 ∑ 


⎩ 𝑝𝑖𝑘 (𝑛 − 1).𝑝𝑘𝑗 : forma b) 
⎭
𝑘=0
Como antes, el conjunto de probabilidades de transición de n pasos

𝑝𝑖𝑗 (𝑛), ∀ij definen la matriz de probabilidades de transición de n casos:
𝑝00 (𝑛) 𝑝01 (𝑛) . . . . . . 𝑝0𝑚 (𝑛)

𝑝10 (𝑛) 𝑝11 (𝑛) . . . . . . 𝑝1𝑚 (𝑛)
𝑃 (𝑛) = .. (2.13)
.
𝑝𝑚0 (𝑛) 𝑝𝑚1 (𝑛) . . . . . . 𝑝𝑚𝑚 (𝑛)
y la expresión matricial general de la ecuación de Chapman-Kolmogorov,
tomando por ejemplo la forma a), queda:
𝑝00 (𝑛) . . . 𝑝0𝑚 (𝑛) 𝑝00 𝑝01 . . . 𝑝0𝑚 𝑝00 (𝑛 − 1) . . . 𝑝0𝑚 (𝑛 − 1)

.. .. . .. ..
. . = .. . . x 𝑝10 (𝑛 − 1) 𝑝1𝑚 (𝑛 − 1)
𝑃 (𝑛) = .. .. .. .. .. .. ..
. . . . . . .
𝑝𝑚0 (𝑛) . . . 𝑝𝑚𝑚 (𝑛) 𝑝𝑚0 𝑝𝑚1 . . . 𝑝𝑚𝑚 𝑝𝑚0 (𝑛 − 1) . . . 𝑝𝑚𝑚 (𝑛 − 1)
P(n)=P.P(n-1)
extendiendo la ecuación anterior en forma recursiva se obtiene:

P(n)= P . P(n-l) = P . P . P(n-2) = P . P . P . P(n-3)= . . .
𝑃 (𝑛) = 𝑃 𝑛 (2.14)
que es la expresión genérica matricial de la ecuación de Chapman-

Kolmogorov.
Ejemplo 2.d
Las matrices de transición de 3, 4 y 5 pasos de la cadena del ejemplo
2.a son, aplicando la ecuación (2.14):
0 1 0, 33 0, 67 0, 222 0, 778
3 2
𝑃 (2) = 𝑃 = 𝑃.𝑃 = x =
0, 33 0, 67 0, 22 0, 78 0, 259 0, 741
0 1 0, 222 0, 778 0, 259 0, 741

4 3
𝑃 (4) = 𝑃 = 𝑃.𝑃 = x =
0, 33 0, 67 0, 259 0, 741 0, 247 0, 753
0 1 0, 259 0, 741 0, 247 0, 753

5 4
𝑃 (5) = 𝑃 = 𝑃.𝑃 = x =
0, 33 0, 67 0, 247 0, 753 0, 251 0, 749
2.1.2) Probabilidad incondicional de estado
(a) Definición general

Tal como se ha expresado en (1.1), la probabilidad incondicional de
estado p(t) en una cadena de Markov homogénea de paramétro dis-
creto, es la probabilidad de que el sistema se encuentre en el estado i
en el instante t:
{
𝑡 = 0, 1, 2, . . .
𝑝𝑖 (𝑡) = 𝑝𝑥=𝑖 (𝑡) ; con: (2.15)
𝑖 = 0, 1, 2, . . . , 𝑚
y el conjunto de probabilidades incondicionales de estado 𝑝𝑖 (𝑡) ∀i, de-

finen el vector de probabilidades de estado p(t):
𝑝(𝑡) = 𝑝0 (𝑡) 𝑝1 (𝑡) 𝑝2 (𝑡) . . . 𝑝𝑚 (𝑡) (2.16)
vector en el cual se cumplen las siguientes condiciones:

⎧
⎨ 0𝑚 ≤
 𝑝𝑖 (𝑡) ≤ 1 ; ∀𝑖 (2.17)
∑

⎩ 𝑝𝑖 (𝑡) = 1 ; con 𝑖 = 0, 1, 2, . . . (2.18)
𝑖=0
(b) Probabilidad de estado inicial

Es un caso particular de la (2.15) para t=0 :
𝑝𝑗 (0) = 𝑃𝑥=𝑖 (𝑡 = 0) ; con 𝑖 = 0, 1, . . . , 𝑚 (2.19)
y el conjunto de probabilidades de estado iniciales 𝑝𝑖 (0) ,∀i definen

el vector de probabilidades de estado inicial:
𝑝(0) = 𝑝0 (0) 𝑝1 (0) 𝑝2 (0) . . . 𝑝𝑚 (0) (2.20)
(c) Probabilidad de estado luego de 1 paso

En forma análoga se define:
𝑝𝑖 (1) = 𝑃𝑥=𝑗 (𝑡 = 1) ; con 𝑗 = 0, 1, . . . , 𝑚 (2.21)
Esta probabilidad se puede expresar en función de las probabilidades

de estado iniciales aplicando el Teorema de la Probabilidad Total,
quedando expresada la llamada ecuación de estado:
𝑚
∑
𝑝𝑗 (1) = 𝑝𝑖 (0).𝑝𝑘𝑗 ; con 𝑗 = 0, 1, . . . , 𝑚 (2.22)
𝑖=0
Como antes, el conjunto de probabilidades de es-

tado luego de 1 paso 𝑝𝑗 (1), ∀j, definen el vector de
probabilidades de estado luego de 1 paso:
𝑝(1) = 𝑝0 (1) 𝑝1 (1) 𝑝2 (1) . . . 𝑝𝑚 (1) (2.23)

y aplicando la ecuación de estado (2.22) a cada uno de los elementos

del vector (2.23) queda la expresión matricial de la ecuación de estado:
𝑝00 . . . 𝑝0𝑚
𝑝 𝑝1𝑚
𝑝(1) = 𝑝0 (1) 𝑝1 (1) . . . 𝑝𝑚 (1) = 𝑝0 (0) 𝑝1 (0) . . . 𝑝𝑚 (0) x ..10 ..
. .
𝑝𝑚0 . . . 𝑝𝑚𝑚
p(1)= p(0) . P (2.24)
(d) Expresión general de la Ecuación de Estado

En forma genérica la probabilidad de estado luego de n pasos es:
{
𝑛 = 0, 1, 2, . . .
𝑝𝑗 (𝑛) = 𝑝𝑥=𝑗 (𝑡 = 𝑛) ; con: (2.25)
𝑗 = 0, 1, 2, . . . , 𝑚
Con las mismas consideraciones hechas para deducir la ecuación (2.22)

se llega a las expresiones algebraicas generales de la ecuación de estado:
⎧ 𝑚 ⎫
 ∑ 


 𝑝𝑖 (0).𝑝𝑖𝑗 (𝑛) : forma a)  

 
⎨ 𝑘=0
 
⎬ {
𝑝𝑗 (𝑛) = ; con: 𝑛𝑗 =
=
1, 2, . . .
0, 1, 2, . . . , 𝑚
(2.26)
 

 ∑𝑚 

 


⎩ 𝑝 𝑖 (𝑛 − 1).𝑝 𝑖𝑗 : forma b) 

⎭
𝑘=0
Como antes, el conjunto de probabilidades de estado luego de n pasos

𝑝𝑗 (𝑛) definen el vector de probabilidades de estado:
𝑝(𝑛) = 𝑝0 (𝑛) 𝑝1 (𝑛) 𝑝2 (𝑛) . . . 𝑝𝑚 (𝑛) (2.27)
y la expresión matricial general de la ecuación de estado (2.26), tomando

por ejemplo la forma a), queda:
𝑝00 (𝑛) . . . 𝑝0𝑚 (𝑛)

𝑝 (𝑛) 𝑝1𝑚 (𝑛)
𝑝(𝑛) = 𝑝0 (0) 𝑝1 (0) . . . 𝑝𝑚 (0) x 10.. ..
. .
𝑝𝑚0 (𝑛) . . . 𝑝𝑚𝑚 (𝑛)
p(n)= p(0) . P(n) (2.29)
Las ecuaciones (2.28) y (2.29) constituyen las expresiones genéricas

matriciales de la ecuación de estado, las cuales se resumen en la si-
guiente expresión:
⎧
⎨ 𝑝(0).𝑃 (𝑛)
𝑝(𝑛) = (2.30)
𝑝(𝑛 − 1).𝑃
⎩
Las ecuaciones (2.14) y (2.30) permiten calcular la probabilidad de

cada uno de los estados de la cadena, luego de un número n cualquiera
de pasos, conocidas la probabilidad de estado para un instante dado y
la matriz de probabilidades de transición de 1 paso P.
Ejemplo 2.e
En la cadena del ejemplo 2.a, si se parte de un estado inicial con las
siguientes probabilidades:
⎧
⎨ 𝑝0 (0) = 0, 5
𝑝(0) = 0, 5 0, 5
𝑝1 (0) = 0, 5
⎩
las probabilidades de 1, 2, 3 y 4 pasos serán respectivamente:
0 1
𝑝(1) = 𝑝(0).𝑃 = 0, 5 0, 5 x = 0, 167 0, 833
0, 333 0, 667
0, 333 0, 667
𝑝(2) = 𝑝(0).𝑃 2 = 0, 5 0, 5 x = 0, 278 0, 722
0, 222 0, 778
0, 222 0, 778
𝑝(3) = 𝑝(0).𝑃 3 = 0, 5 0, 5 x = 0, 241 0, 759
0, 259 0, 741
0, 259 0, 741
𝑝(4) = 𝑝(0).𝑃 4 = 0, 5 0, 5 x = 0, 253 0, 747
0, 247 0, 753
2.2 Clasificación de las cadenas de Markov Homogéneas en ergódicas

y no ergódicas
A continuación se efectúa una clasificación de las cadenas de Markov homogéneas
según la posibilidad o no que tengan de ser reducibles o separables en cadenas
más chicas para el estudio de su comportamiento en los llamados regı́menes
transitorio y permanente. Esta clasificación dará lugar a la definición de las
cadenas ergódicas o irreductibles y las cadenas no ergódicas o separables. Pre-
viamente se requiere dar la definición de estados accesibles y comunicantes y
luego clasificar los estados en clases.
2.2.1) Definición de estados accesibles y comunicantes

Un estado j es accesible desde un estado i si se cumple que para algún paso
𝑛 ≥ 1 es 𝑝𝑖𝑗 (𝑛) > 0, lo cual significa que es posible pasar desde el estado i
al estado j luego de un número n de transecciones, y se escribe: 𝑖 → 𝑗.
La accesibilidad es una propiedad transitiva, es decir:
si 𝑖 → 𝑗 y 𝑗→𝑘 ⇒ 𝑖→𝑘
Ejemplo 2.f
En la cadena de la figura el estado 6 es accesible desde el 5 en un paso y
desde el 4 en dos pasos, a través del 5. El estado 1 no es accesible desde el 2.
Accesibilidad en una transición

𝑗
𝑖/ 0 1 2 3 4 5 6 7
0123
7654 70123
/ 654 70123
/ 654 7654
0123

0 1 2 == /3 0 𝑥
@
==
==
==
1 𝑥
7654
0123 7654
0123
== 2 𝑥 𝑥 𝑥

7 =^ = 4S 3 𝑥 𝑥
==
==
== 4 𝑥 𝑥 𝑥
7654
0123 7654
0123
==

6K o 5 5 𝑥
6 𝑥 𝑥
7 𝑥 𝑥 𝑥
Dos estados i y j son comunicantes si j es accesible desde i, y viceversa, y

se escribe: 𝑖 ↔ 𝑗
La comunicación es también una propiedad transitiva, es decir:
si 𝑖 → 𝑗 y 𝑗→𝑘 ⇒ 𝑖→𝑘
En el ejemplo 2.f los estados 5 y 7 son comunicantes.
2.2.2) Clasificación de estados en clases comunicantes y estados sin retorno

Una clase comunicante es un conjunto de estados que se comunican todos
entre si. Como caso particular la clase puede consistir en un sólo estado.
En el ejemplo 2.f se pueden formar las siguientes clases comunicantes:
⎧
⎨ 𝐶1 = {2}
𝐶 = {3, 4}
⎩ 2
𝐶3 = {5, 6, 7}
Las clases comunicantes se pueden clasificar en recurrentes y transitorias.
(a) Clases recurrentes- Estados absorbentes
Una clase es recurrente cuando la probabilidad de que la cadena se

encuentre en un estado de dicha clase después de ∞ transiciónes es
positiva; esto significa que una vez que la cadena ha alcanzado dicha
clase, siempre regresará a ella.

En el ejemplo 2.f la clase 𝐶3 es recurrente.
Un caso especial de clases recurrentes lo constituyen los llamados es-
tados absorbentes, que son aquellos estados que una vez que la cadena
los ha alcanzado, no puede abandonarlos; es decir, siendo accesibles
desde otros estados no absorbentes de la cadena, no se cumple la in-
versa. De lo anterior se deduce que un estado absorbente i tiene una
probabilidad 𝑝𝑖𝑖 = 1.
(b) Clases transitorias
Una clase es transitoria cuando la probabilidad de que la cadena se

encuentre en un estado de dicha clase después de ∞ transiciones es
nula; esto significa que una vez que la cadena ha alcanzado dicha
clase, existe una probabilidad de que no retorne nunca a ella.
En el ejemplo 2.f las clases 𝐶1 y 𝐶2 son transitorias.
Estados sin retorno son aquellos estados que no se comunican con
ningún otro estado, ni siquiera consigo mismo; esto significa que una
vez que la cadena ha alcanzado dicho estado la probabilidad de que
retorne a él es nula.
En el ejemplo 2.f los estados 0 y 1 son sin retorno. Resumiendo lo
anterior, los estados pueden clasificarse de la siguiente manera:
⎧
⎨ Estados sin retorno {
transitorias
⎩ Clases comunicantes {
recurrentes estados absorbentes
2.2.3) Clasificación de las cadenas de Markov homogéneas en ergódicas y no

ergódicas
Una cadena de Markov homogénea es ergódica o irreductible cuando todos
sus estados se comunican, es decir constituyen una única clase comunicante
recurrente.
Las cadenas ergódicas pueden ser clasificadas en regulares y periódicas.
(a) Cadenas regulares

Una cadena ergódica es regular o aperiódica cuando todos los estados
pueden comunicarse simultáneamente en una cantidad r de pasos; en
estas condiciones la potencia r de la matriz P : 𝑃 𝑟 es una matriz con
todos sus elementos no nulos. Un criterio para comprobar que una ca-
dena es regular consiste en calcular las sucesivas potencias de P hasta
encontrar un número r de pasos tal que la matriz 𝑃 𝑟 tiene todos sus
elementos no nulos.
Ejemplo 2.g
Dada la siguiente cadena:
0,5 0,5 0,2

7654
0123 7654
0123
"
01X 1b
1
11 0, 5 0, 5
1 0,2
1 11 0,6
7654
0123
1 𝑃 = 0, 2 0, 2 0, 6
2 1
se cumple que para r = 3

0, 545 0, 245 0, 210
3
𝑃 = 0, 518 0, 398 0, 084
0, 350 0, 350 0, 300
todos sus elementos son no nulos, por lo tanto es una cadena ergódica
regular. Como ejemplo: desde el estado 3 se puede acceder al mismo
estado recién en 3 pasos.
(b) Cadenas periódicas

Una cadena ergódica es periódica cuando no se puede encontrar una
potencia r de P para la cual todos los elementos de 𝑃 𝑟 sean no nulos;
en estas condiciones las sucesivas potencias de la matriz 𝑃 𝑟 denotan
un patrón periódico que permite asegurar siempre la presencia de al
menos un cero en 𝑃 𝑟 .
Ejemplo 2.h
Dada la cadena siguiente:
7654
0123 7654
0123
1
'
0g 1/2 :1
0 1 0
1
7654
0123
1/2 𝑃 = 1/2 0 1/2
z
2 0 1 0
es ergódica periódica pues sus sucesivas potencias son:
1/2 0 1/2 0 1 0 1/2 0 1/2

2 3 4
𝑃 = 0 1 0 ; 𝑃 = 1/2 0 1/2 ; 𝑃 = 0 1 0
1/2 0 1/2 0 1 0 1/2 0 1/2
como puede observarse se cumple el patrón de repetición periódico:
𝑃 = 𝑃 3 = 𝑃 5 = . . . = 𝑃 𝑚 ; con m : impar
{
𝑃 2 = 𝑃 4 = 𝑃 6 = . . . = 𝑃 𝑛 ; con n : par
con la presencia siempre de ceros en las matrices.
Una cadena de Markov homogénea es no ergódica o reducible o sepa-
rable cuando no todos sus estados se comunican, en esas condiciones la
cadena es separable en un conjunto de clases comunicantes y estados
sin retorno.
Ejemplo 2.i
0,5
7654
0123 7654
0123
0,5
&
0f 1S
0,2 0, 5 0, 5 0 0
0,8
0, 8 0, 2 0 0
0,3 𝑃 =
7654
0123 7654
0123
0,7
& 0 0 0, 7 0, 3
2f 3S 0 0 0, 6 0, 4
0,6 0,4
es separable en dos clases comunicantes recurrentes 𝐶1 = {0, 1} y

𝐶2 = {2, 3}
La cadena del ejemplo 2.f es separable en:
⎧
⎨ 1 clase comunicante recurrente : 𝐶3 = {5, 6, 7}
2 clase comunicante transitoria : 𝐶1 = {2} y 𝐶2 = {3, 4}
2 estados sin retorno :0 𝑦 1
⎩
Dentro de las cadenas no ergódicas merecen especial atención dos

tipos particulares de cadenas denominadas respectivamente cadenas
absorbentes y cadenas cı́clicas.
(a) Cadenas absorbentes

Una cadena absorbente es una cadena no ergódica separable en
∙ 1 o varios estados absorbentes y
∙ 1 o varios estados no absorbentes, constituı́dos por clases comuni-
cantes transitorias o estados sin retorno, desde los cuales se puede
acceder a por lo menos un estado absorbente
Ejemplo 2.j
0,3 𝑗
7654
0123 7654
0123

0,7 𝑖/ 0 1 2
'
0g
1 0 0, 7 0, 3
0,5 𝑃 =
1 0, 5 0, 5
0,5
7654
0123
1
2 1
2
es una cadena absorbente separable en una clase comunicante tran-
sitoria C={ 0,1} y un estado absorbente 2, para el cual se cumple que
𝑝22 = 1
(b) Cadenas cı́clicas

Una cadena cı́clica es una cadena no ergódica en la cual el proceso
pasa de un estado a otro cı́clicamente según un cierto patrón de com-
portamiento. El ciclo es un camino cerrado entre estados de una clase
recurrente.
Para que una cadena sea cı́clica debe cumplirse que:
∙ tenga por lo menos un ciclo, y

∙ sea posible entrar en el ciclo

Ejemplo 2.k
0,5
7654
0123
𝑗
𝑖/ 0 1 2
0 1
111 0 0, 5 0, 2 0, 3
0,2 1 0,3 𝑃 =
1 111 1 1
7654
0123 7654
0123

'
1g 2 2 1
1
es una cadena cı́clica separable en una clase comunicante transitorı́a

𝐶1 ={ 0 } una clase comunicante recurrente 𝐶2 ={ 1, 2 } , que forma
un ciclo.
Muchas caracterı́sticas de comportamiento de las cadenas no ergódicas
después que se han producido un número elevado de transiciciones (en
lo que luego se definirá como régimen permanente), se estudian medi-
ente el análisis de sus clases comunicantes recurrentes como si fueran
cadenas ergódicas independientes.
En resumen las cadenas de Markov homogéneas se pueden clasificar en:
⎧ {
regulares
Cadenas ergódicas: una clase comunicante recurrente



 periódicas
⎨
 {


 Cadenas no ergódicas: separables en absorbentes
⎩
clases comunicantes más estados sin retorno cı́clicas
A partir de esta clasificación en los puntos siguientes se estudia el

comportamiento de las cadenas ergódicas y no ergódicas mencionadas.
2.3 Estudio del Comportamiento de las Cadenas Ergódicas en el

Régimen Permanente
Se define como régimen permanente o estado estacionario de una cadena de
Markov homogénea a la situación que el sistema alcanza luego de un periodo
relativamente largo de tiempo. En dicho régimen la cadena ya ha entrado en
una condición de equilibrio estocástico, lo cual significa que sus probabilidades
de estado devienen estables en el tiempo.

En cambio régimen transitorio es la situación en que el sistema se encuentra
luego de un perı́odo relativamente corto de tiempo. En dicho régimen la cadena
no ha encontrado todavı́a una condición particular de equilibrio estocástico, es
decir sus probabilidades de estado no son estables en el tiempo.
Dentro de las cadenas ergódicas regulares y periódicas interesa estudiar es-
pecı́ficamente sus comportamientos en el régimen permanente, y sus conclu-
siones, según se ha dicho más arriba, son extensibles a las clases recurrentes de
las cadenas no ergódicas.
2.3.1) Estudio del comportamiento de las cadenas regulares en el régimen per-

manente
Tal como se ha definido en 2.2.3, una cadena regular es una cadena ergódica
en la cual todos sus estados pueden comunicarse simultáneamente en una
cantidad r de pasos.
Para describir el comportamiento de una cadena regular en el régimen per-
manente o a lago plazo es preciso conocer las probabilidades de transición
y de estado cuando el número n de transiciones tiende a ∞. Se puede de-
mostrar que si la cadena es regular, el lı́mite de la matriz de probabilidades
de transición P(n) cuando n tiende a ∞ es una matriz regular (todos sus
elementos son positivos), con todas sus filas iguales, es decir, de (2.14) es:
𝑝0 . . . 𝑝𝑗 . . . 𝑝𝑚
.. .. ..
. . .
𝑛
lim 𝑃 (𝑛) = lim 𝑃 = 𝑝0 . . . 𝑝𝑗 . . . 𝑝𝑚 (2.31)
𝑛→∞ .. .. ..
. . .
𝑝0 . . . 𝑝𝑗 . . . 𝑝𝑚
y el lı́mite del vector de probabilidades de estado queda, tomando la 1ra.

igualdad de la (2.30):
𝑝0 . . . 𝑝𝑗 . . . 𝑝𝑚
.. .. ..
. . .
lim 𝑝(𝑛) = 𝑝(0). lim 𝑃 (𝑛) = 𝑝0 (0) . . . 𝑝𝑖 (0) . . . 𝑝𝑚 (0) x 𝑝0 . . . 𝑝𝑗 . . . 𝑝𝑚
𝑛→∞ 𝑛→∞ .. .. ..
. . .
𝑝0 . . . 𝑝𝑗 . . . 𝑝𝑚
𝑚
∑
y por cumplirse que: 𝑝𝑖 (0) = 1, queda:
𝑖=0
lim 𝑝(𝑛) = 𝑝0 . . . 𝑝𝑗 . . . 𝑝𝑚 (2.32)

𝑛→∞
las (2.31) y (2.32) expresan que en una cadena de Markov regular, luego
de un número suficientemente grande de transiciones (𝑛 → ∞), sus pro-
babilidades de transición 𝑝𝑖𝑗 (𝑛) y de estado 𝑃𝑗 (𝑛) se estabilizan en valores
lı́mites iguales para cada estado j, e independientes del estado inicial i. Este
estado se conoce como régimen permanente o estacionario, y sus probabi-
lidades de estado 𝑝𝑗 representan los porcentajes de tiempo que la cadena
permanece en cada estado j luego de un perı́odo largo de tiempo.
Esta distribución de estados lı́mites se puede determinar mediante tres
caminos alternativos.
(a) mediante el lı́mite de la ecuación (2.31):lim 𝑃 (𝑛) = lim 𝑃 𝑛 ; 𝑛 → ∞

(b) mediante una ecuación que se deriva de la 2da. igualdad de la ecuación
de estado (2.30). Para 𝑛 → ∞, según lo expresado más arriba se
cumple que:
lim 𝑝(𝑛) = lim 𝑝(𝑛 − 1) = 𝑝

𝑛→∞ 𝑛→∞
reemplazando en la 2da. igualdad de la (2.30) quedan:

𝑝 = 𝑝 . 𝑃 (2.33)
siendo: 𝑚
∑
𝑝𝑗 = 1
𝑗=0
(2.34)
luego con las ecuaciones (2.33) y (2.34), conocida la matriz de tran-

sición P de la cadena regular, se puede calcular el vector de probabi-
lidades p del régimen permanente.
(c) mediante la llamada “ecuación de balance de flujos probabilı́sticos”,

que se deriva de la ecuación (2.33). En efecto, si se desarrolla ésta
última es:
𝑝00 . . . 𝑝0𝑗 . . . 𝑝0𝑚
.. .. ..
. . .
𝑃 = 𝑝0 . . . 𝑝𝑗 . . . 𝑝𝑚 = 𝑝0 . . . 𝑝𝑖 . . . 𝑝𝑚 x 𝑝𝑖0 . . . 𝑝𝑖𝑗 . . . 𝑝𝑖𝑚
.. .. ..
. . .
𝑝𝑚0 . . . 𝑝𝑚𝑗 . . . 𝑝𝑚𝑚
en la cual el elemento genérico 𝑝𝑗 es:

∑𝑚 𝑚
∑
𝑝𝑗 = 𝑝𝑖 .𝑝𝑖𝑗 = 𝑝𝑖 .𝑝𝑖𝑗 + 𝑝𝑗 .𝑝𝑗𝑗
𝑖=0 ∀𝑖∕=𝑗
𝑚
∑
agrupando queda: 𝑝𝑖 .𝑝𝑖𝑗 = 𝑝𝑗 (1 − 𝑝𝑗𝑗 )
∀𝑖∕=𝑗
y aplicando la ecuación (2.4) a las transiciones del estado j a un con-

junto exhaustivo de estados k es:
∑ ∑
𝑝𝑗𝑘 = 1 ∴ 1 − 𝑝𝑗𝑗 = 𝑝𝑗𝑘
∀𝑘 ∀𝑘∕=𝑗
reemplazando queda:
∑ ∑
𝑝𝑖 .𝑝𝑖𝑗 = 𝑝𝑗 . 𝑝𝑗𝑘 ; 𝑗 = 0, . . . , 𝑛 (2.35)
∀𝑖∕=𝑗 ∀𝑘∕=𝑗
que es la ecuación de balance de flujos ⎧ == @

⎫
==
 
probabilı́sticos, la cual expresa que 
 
JJ === u:

uuu
 
JJ =
 
“para un nodo genérico j la suma de  JJ == u
 
WPQRS
/ VUT
JJ uuu

$
⎨ ⎬
los flujos probabilı́sticos que concur- 𝑖 𝑗 JJ / 𝑘
uu: @ == JJ
uu == JJ
 
ren al nodo es igual a la suma de  uu == JJ$

uu
 
==
 

 
los flujos probabilı́sticos que salen del  ==


 

⎩ ⎭
nodo”.
Ejemplo 2.l
0,5 0,5 0,2

7654
0123 7654
0123
"
01X 1b
1
11 0, 5 0, 5 0
1 0,2
1 11 0,6
7654
0123
1 𝑃 = 0, 2 0, 2 0, 6
2 1 0 0
la cual es ergódica regular pues 𝑃 3 :
0, 35 0, 35 0, 30 0, 545 0, 245 0, 210

2 3
𝑃 = 0, 74 0, 14 0, 12 ∴ 𝑃 = 0, 518 0, 398 0, 084
0, 50 0, 50 0 0, 350 0, 350 0, 300
tiene todos sus elementos no nulos, se puede determinar el vector de

probabilidades p del régimen permanente mediante el cálculo de las
sucesivas potencias de 𝑃 𝑛 :
0, 5315 0, 3215 0, 1470 0, 4985 0, 3158 0, 1858

4 8
𝑃 = 0, 4226 0, 3386 0, 2388 ; 𝑃 = 0, 4979 0, 3090 0, 1931
0, 5450 0, 2450 0, 2100 0, 5077 0, 3096 0, 1827
0, 5 0, 3125 0, 1875
16
𝑃 = 0, 5 0, 3125 0, 1875 = 𝑝17 = 𝑝18 = lim 𝑃 𝑛
𝑛→∞
0, 5 0, 3125 0, 1875
se observa que a medida que aumenta n, los elementos 𝑝𝑖𝑗 (𝑛) tienden
a un lı́mite fijo, independiente del valor de i.
Luego por (2.32) es:
𝑝 = lim 𝑝(𝑛) = 𝑝0 𝑝1 𝑝2 = 0, 5 0, 3125 0, 1875 (2.32)

𝑛→∞
Análogo resultado puede obtenerse mediante la aplicación de las ecua-

ciones (2.33) y (2.34), que en este ejemplo son:
⎧

 0, 5 0, 5 0
𝑝0 𝑝1 𝑝2 = 𝑝0 𝑝1 𝑝2 x 0, 2 0, 2 0, 6
⎨

 1 0 0
𝑝0 + 𝑝1 + 𝑝2 = 1
⎩
ordenando queda:
⎧

 0, 5 𝑝0 − 0, 2 𝑝1 − 𝑝2 = 0
−0, 5 𝑝0 + 0, 8 𝑝1 = 0
⎨

 − 0, 6 𝑝1 + 𝑝2 = 0
𝑝0 + 𝑝1 + 𝑝2 = 1
⎩
sistema de cuatro ecuaciones con tres incógnitas. Eliminando una

cualquiera de las tres primeras ecuaciones, por ejemplo la 3ra. ecuación
( la cuarta no se puede eliminar porque las tres primeras satisfacen la
solución trivial), queda:
⎧
⎨ 0, 5 𝑝0 − 0, 2 𝑝1 − 𝑝2 = 0
−0, 5 𝑝0 + 0, 8 𝑝1 = 0
𝑝0 + 𝑝1 + 𝑝2 = 1
⎩
ecuación del tipo: p . A = B, siendo:
0, 5 0, 5 0
0, 2 0, 2 0, 6 ; 𝐵= 0 0 1
1 0 0
resolviendo la ecuación se llega al resultado anterior:
𝑝 = 𝐵.𝐴−1 = 0, 5 0, 3125 0, 1875
Al mismo sistema de ecuaciones podrı́a haberse arribado partiendo

de la ecuación de balance de flujos probabilı́sticos (2.35) y la ecuación
(2.34):
⎧
⎨ para el nodo 0: 0, 2 𝑝1 + 𝑝2 = 0, 5 𝑝0 ⇒ 0, 5 𝑝0 − 0, 2 𝑝1 − 𝑝2 = 0

para el nodo 1: 0, 5 𝑝0 = (0, 2 + 0, 6) 𝑝1 ⇒ −0, 5 𝑝0 + 0, 8 𝑝1 = 0
 para el nodo 2: 0, 6 𝑝1 = 𝑝2 ⇒ − 0, 6 𝑝1 + 𝑝2 = 0
⎩
y de la (2.34): 𝑝0 + 𝑝1 + 𝑝2 = 1
2.3.2) Estudio del comportamiento de las cadenas periódicas en el régimen per-

manente
Tal como se ha definido en 2.2.3 , una cadena periódica es una cadena
ergódica en la cual no se puede encontrar una potencia r de la matriz P
para la cual todos los elementos de 𝑃 2 sean no nulos. A diferencia de
las cadenas regulares, en las cadenas periódicas no pueden lograrse valores
lı́mites de la matriz 𝑃 (𝑛) = 𝑃 2 cuando n tiende a ∞. No obstante la
cadena se estabiliza en valores lı́mites de probabilidades de estado a largo
plazo, los cuales, como en el caso anterior representan los porcentajes de
tiempo que el proceso permanece en cada estado, y que se pueden calcular
a partir de las expresiones (2.33) y (2.34) o de las (2.35) y (2.34) indistin-
tamente.
Ejemplo 2.m
Dada la cadena periódica del ejemplo 2.h
7654
0123 7654
0123
1
'
0g 1/2 :1
0 1 0
1
7654
0123
1/2 𝑃 = 1/2 0 1/2
z
2 0 1 0
según se ha visto en dicho ejemplo el lı́mite de 𝑃 𝑛 cuando n tiende a ∞

no existe, no obstante aplicando las ecuaciones (2.33) y (2.34) son:

⎧

 0 1 0
𝑝0 𝑝1 𝑝2 = 𝑝0 𝑝1 𝑝2 x 1/2 0 1/2
⎨

 0 1 0
𝑝0 + 𝑝1 + 𝑝 2 = 1
⎩
eliminando una de las tres primeras ecuaciones, y resolviendo el sistema

resultante quedan:
𝑝0 = 𝑝2 = 1/4 ; 𝑝1 = 1/2
2.4 Estudio del comportamiento de las cadenas no ergódicas

Según se ha dicho anteriormente, dentro de las cadenas no ergódicas merecen
especial atención las cadenas absorbentes y las cadenas cı́clicas. Además, de las
mismas interesa fundamentalmente estudiar su comportamiento en el régimen
transitorio, pues en el permanente queda caracterizado por el estudio del com-
portamiento de sus clases recurrentes como cadenas ergódicas independientes.
2.4.1) Estudio del comportamiento de las cadenas absorbentes.

Como se ha definido en 2.2.3, una cadena absorbente es una cadena no
ergódica separable en:
⋅ uno o varios estados absorbentes (estados con probabilidad nula de ser
abandonados, por lo tanto cuando son alcanzados por el proceso, éste
se detiene definitivamente o se detiene para luego comenzar desde otro
estado), y
⋅ uno o varios estados no absorbentes constituidos por clases comuni-
cantes transitorias o estados sin retorno, desde cada una de las cuales
se puede acceder a por lo menos un estado absorbente.
Ejemplos de cadenas absorbentes se pueden encontrar en múltiples
procesos de la realidad. Uno de los más ilustrativos lo constituyen los
procesos de inspección como el del siguiente problema.
Ejemplo 2.n
Se tiene que inspeccionar una muestra de tres piezas hasta encontrar una
pieza que sea mala, con probabilidad p, o las tres piezas buenas.
Se tienen los siquientes estados:
Estados 0 1 2 3 4 5 6
Buenas 0 0 1 1 2 2 3
Situación
Malas 0 1 0 1 0 1 0
con los siguientes grafo y matriz de transición:
0 1 2 3 4 5 6
0123
7654 𝑝 7654
0123 7654
0123 70123
/ 654
1 1 1
𝑝
0 /1 8}2 3 0 𝑝 (1 − 𝑝)
}
}} 1 1
1−𝑝 }}
}}
} }} 2 𝑝 (1 − 𝑝)
}} 1−𝑝 𝑃 =
}}} 3 1
}
}}
0123
7654 7654
0123 7654
0123
1 1
}
~ } 𝑝 4 𝑝 (1 − 𝑝)
4 /5 86
5 1
1−𝑝 6 1
Se puede observar la presencia de cuatro estados absorbentes: 1, 3, 5 y

6 y das tres estados sin retorno: 0, 2 y 4.
En las cadenas absorbentes es de interés conocer:

(a) el número esperado de veces que el proceso pasa por cada estado no
absorbente antes de ser absorbido
(b) el número esperado de transiciones que el proceso tarda en ser ab-
sorbido
(c) la probabilidad de absorción por cada estado absorbente
Para realizar estos análisis se opera con la matriz de transición P, pero
reagrupada en cuatro submatrices, constituyendo lo que se conoce cono
“forma canónica o estándar”. Para un proceso de a estados absorbentes y
n estados no absorbentes, dicha forma es:
𝐼 0 a estados
𝐴 𝑁 n estados
𝑃 =
𝑎 𝑛
𝑒𝑠𝑡𝑎𝑑𝑜𝑠 𝑒𝑠𝑡𝑎𝑑𝑜𝑠
en donde son:
* I(axa): matriz identidad; cada elemento representa la probabilidad de
permanecer en un estado absorbente en un paso
* 0(axn): matriz nula; cada elemento representa la probabilidad de pasar
de un estado absorbente a uno no absorbente en un paso
* A(nxa): matriz de estados absorbentes; cada elemento representa la
probabilidad de ser absorbido (pasar de un estado no absorbente a uno
absorbente) en un paso
* N(nxn): matriz de estados no absorbentes; cada elemento representa
la probabilidad de no ser absorbido (pasar de un estado no absorbente
a otro no absorbente) en un paso
En la cadena del ejemplo 2.n serı́a:
1 3 5 6 0 2 4
1 1
3 1
5 1
𝑃 =
6 1
0 𝑝 (1 − 𝑝)
2 𝑝 1 (1 − 𝑝)
4 𝑝 (1 − 𝑝)
Para los análisis que siguen se utilizarán las matrices A y N.
(a) Número esperado de veces que el proceso pasa por cada estado no ab-
sorbente antes de ser absorbido
De acuerdo a lo visto anteriormente cada elemento de N representa
la probabilidad de pasar de un estado no absorbente i a otro estado

no absorbente j en un paso. Luego cada elemento de la matriz 𝑁 2
representa la probabilidad de pasar de un estado no absorbente i a
otro estado no absorbente j en dos pasos, y en forme genérica cada
elemento de la matriz 𝑁 𝑛 representa la probabilidad de pasar de un
estado no absorbente i a otro estado no absorbente j en n pasos.
Por lo tanto el número esperado de veces que la cadena puede pasar
por un estado no absorbente j, habiendo comenzado en un estado no
absorbente genérico i, está dado por:
2 𝑛 𝐼
𝑛𝑗/𝑖 = 1𝑥𝐼
|{z} + |{z}
1𝑥𝑁 + |1𝑥𝑁
{z } + . . . + |1𝑥𝑁
{z } + . . . = 𝐼−𝑁 =
al comienzo en un paso en dos pasos en n pasos
siendo lim 𝑁 𝑛 = 0 =⇒ 𝑛𝑗/𝑖 = (𝐼 − 𝑁 )−1 (2.36)

𝑛→∞
Ejemplo 2.ñ
Dada la siguiente cadena absorbente:
7654
0123
1

@1
01 2 3

7654
0123 7654
0123
1/2
1 0 1/2 1/2

0l @3 𝑃 = 1 1

1/4 2 1/4 3/4

7654
0123
3/4 3 1
1/2 ,
2
su forma estándar es:
1 3 0 2
1 1
𝑃 = 3 1
0 1/2 1/2
2 3/4 1/4
donde son:
0 2 1 3
𝑁= 0 1/2 ; 𝐴= 0 1/2
2 1/4 2 3/4
luego resulta:
0 2
−1
𝐼 −𝑁 = 1 −1/2 (𝐼 − 𝑁 ) = 0 8/7 4/7
−1/4 1 2 2/7 8/7
por lo tanto si la cadena comienza en el estado no absorbente 0, pasará

en promedio por ese estado: 8/7 veces, incluyendo el comienzo, y por
el estado 2: 4/7 veces, antes de ser absorbida por los estados 1 ó 3; si
en cambio la cadena comienza en el estado no absorbente 2, pasará en
promedio por ese estado: 8/7 veces, incluyendo el comienzo, y por el
estado 0: 2/7 veces, antes de ser absorbida por los estados 1 ó 3.
(b) Número esperado de transiciones que el proceso tarda en ser absorbido
En función de lo anterior, cuando la cadena comienza en un estado no
absorbente i, el número esperado de pasos que tarda en ser absorbida
es la suma de los elementos de la fila i , de la matriz (𝐼 − 𝑁 )−1 , por lo
tanto queda expresado como:
1
∑ 1
𝑁𝑖 = 𝑛𝑗/𝑖 = (𝐼 − 𝑁 )−1 𝑥 .. (2.37)
∀𝑗
.
1
Ejemplo 2.o
Para la cadena del ejemplo 2.ñ es:
0 2
𝑁𝑖 = 0 8/7 4/7 𝑥 1 = 0 12/7
2 2/7 8/7 1 2 10/7
Es decir que si la cadena comienza en el estado no absorbente 0 tar-

dará 12/7 transiciones en promedio antes de ser absorbida, si en cambio
comienza en el estado 2, tardará 10/7 transiciones.
b.1) Extensión para cadenas no absorbentes
Para determinar el número de pasos promedio para alcanzar un
estado cualquiera j determinado, se procede de manera análoga al
punto anterior, suponiendo que el estado j es absorbente.
Ejemplo 2.p
0,2
0,4 0,5 0 1 2
7654
0123 0123
7654
z
0h 0,3 41
M
0 0, 4 0, 3 0, 3
𝑃 =
0,6 0,3
1 0, 2 0, 5 0, 3
7654
0123
0,3 0,4 2 0, 6 0, 4 0
,
2
Para averiguar el número de transiciones que se realizan hasta al-
canzar por primera vez el estado 2, se debe considerarlo absorbente;
es decir, la nueva matriz de transición será en su formato estándar:
2 0 1
2 1 0 0
𝑃 =
0 0, 3 0, 4 0, 3
1 0, 3 0, 2 0, 5
luego:
1 0 0, 4 0, 3 0, 6 −0, 3
𝐼 −𝑁 = − =
1 0 0, 2 0, 5 −0, 2 0, 5
2, 08 1, 25 3, 33
(𝐼 − 𝑁 )−1 = (𝐼 − 𝑁 )−1 𝑥 1̄ =
0, 82 2, 50 3, 32
es decir, partiendo del estado 0, el número promedio de pasos que

transcurren entes de alcanzar el estado 2 es 3.33, y partiendo del
estado 1, el número promedio de pasos que transcurren antes de
alcanzar el estado 2 es 3.32.
(c) Probabilidad de absorción por cada estado absorbente

Para cada estado no absorbente i interesa conocer la probabilidad de
ser absorbido por cada estado absorbente j. Este valor es igual a la
probabilidad de ir desde i a j en un paso, más la probabilidad da ha-
cerlo en dos pasos, más la probabilidad de hacerlo en tres pasos, etc.
Luego:
𝑃 (𝑖 → 𝑗) = 𝑃 (𝑖 → 𝑗 en un paso) +𝑃 (𝑖 → 𝑗 en 2 pas.) +𝑃 (𝑖 → 𝑗 en 3 pas.) + . . .

=𝐴 +𝑁 𝑥 𝐴 +𝑁 𝑥𝑁 𝑥 𝐴 +...
2 3
= (𝐼 + 𝑁 + 𝑁 + 𝑁 + . . .) 𝑥 𝐴
𝑃 (𝑖 → 𝑗) = (𝐼 − 𝑁 )−1 x 𝐴 (2.38)
Ejemplo 2.q
Para el ejemplo 2.ñ es:
0 2 1 3
−1
𝑃 (𝑖 → 𝑗) = (𝐼−𝑁 ) x𝐴 = 0 8/7 4/7 𝑥 0 1/2 0 =
2 2/7 8/7 2 0 3/4
1 3
= 0 4/7 3/7
2 1/7 6/7
es decir, comenzando en el estado 0 la probabilidad de terminar en

el estado 1 es 4/7 y en el estado 3 es 3/7, y comenzando en el estado
2 la probabilidad de terminar en el estado 1 es 1/7 y en estado 3 es 6/7.
2.4.2) Estudio del comportamiento de las cadenas cı́clicas

Como se ha definido en 2.2.3, una cadena cı́clica es una cadena en la cual
el proceso pasa de un estado a otro cı́clicamente según un cierto patrón de
comportamiento, cumpliéndose las condiciones:
* tiene por lo menos un ciclo (camino cerrado entre estados de una clase
comunicante recurrente),
* es posible entrar en el ciclo.
En el régimen transitorio (corto plazo) se puede determinar el número
de intentos promedio que se realizan para alcanzar el ciclo. Este cálculo
se puede hacer suponiendo que el ciclo es un estado absorbente.
Ejemplo 2.r
En la cadena cı́clica del ejemplo 2.k, haciendo:
1y2 0
𝑃 = 1y2 1 0
0 0, 5 0, 5
∴ 𝐼 − 𝑁 = 1 − 0, 5 = 0, 5 ∴ (1 − 𝑁 )−1 = 2
∴ (𝐼 − 𝑁 )−1 x 1̄ = 2 x 1 = 2 ∴ 𝑁0 = 2
En el régimen permanente (largo plazo) el sistema es cı́clico, y el tiempo

que el proceso pasa en cada estado del ciclo se calcula con el procedimiento
visto para las cadenas ergódicas, ecuaciones (2.33) y (2.34). Para el ejem-
plo 2.r serı́a:
0, 5 0, 2 0, 3
𝑝(0) 𝑝(1) 𝑝(2) x 0 0 1 = 𝑝(0) 𝑝(1) 𝑝(2) ∴
0 1 0
⎧
⎨ 𝑝(0) x 0, 5 = 𝑝(0) {
𝑝(0) = 0
0, 2 x 𝑝(0) + 𝑝(2) = 𝑝(1) ∴
𝑝(1) = 𝑝(2) = 0, 5
𝑝(0) + 𝑝(1) + 𝑝(2) = 1
⎩
El ciclaje es común en operaciones de máquinas, en ciertas funciones

matemáticas y en algunos sistemas fı́sico-económicos.

DE PARÁMETRO CONTINUO
Se sigue a continuación un desarrollo análogo al de las cadenas de parámetro
discreto definiéndose primero las probabilidades condicionales de transición e
incondicionales de estado, y estudiándose luego el comportamiento de las cade-
nas regulares en el régimen permanente.
3.1 Estudio de las probabilidades en las cadenas de Markov ho-

mogéneas
3.1.1) Probabilidad condicional de transición
(a) Definición general
La probabilidad condicional de transición es:
⎧
⎨𝑡 ≥ 0

Δ𝑡 ≥ 0
𝑝𝑖𝑗 (Δ𝑡) = 𝑃 {𝑋(𝑡 + Δ𝑡) = 𝑗/𝑋(𝑡) = 𝑖}; con: 𝑖 = 0, 1, 2, . . . , 𝑚
(3.1)

⎩
𝑗 = 0, 1, 2, . . . , 𝑚
y la matriz de probabilidades de transición es:

𝑗
𝑖/ 0 1 ...... 𝑚
0 𝑝00 (Δ𝑡) 𝑝01 (Δ𝑡) ...... 𝑝0𝑚 (Δ𝑡)
1 𝑝10 (Δ𝑡) 𝑝11 (Δ𝑡) ...... 𝑝1𝑚 (Δ𝑡)
𝑃 (Δ𝑡) = .. .. .. .. (3.2)
. . . .
.. .. .. ..
. . . .
𝑚 𝑝𝑚0 (Δ𝑡) 𝑝𝑚1 (Δ𝑡) ...... 𝑝𝑚𝑚 (Δ𝑡)
cumpliéndose:
⎧

 0 ≤ 𝑝𝑖𝑗 (Δ𝑡) ≤ 1 ; ∀𝑖, 𝑗 (3.3)



𝑚


⎨ ∑
𝑝𝑖𝑗 (Δ𝑡) = 1 ; 𝑖 = 0, 1, . . . , 𝑚 (3.4)
𝑗=0







con Δ𝑡 ≥ 0 . . .
⎩
Además en el caso de parámetro t continuo, las probabilidades de tran-

sición deben ser continuas en t = 0, es decir que deben cumplirse las
siguientes condiciones: Ejemplo 3.a
{
0 ; 𝑠𝑖 𝑖 ∕= 𝑗 (3.5)
lim 𝑃𝑖𝑗 (Δ𝑡) =
𝑡→0 1 ; 𝑠𝑖 𝑖 = 𝑗 (3.6)
El siguiente es un ejemplo de matriz de probabilidades condicionales

de transición correspondiente a una cadena de Markov homogénea de
parámetro continuo con dos estados: 0 y 1.
0, 7 + 0, 3𝑒−Δ𝑡 0, 3 − 0, 3𝑒−Δ𝑡
⎧
𝑝00 (Δ𝑡) 𝑝01 (Δ𝑡)
⎨ 𝑃 (Δ𝑡) = =

0, 7 − 0, 7𝑒−Δ𝑡 0, 3 + 0, 7𝑒−Δ𝑡

𝑝10 (Δ𝑡) 𝑝11 (Δ𝑡)


con Δ𝑡 ≥ 0
⎩
luego para cada valor de Δ𝑡 se tiene una matriz distinta, por ejemplo:
7654
0123 7654
0123
1 0
1 0 &
para Δ𝑡 = 0 𝑃 (0) = 0f 1S
0 1 0 1
0,88
7654
0123 7654
0123
0,12
0, 88 0, 12 &
para Δ𝑡 = 0, 5 𝑃 (5) = 0f 1S
0, 28 0, 72 0,28 0,72
0,7
7654
0123 7654
0123
0,3
0, 7 0, 3 &
para Δ𝑡 → ∞ 𝑃 (∞) = 0f 1S
0, 7 0, 3 0,7 0,3
(b) Tasas o intensidades de transición

Al estudiar el comportamiento de una Cadena de Markov homogénea
de parámetro continuo, es necesario trabajar con probabilidades de
transición entre instantes de tiempo muy próximos. Esta situación
conduce, por la ecuación (3.5) a probabilidades de transición que tien-

den a cero, es decir que cuando Δ𝑡 → 0 ⇒ 𝑝𝑖𝑗 (Δ𝑡) → 0.
Para solucionar el inconveniente de tener que trabajar con probabili-
dades 𝑝𝑖𝑗 (Δ𝑡) diferenciales, se introduce el concepto de la derivada de
la probabilidad de transición entre dos estados i y j distintos en Δ𝑡 = 0.
Esta nueva magnitud, llamada tasa o intensidad de transición, expresa
la variación de la probabilidad de transición entre estados diferentes de
la cadena en un intervalo Δ𝑡 pequeño, referida a un Δ𝑡 unitario (por
el concepto de derivada), y queda definida matemáticamente como:
[ ]
𝑑
𝑑𝑖𝑗 = 𝑝𝑖𝑗 (Δ𝑡) (3.7)
𝑑𝑡 Δ𝑡=0
Formalmente, esta tasa de transición en una cadena de parámetro

continuo es la magnitud equivalente a la probabilidad de transición de
un paso en las cadenas de parámetro discreto.
Para i = j el valor resultante se denomina tasa o intensidad de perma-
nencia en el estado i , y matemáticamente es:
[ ]
𝑑
𝑑𝑖𝑗 = 𝑝𝑖𝑗 (Δ𝑡) (3.8)
𝑑𝑡 Δ𝑡=0
Nuevamente el conjunto de tasas de

transición y permanencia definen la matriz
de tasas de transición D:
𝑑00 𝑑01 . . . . . . 𝑑0𝑚

𝑑10 𝑑11 . . . . . . 𝑑1𝑚
. .. ..
𝐷 = .. . . (3.9)
.. .. ..
. . .
𝑑𝑚0 𝑑𝑚1 . . . . . . 𝑑𝑚𝑚
Entre las tasas de transición y permanencia se puede establecer una

relación análoga a la (3.4):
𝑚
∑
de (3.4) 𝑝𝑖𝑗 (Δ𝑡) = 1
𝑗=0
[ 𝑚
] 𝑚 𝑚
𝑑 ∑ ∑ 𝑑 ∑
derivando: 𝑝𝑖𝑗 (Δ𝑡) = [𝑝𝑖𝑗 (Δ𝑡)]Δ𝑡=0 = 𝑑𝑖𝑗 = 0
Δ𝑡 𝑗=0 𝑗=0
Δ𝑡 𝑗=0
Δ𝑡=0
∑
luego: 𝑑𝑖𝑖 = − 𝑑𝑖𝑗 (3.10)
∀𝑗∕=𝑖
La ecuación (3.10) expresa que los elementos de la diagonal princi-

pal de la matriz D se calculan como la suma de los elementos de su
fila cambiada de signo.
Ejemplo 3.b
La matriz de tasas D correspondiente al ejemplo 3.a es:
−0, 3 0, 3
𝐷=
0, 7 −0, 7
en la cual se observa el cumplimiento de la ecuación (3.10).
(c) Ecuación de Chapman-Kolmogorov

La ecuación de Chapman-Kolmogorov (2.12) y (2.14) es también apli-
cable al caso continuo, adoptando la siguiente forma en sus expresiones
algebraicas:
⎧
𝑚 ⎨𝑡 ≥ 0

Δ𝑡 ≥ 0
∑
𝑝𝑖𝑗 (𝑡) = 𝑝𝑖𝑘 (𝑡 − Δ𝑡).𝑝𝑘𝑗 (Δ𝑡); con: (3.11)
 𝑖 = 0, 1, 2, . . . , 𝑚
𝑘=0 ⎩
𝑗 = 0, 1, 2, . . . , 𝑚
o matricial:
𝑃 (𝑡) = 𝑃 (𝑡 − Δ𝑡) . 𝑃 (Δ𝑡) (3.12)
Ejemplo 3.c
Tomando la matriz de probabilidades de transición del ejemplo 3.a:
0, 7 + 0, 3𝑒𝑡 0, 3 − 0, 3𝑒𝑡
𝑃 (𝑡) =
0, 7 − 0, 7𝑒𝑡 0, 3 + 0, 7𝑒𝑡
se verificará la ecuación de Chapman (3.11) y (3.12) tomando como

ejemplo 𝑖 = 0, 𝑗 = 1, 𝑡 = 3, Δ𝑡 = 0, 5. Luego son:
⋅ por cálculo directo:
𝑝01 (3) = 0, 3 − 0, 3𝑒−3 = 0, 285
⋅ por aplicación de la ecuación de Chapman:
𝑝01 (3) = 𝑝00 (2, 5) . 𝑝01 (0, 5) + 𝑝01 (2, 5) . 𝑝11 (0, 5) =
= 0, 725 . 0, 118 + 0, 275 . 0, 275 = 0, 285
luego verifica.
3.1.2) Probabilidad incondicional de estado
(a) Definición
La probabilidad incondicional de estado es:
{
𝑡 ≥ 0
𝑝𝑖 (𝑡) = 𝑃𝑥=𝑖 (𝑡); con: (3.13)
𝑖 = 0, 1, 2, . . . , 𝑚
y el vector de probabilidades incondicionales de estado es:
𝑝(𝑡) = 𝑝0 (𝑡) 𝑝1 (𝑡) . . . . . . 𝑝𝑚 (𝑡) (3.14)

cumpliendose:
⎧

 0 ≤ 𝑝𝑖 (𝑡) ≤ 1 , ∀𝑖 (3.15)

⎨
∑𝑚
𝑝𝑖 (𝑡) = 1 , con 𝑡 ≥ 0 (3.16)



⎩
𝑖=0
(b) Probabilidad de estado inicial

Es un caso particular de la (3.13) para 𝑡 = 0:
𝑝𝑖 (0) = 𝑝𝑥=𝑖 (𝑡 = 0) ; con 𝑖 = 0, 1, . . . , 𝑚 (3.17)
y el vector de probabilidades:
𝑝(0) = 𝑝0 (0) 𝑝1 (0) . . . . . . 𝑝𝑚 (0) (3.18)
(c) Ecuación de estado

La ecuación de estado (2.26) y (2.30) es también aplicable al caso con-
tinuo, adoptando las siguientes formas en sus expresiones algebraicas:
⎧ 𝑚 ⎫
∑
𝑝𝑖 (0).𝑝𝑖𝑗 (𝑡) : forma a) 

 

 
 {
⎨ 𝑘=0
 
⎬ 𝑡 ≥ 0
𝑝𝑗 (𝑡) = ; con: Δ𝑡 ≥ 0 (3.19)


 𝑚


 𝑗 = 0, 1, 2, . . . , 𝑚
 ∑ 

⎩ 𝑝𝑖 (𝑡 − Δ𝑡).𝑝𝑖𝑗 (Δ𝑡) : forma b) 
⎭
𝑖=0
o matricial:
{
= 𝑝(0) . 𝑃 (𝑡)
𝑝(𝑡) = (3.20)
= 𝑝(𝑡 − Δ𝑡) . 𝑃 (Δ𝑡)
expresión genérica matricial de la ecuación de estado para el caso con-

tinuo. Las ecuaciones (3.12) y (3.20) permiten calcular la probabili-
dad de cada uno de los estados de la cadena, en cualquier instante de
tiempo t.
3.2 Estudio del comportamiento de las cadenas regulares en el reg.

permanente
En forma análoga al caso discreto, el régimen permanente o estado estacionario
de una cadena de Markov homogénea de parámetro continuo se obtiene ten-
diendo el parámetro 𝑡 → ∞, y si la cadena es regular se cumple también que el
lı́mite de la matriz de probabilidades de transición P(t) con 𝑡 → ∞ es regular
con todas las filas iguales e independientes del tiempo:
𝑝0 . . . 𝑝𝑗 . . . 𝑝𝑚
.. .. ..
. . .
lim 𝑃 (𝑡) = 𝑝0 . . . 𝑝𝑗 . . . 𝑝𝑚 (3.21)
𝑡→∞ .. .. ..
. . .
𝑝0 . . . 𝑝𝑗 . . . 𝑝𝑚
y el vector de probabilidades de estado queda, de la 1ra. igualdad de la ecuación

(3.20):
𝑝0 . . . 𝑝𝑗 . . . 𝑝𝑚
.. .. ..
. . .
lim 𝑝(𝑡) = 𝑝(0). lim 𝑃 (𝑡) = 𝑝0 (0) . . . 𝑝𝑖 (0) . . . 𝑝𝑚 (0) x 𝑝0 . . . 𝑝𝑗 . . . 𝑝𝑚
𝑡→∞ 𝑡→∞ .. .. ..
. . .
𝑝0 . . . 𝑝𝑗 . . . 𝑝𝑚
𝑚
∑
y por cumplirse que 𝑝𝑖 (0) = 1, queda:
𝑖=0
lim 𝑝(𝑡) = 𝑝 = 𝑝0 . . . 𝑝𝑗 . . . 𝑝𝑚 (3.22)

𝑡→∞
Igual que en el caso discreto, las (3.21) y (3.22) expresan que en una cadena de
Markov regular, luego de un tiempo t suficientemente grande sus probabilidades
de transición 𝑝𝑖𝑗 (𝑡) y de estado 𝑝𝑗 (𝑡) se estabilizan en valores lı́mites similares
e independientes del estado inicial y del tiempo t, definiéndose a este estado
como régimen permanente o estado estacionario. Esta distribución se puede

determinar mediante tres caminos alternativos:
a) mediante el lı́mite de la ecuación (3.21)
b) mediante una ecuación que se deriva de la 2da. igualdad de la ecuación de
estado (3.20) para 𝑡 → ∞
lim 𝑝(𝑡) = lim 𝑝(𝑡 − Δ𝑡) = 𝑝, luego es:

𝑡→∞ 𝑡→∞
𝑝 = 𝑝 . 𝑃 (Δ𝑡) (3.23)
siendo de (3.16) 𝑚
∑
𝑝𝑗 = 1
𝑗=0
(3.24)
Se puede observar que de (3.23) el vector p de probabilidades en el régimen

permanente es constante e independiente del intervalo Δ𝑡 que se toma den-
tro de dicho régimen. Luego de (3.23) y (3.24) conocida la matriz 𝑃 (Δ𝑡)
se puede calcular el vector p.
c) un camino más práctico de cálculo es hacerlo en función de la matriz D.

Desarrollando la (3.23):
𝑝00 (Δ𝑡) . . . 𝑝0𝑗 (Δ𝑡) . . . 𝑝0𝑚 (Δ𝑡)

.. .. ..
. . .
𝑝0 . . . 𝑝𝑖 . . . 𝑝𝑚 x 𝑝𝑖0 (Δ𝑡) . . . 𝑝𝑖𝑗 (Δ𝑡) . . . 𝑝𝑖𝑚 (Δ𝑡) = 𝑝0 . . . 𝑝𝑗 . . . 𝑝𝑚
.. .. ..
. . .
𝑝𝑚0 (Δ𝑡) . . . 𝑝𝑚𝑗 (Δ𝑡) . . . 𝑝𝑚𝑚 (Δ𝑡)
derivando con respecto a Δ𝑡 en Δ𝑡 = 0 es:

𝑑00 . . . 𝑑0𝑗 . . . 𝑑0𝑚

.. .. ..
. . .
𝑝0 . . . 𝑝𝑖 . . . 𝑝𝑚 x 𝑑𝑖0 . . . 𝑑𝑖𝑗 . . . 𝑑𝑖𝑚 = 0 0 ... 0
.. .. .. (3.25)
. . .
𝑑𝑚0 . . . 𝑑𝑚𝑗 . . . 𝑑𝑚𝑚
| {z } | {z } | {z }
𝑝 𝑥 𝐷 = 0
siendo de (3.24):
1
1
𝑝0 . . . 𝑝𝑖 . . . 𝑝𝑚 x .. = 1 (3.26)
.
1
∑
y de (3.10) 𝑑𝑖𝑖 = − 𝑑𝑖𝑗 (3.27)
∀𝑗∕=𝑖
las (3.25) a (3.27) también pueden expresarse de la forma

⎧ 𝑚
 ∑
𝑝𝑖 . 𝑑𝑖𝑗 = 0 ; ∀𝑗 (3.28)





⎨ 𝑖=0
m+1
ecuaciones  ∑𝑚




⎩ 𝑝𝑖 = 1 (3.29)
𝑖=0
∑
siendo: 𝑑𝑖𝑖 =− 𝑑𝑖𝑗 ; ∀𝑖 (3.27)
∀𝑗∕=𝑖
Además por (3.27) la suma de los elementos de cualquier fila de la ma-

triz D es cero, luego una columna cualquiera es combinación lineal de las
m columnas restantes, o lo que es equivalente: una cualquiera de las m+1
ecuaciones es combinación lineal de las m ecuaciones restantes, pudiéndose
eliminar. Si se desecha por ejemplo la última ecuación, su lugar formal en
la expresión matricial (3.25) puede ser ocupado por la (3.26), eliminando
la última columna de D, e incorporando en su lugar el vector de unos, y
reemplazando el último cero del vector de términos independientes por un
uno, quedando de esta manera integradas las ecuaciones (3.25) y (3.26) en

una sola ecuación:
𝑑00 𝑑01 ... 𝑑0,𝑚−1 1
𝑑10 𝑑11 ... 𝑑1,𝑚−1 1
𝑝0 𝑝1 . . . 𝑝𝑚−1 𝑝𝑚 x ... ... ... ... ... = 0 0 ... 0 1
𝑑𝑖0 ... 𝑑𝑖𝑗 ... 𝑑𝑖𝑚 (3.30)
𝑑𝑚0 𝑑𝑚1 ... 𝑑𝑚,𝑚−1 1
| {z } | {z } | {z }
𝑝 x 𝐴 = 1
∑
𝑑𝑖𝑖 = − 𝑑𝑖𝑗 (3.27)
∀𝑗∕=𝑖
luego el vector p de probabilidades del régimen estacionario queda ex-

presado:
p = B . 𝐴−1 (3.31)
y dada la estructura particular de B, p está integrada por la última fila de

la matriz 𝐴−1 .
Este sistema de ecuaciones puede ser también interpretado como un sis-
tema de balance de flujos probabilisticos para una cadena de parámetro
continuo. En efecto, si en la (3.27) se efectúa el cambio de variables j por
i y k por j queda:
∑
𝑑𝑗𝑗 = 𝑑𝑗𝑘
∀𝑘∕=𝑗
reemplazando en la (3.28) queda:

∑ ∑ ∑
0= 𝑝𝑖 . 𝑑𝑖𝑗 + 𝑝𝑗 . 𝑑𝑗𝑗 = 𝑝𝑖 . 𝑑𝑖𝑗 − 𝑝𝑗 . 𝑑𝑗𝑘
∀𝑖∕=𝑗 ∀𝑖∕=𝑗 ∀𝑘∕=𝑗
y ordenando:
∑ ∑
𝑝𝑖 . 𝑑𝑖𝑗 = 𝑝𝑗 . 𝑑𝑗𝑘 (3.32)
∀𝑖∕=𝑗 ∀𝑘∕=𝑗
que es la extensión de la ecuación (2.35) de balance de flujos probabilisticos

para el caso de cadenas de parámetro continuo.
4 APLICACIÓN DE CADENAS DE MARKOV

A SISTEMAS DE ATENCIÓN
4.1 Definición del problema
Dado un sistema de atención o prestación de un servicio cualquiera a clientes
de cualquier naturaleza, se quiere estudiar las caracterı́sticas del proceso de
atención y de eventual espera en cola de los clientes (problema de análisis)
o determinar la configuración de los canales de atención para satisfacer un
objetivo definido (problema de diseño o sı́ntesis).
Las principales caracterı́sticas de estos procesos son las siguientes:
* arribos de unidades a intervalos de tiempo regulares o irregulares a un
sistema integrado por un centro de atención o servicio (canales) y un centro
de espera (cola)
* el centro de servicio puede estar constituido por una o varias estaciones o
canales y cada unidad debe pasar por una (o eventualmente varias) estación
con el fin de recibir un servicio de duración aleatoria.
* la duración del servicio y el régimen de arribos definen que las unidades
puedan tener que esperar que una estación se encuentre disponible, for-
mando colas o lı́neas de espera.
Como ejemplo de estos procesos pueden mencionarse los siguientes:
Naturaleza de las Naturaleza del Naturaleza de

unidades servicio las estaciones
clientes ventas de un artı́culo vendedores

aviones aterrizaje pista
llamadas telefónicas conversaciones circuitos
mensajes decodificación decodificadores
máquinas en reparación reparación mecánicos
vehı́culos paso en un cruce semáforo
La estructura de estos sistemas con sus elementos básicos puede representarse
de la siguiente manera:
⎫
𝑠𝑎𝑙𝑖𝑑𝑎𝑠
∣ 

→ 



⎬
𝑙𝑙𝑒𝑔𝑎𝑑𝑎 −→ ∣∣∣∣∣∣∣ ∣ 𝑐𝑎𝑛𝑎𝑙𝑒𝑠
→ 



∣


→
⎭
| {z }
linea de espera
| {z }
sistema
Según que la naturaleza del estudio sea de análisis o de diseño, los interro-
gantes que surgen en el problema pueden estar dados por:
⎧

 ⋅ funcionamiento del sistema
⎧
⎨ ⋅ número necesario de canales
⎨

 ⋅ configuración del sistema ⋅ velocidad de atención de los canales
⋅ capacidad de la cola, etc
⎩ ⎩
Ademas el objetivo del problema puede ser:

* Z = Costo → mı́nimo
= costo operativo de 1 canal ($/hora.canal) x M (n∘ de canales) +
+ costo por demora de los clientes ($/hora.cliente ) x L (n∘ medio de
clientes en el sistema) → mı́nimo
* Z = Beneficio → máximo
= beneficio por atención de clientes ($/cliente) x 𝜆(velocidad de ingreso
de clientes: clientes/hora) - costo operativo de cada canal ($/hora.canal)
x M (n∘ de canales) → máximo
Para el cálculo del número medio de clientes en el sistema es preciso definir una
variable aleatoria de estado i = n que represente al número de clientes en el
sistema. En función de la misma será:
∑
𝐿 = 𝐸(𝑛) = 𝑛 . 𝑝𝑛
∀𝑛
para lo cual es necesario calcular las probabilidades de estado p, lo cual puede

efectuarse mediante el método de cadenas de Markov descripto en los capı́tulos
anteriores.
A continuación se efectúa la modelización del proceso mediante una cadena de
Markov particular llamada de nacimiento y muerte para luego aplicar dicho
modelo en distintos casos de sistemas de atención.
4.2 Modelización mediante una cadena de Markov tipo nacimiento

y muerte
En el proceso en estudio se producen
dos fenómenos aleatorios: arribos 𝑎𝑟𝑟𝑖𝑏𝑜𝑠 𝑠𝑒𝑟𝑣𝑖𝑐𝑖𝑜𝑠
y servicios, los cuales en general → →
responden a procesos tipo Poisson de 𝑃 𝑜𝑖𝑠𝑠𝑜𝑛 𝑃 𝑜𝑖𝑠𝑠𝑜𝑛
medias 𝜆 y 𝜇 respectivamente. 𝜆 𝜇
En base a estas hipótesis el proceso se puede modelar como una cadena de

Markov cuyos estados X(t) = i = n identifican a los clientes en el interior del
sistema, analizando por separado las probabilidades y tasas de transición de
ambos fenómenos:
a) arribos
El régimen de arribos x producidos en un intervalo t viene dado por:
𝑒−𝜆𝑡 (𝜆𝑡)𝑥
𝑝𝑥 𝑎𝑟𝑟. (𝑡) = 𝑃𝑝𝑜 (𝑥/𝑡, 𝜆) = ; y para x = 1 es:
𝑥!
𝑝1 𝑎𝑟𝑟. (𝑡) = 𝑒−𝜆𝑡 (𝜆𝑡)
como puede observarse el proceso Poisson de arribos es Markoviano ho-

mogéneo, pues las probabilidades de arribos 𝑝𝑥 sólo dependen del tiempo
t y no de la historia. Luego las tasas de arribos serán:
−𝜆𝑒−𝜆0 (𝜆0)𝑥 + 𝑒−𝜆0 .𝑥(0)𝑥

]
𝑑
𝑑𝑥 𝑎𝑟𝑟. = 𝑝𝑥 𝑎𝑟𝑟. (𝑡) = =0
𝑑𝑡 𝑡=0 𝑥!
]
𝑑
𝑑1 𝑎𝑟𝑟. = 𝑝1 𝑎𝑟𝑟. (𝑡) = −𝜆𝑒0 .𝜆0 + 𝑒−𝜆0 .𝜆 = 𝜆 (4.1)
𝑑𝑡 𝑡=0
b) despachos
El régimen de despachos 𝑥 ≤ 𝑖 = 𝑛 producidos en un intervalo t es:
𝑒−𝜇𝑡 (𝜇𝑡)𝑥
𝑝𝑥 𝑑𝑒𝑠. (𝑡) = 𝑃𝑝𝑜 (𝑥/𝑡, 𝜇) = ∴ 𝑝1 𝑑𝑒𝑠. (𝑡) = 𝑒−𝜇𝑡 𝜇𝑡
𝑥!
análogamente al caso anterior se llega a:
𝑑𝑥 𝑑𝑒𝑠. = 0
𝑑1 𝑑𝑒𝑠. = 𝜇 (4.2)
siendo también el proceso de despachos Markoviano homogéneo, y por lo

tanto el fenómeno aleatorio conjunto arribos-despachos también lo es.
Por otra parte, estos resultados establecen que en intervalos de tiempo

dt muy pequeños la probabilidad de que se produzcan x=2 o más arri-

bos o x=2 o más servicios es nula (diferencial de segundo orden), luego el
tamaño de la población X(t) = i = n sólo puede aumentar en uno, o dis-
minuir en uno o permanecer igual. Esta cadena particular recibe el nombre
de “proceso de nacimiento y muerte” y queda definida por las tasas de las
ecuaciones (4.1) y (4.2)
`
𝜆𝑖−2 𝜇𝑖−1
XYZ[
_^]\
⎧
⎨ 𝜆𝑖 ; 𝑠𝑖 𝑗 = 𝑖 + 1 (𝑛𝑎𝑐𝑖𝑚𝑖𝑒𝑛𝑡𝑜) 𝑖−1
𝑑𝑖𝑗 = 𝜇 ; 𝑠𝑖 𝑗 = 𝑖 − 1 (𝑚𝑢𝑒𝑟𝑡𝑒) (4.3) W
⎩ 𝑖 𝜆𝑖−1 𝜇𝑖
0 ; ∀ 𝑖, 𝑗 / ∣𝑗 − 𝑖∣ ≥ 2

WVUT
PQRS
𝑖
V
𝜆𝑖 𝜇𝑖+1
Las tasas de transición se ilustran en el grafo
XYZ[
_^]\

de la figura. En los puntos siguientes se aplica esta
𝑖+1
cadena a distintos casos de sistemas de atención W
𝜆𝑖+1 𝜇𝑖+2
4.3 Modelo general de canales en paralelo de igual velocidad

La estructura general del sistema y las hipótesis básicas de funcionamiento son
las siguientes:
* canales en paralelo de igual velocidad
∣ →𝜇
* cola de capacidad finita o infinita, sin prio-
ridades ∣ →𝜇
𝜆→ ∣∣∣
* población infinita, sin impaciencia ..
.
* régimen de arribos: Poisson ∣ →𝜇
* régimen de despachos: exponencial
Además se definen los siguientes parámetros y variables:

. 𝜆 = velocidad de arribo(cl/h) = 1/𝑇𝑎 = 1/tiempo promedio entre arribos

. 𝜇 = velocidad de despacho(cl/h) = 1/𝑇𝑠 = 1/tiempo promedio entre ser-
vicio
. 𝜌 = 𝜆/𝜇 = factor de tráfico
. 𝐿 = longitud (número promedio de clientes) del sistema
. 𝐿𝑐 = longitud (número promedio de clientes) de la cola
. 𝐻 = número promedio de clientes en los canales
. 𝑊 = tiempo promedio de permanencia en el sistema
. 𝑊𝑐 = tiempo promedio de espera en la cola
. 𝑝(𝑡 > 0) = probabilidad de tener que esperar en la cola (no ser atendido
de inmediato)
. 𝑀 = número de canales en paralelo
. 𝑁 = m = número máximo de clientes en el sistema (capacidad)
. 𝑛 = i = variable de estado que expresa el número de clientes en el sistema
. 𝑝𝑛 = probabilidad de n en el régimen estacionario
A efectos de calcular los indicadores 𝐿, 𝐿𝑐 , 𝐻, 𝑊 𝑦 𝑊𝑐 es necesario calcular
la probabilidad 𝑃𝑛 del régimen estacionario, a partir de las Ecuaciones (3.30) y
(3.27) y con las tasas 𝑑𝑖𝑗 definidas en la (4.3). Para la construcción del grafo y
la matriz de tasas de transición A es recomendable seguir los siguientes pasos:
1. se construye el grafo de tasas de transición
2. se construye la matriz A por filas con el siguiente procedimiento:
(a) tasas de transición 𝑑𝑖𝑗 : para cada fila i , en correspondencia con las
columnas j se colocan las tasas 𝑑𝑖𝑗 correspondientes a los arcos que
salen del estado i a cada uno de los estados j en el grafo
(b) tasas de permanencia 𝑑𝑖𝑖 : son los elementos de la diagonal principal
de la matriz A, y para cada fila i se calculan como la suma de las tasas
de transición de esa fila, cambiada de signo, según la ecuación (3.27)
(c) la última columna de la matriz de tasas se reemplaza por un vector de

unos
Aplicando esta metodologı́a al caso en estudio se tiene:
Estados i = n = 𝜇3 k
𝜇1 𝜇2 𝜇𝑛 𝜇𝑛+1
GFED
@ABC GFED
@ABC @ABC
GFED GFED
@ABC 89:;
?>=< ONML
HIJK
z z 𝜇𝑛−1 y y
0 ... 𝑛 ...
: 1 : 2
n-1 n+1
𝜆𝑛−2 F 9 8
𝜆0 𝜆1 𝜆2 % 𝜆𝑛−1 𝜆𝑛 +
𝑗
𝑖/ (0) (1) (2) ... (𝑛 − 1) ... (𝑁 )
𝐴0 𝐴1 𝐴2 ... 𝐴𝑛−1 ... 𝐴𝑁
(0) (−𝜆0 ) 𝜆0 0 ... 0 ... 1
(1) 𝜇1 −(𝜇1 + 𝜆1 ) 𝜆1 ... 0 ... 1
(2) 0 𝜇2 −(𝜇2 + 𝜆2 ) ... 0 ... 1
𝐴 = (3) 0 0 𝜇3 ... 0 ... 1
... ... ... ... ... ... ...
(𝑛 − 2) 0 0 0 ... 𝜆𝑛−2 ... 1
(𝑛 − 1) 0 0 0 . . . −(𝜇𝑛−1 + 𝜆𝑛−1 ) ... 1
(𝑛) 0 0 0 ... 𝜇𝑛 ... 1
... ... ... ... ... ... ...
𝑝= 𝑝0 𝑝1 𝑝2 ... 𝑝𝑛−2 𝑝𝑛−1 𝑝𝑛 ...... 𝑝𝑁
luego de (3.30): p.A = B se pueden despejar las probabilidades del régimen per-
manente. En este caso la estructura particular de A hace innecesario el cálculo
de 𝐴−1 pues se puede establecer ecuaciones de recurrencia tal como se indica a
continuación:
⎧
 𝑝.𝐴0 = −𝑝0 𝜆0 +𝑝1 𝜇1 =0 (4.4)
𝑝0 𝜆0 −𝑝1 (𝜇1 + 𝜆1 )

 𝑝.𝐴1 = +𝑝2 𝜇2 =0 (4.5)

−𝑝2 (𝜇2 + 𝜆2 ) +𝑝3 𝜇3
⎨ 𝑝.𝐴2 = 𝑝1 𝜆1 =0 (4.6)
.....................................................................................................................

 𝑝.𝐴𝑛−1 = 𝑝𝑛−2 𝜆𝑛−2 −𝑝𝑛−1 (𝜇𝑛−1 + 𝜆𝑛−1 ) +𝑝𝑛 𝜇𝑛 =0 (4.7)
⎩ .....................................................................................................................


𝑝.𝐴𝑁 = 𝑝0 +𝑝1 +𝑝2 +𝑝3 ... +𝑝𝑛−2 +𝑝𝑛−1 +𝑝𝑛 . . . +𝑝𝑁 = 0 (4.8)
𝜆0
luego de (4.4) : 𝑝0 𝜆0 = 𝑝1 𝜇1 ∴ 𝑝1 = 𝑝0
𝜇1
𝜆1 𝜆1 𝜆0
sumando (4.4) y (4.5) : 𝑝1 𝜆1 = 𝑝2 𝜇2 ∴ 𝑝2 = 𝑝1 = 𝑝0
𝜇2 𝜇2 𝜇1
𝜆2 𝜆2 𝜆1 𝜆0
sumando (4.4), (4.5) y (4.6) : 𝑝2 𝜆2 = 𝑝3 𝜇3 ∴ 𝑝3 = 𝑝2 = 𝑝0
𝜇3 𝜇3 𝜇2 𝜇1
𝜆𝑛−1
sumando (4.4), (4.5), (4.6) y (4.7) : 𝑝𝑛−1 𝜆𝑛−1 = 𝑝𝑛 𝜇𝑛 ∴ 𝑝𝑛 = 𝑝𝑛−1 =
𝜇𝑛
𝜆𝑛−1 . . . 𝜆2 𝜆1 𝜆0
= 𝑝0 (4.9)
𝜇𝑛 . . . 𝜇3 𝜇2 𝜇1
𝑛−1
∏
𝜆𝑖
𝑜
quedando las probabilidades 𝑓 (𝑝0 ) : 𝑝𝑛 = 𝑛 .𝑝0 (4.10)
∏
𝜇𝑖
1
𝑁
∑
y reemplazando la (4.10) en (4.8) : 𝑝𝑖 = 1 ∴ 𝑝0 = . . . (4.11)
𝑖=0
obteniéndose 𝑝0 𝑛 = 0, 1, . . . , 𝑁
Se distinguirán cuatro casos, según que la capacidad de la cola N sea infinita

o finita, y para cada caso dos subcasos según que el número de canales M sea
mayor que uno o exactamente uno.
4.3.1) Sistema de 𝑀 > 1 canales similares de atención en paralelo de igual 𝜇 y

cola infinita (𝑁 → ∞)
La estructura general del sistema es:
⎫
∣ →𝜇 





∣ →𝜇



⎬
𝜆→ ∣∣∣ 𝑀
.. 
. 







∣ →𝜇 ⎭
| {z }
𝑁
y se cumplen:
𝑁 →∞ ⎫
𝜆𝑖 = 𝜆 = 𝑐𝑡𝑒. } ; 𝑇𝑎 = 1/𝜆 ⎬
𝜇𝑖 = 𝑖𝜇, 𝑖 = 1, 2, . . . , 𝑀 − 1 ; 𝜌 = 𝜆/𝜇
; 𝑇𝑠 = 1/𝜇 ⎭
𝜇𝑖 = 𝑀 𝜇, 𝑖 = 𝑀, 𝑀 + 1, 𝑀 + 2, . . .
luego aplicando las (4.10) y (4.11) quedan:

⎧

 . para 𝑛 < 𝑀



𝑛

 ⎡ ⎤
 z }| {
𝜆𝑛 .𝑝0 𝜌𝑛 ⎥

 𝜆.𝜆.𝜆 . . . 𝜆

 ⎣𝑝𝑛 =
⎢
𝑝0 = = 𝑝0 ⎦ (4.12)


 𝜇.2𝜇.3𝜇 . . . 𝑛𝜇 𝑛!𝜇𝑛 𝑛!

⎨
de (4.10)



 . para 𝑛 ≥ 𝑀



 ⎡ ⎤

 𝑛
z }| {
𝜆𝑛 .𝑝0 𝜌𝑛

 ⎢ 𝜆.𝜆 . . . 𝜆.𝜆.𝜆 . . . 𝜆 ⎥

 ⎢𝑝𝑛 = 𝑝 0 = = 𝑝 0
⎥ (4.13)
𝜇.2𝜇 . . . 𝑀 𝜇 𝑀 𝜇.𝑀 𝜇 . . . 𝑀 𝜇. 𝜇𝑛 𝑀 !𝑀 𝑛−𝑀 𝑀 !𝑀 𝑛−𝑀 ⎦

⎩⎣

| {z }| {z }
𝑀 𝑛−𝑀
reemplazando en (4.11):
∞
(𝑀 −1 ∞
) (𝑀 −1 ∞ (
)
∑ ∑ 𝜌𝑛 ∑ 𝜌𝑛 ∑ 𝜌𝑛 𝜌 𝑀 ∑ 𝜌 )𝑛−𝑀
𝑝𝑖 = 𝑝 0 + 𝑛−𝑀
= 𝑝0 +
𝑖=0 𝑛=0
𝑛! 𝑀 !𝑀 𝑛=0
𝑛! 𝑀! 𝑀
𝑛=𝑀 𝑛=𝑀
(𝑀 −1 )−1
∑ 𝜌𝑛 𝜌𝑀
1
𝑝0 = + (4.14)
𝑛=0
𝑛! 𝑀 ! (1 − 𝜌/𝑀 )
para que la serie geométrica sea convergente debe cumplirse que:
𝜌<𝑀 (4.15)
Luego de calculada la probabilidad 𝑝𝑛 con las ecuaciones (4.12), (4.13)

y (4.14) se pueden calcular los demás indicadores caracterı́sticos.
(a) 𝐿𝑐
∞ ∞
∑ ∑ 𝜌𝑛
𝐿𝑐 = 𝐸𝑝 (𝑛 − 𝑀 ) = (𝑛 − 𝑀 )𝑝𝑛 = 𝑝0 (𝑛 − 𝑀 ) =
𝑀 !(𝑀 )𝑛−𝑀
𝑛=𝑀 𝑛=𝑀
∞ ∞
𝜌𝑛 ∑ ( 𝜌 )𝑛−𝑀 𝜌𝑀 +1 𝑑 ∑
= 𝑝0 (𝑛 − 𝑀 ) = 𝑝0 (𝜌/𝑀 )𝑛−𝑀 =
𝑀! 𝑀 𝑀 !𝑀 𝑑(𝜌/𝑀 )
𝑛=𝑀 𝑛=𝑀
𝜌𝑀 +1 𝑑 1
= 𝑝0 =
𝑀 !𝑀 𝑑(𝜌/𝑀 ) (1 − 𝜌/𝑀 )
𝜌𝑀 +1 1
𝐿 𝑐 = 𝑝0 (4.16)
𝑀 !𝑀 (1 − 𝜌/𝑀 )2
(b) 𝐿
𝐿
z }|𝑐 { 𝑏
∞
∑ 𝑀
∑ −1 𝑎 ∑ ∞ ∞
∑ ∞
∑ z }| {
𝐿 = 𝐸(𝑛) = 𝑛.𝑝𝑛 = 𝑛.𝑝𝑛 + 𝑛.𝑝𝑛 − 𝑀.𝑝𝑛 + 𝑀.𝑝𝑛
z}|{
𝑛=0 𝑛=0 𝑛=𝑀 𝑛=𝑀 𝑛=𝑀
pero de (4.9) es:
{
𝑝/𝑛 < 𝑀 : 𝜆.𝑝𝑛−1 = 𝑛𝜇𝑝𝑛 ∴ 𝑛.𝑝𝑛 = 𝜌𝑝𝑛−1 ∴ reempl. en a:
𝑝𝑛−1 .𝜆𝑛−1 = 𝑝𝑛 .𝜇𝑛 ∴
𝑝/𝑛 ≥ 𝑀 : 𝜆.𝑝𝑛−1 = 𝑀 𝜇𝑝𝑛 ∴ 𝑀.𝑝𝑛 = 𝜌𝑝𝑛−1 ∴ reempl. en b:
[ (𝑀 −1 ∞
) ]
∑ ∑
𝐿 = 𝐿𝑐 + 𝜌 𝑝𝑛−1 + 𝑝𝑛−1 = 𝐿𝑐 + 𝜌 (4.17)
𝑛=1 𝑀
(c) 𝐻
𝐻 = 𝐿 − 𝐿𝑐 = 𝜌 (4.18)
(d) 𝑊
𝐿.𝑇𝑎 = 𝐿/𝜆 (4.19)
(e) 𝑊𝑐
𝑊𝑐 = 𝐿𝑐 .𝑇𝑎 = 𝐿𝑐 /𝜆 = 𝑊 − 𝑇𝑠 (4.20)
(f) 𝑝(𝑡 > 0)

De la (4.14) y su desarrollo previo surge fácilmente:
𝜌𝑀 1
𝑝(𝑡 > 0) = 𝑝(𝑛 ≥ 𝑀 ) = 𝑝0 (4.21)
𝑀 ! 1 − 𝜌/𝑀
Se demuestra que:
( 𝑀 )
𝜌 1
𝑝(𝑡 > 𝑡𝑐 ) = 𝑝0 𝑒𝑀 𝜇𝑡𝑐 (1−𝜌/𝑀 ) (4.22)
𝑀 ! 1 − 𝜌/𝑀
4.3.2) Sistema con un canal y cola infinita
𝜆 −→ ∣∣∣∣∣ ∣ −→ 𝜇
y son aplicables las expresiones anteriores con M=1:
de (4.13): 𝑝𝑛 = 𝜌𝑛 .𝑝0 (4.23)
1
de (4.14): 𝑝0 = =1−𝜌 (4.24)
1 + 𝜌/(1 − 𝜌)
de (4.15): 𝜌 < 1 (4.25)
𝜌2 𝜌2
de (4.16): (1−
𝐿𝑐 = 𝜌)

= (4.26)
(1 − 𝜌)2 (1 − 𝜌)
de (4.17): 𝐿 = 𝐿𝑐 + 𝜌 (4.27)
de (4.18): 𝐻 = 𝜌 (4.28)
de (4.19): 𝑊 = 𝐿/𝜆 (4.29)

de (4.20): 𝑊𝑐 = 𝐿𝑐 /𝜆 = 𝑊 − 𝑇𝑠 (4.30)
1
de (4.21): 𝑝(𝑡 > 0) = (1 − 𝜌)𝜌 =𝜌 (4.31)
1−𝜌
de (4.22): 𝑝(𝑡 > 𝑡𝑐 ) = 𝜌𝑒−𝜇𝑡𝑐 (1−𝜌) (4.32)
4.3.3) Sistema 𝑀 > 1 canales similares en paralelo de igual 𝜇 y cola finita

⎫
∣ →𝜇 



⎬
/ / ∣∣∣ ∣ →𝜇 𝑀
𝜆 𝜆‘




𝜆 − 𝜆‘

∣ →𝜇
⎭
| {z }
𝑁
y se cumplen:
𝜆𝑖 = 𝜆 = 𝑐𝑡𝑒. ; 𝑖 = 0, 1, . . . , 𝑁 − 1
𝜇𝑖 = 𝑖𝜇 = ; 𝑖 = 1, 2, . . . , 𝑀 − 1
𝜇𝑖 = 𝑀𝜇 = ; 𝑖 = 𝑀, 𝑀 + 1, . . . , 𝑁
𝜆𝑁 = 0
Luego aplicando las (4.10) y (4.11) quedan expresiones similares a las (4.12)
y (4.13)
𝜌𝑛
𝑝𝑛 = 𝑝0 𝑛<𝑀 (4.33)
𝑛!
𝜌𝑛
𝑝𝑛 = 𝑝0 𝑀 ≤𝑛≤𝑀 (4.34)
𝑀 !𝑀 𝑛−𝑀
reemplazando en (4.11) se obtiene 𝑝0 .

𝑁
(𝑀 −1 𝑁
) (𝑀 −1 𝑁
)
∑ ∑ 𝜌𝑛 ∑ 𝜌𝑛 ∑ 𝜌𝑛 𝜌𝑀 ∑ ( 𝜌 )𝑛−𝑀
𝑝𝑖 = 𝑝 0 + = 𝑝0 + =1
𝑖=0 𝑛=0
𝑛! 𝑀 !𝑀 𝑛−𝑀 𝑛=0
𝑛! 𝑀 ! 𝑀
𝑛=𝑀 𝑛=𝑀
(𝑀 −1
∑ 𝜌𝑛 𝑀
( 𝑁 −𝑀 +1
))−1
𝜌 1 − (𝜌/𝑀 )
𝑝0 = + (4.35)
𝑛=0
𝑛! 𝑀! 1 − (𝜌/𝑀 )
Debe notarse que en este modelo la relación 𝜌/𝑀 puede ser ≥ 1. Luego
de conocida la probabilidad p de las ecuaciones (4.33), (4.34) y (4,35) se
pueden calcular los demás indicadores:
𝐿𝑐 = 𝐸𝑝 (𝑛 − 𝑚) (4.36)
𝐿 = 𝐸(𝑛) (4.37)
𝑊 = 𝐿/𝜆‘ (4.38)
𝑊𝑐 = 𝐿𝑐 /𝜆‘ (4.39)
𝐻 = 𝐿 − 𝐿𝑐 (4.40)
( ( ) )
𝑁
siendo 𝜆‘ = 𝜆(1 − 𝑝𝑁 ) = 𝜆 1 − 𝑝0 (4.41)
𝑀 !𝑀 𝑁 −𝑀
4.3.4) Sistema con un canal y cola finita
𝜆 −→ ∣∣∣∣∣ ∣ −→ 𝜇
y son aplicables las expresiones anteriores con M=1
de (4.34): 𝑝𝑛 = 𝜌𝑛 .𝑝0 (4.42)

( ( ) )−1 ( )−1
𝜌 1 − 𝜌𝑁 1 − 𝜌 + 𝜌 − 𝜌𝑁 +1 1−𝜌
de (4.35): 𝑝0 = 1+ = = (4.43)
1−𝜌 1−𝜌 1 − 𝜌𝑁 +1
También en este modelo puede ser 𝜌 ≥ 1. Luego de conocida la proba-

bilidad pn de las (4.42) y (4.43) se pueden calcular los indicadores:
(a) 𝐿
𝑁 𝑁 𝑁
1 − 𝜌𝑁 +1
( )
∑ ∑
𝑛 𝑑 ∑ 𝑛 𝑑
𝐿 = 𝐸(𝑛) = 𝑛.𝑝𝑛 = 𝑝0 𝑛.𝜌 = 𝑝0 𝜌 𝜌 = 𝑝0 .𝜌 =
𝑛=0 𝑛=0
𝑑𝜌 𝑛=0
𝑑𝜌 1−𝜌
−(𝑁 + 1)𝜌𝑁 (1 − 𝜌) + (1 − 𝜌𝑁 +1 ) 𝑁.𝜌𝑁 +2 − (𝑁 + 1)𝜌𝑁 +1 + 𝜌

( ) ( )
𝑝0 .𝜌 = 𝑝0 (4.44)
(1 − 𝜌)2 (1 − 𝜌)2
expresión general que puede simplificarse para los casos limites:

( )
𝜌 𝜌 ∼
a.1) si 𝜌 ≪ 1 : 𝑝0 ∼
= 1 − 𝜌 ∴ 𝐿 = (1 − 𝜌) = = 𝜌 + 𝜌2 (4.45)
(1 − 𝜌)2 1−𝜌
1−𝜌 −𝑁 𝜌 + 𝑁 + 1 1 ∼
a.2) si 𝜌 ≫ 1 : 𝑝0 ∼
= 𝑁 +1
∴ 𝐿= =𝑁+ =𝑁 (4.46)
−𝜌 1−𝜌 1−𝜌
1 1 1
a.3) si 𝜌 ∼ 1 : 𝐿 = 𝑁 + 𝑁 (𝑁 + 2)(𝜌 − 1) ∼
= 𝑁 (4.47)
2 12 2
(b) 𝐿𝑐
𝑁
∑ 𝑁
∑ 𝑁
∑
𝐿𝑐 = 𝐸(𝑛 − 1) = (𝑛 − 1)𝑝𝑛 = 𝑛.𝑝𝑛 − 𝑝𝑛 = 𝐿 − (1 − 𝑝0 ) (4.48)
𝑛=1 𝑛=0 𝑛=0
expresión general que puede simplificarse para los casos limites:
b.1) si 𝜌 ≪ 1 : 𝑝0 = 1 − 𝜌 ∴ 𝐿 = 𝐿 − 𝜌 (4.49)
( )
1−𝜌 1−𝜌 ∼
b.2) si 𝜌 ≫ 1 : 𝑝0 = ∴ 𝐿𝑐 = 𝐿 − 1 − =𝐿−1 (4.50)
−𝜌𝑁 +1 −𝜌𝑁 +1
1 1 1
b.3) si 𝜌 ∼ 1 : 𝐿1 = (𝑁 − 1) + (𝑁 − 1)(𝑁 + 1)(𝜌 − 1) ∼
= (𝑁 − 1) (4.51)
2 12 2
(c) 𝐻
𝐻 = 𝐿 − 𝐿𝑐 (4.52)
(d) 𝑊
𝑊 = 𝐿/𝜆 ; siendo 𝜆‘ = 𝜆(1 − 𝑝𝑛 ) (4.53)
(e) 𝑊𝑐
𝐿𝑐 /𝜆‘
𝑊𝑐 = (4.54)
𝐿.𝑇𝑠 = 𝐿/𝜇
4.4 Modelo de dos canales en paralelo de distinta velocidad y cola

infinita
La estructura general del sistema es la siguiente:
𝑎
∣ → 𝜇𝑎
−→ 𝜆 ∣∣∣
∣ → 𝜇𝑏
𝑏
y el grafo de tasas de transición, la matriz A y el vector p son:

Estados i = 𝜆/2 1 ?>=<

89:;
1𝑎Z 𝜆
7654
0123 7654
0123 0123
7654
𝜆 𝜆
𝜇𝑎 𝜇𝑏 !
0Z p 02
a 3`
?>=< q
89:;
𝜆/2 𝜆
𝜇𝑎 +𝜇𝑏 𝜇𝑎 +𝜇𝑏
𝜇𝑏 1𝑏 𝜇𝑎
𝑗
𝑖/ (0) (1𝑎) (1𝑏) (2) (3) (4)
𝐴1𝑎 𝐴1𝑏 𝐴2 𝐴3 𝐴3 𝐴4 𝐴𝑢
(0) −𝜆 𝜆/2 𝜆/2 0 0 0 ... 1
(1𝑎) 𝜇𝑎 −(𝜇𝑎 + 𝜆) 0 𝜆 0 0 ... 1
𝐴= (1𝑏) 𝜇𝑏 0 −(𝜇𝑏 + 𝜆) 𝜆 0 0 ... 1
(2) 0 𝜇𝑏 𝜇𝑎 −(𝜇𝑎 + 𝜇𝑏 + 𝜆) 𝜆 0 ... 1
(3) 0 0 0 (𝜇𝑎 + 𝜇𝑏 ) −(𝜇𝑎 + 𝜇𝑏 + 𝜆) 𝜆 ... 1
(4) 0 0 0 0 0 (𝜇𝑎 + 𝜇𝑏 ) . . . 1
.............................................................................
𝑝= 𝑝0 𝑝1𝑎 𝑝1𝑏 𝑝2 𝑝3 𝑝4 ......
⎧
 𝑝.𝐴0 = −𝜆.𝑝0 +𝜇𝑎 .𝑝1𝑎 +𝜇𝑏 .𝑝2 = 0 (4.55)


𝜆


 𝑝.𝐴1𝑎 = 2 .𝑝0 −(𝜇𝑎 + 𝜆)𝑝1𝑎 +𝜇𝑏 .𝑝2 = 0 (4.56)


 𝜆
−(𝜇𝑏 + 𝜆)𝑝1𝑏
⎨ 𝑝.𝐴1𝑏 =
2 .𝑝0 +𝜇𝑎 .𝑝2 = 0 (4.57)

 𝑝.𝐴2 = 𝜆.𝑝1𝑎 𝜆.𝑝1𝑏 −(𝜇𝑎 + 𝜇𝑏 + 𝜆)𝑝2 +(𝜇𝑎 + 𝜇𝑏 )𝑝3 = 0 (4.58)





 𝑝.𝐴3 = 𝜆.𝑝2 −(𝜇𝑎 + 𝜇𝑏 + 𝜆)𝑝3 +(𝜇𝑎 + 𝜇𝑏 )𝑝4 = 0 (4.59)
⎩ ................................................................................................................

𝑝.𝐴𝑢 = 𝑝0 +𝑝1𝑎 +𝑝1𝑏 +𝑝2 +𝑝3 +𝑝4 . . . = 1 (4.60)
luego de (4.55): 𝜆.𝑝0 = 𝜇𝑎 𝑝1𝑎 + 𝜇𝑏 𝑝1𝑏 (4.61)
sumando (4.55), (4.56) y (4.57) :

𝜆
𝜆(𝑝1𝑎 + 𝑝1𝑏 ) = (𝜇𝑎 + 𝜇𝑏 )𝑝2 ∴ 𝑝2 = (𝑝1𝑎 + 𝑝1𝑏 )
𝜇𝑎 + 𝜇𝑏
sumando (4.55), (4.56), (4.57) y (4.58):
𝜆
𝜆.𝑝2 = (𝜇𝑎 + 𝜇𝑏 )𝑝3 ∴ 𝑝3 = 𝑝2 (4.62)
𝜇𝑎 + 𝜇𝑏
sumando (4.55), (4.56), (4.57), (4.58) y (4.59):
𝜆
𝜆.𝑝3 = (𝜇𝑎 + 𝜇𝑏 )𝑝4 ∴ 𝑝4 = 𝑝3 (4.63)
𝜇𝑎 + 𝜇𝑏
además de las (4.56) y (4.57) se pueden despejar 𝑝1𝑎 y 𝑝1𝑏 :
𝜇𝑏 𝜆/2
de (4.56): 𝑝1𝑎 = 𝑝2 + 𝑝0 (4.64)
𝜇𝑎 + 𝜆 𝜇𝑎 + 𝜆
𝜇𝑎 𝜆/2
de (4.57): 𝑝1𝑏 = 𝑝2 + 𝑝0 (4.65)
𝜇𝑏 + 𝜆 𝜇𝑏 + 𝜆
reemplazando las (4.63) y (4.64) en la (4.60) queda:
𝜇𝑎 .𝜇𝑏 𝜇𝑎 .𝜆 𝜇𝑏 .𝜇𝑎 𝜇𝑏 .𝜆
𝜆.𝑝0 = 𝑝2 + 𝑝0 + 𝑝2 + 𝑝0 , despejando 𝑝2 queda:
𝜇𝑎 + 𝜆 2(𝜇𝑎 + 𝜆) 𝜇𝑏 + 𝜆 2(𝜇𝑏 + 𝜆)
( )
𝜇𝑎 𝜇𝑏
𝜆 1− −
2(𝜇𝑎 + 𝜆) 2(𝜇𝑏 + 𝜆)
𝑝2 = 𝜇𝑎 .𝜇𝑏 𝜇𝑎 .𝜇𝑏 𝑝0 (4.66)
+
𝜇𝑎 + 𝜆 𝜇𝑏 + 𝜆
y por
∑último de (4.60) se despeja 𝑝0 :
de 𝑝𝑖 : 𝑝0 = . . . . . . (4.67)
∀𝑖
4.5 Modelo de dos canales en paralelo de distinta velocidad y cola

finita de una sola posición
𝑎
∣ → 𝜇𝑎
/ / ∣
𝜆 𝜆‘
∣ → 𝜇𝑏
‘
𝜆−𝜆 𝑏
y el grafo de tasas de transición,la matriz A y el vector p son:
Estados i = (a, b, cola) 𝜆/2 2 àbc

gfed
1, 0, 0 𝜆
]

gfed
àbc àbc
gfed àbc
gfed
𝜇𝑎 𝜇𝑏 𝜆 +
0, 0, 0 r 𝜆/2 𝜆 2 1, 1, 0 1, 1, 1
] k
𝜇𝑎 +𝜇𝑏
𝜇𝑏 gfed
àbc
0, 1, 0 r 𝜇𝑎
𝑗
𝑖/ (000) (100) (010) (110) −
𝐴000 𝐴100 𝐴010 𝐴110 𝐴𝑢
(000) −𝜆 𝜆/2 𝜆/2 0 1
𝐴= (100) 𝜇𝑎 −(𝜇𝑎 + 𝜆) 0 𝜆 1
(010) 𝜇𝑏 0 −(𝜇𝑏 + 𝜆) 𝜆 1
(110) 0 𝜇𝑏 𝜇𝑎 −(𝜇𝑎 + 𝜇𝑏 + 𝜆) 1
(111) 0 0 0 (𝜇𝑎 + 𝜇𝑏 ) 1
𝑝= 𝑝000 𝑝100 𝑝010 𝑝110 𝑝111
⎧
 𝑝.𝐴000 = −𝜆.𝑝000 +𝜇𝑎 .𝑝100 +𝜇𝑏 .𝑝010 =0


 𝜆
𝑝.𝐴100 = 2 .𝑝000 −(𝜇𝑎 + 𝜆)𝑝100 +𝜇𝑏 .𝑝110 =0




⎨
𝜆
𝑝.𝐴010 = 2 .𝑝000 −(𝜇𝑏 + 𝜆)𝑝010 +𝜇𝑎 .𝑝110 =0





 𝑝.𝐴110 = 𝜆.𝑝100 +𝜆.𝑝010 −(𝜇𝑎 + 𝜇𝑏 + 𝜆)𝑝110 +(𝜇𝑎 + 𝜇𝑏 )𝑝111 = 0


⎩
𝑝.𝐴𝑢 = 𝑝000 +𝑝100 +𝑝010 +𝑝110 +𝑝111 = 1
resolviendo el sistema de ecuaciones se obtienen la cinco probabilidades como

en los ejemplos anteriores.
4.6 Modelo de dos canales en serie de distinta velocidad, sin cola

intermedia
∣ → 𝜇𝑎 ∣ → 𝜇𝑏
𝜆 −→
𝑎 𝑏
y el grafo de tasas de transición,la matriz A y el vector p son:
Estados i = (a, b) 𝜆 0 WVUT

PQRS
1, 0 o
𝜇𝑏 WVUT
PQRS
1, 1
A

WVUT
PQRS

0, 0 𝜇𝑎
𝜆 𝜇𝑎
Y

WVUT
PQRS
1, 0 o 𝜇𝑏 WVUT PQRS
𝜇𝑏
𝑏1 , 1
estado 𝑖 = (𝑏1 , 1) significa canal b bloqueado
𝑗
𝑖/ (0, 0) (1, 0) (0, 1) (1, 1) −
𝐴00 𝐴10 𝐴01 𝐴11 𝐴𝑢
(0, 0) −𝜆 𝜆 0 0 1
𝐴 = (1, 0) 0 −𝜇𝑎 𝜇𝑎 0 1
(0, 1) 𝜇𝑏 0 −(𝜇𝑏 + 𝜆) 𝜆 1
(1, 1) 0 𝜇𝑏 0 −(𝜇𝑎 + 𝜇𝑏 ) 1
(𝑏1 , 1) 0 0 𝜇𝑏 0 1
𝑝= 𝑝00 𝑝10 𝑝01 𝑝11 𝑝𝑏1 ,1
luego aplicando la (3.30): p.A = B queda:
⎧
 𝑝.𝐴00 = −𝜆.𝑝00 +𝜇𝑏 .𝑝01 = 0 (4.68)



𝑝.𝐴10 = 𝜆.𝑝00 −𝜇𝑎 .𝑝10 +𝜇𝑏 .𝑝11 = 0 (4.69)




⎨
𝑝.𝐴01 = 𝜇𝑎 .𝑝10 −(𝜇𝑏 + 𝜆)𝑝01 +𝜇𝑏 .𝑝𝑏1 ,1 = 0 (4.70)





 𝑝.𝐴11 = 𝜆.𝑝01 −(𝜇𝑎 + 𝜇𝑏 ).𝑝11 = 0 (4.71)


⎩
𝑝.𝐴𝑢 = 𝑝00 𝑝10 𝑝01 𝑝11 𝑝𝑏1 ,1 = 1 (4.72)
luego de (4.68):
𝜆
𝑝01 = .𝑝00 (4.73)
𝜇𝑏
de (4.71):
𝜆 𝜆2
𝑝11 = .𝑝01 = .𝑝00 (4.74)
𝜇𝑎 + 𝜇𝑏 𝜇𝑏 (𝜇𝑎 + 𝜇𝑏 )
de (4.68) y (4.74):
𝜆2
( )
𝜇𝑏 𝜆 𝜆
𝑝10 = .𝑝11 + .𝑝00 = + 𝑝00 (4.75)
𝜇𝑎 𝜇𝑎 𝜇𝑎 (𝜇𝑎 + 𝜇𝑏 ) 𝜇𝑎
y de (4.69), (4.72) y (4.73):
𝜆2
( )
(𝜇𝑏 + 𝜆) 𝜇𝑎 𝜆(𝜇𝑏 + 𝜆) 𝜆
𝑝𝑏1 ,1 = .𝑝01 − .𝑝10 = 2 − − 𝑝00 (4.76)
𝜇𝑎 𝜇𝑏 𝜇𝑏 𝜇𝑏 (𝜇𝑎 + 𝜇𝑏 ) 𝜇𝑏
y de las (4.72), (4.73), (4.74), (4.75)y (4.76):

)−1
𝜆2
(
𝜆 𝜆(𝜇𝑏 + 𝜆)
𝑝00 = 1+ + + (4.77)
𝜇𝑎 𝜇𝑎 (𝜇𝑎 + 𝜇𝑏 ) 𝜇2𝑏
Si se cumple que 𝜇𝑎 = 𝜇𝑏 = 𝜇, haciendo 𝜌 = 𝜆/𝜇 quedan:
1
𝑝00 = (4.78)
1 + 2𝜌 + 32 𝜌2
𝜌 + 12 𝜌2
𝑝10 = (4.79)
1 + 2𝜌 + 32 𝜌2
𝜌
𝑝01 = (4.80)
1 + 2𝜌 + 32 𝜌2
1 2
2𝜌
𝑝11 = 𝑝𝑏1 ,1 = (4.80)
1 + 2𝜌 + 32 𝜌2
ecuaciones que para los casos lı́mites se transforman en:

{
𝑝00 = 𝑝01 = 0
a) 𝜌 ≫ 1
𝑝10 = 𝑝11 = 𝑝𝑏1 ,1 = 1/3
⎧
⎨ 𝑝00 = 𝑝01 = 2/9
b) 𝜌 = 1 𝑝10 = 3/9
𝑝11 = 𝑝𝑏1 ,1 = 1/9
⎩
⎧
⎨ 𝑝00 = 1 − 2𝜌
c) 𝜌 ≪ 1 𝑝10 = 𝑝01 = 𝜌
𝑝11 = 𝑝𝑏1 ,1 = 0
⎩
Por último los indicadores: longitud del sistema L, número promedio de canales
que están efectivamente trabajando: 𝐻, y grado de ocupación de cada uno de
ellos: 𝐻1 y 𝐻2 , quedan expresados de la siguiente forma:
2𝜌 + 25 𝜌2
𝐿 = 𝑝10 + 𝑝01 + 2(𝑝11 + 𝑝𝑏1 ,1 ) = (4.82)
1 + 2𝜌 + 32 𝜌2
2𝜌 + 2𝜌2
𝐻 = 𝑝10 + 𝑝01 + 𝑝𝑏1 ,1 + 2𝑝11 = (4.83)
1 + 2𝜌 + 32 𝜌2
𝜌 + 𝜌2
𝐻1 = 𝑝10 + 𝑝11 = (4.84)
1 + 2𝜌 + 32 𝜌2
𝜌 + 𝜌2
𝐻2 = 𝑝01 + 𝑝11 + 𝑝𝑏1 ,1 = (4.85)
1 + 2𝜌 + 32 𝜌2
ecuaciones que para los casos lı́mites se transforman en:

a) 𝜌 ≫ 1 : 𝐿 = 5/3 ; 𝐻 = 4/3 ; 𝐻1 = 𝐻2 = 2/3
b) 𝜌 = 1 : 𝐿 = 1 ; 𝐻 = 8/9 ; 𝐻1 = 𝐻2 = 4/9
c) 𝜌 ≪ 1 : 𝐿 = 2𝜌 ; 𝐻 = 2𝜌 ; 𝐻1 = 𝐻2 = 𝜌
5 APLICACIONES
5.1 Aplicación comercial (“Brand switching”)
Un cliente puede adquirir un televisor de alguna de las siguientes marcas: X, Y
o Z. Se asume que estas alternativas cubren todas las posibilidades de compra.
Con respecto al comportamiento de compra, los fabricantes de los televisores
disponen de la siguiente información:
* El 30% de los clientes que poseen un televisor X se mantienen leales a la
marca en su próxima compra, mientras que el 40% adquiere un Y y el 30%
restante, un Z.
* De los clientes que actualmente poseen un televisor marca Y, el 40% com-
pra un televisor X, el 25% vuelve a adquirir un Y y el resto uno de la marca
Z.
* El 20% de los clientes que poseen un Z compran un X, el 30% un Y y el
resto no cambia de marca.
Se desea saber:
a) ¿Cuál es la probabilidad de que un poseedor de un televisor X adquiera un
Z al cabo de dos compras?
b) ¿Cuál es la probabilidad de que el dueño de un X compre nuevamente un
televisor de la misma marca luego de tres transacciones?
c) ¿Cuál será el porcentaje de participación en el mercado a largo plazo?
d) ¿Cuál es el número esperado de compras que transcurrirán antes que el
actualmente poseedor de un televisor X adquiera un Z?
Solución:
a) Se puede resumir el comportamiento de la próxima compra con la siguiente

matriz de transición:
𝑋 𝑌 𝑍
𝑋 0, 3 0, 4 0, 3
𝑃 =
𝑌 0, 4 0, 25 0, 35
𝑍 0, 2 0, 3 0, 5
0,3 0,25
89:;
?>=< j 6 89:;
* ?>=<
0,4

𝑋V 𝑌
0,4
0,5 0,3
?>=< v
89:;
0,2 0,35

𝑍S
0,5
(1)
𝑉1 = [0, 3 0, 4 0, 3]
0, 3 0, 4 0, 3
(2) (1)
𝑉1 = 𝑉1 .𝑃 = [0, 3 0, 4 0, 3] 0, 4 0, 25 0, 35 = [0, 31 0, 31 0, 38]
0, 2 0, 3 0, 5
(2)
Si vector 𝑉1 informa las probabilidades de que el dueño de un televisor
X adquiera un X, Y o Z despectivamente en la segunda compra. Luego, la
probabilidad de que adquiera un Z en dos transacciones es 38%.
La misma información puede obtenerse de la matriz 𝑃 2 . En ella podemos
observar todas las probabilidades asociadas al segundo paso para todos los
estados iniciales.
Ası́ la probabilidad de que el actual-
mente poseedor de un Y adquiera un
0, 31 0, 31 0, 38 Z en la segunda compra es 38,25%.
2
𝑃 = 0, 29 0, 3275 0, 3825 La probabilidad de que el dueño
0, 28 0, 305 0, 415 de un televisor marca Z vuelva a
adquirir otro de la misma marca en
dos transacciones es 41,5%, etc.
0, 3 0, 4 0, 3
(3) (2)
b) 𝑉1 = 𝑉1 .𝑃 = [0, 31 0, 31 0, 38] 0, 4 0, 25 0, 35 = [0, 293 0, 3155 0, 3915]
0, 2 0, 3 0, 5
Otra forma de calcular el vector V es:
0, 31 0, 31 0, 38
(3) (1)
𝑉1 = 𝑉1 .𝑃 2 = [0, 3 0, 4 0, 3] 0, 29 0, 3275 0, 3825 = [0, 293 0, 3155 0, 3915]
0, 28 0, 305 0, 415
Es decir, la probabilidad de que el ahora dueño de un X compre nue-
vamente un televisor de la misma marca el cabo de 3 pasos es 29,3%. Al
mismo resultado pudo arribarse a partir de la 𝑃 3 .
0, 293 0, 3155 0, 3915

3
𝑃 = 0, 2945 0, 3127 0, 3928
0, 289 0, 3128 0, 3982
c) Se forma un sistema de ecuaciones formado por N-1 ecuaciones extraı́das

del producto matricial
0, 3 0, 4 0, 3
[𝑝(𝑥) 𝑝(𝑦) 𝑝(𝑧)] 0, 4 0, 25 0, 35 = [𝑝(𝑥) 𝑝(𝑦) 𝑝(𝑧)]
0, 2 0, 3 0, 5
y por la ecuación p(x) + p(y) + p(z) =1
⎧
⎨ 𝑝(𝑥).0, 3 + 𝑝(𝑦).0, 4 + 𝑝(𝑧).0, 2 = 𝑝(𝑥)
𝑝(𝑥).0, 4 + 𝑝(𝑦).0, 25 + 𝑝(𝑧).0, 35 = 𝑝(𝑦)
𝑝(𝑥) + 𝑝(𝑦) + 𝑝(𝑧) = 1
⎩
Resolviendo este sistema de 3 ecuaciones con 3 incógnitas resulta:

p(x)=0,2919 p(y)=0,3135 p(z)=0,3946
Es decir, a largo plazo los porcentajes de participación en el mercado serán

29,19%, 31,35% y 39,46?% para las marcas X, Y y Z respectivamente. Al
mismo resultado pudo haberse arribado calculando una potencia de P para
un número alto de transacciones:
0, 2919 0, 3135 0, 3946

8
𝑃 = 0, 2919 0, 3135 0, 3946
0, 2919 0, 3135 0, 3946
d) Se modifica la matriz de transición P, convirtiendo al estado Z en un estado

absorbente:
𝑋 𝑌 𝑍
𝑋 0, 3 0, 4 0, 3
𝑌 0, 4 0, 25 0, 35
𝑍 0 0 1
𝐼 𝑂
Esta matriz se descompone en 4 submatrices de la forma
𝐴 𝑁
𝑍 𝑋 𝑌
𝑍 1 0 0
𝑋 0, 3 0, 3 0, 4
𝑌 0, 35 0, 4 0, 25
Luego se procede a calcular la matriz (𝐼 − 𝑁 )−1
1 0 0, 3 0, 4 0, 7 −0, 4
𝐼 −𝑁 = − =
0 1 0, 4 0, 25 −0, 4 0, 75
2, 0548 1, 0959
(𝐼 − 𝑁 )−1 =
1, 0959 1, 9178
¯ = (𝐼 − 𝑁 )−1 .1̄ nos dará el número promedio de pasos que

El vector 𝑛
transcurren hasta que el proceso se absorba para cada uno de los estados
no absorbentes iniciales.
2, 0548 1, 0959 1 3, 1507

𝑛
¯= 𝑥 =
1, 0959 1, 9178 1 3, 0137
Luego, el número esperado de transacciones que transcurren hasta que

el actualmente poseedor de un televisor X adquiera un Z es 3,1507.
5.2 Planeamiento de Personal

El Departamento de Relaciones con el Personal de una firma realiza un estu-
dio de niveles de categorı́a para proveer promociones adecuadas en el momento
oportuno, controlar el pago de haberes, analizar necesidades: de contratación
de personal, etc. Esta empresa tiene 20 empleados de categorı́a 3 (la mas alta),
80 de categorı́a 2 y 200 de categorı́a 1 (la mas baja de todas).
En base a datos históricos se espera que el 35% de los empleados de la categorı́a
1, el 20% de la 2 y el 5% de la 3 dejen la empresa anualmente por renuncias,
despidos, jubilaciones, fallecimientos, etc.
Considerando las siguientes polı́ticas de personal:
- mantener la misma cantidad de empleados (total y por niveles)

- realizar contrataciones solamente en el primer nivel
- dar promociones a los empleados una sola vez por año
el gerente del Departamento encargó al grupo de Investigación Operativa de la
empresa:
1. Averiguar qué cantidad de gente deberá contratarse y qué cantidad deberá

promoverse a la categorı́a inmediata superior para mantener los niveles de
empleados estables, anualmente.
2. Determinar el tiempo de permanencia promedio de un empleado en la
compañı́a (ı́ndice de rotación del personal)
3. Calcular la probabilidad de que un empleado que recién ingresa a la firma

llegue a la máxima categorı́a.
Solución:
1. El siguiente gráfico representa el proceso de promociones anuales de los

empleados.
7654
0123 7654
0123
0,35 /
1 qq q8 0O
q
qqq
0,20qqqqq
qq 0,05
qqqqq
0123
7654 7654
0123
q
qqqq
2K /3
S
Todos los empleados llegarán si estado 0, que es un estado absorbente.

Las probabilidades de transición a los demás estados se desconocen, pero
se puede resolver el problema analizando el flujo de empleados en cada
nodo.
Para mantener el mismo nivel de empleados en
la categorı́a, la cantidad promedio a promover
- Nodo 3
a la categorı́a 3 (x) debe ser igual a la cantidad
O
promedio que pasan al estado 0 (y).
𝑦 y=20 . 0,05 = 1
𝑥 / GFED
@ABC x=1
20
Permanecen z = 20 - 1 = 19
El número medio de empleados a promover a

la categorı́a 2 (x) debe ser igual a los que se
- Nodo 2
promocionan a la categorı́a 3 más los que se
>
}}} absorben (y)
𝑦 }}
𝑥 }} y = 80 . 0,20 = 16
@ABC
GFED
}}}
80 3 / x= 16 + 3 = 19
Permanecen z = 80 - 19 = 61
La cantidad media de empleados a contratar

- Nodo 1
anualmente (x) debe igualar al número prome-
dio de individuos que pasan al estado 0 más
𝑥 los que se promueven al estado 2.
ONML
HIJK

200 / y = 200 . 0,35 = 70
𝑦
19
x= 70 + 19 = 89
z = 200 - 89 = 111
Estos valores podemos resumirlos en el siguiente cuadro (o en su corres-

pondiente matriz de transición):
1 2 3 4
Cat. 1 2 3 0 Total
1 0, 555 0, 95 0, 35
1 111 19 70 200
𝑃 = 2 0, 7625 0, 375 0, 2
2 61 3 16 80
3 0, 95 0, 05
3 19 1 20
4 1
0,555
7654
0123 0123
7654
1
0,35
1 /8 0
q
qq O
qqqqq
0,20qqqq
q
qqq
0,095 0,05
qq
qq
7654
0123 0123
7654
qqqq 0,0375
2K /3
S
0,7625 0,95
2. Agrupando la matriz de transición, se procede a calcular la matriz (𝐼 −

𝑁 )−1 :
0 1 2 3
0 1 0 0 0 0, 555 0, 95
1 0, 35 0, 555 0, 095 𝑁= 0, 7625 0, 0375
2 0, 2 0, 7625 0, 0375 0, 95
3 0, 95
0, 555 0, 95 2, 2472 0, 8989 0, 6742

−1
𝐼 −𝑁 = 0, 7625 0, 0375 (𝐼 − 𝑁 ) = 0 4, 2105 3, 1579
0, 95 0 0 20
3, 8203 Luego, el ı́ndice de perma-

𝑛
¯ 𝑖 = 7, 3684 nencia promedio en la em-
20, 0 presa es de 3,82 años por
empleado.
3. Para calcular la probabilidad de que un empleado que se encuentra actual-

mente en el estado 1 logre la máxima categorı́a, se supone al estado 3 como
un estado absorbente.
0,555
7654
0123 0123
7654
1
0,35
1 /8 0
qq
qqqqq
0,20qqqqq
0,095 qq
qqqqq
7654
0123 0123
7654
q
qqqq 0,0375
2K /3
S
0,7625 1
𝐼 0
La matrı́z de transición reagrupada en el formato es:
𝐴 𝑁
3 0 1 2
3 1
0 1
1 0, 35 0, 555 0, 095
2 0, 0375 0, 2 0, 7625
0, 555 0, 95 0, 445 −0, 095

𝑁= (𝐼 − 𝑁 ) =
0, 7625 0 0, 2375
2, 2472 0, 8989
(𝐼 − 𝑁 )−1 =
0 4, 2105
2, 2472 0, 8989 0 0, 35 0, 03371 0, 9663

(𝐼 − 𝑁 )−1 .𝐴 = . =
0 4, 2105 0, 375 0, 2 0, 1579 0, 8421
Luego, la probabilidad de que un empleado de la primer categorı́a alcance

la máxima es de 3,37%. También se puede observar que la probabilidad de
lograr esa categorı́a para un empleado de la categorı́a 2 es de 15,79%.
Otra ı́nformación útil es el número esperado de años que transcurren hasta
alcanzar la máxina categorı́a. Para ello, se multiplica la natrı́z (𝐼 − 𝑁 )−1
por un vector unitario:
2, 2472 0, 8989 1 3, 1461

𝑛
¯𝑖 = . =
0 4, 2105 1 4, 2105
En promedio, un empleado de categorı́a 1 tardará 4,21 años hasta alcanzar

la categorı́a 3.
5.3 Gestión de inventarios

La demanda mensual de un repuesto en un proceso productivo tiene la siguiente
distribución de probabilidad:
𝑑 0 1 2 ≥3
𝑝 0, 6 0, 3 0, 1 0
Si el stock inicial es de 3 unidades, y la observación del nivel de inventarios

se realiza al finalizar cada mes, determinar:
a. la probabilidad de que al cabo de dos meses se haya agotado el stock
b. la probabilidad de que al cabo de cuatro meses haya dos o más de dos
repuestos en stock
c. el número promedio de meses que trancurren hasta agotar el stock

d. el costo total de almacenamiento en cada ciclo de compra, si el costo de
almacenamiento unitario mensual es de 10$.
Solución:
a. Llamaremos:
S0: ninguna unidad en stock al finalizar un mes
S1: una unidad en stock al finalizar un mes
S2: dos unidades en stock al finalizar un mes
S3: tres unidades en stock al finalizar un mes
0,6 0,6
ONML
HIJK / ONML
HIJK

0,3
𝑆3 𝑆2 𝑆1 𝑆0 𝑆3 GG 𝑆2 GG
GG GG
𝑆3 0, 6 0, 3 0, 1 0 GG GG
GG GG
GG0,1 GG0,1
𝑆2 0, 6 0, 3 0, 1 GG 0,3 GG
GG GG
GG GG
GG GG
ONML
HIJK / ONML
HIJK
𝑆1 0, 6 0, 4 1
G# G#
0,4
𝑆0 1 𝑆1V 𝑆2
0,6
Los estados S3, S2 y S1 son transitorios, mientras que el estado S0 es

absorbente.
𝑆3 𝑆2 𝑆1 𝑆0
𝑆3 0, 36 0, 36 0, 21 0, 07 Luego la probabilidad de que tran-
2
𝑃 = 𝑆2 0, 36 0, 36 0, 28 curridos dos meses se haya agotado
𝑆1 0, 36 0, 64 el stock es 0,07=7%
𝑆0 1
𝑆3 𝑆2 𝑆1 𝑆0
𝑆3 0, 13 0, 26 0, 29 0, 32 La probabilidad de que haya dos
b. 𝑆2 0, 13 0, 26 0, 61 o más repuestos al cabo de cuatro
𝑆1 0, 13 0, 87 meses es 0,26 + 0,13 = 0,39 (39% ).
𝑆0 1
c. Se reagrupa la matriz de transición P en cuatro submatrices y se calcula

la inversa de I-N
𝑆0 𝑆3 𝑆2 𝑆1
𝑆3 𝑆2 𝑆1
𝑆1 0 0 0 0
𝑆3 0, 6 0, 3 0, 1
𝑆3 0, 6 0, 3 0, 1 𝑁=
𝑆2 0, 6 0, 3
𝑆2 0, 1 0, 6 0, 3
𝑆1 0, 6
𝑆1 0, 4 0, 6
0, 4 −0, 3 −0, 1 10/4 30/16 25/32

−1
𝐼 −𝑁 = 0, 4 −0, 3 (𝐼 − 𝑁 ) = 10/4 30/16
0, 4 10/4
10/4 30/16 25/32 1 5, 16

𝑛
¯𝑖 = 10/4 30/16 x 1 = 4, 38
10/4 1 2, 5
La duración promedio de un lote de tre unidades es de 5,16 meses.
d. El número prometido de meses que el sistema está en cada uno de los es-
tados S3, S2 y S1 es, respectivamente, 10/4, 30/16 y 25/32, valores que
obtenemos de la matriz (𝐼 − 𝑁 )−1 . Luego; el costo esperado de almace-
namiento es:
[ ]
10 𝑚𝑒𝑠 30 𝑚𝑒𝑠 25 𝑚𝑒𝑠 $
1 𝑢𝑛𝑖𝑑𝑎𝑑 x + 2 𝑢𝑛. x + 3 𝑢𝑛. x x 10
4 𝑐𝑖𝑐𝑙𝑜 16 𝑐𝑖𝑐𝑙𝑜 32 𝑐𝑖𝑐𝑙𝑜 𝑢𝑛. 𝑚𝑒𝑠
$
= 85, 94
𝑐𝑖𝑐𝑙𝑜
5.4 Planeamiento de producción

A un centro productivo de una fábrica llegan piezas para someterse a un proceso
de mecanizado en dos máquinas (A y B). Luego de cada etapa de elaboración
se realiza, un control de calidad (CCA y CCB). La secuencia de fabricación de
las piezas se muestra en el siguiente gráfico:
0,03 0,05
de otro centro
/ 𝐴 / gfed
àbc
𝐶𝐶𝐴
/ 𝐵 / gfed
àbc
𝐶𝐶𝐵 / a Almacenes
0,10 0,02 0,09 0,05
/ Desechos
Si durante el mecanizado una pieza se estropea, se la desecha sin pasar por

Control de Calidad. En los centros de inspección se puede devolver una pieza
para ser reprocesada o considerarla defectuosa. Las probabilidades estimadas
para cada caso se muestran en el gráfico.
Los tiempos esperados para la realización de cada operación de mecanizado y
de inspección y los costos asociados son los siguientes.
𝑇𝑒 (𝐻𝐻) Costo($/𝐻𝐻)
Mecanizado A 2 1200
Control A 0, 1 2000
Mecanizado B 3 1800
Mecanizado A 0, 2 2000
El costo directo de cada pieza que llega al Centro es de 3000$/pieza y el costo

de oportunidad del material defectuoso es de 500$/pieza. Determinar:
1. la probabilidad de completar satisfatoriamente una pieza que entra al cen-

tro.
2. el número esperado de piezas que deben ingresar al centro para producir
1000 piezas buenas.
3. los requerimientos de personal para cada pieza terminada.

4. el costo directo esperado de cada pieza terminada que sale del Centro
productivo.
Solución:
Estado Operación
PA Procesamiento en máquina A
CCA Control de Calidad del proceso A
1. PB Procesamiento en máquina B
CCB Control de Calidad del proceso B
D Defectuosas
A Almacén de piezas terminadas
Los estados D y A son estados absorbentes.
0,03 0,90
@ABC
GFED 0,90 / ONML
HIJK 0,95 / GFED
@ABC / ONML
HIJK 0,90 / ?>=<
89:;
~ ~ 0,91
PA MMM CCA< PB CCB A
MMM << T
MMM <<
MMM0,10 << 0,02 1
MMM <<
0,09
MMM << 0,05
MMM <<
& ?>=<
89:;
MMM<
D
T
1
𝑃𝐴 𝐶𝐶𝐴 𝑃 𝐵 𝐶𝐶𝐵 𝐷 𝐴
0, 90 0, 10 𝑃𝐴
0, 30 0, 95 0, 02 𝐶𝐶𝐴
𝑃 = 0, 91 0, 09 𝑃𝐵
0, 05 0, 05 0, 90 𝐶𝐶𝐵
1 𝐷
1 𝐴
Reagrupando:
𝐷 𝐴 𝑃 𝐴 𝐶𝐶𝐴 𝑃 𝐵 𝐶𝐶𝐵
𝐷 1
𝐴 1
𝑃 = 𝑃𝐴 0, 10 0, 90
𝐶𝐶𝐴 0, 02 0, 03 0, 95
𝑃𝐵 0, 09 0, 91
𝐶𝐶𝐵 0, 05 0, 90 0, 05
0 0, 90 0 0 1 −0, 90 0 0
0, 30 0 0, 95 0 −0, 30 1 −0, 95 0
𝑁= 𝐼 −𝑁 =
0 0 0 0, 91 0 0 1 −0, 91
0 0 0, 05 0 0 0 −0, 05 1
1, 0277 0, 925 0, 9206 0, 8377 0, 10 0

0, 0308 1, 0277 1, 0229 0, 9309 0, 02 0
(𝐼 − 𝑁 )−1 = 𝐴=
0 0 1, 0477 0, 9534 0, 09 0
0 0 0, 0524 1, 0477 0, 05 0, 90
𝐷 𝐴 Por lo tanto, la probabilidad de com-

0, 2661 0, 7539 pletar satisfactoriamente una pieza
(𝐼 − 𝑁 )−1 .𝐴 = 0, 1621 0, 8378 que entra al proceso (probabilidad de
0, 1419 0, 8581 absorción en el estado A) es 0,7539
0, 0571 0, 9429 (75,39% ).
2. El número esperado de piezas que deben entrar al proceso para producir

una pieza buena es 1/0,7539=1,3264. Luego, se necesitarán 1327 piezas
para producir 1000 piezas buenas.
3. De la matriz (𝐼 − 𝑁 )−1 se obtiene el número de veces que una pieza que

entra al centro productivo pasa por cada operación.
Estados No de veces No de veces HH/pieza HH/pieza

(por pieza (por pieza procesada terminada
que entra) que sale terminada)
(a) (b)=(a)x1,3264 (c) (b)x(c)
PA 1,0277 1,3631 2 2,7263
CCA 0,925 1,2269 0,1 0,1227
PB 0,9206 1,2211 3 3,6633
CCB 0,8377 1,1111 0,2 0,2222
Estados Costo HH/pieza Costo/pieza

($/HH) terminada terminada
PA 1200 2,7263 3271,56
4. CCA 2000 0,1227 245,40
PB 1800 3,6633 6593,94
CCB 2000 0,2222 444,4
Costo M. de O.: 10555,30
⋅ Costo de materiales:
$ pieza que entra $

3000 x 1, 3264 = 3979, 2
pieza que entra piezas terminadas pieza terminada
⋅ Venta de material de rezago:
$ pieza defectuosa pieza que entra $

500 x 0, 2461 x 1, 364 = 163, 21
pieza defectuosa piezas que entra piezas terminada pieza terminada
Costo Mano de Obra 10555, 30

Costo de Materiales 3979, 2
- Venta de Defectuosos −163, 21
$
Costo directo 14371.29 pieza terminada
5.5 Analisis de fallas

Una máquina de un proceso productivo puede estar en uno de los siguientes
estados al final de cada dı́a de operación:
𝐸0 = Perfectamente operable
𝐸1 = Operable con deterioro menor
𝐸2 = Operable con deterioro mayor
𝐸3 = Inoperable Cuando el sistema se encuentra en alguno de los tres primeros
estados pueden producirse artı́culos defectuosos durante el dı́a siguiente. Los
costos esperados (debido a la producción de defectuosos) para cada uno de los
estados son
Estado Costo
𝐸0 0
𝐸1 1000$
𝐸2 3000$
Cuando la máquina se encuentra en el estado 3 se la repara llevándola al estado
𝐸0 . Este trabajo toma un dı́a para completarse a un costo de 4000$. El lucro
cesante diario es de 2000$.
Asumiendo las siguientes probabilidades de transición
Estado 𝐸0 𝐸1 𝐸2 𝐸3
𝐸0 0 7/8 1/16 1/16
𝐸1 − 3/4 1/8 1/8
𝐸2 1/2 1/2
1. Formular el problena como una cadena de Markov
2. Calcular el costo promedio esperado a largo plazo
3. Determinar el número promedio de dı́as de funcionamiento de la máquina
Solución:
1.
𝐸0 𝐸1 𝐸2 𝐸3
𝐸0 7/8 1/16 1/16
𝑃 = 𝐸1 3/4 1/8 1/8
𝐸2 1/2 1/2
𝐸3 1
1/16
~ @@
~~ @@
~~ @@
~~ 3/4 @@
~ @@
ONML
HIJK / ONML
HIJK / ONML
HIJK
~~ 7/8
1/8
𝐸0 AA 𝐸1 𝐸2
A
A` A AA } } X
AA AA }}
AA AA1/16 } 1/2
AA AA }}}
AA A 1/8 }}
1 AAA AAA }}
AA A }}}
ONML
HIJK
A }~
𝐸3
2. Calculamos las probabilidades en régimen estacionario asociadas a cada

estado
7/8 1/16 1/16

3/4 1/8 1/8
[𝑝(0) 𝑝(1) 𝑝(2) 𝑝(3)] = [𝑝(0) 𝑝(1) 𝑝(2) 𝑝(3)]
1/2 1/2
1
⎧

 𝑝(3) = 𝑝(0)









⎨ 𝑝(0).7/8 + 𝑝(1).3/4 = 𝑝(1)


⎧

 𝑝(0) = 2/13
𝑝(1) = 7/13

 ⎨
𝑝(0).1/16 + 𝑝(1).1/8 + 𝑝(2).1/2 = 𝑝(2) −→


𝑝(2) = 2/13



 


𝑝(3) = 2/13
 ⎩



⎩ 𝑝(0) + 𝑝(1) + 𝑝(2) + 𝑝(3) = 1
Costo promedio = 0.𝑝(0) + 1000.𝑝(1) + 3000.𝑝(2) + (4000 + 2000).𝑝(3) =
= 1923, 08$
3. Considerando el estado E absorbente
𝐸0 𝐸1 𝐸2 𝐸3 𝐸3 𝐸0 𝐸1 𝐸2
𝐸0 0 7/8 1/16 1/16 1
𝑃 = 𝐸1 0 3/4 1/8 1/8 1/16 7/8 1/16
𝐸2 0 0 1/2 1/2 1/8 3/4 1/8
𝐸3 0 0 0 1 1/2 1/2
1 −7/8 1/16 1 7/2 1

−1
𝐼 − 𝑁 = 0 1/4 −1/8 (𝐼 − 𝑁 ) = 0 4 1
0 0 1/2 0 0 2
1 7/2 1 1 5, 5
−1
(𝐼 − 𝑁 ) .1̄ = 0 4 1 x 1 = 5
0 0 2 1 2
Por lo tanto, el tiempo esperado de cada ciclo de la máquina es 5,5 dı́as.
5.6 Analisis de cuentas

El departamento de contadurı́a de una empresa tiene la siguiente información
sobre la evolución de los créditos de un mes a otro (en porcentajes):
Cuenta Créditos Morosos Cobro Incobrables

Corriente Documentados
Cuenta Corriente 30 10 10 50
Cred. Documentados 40 10 50
Morosos 70 30
Suponiendo que se mantienen los niveles de créditos
1. ¿Cuál es la probabilidad de que una cuenta en “Cuenta Corriente” se cobre?

2. ¿Cuántos meses transcurren en promedio hasta que se liquida una cuenta
de cada uno de los dos tipos de crédito?
Solución:
1.
𝐶𝐶 𝐶𝐷 𝑀 𝑂 𝐶𝑂 𝐼𝑁 𝐶𝑂 𝐼𝑁 𝐶𝐶 𝐶𝐷 𝑀 𝑂
𝐶𝐶 0, 3 0, 1 0, 1 0, 5 𝐶𝑂 1
𝐶𝐷 0, 4 0, 1 0, 5 𝐼𝑁 1
𝑃 =
𝑀𝑂 0, 7 0, 3 𝐶𝐶 0, 5 0, 3 0, 1 0, 1
𝐶𝑂 1 𝐶𝐷 0, 5 0, 4 0, 1
𝐼𝑁 1 𝑀 𝑂 0, 7 0, 3
0, 7 −0, 1 −0, 1 1, 429 0, 238 0, 167

−1
𝐼 −𝑁 = 0, 6 −0, 1 (𝐼 − 𝑁 ) = 0 1, 667 0, 167
1 0 0 1
1, 429 0, 238 0, 167 0, 5 0 0, 950 0, 050

−1
(𝐼 − 𝑁 ) .𝐴 = 0 1, 667 0, 167 x 0, 5 0 = 0, 950 0, 050
0 0 1 0, 7 0, 3 0, 7 0, 3
La probabilidad de que una cuenta CC se cobre es de 95%.
2.
1, 429 0, 238 0, 167 1 1, 834
𝑛
¯𝑖 = 0 1, 667 0, 167 x 1 = 1, 834
0 0 1 1 1
En ambos casos es 1,834 meses.
5.7 Estudio de confiabilidad en un sistema de lı́neas de transmisión

El sistema está constituido por tres lı́neas de transmisión de energı́a o infor-
mación que operan en paralelo. Cada lı́nea puede encontrarse en servicio, o
fuera de servicio, ya sea por mantenimiento programado (indisponibilidad pro-
gramada) o por falla, debido a la acción de un agente externo (indisponibilidad
forzada). Además el régimen de operación no permite retirar una lı́nea por
mantenimiento programado cuando existe alguna otra en paralelo fuera de ser-
vicio, ya sea por mantenimiento programado o por falla forzada.
sentido del flujo

1 −→
FUENTE 2 −→ SUMIDERO
3 −→
En estas condiciones los estados posibles son:

Estado No de lı́neas No de lı́neas No de lı́neas

en servicio en falla forzada en manten. programado
1 3 0 0
2 2 1 0
3 2 0 1
4 1 2 0
5 1 1 1
6 0 3 0
7 0 2 1
y las transiciones entre los estados se pueden expresar mediante el siguiente

grafo:
0123
7654m
?1
1 ind. progr. 1 falla forzada
7654
0123 7654
0123
1 mant. progr. 1 falla forzada
3Z 6- 2 Z
1 falla 1 reprac. 1 falla forzada 1 reprac.
7654
0123 7654
0123
1 mant. progr.
5Z 64Z
1 falla 1 reprac. 1 falla forzada 1 reprac.
7654
0123 7654
0123
1 mant. progr.
7 6
Se puede observar que existen cuatro transiciones básicas:
- falla forzada
- reparación
- indisponibilidad programada
- mantenimiento
Se asumirá la hipótesis de que tanto los regı́menes de falla y de indisponibili-
dad programada como las duraciones de las reparaciones y los mantenimientos
tienen probabilidades de transición dadas por funciones de distribución expo-

nencial:
- 𝑃𝑖𝑗 (𝑡) falla forzada = (1 − 𝑒−𝜆𝑓 𝑡 )
- 𝑃𝑖𝑗 (𝑡) indisp. progr. = (1 − 𝑒−𝜆𝑝 𝑡 )
- 𝑃𝑖𝑗 (𝑡) reparación = (1 − 𝑒−𝜇𝑓 𝑡 )
- 𝑃𝑖𝑗 (𝑡) mantenimiento = (1 − 𝑒−𝜇𝑝 𝑡 )
De esta manera el sistema se puede estudiar como una cadena de Markov ho-
mogénea con parámetro t continuo. Luego las respectivas tasas de transición
serán:
𝑑
- 𝑑falla forzada = (𝑃𝑖𝑗 (0))f. forz. = 𝜆𝑓 (5.1)
𝑑𝑡
𝑑
- 𝑑indispon. progr = (𝑃𝑖𝑗 (0))ind. progr. = 𝜆𝑝 (5.2)
𝑑𝑡
𝑑
- 𝑑reparación = (𝑃𝑖𝑗 (0))reparación = 𝜇𝑓 (5.3)
𝑑𝑡
𝑑
- 𝑑mantenimiento = (𝑃𝑖𝑗 (0))mantenim. = 𝜇𝑝 (5.4)
𝑑𝑡
Los valores anteriores corresponden a probabilidades de transición por cable.
Para evaluar las probabilidades de transición entre los siete estados definidos
es necesario afectar a las expresiones (5.1) a (5.4) por el número de lineas que
están en condiciones de efectuar la transición, ası́ del estado 1 al estado 2 se
puede pasar por falla en cualquiera de las 3 lı́neas, luego la tasa de transición
𝑑12 será 𝑃12 = 3𝜆𝑓 , y ası́ con las demás, luego el grafo con las tasas de transición
es:
0123
7654m
?1
𝑑13 =3𝜆𝑝 𝑑12 =𝜇𝑓
7654
0123 7654
0123
𝑑31 =𝜇𝑝 𝑑12 =3𝜆𝑓
3Z 6- 2 Z
𝑑35 =2𝜆𝑓 𝑑53 =𝜇𝑓 𝑑24 =2𝜆𝑓 𝑑42 =2𝜇𝑓
7654
0123 7654
0123
𝑑52 =𝜇𝑝
5Z 64Z
𝑑57 =𝜆𝑓 𝑑75 =2𝜇𝑓 𝑑46 =𝜆𝑓 𝑑64 =3𝜇𝑓
7654
0123 7654
0123
𝑑74 =𝜇𝑝
7 6
Todas las restantes tasas 𝑑𝑖𝑗 que no figuran en el grafo son nulas. Luego las
probabilidades del estado permanente:
𝑃 = 𝑃1 𝑃2 𝑃3 𝑃 4 𝑃5 𝑃 6 𝑃7
se calculan de la expresión (3.3.1):
𝑃 = 𝐵.𝐴−1
con la matriz A definida en la (3.3 0), y que en este caso es:
(𝑑12 + 𝑑13 ) 𝑑12 𝑑13 0 0 0 1

𝑑21 −(𝑑21 + 𝑑24 ) 0 𝑑24 0 0 1
𝑑31 0 −(𝑑31 + 𝑑35 ) 0 𝑑35 0 1
𝐴= 0 𝑑42 0 −(𝑑42 + 𝑑46 ) 0 𝑑46 1
0 𝑑52 𝑑53 0 −(𝑑52 + 𝑑53 + 𝑑57 ) 0 1
0 0 0 𝑑64 0 −𝑑64 1
0 0 0 𝑑74 −𝑑75 0 1
−3(𝜆𝑝 + 𝜆𝑓 ) 3𝜆𝑓 3𝜆𝑝 0 0 0 1

𝜇𝑓 −(2𝜆𝑓 + 𝜇𝑓 ) 0 2𝜆𝑓 0 0 1
𝜇𝑝 0 −2(𝜆𝑓 + 𝜇𝑝 ) 0 2𝜆𝑓 0 1
= 0 2𝜇𝑓 0 −(𝜆𝑓 + 2𝜇𝑓 ) 0 𝜆𝑓 1
0 𝜇𝑝 𝜇𝑓 0 −(𝜆𝑓 + 𝜇𝑓 + 𝜇𝑝 ) 0 1
0 0 0 3𝜇𝑓 0 −3𝜇𝑓 1
0 0 0 𝜇𝑝 2𝜇𝑓 0 1
Luego calculando la matriz 𝐴−1 , su 7ma. fila dará los valores de las proba-
bilidades del estado permanente. Mediante este método pueden determinarse,
además:
. probabilidad de tres lı́neas en servicio: 𝑃𝑗
. probabilidad de dos lı́neas en servicio: 𝑃2 + 𝑃3
. probabilidad de una lı́nea en servicio: 𝑃4 + 𝑃5
. probabilidad de ninguna lı́nea en servicio: 𝑃6 + 𝑃7
Como ejemplo pueden calcularse los valores anteriores para los siguientes datos:𝜆𝑝 =
10, 7 indisp/cable-año; 𝜆𝑓 = 0, 4 fallas/cable-año; 𝜇𝑝 = 983, 5 manten./cable-
año; 𝜇𝑓 = 190, 4 repar./cable-año.
References
[1] Bronson, R Investigación de Operaciones, serie Shaum; Mc. Graw Hill
[2] Gallagher y Watson, Quantative Methods for Busines; Mc. Graw Hill
[3] Gillett B., Introduction to Operations Research; Mc. Graw Hill
[4] Hillier y Lieberman, Introducción a la Investigación de Operaciones; Mc.
Graw Hill
[5] Kaufman A., Métodos y Modelos de Investigación de Operaciones;
C.E.C.S.A
[6] Parsen, Procesos Estocásticos; Parainfo
[7] Prawda J., Métodos y Modelos de Investigación de Operaciones; Limusa
[8] Rau J., Optimization and Probability in System Engieneering; Van Nostran
Reinhold
[9] Shambin y Stevens, Investigación de Operaciones, Un enfoque fundamen-
tal; Mc. Graw Hill

Apunte Markov PDF

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Apunte Markov PDF

Cargado por

Copyright:

Formatos disponibles

@ 71.

> Cadenas de Markov

2 CADENAS DE MARKOV HOMOGÉNEAS

3 CADENAS DE MARKOV HOMOGÉNEAS

4 APLICACIÓN DE CADENAS DE MARKOV

Las cadenas de Markov comprenden un capı́tulo particularmente importante de

1.2 Clasiﬁcación de los Procesos Estocásticos

Esta clasiﬁcación tiene relación con la memoria que guarda el proceso de

𝑃 {𝑋(𝑡 + Δ𝑡) = 𝑥𝑡+Δ𝑡 /𝑋(𝑡) = 𝑥𝑡 , 𝑋(𝑡 − Δ𝑡1 ) = 𝑥𝑡−Δ𝑡1 , 𝑋(𝑡 − Δ𝑡2 ) =

En función de lo anterior se deﬁnen los siguientes procesos:

𝑃 {𝑋(𝑡 + Δ𝑡) = 𝑥𝑡+Δ𝑡 /𝑋(𝑡) = 𝑥𝑡 , 𝑋(𝑡 − Δ𝑡1 ) = 𝑥𝑡−Δ𝑡1 , 𝑋(𝑡 − Δ𝑡2 ) =

Es decir que la probabilidad de que el sistema se encuentre en un

𝑥𝑡−Δ𝑡2 ,. . ., “es un proceso sin memoria de la historia de estados ante-

b) Proceso sin memoria tipo Markov.

𝑃 {𝑋(𝑡 + Δ𝑡) = 𝑥𝑡+Δ𝑡 /𝑋(𝑡) = 𝑥𝑡 , 𝑋(𝑡 − Δ𝑡1 ) = 𝑥𝑡−Δ𝑡1 , 𝑋(𝑡 − Δ𝑡2 ) =

Es decir que la probabilidad de que el sistema se encuentre en un

c) Procesos con memoria.

Lo dicho se ilustra el siguiente “grafo de transiciones” sucesivas

c) se extraen bolillas “con o sin reposición” según sean 1, y 2 o 3 res-

1/2 (si X(t-1)=si)

1.2.2) Clasiﬁcación de los procesos de Markov según la naturaleza discreta o con-

Referida especı́ﬁcamente a los procesos de, Markov, esta clasiﬁcación guarda

(b) Naturaleza del parámetro tiempo.

Naturaleza del espacio de estados X(t)

1.2.3) Clasiﬁcación de las Cadenas de Markov según su homogeneidad en el

𝑃 {𝑋(𝑡 + Δ𝑡) = 𝑗/𝑋(𝑡) = 𝑖} = 𝑃𝑖𝑗 (𝑡, 𝑡 + Δ𝑡) (1.5)

Una cadena de Markov es homogénea cuando la probabilidad condicional

𝑃𝑖𝑗 (𝑡, 𝑡 + Δ𝑡) = 𝑃𝑖𝑗 (Δ𝑡); ∀𝑡 ≥ 0 (1.6)

y es no homogénea en caso contrario. En base a las tres clasiﬁcaciones

Los capı́tulos siguientes se limitaran al análisis de las cadenas de Markov

2 CADENAS DE MARKOV HOMOGÉNEAS

2.1 Estudio de las probabilidades en las cadenas de markov ho-

El intervalo Δ𝑡= n = entero se denomina número de pasos o transi-

matriz en la que se cumplen las siguientes condiciones:

Análogamente el conjunto de probabilidades de transición de 1 paso

c) Probabilidad de transición de 2 pasos

Esta probabilidad, en una cadena de Markov, se puede calcular en

la cual establece que para todo par de estados i y j separados por un

en función de las probabilidades de transición de 1 paso del estado i a

Para su demostración se deﬁnen los conjuntos A, 𝐵𝑘 y C cuyos ele-

y por ser una cadena de Markov se cumple la (1.4), luego es:

con lo cual queda demostrada la (2.8) pues:

Como antes, el conjunto de probabilidades de transición de 2 pasos:

𝑝00 (2) 𝑝01 (2) . . . . . . 𝑝0𝑚 (2)

y aplicando la ecuación de Chapman (2.8) a cada uno de los elemen-

𝑝00 (2) . . . 𝑝0𝑚 (2) 𝑝00 𝑝01 . . . 𝑝0𝑚 𝑝00 . . . 𝑝0𝑚

La ecuación de Chapman-Kolmogorov (2.10) es una condición nece-

Repitiendo el proceso descripto en el punto anterior para deducir la

Como antes, el conjunto de probabilidades de transición de n pasos

𝑝00 (𝑛) 𝑝01 (𝑛) . . . . . . 𝑝0𝑚 (𝑛)

𝑝00 (𝑛) . . . 𝑝0𝑚 (𝑛) 𝑝00 𝑝01 . . . 𝑝0𝑚 𝑝00 (𝑛 − 1) . . . 𝑝0𝑚 (𝑛 − 1)

extendiendo la ecuación anterior en forma recursiva se obtiene:

que es la expresión genérica matricial de la ecuación de Chapman-

2.a son, aplicando la ecuación (2.14):

0 1 0, 222 0, 778 0, 259 0, 741

0 1 0, 259 0, 741 0, 247 0, 753

2.1.2) Probabilidad incondicional de estado

(a) Deﬁnición general

y el conjunto de probabilidades incondicionales de estado 𝑝𝑖 (𝑡) ∀i, de-

𝑝(𝑡) = 𝑝0 (𝑡) 𝑝1 (𝑡) 𝑝2 (𝑡) . . . 𝑝𝑚 (𝑡) (2.16)

vector en el cual se cumplen las siguientes condiciones:

(b) Probabilidad de estado inicial

𝑝𝑗 (0) = 𝑃𝑥=𝑖 (𝑡 = 0) ; con 𝑖 = 0, 1, . . . , 𝑚 (2.19)