INF413

5.2.2 Procesos de Markov

Los procesos de Markov de primer orden, pueden usarse como modelos de un proceso físico o
económico con las siguientes propiedades:

a) El conjunto de sucesos posibles es finito.

b) La probabilidad del siguiente suceso depende solamente del suceso inmediatamente
anterior.
c) Estas probabilidades permanecen constantes en el tiempo.

Cada suceso individual se denomina un estado. Esto significa que habrá tantos estados como
sucesos posibles.

Si: i-esimo estado de m posibles; 2 ≤ m < 

* Definiciones:

a) Un estado Sj es transitorio, si desde un estado Sk alcanzado desde Sj , el sistema no

puede regresar a Sj
b) Un estado Sj es recurrente, si desde cada estado Sk alcanzable desde Sj, el sistema
puede regresar a Sj
c) Una cadena sencilla es una serie de estados recurrentes tal, que el sistema puede llegar
a cualquier estado de la cadena desde cualquier otro estado de esta
d) Un cambio de estado en un proceso de Markov de transición continua, puede
producirse en cualquier instante de una escala de tiempo continua

* Procesos de nacimiento y muerte:

Es un caso importante de los procesos de Markov y es especialmente aplicable al modelado

de sistemas de computación y son más fáciles de resolver. Este tipo de proceso tiene la
propiedad que:

i j = 0 si j  i + 1 y j  i –1

λ01 λ12 λ23 λn-2,n-1 λn-1,n

S0 S1 S2 Sn-1 Sn

λ10 λ21 λ32 λn-1,n-2 λn,n-1

Procesos de nacimiento y muerte

i j: Tasa de ocurrencia para las transacciones del estado Si al estado Sj

Notación: i (i + 1) = bi = Tasa promedio de nacimientos desde el estado Si

1
 INF413

i (i - 1) = di = Tasa promedio de muertes desde el estado Si

bi-1 λi,i+1 = bi bi+1

Si Si+1

di λi+1,i = di+1 di+2

Notación de nacimiento y muerte

Pi: Probabilidad de estado estable que el proceso se encuentre en el estado S i en cualquier

intervalo de tiempo aleatorio t

Si = Si + 1 (con probabilidad Pi bi) = Si + 1 = Si (con probabilidad Pi + 1 d i + 1 )

Por tanto: Pi bi = Pi + 1 d i + 1

Por lo tanto, es posible resolver un proceso de nacimiento y muerte continuo, esto es

determinar las diferentes Pi mediante las relaciones:

Pi + 1 = Pi bi / d i + 1

i Pi = 1

Problema 1

Suponga que las peticiones de acceso a disco llegan como un proceso de Poisson. Si el disco está en
uso, la petición se coloca en una cola FCFS. Cuando el disco queda disponible, se sirve la primera
petición de la cola. El tiempo de servicio es una variable aleatoria exponencialmente distribuida.
Determine para cada uno de los siguientes casos, el valor esperado E(i) para el número total de
peticiones al disco pendientes (en la cola o en servicio) y las probabilidades del estado límite.

Caso I

El dispositivo contiene un solo brazo y solo puede dar servicio a una sola petición a la vez.

λ = Tasa promedio de peticiones por minuto

μ = Tasa promedio de servicio por minuto
E(s) = 1/μ minutos; Valor esperado o media del tiempo de servicio
Si = Estado del sistema con i peticiones de servicio de disco
λ t = Probabilidad de transición Si → Si+1 en el intervalo de tiempo t

El sistema es un proceso de nacimiento y muerte continuo de cadena sencilla y estados

finitos con:

2
 INF413

λ i (i+1) = bi ; i = 0,1,2, … (tasa promedio de nacimientos desde el estado Si)

λ i (i -1) = di = { 0 ; i = 0
{ μ ; i = 1,2,3, … (tasa promedio de muerte desde el estado Si )

Puesto que se sirve una petición por vez con una tasa μ

λΔt λΔt λΔt λΔt

S0 S1 S2 S3

µΔt µΔt µΔt µΔt

Modelo de nacimiento y muerte de Markov

Suponiendo que μ > λ (la cola de peticiones no crece indefinidamente)

Como: pi bi = p i + 1 d i + 1

p i + 1 = pi bi / d i + 1 ; i = 0,1,2, …(1)

Ʃpi = 1

como: bi / d i + 1 = λ / μ → pi+1 = (λ/µ)pi

luego: p1 = (λ / μ) po

p2 = (λ / μ) p1 = (λ / μ)2 po

y en general pi = (λ / μ)i po (2)

 pi = 1 =  (λ / μ)i po = (1 + λ / μ + (λ / μ)2 + (λ / μ)3 + ...) po

como  xn = 1/(1 – x) ; x < 1

resulta que: 1 = {1/ [1 - (λ / μ)]}po

probabilidad que el sistema este ocioso: po = 1 - λ / μ

Remplazando en (2) pi = (λ / μ)i (1 - λ / μ) ; i = 0,1,2,3, ... (3)

Representa la probabilidad que haya i peticiones pendientes

3
 INF413

El número esperado promedio E(i) de unidades pendientes en el sistema se obtiene utilizando

la definición de valor esperado

E(x) = xi pi

E(i) = i pi

= i (λ / μ)i (1 - λ / μ)

= (1 - λ / μ) i (λ / μ)i

= (1 - λ / μ) λ / μ i (λ / μ)i –1 {serie geometricamente convergente}

{nx n-1= 1+2x+3x2+4x3+ …→ 1/(1-x)2 ; x<1}

= (1 - λ / μ) λ / μ [0+1+2 λ / μ+ 3 (λ / μ)2 + 4 (λ / μ)3 + ….]

= (1 - λ / μ) (λ / μ) 1/(1 - λ / μ)2

E(i) = (λ / μ) (1 - λ / μ)-1

Caso II

El dispositivo de disco contiene gran número de brazos movibles, cada uno de los cuales
puede dar servicio a una partición de disco a la misma tasa μ (suponiendo que un número
infinito de peticiones pueden recibir servicio en paralelo).

En este caso la probabilidad que una petición sea servida en el siguiente t es μt, y la
probabilidad que alguna petición acabe es i μt.

El sistema es también un proceso de nacimiento y muerte continua de cadena sencilla y de

estados infinitos con:

bi = ; i = 0,1,2,...
pero,
di = {0; i = 0
{i μ; i = 1,2,3,...

Como hay un número infinito de servidores en paralelo ningún cliente tiene que esperar

λΔt λΔt λΔt λΔt

S0 S1 S2 S3

µΔt 2µΔt 3µΔt 4µΔt

y nuevamente

4
 INF413

Pi + 1 = Pi bi / d i + 1; i = 0,1,2,....

y i Pi = 1
luego: p1 = (λ / μ) po

p2 = (λ / 2μ) p1 = ½ (λ / μ)2po
p3 = (λ / 3μ) p2 = 1/3۰2 (λ / μ)3po
pi = 1/i! (λ / μ)ipo (1)

i Pi = 1 = i 1/i! (λ / μ)ipo

como: n xn/n! = ℮x

resulta que: i 1/i! (λ / μ)ipo = ℮λ / μpo = 1

luego: po = ℮-λ / μ probabilidad que el sistema este ocioso

reemplazando en (1): pi = (λ / μ)i (℮-λ / μ ) / i!

El valor esperado E(i)

E(i) = i i Pi

= i i (λ / μ)i (℮-λ / μ ) / i!

= ℮-λ / μ i i (λ / μ)i / i! = ℮-λ / μ i λ / μ (λ / μ)i-1 / (i – 1)!

= ℮-λ / μ λ / μ i 1/(i – 1)! (λ / μ)i-1 = ℮-λ / μ (λ / μ) ℮λ / μ

luego E(i ) = λ / μ