Está en la página 1de 30

1

Dra. Norka Bedregal Alpaca


P
R
O
C
E
S
O
S



E
S
T
O
C
A
S
T
I
C
O
S
Dra. Norka Bedregal Alpaca
P
R
O
C
E
S
O
S



E
S
T
O
C
A
S
T
I
C
O
S
2
Dra. Norka Bedregal Alpaca
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
Proceso Estocstico
Existen mltiples aplicaciones para los procesos
estocsticos.
En particular, un sistema informtico complejo se
caracteriza por demandas de carcter aleatorio y por
ser dinmico
Es necesaria una herramienta que modele procesos
aleatorios en el tiempo, y para ello se usan los procesos
estocsticos
Un proceso estocstico es una familia de variables
aleatorias parametrizadas por el tiempo
Dra. Norka Bedregal Alpaca
Proceso Estocstico
Definicin General
Un proceso estocstico es una sucesin de variables
aleatorias indexadas por una variable (continua o
discreta), generalmente, el tiempo.
Cada una de las variables aleatorias del proceso tiene
su propia funcin de distribucin de probabilidad y,
entre ellas, pueden estar correlacionadas o no.
Cada variable o conjunto de variables sometidas a
influencias o impactos aleatorios constituye un proceso
estocstico.
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
3
Dra. Norka Bedregal Alpaca
Ejemplo:
Proceso Estocstico
ndice de la Bolsa de Austria (Ejemplo de Proceso
Estocstico no Estacionario).
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
Dra. Norka Bedregal Alpaca
Proceso Estocstico: Definicin Matemtica
Definicin:
Un proceso estocstico es una familia de variables
aleatorias definida sobre un espacio de probabilidad.
Es decir:
{ {{ { } }} } T t X
t
, :
( (( ( ) )) ) ( (( ( ) )) ) t X X
t
, = == =
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
4
Dra. Norka Bedregal Alpaca
b = == =
c = == =
a = == =
t

) , ( t X


Muestral
Espacio
Muestrales
Funciones
) ) ( sin( ) ( ) , ( t A t X = == =
) sin( ) , ( t A t c X
c c
= == = c = == =
Proceso Estocstico: Definicin Matemtica
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
Dra. Norka Bedregal Alpaca
Proceso Estocstico: Definicin Matemtica
Observaciones:
1. Se tiene que X es una funcin de dos argumentos.
Fijando =
0
, se obtiene una funcin determinista
(no aleatoria):
( (( ( ) )) ) T X : ,
0

( (( ( ) )) )
0
, t X t
2. Asimismo, fijando t=t
0
, se obtiene una de las variables
aleatorias de la familia:
( (( ( ) )) ) : ,
0
t X
( (( ( ) )) ) ,
0
t X
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
5
Dra. Norka Bedregal Alpaca
Espacio de Estados:
El espacio de estados S de un proceso estocstico es el
conjunto de todos los posibles valores que puede tomar
dicho proceso:
Proceso Estocstico: Definicin Matemtica
( (( ( ) )) ) { {{ { } }} } = == = T t X S
t
|
Ejemplo:
Se lanza una moneda al aire 6 veces.
El jugador gana $1 cada vez que sale cara (C), y pierde
$1 cada vez que sale sello (S).
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
Dra. Norka Bedregal Alpaca
Sea X
i
= estado de cuentas del jugador despus de la i-
sima jugada
La familia de variables aleatorias {X
1
, X
2
,, X
6
}
constituye un proceso estocstico
={ CCCCCC,CCCCCS,}
card( ) = 2
6
= 64
P( )=1/64
T={1, 2, 3, 4, 5, 6}
Proceso Estocstico: Definicin Matemtica
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
6
Dra. Norka Bedregal Alpaca
S={6, 5, , 1, 0, 1, 2, , 5, 6}
X
1
( ) = {1, 1}
X
2
( )={2, 0, 2}
Si se fija , por ejemplo

0
=CCSSSC
se obtiene una secuencia de valores completamente
determinista:
X
1
(
0
)=1, X
2
(
0
)=2, X
3
(
0
)=1,
X
4
(
0
)=0, X
5
(
0
)= 1, X
6
(
0
)=0
Proceso Estocstico: Definicin Matemtica
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
Dra. Norka Bedregal Alpaca
Se puede dibujar con estos valores la trayectoria del
proceso:
Proceso Estocstico: Definicin Matemtica
-2
-1
0
1
2
3
1 2 3 4 5 6
Instante de tiempo, t
V
a
l
o
r

d
e
l

p
r
o
c
e
s
o
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
7
Dra. Norka Bedregal Alpaca
Si se fija t, por ejemplo t
0
=3, se obtiene una de las
variables aleatorias del proceso:
:
3
X
( (( ( ) )) )
3
X
Proceso Estocstico: Definicin Matemtica
Los posibles valores que puede tomar el proceso en t
0
=3
son: X
3
( )={3, 1, 1, 3}
Se puede hallar la probabilidad de que el proceso tome
uno de estos valores:
[ [[ [ ] ]] ] [ [[ [ ] ]] ] [ [[ [ ] ]] ] [ [[ [ ] ]] ]
8
3
2
1
2
1
2
1
3 SCC P CCS P CSC P 1 ) ( X P
3
= == = = == = + ++ + + ++ + = == = = == =
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
Dra. Norka Bedregal Alpaca
Proceso Estocstico: Definicin Matemtica
[ [[ [ ] ]] ] [ [[ [ ] ]] ]
8
1
2
1
2
1
2
1
CCC P 3 ) ( X P
3
= == = = == = = == = = == =
[ [[ [ ] ]] ] [ [[ [ ] ]] ] [ [[ [ ] ]] ] [ [[ [ ] ]] ]
8
3
2
1
2
1
2
1
3 CSS P SSC P SCS P 1 ) ( X P
3
= == = = == = + ++ + + ++ + = == = = == =
[ [[ [ ] ]] ] [ [[ [ ] ]] ]
8
1
2
1
2
1
2
1
SSS P 3 ) ( X P
3
= == = = == = = == = = == =
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
8
Dra. Norka Bedregal Alpaca
Clasificacin de los Procesos Estocsticos
S discreto S continuo
T discreto Cadena
Sucesin de
variables aleatorias
continuas
T continuo Proceso puntual Proceso continuo
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
Dra. Norka Bedregal Alpaca
Ejemplos:
Cadena: Ejemplo anterior
Sucesin de variables aleatorias continuas: cantidad de
lluvia cada cada mes
Proceso puntual: Nmero de clientes esperando en la
cola de un supermercado
Proceso continuo: velocidad del viento
Clasificacin de los Procesos Estocsticos
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
9
Dra. Norka Bedregal Alpaca
Funcin de distribucin de primer orden
Funciones Asociadas a los Procesos Estocsticos
[ [[ [ ] ]] ] 1 , 0 :
2
F
( (( ( ) )) ) ( (( ( ) )) ) ( (( ( ) )) ) [ [[ [ ] ]] ] x t X P t x F t x = == = , , ,
Funcin de densidad de primer orden:
( (( ( ) )) )
( (( ( ) )) )
x
t x F
t x f


= == =
,
,
Funcin de distribucin de 2 orden:
[ [[ [ ] ]] ] 1 , 0 :
4
F
( (( ( ) )) ) ( (( ( ) )) ) ( (( ( ) )) ) ( (( ( ) )) ) ( (( ( ) )) ) ( (( ( ) )) ) [ [[ [ ] ]] ]
2 2 1 1 2 1 2 1 2 1 2 1
, , , , , , , , x t X x t X P t t x x F t t x x = == =
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
Dra. Norka Bedregal Alpaca
Funcin de densidad de 2 orden:
Funciones Asociadas a los Procesos Estocsticos
( (( ( ) )) )
( (( ( ) )) )
2 1
2 1 2 1
2
2 1 2 1
, , ,
, , ,
x x
t t x x F
t t x x f


= == =
Funcin valor medio (es determinista):
T m:
[ [[ [ ] ]] ]
t
X E t
Funcin varianza (es determinista):
T :
2

( (( ( ) )) )
t
X t var
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
10
Dra. Norka Bedregal Alpaca
Las funciones de primer orden de un proceso
estocstico X(t) corresponden a la funcin de
distribucin y de densidad de probabilidad del proceso.
Las funciones de segundo orden corresponden a las
distribuciones conjuntas de la variable aleatoria en dos
tiempos diferentes t
1
y t
2
.
Funciones Asociadas a los Procesos Estocsticos
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
Dra. Norka Bedregal Alpaca
P
R
O
C
E
S
O
S



E
S
T
O
C
A
S
T
I
C
O
S
11
Dra. Norka Bedregal Alpaca
Cuando, conociendo el pasado y
el presente, el comportamiento
probabilstico del futuro
inmediato slo depende del
estado presente
Cadenas de Markov
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
Dra. Norka Bedregal Alpaca
Las cadenas de Markov y los procesos de Markov son un
tipo especial de procesos estocsticos que poseen la
siguiente propiedad:
Propiedad de Markov:
Conocido el estado del proceso en un momento dado, su
comportamiento futuro no depende del pasado.
Dicho de otro modo, dado el presente, el futuro es
independiente del pasado
Cadenas de Markov
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
12
Dra. Norka Bedregal Alpaca
Sea {X
n
: n 0} un proceso estocstico discreto
Es decir, cada X
n
es una variable aleatoria discreta
Se dice que {X
n
} es una cadena de Markov si se cumple:
P{X
n+1
= j / X
0
= i
0
, X
1
= i
1
. . . X
n
= i
n
} =
P{X
n+1
= j / X
n
= i
n
} = p
i,j
(n)
el futuro no depende del pasado sino del presente
Definicin: Cadena de Markov
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
Dra. Norka Bedregal Alpaca
Observaciones:
p
i,j
(n) : la probabilidad de que el proceso,
estando en el estado i en el tiempo n,
pase al estado j en el instante
siguiente
Cuando p
i,j
(n) = p
i,j
(es decir, no depende de n) se
dice que las probabilidades de transicin son
homogneas o estacionarias
Cadenas de Markov
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
13
Dra. Norka Bedregal Alpaca
Cadenas de Markov
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
Como se trata de cadenas de Markov, se tendr
espacios de estados S discretos y conjuntos de instantes
de tiempo T tambin discretos, T={t
0
, t
1
, t
2
,}
De manera abreviada se dice que una cadena de
Markov (CM) es una sucesin de variables aleatorias
X
i
, i N, tal que:
( (( (

( (( (


= == =
= == =
( (( (

( (( (


= == =
+ ++ + + ++ +
t
t
t
t
X
j X
P
X X X
j X
P
1
1 0
1
,..., ,
Las CM estn completamente caracterizadas por las
probabilidades de transicin en una etapa,
T t S j i
i X
j X
P
t
t

( (( (

( (( (



= == =
= == =
+ ++ +
, , ,
1
Dra. Norka Bedregal Alpaca
Cadenas de Markov
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
Slo se trabajar con CM homogneas en el tiempo,
que son aquellas en las que
ij
t
t
q
i X
j X
P T t S j i = == =
( (( (

( (( (



= == =
= == =

+ ++ +1
, ,
donde q
ij
se llama probabilidad de transicin en
una etapa desde el estado i hasta el estado j
14
Dra. Norka Bedregal Alpaca
Matriz de Transicin
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
Las probabilidades de transicin q
ij
se agrupan en la
denominada matriz de transicin de la CM:
( (( ( ) )) )
S j i
ij
q
q q q
q q q
q q q
Q

= == =
| || |
| || |
| || |
| || |
| || |

| || |





\ \\ \
| || |
= == =
,
22 21 20
12 11 10
02 01 00
... ... ... ...
...
...
...
Dra. Norka Bedregal Alpaca
Propiedades de la matriz de transicin
Por ser los q
ij
probabilidades:
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
Matriz de Transicin
[ [[ [ ] ]] ] 1 , 0 , ,
ij
q S j i
Por ser 1 la probabilidad del suceso seguro, cada fila ha
de sumar 1, es decir,
1 , = == =

S j
ij
q S i
Una matriz que cumpla estas dos propiedades se llama
matriz estocstica
15
Dra. Norka Bedregal Alpaca
EJEMPLO (CAJERO):
Considere un cajero que
atiende a las personas que
llegan a una sucursal bancaria
Suponga que en la fila nunca
hay ms de tres personas
(incluyendo la que se atiende) y
que los clientes no llegan en
grupos
Entonces el nmero de
personas en la fila (incluyendo
la que se atiende) puede tomar
los valores 0, 1, 2, 3
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
Matriz de Transicin
Dra. Norka Bedregal Alpaca
Suponga que el cajero tarda al menos un minuto en
atender a un cliente y que en un minuto dado no puede
llegar ms de un cliente al banco
Si se observa el nmero de personas en la fila cada
minuto, esta cantidad puede:
Aumentar en 1, si llega otro cliente antes de que
atiendan al que est en servicio
Disminuir en 1, si se termina de atender al cliente y
nadie ms llega
Esto se repite a lo largo del da
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
Matriz de Transicin
16
Dra. Norka Bedregal Alpaca
Grficamente
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
Matriz de Transicin
Minuto 5
Minuto 6
Minuto 7
Minuto 8
Dra. Norka Bedregal Alpaca
Si se supone que la cantidad de clientes en el prximo
minuto depende solamente de la cantidad de clientes en
el minuto actual, entonces se podra determinar la
probabilidad de tener una cierta cantidad de clientes en
la fila en el prximo minuto
Para ello se necesita solamente probabilidades
condicionales del tipo:
P(en el siguiente minuto haya i clientes | en este minuto
hay j clientes)
Para poder calcular esas probabilidades, se debe tener:
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
Matriz de Transicin
17
Dra. Norka Bedregal Alpaca
Informacin acerca de la velocidad con que
atiende el cajero a los clientes
Informacin sobre la cantidad de clientes que llega
al banco por unidad de tiempo
Una forma adecuada de organizar dicha informacin es
mediante una tabla o matriz
En las filas se coloca el nmero actual de clientes
En las columnas, el nmero de clientes en el siguiente
minuto
Se denota por X
n
al nmero de clientes en el minuto n
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
Matriz de Transicin
Dra. Norka Bedregal Alpaca
LAinformacin necesaria se da en la tabla:
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
Matriz de Transicin
( )
12 1
2| 1 0.25
n n
p P X X
+
= = = =
Clientes en el minuto n+1
0 1 2 3
Clientes en el
minuto n
0 0.5 0.5 0 0
1 0.25 0.5 0.25 0
2 0 0.7 0.2 0.1
3 0 0 0.4 0.6
18
Dra. Norka Bedregal Alpaca
Hay que notar que la primera fila de la matriz indica
las probabilidades de pasar a 0, 1, 2 o 3 clientes en la fila
dado que ahora hay cero clientes
Como estos valores representan todos los posibles
resultados, deben sumar 1
Lo mismo ocurre con las otras filas
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
Matriz de Transicin
Dra. Norka Bedregal Alpaca
El diagrama de transicin de estados (DTE) de una CM
es un grafo dirigido
Los nodos son los estados de la CM
Los arcos se etiquetan con la probabilidad de transicin
entre los estados que unen.
Si dicha probabilidad es nula, no se pone arco
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
Diagrama de Transicin
i j
q
ij
19
Dra. Norka Bedregal Alpaca
EJEMPLO: LNEATELEFNICA
Sea una lnea telefnica de estados
ocupado=1 desocupado=0
Si en el instante t est ocupada, en el instante t+1 estar
ocupada con probabilidad 0,7 y desocupada con
probabilidad 0,3.
Si en el instante t est desocupada, en el t+1 estar
ocupada con probabilidad 0,1 y desocupada con
probabilidad 0,9.
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
Diagrama de Transicin
Dra. Norka Bedregal Alpaca
Entonces su matriz y diagrama de transicin sern:
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
Diagrama de Transicin
| || |
| || |

| || |


\ \\ \
| || |
= == =
7 , 0 3 , 0
1 , 0 9 , 0
Q
0 1
0,9
0,1
0,3
0,7
20
Dra. Norka Bedregal Alpaca
EJEMPLO: BUFFER DE E/S
Supongamos que un buffer de E/S tiene espacio para M
paquetes.
En cualquier instante de tiempo se puede insertar un
paquete en el buffer con probabilidad o bien el buffer
puede vaciarse con probabilidad .
Si ambos casos se dan en el mismo instante, primero se
inserta y luego se vaca.
Sea
X
t
=n de paquetes en el buffer en el instante t.
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
Diagrama de Transicin
Dra. Norka Bedregal Alpaca
Si se supone que las inserciones y vaciados son
independientes entre s e independientes de la historia
pasada, entonces
{ X
t
} es una CM,
donde S={0, 1, 2, , M}
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
Diagrama de Transicin
0 1 2 3
(1 ) (1 ) (1 )
1 + 1 + 1 +

1 (1 )
21
Dra. Norka Bedregal Alpaca
En el estado M
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
Diagrama de Transicin

1
(1 )

Dra. Norka Bedregal Alpaca
EJEMPLO : LANZAMIENTO DE UN DADO
Se lanza un dado repetidas veces.
Cada vez que sale menor que 5 se pierde $1, y cada vez
que sale 5 6 se gana $1.
El juego acaba cuando se tienen $0 $100
Sea
X
t
=estado de cuentas en el instante t
Se tiene que { X
t
} es una CM
S={0, 1, 2, , 100}
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
Diagrama de Transicin
22
Dra. Norka Bedregal Alpaca
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
Diagrama de Transicin
0 1 2 3
2/3

1
4 5

2/3 2/3 2/3 2/3 2/3


1/3 1/3 1/3 1/3
100 99 98 97
1
2/3 2/3
1/3 1/3
2/3
1/3
1/3
1/3

Dra. Norka Bedregal Alpaca


EJEMPLO: ORGANISMOS UNICELULARES
Se tiene una poblacin de organismos unicelulares que
evoluciona del siguiente modo:
cada organismo se duplica con probabilidad 1p
o muere con probabilidad p.
Sea
X
n
: # de organismos en el instante n.
La CM { X
n
} tendr
S = { 0, 1, 2, 3, }
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
Diagrama de Transicin
23
Dra. Norka Bedregal Alpaca
Si hay i organismos en el instante n, de los cuales:
k organismos que se van a duplicar
i k van a morir
Entonces, en el instante n + 1, habr 2k organismos.
Se pueden hallar las probabilidades de transisicin
mediante la distribucin binomial
q
i,2k
(el resto de probabilidades son nulas)
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
Diagrama de Transicin
{ {{ { } }} } ( (( ( ) )) )
k i k k
i k i
p p C q i k

= == = 1 , ,..., 2 , 1 , 0
2 ,
Dra. Norka Bedregal Alpaca
EJEMPLO: DESPLAZAMIENTO POBLACIONAL
Para efectos de una investigacin, en un determinado
pas, una familia puede clasificarse como habitante de
zona urbana, rural o suburbana.
Se ha estimado que durante un ao cualquiera, el 15%
de todas las familias urbanas se cambian a zona
suburbana y el 5%a zona rural.
El 6%de las familias suburbanas pasan a zona urbana y
el 4%a zona rural.
El 4% de las familias rurales pasan a zona urbana y el
6%a zona suburbana.
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
Diagrama de Transicin
24
Dra. Norka Bedregal Alpaca
Luego, se tendr la siguiente matriz de y diagrama de
transicin
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
Diagrama de Transicin
| || |
| || |
| || |

| || |



\ \\ \
| || |
= == =
90 , 0 06 , 0 04 , 0
04 , 0 90 , 0 06 , 0
05 , 0 15 , 0 80 , 0
rural
surb
urb
P
rural surb urb
Urb
Surb.
Rural
0,15
0,04
0,05
0,04
0,06
0,06
0,8
0,90
0,90
Dra. Norka Bedregal Alpaca
Ejemplo:
Considere nuevamente el caso del # de personas que
esperan servicio en una cola, donde el servicio se brinda
en una sola ventanilla; con slo un cajero y donde los
clientes llegan segn un modelo de Poisson con
determinado parmetro
Se supone que los tiempos de servicio a los clientes son
VAindependientes distribuidas idnticamente
Para n 1, se define:
X
n
: # personas que esperan en la cola en el
momento en que la n-sima persona acaba de
ser atendida
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
Cadena de Markov Inmersa
25
Dra. Norka Bedregal Alpaca
Se puede afirmar que la sucesin {X
n
} es una cadena de
Markov
Para demostrarlo, se define:
U
n
: # de clientes que llegan a la ventanilla durante
el tiempo que se est dando servicio al n-simo cliente
Luego: X
n+1
= X
n
T(X
n
) + U
n+1
donde T(X) = 0, si X = 0
T(X) = 1, caso contrario
Es decir, el nmero de personas que esperan servicio
cuando el cliente n + 1 se v, depende de si el cliente n + 1
estaba en la cola cuando el cliente n reciba el servicio
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
Cadena de Markov Inmersa
Dra. Norka Bedregal Alpaca
Si T(X
n
) = 0 entonces X
n+1
= U
n+1
T(X
n
) = 1 entonces X
n+1
= U
n+1
-1 + X
n
Como U
n+1
es independiente de X
1
X
2
X
n
se deduce
que sado el valor X
n
no es necesario conocer los valores
anteriores para poder determinar la probabilidad
condicional de X
n+1
La cadena de Markov definida por
X
n+1
= X
n
T(X
n
) + U
n+1
se llama cadena de Markov Inmersa
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
Cadena de Markov Inmersa
26
Dra. Norka Bedregal Alpaca
Sea {X
n
: n 0} una Cadena de Markov, con distribucin
inicial
a
j
= P{X
0
= j} para j = 1,2, . . .
Entonces, para cualquier k
0
y para cualesquiera i
0
, . . , i
k
pertenecientes al conjunto de estados del proceso se
cumple:
P{X
0
=i
0
, X
1
=i
1
,...,X
k
=i
k
} = a
i
0
p
i
0
i
1
p
i
1
i
2
... p
i
k-1
i
k
donde:
p
ij
= P{X
m+1
= j / X
m
= i}
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
Distribucin de una Cadena de Markov
Dra. Norka Bedregal Alpaca
Observacin:
La distribucin inicial de una cadena de Markov son
las probabilidades de que inicie en cada estado
Ejemplo:
En el ejemplo del cajero, siempre se empieza sin
clientes, as que siempre tenemos X
0
= 0, lo cual es
equivalente a decir que P(X
0
= 0) = 1
En general, se podra tener una probabilidad de
empezar con 0 clientes, una probabilidad de empezar con
1 cliente, etc
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
Distribucin de una Cadena de Markov
27
Dra. Norka Bedregal Alpaca
Dada la matriz de transicin del cajero bancario:
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
Distribucin de una Cadena de Markov
1. Se desea calcular
Clientes en el minuto n+1
0 1 2 3
Clientes en el
minuto n
0 0.5 0.5 0 0
1 0.25 0.5 0.25 0
2 0 0.7 0.2 0.1
3 0 0 0.4 0.6
( (( ( ) )) ) 1 , 0
1 0
= == = = == = X X P
Hay que observar que
( (( ( ) )) ) ( (( ( ) )) ) 1 0 1 , 0
1 0 1 0
= == = = == = = == = = == = = == = X X P X X P
Dra. Norka Bedregal Alpaca
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
Distribucin de una Cadena de Markov
Pero por la definicin
( (( ( ) )) )
5 . 0 ) 1 (
) 0 (
0
1
1 0
01
0
0
1
1 0
= == = = == =
= == =
| || |

| || |

\ \\ \
| || |
= == =
= == =
= == = = == = = == =
q
X P
X
X
P X X P
2. Si se desea calcular:
( )
0 1 2
0, 1, 2 P X X X = = =
Hay que observar que
( ) ( )
0 1 2 0 1 2
0, 1, 2 0 1 2 P X X X P X X X = = = = = =
28
Dra. Norka Bedregal Alpaca
Por la definicin de probabilidad condicional
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
Distribucin de una Cadena de Markov
( )
( )
( )
0 1 2
2 0 1
0 1
0 1 2
2 | 0, 1
0, 1
P X X X
P X X X
P X X
= = =
= = = =
= =
Luego
( ) ( ) ( )
0 1 2 2 0 1 0 1
0 1 2 2 | 0, 1 0, 1 P X X X P X X X P X X = = = = = = = = =
( ) ( ) ( ) ( )
( ) ( ) ( )
( ) ( )
0 1 2 2 0 1 1 0 0
2 1 1 0 0
12 01
0 1 2 2 | 0, 1 1| 0 0
2 | 1 1| 0 0
1 0.25 0.5 0.125
P X X X P X X X P X X P X
P X X P X X P X
p p
= = = = = = = = = =
= = = = = =
= = =
Clientes en el minuto n+1
0 1 2 3
Clientes en el
minuto n
0 0.5 0.5 0 0
1 0.25 0.5 0.25 0
2 0 0.7 0.2 0.1
3 0 0 0.4 0.6
Dra. Norka Bedregal Alpaca
3. Para calcular:
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
Distribucin de una Cadena de Markov
( )
0 1 2 3
0, 1, 0, 1 P X X X X = = = =
( ) ( )
( ) ( )
( ) ( ) ( )
( ) ( ) ( ) ( )
( ) ( )( )( )
0 1 2 3 0 1 2 3
3 0 1 2 0 1 2
3 2 2 0 1 0 1
3 2 2 1 1 0 0
01 10 01
0, 1, 0, 1 0 1 0 1
1| 0, 1, 0 0, 1, 0
1| 0 0 | 0, 1 0, 1
1| 0 0 | 1 1| 0 0
1 0.5 0.25 0.5 1
0.0625
P X X X X P X X X X
P X X X X P X X X
P X X P X X X P X X
P X X P X X P X X P X
p p p
= = = = = = = = =
= = = = = = = =
= = = = = = = =
= = = = = = = =
= =
=
Clientes en el minuto n+1
0 1 2 3
Clientes en el
minuto n
0 0.5 0.5 0 0
1 0.25 0.5 0.25 0
2 0 0.7 0.2 0.1
3 0 0 0.4 0.6
29
Dra. Norka Bedregal Alpaca
Dada una cadena de Markov {X
n
}, con su respectiva
matriz de transicin Q
Suponiendo que en el tiempo t el proceso de Markov se
encuentra en el estado i, entonces la probabilidad de que
n pasos despus se encuentre en el estado j, est dada
por:
Q{X
n+t
= j /X
t
= i }= P{X
n
= j /X
0
= i } (estacionaria)
= q
(n)
i,j
donde q
(n)
i,j
: elemento (i,j) de la matriz P
n
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
Probabilidades de Transicin en n Etapas
Dra. Norka Bedregal Alpaca
Resumen:
La Matriz de transicin o matriz estocstica, es la
matriz que resume las probabilidades de transicin
Si la matriz da las probabilidades de pasar:
Del estado i en el tiempo n al estado j en el tiempo
n+1, entonces se le llama de un paso
Del estado i en el tiempo n al estado j en el tiempo
n+2, se le llama de dos pasos, etc
Si Q es la matriz de un paso de una cadena de Markov,
entonces Q
2
es la matriz de dos pasos; Q
3
la de tres pasos,
etc
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V
Probabilidades de Transicin en n Etapas
30
Dra. Norka Bedregal Alpaca
Fin Parte 1
C
A
D
E
N
A
S



D
E



M
A
R
K
O
V