Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Tema12 PDF
Tema12 PDF
Procesos estocásticos.
n Un poceso estocástico de tiempo discreto es una descripción de la
relación entre las variables aleatorias X0,X1,...que representan alguna
característica de un sistema en puntos discretos en el tiempo.
n Ejemplo: ruina del jugador: inicialmente tengo 2€, en los tiempos 1,2,...
participo en un juego en el que apuesto 1€ que gano con probabilidad p y
pierdo con probabilidad 1-p. Dejo de jugar cuando mi capital es 4€ o he
perdido todo mi capital. Si Xi es la cantidad de dinero que tengo en el
tiempo i, X0,X1,... es un proceso estocástico.
n Un proceso estocástico de tiempo continuo es un proceso estocástico en
el que el estado del tiempo se puede examinar en cualquier tiempo.
n Ejemplo: número de personas en un supermercado a los t minutos de abrir
Cadenas de Markov.
n Cadena de Markov: proceso estocástico de tiempo discreto que para
t=0,1,2,... y todos los estados verifica
P(Xt+1=it+1 | Xt=it, Xt-1=it-1, ..., X1=i1, X0=i0)=P(Xt+1=it+1|Xt=it)
§ Hipótesis de estabilidad: P(Xt+1=j|Xt=i)=pij (no depende de t)
§ Probabilidades de transición: pij
p11 p12 L p1s
p p L p2s
§ Matriz de probabilidades de transición: P = 21 22
M M O M
s1
p p s2 L pss
s
§ Se debe verificar: ∑p
j =1
ij =1
Cadenas de Markov.
Cadenas de Markov.
§ Ejemplo: la ruina del jugador es una cadena de Markov estacionaria
§ Estados: 0, 1, 2, 3, 4
§ Matriz de transición
1 0 0 0 0
1− p 0 p 0 0
P = 0 1− p 0 p 0
0 0 1− p 0 p
0 0 0 0 1
§ La matriz de transición se puede representar con un grafo en el que cada
nodo representa un estado y cada arco la probabilidad de transición entre
estados.
1-p 1-p 1-p
1 0 1 2 3 4 1
p p p
∑q i Pij (n )
i =1
π 1 π 2 L πs
π π L π s
lim P n = 1 2
n →∞ M M O M
π
1 π 2 L πs
Es decir,
lim Pij (n ) = π j
n
n→∞
{ }
i =1
n La política óptima s* se determina de forma que E s* = max E s
s