Cadenas de Markov en tiempo discreto:

Definición

Omar Matus Jofré

13 de abril de 2021

Investigación de Operaciones Cadenas de Markov en tiempo discreto 13 de abril de 2021 1 / 13

Proceso estocástico

Un proceso estocástico es una colección indexeada de variables aleatorias

{Xt }, t ∈ T .
Generalmente T se considera el conjunto de valores no negativos, mientras
que Xt representa una caracterı́stica medible en el el tiempo t. En los casos
en donde los valores de T sean enteros, se habla de un proceso discreto.
La condición del sistema se considera que puede estar en uno de los estados
posibles, que se suelen denotar por: 1, . . . , M.
De esta forma, la variable aleatoria Xt representa el estado del sistema en
el tiempo t, estando en uno de los estados 1, . . . , M.
Ası́, el proceso estocástico en tiempo discreto, {X0 , X1 , X2 , . . . }, proporcio-
na la forma en la que el sistema evoluciona.

Investigación de Operaciones Cadenas de Markov en tiempo discreto 13 de abril de 2021 2 / 13

Proceso estocástico

Considere como ejemplo, una estudiante, que cada dı́a al despertar se puede
encontrar sana o enferma.

Ası́, tenemos que, para todo t en T


1 si al despertar en el dı́a t la alumna está sana
Xt =
0 si al despertar en el dı́a t la alumna está enferma

De esta forma, el proceso {X0 , X1 , X2 , . . . } representa la evolución de la

salud de la alumna a través del tiempo.

Investigación de Operaciones Cadenas de Markov en tiempo discreto 13 de abril de 2021 3 / 13

Cadenas de Markov en tiempo discreto

Un proceso estocástico en tiempo discreto y con espacio de estados finitos,

{Xt }, t ∈ T , se dice que es una Cadena de Markov si para todo t en T y
para toda sucesión i, j, k0 , . . . , kt−1

P(Xt+1 = j|X0 = k0 , X1 = k1 , . . . Xt = i) = P(Xt+1 = j|Xt = i)

Es decir, que la probabilidad de evolucionar al estado j en el tiempo t + 1
depende únicamente del estado actual en el tiempo t y es independiente de
los eventos pasados.

Esta propiedad se conoce como la Propiedad markoviana de pérdida de

memoria y las probabilidad condicionales P(Xt+1 = j|Xt = i) se denominan
probabilidad de transición en un paso.

Investigación de Operaciones Cadenas de Markov en tiempo discreto 13 de abril de 2021 4 / 13

Cadenas de Markov en tiempo discreto homogéneas

En este curso, nos centraremos en un tipo particular de Cadenas de Mar-

kov en tiempo discreto, denominadas cadenas de Markov homogéneas (o
estacionarias).

Una cadena de Markov en tiempo discreto (CMTD), es homogénea (o es-

tacionaria) si:

P(Xt+1 = j|Xt = i) = P(X1 = j|X0 = i)

Es decir, que las probabilidad de transición no cambian en el tiempo (no

dependen del instante en el que analizamos el proceso).

Investigación de Operaciones Cadenas de Markov en tiempo discreto 13 de abril de 2021 5 / 13

Probabilidades de transición
Las probabilidades de transición de un paso para ir desde el estado i al
estado j se denotará por pi,j , mientras que la probabilidad de transición de
n .
n pasos desde el estado i al estado j se denotará pi,j
De esta forma, tenemos que
pi,j = P(Xt+1 = j|Xt = i)
(n)
pi,j = P(Xt+n = j|Xt = i)

Dada su naturaleza de probabilidad condicionales, estas deben ser no nega-

tivas y además dado un estado de inicio fijo, la probabilidad de ir a algún
estado debe sumar 1.
Ası́, tenemos que
M
(n) (n)
X
pi,j ≥ 0 ∀i, j, n ∧ pi,j = 1, ∀i, n
j=0
Investigación de Operaciones Cadenas de Markov en tiempo discreto 13 de abril de 2021 6 / 13
Evolución de una CMTD

La evolución de una cadena de Markov queda totalmente determinada por

una distribución de probabilidad inicial
 
π(0) = π0 (0) π1 (0) . . . πM (0)

donde πi (0) = P(X0 = i), para todo i en {0, 1, . . . , M}.

una matriz de transición

 
p1,1 . . . p1,M
 .. .. .. 
P= . . . 
pM,1 . . . pM,M

Investigación de Operaciones Cadenas de Markov en tiempo discreto 13 de abril de 2021 7 / 13

Probabilidad de transición en n pasos

La propiedad de Chapman-Kolmogorov, nos permite determinar la probabi-

lidad de ir desde i a j en n.

Propiedad de Chapman-Kolmogorov
Para todo i, j en {1, 2, . . . , M}, se cumple que:
M
(n+m) (n) (m)
X
pi,j = pi,k pk,j
k=1

Es decir, la probabilidad de ir desde i a j en n + m transiciones, puede ser

escrita en términos de probabilidades de menos transiciones.

Investigación de Operaciones Cadenas de Markov en tiempo discreto 13 de abril de 2021 8 / 13

Probabilidad de transición en n pasos

Un resultado inmediato de la propiedad de Ch-K es que

(n)
pi,j = (P n )i,j

Es decir, dada la matriz de transición P, la matriz de P n tiene por elementos,

las probabilidades condicionales en n transiciones.
Ası́, dada una probabilidad π(0) tenemos que la probabilidad en n transi-
ciones, π(n) está dada por

π(n) = π(0)P n

Investigación de Operaciones Cadenas de Markov en tiempo discreto 13 de abril de 2021 9 / 13

Representación gráfica de CMTD

En general es posible realizar una representación gráfica del proceso es-

tocástico de una CMTD, a través de un conjunto de arcos y nodos, deno-
minado grafo.
En los grafos, los estados van asociados a los nodos mientras que los ar-
cos representan la transiciones de un estado a otro en un paso. Es común
incluir las probabilidades de las transiciones en los arcos para mejorar la
representación.

Investigación de Operaciones Cadenas de Markov en tiempo discreto 13 de abril de 2021 10 / 13

Representación gráfica de CMTD

Por ejemplo en el caso de alumna que amanece sana o enferma, un grafo

que representa la situación es el siguiente:
Sea Xt : la cantidad de componentes en funcionamiento en el instante t.

p0,1

p0,0 0 1 p1,1

p1,0

Investigación de Operaciones Cadenas de Markov en tiempo discreto 13 de abril de 2021 11 / 13

Ejemplo 1: Clima en la ciudad
En el pueblo de Villazarcillo se ha determinado que un dı́a puede ser bueno, malo o
regular dependiendo de las condiciones climáticas. Basándose en registros históri-
cos, han determinado que
si un dı́a es bueno, con probabilidad 0,3 el dı́a siguiente será bueno y con
probabilidad 0,7 el dı́a siguiente será regular.
si un dı́a es malo, el dı́a siguiente, con probabilidad 0,2 será regular y con
probabilidad 0,8 será malo.
si un dı́a es regular, el estado del dı́a siguiente es equiprobable entre regular,
bueno y malo.
1. Identifique el proceso estocástico y construya la matriz de transicion y el grafo
asociado.
2. Determine la probabilidad de que el dı́a de pasado mañana sea bueno, si el
dı́a de hoy es malo.
Si el dı́a de hoy puede ser bueno o malo con probabilidad 0,3 y 0,7, respectivamente,
3. Determine la probabilidad de que en siete dı́as más, el dı́a sea bueno.
Investigación de Operaciones Cadenas de Markov en tiempo discreto 13 de abril de 2021 12 / 13
 Cadenas de Markov en tiempo discreto:
Definición

Omar Matus Jofré

13 de abril de 2021

Investigación de Operaciones Cadenas de Markov en tiempo discreto 13 de abril de 2021 13 / 13