1.

Procesos Estocásticos

1.1. Definición
Un proceso
proceso estocástico
estocástico {Xt, t T} es una colección
colección de variables
variables aleator
aleatorias.
ias. Esto
es, para
para cada t T, Xt es u
una
na variable
variable aleato
aleatoria.
ria.

Índice de proceso. El conjunto T es llamado el “índice” del proceso. El índice t

es a menudo interpretado como tiempo, pero puede referirse a cualquier otra
cosa,. Por ejemplo, al número de un juego.
Denotamos por Xt a una variable que representa el estado del proceso
proc eso en el
tiempo t.
Espacio de estados = E. Conjunto
Co njunto de todos los posibles valores que la variable
Xt puede tomar.
Ejemplos. Xt puede ser:
• Número de clientes en un supermercado
• Estado del tiempo
• Precio de una acción, etc.
Si T es contable se tiene un proceso discreto en el tiempo, y por lo general se
usará la siguiente notación, reemplazando el subíndice t por n: {Xn, n = 0,
1,...}
Si T es un intervalo, se trata de un proceso continuo en el tiempo. Notación:
{Xt, t 0} proceso
proceso estocástico
estocástico de tiempo
tiempo continuo.
continuo.
En resumen, un proceso estocástico es una familia de variables aleatorias que
describe la evolución de un proceso (físico)
(fís ico) a través del tiempo. Para
describirlo, bastaría con conocer la distribución conjunta de dichas variables
aleatorias.
Realización de un proceso: Conjunto particular de valores que toma el proceso.

1.2. Estructura probabilística del proceso

Como ya se mencionó,
estocástico, para conocer
basta con conocer el comportamiento
la distribución conjunta de deprobabilidad
un proceso
P(x1,x2,....Xn)
Considere un proceso estocástico de parámetro discreto n = 0, 1, 2,...,.
Considere el conjunto de variables aleatorias X0, X1,
X1 , ...,Xn. Su comportamiento
puede describirse mediante la función de probabilidad conjunta. Para ello
considere la siguiente probabilidad:
P = P(Xn = in, Xn-1 = in-1, …, X1 = i1, X0 = i0 )
Usando la fórmula de probabilidad condicional P(AB) = P(A/B) P(B), la
probabilidad anterior puede escribirse como:
P = P(Xn=in, Xn-1=in-1, …, X1=i1, X0=i0) = P(Xn=in/ Xn-1=in-1, …, X1=i1,
X0=i0) P(Xn-1=in-1, …, X1=i1, X0=i0)
Usando de nuevo el condicional, la probabilidad se puede expresar como:
P = P(Xn=in/ Xn-1=in-1, …, X1=i1, X0=i0) P(Xn-1=in-1/ Xn-2=in-2 …, X1=i1,
X0=i0) P(Xn-2=in-2 …, X1=i1, X0=i0)
De nuevo, usando el condicional en forma iterativa, se llega a la siguiente
expresión para la probabilidad conjunta:
P = P(Xn=in/Xn-1=in-1, …, X1=i1, X0=i0)xP(Xn-1=in-1/ Xn-2=in-2 …, X1=i1,
X0=i0)xP(Xn-2=in-2 …, X1=i1, X0=i0)
x…x P(X2=i2/X1=i1, X0=i0)xP(X1=i1/X0=i0) x P(X0=i0)
De lo anterior, se observa que la probabilidad conjunta puede expresarse en
términos de las probabilidades condicionales, condicionando el resultado en el
tiempo luego
inicial, n a loselresultados obtenidos
resultado en enn-1
el tiempo los se
tiempos n-1, n-2,...,1
condiciona y el estado
a los resultados
obtenidos en los tiempos n-2,...,1 y el estado inicial, y así sucesivamente hasta
condicionar el resultado en el tiempo 1 al estado
es tado inicial.
Usando la expresión anterior, se pueden calcular la probabilidad conjunta para
cualquier caso, pero nuestro interés se centra en dos casos especiales: el caso
independiente y el caso dependiente de Markov.

1.3. Caso independiente.

Si las variables aleatorias son independientes, es decir, P(Xn=in/Xn-1=in-1, …,
X1=i1, X0=i0) = P(Xn=in), la probabilidad conjunta está dada por:
P(Xn = in, Xn-1 = in-1, …, X1 = i1, X0 = i0 ) = P(Xn = in) P(Xn-1 = in-1)P(Xn-
2 = in-2)…P(X1 = i1) P(X0 = i0)
1.4. Caso Markoviano
Suponga que la probabilidad condicional en el tiempo n, dados los períodos n-1,
n-2,...,1 y 0 se puede expresar de la siguiente manera:
P(Xn = in/Xn-1 = in-1, Xn-2 = in-2…, X1 = i1, X0 = i0) = P(Xn = in/Xn-1 = in-
1)
Es decir, el estado futuro del proceso Xn depende solo del estado presente Xn-1
y es independiente de los estados pasados (Xn-2, Xn-3,…, X1, X0). En este
caso se dice que el proceso
proc eso tiene la “propiedad Markoviana”, o tiene pérdida de
memoria, es decir, el futuro depende únicamente del presente y es
independiente del pasado. A la probabilidad condicional P(Xn = in/Xn-1 = in-1)
se la denomina “probabilidad de transición” del estado Xn-1 al estado Xn en un
período.
La probabilidad conjunta se expresa entonces como
P(Xn = in, Xn-1 = in-1, …, X1 = i1, X0 = i0) =
P(Xn = in/Xn-1 = in-1)P(Xn-1 = in-1/ Xn-2 = in-2)…P(X2 = i2/X1 = i1)P(X1 =
i1/X0 = i0)P(X0 = i0)

Ejemplos: Problema del jugador, caminata

c aminata aleatoria.

2. Cadenas de Markov
Considere el proceso estocástico de parámetro discreto {Xn, n = 0, 1,2,...,}
que toma un número finito o infinito de valores. Supondremos que E = (0,
( 0,
1,2,...,M) ó E = (0, 1,2,...)

Si Xn=i decimos que el proceso se encuentra en el estado i en el tiempo o

etapa n. El tiempo se denomina “etapa o paso”
Considere la secuencia Xt+1, Xt, Xt-1,...,X1, X0. Se dice que un proceso
cumple la condición de Markov o tiene la propiedad markoviana si
P(Xt+1 = j/Xn = i, Xn-1 = in-1…, X1 = i1, X0 = i0) = P(Xt+1 = j/Xn = i)
Se tiene entonces que la probabilidad condicional de cualquier evento futuro
dados el evento presente o actual y los eventos pasados depende únicamente
del presente y es independiente del pasado.

2.1. Probabilidad de transición

La probabilidad P(Xt+1 = j/Xt = i) se denomina “probabilidad de transición” o
probabilidad de pasar del estado i al estado j en una etapa o transición.

2.1.1. Probabilidad estacionaria

Si para cada i, j y t se cumple
P(Xt+1=j/Xt=i) = P(X1=j/X0=i)
se dice que las probabilidades son “estacionarias”, es decir, no cambian con el
tiempo y se denotan simplemente por pij.

Estas probabilidades de transición tienen las siguientes propiedades:

2.1.2. Probabilidad de transición en n pasos

También se tiene
P(Xt+n = j/Xt = i) = P(Xn = j/X0 = i) = pij(n)
y se denomina “probabilidad de transición en n pasos”
Como los pij(n) son probabilidades se tiene que:

2.1.3. Matriz de transición en una etapa P

Es una matriz cuadrada conformada por las probabilidades de transición en una
etapa P = {pij}
La matriz de transición debe cumplir las siguientes propiedades:

La primera propiedad se debe al hecho de que se trata de una probabilidad, y la

segunda al hecho de que si en el tiempo t el proceso se encuentra en el estado
i, en el tiempo t+1 se debe encontrar en cualquier estado, incluyendo el estado
i.
2.1.4. Diagrama de transición
Una cadena de Markov se puede representar en forma gráfica mediante un
diagrama de transición, en el cual los estados se representan por figuras
geométricas (círculos, cuadrados, etc), y mediante flechas orientadas se indican
las transiciones posibles entre los diferentes estados.
es tados. (ver el problema del
jugador).
Ejemplo 2.1 Estado del tiempo

Suponga que el estado del tiempo en un día cualquiera depende únicamente del
estado del tiempo del día anterior. Mas específicamente, suponga que si llueve
hoy, la probabilidad
probabilidad de que llueva mañana
mañana es (=0.7), y si no
no llovió hoy la
probabilidad
una cadena dedeMarkov.
que llueva mañana es (=0.4). Represente este proceso como
Solución. Si denotamos por Xn el estado del tiempo el día n, por las
suposiciones dadas se concluye claramente que el proceso Xn es una cadena de
Markov, con el siguiente espacio de estados:
E = (Lluvia, no lluvia) = (0, 1)
La matriz de transición correspondiente será:

Ejemplo 2.2 Problema del jugador

Considere un jugador A, que apuesta contra otro jugador B. En cada jugada A
puede ganar un peso con probabilidad p, o puede perderlo con probabilidad q =
1-p. Sea k el capital inicial del jugador A, y sea M el capital de ambos
jugadores. Si denotamos por Xn el capital del jugador A después de n jugadas,

a) Es Xn una cadena de Markov?

b) Si lo es, cual sería
s ería la matriz de transición.
Solución. El capital del jugador A después de n juegos es igual al capital que
tiene al final del juego n-1 más el resultado obtenido al realizar el último juego
n, es decir,
Xn = Xn-1 + Yn
donde Yn es el resultado del n-ésimo juego (±1). De la expresión anterior, ssee
concluye que cumple la condición de Markov.
Observación. El capital del jugador A después de n juegos puede expresarse
en términos del capital inicial X0 ( = k) y de los resultados de las n apuestas
que haga Y1, Y2,..., Yn-1, Yn.
Xn = X0 + Y1 + Y2 + ... + Yn-1 + Yn

Al examinar la expresión podría pensarse que no se cumple la condición de

Markov. Mas sin embargo debe tenerse en cuenta que el capital después de los
n-1 primeros juegos Xn-1 es igual a:
Xn-1 = X0 + Y1 + Y2 + ... + Yn-1
con lo cual se obtiene la expresión dada anteriormente
El espacio de estados está dado por E = (0, 1, 2,..., M)
Las probabilidades de transición están dadas por:

ya que si no se tiene capital (jugador arruinado) no se

s e puede apostar, o si se
tiene todo el capital, el oponente no puede realizar ninguna apuesta.
El problema el jugador se puede representar mediante el siguiente “diagrama
de transición”.

Ejemplo 2.3 Sistema de inventarios

Considere un sistema de inventario (s, S) donde se pide la cantidad necesaria
para elevar el inventario
caso contrario no se pide alnada.
nivelElS pedido
cuandoseel entrega
inventario es menorde
al principio que s. En
la siguiente
semana. La demanda semanal tiene la siguiente distribución de probabilidad
(corresponde a una distribución de Poisson con tasa = 1.5):

Sea Xn el inventario al final de la semana n.

a) ¿Es Xn una cadena de Markov?
b) En caso afirmativo, ¿cual será la matriz de transición?. Sea s = 1, S = 3
Solución. El inventario al final de una semana (Xn) es igual al inventario al
final de la semana anterior (Xn-1) menos la demanda atendida durante la
semana Dn más las órdenes colocadas al final de la semana anterior para
reabastecer el inventario (On-1), las cuales llegan al principio de la semana. Por
lo tanto Xn se expresa como:
Xn = Xn-1 + Qn-1 - Dn
donde
Qn-1 = Cantidad pedida al final de la semana n-1
Dn = demanda atendida durante la semana n
El espacio de estados está dado por E = (0, 1, 2, 3)
Cálculo de las probabilidades de transición

Cálculo de p00. Para calcular p00 debe tenerse en cuenta que si el inventario es
cero al final de una semana, se piden tres unidades que llegan al principio de la
semana siguiente, y para poder terminar de nuevo la semana en cero, se
requiere que la demanda durante esa semana sea de por lo menos tres
unidades
P00=P(Xn=0/X
P00=P(Xn=0/Xn-1=0)=
n-1=0)= P(D 3) = .126+.047+.018
.126+.047+.018 =.19
=.191
1
Cálculo de p01, p02 y p03. Para calcular p0j (j = 1, 2, 3) debe tenerse en
cuenta que si el inventario es cero al final de una semana, se piden tres
unidades que llegan al principio de la semana siguiente, y para poder terminar
la semana con inventarios de 1, 2 o 3 unidades, se s e requiere que las demandas
respectivas durante la semana sean de 2, 1 y 0 unidades
P01 = P(Xn=1/Xn-1=0)= P(D=2) = 0.251
P02 = P(Xn=2/Xn-1=0) = P(D=1) = 0.335
P03 = P(Xn=3/Xn-1=0) = P(D=0) = 0.223

Cálculo de p1j. Si el inventario al final de una semana

s emana es uno no se hace ningún
pedido. Por lo tanto, para pasar de un inventario de uno a un inventario de
cero, (p10) se requiere que la demanda durante esa semana sea de por lo
menos una unidad, y para poder terminar la semana con una unidad en el
inventarios
hace pedido,lano
demanda durante
es posible la semana
terminar debecon
la semana serdos
cero. Además,
o tres como
unidades si no
al se
final de la semana anterior sólo había una unidad en el inventario.

P10 = P(D 1) =0.335+.251

=0.335+.251+.126+.
+.126+.047+.0
047+.018
18 = 0.777
P11 = P(D=0) = 0.223
P12 = 0, P13 = 0
La matriz de transición resultantes es la siguiente:

Ejemplo 2.4 Genio de una persona.

Suponga que el genio (humor) de un compañero en un día cualquiera puede ser
“alegre”, “normal”, o “de mal genio(malhumorado)”.
genio( malhumorado)”. Suponga además que si
hoy está de buen genio mañana puede estar de buen genio, normal o
malhumorado con probabilidades de 0.5, 0.4 y 0.1, respectivamente. Si hoy
está “normal” mañana puede estar de buen genio, normal o malhumorado con
probabilidades de 0.3, 0.4 y 0.3, respectivamente. Finalmente si hoy está de
mal humor, mañana puede estar de buen genio, normal o malhumorado con
probabilidades de 0.2, 0.3 y 0.5, respectivamente. Si {Xn, n ? 0} representa el
genio de su compañero, la matriz de transición estará dada por
donde el espacio de estados es E = [alegre, normal, malhumorado] = [0, 1, 2]
Problemas propuestos: Libro de Hillier: 14.2.1, 14.2.3, 14.3.2, 14.3.3 a y b,
14.5.1a, 14.5.2a, 14.5.3a, 14.6.6a
Ejemplo 2.5 Transformación de una cadena de Markov. El estado del
tiempo
Suponga que el estado del tiempo un día cualquiera depende de las condiciones
del tiempo en los dos días anteriores. Así:
As í:
• Si ha llovido en los dos últimos días, lloverá mañana con probabilidad de
0.7
• Si llovió hoy pero no ayer, la probabilidad de que llueva mañana es de
0.5
• Si llovió ayer pero no hoy, la probabilidad de que llueva mañana es de
0.4
• Si no ha llovido los dos últimos días, la probabilidad de que llueva
mañana es de 0.2
a) ¿Es el proceso anterior una cadena de Markov?
b) Si no lo es, puede transformarse para que lo sea?
Solución. Si denotamos por Xn el estado del tiempo el día n, entonces Xn es
una función no sólo de Xn-1 sino también de Xn-2, por lo cual no es una cadena
de Markov.
Si embargo, si redefinimos el estado del proceso
proces o como el estado del tiempo en
dos días consecutivos, el proceso sería una cadena de Markov. Así: Xn = Estado
del tiempo en los días n y n-1. La convención podría ser la siguiente:
Estado
Estado Con
Condic
dición
ión
0 Llueve los dos últimos días- LL
Llueve el día actual pero no el
1
anterior-LN
2 No llueve NL
anterior- el último día, pero sí el
3 No ha llllov
ovid
ido
o los
los dos
dos últ
ltiimos
mos día
días-NN
s-NN
E = (0, 1, 2, 3) = (LL, LN, NL, NN)
Cálculo de las probabilidades de transición
Estado futuro = Estado del tiempo mañana y hoy
Estado actual = Estado del tiempo hoy y ayer
P00 = P(LmañanaLhoy/LhoyLayer) = Probabilidad de lluvia en los dos últimos
días) = 0.7
P01 = P(LmañanaNhoy/LhoyLayer) = 0
P02 = P(NmañanaLhoy/LhoyLayer) = 0.3
P03 = P(NmañanaNhoy/LhoyLayer) = 0
P10 = P(LmañanaLhoy/LhoyNayer) = 0.5
P11 = P(LmañanaNhoy/LhoyNayer) = 0
P12 = P(NmañanaLhoy/LhoyNayer) = 0.5
P13 = P(NmañanaNhoy/LhoyNayer) = 0
La matriz de transición resultante es la siguiente:

Ejemplo 2.6 Taller con dos máquinas y un mecánico

Considere un taller que tiene 2 máquinas y un mecánico que las repara cuando
fallan. Si una máquina está trabajando, la probabilidad de que falle en una hora
es . Si una máquina está bajo reparación, la probabilidad de que elel mecánico
termine de repararla
repararla en una hora es . Si Xn es el número
número de máquinas en
operación al final de la hora n,
a) ¿Es Xn una cadena de Markov?. Explique
b) En caso afirmativo, calcule la matriz de transición
Solución. El número de máquinas en operación al final de una hora (Xn) es
igual al número de máquinas en operación al final de la hora anterior (Xn-1)
más el número de máquinas reparadas durante la última hora (Rn) menos el
número de máquinas que han fallado durante la última hora (Fn). Por lo tanto
Xn secadena
una expresa
de como se indica
Markov. a continuación,
Se supone de donde
que las máquinas se desprende
fallan que
al final de la es o
hora,
que sólo al final de la hora se descubre que las máquinas han fallado, o que el
mecánico ha terminado la reparación. (No hay eventos simultáneos)
Xn = Xn-1 + Rn - Fn
donde
Rn = Número de máquinas reparadas durante la última hora.
Fn = Número de máquinas que fallaron durante la última hora.
El espacio de estados está dado por E = (0, 1, 2)
Cálculo de las probabilidades de transición
Cálculo de p00, p01 y p02. Para pasar del estado cero c ero al estado cero se
requiere que el mecánico
mecánico no termine la repareparación
ración de una máquina
máquina (1 - ) y
para pasar al estado uno se requiere que que termine de reparar
reparar la máquina ( ).
P00 = P(mecánico no termine la reparación) =1 -
P01 = P(mecánico termine la reparación) =
P02 = P(Reparar dos máquinas) = 0
Cálculo de p10, p11 y p12. Para pasar del estado uno al estado cero se s e requiere
que el mecánico no termine la reparación de la máquina que está arreglando (1
- ) y que la máquina
máquina que
que estaba
estaba en operaci
operación
ón se da
dañe
ñe ( ). Para
Para pasar del
estado uno al estado uno se requiere que el mecánico no termine la reparación
de la máquina que está arreglando (1 - ) y que la máquina
máquina que estaba
operando no se dañe (1 - ), o que el mecánico termine la reparación de la
máquina que está arreglando ( ) y que la máquina
máquina que estaba operando
operando se
dañe ( ).Para pasar
pasar del estado
estado uno al estado
estado dos se requiere
requiere que el mecánico
mecánico
termine la reparación de la máquina que está arreglando ( ) y que la m máquina
áquina
que esta
estaba
ba opera
operando
ndo no
no se dañe
dañe (1 - )
p10 = P(No termina
terminarr reparación
reparación y máq
máquina
uina buena se dañdañee = (1 - ) ( )
p11 = P(no terminar reparación y la máquina buena no se dañe)
P(terminar reparación y la máquina buena dañe)
= (1 - ) (1 - ) + ( ) ( )
p12 = P(terminar
P(terminar repara
reparación
ción y que máqui
máquinana buena
buena no se dañe)
dañe) = ( ) ( )
Queda como un ejercicio calcular las probabilidades de transición desde el
estado 2 hacia los demás estados.
La matriz de transición resultante es la siguiente:

2.2. Matriz de transición en n etapas

Probabilidad de transición en n etapas:

Probabilidad de que un proceso pase del estado i al estado j en n transiciones o
pasos.

P(Xn=j/X0 =i) = P(Xn+m=j/Xm=i) = , n, i, j 0

Se tiene que =

Cálculo de
Para pasar del estado i al estado j en dos transiciones se debe pasar por un
estado intermedio k en la primera transición y luego ir del estado
es tado k al estado j
en la segunda transición. Este estado k puede ser cualquiera
c ualquiera de los estados del
proceso, incluyendo los estados i y j. La figura siguiente ilustra el proceso

Denotemos por la matriz formada por las probabilidades de transición en

dos etapas, cuyos elementos son las diferentes probabilidades de transición en

dos etapas . Al analizar la expresión resultante para observamos este

elemento es igual al producto de la fila i de la matriz de transición en una etapa
P por la columna j de la misma matriz. Es decir, la matriz de transición en dos
etapas, es simplemente el producto de la matriz de transición de una etapa por
sí misma. Por lo tanto,

Matriz de transición en 3 etapas Cálculo P(3)

Para pasar del estado i al estado j en tres etapas se puede pasar en el primer
paso por un estado intermedio k, y luego hacer la transición del estado k al
estado j en los restantes dos pasos, es decir:

Si P(3) es la matriz de transición en 3 pasos, entonces se tiene que

También se puede pasar al estado intermedio k en los primeros dos pasos, y

luego hacer la restante transición al estado j en un paso, es decir

Es decir, P(3) se puede expresar como:

Matriz de transición en n etapas - P(n) Ecuación de Chapman

Kolmogorov .
Para pasar del estado i al estado j en n etapas se puede pasar en los m
primeros pasos por un estado intermedio k, y luego hacer la transición del
estado k al estado j en los n-m restantes pasos, es decir:

Si P(n) es la matriz de transición en n pasos, entonces puede expresarse como:

También para pasar del estado i al estado j en n etapas se puede pasar al

estado intermedio k en los primeros n-m pasos, y luego hacer la transición al
estado j en m pasos, es decir

Es decir, se puede expresar como:

El sistema anterior de ecuaciones recibe el nombre de Ecuación de Chapman
Kolmogorov
Propiedades:

Ejemplo 2.7 Estado del tiempo. ¿Cuál es la probabilidad de que llueva dentro
de 4 días si está lloviendo hoy?.
Solución. Para responder esta pregunta debemos calcular las probabilidades de
transición en cuatro paso

La probabilidad requerida está dada por = 0.5749

Ejemplo 2.8 Sistema de inventarios. Calcule la probabilidad de que no haya
unidades en el inventario dentro de dentro de cuatro días si hoy no hay nada.
La matriz de transición en varias etapas (n =2, 4, 8) se presenta en la página
siguiente:
La probabilidad requerida está dada por = 0.3993

¿Qué comportamiento se observa en a medida que n aumenta?

2.3. Probabilidades de estado

Se denomina “probabilidad de estado” a la probabilidad (incondicional) de que
después de n transiciones el proceso se encuentra en el estado j, la cual

denotaremos por = P(Xn=j)

Cálculo 1. La probabilidad de estado se puede calcular condicionando bien

sea ense
inicial el tiene:
estado inicial o en cualquier otro estado. Condicionando en el estado

Si denotamos por ={ , ,..., } un vector fila con las

probabilidades de estado, y analizamos la ecuación anterior tenemos que se
puede expresar como
:
=

dond
dondee es el vect
vector
or de es
esta
tado
do o pr
prob
obab
abililid
idad
ad in
inic
icia
iall { = P(X0
P(X0=j
=j)}
)} y

={ , , ,..., }

Cálculo 2. También se puede calcular condicionando en cualquier otro

estado. Si se condiciona en el penúltimo estado que visite el proceso se tiene:

Analizado la ecuación anterior tenemos que:

= P

donde es el vector de probabilidad de estado para la etapa n-1.

Ejemplo 2.9 Estado del tiempo. Calcule la probabilidad de que llueva dentro
de cuatro días si es igualmente probable que llueva o no llueva hoy.
Solución. Como es igualmente probable que llueva o no llueva hoy, se
s e tiene
que = (0.5, 0.5). La probabilidad de que llueva dentro de cuatro días se
calcula como:
Ejemplo 2.10 Sistema de inventarios 1. Si el inventario inicial es 2
unidades, cual es la probabilidad de que no haya inventario al final de la
primera semana? De la cuarta? De la octava?. Qué pasa si el inventario inicial
fuera tres?

Solución. Si el inventario inicial es dos unidades, tenemos entonces que =

(0, 0, 1, 0). Por lo tanto:

La probabilidad de que no haya inventario al final de la primera semana es

0.442, al final de la cuarta es 0.4002 y al final de la octava es 0.4005
.Ejemplo
Ejemplo 2.11 Sistema de inventarios 2. Si el inventario inicial fuera 3
unidades, las probabilidades de estado para las etapas 1,2, 4 y 8 serían:

La probabilidad de que no haya inventario al final de la primera semana es

0.191, al final de la cuarta es 0.3993 y al final de la octava es 0.4005
Analice las respuestas anteriores, y como es su comportamiento. ¿Qué se
observa?
Comportamiento de las probabilidades de estado.

a) Qué se observa en el comportamiento de cuando n aumenta?

b) Qué pasa con cuando n aumenta y se cambia el estado inicial?
2.4. Clasificación de estados

Accesibilidad. El estado
estado j es accesi
accesible
ble desde
desde el estado
estado i (i j) si >0. Est
Esto
o
implica que j es accesible desde i si y solo si, empezando en i es posible que el
proceso entre al estado j. Esto es verdadero dado que si j no es accesible desde
i, entonces
Comunicabilidad. Si el estado j es accesible desde el estado i, y el estado i es
accesible
(i j). desde el estado j, entonces se dice que los estados i y j se comunican

La comunicación tiene las siguientes propiedades:

a) Reflexiva: Todo estado se comunica consigo mismo, ya que =1
b) Simétrica: Si i se comunica con j, entonces j se comunica con i
c) Transitiva: Si i se comunica con j, y j se comunica con k, entonces i se
comunica con k.

Conjunto cerrado C. Sea Cj el conjunto (clase cerrada) formado por el estado

j y todos los estados que se comunican con el estado j. Puede contener un solo
elemento.
Ejemplo 2.12 Sistema de inventarios. Se tiene que:
C0 = (0, 1, 2, 3) = C1 = C2 = C3 = E
Ejemplo 2.13 Problema del jugador. Se tiene que
C0 = (0)
C1 = (1, 2, 3, ..., M-1) = C2 = C3 = ...= CM-1
CM = (M)
Clases disjuntas. Los estados de una cadena de Markov se pueden clasificar
en
a laclases
mismadisjuntas
clase. (cerradas), donde los estados que se comunican pertenecen

Ejemplo 2.14 Problema del jugador. Se tiene que E=(0,1,2,...,M-1,M)

C0 = (0) = E1, C1 = (1, 2, ..., M-1) = C2 = ... = CM-1 = E2, CM = (M) = E3

y
Ejemplo 2.15 Problema de inventarios. Se tiene: E = (0, 1, 2, 3).
C0 = (0, 1, 2, 3) = C1 = C2 = C3 = E
Proceso irreducible. Una cadena de Markov es irreducible si sólo contiene una
clase, es decir, si todos los estados se comunican. Por ejemplo el sistema de
inventarios.
Estados recurrentes y transitorios

Sea fii= Probabilidad de que el proceso regrese al estado i dado que empieza o
se encuentra en dicho estado i
Estado recurrente. El estado i es recurrente si fii=1, es decir, hay certeza de
regresar a dicho estado.

Estado absorbente: Es un caso especial de un estado recurrente cuando pii=1

Estado transitorio: El estado i es transitorio si fii<1, es decir existe una

probabilidad =1 – fii>0 de no regresar al estado una vez se sale de él.
Ejemplo 2.16 Problema del jugador. Se tiene que E = (0, 1, 2, ..., M-1, M)

Como se observa en el diagrama de transición, los estados 0 y M son

absorbentes, ya que una vez el proceso entra en dichos estados, no vuelve a
salir de allí. Los demás estados se
s e comunican entre sí, pero son transitorios, ya
que si el proceso sale del estado 1 o del estado M-1 nunca regresa a dichos
estados. Se tiene que f00= fMM = 1, y fiifii < 1, para
para i 0, M
Para encontrar el número esperado de períodos que el proceso se encuentra en
el estado i dado X0 = i, considere:
Sea Bn = 1 si Xn = 1, y Bn = 0 si Xn i

La
en cantidad
el estado i dado X0=irepresenta el número de períodos que el proceso está
Su esperanza está dada por:

De lo anterior se tiene que:

El estado i es recurrente si

El estado i es recurrente si
La recurrencia es una propiedad de clase, es decir, todos los estados que
pertenezcan a una misma clase son todos recurrentes o todos transitorios. De
nuevo, considere el problema del jugador. Claramente el estado 1 es
transitorio, ya que si del estado 1 se pasa al estado 0, nunca se regresa al
estado 1. Además, los estados 1, 2,..., M-1 se comunican entre sí. Por lo tanto,
estos estados son también transitorios. El mismo argumento empleado para el
estado 1 se puede usar para el estado M-1.
No todos los estados de una cadena de Markov pueden ser transitorios.
Considere un proceso de Markov con la siguiente
s iguiente matriz de transición.
Clasifique sus estados.

Sea E=(0, 1, 2, 3, 4) (Uso

(Us o diagrama de transición)

C0=(0,1) =C1, C2 = (2,3) = C3, C4= (4) E1 = (0,1), E2 = (2,3), E3 = (4)

Recurrentes = (0,1), (2,3) y transitorio = (4)

Período. El período de un estado i se define como el entero t (t >1) si =

0 para todos los valores de n t, 2t,3t,..., y t es el entero mayor con esta
propiedad.
Ejemplo 2.17 Problema del jugador. Considere el estado 1. Si se está en el

estado 1, sólo se puede pasar a él, en los tiempos 2, 4, 6, etc. Igual sucedería
con los estados, 2, 3,.., M-1. (Esto se puede verificar calculando o
analizando el diagrama de transición).
La periodicidad es propiedad de clase, es decir, si el estado i es periódico con
período t, y el estado i se
s e comunica con el estado k, entonces el estado k
también tiene período t.
Estado aperiódico. El estado i es aperiódico si existen dos enteros s y s+1
tales que el proceso pueda encontrarse en el estado i en los tiempos s y s+1.
Se dice que el estado tiene período 1. Por ejemplo, en el sistema de inventarios
analizado previamente todos los estados se comunican, y son aperiódicos.
Recuerde que para pasar de un estado a otro, la transición se puede dar en
varios pasos, no necesariamente en uno sólo.
Estado ergódico. Se dice que un estado es ergódico si dicho estado es
recurrente y aperiódico
Ergodicidad. Un proceso estocástico es ergódico si es irreducible y aperiódico
Problema. Considere los cadenas de Markov descritos por las matrices de
transición. Clasifique sus estados.

2.5. Tiempos de primera pasada

El tiempo de primera pasada corresponde al número de transiciones que hace
el proceso al ir de un estado i a un estado j por primera vez. Cuando i = j,
corresponde al número de transiciones para regresar al estado i y se denomina
tiempo de recurrencia. Por ejemplo, en el sistema e inventarios, el número de
semanas requerido para pasar de un inventario de cero a otro inventario de
cero, es decir, este tiempo de recurrencia es el tiempo entre dos pedidos
consecutivos
Los tiempos de primera pasada son variables aleatorias y por lo tanto tiene una
función de densidad.
Ecuaciones recursivas.
Sea =Probabilidad de que el tiempo de primera pasada del estado i al estado
j sea n. Para n = 1 se tiene claramente que:

Para n = 2,
2, representa todas las formas en que se pu puede
ede pasar de i a j en
dos pasos, lo cual incluye pasar en un paso y quedarse en j el paso o transición
siguiente; por lo tanto estas probabilidades deben restarse de la probabilidad
de transición en dos pasos

Para cualquier valor de n, representa todas las formas en que el proceso

puede pasar del estado i al estado j en n pasos, lo cual incluye pasar a j en un
paso y quedarse ahí en las n-1 transiciones siguientes, o pasar a j en dos pasos
y quedarse ahí en las n-2 transiciones siguientes,..., o pasar a j en los primeros
n-1 pasos y quedarse ahí en la transición siguiente. Por lo tanto estas
probabilidades deben restarse de la probabilidad de transición en n pasos
Sea fij la probabilidad (incondicional) de que el proceso pase del estado i al
estado j, la cual está dada por:

Entonces, como ya se había visto, el estado i es recurrente si fii=1, y es

transitorio si fii<1 (no hay certeza de realizar la transición)
Tiempo esperado de primera pasada ij
Corresponde al tiempo esperado para ir del estado i al estado j, y en teoría, ssee
puede calcular usando la definición de valor esperado, a saber:

Los son difíciles de calcular. Sin embargo, los ?ij se pueden calcular más
fácilmente usando el siguiente conjunto de ecuaciones:
Cálculo de ij .Si los estados i y j son recurrentes, los tiempos de primera
pasada se pueden calcular usando el conjunto de ecuaciones dado por:

Explicación: Para ir del estado i al estado j por primer vez se requiere:

a) Realizar mínimo un paso. Si llega a j ij = 1
b) Si no se llega a j sino a k j, entonce
entoncess partiendo
partiendo de k pasa a j en un número
número
esperado de kj pasos.
Primero se plantea y resuelve el sistema de ecuaciones para ?ij para i?j, y luego
se calcula la ecuación correspondiente a jj.
Ejemplo 2.18 Sistema de inventarios. Calcular el tiempo medio de
recurrencia del estado 0 00.
las ecuaciones a plantear y resolver son las siguientes:

Realizado el cálculo de 10, 20 y 30 se calcula 00 como:

00 = 1+ p01 10+ p02 20+ p03 30
Las ecuaciones resultantes son:

De (3) se obtiene 10 = 1/0.777 = 1.287 (4)

(4) en
(4)y (2):
(5) 20 =30
en (1):
en (1=(1
+ 0.335
0.335
0.2x511.287)/(1-.223)
+ 0.251 x 1.287)/(1 = 3)
1.842
1.287)/(1 - .223)
.22 (5)
= 2.497
00 = 1 + .251 x 1.287 + .335 x 1.842 + .223 x 2.497 = 2.497
¿Cómo se interpreta 00=2.497? Tiempo entre pedidos
2.6. Probabilidades de largo plazo de las Cadenas de Markov
(Probabilidades de estado estable)
Al examinar las probabilidades de transición en n pasos , se observa que a
medida que n aumenta,
aumenta, estas probabilidades tienden hacia una constante ,
independiente del valor inicial de i es decir, puede existir una probabilidad
límite, independiente de su estado inicial. Esta probabilidad límite está dada por

Un comportamiento similar se observó para la probabilidad de estado para

dos condiciones iniciales diferentes (gráfico de n vs qj(n)). Además, los valores
límites eran los mismos. Es decir,

2.6.1. Cálculo de probabilidades de estado estable

Recordemos que se puede calcular como:

Usando la expresión de la derecha tenemos que:

Como

Teniendo en cuenta lo anterior, se tiene que

Si definimos el vector fila tenemos que la ecuación anterior se

puede escribir en forma matricial como (se obtiene un sistema de M+1
ecuaciones y M+1 variables)
Como los forman una distribución de probabilidad, entonces . Por lo
tanto, las probabilidades de estado estable (o en régimen permanente) deben
satisfacer el siguiente sistema de ecuaciones:

Se observa que existen M+2 ecuaciones y M+1 variables, lo cual quiere decir
que hay una redundante, la cual no puede ser la última (¿por qué?).
2.6.2. Condiciones para la existencia de las probabilidades límites
a) Si el proceso es irreducible, existen las probabilidades limites
b) Si el proceso es ergódico, esas probabilidades son independientes del estado
inicial
2.6.3. Tiempos medios de recurrencia
Se puede demostrar que los tiempos medios de recurrencia se pueden
expresar en términos de las probabilidades límites como
= 1/
Ejemplo 2.19 Cálculo de probabilidades límites

Sistema de inventarios: El sistema de ecuaciones queda de la siguiente

manera:

== 00..215911 ++ 00..272737 ++ 00..343452 ++ 00..215911 ((21))

= 0.335 + 0 + 0.223 + 0..335 (3)
= 0.223 + 0 + 0 + 0.223 (4)
Para que las formen una distribución de probabilidad probabilidad se debe agregar la
siguiente ecuación
+ + + = 1 (5)
Solución
De (4)
(4) = 0.22
0.2233 / 0.77
0.777=
7= 0.28
0.2877 (6)
(6)
(6)) en (3
(6 (3):
): = (0.3
(0.33
35 + 0.33
0.335
5 x 0.28
0.287
7 )/0
)/0.77
.777 = 0.554
.55488
88 (7(7))
(6) y (7
(7)) en (2)
(2): = (0.25.251 + 0.335 x 0.55488 + 0.25.251x0.287 )/.7
/.777 =
0.65498 (8)
Reemplazando (6), (7) y (8) en (5) tenemos:
+ 0.65498 + 0.55488 + 0.287 = 1
= 1/2.49686 = 0.4005
=1/ 0.4005 = 2.4969
= 0.65498 = 0.2623
=1/ 0.2623 = 3.81216
= 0.55488 = 0.2222
=1/ 0.2222 = 4.4998
= 0.287 = 0.1149
=1/ 0.1149 = 8.7
Observación: Como se puede observar estos valores son los mismos que
aparecen en la matriz de transición P(8) calculada anteriormente, y en las
probabilidades de estado Q(8) calculadas también previamente
2.6.4. Probabilidades límites en cadenas periódicas
Si las cadenas son periódicas el límite

puede no existir. Considere la siguiente matriz de transición de dos estados

La matriz de transición en n pasos está dada por:

,
Tenemos que =1 si n es par, = 0 si n es impar. Por lo tanto el límite
anterior no existe.
Sin embargo, el siguiente límite siempre existe para cadenas de Markov
irreducibles y periódicos:

2.6.5. Interpretación de las :

Si se analiza el límite anterior, se observa que el numerador representa la suma
de las frecuencias (relativas) en que el proceso
proc eso se encuentra en el estado j, es
decir, el total de períodos o pass en que el proceso visita el estado j, y el
denominador, el número total de transiciones observadas. Por lo tanto esta
probabilidad de estado a largo plazo se le puede dar la siguiente interpretación:

a) Probabilidad a largo plazo de que el sistema se encuentre en el estado j

b) Proporción de tiempo que el sistema se encuentra en el estado j
Ejemplo 2.20 Interpretación para el sistema de inventario. Los valores de las
probabilidades límites y su interpretación son los siguientes:
 = 0.4005 Un 40% de las semanas no hay artículos en la tienda al final de la
semana, o también, un 40% de las semanas es necesario colocar pedidos para
reabastecer el inventario
= 0.2623 Un 26.23% de las semanas se termina la semana
s emana con un artículo en
inventario
= = 0.2222 Un 2.22% de las veces se termina la semana con dos artículos en
inventario.
= 0.1149 Un 11.49% de las veces se termina la semana con tres artículos en
inventario.
Cálculo e Interpretación para el problema del estado del tiempo
La matriz de transición está dada por

Las ecuaciones para el cálculo de las probabilidades límites son

so n las siguientes:
= 0.7 + 0.4 (1)
= 0.3 + 0.6 (2)
+ = 1 (5)
Del sistema anterior de ecuaciones se obtiene que = 571, = 0.329
Interpretación: La probabilidad de que llueva en un día cualquiera es 0.571, o
un 57.1% de los días lloverá.
2.7. Costo promedio esperado/unidad de tiempo
Suponga que se incurre en un costo C(Xt) cuando el proceso se encuentra en el
estado Xt en el tiempo t. C(Xt)
C( Xt) es una variable aleatoria que toma cualquiera
de los valores C(0), C(1),..., C(M), y la función C(.) es independiente de t. El
costo promedio esperado a lo largo de n períodos está dado por:

Usando el resultado

Se puede demostrar que el “costo promedio esperado por

po r unidad de tiempo”
está dado por:

Ejemplo 2.21 Suponga que existe un costo de $2 por cada unidad que hay en
inventario al final de la semana t. Cuál sería el costo esperado por semana de
mantenimiento del inventario?
Se tiene que C(0)=0, C(1)=2, C(2)=4, C(3)=6
El costo esperado por semana está dado por:
Costo esperado = = 0.4005x0+0.2623x2+0.2222x4+0.1149
0.4005x0+0.2623x2+0.2222x4+0.1149x6=
x6= 2.1028
Funciones de costos más complejas
Suponga que deben tenerse en cuenta los costos de ordenar y de penalización
por faltantesdepende
insatisfecha (demanda
de insatisfecha
la demanda durante la semana).
y del estado El costo
del proceso. por demanda
El costo del
período es una función de Xt, Xt-1 y D. El costo promedio esperado a la larga
está dado por:

donde C(j) =E{C(Xt, Xt-1,Dt)}

Ejemplo 2.22 Suponga que se tienen los siguientes costos:
El costo de hacer un pedido para reabastecer el inventario es $10, mientras que
el costo unitario se de $25. Por lo tanto, si se orden Q cámaras, el costo es =
10 + 25Q
Costo de demanda insatisfecha = $50/unidad
.Considerando únicamente los anteriores componentes, el costo semanal será:
Considerando

Si al final de una semana hay 0 unidades en inventario, se hace un pedido por

tres unidades. Habrá demanda insatisfecha al final de la semana siguiente, si
durante la semana la demanda es de 4 o 5 unidades. Por lo tanto:
C(0)=10+25 x 3 + 50 E{max(Dt-3), 0} =75 + 50 {p4 + 2 p5} = 75 +
50x(0.047+2*0.018)= 79.15
C(1) = 2 + 50 E{max(Dt-1}, 0}=2 + 50 {p2+2p3+3p4+4p5}
= 2 + 50 (0.251 + 2 x 0.126 + 3 x 0.047 + 4 x 0.018} = 37.8
C(2) = 2 x 2 + 50 E{max(Dt-2}, 0} =4 + 50{p3 + 2p4 + 3p5}
= 4 + 50 (0.126+2 x 0.047 + 3 x 0.018) = 17.7
C(3) = 2 x 3 + 50 E{max(Dt-3}, 0) = 6 + 50 {p4 + 2p5}
= 6 + 50 (0.047 + 2 x 0.018) = 10.15
Por lo tanto, el costo esperado por unidad de tiempo está dado por:
Costo esperado = 79.15 x 0.4005 + 37.8 x 0.2623 +17.7 x 0.2222 + 10.15 x
0.1149 = 46.71
2.8. Estados absorbentes
Definición. El estado k es absorbente si pkk = 1
Si el estado k es absorbente, y el proceso empieza en el estado
es tado i, entonces no
se habla de probabilidades límites, tales como fueron analizadas recientemente,
sino que se habla
“probabilidad de que el estado
de absorción” i sea
al estado absorbidopor
k, denotada porfik.
el estado k, o
2.8.1. Probabilidades de absorción
Si el proceso se encuentra en el estado i (no absorbente), para calcular la
probabilidad de que este estado sea absorbido por el estado
es tado k, se puede
condicionar en el resultado de la primera transición, de la siguiente manera: El
proceso puede hacer una transición a un estado intermedio j, y de ahí ser
absorbido posteriormente por el estado k. Por lo tanto, las probabilidades de
absorción fik pueden calcularse mediante el siguiente sistema de ecuaciones:

Ejemplo 2.23 Caminata aleatoria. Si el proceso se encuentra en el estado i, en

el instante siguiente puede estar sólo en i-1, i e i+1.
Ejemplo: Juegos de azar
Ejemplo 2.24 Estados absorbentes. Considere el problema del jugador con M =
3. Calcule fi0.
La matriz de transición está dada por:

Las ecuaciones para calcular fi0 son las siguientes

f00=1
f10= 1/2 f00+1/2f20 = 1/2 + 1/2f20
f20= 1/2 f10 + 1/2f30 = 1/2 f10
f30= 0

Resolviendo se obtiene f10 = 2/3, f20 = 1/3

Demostrar que 1313 = 1/3, f23 = 2/3
2.8.2. Número medio de pasos para la absorción
Si el proceso empieza en el estado
es tado i (o se encuentra en el estado i), donde i es
un estado transitorio, el número medio de pasos para llegar a un estado
absorbente, se puede calcular condicionando en el resultado de la primera
transición, mediante el sistema de ecuaciones que se obtiene de la siguiente
ecuación:

donde T es el conjunto de estados transitorios.

También se podría escribir de la siguiente manera
donde la sumatoria se hace para todo estado k contenido en el espacio
muestral, y teniendo en cuenta que k = 0 si k es un estado recurrente
(absorbente), es decir, si un proceso llega a un estado absorbente, el tiempo
medio de absorción a partir de ese estado es cero
2.8.3. Probabilidad de absorción. Calculo matricial
El cálculo se basa en la matriz fundamental. Simplemente daremos los pasos
requeridos en el procedimiento, sin analizar detalladamente el por qué.
Supondremos que el proceso tiene m estados transitorios, s estados
absorbentes y k estados recurrentes.
1) Se reorganizan las filas y las columnas de la matriz de transición, tal que
quede expresada (parcial o totalmente) de la siguiente manera:

donde
• R es una matriz de transición (mxs) que representa las transiciones de los m
estados transitorios a los s estados
es tados absorbentes
• Q es una submatriz de transición entre estados transitorios (m x m)
• I es una matriz identidad (s x s).
• Se excluyen de a matriz las transiciones entre estados recurrentes, si los hay
(ya que estos estados nunca serán absorbidos por los estados absorbentes).
2) Se calcula la matriz fundamental N como:
N = (I’ - Q)-1, donde Ì´ es otra matriz identidad de m x m
3) Se calcula la matriz que contiene las probabilidades de absorción PA = N x R
Ejemplo 2.25 Probabilidad de absorción.
Considere un almacén. Al final de cada mes se clasifican las cuentas por cobrar
en cuatro categorías: i) cuentas saldadas, ii) cuentas insolutas,
inso lutas, las que no
adeudan abonos del mes anterior, iii) cuentas vencidas, las que llevan entre
uno y tres meses de atraso, y finalmente, iv) cuentas de dudoso o difícil cobro,
las que llevan mas de tres meses de atraso en sus abonos.
De los registros contables se extrajo la siguiente información: El 60% de las
cuentas insolutas se pagan al siguiente mes, el 30% permanece en estaes ta
categoría y el 10% pasan a cuentas vencidas; el 40% de las cuentas vencidas
se convierten en insolutas, el 30% se pagan, el 20% permanece como cuentas
vencidas y el 10% pasan a deudas de dudoso cobro, consideradas como
cuentas perdidas.
a) Plantear este proceso como una cadena de Markov.
b) ¿De $ 50 millones que tiene el almacén este mes en cuentas insolutas y $ 10
millones en cuentas vencidas, cuánto dinero recuperará el almacén al mes
siguiente y cuánto considera como perdido?
Solución
Definición de estados. Los estados se
s e pueden definir de la siguiente manera:
:
• 0 = Cuentas saldadas
•12 = Cuentas insolutas
vencidas
• 3 = Cuentas malas
La siguiente es la matriz de transición resultante

Procedimiento:
1) Se intercambian filas 2 y 4 y luego las columnas 2 y 4.
El espacio de estados queda como E´=(0,3,2,1) y la matriz resultante es la
siguiente:

2) Cálculo de la matriz fundamental

3) Cálculo de las probabilidad de absorción

Interpretación de las probabilidades de absorción: A largo plazo, un 86.5% de

las cuentas vencidas son canceladas, y un 13.5% se convierten en cuentas de
dudoso recaudo. De las cuentas insolutas, un 98.1% se cancelan, y un 1.9% se
convierten en deudas malas.
Si el almacén tiene $50 millones este mes en cuentas insolutas y $10 millones
en cuentas vencidas, la cantidad de dinero que recuperará el almacén, y la
cantidad que se considerará como perdido se obtiene de la siguiente manera:
Sea C = ($10, $50) millones un vector
vec tor (fila) que representa las cuentas
vencidas e insolutas, respectivamente, entonces a largo plazo se cancelarán o
se perderán las siguientes cantidades:

Es decir, de los $50 millones que tiene el almacén en cuentas insolutas y de los
$10 millones en cuentas vencidas, se recuperarán $57.694 millones y se
perderán $2.306 millones. el almacén, y la cantidad que se considerará como
perdido.
Resuelva este problema usando el sistema de ecuaciones visto antes
2.8.4. El problema del jugador. Otra visión.
Considere de nuevo el problema del jugador: Un jugador A apuesta contra otro
jugador B. En cada jugada A puede ganar un peso con probabilidad p, o puede
perderlo con probabilidad q = 1-p. Sea i el capital inicial del jugador A, y sea M
el capital de ambos jugadores. Estamos interesados en calcular la probabilidad
de que el jugador A sea arruinado si empieza jugando con i pesos.
Si denotamos por Xn el capital del jugador A después de n jugadas, vimos que
Xn es una cadena de Markov, con las siguientes probabilidades de transición.

Además ya que si no se tiene capital (jugador arruinado) no se puede

apostar, o si se tiene todo el capital, el oponente no puede realizar ninguna
apuesta.
Estamos interesados en fi0, la probabilidad de absorción por el estado 0, si
empezamos con un capital
capital de i. Por simplicidad denotaremos por la
probabilidad de que el jugador A se arruine si empieza con un capital de i.
Aplicando las ecuaciones para calcular las probabilidades de absorción:

se tiene la siguiente ecuación:

 = p +1 + q -1 , para i = 1, 2, 3, …, M-1
=1
=0
La ecuación para nos dice que para arruinarse empezando
empezando con un capital
inicial de i, se puede ganar la primera apuesta con probabilidad p, y luego
arruinarse con un capital de i + 1, o se puede perder la primera apuesta con
una probabilidad de q y luego arruinarse teniendo un capital de i – 1.
Como p + q = 1, se puede multiplicar
multiplicar por (p + q) y no pasa nada. Por lo
tanto, la ecuación queda como:
(p + q) = p +1 + q -1
p + q = p +1 + q -1
q - q -1 = p +1 – p
+1 - = ( - -1 ) (q/p)
(q/p) , para
para i = 1, 2, 3, …, M-1
Aplicando la ecuación anterior para diferentes valores de i tenemos las
siguientes ecuaciones:
Para i = 1

(1)

Para i = 2

(2)

Para i = 3

(3)
La expresión general sería:

(i)

Ahora, considere la siguiente identidad:

- = - ( 0)
Si sumamos las ecuaciones (0), (1), (2), ...,(i) tenemos lo siguiente:
Nota: La serie geométrica, dada por la expresión toma los siguientes
valores dependiendo de si la constante es uno o diferente de 1.

Sabemos que: = 1, = 0, reemplazando i = M se tiene:

Reemplazando –1y = 1 se obtienen las siguientes expresiones para :

Análisis de las probabilidades de arruinarse

Se analizará la probabilidad de ruina para el caso en que se esté jugando contra
c ontra
un oponente sumamente rico (M )).

Caso en que = (q/p) < 1

Cuando la probabilidad de ganar es mayor que la probabilidad de perder, se
tiene que
Es decir, cuando la probabilidad de ganar es mayor que la de perder, la
probabilidad de arruinarse es menor de 1, es decir, no hay certeza de ser
arruinado empezando con un capital i.

Caso en que = (q/p) = 1

Cuando la probabilidad de ganar es igual a la probabilidad de perder, se tiene
que

Cuando la probabilidad de ganar es igual a la probabilidad de perder, y se está

jugando contra un oponente sumamente rico, hay certeza de arruinarse, es
decir, tarde o temprano el jugador A será arruinado.

Caso en que = (q/p) > 1

Cuando la probabilidad de ganar es menor que la probabilidad de perder, se
tiene que

Cuando la probabilidad de ganar es igual a la probabilidad de perder, y se está

jugando contra un oponente sumamente rico, hay certeza de arruinarse, es
decir, tarde o temprano el jugador A será arruinado.

2.9. Problemas
1. Sea { Xn } una cadena de Markov con espacio de estados (0, 1, 2), vector
de probabilidades iniciales = (1/4, 1/2, 1/4) y matriz de transición P dada
por :

a) Calcule p(0, 1, 1) = Pr(X0 = 0, X1 = 1, X2 = 0)

b) Demuestre que Pr(X1 = 1, X2 = 1/ X0 = 0) = p01 p11
c) Calcule
d) Calcule
e) Demuestre que la cadena es Irreducible.
f) Encuentre el valor de las probabilidades estacionarias.
2. Dos jugadores A y B juegan de la siguiente manera: Si A gana un juego
recibe $2 y si pierde paga $1. La probabilidad de que A gane un juego
j uego es 1/3 y
que pierda
los dos es 2/3.cae
jugadores El dinero total del
por debajo disponible es $N.pueda
punto donde Si el capital
pagar de cualquiera side
exactamente
pierde el próximo juego, entonces el juego termina. Sea {Xn} el capital del
jugador A después de n jugadas.

a) Encuentre la matriz de transición para esta cadena de Markov.

b) Suponga que ambos jugadores acuerdan que si el capital de uno de ellos
llega a ser $1, realizarán la próxima jugada de $1 con igual probabilidad de
ganar o perder. Encuentre la matriz de transición para este caso.
3. Una represa se utiliza para generar energía eléctrica y para el control del
flujo de aguas. La capacidad de la represa es 3 unidades. La función de
probabilidad de la cantidad de agua que fluye a la represa -W- en el mes la
siguiente:

Si el agua en la represa excede la capacidad máxima, el agua sobrante se bota

a través del vertedero, que es de flujo libre. Para generar energía se requieren
mensualmente dos unidades que se sueltan al final de cada mes. Si hay menos
de dos unidades en la represa, se genera energía con el agua disponible, es
decir, se suelta toda el agua.
Sea Xn la cantidad de agua en la represa en el mes n, después de que se suelta
el agua. Suponga que inicialmente la represa está vacía.

a) Es { Xn } una cadena de Markov ?

b) Si { Xn } es una cadena de Markov, encuentre la matriz de transición.

4. El propietario de una barbería local que solamente posee una silla para
prestarle el servicio a sus clientes piensa agrandar su negocio pues le parece
que siempre hay mucha gente esperando ser atendidos. Las observaciones
indican que en el tiempo requerido para motilar una persona pueden llegar 0,
1, 2, o 3 personas con probabilidades de 0.3, 0.4, 0.2 y 0.1, respectivamente.
La barbería
sienta el quetiene
estáuna capacidad
siendo fijaSea
atendido. de 6Xnasientos, incluyendo
el número aquelenenlaque se
de personas
barbería cuando se completa el servicio al n-ésimo cliente.

a) Demuestre que { Xn } es una cadena de markov.

b) Encuentre la matriz de transición.
c) Determine la proporción de tiempo, a largo plazo, que en la barbería hay seis
personas, o que hay 4 personas.
5. Suponga que Usted ha realizado una serie de pruebas en un procedimiento
de destreza manual y encuentra que la siguiente matriz de probabilidad
describe el curso de respuestas “correctas” e “incorrectas”.
a) Qué proporción de respuestas correctas se podría esperar de una persona
completamente entrenada ?
b) Qué proporción de respuestas correctas se podría esperar de una persona
después de repetir cinco veces el procedimiento, si la respuesta inicial tiene
igual probabilidad de se correcta o incorrecta ?
c) Cual es la probabilidad de que una respuesta correcta se
s e obtenga por
primera vez, exactamente después de cuatro ensayos con respuesta
incorrecta ?
6. Suponga que la línea de ensamblaje de SOFASA tiene las siguientes
s iguientes reglas:
• Un Renault X no puede seguir a otro Renault X porque el contenido de
trabajo desbalancearía la línea.
• Un Renault Y debe ser seguido por un Renault Z para balancear la línea.
• Un Renault Z debe ser seguido por un Renault X o un Renault Y pero no
por otro Renault Z.
a) Encuentre una matriz de transición para este proceso. Use las letras a, b,
c,..., cuando los valores de las probabilidades de transición no estén
numéricamente definidas.
b) Es esta cadenas irreducible ?
c) Cual es la probabilidad de que después de un Renault X el siguiente Renault
X ocurra en la línea después de otro vehículo
vehíc ulo ?
d) Si P es una matriz de transición, que interpretación daría Usted al elemento
para n grande?
7. Una partícula se mueve en un círculo en el sentido de las manecillas del

reloj, etapa
cada a través de cinco tiene
la partícula puntosuna
marcados con losdenúmeros
probabilidad dar un 0, 1, en
un paso 2, el
3 ysentido
4. En de
las manecillas del reloj y 1 - de moverse en en sentido contrario. Sea Xn la
posición de la partícula en el círculo después de dar n pasos.

a) Es { Xn , n 0} una cadena de Markov

Markov ?
b) Si { Xn } es una cadena de Markov, encuentre la matriz de transición.
c) Calcule las probabilidades límites. Cómo se
s e interpretan ?
8. Una fábrica tiene dos máquinas y una cuadrilla de reparación. Suponga que
la probabilidad de que una máquina se d dañe
añe en un día cualquiera es .
Suponga, además, que si la cuadrilla de reparación está trabajando en una de
las máquinas, la probabilidad de que termine la reparación en un día ma
mass es .
Sea Xn el número de máquinas en operación al final del n-ésimo día. Asuma
que el comportamiento
Markov. de { Xndeben
(Qué simplificaciones } puede modelarse
hacerse mediante
para que una cadena
esta suposición seade
completamente válida?).

a) Encuentre la matriz de transición.

b) Si ambas máquinas están funcionando cuando el sistema se inicia, cual es la
probabilidad de que ambas estén trabajando dos días después ?
9. Una moneda “honesta” se lanza al aire sucesivamente hasta que ocurran
tres caras seguidas. Sea { Xn } la longitud de la secuencia de caras que
terminan en el n-ésimo lanzamiento. Cual es la probabilidad de que haya al
menos 8 lanzamientos sucesivos de la moneda ?.
10. Considere el experimento de lanzar un dado de manera repetida. Sea Xn el
máximo de los números que ocurren en los primeros n lanzamientos. Si { Xn }
es una cadena de marco:

a) Encuentre la matriz de transición.

b) Encuentre y
11. Tres niños A, B y C juegan con una pelota de la siguiente manera: Si A
tiene la pelota siempre se la pasa a B, y B siempre se la pasa a C, pero este se
la pasa a A o a B indistintamente. Sea Xn la n-ésima persona en recibir la
pelota. Es { Xn } una cadena de Markov?. Si es así,
a) Encuentre la matriz de transición.
b) Calcule sabiendo que inicialmente C tiene la pelota.
c) Calcule las probabilidades límites.
12. Se tienen 6 bolas, tres blancas y tres negras, las cuales se distribuyen al
azar en dos urnas, de tal forma que cada una contenga tres. En cada etapa se
retiran, simultaneamente, una bola de cada urna, y se deposita en la urna
contraria. Sea Xn el número de bolas blancas en cada urna después de n
intercambios.

a) Explique por qué { Xn } es suna cadena

c adena de markov.
b) Encuentre
c) Cual la matriz de de
es la probabilidad transición.
que haya tres bolas blancas en la primera urna
después de n intercambios.
d) Cual es la probabilidad, a largo plazo, de que haya dos bolas blancas en la
primera urna?
13. Suponga que el estado del tiempo en un día cualquiera depende de las
condiciones del tiempo en los dos días anteriores. Así, si llovió hoy y también
ayer, la probabilidad de que llueva mañana es 0.7. S hoy llovió pero no ayer,
lloverá mañana con una probabilidad de 0.5. Si no llovió hoy paro sí ayer, la
probabilidad de que llueva mañana es 0.4. Si en los dos últimos días no ha
llovido, la probabilidad de que llueva mañana es 0.2.

a) Defina el proceso como una cadena de Markov. Defina apropiadamente los

estados.
b) Encuentre la matriz de transición.
c) Si el lunes y martes de esta semana llovió, cual es la probabilidad de que
llueva el jueves?
d) Cual es la probabilidad de que llueva en los próximos cuatro días si hoy está
lloviendo ?
e) Es esta una matriz irreducible ?

14. Considere
fotográficos el siguiente
almacena problema
un tipo de inventarios:
particular Un puede
de cámara que almacén de artículos
ordenarse
semanalmente. Sea D1 , D2 , ... la demanda de este tipo de cámara durante la
primera, segunda semana,...,Se asume que las Di son variables aleatorias
independientes e idénticamente distribuidas con función de probabilidad
conocida. Sea Xn el número de cámaras disponibles (en ( en inventario) al final de
la n-ésima semana. El almacén tiene inicialmente tres cámaras. Los sábados en
la tarde el almacén coloca una orden que es entregada al lunes siguiente,
s iguiente, antes
de que el almacén abra sus puertas al público. El almacén usa la siguiente
política de reabastecimiento (s, S): Si el número de cámaras en inventario al
final de la semana es menor que s = 1 (no hay inventario), el almacén ordena
S = 3 cámaras. En caso contrario, el almacén no hace ningún pedido. Se
supone que las ventas se pierden cuando la demanda excede al inventario. Si la
demanda semanal
artículos por sigue una distribución de Poisson con una media de 1.5
semana,

a) Es { Xn } una cadena de Markov ?

b) Si { Xn } es una cadena de Markov, encuentre la matriz de transición.
c) Encuentre la proporción de tiempo que hay i cámaras en inventario al final
de la semana ?
d) Suponga que se incurre en un costo C(Xn
C( Xn ) cuando el inventario al final de la
semana es Xn . Cual es el costo esperado por semana ?. Suponga

15. Una matriz de transición P se dice que es doblemente estocástica si la

suma de los elementos de cada columna es igual a la unidad. Si tal cadena es
aperiódica e irreducible, con espacio de estados (0, 1, 2,...,M), demuestre que
las probabilidades límites están dadas por:
= 1/(M + 1), j = 0, 1,..., M
16. Sea { Xn } una cadena de Markov con espacio de estados (0, 1, 2, 3, 4) y
matriz de transición P. Para cada uno de los casos siguientes determine las
clases cerradas comunicadas y los estados absorbentes. Analice, además, el
comportamiento probabilístico cuando n .
17. Comprobar la periodicidad de las siguientes matrices de transición y su
período. Determine, además, los estados periódicos:

18. Comprobar si las siguientes matrices de transición son periódicas y

oscilantes

19. Considere una cadena de markov con espacio de estados 0, 1,...,5 y

definida por la siguiente matriz de transición. Determine cuales estados son
recurrentes y cuales son transitorios.

20. Considere una cadena de Markov con espacio de estados

es tados (0, 1, 2, 3, 4 ) y
matriz de transición dada por:

a) Determine las clases comunicadas cerradas y los estados transitorios

b) Para cada clase comunicada cerrada, encuentre las probabilidades ti de que
el sistema entre a la clase i dado que inicialmente estaba en el estado
transitorio i
21. Suponga que en una estación de trabajo las partes a ser procesadas llegan
en una caja a través de una banda transportadora, y la caja sólo trae una pieza
para ser procesada. Suponga, además, que en el tiempo que transcurre entre
la llegada de dos cajas sucesivas, la estación de trabajo puede completar 0, 1 ó
2 partes con probabilidades de 3/8, ½ y 1/8 respectivamente.
respec tivamente. Suponga además
que la estación puede acumular (en un almacenamiento temporal) máximo una
pieza, además de la que está procesando. Si la banda transportadora llega con
la caja, y la estación está inactiva o tiene una parte en operación entonces la
pieza es descargada y se coloca a un lado para ser procesada cuando haya la
oportunidad. Si la estación ya tiene una parte en operación y otra en
almacenamiento
pierde. temporal, entonces la pieza que llega pasa de largo y se

Sean los estados del proceso 0, 1, 2 que representan una estación vacía, una
estación con una parte en proceso y una estación
es tación con una parte almacenada, El
proceso se observa justo antes de la llegada de la banda transportada con la
parte.

a) Encuentre la matriz de transición en una etapa.

b) Encuentre la proporción de tiempo que el proceso pasa en cada estado en el
largo plazo
c) Si la estación empieza el día vacía, cual es la probabilidad de que la tercera
caja que llegue no pueda ser descargada?
22. En cierta ciudad hay dos supermercados: y . Los clientes visitan los
supermercados una vez a la semana pero unas veces van al supermercado y
otras al aunque algunos clientes siempre van al mismo.
Una encuesta sobre preferencias indica que hay una probabilidad de 0.15 de
que un cliente que fue al supermercado una semana vaya la próxima a y una
probabilidad de 0.10 de que un cliente de una semana vaya la próxima a
Inicialmente el 60% de los clientes compran
co mpran en y el 40% en .
a) Cuál será la distribución de clientes cinco semanas después?
b) Cuáles serán los porcentajes de participación a largo plazo?
23. El mercado de exportación de un país, bajo condiciones político-económicas
estables, puede ser modelado por una cadena de Markov en tres estados:
0 Incre
Increme
ment
nto
o en
en más
más del
del 5% con respe
respect
ctoo al
al aaño
ño an
ante
teri
rior
or..
1 Fluctuación menor del 5%
2 Dism
Dismin
inuc
ución
ión en má
máss ddel
el 5% co
con
n resp
respec
ecto
to al
al aaño
ño an
ante
teri
rior
or..
La matriz de transición es:

Qué información puede extraerse de estos datos?

24. En una investigación de mercados se comprobó que el 90% de las personas
que compraban la marca de cierto producto volvían a comprar la misma marca
en la próxima ocasión, mientras que el 20% de los que no la habían comprado
lo hacían en la próxima oportunidad.
Cuál será el porcentaje real de consumidores de la marca a largo plazo?
25. En la fabricación en serie de un producto este debe pasar por tres
departamentos y al final de cada uno se realiza una inspección y dependiendo
de la calidad, el artículo se rechaza, se acepta y pasa al proceso siguiente o ssee
devuelve para reprocesarlo en el departamento en el que fue detectada la falla.
Si las probabilidades son respectivamente 0.1, 0.7 y 0.2 defina esta situación
como una cadena de Markov y diga cuál es el porcentaje de artículos que salen
dentro de las especificaciones de calidad de la totalidad que empiezan el
proceso durante la jornada.
26. Dada la matriz de transición

Calcular limite y diga cuál es la probabilidad de que el proceso pueda estar

en el estado 1.
27. Dada la siguiente matriz de transición

Encontrar los valores de para que el número esperado de pasos hacia la

absorción sea de 4 y la probabilidad de ser absorbido por el estado 2 sea el
triple de probabilidad de ser absorbida por el estado 3.
28. El propietario de una peluquería esta pensando en ampliarla pues le parece
que su clientela tiene que esperar demasiado tiempo para ser atendida.
Observaciones indican que durante el tiempo requerido para realizar un corte
de cabello pueden llegar 0,1,2, ó 3 clientes adicionales con probabilidad 0.3,
0.4, 0.2 y 0.1 respectivamente.
La peluquería tiene una capacidad máxima de seis clientes incluyendo el que
esta recibiendo el servicio, sea Xn el número de clientes en la peluquería al
finalizar el n-simo servicio.

a) Demuestre que es una cadena de Markov.

b) Encuentre la matriz de probabilidades de transición.
c) Determine el porcentaje de tiempo que a largo plazo se mantendrá a su
máxima capacidad.
29. Dada la cadena de Markov representada por la matriz.

con 0 < p < 1 y 0 < q < 1. Calcule y las probabilidades limites por medio de:

Sugerencia: utilice el proceso de diagonalización o representación expectral.

30. Dada la matriz de transición

representativa de una cadena de Markov. Diga cuál es la probabilidad de que el

proceso se encuentre en el estado
es tado 1 después de 5 etapas, si la cadena al
principio se encuentra en cualquiera de los estados con igual probabilidad.
31. Dada la cadena de Markov definida por la matriz.

Calcule el número esperado de pasos antes de alcanzar por primera vez el

estado 2.
32. Un taller de reparaciones atiende camiones a medida que llegan. Solo hay
espacio para estacionar dos camiones antes del servicio. Se han acumulado los
siguientes datos:

La probabilidad de completar un servicio en un periodo de una hora es de 0.7

siempre que haya una unidad para ser atendida, la probabilidad de tener más
de un servicio es, pues cero.
a) Formular esta situación como una cadena de Markov.
b) El número esperado de unidades en el sistema (1.14 camiones).
c) El número esperado de unidades en la cola (0.47
( 0.47 camiones).
33. Un estudio muestra que el número de clientes que están en el momento
ocupando la estación afecta la probabilidad de una nueva llegada. Si se supone
que la probabilidad de servicio es 0.5, formular esta situación como una cadena
de Markov, determinar el número esperado en el sistema y la utilización del
sistema, dada la siguiente tabla:

34. Encontrar la matriz estocástica que describe la siguiente cadena: El control

de calidad en cierta empresa se realiza de acuerdo a la política de inspeccionar
artículo por oarticulo
defectuosa y rechazar
aceptarlo el lote detres
si se encuentran producción
unidadessi seguidas
se encuentra una unidad
que cumplen las
especificaciones. Si sabe que el 85% de la producción sale con las
especificaciones deseadas.
35. Por el método de diagonalización de matrices, encuentre:

a)
b) El porcentaje del tiempo que el proceso permanece en el estado 2.
si la cadena está representada por la matriz

36. Una máquina funciona durante un determinado período de tiempo con una
probabilidad de falla de 0.3. El 60% de las veces la falla puede repararse
exactamente en el período, y en los demás casos se requieren exactamente dos
periodos para la reparación. Se puede suponer que las fallas se presentan al
final de un período. El costo por tiempo perdido es de $50.00 por período.

a) Formular esta situación como una cadena de Markov, describir los estados y
las suposiciones, y desarrollar una matriz de transición.
b) Es posible contratar un ayudante adicional, con un costo de $20 por período
de tiempo, con el objeto de que la falla siempre sea reparada dentro del mismo
período. Es conveniente hacer esto?
37. En un determinado proceso de producción, cada artículo pasa por dos
etapas de fabricación. El final de cada etapa, los artículos se desechan
(probabilidad de 0.2)(probabilidad
a la etapa siguiente se regresan para rehacerlos (probabilidad de 0.3) o pasan
de 0.5).

a) Describir esta situación como una cadena de Markov y establecer la matriz

de transición.
b) Cuál es el número esperado de pasos hacia la absorción? (2.45 si empieza
en E1, 1.43 si empieza en E2).
c) Si en un lote se comienzan 100 partes, cuál es el número esperado de partes
buenas que pueden completar? (Solución: 51 partes).

38. Uno de los aficionados a la cacería de patos solamente le dispara a un pato

en cada ocasión independientemente de cuantos vuelen juntos.
La probabilidad de un acierto es 0.2. El máximo número de patos cazados en
un día es dos. Describir esta situación
s ituación como una cadena de Markov absorbente.
Hallar el número esperado de disparos que debe hacer el cazador antes de
lograr su limite.
39. En un proceso de producción se realiza inspección secuencial
s ecuencial y el lote se
acepta si salen
contrario dos artículos
se rechaza. seguidos dentro
Si la probabilidad de quedeunlosartículo
estándares
salgade calidad,
dentro de lo
de las
normas de calidad es del 90%, se pregunta:

a) La probabilidad de aceptar la producción. (Solución: 0.81)

b) Número esperado de pasos entes de que el proceso sea absorbido, para cada
uno de los estados absorbentes.
40. Se efectúa una encuesta de mercadeo de tres marcas de alimentos , y de la
que se ha extraído la siguiente información relativa a las preferencias de los
consumidores por las distintas marcas. Se pregunta:
a) El comportamiento de estos productos en el mercado de futuros.
b) El número esperado de pasos para que un cliente que posee ahora la marca
X compre por primera vez la marca Y

41. Una compañía distribuidora de artículos para oficina vende además de otros
artículos, dos tipos de calculadora A y B, las cuales han de importarse.
Todo pedido grande que reciba la distribuidora ha de ser pasado a la matriz en
el extranjero, demorándose dos meses en la recepción
recepc ión del mismo si la
calculadora es de tipo A y solo un mes si la calculadora es de tipo B. Para hacer
un nuevo pedido es necesario que se haya recibido el anterior, por lo cual, si se
hace un pedido de calculadora A, habrá que esperar dos meses para hacer un
nuevo pedido, ya sea de A o de B.
Los clientes de la distribuidora no aceptan que sus pedidos se
s e encuentren en
línea de espera, optando en este caso por comprar otro tipo de calculadora a
otra compañía diferente, temiéndose entonces que si se presentan
simultáneamente pedidos de A y B habrá que elegir uno y rechazar otro.
Si la probabilidad de que se presente un pedido de A es 1/6 y la de un pedido
de B es de 1/4, qué pedido se debe elegir en caso de ser simultáneos?.
s imultáneos?.
Considérese que un pedido de la A arroja una utilidad de $50.000, mientras la
utilidad para un pedido de B es de $30.000.
42. Mediante el calculo de encuentre el vector de probabilidades limites en la
cadena definida por la matriz:

43. Dada la cadena definida por la matriz:

Diga cuál es el número esperado de pasos para que la cadena entre en el

estado 1, sabiendo que se encuentra ahora en el estado 3.
44. En una oficina de representaciones hay tres agentes viajeros para visitar a
los clientes. Las correrías empiezan los lunes pero antes deben sostener una
reunión conjunta. Solo pueden salir de viaje dos de los agentes, pues siempre
debe permanecer uno en la oficina. Cuando un agente sale de correría,
co rrería, puede
demorarse en ella exactamente una o máximo dos semanas con probabilidad
2/3 y 1/3 respectivamente. Al iniciar una correría siempre salen los dos agentes
disponibles. Formule esta situación como una cadena de Markov, encontrando
la matriz de probabilidades de transición en una etapa.
45. La tierra Oz de es en muchos aspectos una tierra bendita, pero no en lo
que respecta al tiempo. Sus habitantes nunca gozan de dos días buenos
seguidos. Si tienen un buen día, es tan probable que caiga nieve como que
llueva al día siguiente. Si nieva (o llueve) hay igual probabilidad de que se
mantenga el tiempo así al día siguiente. Si se produce algún cambio en días de
nieve o lluvia, solo la mitad de las veces el cambio da origen a un tiempo
bueno. Hoy es un buen día en la tierra Oz . Formular la presenta situación como
una cadena de Markov.

46. En una investigación de mercados se realizó una encuesta sobre cuatro

marcas de detergentes:
consumidores, los cualesAxión, Ajax,
cambian de Inextra, Fab. Se
marca según han encuestado
la publicidad, 1000
promoción,
precios o siguen fieles a la misma.
Los resultados obtenidos se observan en la siguiente tabla:

• Los ceros de la diagonal principal indican la capacidad que tiene cada

marca para retener sus propios clientes.
• Las filas de la matriz nos representan las pérdidas.
• Las columnas representan las ganancias.
a) Hallar la matriz de transición, teniendo en cuenta que la probabilidad de que
una marca retenga clientes es igual a número de clientes retenidos al fin del
periodo dividido por el número de clientes al iniciar el período y la probabilidad
de que una marca pierda clientes es igual al número de clientes cedidos al
finalizar el período dividido por el número de clientes al iniciar el período.
b) Hallar la participación de las marcas en el mercado cuando n = 0, n = 1, n =
2.
c) Hallar la participación de las marcas en le estado estacionario, es decir en el
mercado de futuros.
47. El 2 de Febrero de 1983 la Empresa Pepa, controlaba
co ntrolaba el 30% del mercado
total, Fabri el 40% y Teji el 30%; de un estudio sobre mercadeo se obtuvieron
los siguientes datos:
Pepa retiene el 90% de sus clientes y gana el 5% de los clientes de Fabri y el
10% de los de Teji; Fabri retiene el 85% de sus clientes y gana el 5% de los de
Pepa y el 7% de los de Teji; Teji retiene el 83% de sus clientes y gana el 5%
de los de Pepa y el 10% de los de Fabri. Cuál es la participación de cada
Empresa en el mercado al 2 de Febrero de 1986 ( n = 2); y la participación de
cada Empresa en el estado de equilibrio.
48. Una máquina incorporada al proceso productivo del articulo X, se
descompone muy periódicamente debido a lo delicado y excesivo del trabajo
que le toca realizar. Al clasificar el estado en el que queda la máquina al
finalizar la semana en cuatro posibilidades a saber:
Estado 1: En perfectas condiciones de funcionamiento.
Estado 2: Operable, pero produce artículos con ligeras fallas que se s e pueden
enmendar a un costo relativamente bajo.
Estado 3: Operable, pero produce muchos artículos desechables.
Estado 4: Definitivamente mala, es decir, ya no se puede poner a operar.
De datos históricos se ha obtenido la siguiente información:
Si la máquina comienza la semana en el estado 1 existe una probabilidad de
14/16 de que termine en el estado 2; 1/16 de que termine la semana en el
estado 3 y 1/16 de que termine en el estado 4.
Si la máquina comienza la semana en el estado 2 existe una probabilidad de
6/8 de que termine la semana en ese mismo estado es tado 2; 1/8 de que termine en
el estado 3 y 1/8 de que termine en el estado 4.
Por ultimo, si la máquina comienza la semana en el estado 3 existe igual
probabilidad de que termine en ese mismo estado o en el estado 4.
La empresa incurre en los siguientes costos de operación de la máquina:
Costos de
Estado
operación
0 $0
1 $1000/semana
2 $3000/semana
Además la empresa incurre en unos costos adicionales de $2000 por la
producción que se deja de obtener y de $4000 en gastos de instalación cada
vez que se decida cambiar la máquina actual por una nueva.
Bajo las anteriores consideraciones, y entre las siguientes alternativas: Cuál es
la mejor política de reemplazo para la empresa?
a) Remplazarla cada que la máquina entre al estado 2.
b) Remplazarla cuando entre al estado 3.
c) Remplazarla únicamente cuando entre al estado 4.
Solución: La b); $1.727/semana
49. Una aerolínea, con vuelo diario a las 7 a.m. entre las ciudades A y B, no
desea que éste salga retrasado dos días consecutivos; de modo que si el vuelo
sale retrasado un día cualquiera la aerolínea realiza esfuerzos especiales para
que el vuelo salga a tiempo al día siguiente y logra este
es te objetivo el 90% de las
veces. Si el vuelo no sale
s ale con retraso, la aerolínea no hace ningún arreglo
especial y al día siguiente el vuelo sale cumpliendo itinerario, de acuerdo con lo
programado, el 60% de las veces. Qué porcentaje de vuelos salen con retraso?
(Solución: 30.77%)
50. El programa de entretenimiento para supervisor de producción de cierta
compañía tiene dos fases:
La fase 1 consta de 3 semanas de estudio
es tudio teórico en el aula y la fase 2 consta
también de 3 semanas de práctica bajo la dirección de supervisores veteranos.
De experiencias anteriores se espera que el 60% de los que inician el estudio
teórico pasen a la fase de práctica y el 40% restante abandona el programa. De
los que ya se encuentran en la fase de práctica el 70% logra graduarse, 10%
debe repetir esta fase y el 20% restante
res tante abandona el programa. Cuántos
nuevos supervisores graduados espera tener la compañía del actual programa
de entrenamiento si hay 45 aspirantes en la fase teórica y 21 ya se encuentran
en la fase práctica? (Solución: aproximadamente 37 nuevos supervisores).

51. Una costurera trabaja exclusivamente en una fase del proceso de

producción de una prenda de vestir. Demora exactamente ½ hora para ejecutar
su labor en una prenda. Cada ½ hora pasa un mensajero para recoger las
prendas que ya están listas y dejarle, de paso, nuevas prendas para que la
costurera les haga su labor. Las nuevas prendas por coser que el mensajero
lleva en cada visita es aleatorio así: el 30% no lleva ninguna; el 50% de las
veces lleva 1 y el 20% de las veces lleva 2 prendas. El mensajero tiene
instrucciones de nunca dejar mas de tres prendas por coser a la costurera.
Calcular el porcentaje de tiempo que esta costurera permanece ociosa
(Solución: 14.21%)

52. Una empresa dedicada a la administración de “Unidades Residenciales”

cuenta con el siguiente historial: Al clasificar las urbanizaciones administradas
por esta compañía en solo tres estados “Buena Condición”, “Condición
Promedia” y “Mala Condición”. Se dispone de las siguientes estadísticas: el 50%
de las “Unidades Residenciales” que empiezan al año en “Buena Condición”
terminan el año también en “Buena Condición”; el otro 50% se deteriora a una
“Condición Promedio”; de todas las “urbanizaciones” ó “Unidades Residenciales”
que empiezan el año en “Condición Promedio” el 30% permanecen en este
mismo estado y el otro 70% mejoran a “Buena Condición”; y finalmente, de
todas las Urbanizaciones administradas por esta empresa, y que empiezan el
año en “Mala Condición” el 90% permanecen en este estado y el 10% mejoran
a “Buena Condición”. Si estas tendencias y circunstancias se
s e mantuvieran hacia
el futuro,
a) determine la condición esperada, a largo plazo de la “Unidades
Residenciales” administradas por esta empresa. (Solución: El 58.33% terminan
en Buena Condición, el 41.67% terminan en Condición Promedio, ninguna
terminan en Mala Condición,
b) Entonces es recomendable contratar los servicios de esta empresa?
53. Una empresa especializada en la producción de jabones de tocador clasifica
sus ventas en dos niveles: “alto” y “bajo”. Las ventas dependen de varios
factores, entre los principales están:
?? Si
Si se
los hace o no publicidad
competidores desarrollan y comercializan un nuevo producto.
Este segundo factor está, obviamente, fuera de control de la compañía,
c ompañía, pero,
de todas maneras, la empresa está interesada en estableces la mejor política
publicitaria.
Se tienen los siguientes datos estadísticos y contables: La campaña publicitaria
cuesta US $1.000.000; las utilidades, en promedio, han sido de US $4 millones
si las ventas durante el trimestre han sido “altas” y de US $2 millones si son
“bajas”, estas utilidades no incluyen los costos de la campaña publicitaria; los
datos históricos indican que si se hace publicidad y las ventas durante un
trimestre han sido “altas” al semestre siguiente también son “altas” con
¾ .y si fueron “bajas” al trimestre siguiente serán “altas” con
probabilidad ½
Estas probabilidades se han disminuido a ½ y a ¼ si no se hace publicidad.
El gerente de Mercadeo ha recomendado que se haga publicidad si las ventas
durante el presente trimestre son “bajas” y que no se haga publicidad si las
ventas durante el presente trimestre, han sido “altas”.
Cuál es la mejor estrategia publicitaria si estos datos se conservaran en el
futuro? (Solución: No hacer publicidad ($ 2.333; 2.667.2) US millones. Seria
interesante analizar la respuesta).

54. En la oficina de Admisiones y Registro de cierta

c ierta universidad se ha obtenido
la información necesaria para las siguientes estadísticas sobre un programa de
Magíster que dura tres niveles: el 70% de los estudiantes que ingresan al
primer nivel pasan con éxito al segundo nivel, el 10% lo tiene que repetir y el
20% restante se retira por diferentes motivos; de todos los estudiantes que
pasan al segundo nivel, el 80% accede al tercer nivel, el 8% repite y el 12%
restante sale del programa por bajo nivel académico o por otras razones; de
todos los estudiantes que ingresan al tercer nivel el 90% se ha graduado, el 6%
lo tiene que repetir, y el 4% restante no puede optar al titulo y los retiran por
no cumplir las normas estipuladas.
es tipuladas.
a) Cuántos alumnos lograran el titulo de Magíster de un grupo de 100
aspirantes que se matricularon en el primer nivel?
b) Si cada nivel dura un semestre, durante cuando años se deberá ofrecer este
“Magíster” si la región y el país necesitan, aproximadamente 500 especialistas
en esta área, sabiendo que esta universidad sólo está en capacidad de recibir,
como máximo,
máximo, 50 alumnos nuevos
nuevos cada semestre? (Solución: 65 alumnos,
alumnos,
aproximadamente 8 años).

Es conveniente analizar los resultados, desde el punto de vista académico-

administrativo.
55. Un almacén de artículos electrodomésticos puede colocar pedidos de
refrigeradores al inicio de cada mes y de entrega inmediata. Se tienen los
siguientes datos contables: El hacer un pedido le cuesta al almacén US $100; el
costo de almacenamiento mensual es de US $5 y se incurre, además, en unos
costos de penalización por agotamiento de existencias de US $150 por
refrigerador y por mes si se presenta la demanda y no hay existencias para
satisfacerla.
De datos históricos se ha podido concluir
co ncluir que la demanda mensual de este
producto es aleatoria y se comporta de acuerdo con la siguiente distribución de
probabilidades:

La política del almacén ha sido la de no mantener más de dos refrigeradores en

existencia durante cualquier mes.
Establecer la mejor política de pedidos. (Soluciones: , si el inventario final
del mes es de 0 unidades, [US $207.80; US $ 150.90])
56. Considere un sistema de comunicaciones que transmite los dígitos 0 y 1.
Cada dígito transmitido debe pasar a través de varias etapas en cada una de
las cuales hay una probabilidad p de que el dígito que entra no sea cambiado
c ambiado
cuando sale.
Sea Xn el dígito que
que entra a la primera
primera etapa del sistema,
sistema, y para n 1 sea Xn el
dígito que sale en la n-ésima etapa del sistema de comunicación. Se pide:
a) Calcular la matriz de transición
b) Calcular la matriz de transición en n etapas.
c) Demostrar que la probabilidad de que un dígito transmitido como 1
efectivamente haya entrado como un 1 al sistema está dada por:

donde = Pr(X0
Pr(X0 = 1) y = Pr(X0= 1) = 1 -
57. Una recepcionista puede encontrarse en uno de dos estados : Ociosa,
limpiándose las uñas, o trabajando. Se supone que sus hábitos de trabajo
pueden modelarse mediante una cadena de Markov de dos estados, y se han
hecho observaciones cada cinco minutos para estimar las probabilidades de
transición. A continuación se dan los datos de las primeras observaciones.

a) Encuentre los estimativos máximo verosímiles para los elementos de la

matriz de transición.
b) Puede
de Markovsuponerse que el proceso
con la siguiente o bservado
observado
matriz de transiciónes? una realización de una cadena