Comportamiento Límite de una

SEMANA 5   CMTD  
 
 

 
 
 
 

 
 
 

 
 
 
 

 
 
 

 
 
 
 

 
 
 
   

[ PROGRAMACIÓN ESTOCÁSTICA ]
  

SEMANA  CINCO  
LECTURA  UNO:  COMPORTAMIENTO  LÍMITE  DE  UNA  CMTD  
 
Para  entender  mejor  el  comportamiento  límite  de  las  Cadenas  de  Markov  en  Tiempo  Discreto,  
primero  veremos  ciertas  definiciones  y  propiedades  importantes:  
Definición   0:   un  estado  !  es  accesible  desde  un  estado  !  si  para  algún  ! ≥ 0,  existe  un  !!" (!) > 0.  
Si  un  estado  !  es  accesible  desde  ! ,  nosotros  lo  representamos  de  siguiente  manera:  ! → !  
!!! (!) = !  
! → !    ∀!  
Note   que   la   definición   de   accesibilidad   no   depende   de   la   magnitud   de  !!" (!) .   La   accesibilidad  
sólo  depende  de  que  !!" (!)  sea  cero,  o  que  sea  diferente  de  cero.  
 
Clasificación  de  estados  de  una  CMTD  
Sea !! , ! ≥ 0  un   proceso   estocástico   con   espacio   de   estados  ! = {1, 2, 3, 4, 5, 6, 7, 8}como   se  
muestra  a  continuación:  
Gráfico  1:  Representación  gráfica  de  una  CMTD  
 
 
1    
7    
 
2   4   5   6    
 
 
3  
8    
 
Fuente:  Elaboración  Propia  
Definición  1:  un  camino  de  !  a  !  es  una  secuencia  de  transiciones,  todas  con  probabilidad  mayor  
que  cero,  que  inician  en  !  y  terminan  en  !.  
 
Definición   Dos:   sean   !  y   !  dos   estados   que   pertenecen   a   !  ( !, ! ∈ ! ),   se   dice   que   !  y   !  se  
comunican  si  existe  un  camino  desde  !  hasta  !  y  existe  un  camino  desde  !  hasta  ! .  
Si  un  estado  i  se  comunica  con  un  estado  j  lo  representamos  de  la  siguiente  manera:  ! ↔ !  
Ejemplo:    
• 2 ↔ 3  
• 1 ↔ 3  
 
Definición  Tres:  un  subconjunto  ! ∈ !  es  una  clase  comunicantes  i  
Que  ningún  estado  por  fuera  de  !  se  pueda  alcanzar  desde  ! .  
Ejemplo:    
• ! = {1, 2, 3}  
• ! = {6, 7, 8}  

 
2   [ POLITÉCNICO GRANCOLOMBIANO ]
  

Definición  Cuatro:  un  estado  ! ∈ !  es  absorbente  si  {!}  es  una  clase  comunicante  cerrada.  
!  Es  absorbente  si  !!! = 1  
 
Definición   Cinco:   un   estado  !  es   transitorio   si   existe   algún   estado  !  (! ≠ !),   tal   que  ! → !,   pero  
que  ! → !.  
“Puedo   estar   dando   vueltas   en   el   estado   transitorio,   pero   en   algún   momento     voy   a   salir   y   no  
regresaré”  
 
Definición  Seis:  un  estado  es  recurrente  si  no  es  transitorio.  
 
Definición  Siete:  sea  ! ∈ !  un  estado  recurrente,  
! ! :  Número  de  pasos  ! ,  tales  que  iniciando  en  ! ,  la  cadena  puede  devolverse  en  !  pasos  a  ! .  
 
Definición  Ocho:  sea  ! ∈ !  recurrente,  el  periodo  de  ! ,  !(!),  se  define:  
! ! = !. !. !. {! ! },    !. !. !: !á!"#$  !"#ú!  !"#$%&#'!$(  
!  Es  aperiódico  si  ! ! = 1  
Ejemplo:    
• ! 1 = 1  
• ! 3 = 2  
• ! 6 = 3.  
 
Definición  Nueve:  una  CMTD  es  irreducible    si  es  una  clase  comunicante  cerrada.  
  Resultados:  sea  ! , ! ∈ !  y  ! → !  entonces,  
1. Si  !  es  recurrente,  entonces  !  es  recurrente.  
2. ! ! = ! !  si  !  es  recurrente  
 
Definición   10:   una   cadena   irreducible   es   aperiódica   si   todos   sus   estados   son   recurrentes   y  
aperiódicos.  
Resultados:   una   cadena   irreducible   es   aperiódica   si   existe   al   menos   un   estado   recurrente   y  
aperiódico.  
 
Definición  Once:  una  cadena  es  ergódica  si  
1. La  cadena  es  irreducible  
2. La  cadena  es  aperiódica.  
Sea   ! , ! ≥ 0  una   CMTD   con   espacio   de   estados  ! = {1, 2, … , !}.   Si   la   cadena   es   ergódica,  
entonces  existe  el  estado  estable.  
 
Nota:  si  la  cadena  no  es  ergódica,  puede  que  se  dé  el  caso  en  que  exista  el  estado  estable.  
 
COMPORTAMIENTO  LÍMITE  
Ya  definidas  las  clases,  estados,  propiedades  y  demás  elementos  de  la  CMTD,  podemos  estudiar  
el  comportamiento  límite  de  esta.  Formalmente  vamos  a  definirlo  de  la  siguiente  manera:  

 
[ PROGRAMACIÓN ESTOCÁSTICA ] 3
  

Sea  ! = [!! , !! , … , !! ]  el   vector   renglón   de   probabilidad   en   estado   estable.   Si   la   cadena   es  

ergódica,   entonces   este   vector   existe,   es   único   y   se   le   conoce   como   la   distribución   límite   o  
distribución  de  estado  estable.  Para  calcularla,  se  resuelve  el    siguiente  sistema:  
! = !ℙ  
Ahora,   como   todas   las   probabilidades   deben   sumar   1,   debemos   agregar   una   ecuación   de  
normalización:  
!! = !  
!∈!
Donde  !!  es  la  probabilidad  de  encontrarse  en  el  estado  !  cuando  se  está  en  estado  estable.  
 
Ejemplo  Uno:  
Calcule  las  probabilidades  de  estado  estable  para  una  CMTD  ergódica  con  la  siguiente  matrizℙ:  
1/4 1/2 1/4
ℙ= 0 3/4 1/4  
3/4 0 1/4
Resolviendo  el  sistema  ! = !ℙ,  nacen  las  siguientes  ecuaciones  de  balance:  
1/4 1/2 1/4
[!! , !! , !! ] = !! , !! , !! 0 3/4 1/4  
3/4 0 1/4
1
1. !! = 4 !! + 0!! + 4 !!   3
2. !! = 1 2 !! + 3 4 !! + 0!!  
3. !! = 1 4 !! + 1 4 !! + 1 4 !!  
4. !! + !! + !! = 1  
Note  que  π = πℙ  es  equivalente  a    
!! = !!" !!  
!∈!
Ahora   podemos   resolver   el   sistema   de   ecuaciones   para   encontrar   la   distribución   límite.   De   la  
ecuación  1  tenemos  que:  
3 ! = 3 !  
4 ! 4 !
!! = !!  
De  la  ecuación  dos  sacamos  
1 ! = 1 !  
2 ! 4 !
!! = 2!!  
Reemplazando  en  la  ecuación  cuatro:  
!! + 2!! + !! = 1  
4!! = 1  
!! = ! !  
Ahora,  con  !! ,  podemos  decir  que:  
!! = 2 1 4  
!! = ! !  

 
4   [ POLITÉCNICO GRANCOLOMBIANO ]
  

Y  finalmente,  
!! = ! !  
Es   decir,   que   para   esta   CMTD,   existe   una   distribución   límite   con   las   siguientes   probabilidades   de  
estado:  
! = ! ! , ! ! , ! !  
 
Ejemplo  Dos:  
Suponga   que   !! , ! ≥ 0  es   una   CMTD   con   espacio   de   estados  ! = {1, 2, 3}  y   con   matriz   de  
probabilidades  de  transición  de  un  paso  dada  por:  
0 2/3 1/3
ℙ = 1/2 0 1/2  
0 3/4 1/4
 
Gráfica  2:  Grafo  de  tasas  de  transición  del  ejemplo  dos  

1/3  

2/3   1/2  

1   2   3   1/4  

1/2 3/4  

 
Fuente:  ElaboraciónPropia  
 
Todos   los   estados   se   comunican   entre   sí.   La   cadena   es   una   clase   comunicante   cerrada,   por   lo  
tanto   decimos   que   la   cadena   es   irreducible.   Además,   el   estado   tres   es   aperiódico,   luego   la  
cadena  es  aperiódica.  
Cumplidas  las  condiciones,  podemos  afirmar  que  esta  CMTD  es  ergódica.  Luego,  su  distribución  
límite  existe.  
a. Halle  la  proporción  de  tiempo,  en  estado  estable,  que  la  cadena  gasta  en  el  estado  Dos.  
Para  hallar  cualquier  proporción  o  probabilidad  del  sistema  en  estado  estable,  debemos  calcular  
las  ecuaciones  de  balance:  
! = !ℙ  
0 2/3 1/3
[!! , !! , !! ] = !! , !! , !! 1/2 0 1/2  
0 3/4 1/4
1
1. !! = 2 !!  
2. !! = 2 3 !! + 3 4 !!  
3. !! = 1 3 !! + 1 2 !! + 1 4 !!  

 
[ PROGRAMACIÓN ESTOCÁSTICA ] 5
  

4. !! + !! + !! = 1  
Reemplazando  la  ecuación  1  en  la  ecuación  2:  
!! = 2 3 1 2 !! + 3 4 !!  
!! = 8 9 !!  
Reemplazando  en  la  ecuación  4,  obtenemos  la  proporción  de  tiempo,  en  estado  estable,  que  la  
cadena  gasta  en  el  estado  2:  
1 ! + ! + 8 ! = 1  
2 ! ! 9 !
!"
!! = !"  
a. Halle  la  probabilidad,  en  estado  estable,  de  que  la  cadena  esté  en  el  estado  tres.  
Con   el   valor   de  !! ,   ya   es   posible  calcular   la   probabilidad,   en   estado   estable,   de   que   la   cadena  
esté  en  el  estado  tres:  
!! = 8 9 !! = !! = 8 9 18 43  
!! = !" !"  
a. Halle  la  probabilidad,  en  estado  estable,  de  que  la  cadena  esté  en  el  estado  tres,  dado  que  
comenzó  en  el  estado  uno.  
Si  la  cadena  es  irreducible  y  aperiódica,  entonces  se  cumple  que:  
!"# !(!! = !|!! = !) = !"# ! !! = ! = !!  
!→! !→!
!"# !(!! = !|!! = !) = !! = !" !"  
!→!
 
Ejemplo  Tres:  
A   Laura   le   encanta   el   café.   Ella   alterna   entre   las   siguientes   3   marcas   de   café.   Nescafé,   Oma   y  
Juan  Valdez,  de  semana  en  semana,  de  acuerdo  con  una  CMTD  como  se  muestra  a  continuación  
en  la  matriz  de  probabilidades  de  transición:  
0.1 0.3 0.6
ℙ = 0.1 0.5 0.4  
0.3 0.2 0.5
a. ¿Qué  fracción  del  tiempo,  en  el  largo  plazo,  Laura  consume  de  la  marca  Nescafé?  
Para  cualquier  cálculo  del  largo  plazo,  calcularemos  la  distribución  límite  de  la  CMTD:  
! = !ℙ  
0.1 0.3 0.6
[!! , !! , !! ] = !! , !! , !! 0.1 0.5 0.4  
0.3 0.2 0.5
1. !! = 0.1!! + 0.1!! + 0.3!!  
2. !! = 0.3!! + 0.5!! + 0.2!!  
3. !! = 0.6!! + 0.4!! + 0.5!!  
4. !! + !! + !! = 1  
Resolviendo  el  sistema  de  ecuaciones  obtenemos  la  siguiente  distribución:  
! = 0.198,      0.314,      0.489  
Luego,  en  el  largo  plazo,  Laura  consumirá,  el  19.8%  del  tiempo,  café  de  la  marca  Nescafé.  

 
6   [ POLITÉCNICO GRANCOLOMBIANO ]
  

a. Suponga   que   el   costo   por   libra   de   café   es   de   $6000,   $8000   y   15000   según   la   marca,  
respectivamente.   Suponga   que   ella   consume   una   libra   de   café   por   semana   en   el   largo   plazo.  
¿Cuál  es  el  valor  esperado  del  costo  por  café  por  semana?  
Como   ya   tenemos   la   distribución   límite,   podemos   decir   que   fracción   del   tiempo,   de   una   semana,  
ella  consumirá  de  cada  marca  de  café.  Por  lo  tanto,  a  partir  de  ese  tiempo  y  los  costos  por  marca,  
podemos  calcular  un  costo  esperado  para  Laura,  en  el  largo  plazo:  
!! ∗ !"#$"! = 0.198 $6000 + 0.314 $8000 + 0.489 $15000  
= $!!"" + $!"#! + $!"#$ = $!!"#".  
 

 
[ PROGRAMACIÓN ESTOCÁSTICA ] 7