Distribuciones

SEMANA 4   TRANSITORIAS  
 
 

 
 
 
 

 
 
 

 
 
 
 

 
 
 

 
 
 
 

 
 
 
   

[ PROGRAMACIÓN ESTOCÁSTICA ]
  

LECTURA  UNO:  DISTRIBUCIONES  TRANSITORIAS  

 
Recordemos   que   en   la   sección   anterior   se   explicó   cómo   definir   una   Cadena   de   Markov   en  
Tiempo  Discreto  (CMTD):  debíamos  definir  una  variable  de  estados,  un  espacio  de  estados  con  
los  valores  que  podía  tomar  dicha  variable,  un  grafo  de  probabilidades  de  estado  y  una  matriz  
de   probabilidades   de   transición   de   un   paso.   A   partir   de   esta   información,   podíamos   predecir  
probabilísticamente   el   estado   de   la   variable   en   el   siguiente   paso.   La   cuestión   sería   entonces:  
¿Cómo  predecir  el  estado  de  la  variable  para  pasos  posteriores  al  ! + 1?  
Para  responder  a  esta  pregunta,  en  esta  sección  del  módulo  nos  enfocaremos  en  la  Distribución  
Transitoria,  es  decir,  la  distribución  de  !!  para  cualquier  ! ≥ 0.  
Ahora,   siendo   !! , ! ≥ 0  una   CMTD   homogénea   con   espacio   de   estados   ! = {1,2, … , !}  y  
matriz   de   probabilidades   de   estado     ℙ ,   entonces   esta   matriz   podrá   tener   un   vector   de  
distribución  inicial  ! = [!! , !! , … , !! ],  donde:  
!! = ! !! = ! ,          ! ≤ ! ≤ !  
Con  esta  distribución  transitoria  buscamos  encontrar  !(!! = !)  para  todo  ! ∈ !,  y  ! ≥ 0.  Para  
ello  tenemos  que:  
!

! !! = ! = ! !! = ! !! = ! ! !! = !  
!!!
!

= !! ! !! = ! !! = !  
!!!
Dado   que   contamos   con   la   distribución   inicial,   nos   basta   con   estudiar   la   probabilidad  
condicional  ! !! = ! !! = ! .  A  este  valor  se  le  conoce  como  la  probabilidad  de  transición  de  n  
pasos  de  la  CMTD.  Al  igual  que  en  la  sección  anterior,  utilizaremos  una  notación  resumida:  
!! (!) = ! !! = !  
!!" (!) = ! !! = ! !! = !  
De   forma   análoga   a   la   sección   anterior,   construiremos   una   matriz   de   probabilidades   de  
transición  de  n  pasos:  
!!,! (!) !!,! (!) … !!,! (!)
(!)
ℙ(!) = !!,! !!,! (!) … !!,! (!)  
⋮ ⋮ ⋱ ⋮
(!) (!)
!!,! !!,! … !!,! (!)
Observemos  los  dos  primeros  casos  (ℙ(!)  y  ℙ(!) ):  
1      !"  ! = !
!!" (!) = ! !! = ! !! = ! =  
0      !"  ! ≠ !
Lo  que  quiere  decir  que  
ℙ(!) = !  
Así  mismo,  
!!" (!) = ! !! = ! !! = ! = !!"  
Y  por  lo  tanto:  
ℙ(!) = ℙ  

 
2   [ POLITÉCNICO GRANCOLOMBIANO ]
  

Ahora   podemos   construir   el   vector   transitorio!(!) = [!! (!) , !! (!) , … , !! (!) ],   tal   que   su   forma  
matricial  sea  
!(!) = !ℙ(!)  
De  esta  manera  sólo  nos  queda  encontrar  una  forma  para  calcular  ℙ(!) ,  para  lo  cual,  el  siguiente  
teorema  nos  da  una  solución  general:  
Teorema  Uno:  (Ecuaciones  de  Chapman-­‐Kolmogorov):  
!
(!!!)
!!" = !!" (!) !!" (!)  
!!!
  Prueba:  
!

! !!!! = !|!! = ! = ! !!!! = ! !! = !, !! = !   ! !! = !|!! = !  

!!!
Por  propiedad  Markoviana  podemos  decir  que:  
!

= ! !!!! = ! !! = ! ! !! = !|!! = !  
!!!
Por  propiedad  de  homogeneidad  decimos  que:  
!

= ! !! = ! !! = ! ! !! = !|!! = !  
!!!
!

= ! !! = ! !! = ! ! !! = !|!! = !  
!!!
!

= !!" (!) !!" (!)  

!!!
Para  ! + ! = !  y  ! = 1,  tenemos:  
!

!!" (!) = !!" (!!!) !!"  

!!!
Por  lo  tanto,  podemos  reorganizar  esta  última  suma  como  una  multiplicación  de  matrices,  de  tal  
manera  que  en  términos  de  matriz:  
ℙ(!) = ℙ(!!!) ∗ ℙ  
Luego,  para  ! = 2  tenemos:  
ℙ(!) = ℙ(!) ∗ ℙ = ℙ ∗ ℙ = ℙ!  
De  forma  general  decimos  que    
ℙ(!) = ℙ!  
 
Ejemplo  Uno:  
Considere  una  CMTD  de  tres  estados  con  matriz  de  probabilidades  de  transición  
0.20 0.30 0.50
ℙ = 0.10 0 0.90  
0.55 0 0.45

 
[ PROGRAMACIÓN ESTOCÁSTICA ] 3
  

y  distribución  inicial  ! = [0.2, 0.3, 0.5].  Calcule  la  distribución  transitoria  para  !! .  
De  acuerdo  a  la  forma  matricial,  podemos  calcular:  
!(!) = !ℙ(!)  
0.20 0.30 0.50 !
= 0.2,      0.3,      0.5 ∗ 0.10 0 0.90  
0.55 0 0.45
= [!. !"#",      !. !"#$,      !. !"#$].  
Ejemplo  Dos:  
En   cierto   almacén   de   electrodomésticos   hay   dos   vendedoras   de   televisores   LCD,   las   cuales  
realizan  sus  ventas  de  manera  independiente.  De  acuerdo  a  un  estudio  de  ventas,  se  sabe  que  
cada  una  de  ellas  realiza  máximo  una  venta  por  día.  
Vendedora  uno,  vende  con  probabilidad  de  1/2  
Vendedora  dos,  vende  con  probabilidad  de  1/3.  
Al   inicio   de   cada   día,   la   bodega   siempre   tiene   dos   televisores.   Modele   el   sistema   como   una  
CMTD.  
!! :  Número  de  televisores  en  la  bodega  al  final  del  día  n.  
! = {0, 1, 2}  
Para   construir   la   matriz  ℙ,   debemos   encontrar   cada   una   de   las   probabilidades   de   transición  
primero:  
!!,! = ! !1  !"#$% ∗ ! !2  !"!"# = 1 2 ∗ 1 3 = ! !  
!!,! = ! !1  !"#$% ∗ ! !2  !"  !"#$% + ! !1  !"  !"#$% ∗ ! !2  !"#$%  
= 1 2 ∗ 2 3 + 1 2 ∗ 1 3 = ! !  
!!,! = ! !1  !"  !"#$% ∗ ! !2  !"  !"#$% = 1 2 ∗ 2 3 = ! !  
!!,! = ! !1  !"#$% ∗ ! !2  !"#$% = 1 2 ∗ 1 3 = ! !  
!!,! = ! !1  !"#$% ∗ ! !2  !"  !"#$% + ! !1  !"  !"#$% ∗ ! !2  !"#$%  
= 1 2 ∗ 2 3 + 1 2 ∗ 1 3 = ! !  
!!,! = ! !1  !"  !"#$% ∗ ! !2  !"  !"#$% = 1 2 ∗ 2 3 = ! !  
!!,! = ! !1  !"#$% ∗ ! !2  !"#$% = 1 2 ∗ 1 3 = ! !  
!!,! = ! !1  !"#$% ∗ ! !2  !"  !"#$% + ! !1  !"  !"#$% ∗ ! !2  !"#$%  
= 1 2 ∗ 2 3 + 1 2 ∗ 1 3 = ! !  
!!,! = ! !1  !"  !"#$% ∗ ! !2  !"  !"#$% = 1 2 ∗ 2 3 = ! !.  
De  tal  manera  que  la  matriz  ℙ  queda  de  la  siguiente  manera:  
! ! !
! ! !
! ! !
ℙ= ! ! !  
! ! !
! ! !
Observe  que  sin  importar  el  día  anterior,  la  probabilidad  de  terminar  con  0,  1  ó  2  televisores  al  
final  del  día  es  la  misma  siempre.  
¿Cuál  es  la  probabilidad  de  que  al  final  del  segundo  día  la  bodega  no  tenga  televisores?  

 
4   [ POLITÉCNICO GRANCOLOMBIANO ]
  

! !! = 0 = !(!) = !ℙ(!) = !ℙ!  

Puesto   que   todas   las   filas   tienen   las   mismas   probabilidades,   no   importa   a   que   potencia   yo   eleve  
esta  matriz,  siempre  tendrá  los  mismos  valores:  
ℙ = ℙ!  
1 1 1
6 2 3
!
!ℙ = 1 1 1 1 1 1 ! , ! , !  
6, 2, 3 ∗ 6 2 3 = ! ! !
1 1 1
6 2 3
Otra  forma  podría  ser,  usando  directamente  las  ecuaciones  de  Chapman-­‐Kolmogorov:  
!

! !! = 0 = !!,! (!!!) !!,!  

!!!
= !!,! ∗ !!,! + !!,! ∗ !!,! + !!,! ∗ !!,!  
= 1 6 ∗ 1 6 + 1 2 ∗ 1 6 + 1 2 ∗ 1 6  
= ! !.  
Lo  que  quiere  decir  que  la  probabilidad  de  que  al  final  del  día  dos  la  bodega  no  tenga  televisores  
es  de  1/6.  
 
Ejemplo  Tres:  
Sea   !! , ! ≥ 0  una  CMTD  caracterizada  por  la  siguiente  matriz  de  probabilidades  de  transición  
y  el  siguiente  vector  de  distribución  inicial:  
0.1 0 0.2 0.3 0.4
0 0.6 0 0.4 0
ℙ = 0.2 0 0 0.4 0.4  
0 0.4 0 0.5 0.1
0.6 0 0.3 0.1 0
! = 0.5, 0, 0, 0.5  
!.    ! !! = ! ∀!!!,!,!,!,! .  
Para  encontrar  la  probabilidad  de  estar  en  cada  estado  !  en  el  segundo  paso  (! = 2),  debemos  
calcular  el  vector  transitorio  correspondiente:  
 
0.29 0.12 0.14 0.3 0.15
0 0.52 0 0.44 0.04
!(!) = !ℙ(!) = 0.5, 0, 0, 0.5 0.26 0.16 0.16 0.3 0.12  
0.06 0.44 0.03 0.42 0.05
0.12 0.04 0.12 0.35 0.37
!. !"#,      !. !",      !. !",      !. !"#,      !. !"
=    
b.! !! = 5, !! = 2 .  
Hallar   la   probabilidad   conjunta   de   que   en   el   paso   cuatro   no   encontremos   en   el   estado   cinco   y  
que   a   su   vez   en   el   paso   dos   hayamos   pasado   por   el   estado   dos,   implica   dos   cosas  
principalmente:   que   primero   debemos   encontrar   la   probabilidad   de   estar   en   el   estado   dos     en   el  
paso   dos,   y   segundo,   calcular   la   probabilidad   de   estar   en   el   estado   cinco   en   el   paso   cuatro   dado  

 
[ PROGRAMACIÓN ESTOCÁSTICA ] 5
  

que  ya  pasamos  por  el  estado  dos  en  el  paso  dos.  De  tal  forma  que  la  probabilidad  conjunta  que  
buscamos  
! !! = 5, !! = 2 = ! !! = 5 !! = 2 ∗ ! !! = 2  
= !!,! (!) ∗  ! !! = 2  
 
De  la  matriz  ℙ(!)  podemos  encontrar  !!,! (!)  en  la  segunda  fila,  quinta  columna.  Y  para  ! !! =
2  utilizamos  el  segundo  valor  del  vector  transitorio  de  un  paso:  
= !. !" ∗ !. !" = !. ! ∗ !"!!  
Note   como   no   se   necesitó   calcular   la   probabilidad   en   el   paso   cuatro.   Esto   debido   a   que   ya  
conocíamos   la   matriz   de   probabilidades   de   dos   pasos.   Del   2º   al   4ª   paso   solo   hay   dos   pasos,  
luego,  esa  misma  matriz  tenía  la  probabilidad  que  buscábamos.  
a.P(!! = 5, !! = 2, !! = 2)  
Al   igual   que   el   punto   anterior,   esta   probabilidad   conjunta   requiere   la   descomposición   de   los  
diferentes  pasos  y  analizar  las  diferentes  probabilidades  condicionales.Luego,  
! !! = 5, !! = 2, !! = 2 = ! !! = 5 !! = 2, !! = 2  
= ! !! = 5 !! = 2 ∗ !(!! = 2, !! = 2)  
= ! !! = 5 !! = 2 ∗ !!,! ∗ !(!! = 2)  
= !!,! ! ∗ !!,! ∗ 0.08  
= !. !" ∗ !. ! ∗ !. !" = !. !" ∗ !"!! .  
 

 
 

 
6   [ POLITÉCNICO GRANCOLOMBIANO ]