Está en la página 1de 18

Procesos Estocsticos

Unidad 2 Evidencia de Aprendizaje

ANLISIS Y PREDICCIN
17 de septiembre de 2015
Autor: Laura Pontn

Procesos Estocsticos
Unidad 2 Evidencia de Aprendizaje
Introduccin
El anlisis de Markov es un procedimiento normalmente utilizado para describir el comportamiento de un sistema
en una situacin dinmica, donde se describen y predicen los movimientos de un sistema entre los diferentes
estados posibles a travs del paso del tiempo.
Dentro del anlisis probabilstico, existen diversos estudios para procesos que pudiesen ser an ms complejos,
debido a su comportamiento y prediccin.
Las cadenas de Markov, como una herramienta especializada que sirve a procesos que cumplen con
requerimientos especficos, facilitan y sintetizan los estudios de los procesos en funcin de los eventos
probabilsticos para el futuro, de cada proceso y por supuesto para la efectiva toma de decisiones en cualquier
mbito empresarial y/o gubernamental
Particularmente las cadenas de Markov ayudan a describir la forma en que un determinado proceso evolucionar
en el futuro dependiendo solamente del estado actual en que se encuentra el proceso y, por lo tanto, son
independientes de los eventos que ocurrieron en el pasado, haciendo sumamente sintetizado, la aplicacin de los
estudios de anlisis y prediccin.
Existen procesos que por su naturaleza y por la necesidad de requerir ciertos resultados, se modelan segn
contextos de estudio probabilstico especializados, donde algunos procesos se ajustan a estas necesidades, como lo
es no depender de los procesos pasados, para sintetizar anlisis, por lo que las cadenas de Markov constituyen una
clase de modelo probabilstico de gran importancia para estas condiciones.

Procesos Estocsticos | 17/09/2015

2.
Un museo consta de seis salas de tamaos iguales dispuestas en forma de una cuadrcula
con tres filas y dos columnas. Cada muro interior tiene una puerta que conecta con las salas
adyacentes. El guardia se desplaza por las salas a travs de las puertas interiores. El guardia
permanece una hora en una sala y tiene la misma probabilidad de ir a una sala con puerta
adyacente para la siguiente hora. La vigilancia inicia en la sala dos.

Sala 1

Sala 2

Sala 3

Sala 4

Sala 5

Sala6

Nota: Este esquema es el que he considerado para resolver el problema, dado que es el que va conforme a la redaccin del
problema
a. Identifique Xn, S y T Sea {Xn} una cadena de Markov con espacio de estados S = {1,2,3,4,5,6} y T =
(0,1,2,3...,n).

b. Graficar el grafo

c. Elaborar la matriz estocstica

0
0
0 1/ 2 1/ 2 0
1/ 2 0
0 1/ 2 0
0

1/ 3 0
0 1/ 3 1/ 3 0
P

0 1 / 3
0 1/ 3 1/ 3 0
0
0 1/ 2 0
0 1/ 2

0
0 1/ 2 1/ 2 0
0

= (0,1,0,0,0,0)
e. Encontrar los valores propios
f. El clculo de valores propios de la matriz estocstica es:

Procesos Estocsticos | 17/09/2015

d. Establecer la distribucin inicial

0
0
0 1/ 2 1/ 2 0
1/ 2 0
0 1/ 2 0
0 0

1/ 3 0
0 1/ 3 1/ 3 0 0
Det ( P I )

0
1
/
3
1
/
3
0
0
1
/
3

0
0
0 1/ 2 0
0 1/ 2 0


0
0 1/ 2 1/ 2 0 0
0

1/ 2 1/ 2
0
0
0
1/ 2
0
1/ 2
0
0
1/ 3
0
1/ 3 1/ 3
0

0
1/ 3 1/ 3
0
1/ 3
0
0
1/ 2
0
1/ 2
0
0
0
1/ 2 1/ 2

0
0
0
0

0
0

0
0
0

0
0
0

0
0

0
0
0
0


0
0
0
0
0

Por Wolfram Alpha obtenemos los valores propios

1 = 11
2 = 1
3 1/2
4 = 1/20.346
5 = 0.166
6 = 0.166

g. Clasificar los estados


La clase nica es {0,1,3,2,4,5}

Procesos Estocsticos | 17/09/2015

Es un estado de tipo recurrente, porque la cadena regresa una infinidad de veces. Adems, una cadena cuyo
espacio de estados est formado por una sola clase de comunicacin, se llama irreducible, es decir, en estas
cadenas todos los estados estn comunicados entre s

h. Cul es la probabilidad que a la tercera hora se encuentre en la torre 1?

i.

1/ 3 3/ 7 0
0 2 / 9
0
1/ 3 0
0 3/ 7 2 / 9
0

2/7
0
0 3/ 7 2 / 7
0
P3

0 2 / 7
0 2 / 7 3/ 7 0
0 2 / 9 3/ 7 0
0
1 / 3

0
0 3/ 7 1/ 3 0
2/9
1/ 3 3/ 7 0
0 2 / 9
0
1/ 3 0
0 3/ 7 2 / 9
0

2/7
0
0 3/ 7 2 / 7
0
P3 0,1,0,0,0,0

0 2 / 7
0 2 / 7 3/ 7 0
0 2 / 9 3/ 7 0
0
1 / 3

0
0 3/ 7 1/ 3 0
2/9
0.347, 0.000, 0.000, 0.431, 0.222, 0.000
Probabilidad de que se encuentre en la torre 1 es del 34.7%

i.

Encontrar la distribucin a largo plazo


Para encontrar la distribucin a largo plazo tenemos que aplicar el Teorema fundamental de
convergencia: =

0
0
0 1/ 2 1/ 2 0
1/ 2 0
0 1/ 2 0
0

1/ 3 0
0 1/ 3 1/ 3 0
P

0 1 / 3
0 1/ 3 1/ 3 0
0
0 1/ 2 0
0 1/ 2

0
0 1/ 2 1/ 2 0
0
1

1 = 2 0 + 3 3
1

3 = + 2 1 + 3 2 + 2 5

2 = 2 0 + 3 3 + 2 4
1

4 = 3 2 + 2 5

5 = + 3 3 + 2 4

0 + 1 + 2 + 3 + 4 + 5 = 1
1

0 = + 2 1 + 3 2

1 = 2 0 + 3 3
1

3 = + 2 1 + 3 2 + 2 5

2 = 2 0 + 3 3 + 2 4
1

4 = 3 2 + 2 5

5 = + 3 3 + 2 4

0 + 1 + 2 + 3 + 4 + 5 = 1

Procesos Estocsticos | 17/09/2015

0 = + 2 1 + 3 2

Resolviendo este sistema de ecuaciones por wlfram tenemos:


, , , )

=( , ,

v vP 0.143

j)

0.143 0.214 0.214 0.143

= (. , . , . , . , . , . ),

0
0
0 1/ 2 1/ 2 0
1/ 2 0
0 1/ 2 0
0

1/ 3 0
0 1/ 3 1/ 3 0
0.143
0.143
0 1 / 3
0 1/ 3 1/ 3 0
0
0 1/ 2 0
0 1/ 2

0
0 1/ 2 1/ 2 0
0

0.143 0.214 0.214 0.143 0.143

Concluir: es buena la estrategia del guardia?

Vemos que de 6 salas solo hay dos de ellas que se comunican con 3 y son precisamente las salas 3 y 4, es
por ello que la probabilidad de estar en estas dos salas es mayor que las restantes (que solo se comunican
con 2 salas) aunque es un 7% aproximado mayor que las otras 4, considero que es buena la estrategia por
la forma en que se encuentran las salas. Estamos hablando de una diferencia de 4 minutos por sala
aproximadamente que es cuasi idntico
Considerando eso, qu pasara si se queda un poco menos de tiempo cuando se encuentre en ambas salas
(alrededor de 55.8 minutos)?

Procesos Estocsticos | 17/09/2015

3.
Sea {Xn} una cadena de Markov con espacio de estados S = {0,1,2,3,4,5} y matriz
de transicin:

1
1/4
0
0
0
0

0
0
1/2
0
0
0

0
1/2
0
0
0
0

0
1/4
0
0
1
0

0
0
1/2
1
0
0

0
0
0
0
0
1

a)

Elabora el grafo

b. Establece las clases de comunicacin


{0}

{5}

{1,2}

{3,4}

c. Determina si son estados recurrentes o transitorios


El {1,2} son transitorios, si 1 llega al estado 3 no regresa y si el 2 llega al estado 4 tampoco regresa
El estado 5 no influye en los dems es un estado absorbente igual que el 0
La clase {3,4} es un estado recurrente

El estado 5 no influye en los dems es un estado absorbente igual que el 0


Por lo tanto son aperidicos
e. Encuentra los valores propios
El nmero puede ser real o complejo, y el vector x puede tener componentes reales o complejos. El teorema
que se aplicar es:
| | = 0

Procesos Estocsticos | 17/09/2015

d. Determina el periodo
{1,2}
{3,4} Ambos son de perodo 2 (3-4-3 , 1-2-1)

Donde es la matriz identidad.


Ahora para la matriz:

1
0.25
0
=
0
0
( 0

0
0
0.5
0
0
0

0 0 0 0
0.5 0.25 0 0
0 0 0.5 0
0 0 1 0
0 1 0 0
0 0 0 1)

El clculo de valores propios de la matriz estocstica es:


1
0.25
0
=
0
0
( 0
1
0.25
0
=
0
0
( 0

0
0
0.5
0
0
0

0
0
0.5
0
0
0

0 0 0 0
1
0.5 0.25 0 0
0
0 0 0.5 0
0

0 0 1 0
0
0 1 0 0
0
(0
0 0 0 1)

0 0 0 0

0.5 0.25 0 0
0
0 0 0.5 0
0

0 0 1 0
0
0 1 0 0
0
0 0 0 1) ( 0

0
0
0
0

0
0

0
0
0

| | = ( ) = 0

Por wlfram tenemos:

Procesos Estocsticos | 17/09/2015

=
=
=
=
= .
= .

f)

Encuentra la distribucin a largo plazo

1
0.25
0
0

0
0

0
0
0
0 0
0 0.50 0.25 0 0
0.50 0
0 0.50 0
0
0
0
1 0
0
0
1
0 0
0
0
0
0 1

0
1
0
0
0
0

0
0
1
0
0
0

0
0
0
1
0
0

0
0
0
0
1
0

0
0
0
=
0
0
1)

0
0
0

0
0

0
0
0
0

0
0
0
=
0
0
)

0 = 0 + 0.251
1 = 0.52
2 = 0.52
3 = 0.251 + 4
5 = 5
1 + 2 + 3 + + 5 = 1

No es consistente el sistema por lo que estamos viendo


Ya que por ejemplo : 1 = 2 = 0; 3 = 4 y no podemos encontrar el valor de los dos estados absorbentes 0
y 5 por ejemplo.

El sistema no tiene solucin, al menos no puede ser analizada por el teorema de la convergencia y su distribucin a
largo plazo no se puede encontrar
No llega a una estabilidad

P6

1/3
1/6

0
0

0
0
0
0
0
0

0
0
0
0
0
0

0
0
5/6
1
0
0

0
2/3
0
0
1
0

0
0
0
0
0
1

P7

1/3
1/6

0
0

0
0
0
0
0
0

0
0
0
0
0
0

0
2/3
0
0
1
0

0
0
5/6
1
0
0

0
0
0
0
0
1

g)

Concluir

El sistema no tiene solucin, al menos no puede ser analizada por el teorema de la convergencia y su distribucin a
largo plazo no se puede encontrar
No llega a una estabilidad.

Procesos Estocsticos | 17/09/2015

Esto se repite en las potencias subsecuentes pares y nones

4.

Demuestra o da un contraejemplo:

a)

Si j es accesible desde i, pero i no es accesible desde j, entonces i es transitorio.

b)

Si i es transitorio, entonces para todo estado j accesible desde i, i no es accesible desde j.

c)

Si i es transitorio e i es accesible desde j, entonces j es transitorio.

a)
Falso: El estado i, puede ser parte de otra clase de comunicacin, entonces no es necesariamente que i
sea transitorio, pues el ciclo de la cadena puede pasar por i las veces que sean.

b) Cierto:
Los estados que le sigan en la cadena a j, al ser transitorio para i, estos que le siguen, son transitorios para i
tambin:

Procesos Estocsticos | 17/09/2015

En este ejemplo, k,y l, no se comunican con i, entonces estos estados son transitorios.

c) Cierto:
El estado i es transitorio, entonces, solo se llega a i desde j, si y solo si j no es parte de otra clase de
comunicacin:

5.

Suponga la siguiente cadena de Markov:

1/ 2 0 1/ 2 0
1/ 2 0 1/ 2 0
0 2 / 3 0 1/ 3
0 2 / 3 0 1/ 3

P
P
1/ 3 0 2 / 3 0
1/ 3 0 2 / 3 0

0 1/ 2 0 1/ 2
0 1/ 2 0 1/ 2
a)

Elabora el grafo correspondiente

b)
Demuestra que la siguiente cadena de Markov tiene una infinidad de distribuciones
invariantes e identifica la hiptesis del Teorema fundamental de convergencia que no satisface.
c)

Encuentra los valores propios.

d)

Obtener tambin el vector estacionario, suponiendo que el vector inicial es

a. (0,0,1, 0)
b. (0,1,0,0)
c. ( , , , )
Concluir utilizando los incisos anteriores.

a)

Elabora el grafo correspondiente.

Procesos Estocsticos | 17/09/2015

e)

10

b) Demuestre que la siguiente cadena de Markov, tiene una infinidad de distribuciones


invariantes e identifica la hiptesis del Teorema fundamental de Convergencia que no se
satisface.
El TFC, establece condiciones para determinar la probabilidad de que el sistema tienda a ocupar, a la
larga, un estado determinado o estable propiamente dicho.
Una cadena cuyo espacio de estados est formado por una sola clase de comunicacin, se llama
irreducible, es decir, en estas cadenas los 2 estados estn comunicados entre s pero no con ambos.
La cadena propuesta, es una cadena que tiene dos clases de comunicacin:
{0,2}
{1,3}
Por lo que antes expuesto podemos comentar que esta cadena no es irreducible, de tal manera que no
cumple con los criterios para poder aplicar el Teorema fundamental de Convergencia.
c) Encuentra los valores propios.
=
Sabemos que puede ser real o complejo, y el vector x puede tener componentes reales o complejos. El
teorema que se aplicar es:
| | = 0
Donde I es la matriz identidad.
Ahora para la matriz:
12
=( 0
13
0

0
23
0
12

12
0
23
0

0
13
)
0
12

El clculo de valores propios de la matriz estocstica es:

Procesos Estocsticos | 17/09/2015

12
= ( 0
13
0

11

12
0
=(
13
0

0
23
0
12
0
23
0
12

12
0
23
0
12
0
23
0

0
1
13
0
) (
0
0
12
0
0

13
0
)(
0
0
12
0

0
0

Aplicamos el determinante:
| | = ( ) = 0

Calculando y comprobando con Wolfram:


Las soluciones son:
1 = 2 = 1

3 = 4 =

1
6

0
0

0
1
0
0

0
0
1
0

0
0
)=
0
1

0
0
)=
0

d) Obtener tambin el vector estacionario, suponiendo que el vector inicial es:


Primero, determinamos:
=

Entonces:
0
23
0
12

12

=( 0
13
0

12
0
23
0

0
13
) =
0
12

Calculado con Excel


12
6
=( 0
13
0

0
23
0
12

0.4 0.0 0.6 0.0

0 6
0.0 0.6 0.0 0.4
13
) =
0
0.4 0.0 0.6 0.0
12

12
0
23
0

0.0 0.6 0.0 0.4

A partir de n = 6 la matriz se estabiliza. Es decir, converge a esos valores constantes.


Ahora calculando para las siguientes distribuciones:

(0

1 0)

(0

1
4

1
4

1
4

0)
1
)
4

Clculos con Excel de


=

Con (0

1
1 0) el vector estacionario es: (
3

Para (0

2
3

0) el vector estacionario es: (0

2
3

0)

1
)
3

y por ltimo
con (

1
4

1
4

1
4

1
5
) el vector estacionario es: (
4
24

7
24

7
24

5
)
24

Procesos Estocsticos | 17/09/2015

Tenemos

12

e)

Concluir utilizando los incisos anteriores.


Los estados que estn conectado son 0 2 1 3, la distribucin en los incisos 1 2 , no afecta a la
clase que no est conectada.
En : (0 0 1 0) (0 1 0 0) las distribuciones tienen el mismo efecto en los estados
conectados entre s.
Para ( 0 0 1 0 ) el estado que inicia es el 2, y en el resultado solo se ve efecto en el estado conectado a 2,
que es 0-2.
Para ( 0 1 0 0 ) el estado que inicia es el 1, y en el resultado solo se ve efecto en el estado conectado a 1,
que es 1-3.
Podemos concluir que en las cadenas de Markov con estados independientes, ellos solo sern afectados por
las condiciones iniciales que le correspondan a sus estados conectados entre s.
Para el vector inicial (1/4
1/4
1/4 1/4), se distribuye equitativamente con los conectados
entre s, por lo que se reparten con cada uno de ellos
Estados conectados :
02
1 3 que son las dos clases de comunicacin
El espacio de estados sabemos que es: { 0 1 2 3 }
El resultado del vector estacionario es:
(5/24
7/24
7/24 5/24)
Donde podemos ver que para los estados 0 2: 5/24 + 7/24 = 1/2
Y para los estados 1 3: 7/24 + 5/24 = 1/2
6. Una librera repone las existencias de un libro popular a nivel de 100 ejemplares al inicio
de cada da. Los datos de los ltimos 30 das proporcionan las siguientes posiciones de
inventario al final del da:
1,2,0,3,1,0,0,3,0,1,1,3,2,3,3,2,1,0,2,0,1,3,0,0,3,2,1,2,2.
a) Define Xn, S y T
S = {0,1,2,3) con T = 0,1,2,n

Procesos Estocsticos | 17/09/2015

b) Elabora la matriz estocstica

13

0
1
2
3

3
2
0
1

0
0
1
0

3
1
3
2

1
3
1
3

2
0
0
3

1
3
1
0

0
2
2
2

----->
----->
----->
----->

0
1
2
3

2
2
2
2

2
1
3
0

1
2
1
4

3
2
1
1

2/8
2 / 7
P
2 / 7

2 / 7

2 / 8 1/ 8 3 / 8 1 / 4 1 / 4 1 / 8 3 / 8 0.250 0.250 0.125 0.375


1/ 7 2 / 7 2 / 7 2 / 7 1 / 7 2 / 7 2 / 7 0.286 0.143 0.286 0.286

3 / 7 1/ 7 1/ 7 2 / 7 3 / 7 1 / 7 1 / 7 0.286 0.429 0.143 0.143



0 / 7 4 / 1/ 7 2 / 7 0 4 / 7 1 / 7 0.286
0 0.571 0.143

c) Plantear el grafo correspondiente

d) Encuentra el vector a largo plazo

1 / 4 1 / 4 1 / 8 3 / 8
2 / 7 1/ 7 2 / 7 2 / 7

2 / 7 3 / 7 1/ 7 1/ 7

2 / 7 0 4 / 7 1/ 7

1 =

1
1
3
0 + 1 + 2 + 03
4
7
7

1
2
1
4
2 = 0 + 1 + 2 + 3
8
7
7
7
3 =

3
2
1
1
0 + 1 + 2 + 3
8
7
7
7

0 + 1 + 2 + 3 = 1
Resolviendo el sistema de 4 ecuaciones:

3
2
2
2
0 + 1 + 2 + 3 = 0
4
7
7
7

Procesos Estocsticos | 17/09/2015

Sustituyendo:
1
2
2
2
0 = 0 + 1 + 2 + 3
4
7
7
7

14

1
6
3
0 1 + 2 + 03 = 0
4
7
7
1
8

0 + 7 1 7 2 + 7 3 = 0

3
2
1
6
0 + 1 + 2 3 = 0
8
7
7
7
0 + 1 + 2 + 3 = 1
Entonces resolviendo esta ecuacin tenemos los valores:

0 = 0.2759

1 = 0.2158

2 = 0.2706

3 = 0.2377

= (. , . , . , . )

e) Cul es la probabilidad a largo plazo de quedarse sin libros? Si cada libro lo venden a
$100, a la editora deben darle el 40%, Cul ser la ganancia esperada para la librera?

= .

El 27.59%

Procesos Estocsticos | 17/09/2015

Si cada libro lo venden a $100, a la editora deben darle el 40%, Cul ser la ganancia esperada para la
librera?

15

0
1
2
3

Vector de
distribucin

Tiempo
esperado del
primer retorno
( 1/ )

0.2759
0.2158
0.2706
0.2377

3.625
4.634
3.695
4.207

(. ) + (. ) + (. ) = . ()
= (. )(, . ) = ,

g) Encuentra los valores propios y elabora una conclusin del ejercicio.


Sea A una matriz cuadrada, o sea de n n, entonces el nmero real es un valor propio (tambin conocidos
como, valores caractersticos, autovalores o incluso eigenvalores) de A si existe un vector distinto de cero en
tal que:
=
El nmero puede ser real o complejo, y el vector puede tener componentes reales o complejos.
Entonces | | = 0
Donde es la matriz identidad.
Ahora para la matriz:

1 / 4 1 / 4 1 / 8 3 / 8
2 / 7 1/ 7 2 / 7 2 / 7

=
2 / 7 3 / 7 1/ 7 1/ 7

2 / 7 0 4 / 7 1/ 7
El clculo de valores propios de la matriz estocstica es:

1 / 4 1 / 4 1 / 8 3 / 8
0
2 / 7 1/ 7 2 / 7 2 / 7
0
(
=
0 0
2 / 7 3 / 7 1/ 7 1/ 7
0 0

2 / 7 0 4 / 7 1/ 7

0
0

3
1
1
1

8
8
4
4
2
2
0
2 1
0
7
7
)=
7 7
1
1
0
2
3

7
7
7
7
4 1
2/7
0
)
(
7 7

Sabemos que (Ejemplos de estacionalidad.- Gpe. Rodrguez 2014)

Procesos Estocsticos | 17/09/2015

Aplicamos el determinante y resolvemos (por Wolfram):

16

Un solo valor caracterstico = 1 significa que solo hay una clase final de orden 2 (perodo 2)
El nmero de valores caractersticos iguales a uno es igual alnmero de clases finales de la cadena.

Conclusin:
Los problemas que hemos realizado en esta unidad y en esta actividad, nos brindan una idea de los alcances de este
anlisis a travs de las teoras de Markov. El anlisis y la prediccin de ciertos procesos que pueden ser
prospectos para el anlisis en teoras de Markov, por lo que son de gran utilidad en el desarrollo de los negocios,
la poltica, las empresas o el desarrollo econmico de pases.

Procesos Estocsticos | 17/09/2015

El simple hecho de conocer el comportamiento de ciertos valores burstiles, as como el comportamiento de las
especies, las necesidades de compra de inventarios, cubre las necesidades de las pretensiones y objetivos
planteados por los ejecutivos, directores, en s de aquellos que necesitan a travs de la informacin efectuar la
toma de decisiones . .

17

La aplicacin para las cadenas de Markov, comprende todos los campos de estudio y del saber humano, siendo su
objetivo principal el clculo de movimientos futuros, predicciones de probabilidades, la probabilidad de los
diferentes estados de una cadena de Markov a la larga, o sea, conocer su equilibrio.
Bibliografa
Hillier, F., & Lieberman, G. (2010). Introduccin a la investigacin de operaciones. Mxico: Mc Graw Hill.