UNA APLCACN DE LAS CADENAS DE MARKOV

EN UN PROCESO NDUSTRAL
NG. JORGE HERNN RESTREPO C
Ms. CARLOS ALBERTO OSSA
UNVERSDAD TECNOLGCA DE PERERA
MAESTRA EN NVESTGACN DE OPERACONES Y ESTADSTCA
PERERA 2002
2
CONTENDO
NTRODUCCN.......................................................................................................4
ANTECEDENTES......................................................................................................4
OBJETVOS...............................................................................................................6
MARCO TERCO....................................................................................................7
1.PROCESOS MARKOV...........................................................................................7
1.1.ESTADOS DEL SSTEMA:..................................................................................7
1.2.LA CONDCN DE MARKOV:...........................................................................9
1.3.PROBABLDADES DE TRANSCN:.............................................................10
1.4.CLASFCACN DE LOS ESTADOS...............................................................13
2.COMPORTAMENTO A LARGO PLAZO DE UNA CADENA REGULAR............15
3.CADENAS ERGDCAS......................................................................................16
4.LMTES ERGDCOS EN LAS CADENAS DE MARKOV..................................16
5.CLASFCACN DE LOS ESTADOS:.................................................................19
SOLUCN DEL PROBLEMA.................................................................................20
1.DESCRPCN DE LOS ESTADOS....................................................................20
2.EL PROCESO COMO CADENA DE MARKOV...................................................20
3.Datos para construir la matriz de transicin.........................................................22
4.CNCO DEL PROBLEMA.................................................................................26
5.CALCULO DE PROBABLDADES......................................................................26
6.MATRZ DE TRANSCN...................................................................................27
7.ACCESBLDAD DE LOS ESTADOS.................................................................27
8.COMUNCACN ENTRE ESTADOS..................................................................28
9.CONCURRENCA DE LOS ESTADOS................................................................28
10.Mostrar que los estados son aperidicos...........................................................30
11.Polinomio caracteristico y valores propios.........................................................31
12.Determinar la regularidad de la matriz...............................................................34
13.Lmites ergdicos................................................................................................35
14.Vector propio para el valor propio =1................................................................38
15.Probabilidades de estado estable.......................................................................38
16.Tiempo de recurrencia y primera ocurrencia......................................................39
CONCLUSONES....................................................................................................41
RECOMENDACONES............................................................................................43
BBLOGRAFA........................................................................................................44
ANEXOS..................................................................................................................45
3
NTRODUCCN
El presente trabajo pretende mostrar la aplicacin de las cadenas de Markov en el
proceso industrial de fabricacin de tejas de asbesto cemento en la empresa
Empresa S.A.
ANTECEDENTES
Empresa es una empresa del grupo Eternit Blgica dedicada a generar soluciones
a la industria de la construccin con sus productos de asbesto cemento.
En esta empresa es una prioridad el manejo del Scrap(desperdicio) en el proceso
productivo debido a que su acumulacin s convierte en un problema ambiental y
a su vez una carga en el costo final del producto.
El proceso productivo se puede describir as:
1. Humectacin: lugar donde se combinan las materias primas para generar la
mezcla con la que se elaboraran las tejas de asbesto cemento.
4
2. Fabricacin: lugar donde la mezcla del proceso anterior se le da forma de teja.
3. Desmoldeo: lugar donde la teja es fraguada y separada de los moldes y
apilada en estibas.
4. Almacn de producto terminado: lugar donde las tejas provenientes de
desmoldeo terminan su ciclo de fraguado.
5. Scrap: lugar donde se almacenan los desperdicios o defectuosos generados
por los procesos anteriores.
conico del proceso:
HUMETACN FABRCACN DESMOLDEO APT
SCRAP
5
OBJETVOS
GENERAL:
Aplicar la teora fundamental de cadenas de Markov para determinar el
comportamiento de la materia prima a futuro en cada proceso.
ESPECFCOS:
Mostrar que el proceso es una cadena de Markov.
Construir la matriz de transicin.
Mostrar que los estados son accesibles.
Mostrar que los estados se comunican.
Mostrar que los estados son recurrentes.
Mostrar que los estados son aperidicos.
Determinar el polinomio caracterstico y los valores propios.
Determinar la regularidad de la matriz.
Determinar los limites ergdicos.
Determinar el vector propio para el valor propio = 1.
Presentar las probabilidades de estado estable.
Presentar los tiempos de: recurrencia y primera ocurrencia.
6
MARCO TERCO
1. PROCESOS MARKOV
1.1. ESTADOS DEL SSTEMA:
Un modelo de Markov consiste en un conjunto de estados discretos. Este
conjunto es exhaustivo y describe todos los posibles estados donde el sistema
puede estar. La transicin del estado i a j ocurre con una probabilidad pij
Podemos pensar en un modelo de Markov como una simple lnea de
transferencia.
Se puede pensar en dos mquinas y en un inventario. Cada mquina es
descrita por su tiempo de operacin, su tiempo para la falla y su tiempo para la
reparacin. El tiempo de proceso se refiere a la cantidad de tiempo en que
demora hacer una parte. El tiempo para la falla, es el tiempo que ocurre entre
la ultima reparacin y el siguiente dao. El tiempo para reparacin, es el tiempo
que transcurre entre el ultimo dao y el momento en que la mquina esta
disponible para operar. Estas cantidades pueden ser deterministicas, en estos
casos se obtienen estados discretos y una cadena de Markov con transiciones
discretas(o tiempos discretos en la cadena de Markov). Tambin puede ser
continuo con variables aleatorias.
Se asume que la primera mquina nunca deja de ser alimentada y la ultima
maquina nunca es bloqueada.
7
Se modela para una maquina y as tener una idea bsica de la cadena de
Markov. En este caso el estado de la maquina se describe por su estatus, Wi,
donde:
Wi =
1 mquina disponible
0 mquina en reparacin
M1

nventario M2
La cadena se puede representar as:
Donde de 0 a 1 se da la probabilidad de repararse.
Donde de 1 a 0 se da la probabilidad de falla.
0

1
Estas probabilidades se obtienen al observar las mquinas en operacin por un
largo periodo de tiempo. Estos datos se pueden recopilar para determinar que
porcentaje de tiempo la mquina esta siendo reparada e igual para el
porcentaje de tiempo que la mquina esta disponible para el trabajo.
Ahora los estados de este proceso consisten en el estatus de cada mquina
ms la cantidad de material presente en el sistema. Especficamente, el estado
del sistema es:
S=(n,W1,W2),
8
Donde :
.n= # de piezas en inventario + # piezas en la mquina 2 0<=n<=N
Ya que n, W1 y W2 son enteros, el sistema es descrito por un conjunto de
estados mutuamente excluyentes y colectivamente exhaustivos S1, S2,.......,
Sm. Entonces el sistema puede estar solo en uno de estos estados en algn
instante de tiempo dado.
El sistema puede experimentar un cambio de estado(o una transicin de
estado) en un instante de tiempo discreto de acuerdo a un conjunto de
probabilidades. Permitamos que P[Si(k)]= probabilidad que el sistema este en el
estado Si en el tiempo k.
Ahora se puede decir que un cambio de estado ocurrir con probabilidad,
P[Sj(k)]/Sa(k-1), Sb(k-2), Sc(k-3).......] 1<=j,a,b,c<=m k = 1,2,3....
Lo anteriores denota como la probabilidad de transicin. Note que (j) podr ser
igual a (a), para el caso en que no cambie de estado.
1.2. LA CONDCN DE MARKOV:
Si P[Sj(k) / Sa(k-1), Sb(k-2), Sc(k-3).....] = P[Sj(k) / Sa(k-1)] para todo k, j,a, b,
c,..... entonces el sistema es un estado discreto de discretas transiciones de
procesos de Markov. La implicacin de esta condicin es que la historia
anterior del sistema a su llegada en (a) no tiene efecto en la transicin a (j). En
otras palabras, el sistema no tiene memoria.
9
1.3. PROBABLDADES DE TRANSCN:
Para una cadena de Markov, se definen las probabilidades de transicin como:
pij = P[Sj(k) / Si(k-1)] 1<= i,j <= m
y las pij son independientes de (k). Estas probabilidades pueden ser incluidas
en una matriz de transicin,
P11 P12 ........................ P1m
P21 P22 ........................ P2m
P= . . . .
. . . .
Pm1 Pm2 ........................ Pmm
Tambin note que las transiciones de probabilidad satisfacen
0<=pij<=1
y
m
pij =1, i = 1,2,3...........,m
.j=1
Debido a que los estados son mutuamente excluyentes y colectivamente
exhaustivos.
La matriz P, proporciona una completa descripcin del proceso de Markov el
cual se usara para responder numerosas preguntas sobre el sistema. Por
ejemplo,
Q1. Cul es la probabilidad que el sistema este en Si despus de k transiciones
si el estado en k=0 es conocido?
Se puede responder la pregunta as:
P[Sj(k+1)]=P[S1(k)p1j+P[S2(k)]p2j+......+P[Sm(k)]pmj,
10
Donde P[Sj(k+1)]=probabilidad que el sistema este en el estado Sj en el tiempo
k+1.
En la ecuacin anterior, j=1,2,.....,m.
Si se escriben todos las m, se puede representar en forma matricial y obtener:
(P[S1(k+1)] P[S2(k+1)]....P[Sm(k+1)])

P11 P12 ................. P1m
P21 P22 ................. P2m
=(P[S1(k+1)] P[S2(k+1)]....P[Sm(k+1)]) . . ................. .
. . ................. .
Pm1 Pm2 ................. Pmm
O de la siguiente forma:
P(k+1) = P(k)P , k=0,1,2......
Para responder a la pregunta Q1 por induccin,
P(1) = P(0)P
P(2)= P(1)P= P(0)P
2
. . .
. . .
P(k) = P(0)P
k
k=0,1,2......
Por ejemplo si se tiene la siguiente cadena de Markov de dos estados
11
0.5
0.5 1 2
0.4
0.6
De los estados del diagrama tenemos la siguiente matriz:
0.5 0.5
0.4 0.6
P=
Para encontrar P(k), se necesita P
k
, que puede ser encontrada con una tcnica
como la de Cayley-Hamilton(este modelo es aplicado para una matriz 2x2, no
se sabe cual es el modelo para otro tipo de matriz).
P
k
= ((0.1)
k-1
-1) + (10-(0.1)
k-1
)P
9 9
Donde es la matriz identidad. P
k
puede ser evaluada para un k especifico,
entonces :
P(k) = P(0)P
k
En un caso de inters particular es en el que k tiende al infinito. Para este
ejemplo:

4/9 5/9
4/9 5/9
P
k
=

Con k tendiendo al infinito.
Claramente, P
k
llega a una constante. Esto conlleva a otra propiedad la que
puede ser vista con el rotulo de P(0)=(1 0). Entonces P
k
=[4/9 5/9] con k
tendiendo al infinito. Similarmente, si P(0)=(0 1), entonces P(k) con k tendiendo
al infinito sigue siendo igual. As, los limites de las probabilidades de estado son
12
independientes del estado inicial. Muchos procesos de Markov presentan esta
propiedad y son relacionados como procesos ergdicos.
1.4. CLASFCACN DE LOS ESTADOS
Limite de las probabilidades de estado:
Si k tiende a infinito, P(k) llega a una constante, entonces el limite de las
probabilidades de estado existe y son independientes de la condicin
inicial.
Si es un vector 1 x m definido como,
Limkinfinito P(k)=
Entonces puede satisfacer =P.
Para el ejemplo, esta ecuacin se puede ser resueltacon la restriccin

i
m
i =1 para obtener (1 2)
Estado transitorio
Si es un estado transitorio si se puede dejar el estado pero nunca retornar
a l.
Estado absorbente
Si es un estado absorbente si el sistema entra al estado y permanece ah.
Y el limite de la probabilidad de estado es 1. este estado es conocido
tambin como estado trampa.
13
Cadena recurrente
Una cadena recurrente es un conjunto de estados de los que el sistema
no puede salir. Un estado transitorio conduce al sistema dentro de este
conjunto de estados. El sistema hace saltos dentro de este conjunto
indefinidamente. La cadena recurrente es tambin llamada subcadena de
Markov irreducible o de clases recurrentes.
Finalmente se presentan unos tiles factores de las cadenas de Markov:
Cada cadena de Markov debe tener al menos una cadena recurrente
Una cadena recurrente es un estado absorbente generalizado
Un proceso de Markov que tiene una cadena recurrente ser
completamente ergdica desde dondequiera que el inicie finalizara en
cadena recurrente
Si un proceso tiene dos o ms cadenas recurrentes, entonces la
propiedad ergdica no se mantiene en el tiempo
Un estado transitorio es un estado que ocupa el sistema antes de
convertirse en una cadena recurrente

14
2. COMPORTAMENTO A LARGO PLAZO DE UNA CADENA REGULAR
La notacin X(n)=(x1(n),.....,xk(n))
t
representa la probabilidad de que una cadena se
encuentre en cada uno de los estados en la etapa n.
Xc=Lim ninfinito X(n)=LX(0) donde L=Lim ninfinitoT
n
. El vector Xc caracteriza el
comportamiento a largo plazo de la cadena, ya que nos informa de la probabilidad
de que la cadena se encuentre en cada uno de los estados cuando ha transcurrido
un nmero grande de etapas. Al vector Xc se le llama distribucin estacionaria de
la cadena. El lmite no siempre existe debido a la existencia de periodos. El
siguiente teorema da condiciones que aseguran la existencia de la distribucin
estacionaria y, adems, da un mtodo para calcularla. Antes de dar el resultado
principal necesitamos una definicin previa:
Definicin. Se dice que una cadena de Markov con matriz de probabilidades de
transicin T (esta matriz es la transpuesta de la original)es regular si todos los
elementos de matriz T
n
son estrictamente positivos para algn valor de n.
Es decir, una cadena de Markov es regular si existe un nmero de etapas n tal que
la probabilidad de la transicin en n etapas entre cualquier par de estados es
estrictamente positiva.
Resultado. Si el conjunto de estados de una cadena de Markov, S, es finito,
entonces existe una nica distribucin de probabilidad Xc tal que TXc=Xc. Si,
adems, la cadena es regular, entonces Xc=Lim ninfinito X(n). Es decir Xc es la
distribucin estacionaria de la cadena.
Ntese que TXc = Xc implica =1 es un autovalor de T y que Xc es un autovector
correspondiente a este autovalor, convenientemente normalizado para que sus
15
coordenadas sumen 1. De hecho =1 tiene que ser necesariamente el autovalor
dominante de T ya que, si >1, Lim ninfinito X(n) sera infinito para todas las
coordenadas y si <1, Lim ninfinito X(n) seria cero para todas las coordenadas. En
ninguno de los dos ltimos casos Xc es una distribucin de probabilidad. Por otro
lado, si se cumple la segunda parte del resultado, Xc = Lim ninfinito TX(0)=LX(0); para
cualquier distribucin inicial X(0). Por lo tanto la matriz del estado estacionario L,
debe tener todas las columnas iguales a Xc.
la distribucin estacionaria tambin se puede interpretar como la proporcin de
tiempo a largo plazo que el sistema pasa en cada estado.
3. CADENAS ERGDCAS
Condicin suficiente: si existe un n>0 tal que Pij
n
>0, i, j=0,1,2....m. la cadena de
Markov, con esta propiedad, se llama ergdica. Entonces, Pij
n
=
k=0
(Pik
n
* Pkj),
luego j =
k=0
(k * Pkj) y como
j=0
Pij
n
= 1, entonces
j=0
j =1
Teorema. Para una cadena de Markov ergdica, j =Lim ninfinito Pij
n
existe y j (j
pertenece {0,..,m}) es la nica solucin no negativa de j. Entonces:
j =
k=0
(k * Pkj) y
j=0
j =1.
4. LMTES ERGDCOS EN LAS CADENAS DE MARKOV
La relacin fundamental en una cadena de Markov es: P
n
=M
n
P0. Y si nuestro
inters es el comportamiento asinttico de Pn, es decir Lim ninfinito Pn entonces el
16
problema es encontrar las condiciones para que este lmite exista y en caso de
existir, depender del estado inicial del sistema?
Bajo condiciones de "regularidad la distribucin asinttica existe y bajo estas
condiciones la distribucin en el lmite ser independiente de la distribucin inicial.
TEOREMA BSCO DEL LMTE PARA CADENAS DE MARKOV:
En una cadena de Markov recurrente irreducible y aperidica se tiene que:
Lim ninfinito Pii
n
=
1

inf
n=1
n fii
n

Siendo fii la probabilidad de que el proceso regrese al estado i dado que comienza
en el estado i.
Y adems
Lim ninfinito Pij
n
= Lim ninfinito Pii
n

Del teorema se pueden sacar fuertes conclusiones:
Si M = Pij es la matriz de transicin de una cadena de Markov, y si
suponemos que esta cadena es recurrente, irreducible y aperidica, se nos
garantiza la existencia de la matriz M
(infinita)
donde la entrada j,i es
Pij
(inf)
=Lim ninfinito Pij
n
, pero como Pij
(inf)
= Pii
(inf)
se concluye que la matriz
M
(infinita)
tiene sus columnas iguales, esto es de la forma :
P00
inf
P00
inf
P00
inf
..
P11
inf
P11
inf
P11
inf
.
M
(infinita)
= P22
inf
P22
inf
P22
inf
.
.
. . .
Pii
inf
Pii
inf
Pii
inf
.
17
Sea C una cadena irreducible y recurrente, entonces Pij
n
=0 para i
pertenece a C y j no pertenece a C dado n. Esto es, toda vez que entremos
en C no es posible abandonarlo, luego la matriz Pij con i,j perteneciendo a C
estar asociada a una cadena de Markov irreducible y recurrente luego el
teorema bsico es aplicable si la clase resulta ser aperidica.
Ahora si Lim ninfinito Pii
n
= =0 y la clase es recurrente se dir entonces que
la clase es dbilmente ergdica o nula recurrente.
Supongamos que Lim ninfinito Pii
n
= i >0 para algn i en una clase aperidica
recurrente, entonces j >0 para todo j que est en la clase de i. Si este es el
caso diremos que la clase es positiva recurrente o fuertemente ergdica.
El valor
inf
n=1
n fii
n
= mi. se define como el tiempo medio de recurrencia del
estado i. Ahora se asegura, sin demostracin, que bajo las condiciones de
regularidad del teorema anterior, que Lim ninfinito Pii
n
= 1/mi = i. El calculo de
los i se entrega en el siguiente teorema.
Teorema. En una clase aperidica positiva recurrente con estados
i=0,1,2.... se tiene que
Lim ninfinito Pii
n
= i =
inf
k=0
Pkj k ;
inf
k=0
k =1 (1)
Cualquier conjunto i que satisfaga (1) se llama probabilidad de distribucin
estacionaria de la cadena de Markov.
Observe que si Pij es la matriz de transicin asociada a una clase recurrente
ergdica positiva, entonces la ecuacin i =
inf
k=0
Pkj k llevada a su forma
matricial:
18
P00 P10 P20 . 1 1
P01 P11 P21 . 2 2
P02 P12 P22 . 3 3
. . . . . .
. . . . . . = .
. . . . . .
P0i P1i P2i . i i
. . . . . .
. . . . . .
Establece claramente que (1 2 3.....)
t
es un auto vector (a la derecha) de la
matriz Pij asociado al autovalor 1. Para esto debemos saber que la matriz
de Markov tiene un autovalor igual a 1, ms an, este valor ser el mayor,
en valor absoluto, si la matriz es primitiva, esto es si todas sus entradas son
positivas para alguna potencia de la matriz.
5. CLASFCACN DE LOS ESTADOS:
Recurrentes:
Si i=j y
inf
n=1
fii
n
=1
Absorbentes si pii =1
Recurrentes nulos uii = inf
Recurrentes positivos uii < inf
Ergdico: recurrente positivo aperidico
Transitorio o transiente: si hay alguna probabilidad positiva de no volver
all,
inf
n=1
fii
n
<1
Estados Efmero: no puede ser alcanzado desde ningn otro estado
J es Accesible, si pij
n
>0
Comunicados Si i es accesible desde j
Si j es accesible desde i
Pertenecen a una clase: cadena irreductible
Peridico: tiene periodo
Aperidico: no tiene perido
19
SOLUCN DEL PROBLEMA
1. DESCRPCN DE LOS ESTADOS
NUMERO DE ESTADO ESTADO
1 HUMECTACN
2 FABRCACN
3 DESMOLDEO
4 APT
5 SCRAP
2. EL PROCESO COMO CADENA DE MARKOV
HUMETACN FABRCACN DESMOLDEO APT
SCRAP
El proceso se define como una cadena de Markov debido a que cumple la
propiedad Markoviana de la siguiente forma:
Si P[Sj(k) / Sa(k-1), Sb(k-2), Sc(k-3).....] = P[Sj(k) / Sa(k-1)] para todo k, j,a,
b, c,..... entonces el sistema es un estado discreto de discretas transiciones
de procesos de Markov.
La materia prima fluye por todo el proceso productivo.
Al pasar de un estado a otro ella se puede convertir en producto terminado
o en scrap.
20
La cantidad de materia prima que llega a un estado, depende solo de lo que
sea capas de pasar como producto bueno el estado anterior. El proceso se
mira como un proveedor que le entrega a su prximo cliente sin importar
que tanto le entrega el proveedor del nivel anterior al proveedor actual. En
otras palabras lo que llega a APT(almacn de producto terminado)solo
depende de lo que le entregue DESMOLDEO y no depende de lo que
entregue HUMECTACN.
21
3. Datos para construir la matriz de transicin.
Datos proceso de Humectacin
toneladas toneladas toneladas
Da producidas perdidas recibidas
1 178 0.25 177.75
2 180 0.13 179.87
3 175 0.16 174.84
4 178 0.25 177.75
5 179 0.25 178.75
6 176 0.26 175.74
7 176 0.16 175.84
8 180 0.25 179.75
9 175 0.25 174.75
10 179 0.22 178.78
11 178 0.24 177.76
12 178 0.18 177.82
13 178 0.25 177.75
14 179 0.22 178.78
15 176 0.17 175.83
16 176 0.23 175.77
17 179 0.14 178.86
18 177 0.18 176.82
19 177 0.25 176.75
20 177 0.22 176.78
21 178 0.27 177.73
22 179 0.20 178.80
23 179 0.17 178.83
24 180 0.19 179.81
25 179 0.17 178.83
26 178 0.24 177.76
27 176 0.23 175.77
28 176 0.20 175.80
29 175 0.22 174.78
30 179 0.15 178.85
Produccin Total= 5330
Produccin Entregada= 5323.68
Produccin Perdida= 6.32
22
Datos proceso de Fabricacin
toneladas toneladas toneladas
Da producidas perdidas entregadas
1 177.75 0.38 177.37
2 179.87 0.24 179.62
3 174.84 0.19 174.65
4 177.75 0.26 177.49
5 178.75 0.27 178.48
6 175.74 0.49 175.25
7 175.84 0.19 175.64
8 179.75 0.51 179.24
9 174.75 0.40 174.35
10 178.78 0.29 178.49
11 177.76 0.52 177.24
12 177.82 0.45 177.37
13 177.75 0.41 177.33
14 178.78 0.30 178.48
15 175.83 0.23 175.60
16 175.77 0.50 175.28
17 178.86 0.27 178.59
18 176.82 0.46 176.36
19 176.75 0.41 176.34
20 176.78 0.50 176.27
21 177.73 0.40 177.34
22 178.80 0.18 178.62
23 178.83 0.28 178.55
24 179.81 0.22 179.59
25 178.83 0.23 178.60
26 177.76 0.46 177.30
27 175.77 0.52 175.24
28 175.80 0.46 175.34
29 174.78 0.48 174.30
30 178.85 0.40 178.45
Produccin Total= 5323.678548
Produccin Entregada= 5312.77
Produccin Perdida= 10.90
23
Datos proceso de Desmoldeo
toneladas toneladas toneladas
Da desmoldeadas perdidas entregadas
1 177.37 2.40 174.96
2 179.62 2.10 177.52
3 174.65 2.15 172.50
4 177.49 2.04 175.45
5 178.48 2.67 175.81
6 175.25 2.46 172.79
7 175.64 2.39 173.25
8 179.24 2.63 176.61
9 174.35 2.84 171.50
10 178.49 2.84 175.65
11 177.24 2.61 174.63
12 177.37 2.13 175.24
13 177.33 2.42 174.92
14 178.48 2.33 176.15
15 175.60 2.42 173.18
16 175.28 2.13 173.14
17 178.59 2.23 176.37
18 176.36 2.36 174.01
19 176.34 2.71 173.64
20 176.27 2.84 173.44
21 177.34 2.73 174.61
22 178.62 2.28 176.35
23 178.55 2.10 176.45
24 179.59 2.03 177.55
25 178.60 2.43 176.17
26 177.30 2.30 175.00
27 175.24 2.00 173.24
28 175.34 2.80 172.54
29 174.30 2.14 172.16
30 178.45 2.00 176.45
Produccin Total= 5312.77
Produccin Entregada= 5241.27
Produccin Perdida= 71.51
24
Datos proceso APT
toneladas toneladas toneladas
Da revisadas perdidas entregadas
1 177.09 0.57 176.52
2 179.27 0.49 178.78
3 174.30 0.48 173.81
4 177.16 0.54 176.61
5 178.29 0.59 177.70
6 174.99 0.44 174.55
7 175.30 0.57 174.73
8 178.97 0.50 178.47
9 174.08 0.50 173.57
10 178.18 0.45 177.73
11 176.98 0.51 176.48
12 177.17 0.47 176.69
13 177.09 0.55 176.54
14 178.23 0.57 177.67
15 175.44 0.50 174.94
16 174.98 0.54 174.44
17 178.30 0.56 177.73
18 176.17 0.52 175.64
19 176.10 0.54 175.56
20 175.92 0.59 175.34
21 177.07 0.45 176.62
22 178.33 0.42 177.91
23 178.37 0.58 177.79
24 179.41 0.41 179.00
25 178.40 0.56 177.84
26 177.01 0.54 176.47
27 175.05 0.41 174.64
28 175.12 0.45 174.66
29 174.16 0.53 173.63
30 178.23 0.52 177.72
Produccin Total= 5305.159114
Produccin Entregada= 5289.79
Produccin Perdida= 15.37
25
4. CNCO DEL PROBLEMA
Humectacin Fabricacin Desmoldeo Apt
Scrap
5. CALCULO DE PROBABLDADES
Proporciones
Proporciones de Humectacin
Produccin Total= 5330
Produccin Entregada= 5323.68 0.999
Produccin Perdida= 6.32 0.001
Proporciones de Fabricacin
Produccin Total= 5323.678548
Produccin Entregada= 5312.77 0.998
Produccin Perdida= 10.90 0.002
Proporciones de Desmoldeo
Produccin Total= 5312.774
Produccin Entregada= 5241.267 0.987
Produccin Perdida= 71.50624043 0.013
Proporciones de Almacn Producto Terminado
Produccin Total= 5305.159114
Produccin Entregada= 5289.79 0.997
Produccin Perdida= 15.37 0.003
Proporciones de Scrap
Produccin Entregada= Por norma de calidad 0.010
Produccin Perdida= 0.990
26
6. MATRZ DE TRANSCN
H Fab D APT S
H 0.000 0.999 0.000 0.000 0.001
Fab 0.000 0.000 0.980 0.000 0.020
D 0.000 0.000 0.000 0.987 0.013
APT 0.000 0.000 0.000 0.997 0.003
S 0.010 0.000 0.000 0.000 0.990
Clasificacin de los estados:
Recurrentes:
Si i=j y
inf
n=1
fii
n
=1
Absorbentes si pii =1
Recurrentes nulos uii = inf
Recurrentes positivos uii < inf
Ergdico: recurrente positivo aperidico
Transitorio o transiente: si hay alguna probabilidad positiva de no volver
all,
inf
n=1
fii
n
<1
Estados Efmero: no puede ser alcanzado desde ningn otro estado
J es Accesible, si pij
n
>0
Comunicados Si i es accesible desde j
Si j es accesible desde i
Pertenecen a una clase: cadena irreductible
Peridico: tiene periodo
Aperidico: no tiene perido
Utilizando esta tabla mostraremos el comportamiento de la cadena que se esta
analizando.
7. ACCESBLDAD DE LOS ESTADOS
J es Accesible, si pij
n
>0
Veamos la matriz original
H Fab D APT S
H 0.000 0.999 0.000 0.000 0.001
Fab 0.000 0.000 0.980 0.000 0.020
D 0.000 0.000 0.000 0.987 0.013
APT 0.000 0.000 0.000 0.997 0.003
S 0.010 0.000 0.000 0.000 0.990
27
Ahora multipliquemos la matriz original n veces por ella misma y miremos su
comportamiento para P
3072
P
3072
= 0.002 0.002 0.002 0.758 0.235
0.002 0.002 0.002 0.758 0.235
0.002 0.002 0.002 0.758 0.235
0.002 0.002 0.002 0.758 0.235
0.002 0.002 0.002 0.758 0.235

Existe un n=3072 donde los valores de pij
n
>0. esto indica que todos los estados j
son accesibles.
8. COMUNCACN ENTRE ESTADOS
Los estados se comunican si:
Si i es accesible desde j
Si j es accesible desde i
La matriz P
3072
nos presenta este comportamiento pues todos los estados son
accesibles de i a j o des de j a i por lo tanto todos los estados se comunican.
9. CONCURRENCA DE LOS ESTADOS
Sea P
T
la transpuesta de la matriz original, elaborada para calcular las
probabilidades de estado estable
Utilizaremos la notacin R para indicar la variable
P
T
0.000 0.000 0.000 0.000 0.010
0.999 0.000 0.000 0.000 0.000
0.000 0.980 0.000 0.000 0.000
0.000 0.000 0.987 0.997 0.000
0.001 0.020 0.013 0.003 0.990
28
Representacin matricial de:
j =
m
i=0
(i * Pij) y como
j=0
Pij
n
= 1, entonces
m
j=0
j =1
para j=0,1,....m
el sistema tiene una ecuacin adicional por causa de
m
j=0
j =1
R1 R2 R3 R4 R5
R1= 0.000 0.000 0.000 0.000 0.010
R2= 0.999 0.000 0.000 0.000 0.000
R3= 0.000 0.980 0.000 0.000 0.000
R4= 0.000 0.000 0.987 0.997 0.000
R5= 0.001 0.020 0.013 0.003 0.990
1= 1 1 1 1 1
Como tenemos un sistema de 6 ecuaciones para 5 variables eliminamos una de
ellas por ser redundante.
R1 R2 R3 R4 R5
R1= 0.000 0.000 0.000 0.000 0.010
R2= 0.999 0.000 0.000 0.000 0.000
R3= 0.000 0.980 0.000 0.000 0.000
R4= 0.000 0.000 0.987 0.997 0.000
1= 1 1 1 1 1
Al resolver el sistema tenemos las siguientes ecuaciones:
R1= 0.010 R5
R2= 0.999 R1
R3= 0.980 R2
R4= 0.987 R3 0.997 R4
1= 1R1 1R2 1R3 1R4 1R5
Los valores de , en este caso R son:
R1= 0.002
R2= 0.002
R3= 0.002
R4= 0.758
R5= 0.235
29
Donde los valores de recurrencia (U) son Ujj = 1/ j
U Meses
U11 425.1
U22 425.5
U33 434.2
U44 1.3
U55 4.3
Los estados Recurrentes positivos presentan uii < inf lo cual cumple para los
estados de esta cadena de Markov.
10. Mostrar que los estados son aperidicos.
Veamos la matriz n-1 =3071
P
3071
0.002 0.002 0.002 0.758 0.235
0.002 0.002 0.002 0.758 0.235
0.002 0.002 0.002 0.758 0.235
0.002 0.002 0.002 0.758 0.235
0.002 0.002 0.002 0.758 0.235
Matriz n=3072
P
3072
= 0.002 0.002 0.002 0.758 0.235
0.002 0.002 0.002 0.758 0.235
0.002 0.002 0.002 0.758 0.235
0.002 0.002 0.002 0.758 0.235
0.002 0.002 0.002 0.758 0.235
Para un n+1 donde n=3072 y n+1=3073 se tiene:
P
3073
0.002 0.002 0.002 0.758 0.235
0.002 0.002 0.002 0.758 0.235
0.002 0.002 0.002 0.758 0.235
0.002 0.002 0.002 0.758 0.235
0.002 0.002 0.002 0.758 0.235
Se puede observar en las matrices que los valores de las probabilidades en todas
las filas permanecen iguales entre las matrices pares e impares, a dems el
sistema a la larga se estabilizo, lo que demuestra que la matriz es aperidica.
30
11. Polinomio caracteristico y valores propios.
H Fab D APT S
H 0.000 0.999 0.000 0.000 0.001
Fab 0.000 0.000 0.980 0.000 0.020
D 0.000 0.000 0.000 0.987 0.013
APT 0.000 0.000 0.000 0.997 0.003
S 0.010 0.000 0.000 0.000 0.990
Calculamos el determinante de [P - ]

0.000 0.999 0.000 0.000 0.001 0 0 0 0
0.000 0.000 0.980 0.000 0.020 0 0 0 0
Y()= 0.000 0.000 0.000 0.987 0.013 - 0 0 0 0
0.000 0.000 0.000 0.997 0.003 0 0 0 0
0.010 0.000 0.000 0.000 0.990 0 0 0 0

0.999 0.000 0.000 0.001
0 0.980 0.000 0.020
Y()= 0 0 0.987 0.013
0 0 0 0.997 0.003
0.010 0 0 0 0.990
Se generan los siguientes cofactores principales con sus respectivos
determinantes.

0.999
0.001
0.980 0.000 0.020
0 0.987 0.013
0 0 0.997 0.003
0 0 0 0.990
= (0.997) (0.990 )
=
5
+1.977
4
.98703
3
31
veamos el desarrollo del segundo cofactor principal:
0.999 0 0.980 0.000 0.020
0 0.987 0.013
0 0 0.997 0.003
0.010 0 0 0.990
Del determinante anterior se desprenden los siguientes determinantes:
Primer determinante
-0.999 -0.980 0 0.987 0.013
0 0.997 0.003
0.010 0 0.990
Solucin del determinante de 3x3 sin los cofactores:
=0.987(0.00003)+0.013(0.0100.00997)
=0.00002961+0.000130.00012961
=0.000130.0001
multiplicamos los cofactores
=(0.999)(0.980)(0.000130.0001)
=0.0001272720.000097902
segundo determinante:
-0.999 -0.020 0 0.987
0 0 0.997
0.010 0 0
=((0.009970.10))+0
=0.00997+0.010
2
multiplicamos por los cofactores
=(-0.999) (-0.020) (0.00997+0.010
2
)
32
=0.0009992+0.001998
2
veamos el desarrollo del tercer cofactor principal:
0.001 0 0.980 0.000
0 0 0.987
0 0 0 0.997
0.010 0 0 0
0.001 ( ) 0 0.987
0 0 0.997
0.010 0 0
0.001 0 0.987
0 0 0.997
0.010 0 0
Solucin del determinante de 3x3 sin cofactores
=((0)(0.009970.010))
=0.010
2
0.00997
multiplico por el cofactor
=0.001(0.010
2
0.00997)
=0.00001
3
0.00000997
2
ahora agrupemos los datos para determinar el polinomio caracterstico.

5
+1.977
4
0.98703
3
0.000127272 0.000097902
0.001998
2
0.0009992
0.00001
3
0.00000997
2

5
+1.977
4
0.98702
3
+0.00018983 0.00087192 0.000097902
Tambien se calculo el polinomio caracterstico con el software MadLab para lograr
una mejor precisin:
33

5
1.987
4
+0.9870
3
0.0002
2
+0.0001 +0.0001
Ahora procedemos a presentar los valores propios o autovalores del polinomio
caracterstico, los que se calcularon en el software MadLab.
Valores propios:
1 1
2 0.9873
3 0.0221+0.0418i
4 0.0221-0.0418i
5 -0.0444
12. Determinar la regularidad de la matriz.
Ntese que TXc = Xc implica =1 es un autovalor de T y que Xc es un autovector
correspondiente a este autovalor, convenientemente normalizado para que sus
coordenadas sumen 1. De hecho =1 tiene que ser necesariamente el autovalor
dominante de T ya que, si >1, Lim ninfinito X(n) sera infinito para todas las
coordenadas y si <1, Lim ninfinito X(n) seria cero para todas las coordenadas. En
ninguno de los dos ltimos casos Xc es una distribucin de probabilidad. Por otro
lado, si se cumple la segunda parte del resultado, Xc = Lim ninfinito TX(0)=LX(0); para
cualquier distribucin inicial X(0). Por lo tanto la matriz del estado estacionario L,
debe tener todas las columnas iguales a Xc.
la distribucin estacionaria tambin se puede interpretar como la proporcin de
tiempo a largo plazo que el sistema pasa en cada estado.
34
En nuestro caso T es la P
T
. Desarrollemos la operacin TXc = Xc. Recordemos
que, si hay una matriz P, el nmero real o complejo se llama valor caracterstico
de P si hay un vector v distinto de cero En C
n
tal que:
Pv= v
P
T
0.000 0.000 0.000 0.000 0.010
0.999 0.000 0.000 0.000 0.000
0.000 0.980 0.000 0.000 0.000
0.000 0.000 0.987 0.997 0.000
0.001 0.020 0.013 0.003 0.990
Xc 0.002
0.002
0.002
0.758
0.235
=
Xc 0.002
0.002
0.002
0.758
0.235
Con esta solucin se encuentra que =1 es el autovalor o valor caracterstico
predominante que multiplicado por vector columna de los i hace que se cumpla
TXc = Xc y asi la cadena es regular por solo haber un =1 y los otros en valor
absoluto meros a uno.
13. Lmites ergdicos
Condicin suficiente: si existe un n>0 tal que Pij
n
>0, i, j=0,1,2....m. la cadena de
Markov, con esta propiedad, se llama ergdica.
35
Esta condicin se puede probar con la matriz P
3072
la cual muestra que existe un n
en el cual Pij
n
>0.
P
3072
= 0.002 0.002 0.002 0.758 0.235
0.002 0.002 0.002 0.758 0.235
0.002 0.002 0.002 0.758 0.235
0.002 0.002 0.002 0.758 0.235
0.002 0.002 0.002 0.758 0.235
Con esta condicin queda demostrado que la cadena es ergdica.
Podemos comprobarlo tambin con el siguiente teorema:
Teorema. Para una cadena de Markov ergdica, j =Lim ninfinito Pij
n
existe y j (j
pertenece {0,..,m}) es la nica solucin no negativa de j. Entonces:
j =
k=0
(k * Pkj) y
j=0
j =1.
P
6142
0.002 0.002 0.002 0.758 0.235
0.002 0.002 0.002 0.758 0.235
0.002 0.002 0.002 0.758 0.235
0.002 0.002 0.002 0.758 0.235
0.002 0.002 0.002 0.758 0.235
Al probar el teorema se observa que
j =Lim ninfinito Pij
n
existe

1=
0.002

2=
0.002

3=
0.002

4=
0.758

5=
0.235
entonces
j=0
j =1.
36
Tambin se puede acudir a:
Supongamos que Lim ninfinito Pii
n
= i >0 para algn i en una clase aperidica
recurrente, entonces j >0 para todo j que est en la clase de i. Si este es el caso
diremos que la clase es positiva recurrente o fuertemente ergdica.
Anteriormente se probo que la cadena tenia estados recurrentes positivos pues
existan los tiempos de recurrencia Uii, y tambin se mostro que la cadena era
aperidica pues no hacia ciclos para valores de n pares e impares y en el paso
anterior se mostr que Lim ninfinito Pii
n
= i >0 se cumpla, por lo que se concluye
que es ergdica.
Observe que si Pij es la matriz de transicin asociada a una clase recurrente
ergdica positiva, entonces la ecuacin i =
inf
k=0
Pkj k llevada a su forma
matricial:
P00 P10 P20 . 1 1
P01 P11 P21 . 2 2
P02 P12 P22 . 3 3
. . . . . .
. . . . . . = .
. . . . . .
P0i P1i P2i . i i
. . . . . .
. . . . . .
Establece claramente que (1 2 3.....)
t
es un autovector (a la derecha) de la matriz
Pij asociado al autovalor 1. Para esto debemos saber que la matriz de Markov
tiene un autovalor igual a 1, ms an, este valor ser el mayor, en valor absoluto,
si la matriz es primitiva, esto es si todas sus entradas son positivas para alguna
potencia de la matriz.
37
En los pasos anteriores se probo que Lim ninfinito Pii
n
= i >0 se cumplia y que (1 2
3.....)
t
es un autovector (a la derecha) de la matriz Pij asociado al autovalor 1 y ms
an, este valor ser el mayor, en valor absoluto, si la matriz es primitiva, esto es si
todas sus entradas son positivas para alguna potencia de la matriz.
Con esto podemos confirmar que la cadena es regular y ergdica aperidica.
14. Vector propio para el valor propio =1
El vector propio que acompaa a =1, son loa valores que aparecen en cada fila
de la matriz donde se observa la estabilidad del sistema o sea son los valores j.
El vector lo presentaremos de forma transpuesta:
0.002 0.002 0.002 0.758 0.235
15. Probabilidades de estado estable
Esto quiere decir, cuales la probabilidad que el sistema este a la larga en el estado
j.

1=
0.002

2=
0.002

3=
0.002

4=
0.758

5=
0.235
38
16. Tiempo de recurrencia y primera ocurrencia
Tiempos de recurrencia Uii(es el tiempo esperado que gasta el sistema en volver a
estar en i partiendo de i)
U Meses
U11 425.1
U22 425.5
U33 434.2
U44 1.3
U55 4.3
Matriz original:
0.000 0.999 0.000 0.000 0.001
0.000 0.000 0.980 0.000 0.020
0.000 0.000 0.000 0.987 0.013
0.000 0.000 0.000 0.997 0.003
0.010 0.000 0.000 0.000 0.990
Uij = 1 + k#j Pik Ukj
U14= 1 + P11 U14+ P12 U24 + P13 U34 + P15 U54
U24= 1 + P21 U14+ P22 U24 + P23 U34 + P25 U54
U34= 1 + P31 U14+ P32 U24 + P33 U34 + P35 U54
U54= 1 + P51 U14+ P52 U24 + P53 U34 + P55 U54
U14= 1+0.999 U24+0.001 U54
U24=1+0.980 U34+0.02 U54
U34=1+0.013 U54
U54=1+0.010 U14+0.990 U54
39
Tiempo de primera ocurrencia.
Es tiempo esperado que se gasta para ir del estado i al j
U14= 6.46 meses
U24= 5.46 meses
U34= 2.38 meses
U54= 106 meses
En resumen podemos decir que:
A la larga el sistema estara en el estado 4(APT) con una probabilidad de
4=
0.758.
lo que expresa este termino es que despues de n transiciones la materia prima
estara en APT con una probabilidad del 75,8%. Y para la materia prima que va a
Scrap, a la larga estara en el estado 5 con una probabilidad de
5=
0.235. lo que
indica que la probilidad a la larga que la materia prima se vuelva Scrap es del
23.5%.
Ahora el tiempo de recurrencia para que el sistema estando en estado 4(APT)
vualva a este estado es U44 = 1.3 meses. En otras palabras, es el tiempo que
transcurre para que vuelva haber producto terminado es 1.3 meses.
En conclusin, se perdera mucha materia prima a la larga.
40
CONCLUSONES
1. Esta primera conclusin es para decir que no se concluir sobre los resultados
numricos del proceso, pues en el desarrollo del mismo se explica claramente
las respuestas obtenidas. Mi deseo es expresar conclusiones alrededor del
proceso de construccin del conocimiento y crear una inquietud a las personas
que lean el documento.
2. se requiere de ms tiempo para poder elaborar un buen documento que sirva
como apoyo a otras personas que quieran profundizar en el modelado y
explicacin de una cadena de Markov.
3. No es fcil construir una matriz de transicin.
4. En este problema en particular se tuvo que modelar el proceso productivo con
los datos disponibles en la empresa. No hay otros ms. Lo que nos ensea que
hay que hacer uvas de manzanas.
5. Se aprendi a construir la matriz de transicin por medio de proporciones
generadas por los datos totales de produccin en cada uno de los
procesos(humectacin, fabricacin, desmoldeo, APT, scrap).
6. El problema se abordo desde una perspectiva acadmica, pero siempre con el
norte de responderle a un empresario de forma tcnica y cientfica todas las
inquietudes que se generan alrededor de una cadena de Markov.
7. las cadenas de Markov no deben abordase de una forma simple, ellas tienen
una sustentacin matemtica fuerte y unos requisitos que se deben probar.
41
8. Se generan las siguientes inquietudes:
Que papel juegan los valores propios que son diferentes de 1?
Que implican los valores propios que dan complejos?
Los otros vectores caractersticos que nos dicen de la cadena?
Qu nos puede aportar la grfica del polinomio caracterstico para entender el
comportamiento de una cadena de Markov?
Realmente que implica que una cadena sea Ergdica?
Realmente que implica que una cadena sea Regular?
Y las cadenas que no son ninguna de las dos anteriores que implicacin
tienen?
Todas estas dudas me llevan a concluir que no es solamente construir una matriz
y calcularle probabilidades de estado estable y tiempos de ocurrencia y
recurrencia, las cadenas de Markov son mucho ms.
Se acudi a la ayuda del software MadLab para hacer la prueba de
estabilidad con la transformada Z, pero no se pudo aplicar correctamente e
infortunadamente no se prob con este mtodo dicha estabilidad.
42
RECOMENDACONES
1. Estimular la continuidad del trabajo matemtico en la comprensin y
explicacin de las cadenas de Markov.
2. Resolver las inquietudes propuestas en las conclusiones.
3. Buscar un software que me pueda presentar la aplicacin de la transformada Z
en las cadenas de markov y muestre la estabilidad de la misma.
43
BBLOGRAFA
FNTE MARKOV CHANS, Kemeny and Snell, Edit. D.Van Nostrand
Company nc.
APLCATON OF PETR NETS N MANUFACTURNG SYSTEMS,
Desrochers and Al-jaar, Edit. EEE PRESS.
NTRODUCCN A LA NVESTGACN DE OPERACONES, Hiller and
Lieberman, Edit.Mc Graw Hill.
LGEBRA LNEAL. Grossman, Edit. beroamrica.
APUNTES DE CLASE, ng. Carlos Alberto Ossa. UTP.
ALGUNAS UNDADES DE NVESTGACN DE OPERACONES, ng.
Csar Jaramillo. UTP.
Documentos bajados de la internet.
1. Cadenas de Markov
2. Lmites ergdicos en las cadenas de Markov
3. Notas sobre cadenas de Markov
4. Anlisis de Markov
44
ANEXOS
Copia de los appendices: FNTE MARKOV CHANS, Kemeny and Snell,
Edit. D.Van Nostrand Company nc.
Copia de numerales 2.1, 2.2: APLCATON OF PETR NETS N
MANUFACTURNG SYSTEMS, Desrochers and Al-jaar, Edit. EEE PRESS.
Copia de Documentos bajados de la internet:
1. Cadenas de Markov
2. Lmites ergdicos en las cadenas de Markov
3. Notas sobre cadenas de Markov
4. Anlisis de Markov
45
Una cadena de Markov, que recibe su nombre del matemtico
ruso Andrei Markov, es una serie de eventos, en la cual la probabilidad de que
ocurra un evento depende del evento inmediato anterior. En efecto, las cadenas
de este tipo tienen memoria. " Recuerdan el ltimo evento y esto condiciona las
posibilidades de los eventos futuros. Esta dependencia del evento anterior
distingue a las cadenas de Markov de las series de eventos independientes, como
tirar una moneda al aire o un dado.
En los negocios, las cadenas de Markov se han utilizado para analizar los
patrones de compra de los deudores morosos, para planear las necesidades de
personal y para analizar el reemplazo de equipo.
En matemticas, se define como un proceso estocstico discreto que cumple con
la Propiedad de Markov, es decir, si se conoce la historia del sistema hasta su
instante actual, su estado presente resume toda la informacin relevante para
describir en probabilidad su estado futuro.
Una cadena de Markov es una secuencia X1, X2, X3, . de variables aleatorias. El
rango de estas variables, es llamado espacio estado, el valor de Xn es el estado
del proceso en el tiempo n. Si la distribucin de probabilidad condicional de Xn+1
en estados pasados es una funcin de Xn por s sola, entonces:
Donde xi es el estado del proceso en el instante i. La identidad mostrada es la
Propiedad de Markov.
Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que
ocurra un evento depende del evento inmediato anterior. En efecto, las cadenas
de este tipo tienen memoria. " Recuerdan el ltimo evento y esto condiciona las
46
posibilidades de los eventos futuros. Esta dependencia del evento anterior
distingue a las cadenas de Markov de las series de eventos independientes, como
tirar una moneda al aire o un dado.
En los negocios, las cadenas de Markov se han utilizado para analizar los
patrones de compra de los deudores morosos, para planear las necesidades de
personal y para analizar el reemplazo de equipo.
El anlisis de Markov, llamado as en honor de un matemtico ruso que desarrollo
el mtodo en 1907, permite encontrar la probabilidad de que un sistema se
encuentre en un estado en particular en un momento dado. Algo ms importante
an, es que permite encontrar el promedio a la larga o las probabilidades de
estado estable para cada estado. Con esta informacin se puede predecir el
comportamiento del sistema a travs del tiempo.
La tarea ms difcil es reconocer cundo puede aplicarse. La caracteristica ms
importante que hay que buscar en la memoria de un evento a otro.
Formulacin de las cadenas de Markov.
Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que
ocurra un evento depende del evento inmediato anterior. En efecto, las cadenas
de este tipo tienen memoria. " Recuerdan el ltimo evento y esto condiciona las
posibilidades de los eventos futuros. Esta dependencia del evento anterior
distingue a las cadenas de Markov de las series de eventos independientes, como
tirar una moneda al aire o un dado.
En la figura 4.1.1 se muestra el proceso para formular una cadena de Markov. El
generador de Markov produce uno de n eventos posibles, Ej , donde j = 1, 2, . . . ,
n, a intervalos discretos de tiempo (que no tiene que ser iguales ). Las
47
probabilidades de ocurrencia para cada uno de estos eventos depende del estado
del generador. Este estado se describe por el ltimo evento generado. En la figura
4.1.1, el ltimo evento generado fue Ej , de manera que el generador se encuentra
en el estado Mj .
La probabilidad de que Ek sea el siguiente evento generado es una probabilidad
condicional : P ( Ek / Mj ). Esto se llama probabilidad de transicin del estado Mj al
estado Ek. Para describir completamente una cadena de Markov es necesario
saber el estado actual y todas las probabilidades de transicin.
Probabilidades de transicin.
Una forma de describir una cadena de Markov es con un diagrama de estados,
como el que se muestra en la figura 4.1.2. En sta se ilustra un sistema de Markov
con cuatro estados posibles : M1, M2 , M3 y M4 . La probabilidad condicional o de
transicin de moverse de un estado a otro se indica en el diagrama
Otro mtodo para exhibir las probabilidades de transicin es usar una matriz de
transicin. . La matriz de transicin para el ejemplo del diagrama de estados se
muestra en la tabla 4.1.1 .
Otro mtodo para exhibir las probabilidades de transicin es usar una matriz de
transicin. .
Para n = 0, 1, 2, ..
El superndice n no se escribe cuando n = 1.
Procesos estocsticos.
Un proceso estocstico se define sencillamente como una coleccin indexada de
variables aleatorias { X1 }, donde el subndice t toma valores de un conjunto T
dado. Con frecuencia T se toma como el conjunto de enteros no negativos y X,
48
representa una caracterstica de inters medible en el tiempo t. Por ejemplo, el
proceso estocstico, X1 , X2 , X3, .., Puede representar la coleccin de niveles de
inventario semanales (o mensuales) de un producto dado, o puede representar la
coleccin de demandas semanales (o mensuales) de este producto.
Un estudio del comportamiento de un sistema de operacin durante algn periodo
suele llevar al anlisis de un proceso estocstico con la siguiente estructura. En
puntos especficos del tiempo t , el sistema se encuentra exactamente en una de
un nmero finito de estados mutuamente excluyentes y exhaustivos, etiquetados
0, 1, . . , S. Los periodos en el tiempo pueden encontrarse a intervalos iguales o su
esparcimiento puede depender del comportamiento general del sistema en el que
se encuentra sumergido el proceso estocstico. Aunque los estados pueden
constituir una caracterizacin tanto cualitativa como cuantitativa del sistema, no
hay prdida de generalidad con las etiquetas numricas 0, 1, . . , M , que se
usarn en adelante para denotar los estados posibles del sistema. As la
representacin matemtica del sistema fsico es la de un proceso estocstico {Xi},
en donde las variables aleatorias se observan en t = 0, 1, 2,. . ., y en donde cada
variable aleatoria puede tomar el valor de cualquiera de los M + 1 enteros 0, 1, .. ,
M . Estos enteros son una caracterizacin de los M + 1 estados del proceso.
Propiedad Markoviana de 1o. orden .
Se dice que un proceso estocstico tiene la propiedad markoviana si
P Xt+1 = j = P X t+1 , para toda t = 0, 1, . . y toda
sucesin i, j , K0 , K1 , . . , Ki-1 .
Se puede demostrar que esta propiedad markoviana es equivalente a establecer
una probabilidad condicional de cualquier "evento futuro dados cualquier "evento "
49
pasado y el estado actual Xi = i , es independiente del evento pasado y slo
depende del estado actual del proceso. Las probabilidades condicionales PXt+1 =
j se llaman probabilidades de transicin. Si para cada i y j,
P Xt+1 = j = pX1 = j , para toda t = 0, 1, ..
Entonces se dice que las probabilidades de transicin (de un paso) son
estacionarias y por lo general se denotan por pij . As, tener probabilidades de
transicin estacionarias implican que las probabilidades de transicin no cambian
con el tiempo. La existencia de probabilidades de transicin (de un paso)
estacionarias tambin implica que, para cada i, j y n (n = 0, 1, 2,.),
P Xt+n = j = pXn = j ,
Para toda t = 0, 1, . . . Estas probabilidades condicionales casi siempre se denotan
por y se llaman probabilidades de transicin de n pasos. As, es simplemente la
probabilidad condicional de que la variable aleatoria X, comenzando en el estado i,
se encuentre en el estado j despus de n pasos ( unidades de tiempo ).
Como las son probabilidades condicionales, deben satisfacer las propiedades:
Probabilidad de transicin de un solo paso.
Ejemplo :
Una tienda de cmaras tiene en almacn un modelo especial de cmara que se
puede ordenar cada semana. Sean D1, D2, . las demandas de esta cmara
durante la primera, segunda, . , semana, respectivamente. Se supone que las Di
son variables aleatorias independientes e idnticamente distribuidas que tienen
una distribucin de probabilidad conocida. Sea X0 el nmero de cmaras que se
tiene en el momento de iniciar el proceso, X1 el nmero de cmaras que se tienen
al final de la semana uno, X2 el nmero de cmaras al final de la semana dos, etc.
50
Suponga que X0 = 3 . El sbado en la noche la tienda hace un pedido que le
entregan el lunes en el momento de abrir la tienda. La tienda hace un pedido que
le entregan el lunes en el momento de abrir la tienda. La tienda usa la siguiente
poltica ( s, S)1 para ordenar : si el nmero de cmaras en inventario al final de la
semana es menor que s =1 (no hay cmaras en la tienda), ordenar (hasta) S=3.
De otra manera, no coloca la orden (si se cuenta con una o ms cmaras en el
almacn, no se hace el pedido). Se supone que las ventas se pierden cuando la
demanda excede el inventario. Entonces, {X1} para t = 0, 1, .. es un proceso
estocstico de la forma que se acaba de describir. Los estados posibles del
proceso son los enteros 0, 1, 2, 3 que representan el nmero posible de cmaras
en inventario al final de la semana.
Observe que {Xi}, en donde Xi es el nmero de cmaras en el almacn al final de
la semana t ( antes de recibir el pedido }), es una cadena de Markov. Se ver
ahora cmo obtener las probabilidades de transicin (de un paso), es decir, los
elementos de la matriz de transicin ( de un paso).
Suponiendo que cada Dt tiene una distribucin Poisson con parmetro .
Para obtener es necesario evaluar . Si , Entonces . Por lo tanto, significa que la
demanda durante la semana fue de tres o ms cmaras. As, , la probabilidad de
que una variable aleatoria Poisson con parmetro tome el valor de 3 o ms; y se
puede obtener de una manera parecida. Si , entonces . Para obtener , la demanda
durante la semana debe ser 1 o ms. Por esto, . Para encontrar , observe que si .
En consecuencia, si , entonces la demanda durante la semana tiene que ser
exactamente 1. por ende, . Los elementos restantes se obtienen en forma similar,
lo que lleva a la siguiente a la siguiente matriz de transicin ( de un paso):
51
Probabilidad de transicin estacionaria de n pasos.
Las ecuaciones de Chapman-Kolmogorov proporcionan un mtodo para calcular
estas probabilidades de transicin de n pasos :
Estas ecuaciones simplemente sealan que al ir de un estado i al estado j en n
pasos, el proceso estar en algn estado k despus de exactamente m ( menor
que n) pasos. As,
Es solo las probabilidad condicional de que, si se comienza en el estado i, el
proceso vaya al estado k despues de m pasos y despus al estado j en n- m
pasos.
Los casos especiales de m=1 y m=n-1 conducen a las expresiones
Para toda i, j, y n de lo cual resulta que las probabilidades de transicin de n pasos
se pueden obtener a partir de las probabilidades de transicin de un paso de
manera recursiva. Para n=2, estas expresiones se vuelven :
Note que las son los elementos de la matriz P(2) , pero tambin debe de
observarse que estos elementos, se obtienen multiplicando la matriz de transicin
de un paso por s misma; esto es , P(2) = P * P = P2 .
En trminos ms generales, se concluye que la matriz de probabilidades de
transicin de n pasos se puede obtener de la expresin : P(n) = P * P .. P = Pn =
PPn~1 = Pn-1 P.
Entonces, la matriz de probabilidades de transicin de n pasos se puede obtener
calculando la n-sima potencia de la matriz de transicin de un paso. Para valores
no muy grandes de n, la matriz de transicin de n pasos se puede calcular en la
forma que se acaba de describir, pero cuando n es grande, tales clculos resultan
tediosos y, ms an, los errores de redondeo pueden causar inexactitudes.
52
Ejemplo :
Una tienda de cmaras tiene en almacn un modelo especial de cmara que se
puede ordenar cada semana. Sean D1, D2, . las demandas de esta cmara
durante la primera, segunda, . , semana, respectivamente. Se supone que las Di
son variables aleatorias independientes e idnticamente distribuidas que tienen
una distribucin de probabilidad conocida. Sea X0 el nmero de cmaras que se
tiene en el momento de iniciar el proceso, X1 el nmero de cmaras que se tienen
al final de la semana uno, X2 el nmero de cmaras al final de la semana dos, etc.
Suponga que X0 = 3 . El sbado en la noche la tienda hace un pedido que le
entregan el lunes en el momento de abrir la tienda. La tienda hace un pedido que
le entregan el lunes en el momento de abrir la tienda. La tienda usa la siguiente
poltica ( s, S)1 para ordenar : si el nmero de cmaras en inventario al final de la
semana es menor que s =1 (no hay cmaras en la tienda), ordenar (hasta) S=3.
De otra manera, no coloca la orden (si se cuenta con una o ms cmaras en el
almacn, no se hace el pedido). Se supone que las ventas se pierden cuando la
demanda excede el inventario. Entonces, {X1} para t = 0, 1, .. es un proceso
estocstico de la forma que se acaba de describir. Los estados posibles del
proceso son los enteros 0, 1, 2, 3 que representan el nmero posible de cmaras
en inventario al final de la semana.
As, dado que tiene una cmara al final de una semana, la probabilidad de que no
haya cmaras en inventario dos semanas despus es 0.283; es decir, De igual
manera, dado que se tienen dos cmaras al final de una semana, la probabilidad
de que haya tres cmaras en el almacn dos semanas despus es 0.097; esto es,
53
La matriz de transicin de cuatro pasos tambin se puede obtener de la siguiente
manera :
P(4) = P4 = P(2) * P(2)
As, dado que queda una cmara al final de una semana, 0.282 es la probabilidad
de que no haya cmaras en inventario 4 semanas ms tarde; es decir, De igual
manera, dado que quedan dos cmaras en el almacn final de una semana, se
tiene una probabilidad de 0.171 de que haya tres cmaras en el almacn 4
semanas despus; esto es,
Probabilidades de transicin estacionaria de estados estables.
Teorema
Sea P la matriz de transicin de una cadena de M estados . Existe entonces un
vector tal que
Se establece que para cualquier estado inicial i , .
El vector a menudo se llama distribucin de estado estable, o tambin distribucin
de equilibrio para la cadena de Markov. Para encontrar la distribucin de
probabilidades de estacionario para una cadena dada cuya matriz de transicin es
P, segn el teorema, para n grande y para toda i , (1)
Como Pij (n + 1) = ( rengln i de Pn )(columna j de P), podemos escribir
(2)
Ejemplo :
Suponga que toda la industria de refrescos produce dos colas. Cuando una
persona ha comprado la cola 1, hay una probabilidad de 90 % de que su siguiente
compra se de cola 1. Si una persona compr cola 2, hay un 80 % de
probabilidades que su prxima compra sea de cola 2.
54
Entonces :
Al reemplazar la segunda ecuacin por la condicin ,
obtenemos el sistema
Al despejar resulta que Por lo tanto, despus de largo tiempo, hay probabilidad 2/3
de que una persona dada compre cola 1 y 1/3 de probabilidad de que una persona
compre cola 2.
Tiempos de primer paso.
Con frecuencia es conveniente poder hacer afirmaciones en trminos de
probabilidades sobre el nmero de transiciones que hace el proceso al ir de un
estado i a un estado j por primera vez . este lapso se llama tiempos de primer
paso al ir del estado i al estado j. cuando J=i, esta tiempo de primer paso es justo
el nmero de transiciones hasta que el proceso regresa al estado inicial i. En este
caso, el tiempo de primer paso se llama tiempo de recurrencia para el estado i.
Para ilustrar estas definiciones, reconsidrese el ejemplo siguiente :
Una tienda de cmaras tiene en almacn un modelo especial de cmara que se
puede ordenar cada semana. Sean D1, D2, . las demandas de esta cmara
durante la primera, segunda, . , semana, respectivamente. Se supone que las Di
son variables aleatorias independientes e idnticamente distribuidas que tienen
una distribucin de probabilidad conocida. Sea X0 el nmero de cmaras que se
tiene en el momento de iniciar el proceso, X1 el nmero de cmaras que se tienen
al final de la semana uno, X2 el nmero de cmaras al final de la semana dos, etc.
Suponga que X0 = 3 . El sbado en la noche la tienda hace un pedido que le
entregan el lunes en el momento de abrir la tienda. La tienda hace un pedido que
le entregan el lunes en el momento de abrir la tienda. La tienda usa la siguiente
55
poltica ( s, S)1 para ordenar : si el nmero de cmaras en inventario al final de la
semana es menor que s =1 (no hay cmaras en la tienda), ordenar (hasta) S=3.
De otra manera, no coloca la orden (si se cuenta con una o ms cmaras en el
almacn, no se hace el pedido). Se supone que las ventas se pierden cuando la
demanda excede el inventario. Entonces, {X1} para t = 0, 1, .. es un proceso
estocstico de la forma que se acaba de describir. Los estados posibles del
proceso son los enteros 0, 1, 2, 3 que representan el nmero posible de cmaras
en inventario al final de la semana.
Donde Xt es el nmero de cmaras en inventario al final de la semana t y se
comienza con , Suponga que ocurri lo siguiente:
En este caso, el tiempo de primer paso para ir al estado 3 al estado 1 es dde 2
semanas, el tiempo de primer paso para ir del estado 3 al estado 0 es de 3
semanas y el tiempo de recurrencia del estado 3 es de 4 semanas.
En general, los tiempos de primer paso son variables aleatorias y, por lo tanto,
tienen una distribucin de probabilidad asociada a ellos. Estas distribuciones de
probabilidad dependen de las probabilidades de transicin del proceso. En
particular, denota la probabilidad de que el tiempo de primer paso del estado i al j
sea igual a n. Se puede demostrar que estas probabilidades satisfacen las
siguientes relaciones recursivas:
Entonces se puede calcular la probabilidad de un tiempo de primer paso del
estado i al j en n pasos, de manera recursiva, a partir de las probabilidades de
transicin de un paso. En el ejemplo, la distribucin de probabilidad de los tiempos
de primer paso del estado 3 al estado 0 se obtiene como sigue:
Para i y j fijos, las son nmeros no negativos tales que
56
Esta suma puede ser menor que 1, lo que significa que un proceso que el iniciar
se encuentra en el estado i puede no llegar nunca al estado j . Cuando la suma es
igual a 1, las pueden considerarse como una distribucin de probabilidad para la
variable aleatoria, el tiempo de primer paso.
Para obtener el tiempo esperado de primer paso del estado i al estado j. Sea , que
se define como:
entonces satisface, de manera nica, la ecuacin:
Cuando i=j, se llama tiempo esperado de recurrencia.
Al aplicarlo al ejemplo del inventario, estas ecuaciones se pueden usar para
calcular el tiempo esperado hasta que ya no se tengan cmaras en el almacn,
suponiendo que el proceso inicia cuando se tienen tres cmaras; es decir, se
puede obtener el tiempo esperado de primer paso . Como todos los estados son
recurrentes, el sistema de ecuaciones conduce a las expresiones
La solucin simultnea de este sistema es
De manera que el tiempo esperado hasta que la tienda se queda sin cmaras es
de 3.50 semanas.
Caso de Aplicacin.
Aplicacin a la administracin : Planeacin de Personal.
El anlis de transicin puede ser til al planear satisfacer las necesidades de
personal. Muchas firmas emplean trabajadores de diferentes niveles de
clasificacin dentro de la misma categora de trabajo. Esto es comn para
personal de confianza, oficinistas, obreros calificados, no calificados y personal
profesional. La firma debe tener el nmero de empleados en cada nivel de
clasificacin para proporcionar la oportunidad de promocin adecuada, cumplir
57
con las habilidades necesarias para el trabajo y controlar la nmina. Una
planeacin de personal a largo plazo apropiada requiere que se considere el
movimiento de personas tanto hacia arriba en el escalafn de clasificacin como
hacia afuera de la organizacin. El anlisis de Markov puede ayudar en este
esfuerzo de planeacin.
El movimiento de personal a otras clasificaciones puede considerarse como una
cadena de Markov. Se supone que hay tres clasificaciones; el grado 1 es la ms
baja. Adems, los descensos se consideran raros y se omiten. El estado "salen
es absorbente, el cual incluye renuncias, ceses, despidos y muertes. Por
supuesto, todos los empleados finalmente alcanzan este estado.
Las transiciones del grado 1 al grado 2 y del grado 2 al grado 3 representan
promociones. Como transiciones de probabilidad, estn controladas por la firma,
puede establecerse el nivel que la firma determine que es necesario para cumplir
sus objetivos. Como ejemplo, supngase que la firma tiene en este momento 30
empleados del 3, 90 empleados del grado 2 y 300 empleados del grado 1 y que
desea mantener este nivel de empleados durante el prximo ao. Por experiencia,
se espera que salgan el 30 % de los empleados de grado 1 al ao, el 20 % de los
empleados de grado 2 y el 10 % de aquellos que estn en el grado 3. Si la poltica
es contratar slo en los niveles de clasificacin ms bajos, cuntos se deben
contratar y cuntos se deben promover el siguiente ao para mantener estables
los niveles ?.
Este problema puede resolverse sin el anlisis de Markov, pero el modelo es til
para ayudar a conceptualizar el problema. Como se trata slo de un ciclo, se usa
el anlisis de transicin. El anlisis comienza con el graado ms alto. No se hacen
58
promociones pero el 10 %, o sea, 3, sale. Todos ellos deben de reemplazarse por
promociones del grado 2. En el nivel de clasificacin, el 20 % sale y se deben
promover 3, con una prdida de 21. Esto se debe compensar por promocin del
grado 1. Al pasar al grado 1, el 30 % sale y 21 deben promoverse, lo cual una
prdida total de 111. Por tanto, el siguiente ao se deben contratar 111 empleados
del nivel 1.
En este ejemplo se derivan algunas tasas de transicin a partir de consideraciones
externas.
59