Instituto Tecnologico Superior de Calkini en El Estado de Campeche

INVESTIGACION DE OPERACIONES II
INSTITUTO TECNOLOGICO SUPERIOR DE CALKINI EN EL ESTADO DE

CAMPECHE
INGENIERIA INDUSTRIAL
MATERIA:
INVESTIGACIN DE OPERACIONES II INC-1019
TRABAJO DOCUMENTAL
PROFRE:
GOMEZ KU RICARDO
7 SEMESTRE GRUPO: A
CALKINI CAMP! "0 DE SEPTIEMBRE DE "010
Unidad 4: cadenas de Markov
1
#NDICE
CAPITULO I
OBJETIVOS $%O COMPETENCIAS&&&&&&&&&&&&&&&&&!!!!'
CAPITULO II
INTRODUCCIN&&&&&&&&&&&&&&&&&&&&&&&&&&!(
CAPITULO III
(! CADENAS DE MARKOV&&&&&&&&&&&&&&&&&&&&&&)
(!1! INTRODUCCIN A LAS CADENAS DE MARKOV&&&&&&&&&!!!)
(!"! PROBABILIDAD DE TRANSICIONES ESTACIONARIAS DE N PASOS!9
(!'! ESTADO ESTABLE&&&&&&&&&&&&&&&&&&&&&&&1)
(!(! ESTADOS ABSORBENTES&&&&&&&&&&&&&&&&&&&!!"'
(!*! USO DE SOFT+ARE
CONCLUSIN&&&&&&&&&&&&&&&&&&&&&&&&&&&!!",
BIBLIOGRAFIA&&&&&&&&&&&&&&&&&&&&&&&&&&&!"9
2
CAPITULO I
UNIDAD 4: CADENAS DE MARKOV
Competencia especifica a desarrollar Actividades de Aprendizaje
Utilizar las cadenas de Mark!
"ara la resl#ci$n de "r%le&as'
Utilizaci$n de s(t)are
Identi(icar las caracter*sticas de
ls &dels + "r%le&as de
Cadenas de Mark!'
,r&#lar + resl!er "r%le&as
en siste&as -#e se "#eden
&delar "r el &.td de
cadenas de Mark!'
Esta%lecer + e/"licar las
cncl#sines + rec&endacines
"ara siste&as de este ti"'
CAPITULO II
INTRODUCCI0N
En las cadenas de Mark! cnsidera cierts "#nts discrets en el tie&"
{
t
k
}
1
"ara
k
t&a !alres de 21 31 415' 6
t
k
la !aria%le aleatria -#e caracteriza
al siste&a
t
k
' 6 la (a&ilia de las !aria%les aleatrias
t
k
(r&a #n "rces
lla&ad proceso estocstico. Entnces las cadenas de Mark! se #san "ara
est#diar cierts c&"rta&ients de lar7 + crts "lazs de siste&as
estc8stics'
9ara #n "rces de Mark! es #n siste&a estc8stic sie&"re -#e c#&"la cn la
"r"iedad Mark!iana!
Ls estads en el tie&"
t
k
re"resentan sit#aci$n e/:a#sti!a + &#t#a&ente
e/cl#+entes del siste&a en #n tie&" es"ec*(ic' Ade&8s el n;&er de estad
"#ede ser (init in(init' Un e<e&"l es el <#e7 de lanzar la &neda'
9r l 7eneral #na cadena de Mark! descri%e el c&"rta&ient de transici$n de
#n siste&a en inter!als de tie&" i7#al&ente es"aciads' Sin e&%ar71 e/isten
sit#acines dnde ls es"acia&ients te&"rales de"enden de las caracter*sticas
del siste&a + "r ell1 "#eden n ser i7#ales entre s*' Ests cass se den&inan
cadenas de Mark! incr#stadas'
Cn las "r%a%ilidades a%sl#tas + de transici$n "dre&s :acer "rediccines de
c&"rta&ients (#t#rs c& las -#e se %ser!arn en las sit#acines
anterires' As*1 si lla&a&s estads a cada #na de estas "si%ilidades -#e se
"#eden "resentar en #n e/"eri&ent sit#aci$n es"ec*(ica1 entnces "de&s
!is#alizar en las Cadenas de Mark! #na :erra&ienta -#e ns "er&itir*a cncer
a crt + lar7 "laz ls estads en -#e se encntrar*an en "erids tie&"s
(#t#rs + t&ar decisines -#e a(ectar8n (a!recer8n n#estrs intereses'
!as "ro#a#i$idades a#so$%&as ' de &ransici(n son e)*a%s&ivas '
+%&%a+en&e e)c$%'en&es de %n e)"eri+en&o a$ea&orio en c%a$,%ier
&ie+"o-
Las cadenas de Mark! sn &dels "r%a%il*stics -#e se #san "ara "redecir la
e!l#ci$n + el c&"rta&ient a crt + a lar7 "laz de deter&inads siste&as'
4
E<e&"ls: re"art del &ercad entre &arcas= din8&ica de las a!er*as de &8-#inas
"ara decidir "l*tica de &anteni&ient= e!l#ci$n de #na en(er&edad'
Las cadenas de Mark! se "#eden a"licar en 8reas c& la ed#caci$n1
c&ercializaci$n1 ser!icis de sal#d1 (inanzas1 cnta%ilidad + "rd#cci$n' En este
ca"*t#l se analizan las ideas %8sicas necesarias "ara entender las cadenas de
Mark!'
M#c:as de las a"licacines interesantes de las cadenas de Mark! tienen -#e !er
cn cadenas en las -#e al7#ns de ls estads sn a%sr%entes + el rest sn
estads transitris
E-./01 2-./342
es #na &atriz de transici$n de #na cadena er7di7a1 en la c#al
e/iste #n !ectr1
[ ]
n

2 1
, =
-#e ta&%i.n es lla&ad 05-.6537859: 02 2-./01
2-./342 05-.6537859: 02 2;75453651 "ara la cadena de Mark!' C#enta cn
inter"retaci$n int#iti!a de "r%a%ilidades el c#al se %tiene restand de a&%s
lads de la ec#aci$n de "r%a%ilidad'
.
CAPITULO III
(! CADENAS DE MARKOV
(!1-! INTRODUCCIN A LAS CADENAS DE MARKOV
LAS CADENAS DE MARKOV
Cnsidere ls "#nts discrets en el tie&"
{
t
k
}
"ara
k=1,2
+ sea
t
k
la
!aria%le aleatria -#e caracteriza el estad del siste&a
t
k
' La (a&ilia de
!aria%les aleatrias
{
t
k
}
(r&a #n <6182-1 2-.18=-.581! Ls estads en el
tie&"
t
k
re"resentan real&ente las sit#acines >e/:a#sti!a + &#t#a&ente
e/cl#+entes? del siste&a en ese tie&" es"ec*(ic' El n;&er de estads "#ede
ser entnces (init in(init'
P16 2>2?<411 la distri%#ci$n de 9iss$n
P
n
(t )=
e
t
( t )
n
n!

Re"resenta #n "rces estc8stic cn #n n;&er in(init de estads' Varia%le
aleatria n re"resenta a-#* el n#&er de s#cess entre + t >s#"niend -#e el
siste&a c&ienza en el tie&" @?' Ls estads del siste&a en c#al-#ier tie&" t
est8n dads "r
n=0,1,2
O.61 2>2?<41: es el <#e7 de lanzar la &neda cn k lanza&ients' cada
lanza&ient se "#ede inter"retar c& #n "#nt en el tie&"' La sec#encia
res#ltante de lanza&ients cnstit#+e #n "rces estc8stic' El estad del
siste&a en c#al-#ier lanza&ient es 87#ila sl1 %ien1 cara cr#z'
/
Una cadena de Mark! es en realidad #n cas es"ecial de "rcess de Mark!'
Se #sa "ara est#diar el c&"rta&ient a crt + lar7 "laz de cierts siste&as
estc8stics'
PROCESOS DE MARKOV
Un proceso de Markov es #n siste&a estc8stic en el -#e la c#rrencia de #n
estad (#t#r de"ende del estad in&ediata&ente "recedente + s$l de .l' As*1 si
t
0
<t
1
<t
n
( n=0,1,2, )
re"resenta "#nts en el tie&"1 la (a&ilia de !aria%les
aleatris
{
t
k
}
es #n "rces de Mark!1 si .sta "see la si7#iente <61<520/0
M/6@1A5/:/:
P
{
t
n
=x
n|
t
n1
, ,
t
0
=x
0}
=P
{
t
n
=x
n|
t
n1
=x
n1}
9ara tds ls !alres "si%les de
t
0
,
t
1
,,
t
n
'
La "r%a%ilidad
P
x
n
1,
x
n
=P
{
t
n
=x
n|
t
n1
=x
n1}
se lla&a <613/35450/0 02
.6/:-5859:' Re"resenta la "r%a%ilidad condicional de -#e el siste&a est. en
x
n
en
t
n
1 dad -#e esta%a en
x
n1
en
t
n1
' Esta "r"iedad ta&%i.n se
den&ina <613/35450/0 02 .6/:-5859: 02 7: </-11 +a -#e descri%e al siste&a
entre
t
n1
+
t
n
' Una "r"iedad de transici$n de m "ass se de(ine entnces
c&:
P
x
n
, x
n+m
=P
{
t
n
+m
=x
n+m|
t
n
=x
n}

CADENAS DE MARKOV
Sean
E
1
, E
2
, , E
j
( j=0,1,2, )
ls estads e/:a#sti!s + &#t#a&ente
e/cl#+entes de #n siste&a en #n tie&" c#al-#iera' Inicial&ente1 en el tie&"
t
0
1 el siste&a "#ede estar en c#al-#iera de ess estads' Sean
a
j
( 0)
( j=0,1,2, )
las "r%a%ilidades a%sl#tas de -#e el siste&a se enc#entra en
el estad
E
j
en
t
0
' S#"n7a ade&8s -#e el siste&a es Mark!iana'
De(ini&s
0

P
ij
=P
{
t
n
=j
|
t
n1
=i
}

C& la "r%a%ilidad de transici$n de #n "as1 de "asar del estad
i
en
t
n1
al estad
j
en
t
n
1 s#"ne&s -#e esas "r%a%ilidades de transici$n del
estad
E
i
al estad
E
j
se "#eden arre7lar &8s cn!eniente en (r&a de
&atriz c& si7#e:
P=
(
p
00
p
10
p
20
p
30
p
01
p
11
p
21
p
31
p
02
p
12
p
22
p
32
p
03
p
13
p
23
p
33
)
La &atriz 9 se den&ina &atriz estc8stica &atriz de transici$n :&7.nea "r
-#e tdas las "r%a%ilidades de transici$n
P
ij
sn (i<adas e inde"endientes del
tie&"'
Las "r%a%ilidades
P
ij
de%en satis(acer las cndicines
j
P
ij
=1, paratoda i
P
ij
0, paratodai y j
De%e&s de(inir a:ra #na 8/02:/ 02 M/6@1A' Una matriz p de transicin junto
con las probabilidades inciales
{a
j
0
}
, asociados con los estados
E
j
, definen
completamente una cadena de Markov.
Se "iensa "r l 7eneral -#e #na cadena de Mark! descri%e el c&"rta&ient
de transici$n de #n siste&a en inter!als de tie&" i7#al&ente es"aciads' Sin
e&%ar71 e/isten sit#acines dnde ls es"acia&ients te&"rales de"enden de
las caracter*sticas del siste&a + "r ell1 "#eden n ser i7#ales entre s*' Ests
cass se den&inan 8/02:/- 02 M/6@1A 5:867-./0/-!
CLASIFICACIN DE LOS ESTADOS EN LA CADENAS DE MARKOV
1
Al #sar el an8lisis de las cadenas de Mark! seria interesante est#diar el
c&"rta&ient del siste&a en #n "erid crt' En este cas1 las "r%a%ilidades
a%sl#tas se calc#lan c& en la secci$n "recedente' Sin e&%ar71 #n est#di
&8s i&"rtante tendr*a -#e !er cn el c&"rta&ient a lar7 "laz del siste&a1
sea1 c#and el n;&er de transici$n tendiese a in(init' En tal cas1 el an8lisis
"resentad en la secci$n "recedente es inadec#ad1 + es necesari encntrar #n
"rcedi&ient siste&8tic -#e "redi7a el c&"rta&ient del siste&a a lar7
"laz' Esta secci$n "resenta de(inicines de la clasi(icaci$n de ls estads en las
cadenas de Mark! -#e ser8n ;tiles al est#diar el c&"rta&ient de ls siste&as
a lar7 "laz'
CADENA DE MARKOV IRREDUCIBLE
Se dice -#e #na cadena de Mark! es 56620785342 si cada estad
E
j
se "#ede
alcanzar desde c#al-#ier tr estad
E
i
des"#.s de #n n;&er (init de
transicines= sea1 "ara
i j
1
P
ij
(n)
>0, para1n<
En este cas1 tds ls estads de la cadena -2 81?7:58/:'
CADENAS ERGDICAS DE MARKOV
Una cadena de Mark! irred#ci%le es er7$dica si tds s#s estads sn er7$dics'
En este cas la distri%#ci$n de "r%a%ilidad a%sl#ta
a
( n)
=a
(0)
P
n

Sie&"re cn!er7e #n*!ca&ente a #na distri%#ci$n l*&ite c#and
n
1 dnde
la distri%#ci$n l*&ite es inde"endiente de las "r%a%ilidades in*ciales
a
( 0)
'
A:ra "de&s an#nciar el si7#iente tere&a:
Tere&a 2A'BC2 Tds ls estads en #na cadena de Mark! in(inita irred#ci%le
"#eden "ertenecer a #na1 + sl #na1 de las si7#ientes tres clases: estads
transitris1 estads rec#rrentes n#ls estads rec#rrentes n n#ls' En cada
cas1 tds ls estads se c&#nican + tienen el &is& "erid' En el cas
2
es"ecial c#and la cadena ten7a #n n;&er (init de estads1 la cadena n "#ede
cnstar sl de estads transitris1 ni ta&"c "#ede cntener al7;n estad
n#l'
(!" PROBABILIDAD ABSOLUTAS $ DE TRANSICIN
Dadas
{a
j
o
}
+
P
de #na cadena de Mark!1 las "r%a%ilidades a%sl#tas del
siste&a des"#.s de #n n;&er es"eci(ic de transici$n se deter&ina c& si7#e'
Sean
{a
j
( n)
}
las "r%a%ilidades a%sl#tas del siste&a des"#.s
n
transici$n1
sea1 en
t
n
' La e/"resi$n 7eneral "ara
{a
j
(n)
}
en t.r&ins de
{a
j
( 0)
}
+
P
se
"#ede encntrar c& si7#e:
a
j
( 1)
=a
1
(0)
P
1 j
+a
2
( 0)
P
2 j
+a
3
( 0)
P
3 j
+=
a
i
( 0)
P
ij

Ta&%i.n
a
j
( 2)
=
i
a
i
(1)
P
ij
=
i
(
k
a
k
( 0)
P
ki
)
=P
ij
=
k
a
k
(0)
(
i
P
ki
P
ij
)
=
k
a
k
(0)
P
kj
2

Dnde
P
kj
2
=
i
P
ki
P
ij
es la <613/35450/0 02 .6/:-5859: 02 -2B7:01 1602: 1
02 01- </-1- sea1 es la "r%a%ilidad de "asar del estad
k
al estad
j
en e/acta&ente ds transicines'
De i7#al &anera se "#ede de&strar "r ind#cci$n -#e

a
j
( n)
=
i
a
i
(0)
(
k
P
ik
(n1)
P
kj
)
=
i
a
i
( 0)
P
ij
( n)
Dnde
P
ij
(n)
es la "r%a%ilidad de transici$n de rden
n
de
n
"ass dada
"r la (r&#la rec#rsi!a
p
ij
(n)
=
k
P
ik
(n1)
P
kj

13
En 7eneral1 "ara tda
i y j
1
P
ij
(n)
=
k
P
ik
(nm)
P
kj
( m)
, 0<m<n
Estas sn las 287/851:2- 02 CC/<?/:-K141?1B161A!
Ls ele&ents de #na &atriz de transici$n de rden s#"erir
P
ij
(n)
se
"#eden %tener en (r&a directa "r &#lti"licaci$n &atricial' As*1
P
ij
2
=P
ij
P
ij
=P
2
P
ij
3
=P
ij
2
P
ij
=P
3
6 en 7eneral1
P
ij
(n)
=P
n1
P=P
n
9r cnsi7#iente1 si las "r%a%ilidades a%sl#tas se de(inen en (r&a !ectrial
c&
a
( n)
={a
1
( n)
,a
2
(n)
, a
3
( n)
, }
Entnces
a
( n)
=a
(0)
P
(n)
E>2?<41 1,!)-1
Cnsidere la si7#iente cadena de Mark! cn ds estads1
P=
(
.2 .8
.6 .4
)
Cn
a
( n)
=( 0.7 0.3)
' Deter&ine
a
( 1)
,a
(4)
y a
( 8)
'
11
P
2
=
(
.2 .8
.6 .4
)(
.2 .8
.6 .4
)
=
(
.52 .48
.36 .64
)
P
4
=P
2
P
2
=
(
.52 .48
.36 .64
)(
.52 .48
.36 .64
)
(
.443 .557
.417 .583
)
P
8
=P
4
P
4
=
(
.443 .557
.417 .583
)(
.443 .557
.417 .583
)
(
.4281 .5719
.4274 .5726
)
Entnces
a
1
=( .7 .3)
(
.2 .8
.6 .4
)
=( .32 .68)
a
4
=( .7 .3)
(
.443 .557
.417 .583
)
=( .435 .565)
a
8
=( .7 .3)
(
.4281 .5719
.4274 .5726
)
=( .4279 .5721)
El res#ltad interesante es -#e las (ilas de
P
8
tienden a ser id.nticas' Ta&%i.n1
a
8
tienden a ser id.nticas cn las (ilas de
P
8
' Este res#ltad tiene -#e !er
cn las "r"iedades a lar7 "laz de las cadenas de Mark! -#e1 c& se
&#estra en esta secci$n1 i&"lica -#e las "r%a%ilidades a%sl#tas a lar7 "laz
sn inde"endientes de
a
( 0)
' En este cas las "r%a%ilidades res#ltantes se
den&inan <613/35450/02- 02 2-./01 2-./342!
P613/35450/02- 02 .6/:-5859: 2: 4/ :-D-5?/ 2./</
S#"n7a -#e se est8 est#diand #na cadena de Mark! cn #na &atriz de
"r%a%ilidad de transici$n cncida P. >9#est -#e las cadenas cn las se tratara
sn estacinarias1 n ns &lestare&s en &arcar n#estras cadenas de Mark!
c& estacinarias?' Una "re7#nta de inter.s es: si #na cadena de Mark! est8
en estad i en el tie&" m1 DC#8l es la "r%a%ilidad de -#e n "erids des"#.s la
cadena est. en el estad jE 9#est -#e se trata cn #na cadena de Mark!
estacinaria1 esta "r%a%ilidad es inde"endiente de m, as* -#e se "dr*a escri%ir
12
P=
(
X
m+n
=j
|
X
m
=i
)
=P
(
X
n
=j
|
X
0
=i
)
=P
ij
(n)
Dnde
P
ij
(n)
se lla&a <613/35450/0 024 n-D-5?1 "as de #na transici$n del
estad i al estad j.
Res#lta clar -#e
P
ij
( 1)=p
ij
' 9ara deter&inar
P
ij
(2)
1 %ser!e -#e si el
siste&a a:ra est8 en el estad i1 entnces "ara -#e el siste&a ter&ine en el
estad j ds "erids a "artir de a:ra1 se de%e ir del estad i a al7;n estad k +
l#e7 del estad k al estad j >!.ase la (i7#ra 4?' Este razna&ient ns "er&ite
escri%ir
P
ij
( 2)=
k=1
k=s
( probabilidaddetransici ndei ak)
X( probabilidad detransici nde k a j)
Usand la de(inici$n de P, la &atriz de "r%a%ilidad de transici$n1 se reescri%e la
#lti&a ec#aci$n c&
P
ij
( 2)=
k=1
k=s
(P
ik
P
kj
)
El lad dere4c: de >4? es sl el "rd#ct escalar del ren7l$n i de la &atriz P cn
la cl#&na de la &atriz P. "r cnsi7#iente1
P
ij
(2)
es el ijC.si& ele&ent de
la &atriz
P
2
' Al a&"liar este razna&ient1 se "#ede de&strar -#e "ara
n>1
1
P
ij
( n) =ij! simo elemento de P
n
9r s#"#est1 "ara
n=0, P
ij
( 0)=P
(
X
0
=j
|
X
0
=i
)
1 as* -#e se de%e escri%ir
P
ij
( 0) =
{
1si j=i
0si j i

1
Se il#stra el #s de la ec#aci$n >4? en el e<e&"l 4'
FIGURA '
P
ij
( 2)=p
i 1
p
1 j
+p
i 2
p
2 j
++p
is
p
sj
E>2?<41 ( 2>2?<41 02 4/ 32350/ 02 814/
S#"n7a -#e tda la ind#stria de %e%idas de cla "rd#ce sl ds' Dad -#e #na
"ersna la ;lti&a !ez c&"r cla 21 :a+ F@G de "r%a%ilidades de -#e s#
si7#iente c&"ra sea cla 2' Dad -#e la #lti&a c&"ra de #na "ersna (#e cla
31 :a+ A@G de "r%a%ilidades de -#e s# si7#iente c&"ra sea cla 3'
2' Si #na "ersna en la act#alidad es c&"radr de cla 31 Dc#8l es la
"r%a%ilidad de -#e c&"re cla 2 ds !eces a "artir de a:raE
3' Si #na "ersna en la act#alidad es c&"radr de cla 21 Dc#8l es la
"r%a%ilidad de -#e c&"re cla 2 tres casines a "artir de a:raE
S147859:
14
Vea&s la c&"ra de cada "ersna c& #na cadena de Mark! cn el estad1
en c#al-#ier tie&" dad1 del ti" de cla -#e c&"r la "ersna en la ;lti&a !ez'
As*1 las c&"ras de cada indi!id# "#eden re"resentarse c& #na cadena de
Mark! de ds estads1 dnde
Estad 2H La "ersna c&"r cla del ti" 2 la ;lti&a !ez'
Estad 3H La "ersna c&"r cla del ti" 3 la ;lti&a !ez'
Si se de(ine
X
n
c& el ti" de cla -#e #na "ersna c&"ra en s# n!.si&a
c&"ra (#t#ra >c&"ra act#al de cla H
X
0
?1 entnces
X
0
, X
1
,
se "dr*a
escri%ir c& la cadena de Mark! cn la si7#iente &atriz de transici$n:
P=
"ola1
"ola2
"ola1 "ola2
(
.90 .10
.20 .80
)

A:rra se "#eden cntestar las "re7#ntas 2 + 3'
1 Se %#sca
P=( X
2
=1|X
0
=2)=P
21
( 2)=elemento 21de P
2
:
P
2
=
[
.90 .10
.20 .80
][
.90 .10
.20 .80
]
=
[
.83 .17
.34 .66
]
9r cnsi7#iente1
P
21
( 2)=.34
' Est si7ni(ica -#e la "r%a%ilidad de -#e #n
%e%edr de cla 3 en el (#t#r c&"re ds !eces cla 2 es '44' Mediante la ter*a
de "r%a%ilidad %8sica1 se "dr*a %tener esta res"#esta de #na &anera distinta
>!.ase la (i7#ra 4?' O%ser!e -#e
P
21
( 2)
H >"r%a%ilidad de -#e la si7#iente
c&"ra sea cla 2 + la se7#nda c&"ra sea cla 2? I >"r%a%ilidad de -#e la
si7#iente c&"ra sea cla 3 + la se7#nda c&"ra sea cla 2? H
p
21
p
11
+p
22
p
21
=(.20) ( .90) +( .80) ( .20)=.34
'
" Se %#sca
P
11
( 3)=elemento 11de p
3
:
P
3
=P( P
2
)=
[
.90 .10
.20 .80
] [
.83 .17
.34 .66
]
=
[
.781 .219
.438 .562
]
1.
9r l tant1
P
11
( 3)=.781#
F5B76/ (
L/ <613/35450/0 02 ;72 01- <265101- / </6.56 02 /C16/ 7: 81?<6/016 02
814/ " 81?<62 814/ 1 2-
( .20) (.90)+( .80) ( .20)=.34

F5B76/ *
D2.26?5:/859: 02 4/ <613/35450/0 02 2-./6 2: 24 2-./01 > 2: 24 .52?<1 :
87/:01 -2 02-81:182 24 2-./01 5:585/4!
En &#c:as sit#acines1 n se cnce el estad de la cadena de Mark! en el
tie&" @' C& se de(ine en la secci$n 2J'31 sea "i la "r%a%ilidad de -#e la
cadena este en el estad i en el tie&" @' Entnces se "#ede deter&inar la
"r%a%ilidad de -#e el siste&a est8 en el estad i en el tie&" n "r &edi del
si7#iente razna&ient >!.ase la (i7#ra K?' La 9r%a%ilidad de estar en el
estad < en el tie&" n
1/
i=1
i=s
( probabilidad de$%el estado sea ori&inalmentei)
X( probabilidad deir dei a j enntransiciones)
i=1
i=s
$
i
P
ij
(n)
H ; >cl#&na j (
P
n
?
Dnde
$=[ $
1
$
2
$
s
]
'
9ara il#strar el #s de >K?1 se cntesta la si7#iente "re7#nta: s#"n7a -#e B@G de
las "ersnas en la act#alidad %e%en cla 2 + 4@G %e%en cla 3' Tres c&"ras a
"artir de a:ra1 D-#. (racci$n de ls c&"radres estar8 %e%iend cla 2E 9#est
-#e

$=[ .60.40]
+
$=( col%mna1de P
3
)
H "r%a%ilidad de -#e tres c&"ras a
"artir de a:ra #na "ersna %e%e cla 21 la "r%a%ilidad deseada es
[ .60.40]
[
.781
.438
]
=.6438
9r cnsi7#iente1 tres c&"ras a "artir de a:ra1 B4G de ls c&"radres estar8n
c&"rand cla 2'
9ara il#strar el c&"rta&ient de las "r%a%ilidades de transici$n del "as n "ara
!alres 7randes de n, se calc#larn !arias "r%a%ilidades de transici$n del n!
.si& "as "ara el e<e&"l de cla en la ta%la 3'
T/34/ "
P613/35450/02- 02 .6/:-5859: 024 n-D-5?1 </-1 </6/ 32320162- 02 62E62-81
02 814/!
n P
11
(n) P
12
( n) P
21
( n) P
22
( n)
2 'F@ '2@ '3@ 'A@
3 'A4 '2J '44 'BB
4 'JA '33 '44 'KB
10
4 'JK '3K 'K2 '4F
K 'J3 '3A 'KB '44
2@ 'BA '43 'BK '4K
3@ 'BJ '44 'BJ '44
4@ 'BJ '44 'BJ '44
4@ 'BJ '44 'BJ '44

9ara n 7rande1 tant
P
12
( n)
c&
P
21
( n)
sn casi cnstantes + se a"r/i&a
a 'BJ' Est si7ni(ica -#e "ara n 7rande1 sin i&"rtar el estad inicial1 :a+ #na
"r%a%ilidad 'BJ de -#e #na "ersna sea #n c&"radr de cla 2' De &anera
si&ilar1 se !e -#e "ara n 7rande1 tant
P
12
(n)
c&
P
22
(n)
sn casi
cnstantes + se a"r/i&a a '44' Est si7ni(ica -#e "ara n 7rande1 sin i&"rtar el
estad inicial1 :a+ #na "r%a%ilidad '44 de -#e #na "ersna sea c&"radr de
cla 3' En la secci$n K'K1 se :ace #n est#di c&"let de este "lantea&ient de
tdas las "r%a%ilidades de transici$n del "as n'
(!' ESTADO ESTABLE
P613/35450/02- 02 2-./01 2-./342 F .52?<1- <61?2051 02 <65?26 </-9
En el est#di del e<e&"l de cla >e<e&"l 4?1 se encntr$ -#e des"#.s de #n
lar7 tie&"1 la "r%a%ilidad de -#e la si7#iente !ez -#e #na "ersna c&"re
%e%ida de cla sea cla 2 se a"r/i&a a 'BJ +'44 de -#e ser*a cla 3 >!.ase la
ta%la 3?' Estas "r%a%ilidades n de"enden de si la "ersna t&a%a cla 2 cla
3'en esta secci$n1 se analiza el cnce"t i&"rtante de "r%a%ilidades de estad
esta%le1 -#e se "#eden #sar "ara descri%ir el c&"rta&ient a lar7 "laz de #na
cadena de Mark!'
El si7#iente res#ltad es !ital "ara c&"render las "r%a%ilidades de estad
esta%le + el c&"rta&ient a lar7 "laz de las cadenas de Mark!'
TEOREMA 1
Sea
P
la &atriz de transici$n de #na cadena er7$dic de estad esta%le'
Entnces e/iste #n !ectr
'=
[
'
1
'
2
'
s
]
tal -#e
11

lim P
n
n
=
[
'
1
'
2
'
s
'
1
'
2
'
s

'
1
'
2
'
s
]
Rec#erde -#e el
i j
Cesi& ele&ent de
P
n
es
P
ij
( n)
' El tere&a 2
esta%lece -#e "ara c#al-#ier estad inicial
i
1
lim P
ij
( n)='
j
n

O%ser!e -#e "ara
n
7rande1
n
p
tiende a #na &atriz cn ren7lnes id.ntics'
Est si7ni(ica -#e des"#.s de #n lar7 tie&"1 la cadena de Mark! se esta%iliza1
e >inde"endiente&ente del estad inicial
i
? :a+ #na "r%a%ilidad
j
de -#e se
est8 en el estad
j
'
El !ectr
[ ]
n

2 1
, =
se lla&a 05-.6537859: 02 2-./01 2-./342 05-.6537859:
02 2;754536511 "ara la cadena de Mark!' 9ara #na cadena deter&inada cn
&atriz de transici$n
P
1 DC$& se "#ede :allar la distri%#ci$n de "r%a%ilidad
de estad esta%leE A "artir del tere&a 21 se %ser!a -#e "ara
n
7rande + tda
i
1
( ) ( )
j ij ij
n p n p +1
>B?
9#est -#e
( ) = +1 n p
ij
>ren7l$n
i
de
n
p
? >cl#&na
j
de
P
?1 se "dr*a
escri%ir
( ) ( )
kj
s k
k
ij ij
p n p n p

=
=
= +
1
1
>J?
12
Si
n
es 7rande1 s#stit#+end la ec#aci$n >B? en la >J?1 se %tiene
=
=
=
s k
k
kj k j
p
1

>A?
En (r&a de &atriz1 >A? se "dr*a escri%ir c&
p =
>A
L
?
In(rt#nada&ente1 el siste&a de ec#acines es"eci(icad en >A? tiene #n n;&er
in(init de sl#cines1 de%id a -#e el ran7 de la &atriz
P
sie&"re res#lta ser
1 s
>!.ase ca"it#l 31 "r%le&a de re"as 32?' 9ara %tener ls !alres ;nics
de la "r%a%ilidad de estad esta%le1 %ser!e -#e "ara c#al-#ier
n
+ c#al-#ier
i
1
( ) ( ) ( ) 1
2 1
= + + + n p n p n p
is i i

>F?
Maciend -#e n tienda a in(init en >F?1 se %tiene
1
2 1
= + + +
s

>2@?
As*1 des"#.s de s#stit#ir c#al-#iera de las ec#acines en >A? cn >2@?1 se "#ede
#sar la ec#aci$n >A? "ara resl!er las "r%a%ilidades de estad esta%le'
9ara il#strar c& encntrar las "r%a%ilidades de estad esta%le1 se deter&inan
las "r%a%ilidades de estad esta%le "ara el e<e&"l 41 el e<e&"l de la %e%ida de
cla' Rec#erde -#e la &atriz de transici$n "ara el e<e&"l 4 (#e1
=
80 . 20 .
10 . 90 .
p

Entnces cn la ec#aci$n >A? la ec#aci$n >AL?1 se %tiene
23
[ ] [ ]

=
80 . 20 .
10 . 90 .
2 1 2 1

2 1 2
2 1 1
80 . 10 .
20 . 90 .

+ =
+ =

S#stit#+end la se7#nda ec#aci$n cn la ec#aci$n
1
2 1
= +
1 se %tiene el siste&a
2 1
2 1 1
1
20 . 90 .

+ =
+ =

Resl!iend "ara
1
+
2
1 se %tiene
3
2
1
=
+
3
1
2
=
' 9r cnsi7#iente1 de"#se
de #n lar7 tie&"1 :a+ #na "r%a%ilidad de -#e
3
2
de -#e #na "ersna
deter&inada c&"re cla 2 #na "r%a%ilidad
3
1
de -#e #n a"ersna es"eci(ica
c&"re cla 3'
A:=45-5- .6/:-5.1651
Un !istaz a la ta%la 3 &#estra -#e "ara el e<e&"l 41 el estad esta%le se alcanza
>a ds deci&ales? Des"#.s de diez transicines' Nin7#na re7la 7eneral se "#ede
e/"resar acerca de -#e tan r8"id #na cadena de Mark! alcanza el estad
esta%le1 "er si
P
cntiene &#+ "cs ele&ents -#e est8n cerca de @ cerca
de 21 "r l 7eneral el estad esta%le se alcanza &#+ r8"id' El c&"rta&ient
de #na cadena de Mark! antes de alcanzar el estad esta%le se lla&a
81?<16./?52:.1 .6/:-5.1651 > de crrida crta?' 9ara est#diar el c&"rta&ient
transitri de #na cadena de Mark!1 si&"le&ente se #tilizan las (r&#las "ara
P
ij
( n)
dadas en >4? + >K?' Sin e&%ar71 es %nit sa%er -#e "ara
n
7rande1
21
las "r%a%ilidades de estad esta%le descri%en cn "recisi$n la "r%a%ilidad de
estar en c#al-#ier estad'
I:.26<62./859: 5:.75.5A/ 02 4/- <613/35450/02- 02 2-./01 2-./342!
Se "#ede dar #na inter"retaci$n int#iti!a a las ec#acines de "r%a%ilidad de
estad esta%le >A?' Restand
'
j
p
jj
de a&%s lads de la ec#aci$n >A?1 se
%tiene
'
j
(
1p
jj
)
=
k j
'
j
p
kj
>22?
La ec#aci$n >22? esta%lece -#e en el estad esta%le1
9r%a%ilidad de -#e #na transici$n "artic#lar de<e el estad
j
H "r%a%ilidad de -#e #na transici$n "artic#lar entre al estad
j
>23?
Rec#erde -#e en el estad esta%le1 la "r%a%ilidad de -#e el siste&a este en el
estad
j
es
'
j
' De esta %ser!aci$n1 se ded#ce -#e1
9r%a%ilidad de -#e #na transici$n "artic#lar de<e el estad
j

H >"r%a%ilidad de -#e el "erid act#al c&ience en
j
?
x
>"r%a%ilidad de -#e la transici$n act#al de<e sal7a de
j
?
'
j
(
1p
jj
)
6
9r%a%ilidad de -#e #na transici$n "artic#lar entre al estad
j
22
k

9r%a%ilidad de -#e el "erid act#al c&ience en
k j
?
x
>"r%a%ilidad de -#e la transici$n act#al lle7#e a
j
?
k j
'
j
p
kj

La ec#aci$n >22? es razna%le= si "ara c#al-#ier estad se !ilara la ec#aci$n >22?1
entnces "ara al7;n estad
j
1 el lad derec: de >22? seria &a+r -#e el lad
iz-#ierd de >22?' Est dar*a c& res#ltad la "r%a%ilidad de Na"licarO en el
estad
j
1 + n e/istir*a #na distri%#ci$n de "r%a%ilidad de estad esta%le' Se
"dr*a cnsiderar -#e el estad esta%le la ec#aci$n >22? esta%lece -#e el (l#< de
"r%a%ilidad :acia cad estad de%e ser i7#al al (l#< de "r%a%ilidad -#e sale de
cada estad' Est e/"lica "r-#e las "r%a%ilidades de estad esta%le s#elen
lla&arse "r%a%ilidades de e-#ili%ris'
USO DE LAS PROBABILIDADES DE ESTADO ESTABLE EN LA TOMA DE
DECISIONES
E>2?<41 *
R2E62-81 02 814/ G81:.5:7/859:H
En el e<e&"l 41 s#"n7a -#e cada cliente realiza #na c&"ra de re(resc de cla
d#rante c#al-#ier se&ana >K3 se&anas H 2 aP?' S#"n7a -#e :a+ 2@@ &illnes
de clientes -#e cns#&en re(rescs de cla' A la c&"aP*a le c#esta 2 d$lar
"rd#cir #n re(resc de cla + l !ende en 3 d$lares' 9r QK@@ &illnes al aP1 #na
e&"resa "#%licitaria 7arantiza dis&in#ir de 2@ a K G la (racci$n de clientes de cla
2 -#e ca&%ia a cla 3 des"#.s de #na c&"ra' DDe%e la c&"aP*a -#e (a%rica
cla 2 c&"rar a la e&"resa "#%licitariaE
S147859:
2
En la act#alidad1 #na (racci$n
'
1
=
2
3
de la c&"ra es de cla 2' Cada c&"ra
de cla 2 "rd#ce a la c&"aP*a #na 7anancia de d$lar' 9#est -#e :a+ #n ttal
de K3>2@@ @@@ @@@?1 K'3 &iles de &illnes1 c&"ra de cla cada aP1 la
7anancia an#al act#al de la c&"aP*a -#e "rd#ce cla 2 es
2
3
( 5200000000)=)3466666667
La c&"aP*a "#%licitaria esta (reciend ca&%ia la &atriz
P
a
p
1
=
[
.95 .05
.20 .80
]
9ara
P
1
1 la ec#aci$n de estad esta%le sn
'
1
=.95'
1
+.20 '
2
'
2
=.05'
1
+.80 '
2
S#stit#+end la se7#nda ec#aci$n "r
'
1
+'
2
=1
+ resl!iend1 se %tiene
'
1
=.8 y '
2
=.2
' A:ra la 7anancia an#al de la c&"aP*a -#e "rd#ce cla 2 ser8
( .80) (5200000000) 500000000=)3660000000
9r l tant1 la c&"aP*a -#e "rd#ce cla 2 de%e cntratar a la a7encia de
"#%licidad'
E>2?<41 )
J7B/:01 ?1:1<1451
cn la s#"sici$n de cada <#7adr de &n"li -#e !a a la c8rcel
"er&anente&ente "r all* :asta -#e %ten7a "ares :a+a "asad tres t#rns en
la c8rcel1 As: + Ris:" >2FJ3? deter&inarn la "r%a%ilidad de estad esta%le de
-#e #n <#7adr #%icad en c#al-#ier c#adr de &n"li >!.ase la ta%la 4?' Las
"r%a%ilidades de estad esta%le se "#eden #sar "ara &edir la renta%ilidad de
%aris &n"lis' 9r e<e&"l1 en el &n"li naran<a c#esta 2K@@ d$lares
cnstr#ir :teles' Cada !ez -#e #n <#7adr se :s"eda en #n :tel de a!enida
24
Tennessee de St' Sa&es "lace1 el d#eP del &n"li reci%e FK@ d$lares1 +
cada !ez -#e #n <#7adr lle7a a #n :tel de a!enida n#e!a +rk1 el d#eP reci%e
2@@@ d$lares' De la ta%la 41 se calc#la la renta es"erada "r lanza&ient de ls
dads -#e %tiene el &n"li naran<a:
950( .0335) +950( .0318) +1000(.0334)=)95.44
Asi "r d$lar in!ertid1 el &n"li naran<a "rd#ce
95.44
1500
=)0.064
"r
lanza&ient de ls dads'
A:ra1 cnsidere el &n"li !erde' 9ner :teles en el &n"li !erde c#esta
4@@@ dlares' Si #n <#7adr lle7a a #n :tel de a!enida carlina del nrte de
a!enida "aci(ic1 el d#eP reci%e 23JK dlares1 si #n <#7adr lle7a a #n :tel de
a!enida 9ensil!ania1 el d#eP reci%e 24@@' De la ta%la 41 el in7res "r&edi "r
lanza&ient de ls dads %tenids de ls :teles en el &n"li !erde es:
1275(.0294) +1275( .0300)+1400( .0279) =)114.80
2.
Asi1 "r d$lar in!ertid1 el &n"li !erde "rd#ce sl
114.80
3000
=) 0.038
"r
lanza&ient de ls dads'
Este an8lisis &#estra -#e el &n"li anaran<ad es s#"erir al !erde' A
"r"$sit1 D9r -#. el &n"li naran<a aterriza cn tanta (rec#enciaE
2/
(!( ESTADO ABSORBENTE
ESTADOS ABSORBENTES $ ESTADOS DE CONJUNTO CERRADO
En #na cadena de Mark! #n cn<#nt C de estads se den&ina cerrad si el
siste&a1 #na !ez en #n de ls estads de C1 "ertenece en C inde(inida&ente' Un
e<e&"l es"ecial de #n cn<#nt cerrad es #n estad "artic#lar
Ej
-#e ten7a
#na "r%a%ilidad de transici$n
p
ij
=1
' En este cas
Ej
se den&ina estad
a%sr%ente'
Tds ls estad de #na cadena irred#ci%le de%en (r&ar #n cn<#nt cerrad +
nin7;n tr s#%cn<#nt "#ede ser cerrad' El cn<#nt cerrad C ta&%i.n de%e
satis(acer tdas las cndicines de #na cadena de Mark! + "r ell1 "#ede
est#diarse de (r&a inde"endiente'
E<e&"l:
Cnsidere la si7#iente cadena de Mark!:
20
P=
0
1
2
3
0 1 2 3
(
1/ 2 1/ 4 1/ 4 0
0 0 1 0
1/ 3 0 1/ 3 1/3
0 0 0 1
)

Esta cadena se il#stra 7r8(ica&ente en la (i7#ra 2AC3' La (i7#ra &#estra -#e ls
c#atr estads n cnstit#+en #na cadena irred#ci%le1 +a -#e ls estad @12 + 3 n
se "#eden alcanzar desde el estad 4' El estad 41 en s* &is&1 (r&a #n
cn<#nt cerrad +1 "r cnsi7#iente1 es a%sr%ente' Ta&%i.n se "#ede decir1 -#e
el estad 4 (r&a #na cadena irred#ci%le'
TIEM9OS DE 9RIMER RETORNO
Una de(inici$n i&"rtante en la ter*a de las cadenas de Mark! es el tie&" de
"ri&er retrn' Dad -#e el siste&a esta inicial&ente en el estad
Ej
1 "#ede
retrnar a
Ej
"r "ri&era !ez en el "as en.si&1 cn
n1.
el n#&er de
"ass antes de -#e el siste&a retrne a
Ej
se lla&a tie&" de "ri&er retrn'
Sea
*
jj
(n)
la "r%a%ilidad de -#e el "ri&er retrn a
Ej
c#rra en el "as
en.si&'
Entnces1 dada la &atriz de transici$n
21
p=Pi j

Se "#ede deter&inar #na e/"resi$n "ara
*
jj
(n)
c& si7#e:
Pjj=*
jj
(n)
*
jj
(2)
=*
jj
(2)
+*
jj
(1)
Pjj
O
*
jj
(2)
=*
jj
(2)
*
jj
(1)
Pjj
Se "#ede "r%ar "r ind#cci$n -#e1 en 7eneral1
p
jj
(n)
=*
jj
(n)
+
m=1
n1
*
jj
(m)
p
jj
( nm)
L -#e da la e/"resi$n re-#erida
p
jj
(n)
=*
jj
(n)
m=1
n1
*
jj
(m)
p
jj
(nm)
La "r%a%ilidad de "r l &ens #n retrn al estad
Ej
est8 dada "r
*
jj
=
n=1
*
jj
(n)
Entnces1 es se7#r -#e el siste&a retrna a
j si *
jj
=1
' En este cas1 si
+
jj
de(ine el tie&" &edi de retrn >rec#rrencia?1
+
jj
=
n=1
n
jj
(n)
22
Si
*
jj
=1
1 n es se7#r -#e el siste&a retrnara a
Ej
+1 en cnsec#encia1
+
jj
=#

9r este &ti! ls estads de #na cadena de Mark! se "#eden clasi(icar cn
%ase en la de(inici$n de ls tie&"s de "ri&er retrn c& si7#e:
1- Un estad es .6/:-5.1651 si
*
jj
<1,o sea, +
jj
=#
2- Un estad es 6287662:.2 >"ersistente? si
*
jj
=1.
- Un estad 6287662:.2 es :741 si
+
jj
= y non%lo si +
jj
<( *inito) #
4- Un estad es <26590581 cn "erid t si es "si%le #n retrn sl en ls
pasos t, #t, $t,%.Est si7ni(ica -#e
p
jj
(n)
=0
sie&"re -#e n n sea di!isi%le
entre t'
.- Un estad rec#rrente es 26B90581 si es n n#l + a"eri$dic >n "eri$dic?'
DISTRIRUCI0N LTMITE DE CADENAS ERRREDUCIRLES
El e<e&"l 2A'BC2 &#estra -#e cn(r&e a#&ente el n;&er de transicines1
"r%a%ilidad a%sl#ta se !#el!e inde"endiente a lar7 "laz de las cadenas de
Mark!'
En esta secci$n "resenta&s la deter&inaci$n de la distri%#ci$n l*&ite >a lar7
"laz? de #na cadena irred#ci%le' La "resentaci$n se cncretara al ti" a"eri$dic
+a -#e es el ;lti& ti" necesari en este te/t' Ade&8s1 el an8lisis del ti"
"eri$dic es %astante c&"le<'
La e/istencia de #na distri%#ci$n l*&ite en #na cadena irred#ci%le a"eri$dica
de"ende de la clase de s#s estads' Entnces1 cnsiderand las tres clases
dadas en el tere&a 2A'BC21 "de&s en#nciar el si7#iente tere&a'
T2162?/ 1,!)-" En #na cadena de Mark! irred#ci%le a"eri$dica1 >a? Si ls
estads sn tds transitris tds n#ls1 entnces
p
ij
(n)
0
c&
n,
"ara tda & + j +1 n e/iste #na distri%#ci$n li&ite'
>%? Si tds ls estads sn er7$dic1 entnces
3
lim
n
a
j
(n)
=,
j
,

j=0,1, 2,
Dnde
,
j
es la distri%#ci$n li&ite >estad esta%le?' Las "r%a%ilidades
,
j
e/isten en (r&a ;nica + sn inde"endiente de
a
j
(0)
#
en este cas1
,
j
se
"#ede deter&inar a "artir del cn<#nt de ec#acines
t
,
j
=
i
,
i
p
ij
1=
j
,
j
El tie&" &edi de rec#rrencia "ara el estad < esta dad entnces "r
+
jj
=
1
,
j
E<e&"l 2A'BC4
Cnsidere el e<e&"l 2A'BC2' 9ara deter&inar s# distri%#ci$n de "r%a%ilidades de
estad esta%le1 tene&s
,
1
=# 2,
1
+# 6,
2
,
2
=# 8 ,
1
+# 4 ,
2
1=,
1
+,
2
UUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUU
t
O%ser!e -#e #na de las ec#acines
,
j
=
i
,
i
p
ij
es red#ndante
1
>O%ser!e -#e #na de las "ri&eras ds ec#acines es red#ndante'? La sl#ci$n da:
,
1
=0.4286 y ,
2
=0.5714#
Ests !alres sn cercans a ls !alres de
a
(8)
>+ a
las (ilas de
P
8
? en el e<e&"l 2A'BC2' L#e7 tene&s
+
11
=1/ ,
1
=2.3 +
22
=1/ ,
2
=1.75
De &d -#e el tie&" &edi de rec#rrencia "ara ls estads "ri&er + se7#nd
sn 3'4 + 2'JK "ass1 res"ecti!a&ente'
E<e&"l 2A'BC4
Cnsidere la cadena de Mark! si7#iente cn tres estads:
P=
0
1
2
0 1 2
(
1/ 2 1/ 4 1/ 4
1/ 2 1/ 4 1/ 4
0 1/2 1/ 2
)

Esta se lla&a ?/.65I 2-.18=-.58/ 013421 +a -#e
P
ij
=
j=1
s
P
ij
=1
i=1
s
Dnde s es el n;&er de estads' En tales cass1 las "r%a%ilidades de estad

esta%le sn
,
j
=1/ s
"ara tda j. as*1 "ara la &atriz dada
2=1/ 3
1= ,
,
0
=,

2
CONCLUSIN
C& cncl#si$n de las cadenas de Mark! ns "er&ite :acer an8lisis s%re el
est#di de ls c&"rta&ients de cierts siste&as en cierts "erids -#e
"#eden ser crts lar7s' Ade&8s se tiene #na relaci$n cn las "r%a%ilidades
a%sl#tas' 9er sin e&%ar7 l &8s i&"rtante es el est#di del c&"rta&ient
siste&as a lar7 "laz1 c#and el n;&er de transicines tiene al in(init' Ls
estads en las cadenas de Mark! ser8n ;tiles "ara el est#di del c&"rta&ient
de ls siste&as a lar7 "laz'
NV#e tds ls estads en #na cadena de Mark! in(inita irred#ci%le "#eden
"ertenecer a #na1 + sl #na1 de las si7#ientes tres clases: estads transitris1
estads rec#rrentes n#ls estads rec#rrentes n n#lsO
Al a%rdar este te&a es "ara cncer &8s &ens las "r%a%ilidades de #n
e/"eri&ent1 est a s# !ez ns "er&itir8 cncer a crt + "laz ls estads en
-#e se encntrar*an en "erids tie&"s (#t#rs + t&ar decisines -#e
a(ectar8n (a!recer8n n#estrs intereses1 + t&ar #na decisi$n de &anera
cnsciente + n se c&entan &#c:s errres'
Est ta&%i.n ns "r"rcinara #n tie&" esti&ad "ara -#e identi(i-#e&s cada
estad + el "erid en -#e se enc#entra cn la i&"le&entaci$n de #n "rces1
ta&%i.n se esta%lece las "r%a%ilidades c& #na :erra&ienta &8s en las
cadenas de Mark!'
Las cadenas de Mark! sn &dels "r%a%il*stics -#e se #san "ara "redecir la
e!l#ci$n + el c&"rta&ient a crt + a lar7 "laz de deter&inads siste&as'
E<e&"ls: re"art del &ercad entre &arcas= din8&ica de las a!er*as de &8-#inas
"ara decidir "l*tica de &anteni&ient= e!l#ci$n de #na en(er&edad'
Se dice -#e la cadena de Mark! es a%sr%ente si #na &8s estads es #n
estad a%sr%ente es #na cadena de Mark! a%sr%ente' 9er "ara -#e se
"#edan resl!er darle sl#ci$n a &#c:as de las "re7#ntas -#e se 7eneran la
cadena de Mark! de%e se7#ir #n rden "ri&er se dice -#e ls estads de%en
ser transitris1 l#e7 ls estads a%sr%entes'
E-./01 2-./342! Sn (r&#las -#e se desarrllan1 -#e des"#.s de #n lar7
tie&" %#sca la esta%ilizaci$n del estad inicial
i
+a -#e :a+ #na "r%a%ilidad
de -#e dic: estad
i
se enc#entre en el estad
j
1 + s#stit#+end dic:as
ec#acines es c& se res#el!en ls "r%le&as de estad esta%le' De tra
&anera las ec#acines de estad esta%le sn restadas en a&%s lads + la
"r%a%ilidad de -#e de<e el estad
j
es i7#al a -#e entre en el estad
j
+ la
"r%a%ilidad de -#e este en el estad
j
es
'
j
'
BIBLIOGRAF#A
(!1!- INTRODUCCIN A LAS CADENAS DE MARKOV
In!esti7aci$n de "eracines1 KW edici$n1 Editrial ta:a1 ""' A33CA3B
(!"!- PROBABILIDAD DE TRANSICIONES ESTACIONARIAS DE N PASOS
In!esti7aci$n de "eracines1 KW edici$n1 Editrial ta:a1 ""' A34CA3B
In!esti7aci$n de "eracines a"licacines + al7rit&s1 4W edici$n1 A#tr Xa+ne l'
)is:stn1 Editrial T:&"sn1 ""' F3ACF42'
(!'!- ESTADO ESTABLE
In!esti7aci$n de "eracines a"licacines + al7rit&s1 4W edici$n1 A#tr Xa+ne l'
)is:stn1 Editrial T:&"sn1 ""' F44CF4A'
(!(!- ESTADOS ABSORBENTES
In!esti7aci$n de "eracines1 KW edici$n1 Editrial ta:a1 ""' A3BCA4@
4

Instituto Tecnologico Superior de Calkini en El Estado de Campeche

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Instituto Tecnologico Superior de Calkini en El Estado de Campeche

Cargado por

Copyright:

Formatos disponibles

INVESTIGACION DE OPERACIONES II

INSTITUTO TECNOLOGICO SUPERIOR DE CALKINI EN EL ESTADO DE

Dnde s es el n;&er de estads' En tales cass1 las "r%a%ilidades de estad

Unidad 4: cadenas de Markov

También podría gustarte