Está en la página 1de 10

República Bolivariana de Venezuela

Ministerio del Poder Popular para la Defensa


Universidad Nacional Experimental Politécnica de la Fuerza
Armada Nacional
UNEFA
Núcleo Portuguesa – Sede Guanare

Trabajo de Procesos
Estocásticos III

Estudiante:

Lening Isaac Segovia Jiménez

C. I: 28106506

Carrera: Ingeniería de Sistemas.

Semestre: VI.
Introducción.

La cadena de Markov, también conocida como modelo de Markov o proceso de


Markov, es un concepto desarrollado dentro de la teoría de la probabilidad y la
estadística que establece una fuerte dependencia entre un evento y otro suceso
anterior. Su principal utilidad es el análisis del comportamiento de procesos
estocásticos, la definición supone que en procesos estocásticos la probabilidad de que
algo suceda solamente depende del pasado histórico de la realidad que estamos
estudiando. Por este motivo, a menudo se dice que estas cadenas cuentan con
memoria, dada esta sencilla explicación de la teoría, puede observarse que es posible a través
de la misma conocer la probabilidad de que un estado ocurra en el largo plazo.
Cadenas de Markov en tiempo discreto

Un Proceso Estocástico se define como secuencia de variables aleatorias{Xt} tT,


donde el conjunto de índices T puede ser un conjunto discreto, por ejemplo
T={0,1,2,3,...},casoenelcualdecimosqueel{0,1,2,3,...},casoenelcualdecimosqueelproces
o es tiempo discreto o bien T puede ser un intervalo, por ejemplo T= [0,),caso en el
cual decimos que el proceso es entiempo continuo.

El proceso estocástico {Xt}, tT puede representar por ejemplo:

El nivel de inventario de cierto producto al final del día t. del día t.

El valor de una determinada acción en el instante t.

El estado de gravedad de un paciente en una unidad de cuidado intensivo el día.

Para comenzar consideremos el siguiente ejemplo: Suponga usted que si llueve hoy,
lloverá mañana con probabilidad 1/3, en cambio, si no llueve hoy, lloverá mañana con
probabilidad 3/4.

Estado Inicial LLUEVE NO LLUEVE


-------------------------------------------------------------------------------------------------------------------
------

Siguiente Etapa LL NLL LL NLL


-------------------------------------------------------------------------------------------------------------------
------
1/3 2/3 3/4 1/4

Sea Xn=El estado del tiempo en una ciudad, país u otro, al comienzo del día
n=1,2,...En este caso los estados son dos: 0: Llueve o 1: NoLlueve

Se define, como la probabilidad de que se esté en el estado j al comienzo del


dían+1dado que se comienza en el estado i al comienzo del día n.

Un proceso estocástico en tiempo discreto {Xn}n=1,2,....se denomina una Cadena de


Markov en tiempo discreto si satisface las siguientes propiedades:

Propiedad Markoviana:

Dondei0, i1, ..., in-1, i, j son posibles “ estados” o valores que puede tomar el proceso
estocástico en las distintas etapas.

Propiedad estacionaria:

La probabilidad, no depende de la etapa n.

Es decir, las probabilidades de cambiar de estado son las mismas en cualquier


instante. Esta propiedad indica que las probabilidades de transición son estacionarias.
MATRIZ DE PROBABILIDADES DE TRANSICIÓN

DISTRIBUCION INICIAL

Adicionalmente, se supone conocida la distribución de probabilidad de la Cadena de


Markov en la etapa inicial, que denotamos según f(0), donde:

Clasificación de Estados

En esta sección se presentan algunos resultados que tienen relación con la existencia
y cálculo de una distribución para la Cadena de Markov en el largo plazo.
Previamente, se enumeran algunas definiciones que clasifican los estados de una
cadena:

1) Un estado j se dice accesible desde el estado i, si para algún n

2) Si tanto el estado i es accesible desde j como viceversa decimos que los


estados i y j se comunican

3) Dos estados que se comunican están en una misma clase de estados. Cuando
una cadena define una sola clase de estados, se dice que dicha cadena es:
IRREDUCIBLE.

4) Se dice que una cadena es irreducible si hay una sola clase de estados.
5) Un estado se dice que tiene periodo d, para el mayor valor del entero d que
cumple:

Sólo para valores den pertenecientes al conjunto {d,2d,3d, ....}. Si d=1 decimos
que el estado es aperiódico.

6) Se define T(i,j) como el número de etapas requeridas por el proceso para pasar
de estado i al estado j por primera vez. De igual modo se define:

Es decir:

Como la probabilidad de que comenzando en i, ocurra la primera transición al


estado j al cabo de exactamente k etapas.

7) En particular, se denota por Fk(i,i) la probabilidad de que el proceso retorne al


estado i por primera vez al cabo de k etapas. De modo que:

Es la probabilidad que partiendo en i , el proceso regreseal estado i alguna vez


8) Un estado se dice recurrente, si F(i,i) = 1
9) Un estado se dice transciente, si F(i,i)< 1

10) Sea el valor esperado del número de etapas que


le toma al proceso volver al estado i por primera vez, partiendo del estado i.

Distribución Limite
Si la distribución de probabilidad del proceso en el largo plazo existe y es
independiente de la distribución inicial (o del estado inicial), decimos que el proceso
tiene una distribución estacionaria p= (p,p,...,p)T estacionaria:
Proposición.

Sea {Xn}n=0,1,2 una cadena de Markov irreducible con estados recurrentes positivos
aperiódicos, entonces existe una distribución estacionaria,tal que> 0y que se
obtiene como la solución única del sistema:

Aplicación de teoría de colas

La teoría de colas tiene diversas aplicaciones debido a que en la actualidad con tantas
demandas de producto y servicios, las organizaciones encargadas ya no se dan
abasto así que recuren a un método de espera para poder satisfacer todos los
usurarios como por ejemplo en el caso de las redes telefónicas estas redes telefónicas
se diseñan para acomodar la intensidad ofrecida del tráfico con solamente una
pequeña pérdida. El funcionamiento de los sistemas depende de si la llamada es
rechazada, de si está perdida, etc. Normalmente los sistemas de desbordamiento
hacen uso de rutas alternativas e incluso estos sistemas tienen una capacidad de
carga finita o máxima de tráfico. Sin embargo, el uso de las colas permite que los
sistemas esperen por las peticiones de su cliente hasta que los recursos libres estén
disponibles. Esto significa que si los niveles de la intensidad del tráfico exceden de la
capacidad disponible, las llamadas del cliente se perderían. La disciplina de colas
determina la manera de cómo manejar las llamadas de los clientes. Define la manera
en que les servirán, la orden de las cuales se sirven, y la manera en la que los
recursos se dividen entre los clientes.

Cadenas de Markov en tiempo continuo.

En las cadenas de Markov en tiempo discreto, utilizábamos como índice un tiempo


discreto n=0,1,2,...y se deducían numerosas propiedades.

Las nociones de cadenas de Markov se puede extender a un tiempo continuot≥0.En


tiempo continuo es complicado definir la distribución condicionada, dados todos los
valores Xr parar ≤ s, por lo que decimos en su lugar que Xt,t≥0, es una cadena de
Markov si para cualquier 0≤s0<s1< ... < sn<s y posibles estados i0,...,in,i,j se tiene que
P(Xt+s=j|Xs=i, Xsn=in,...,Xs0=i0)= P(Xt=j|X0=i) es decir, dado el estado actual, el resto
del pasado es irrelevante para predecir el futuro. En la definición se observa que la
probabilidad de ir desde i en el tiempo s hasta j en el tiempo s+t solo depende de t,
esto es, de las diferencias de tiempos.

Construcción de la cadena, conocidas las tasas


Denotamos

La tasa ala que Xt abandona el estado i. Si λi=0 significaría que nunca abandona dicho
estado, luego asumimos que λi>0y se puede calcular la probabilidad de que la cadena
vaya a j cuando deja i como,

Es decir, Xt permanece en i durante un tiempo distribuido según una exponencial


detasa λi y luego va al estado j con probabilidad r (i, j).

Procesos de nacimiento y muerte.

En este caso, el espacio de estados es S={0,1,2,...,N} y los cambios en los estados


siempre son desde n hasta n+1,ó desde n hasta n−1.

De manera intuitiva se puede considerar el estado del sistema como el tamaño de la


población que se puede incrementaren 1 por un nacimiento, o decrecer en 1 por una
muerte. Para describir la cadena, asumimos que las tasas de nacimiento son λn,
n=0,1,2,...,N−1 y las tasas de muerte son μn,n=1,2,3,...,N Si la población es n,
entonces los nuevos individuos aparecen con tasa λn y los individuos dejan la
población con tasa μn (de modo que si la población es 0 entonces no puede haber
muertes, de modo queμ0=0). Así,

Aplicamos la condición

Entonces

Si se vuelve a usar esta ecuación de la misma manera, se tiene que

esto es,
e iterando de la misma manera, se obtiene que

Se puede observar que si el espacio de estados es S={0,1,2,...,N},entonces


μ0=0yλn=0,de modo que esos términos no pueden aparecer en la fórmula anterior.
Conclusión.

Las cadenas de Markov son muy importantes en diferentes ámbitos debido a que
permiten predecir sucesos futuros con patrones de conducta un ejemplo claro es en
los negocios y las finanzas. Esto, al permitir, como se ha señalado, analizar y estimar
futuros patrones de conducta de los individuos atendiendo a la experiencia y los
resultados anteriores. Lo anterior puede reflejarse en diferentes campos como la
morosidad, el estudio de las conductas de consumidores, la demanda estacional de
mano de obra, entre otros. El sistema elaborado por Markov es bastante sencillo y
cuenta, como se a dicho, con una aplicación práctica bastante fácil.
Bibliografía

https://www.researchgate.net/publication/269885943_APLICACION_DE_LA_TEORIA_DE_COL
AS_Y_DE_LA_SIMULACION_AL_EMBARQUE_DE_MINERAL_DE_HIERRO_Y_MANGANESO_EN_L
A_TERMINAL_MARITIMA_DE_PONTA_DA_MADEIRA

https://www.academia.edu/36794676/Cadenas_de_Markov_Tiempo_Discreto

https://es.calameo.com/read/004658482bcb128d55160

https://es.wikipedia.org/wiki/Cadena_de_M%C3%A1rkov

https://www.yumpu.com/es/document/view/41371141/cadenas-de-markov-en-tiempo-
discreto