UNIVERSIDAD GRAN MARISCAL DE AYACUCHO

FACULTAD DE INGENIERÍA
ESCUELA DE SISTEMAS
NUCLEO BARCELONA, ESTADO ANZOÁTEGUI

Cadenas de Markov.

Profesor: Estudiante:
María Yanez. Anthony Tarache CI: 29.606.349
 Procesos estocásticos de tiempo continuo.

En teoría de la probabilidad, un proceso estocástico de tiempo continuo (o continuo en el

espacio y el tiempo) es un proceso estocástico para el cual el índice temporal t asume un
rango continuo (usualmente en los números reales), esto contrasta con los procesos
estocásticos de tiempo discreto donde la variable temporal sólo puede asumir valores no-
continuos (dentro de un conjunto numerable, usualmente los números naturales). Una
denominación alternativa para estos procesos estocásticos es la de procesos de
parámetro continuo.

Una clase más restringida de procesos de tiempo continuo son los "procesos
completamente continuos" para los cuales tanto la váraible índice es continua como las
trayectorias muestrales del proceso lo son, dado que puede existir confusión, a veces
puede ser necesario distinguir adecuadamente entre el tipo general y el subtipo.

Los procesos estocástico de tiempo continuo que se construyen como generalización de

los procesos estocásticos de tiempo discreto a través de una distribución para el tiempo
de espera se denominan paseos aleatorios de tiempo continuo.

Ejemplos:

Un ejemplo de proceso estocástico de tiempo continuo para el cual las trayectorias

muestrales no son continuas es el proceso de Poisson.

Otro ejemplo es el proceso browniano que generaliza el paseo aleatorio convencional

para tiempo continuo. Otro ejemplo donde las trayectorias son continuas es el proceso de
Ornstein–Uhlenbeck.

Característica de un proceso de Markov.

Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que ocurra
un evento depende del evento inmediato anterior.

En efecto, las cadenas de este tipo tienen memoria, "Recuerdan" el último evento y esto
condiciona las posibilidades de los eventos futuros.

Esta dependencia del evento anterior distingue a las cadenas de Markov de las series de
eventos independientes, como tirar una moneda al aire o un dado.

En los negocios, las cadenas de Markov se han utilizado para analizar los patrones de
compra,los deudores morosos, para planear las necesidades de personal y para analizar
el reemplazo de equipo. El análisis de Markov, llamado así en honor de un matemático
ruso que desarrollo el método en 1907, permite encontrar la probabilidad de que un
sistema se encuentre en un estado en particular en un momento dado.

Algo más importante aún, es que permite encontrar el promedio a la larga o las
probabilidades de estado estable para cada estado.

Con esta información se puede predecir el comportamiento del sistema a través del
tiempo. La tarea más difícil es reconocer cuándo puede aplicarse. La característica más
importante que hay que buscar en la memoria de un evento a otro.

Probabilidad de transición de n etapas.

La matriz de transición P nos da las probabilidades de saltar de un
estado al otro desde cualquiera etapa a la siguiente. Nos planteamos
ahora calcular las probabilidades de saltar de un estado al otro en dos
etapas.

Utilizando las propiedades de las probabilidades condicionadas se

puede demostrar que

que podemos interpretar de la siguiente manera: para acceder del

estado i al estado j en dos etapas, lo podemos hacer de m maneras
diferentes, pasando a través de 1, lo que puede ocurrir con una
probabilidad de pi1p1j, o bien pasando por 2 con probabilidad pi2p2j y
así hasta poder hacerlo pasando por el estado m, lo cual acontecería
con probabilidad pimpmj; sumando todas estas probabilidades,
tendremos la de pasar de i a j en dos etapas.
La suma anterior es el elemento de la matriz P2=P⋅P que se encuentra en la fila i y en
la columna j. Generalizando para más etapas, tenemos el siguiente resultado:
Si P es la matriz de transición de una cadena de Markov, entonces la
matriz de transición para k etapas, que representamos por

es Pk, su k-ésima potencia.

Clasificación de estados en una cadena de markov.

Distinguimos tres tipos de estados en una cadena de Markov: los que

se comunican entre sí, los absorbentes y los transitorios.
Los estados i y j, se comunican si existen m y n de manera que
p(m)ij>0 y p(n)ji>0. Intuitivamente, los estados se comunican cuando
podemos acceder desde uno al otro en un número finito de etapas.
Un estado i se dice que es absorbente si pii=1. Cuando el estado es
absorbente, una vez es alcanzado, ya no se pode salir de él, polo que
pij=0 se i≠j.
Un estado i es transitorio si no es absorbente. Así, debe haber cierta
probabilidad de que se pueda acceder a otro estado diferente a él
mismo, por lo que pii<1.
Una cadena de Markov es irreducible cuando todos sus estados se
comunican entre si. Cando no es irreducible la llamamos reducible.
Según este criterio, el ejemplo anterior de la máquina es un caso de
cadena irreducible, ya que todos sus estados se comunican entre sí,
ya que comprobamos que todos son accesibles desde cualquier otro
en un número finito de etapas; nótese del último cálculo que p(5)ij>0
para i y j arbitrarios.