Proceso discreto de Márkov:

También llamadas cadenas de Márkov se definen como un grupo de los

procesos estocásticos que se desarrollan en un espacio de estados
de tiempo discreto (definiéndose estado como: los valores que
puede tomar la variable aleatoria a través del tiempo) los cuales
cumplen con la propiedad de Márkov:

A los posibles valores que puede tomar la variable aleatoria se le

denominaran estados,
por lo que se puede tener un espacio de estados discreto y un
espacio de estados continuo.
Por otro lado, la variable tiempo puede ser de tipo discreto o de
tipo continuo. En el caso del
tiempo discreto se podría tomar como ejemplo que los cambios de
estado ocurran cada día,
cada mes, cada año, etc.. En el caso del tiempo continuo, los
cambios de estado se podrían
realizar en cualquier instante.

Una Cadena es un proceso estocástico en el cual el tiempo se mueve

en forma discreta
y la variable aleatoria sólo toma valores discretos en el espacio
de estados. Un Proceso de
Saltos Puros es un proceso estocástico en el cual los cambios de
estados ocurren en forma
aislada y aleatoria pero la variable aleatoria sólo toma valores
discretos en el espacio de
estados.

Como un ejemplo de una Cadena, considere una máquina dentro de una

fábrica. Los
posibles estados para la máquina son que esté operando o que esté
fuera de funcionamiento
y la verificación de esta característica se realizará al principio
de cada día de trabajo. Si
hacemos corresponder el estado ’fuera de funcionamiento’ con el
valor 0 y el estado ’en operación’ con el valor 1, la siguiente
figura muestra una posible secuencia de cambios de
estado a través del tiempo para esa máquina.
Procesos de Primer Orden

Podemos hablar de diferentes definiciones referentes a los

procesos de Márkov de primer orden:

Estados: Las condiciones en las cuales se encuentra un ente o

sucesos posibles.

Ensayos: Las ocurrencias repetidas de un evento que se estudia.

Probabilidad de Transición: La probabilidad de pasar de un estado

actual al siguiente en un período o tiempo, y se denota por pij
( la probabilidad de pasar del estado i al estado j en una
transición o período)

Los procesos de Márkov de Primer Orden, para poder ser usados como
modelos de procesos físicos o económicos, deben tener una serie de
características:

 Que la probabilidad cumpla con el Principio de Márkov.

 Existencia de un número finito de estados.
 Las pij deben ser constantes con respecto al tiempo o
período.
 Los ensayos deben ser en períodos iguales.

https://es.wikipedia.org/wiki/Cadena_de_M[]rkov#Aplicaciones
///// [] es una: a tildada

Para ver las porpiedades:

https://es.scribd.com/presentation/322996944/3-Cadenas-Markov-
Procesos-Discretos