Introducción

Cadena de Markov
La cadena de Markov, también conocida como modelo de Markov o proceso de
Markov, es un concepto desarrollado dentro de la teoría de la probabilidad y la
estadística que establece una fuerte dependencia entre un evento y otro suceso
anterior. Su principal utilidad es el análisis del comportamiento de procesos
estocásticos.
Cada subtemas que vamos a definir está relacionado a la cadena de markov que
son:
 Proceso estocástico
 Cadenas de Markov
 Formulación de procesos como cadenas de Markov
 Condiciones de estados estables
 Cadenas absorbentes

Desarrollo

Proceso estocástico
En el estudio de las variables aleatorias realizado hasta ahora se han explorado las
características aleatorias del fenómeno pero se ha mantenido una premisa por
defecto, que esas
Características aleatorias permanecen constantes a través del tiempo. Al incluir
en el estudio la presencia de la variable determinística tiempo se está
considerando que, de alguna
Forma, la variable aleatoria depende del tiempo. En otras palabras, la variable
aleatoria
Dependerá del fenómeno probabilístico y del tiempo. En consecuencia, cualquier
función que
Se establezca en términos de la variable aleatoria, como lo son la función de
distribución o
La función de densidad, serán también dependientes del tiempo.

Concepto de proceso estocástico

Definición Un proceso estocástico es una colección o familia de variables

aleatorias {Xt,
Con t ∈ T}, ordenadas según el subíndice t que en general se suele identificar con
el tiempo.
Por tanto, para cada instante t tendremos una variable aleatoria distinta
representada
Por Xt, con lo que un proceso estocástico puede interpretarse como una sucesión
de variables aleatorias cuyas características pueden variar a lo largo del tiempo.
Por ejemplo, si
Observamos sólo unos pocos valores de t, tendríamos una imagen similar a la de
la figura
Siguiente:

En la que se representa para cada t la función de densidad correspondiente a Xt.

Aunque En la figura se han representado unas funciones de densidad variables, un
proceso estocástico no tiene por qué presentar esas diferencias en la función de
densidad a lo largo del tiempo. Como más adelante se comentará presentan un
especial interés aquellos procesos cuyo comportamiento se mantiene constante a
lo largo de t.
A los posibles valores que puede tomar la variable aleatoria se le denominaran
estados, por lo que se puede tener un espacio de estados discreto y un espacio de
estados continúo.

Por otro lado, La variable tiempo puede ser de tipo discreto o de tipo continuo. En
el caso del tiempo discreto se podría tomar como ejemplo que los cambios de
estado ocurran cada día, cada mes, cada año, etc... En el caso del tiempo
continuo, los cambios de estado se podrían realizar en cualquier instante.
Por tanto, dependiendo de cómo sea el conjunto de subíndices T y el tipo de
variable aleatoria dado por Xt se puede establecer la siguiente clasificación de los
procesos estocásticos:

• Si el conjunto T es continuo, por ejemplo R+, diremos que Xt es un proceso

estocástico de parámetro continuo.

• Si por el contrario T es discreto, por ejemplo N, diremos que nos encontramos

frente a un proceso estocástico de parámetro discreto.

• Si para cada instante t la variable aleatoria Xt es de tipo continuo, diremos que

el proceso estocástico es de estado continuo.

• Si para cada instante t la variable aleatoria Xt es de tipo discreto, diremos que el

Proceso estocástico es de estado discreto.
 t Discreto
Proceso de estado discreto y tiempo Proceso de estadot discreto
Continuoy tiempo continuo
discreto (Cadena) (Unidades (Proc. Saltos Puros) (Unidades producidas
X Discreta producidas mensualmente de un hasta el instante t)
producto)

Proceso de estado continuo y Proceso de estado continuo y tiempo continuo

tiempo discreto (Toneladas de (Proceso Continuo) (Velocidad de un vehículo
X Continua producción diaria de un producto) en el instante t)
Cadenas de Markov
La explicación de estas cadenas la desarrolló el matemático de origen ruso Andréi
Márkov en 1907. Así, a lo largo del siglo XX, se ha podido emplear dicha
metodología en numerosos casos prácticos de la vida cotidiana.
También se conoce como cadena simple estable de Markov.

Según señaló Markov, en sistemas o procesos estocásticos (es decir, aleatorios)

que presentan un estado presente es posible conocer sus antecedentes o
desarrollo histórico. Por lo tanto, es factible establecer una descripción de la
probabilidad futura de los mismos.

¿Dónde se utiliza la cadena de Markov?

Las cadenas de Markov han experimentado una importante aplicación real en el
ámbito de los negocios y las finanzas. Esto, al permitir, como se ha señalado,
analizar y estimar futuros patrones de conducta de los individuos atendiendo a la
experiencia y los resultados anteriores.
Lo anterior puede reflejarse en diferentes campos como la morosidad, el estudio
de las conductas de consumidores, la demanda estacional de mano de obra, entre
otros.
El sistema elaborado por Markov es bastante sencillo y cuenta, como hemos
dicho, con una aplicación práctica bastante fácil. Sin embargo, muchas voces
críticas señalan que un modelo tan simplificado no puede ser totalmente efectivo
en procesos complejos.

Formulación de procesos como cadenas de Markov

Los procesos de paseo aleatorio en realidad son un caso particular de procesos
más generales que son las cadenas de Markov. En esencia, una cadena es un
proceso en tiempo discreto en el que una variable aleatoria Xn va cambiando con
el paso del tiempo. Las cadenas de Markov tienen la propiedad de que la
probabilidad de que Xn = j sólo depende del estado inmediatamente anterior del
sistema: Xn−1. Cuando en una cadena dichas probabilidades no dependen del
tiempo en que se considere, n,
P (Xn = j | Xn−1 = i)
Se denomina cadena homogénea, esto es, las probabilidades son las mismas en
cada paso.

Clasificación de cadenas
Cadenas irreducibles
Una cadena irreducible es aquella en la que todos los estados son alcanzables
desde cualquier otro estado de la cadena en un número finito de pasos.
Conjuntos cerrados
Una cadena de Markov puede contener algunos estados que sean recurrentes,
otros que sean transitorios y otros que sean absorbentes. Los estados recurrentes
pueden ser parte de subcadenas cerradas.
Cadenas ergódicas
Se tenía que todos los estados en una cadena irreducible pertenecen a la misma
clase. Si todos los estados son ergódicos, esto es, recurrentes, no nulos y
aperiódicos entonces se define la cadena como ergódica.
Condiciones de estados estables

Estados
Los estados son la caracterización de la situación en que se halla el sistema
en un instante dado, de dicha caracterización puede ser tanto cuantitativa
como cualitativa.
El estado de un sistema en un instante t es una variable cuyos valores solo
pueden pertenecer al conjunto de estaos en el sistema. El sistema
modelizado por la cadena, por lo tanto, es una variable que cambia con el
valor del tiempo, cambio al que llamamos transición.

Estado estable: Se puede decir que el estado estable es la distribución de

probabilidades que en cierto punto quedará fija para el vector P y no
presentará  cambios en periodos posteriores.
Cadena Absorbente

Previamente hablamos de estado estable, ahora procederemos a explicar otra

clase de estado, el absorbente.
Definición:
Estado cuya única transición posible es volver al mismo estado. Un estado
absorbente constituye una clase final de un único estado.
En otras palabras un estado absorbente es aquel del que no se puede salir una vez
se haya caído en él, es decir la probabilidad de permanecer en el mismo es de
100% .Por ejemplo si expresáramos  la vida como una cadena de markov, con la
serie de estados: nacer, crecer, reproducirse y morir; la muerte sería obviamente
el estado absorbente ya que no existe la posibilidad alguna de volver a un estado
anterior. 
Conclusión
De acuerdo a mi punto sobre cómo se obtiene el vector de probabilidad.
Para mi el vector de probabilidad solo sería posible tenerlo como una distribución
de probabilidad sacada de datos históricos, es decir que se supone que se tiene
conocimiento del mercado de las telecomunicaciones y de ella una referencia de
como están distribuidos los clientes de la población entre los tres operadores.
Pero si la pregunta es si a partir de la matriz de transición se puede obtener el
vector de probabilidad inicial P0, no es posible. Pienso que debe ser porque la
matriz de transición es una matriz de movimiento y el vector de probabilidad es
estable al menos lo es para el periodo inicial.

Bibliografía
https://economipedia.com/definiciones/cadena-de-markov.html

http://www.dmae.upct.es/~mcruiz/Telem06/Teoria/apuntes_procesos.pdf

https://www.scoop.it/topic/unidad-iv-cadenas-de-markov-1

http://investigacindeoperaciones2.blogspot.com/2011/06/l.com