Oscar Adams Ortiz

Modelos estocásticos de decisión

ACTIVIDAD 9
Investigación sobre "Cadenas de Markov"

CADENA DE MARKOV

Una cadena de Markov es un proceso estocástico en el que si el estado actual

Xn y los estados previos X1,…,XN-1 son conocidos, la probabilidad del estado
futuro Xn+1
  No depende de los estados anteriores X 1,…,XN-1 y solamente depende del
estado actual Xn

Es decir:

Para n = 1,2,… y para cualquier sucesión de estados S 1 …Sn+1

DEFINICIÓN DE PROCESO ESTOCASTICO

La ciencia estadística y su teoría de la probabilidad es la que alberga este tipo
de procesos aplicables a innumerables campos. Un proceso estocástico es un
concepto matemático que se utiliza para manejar magnitudes aleatorias que
varían con el tiempo o para caracterizar una sucesión de variables aleatorias
llamadas estocásticas, que evolucionan en función de otra variable. Un proceso
estocástico está formado por variables dadas aleatoriamente que dependen de
argumentos o parámetros

Los procesos estocásticos intentan predecir fenómenos de la forma más segura.

pero sin llegar nunca al 100%. En el caso de la bolsa, es analizada normalmente
segundo a segundo para aumentar las probabilidades. Sin embargo, ningún
modelo predictivo ya inventado es capaz de averiguar si un índice en bolsa va
subir o bajar con total eficacia. A pesar de ello, se pueden tener aproximaciones
más o menos exactas.

Los procesos estocásticos pueden ser definidos matemáticamente como:

 Conjuntos de relaciones temporales con índices temporales

 Como un conjunto de variables aleatorias «X» indexadas por un índice
«t».

Algunos ejemplos de series temporales podrían ser:

 El clima
 La evolución de la población en un determinado lugar y durante un
determinado periodo dado
 Los índices bursátiles, en los cuales nos centraremos más adelante.

1
PROCESO DE MARKOV
Un proceso de Markov tiene la propiedad de que la probabilidad de
comportamiento futuro está totalmente definida si se conoce el estado actual. El
conocimiento de estados previos al actual no altera la probabilidad de
comportamiento futuro.

Si el conjunto de posibles estados del proceso es numerable, el proceso recibe

el nombre de cadena de Markov. Por otra parte, si todas las posibles
realizaciones del proceso Markoviano son funciones continuas del tiempo el
proceso se denomina proceso de difusión. Para los procesos Markovianos se
puede definir una Probabilidad de transición

En el caso de cadenas de Markov, es posible definir una matriz de

probabilidades de transición

PROBABILIDAD DE TRANSICIÓN DE UN PASO

2
Diremos que Xn está en el estado i si Xn = i. La probabilidad de que Xn+1 este
en el estado j dado que Xn está en el estado i es la probabilidad de transición en

un paso de i a j y la denotaremos

En general, las probabilidades de transición dependen no solo de los estados

sino también del instante en el cual se efectúa la transición. Cuando estas
probabilidades son independientes del tiempo (o sea, de n) decimos que la
cadena tiene probabilidades de transición estacionarias u homogéneas en el
tiempo. En este caso P nn+1 ij = Pij no depende de n y Pij es la probabilidad de
que la cadena pase del estado i al estado j en un paso. A continuación, solo
consideraremos cadenas con probabilidades de transición estacionarias.
Podemos colocar las probabilidades de transición en una matriz

que será finita o infinita según el tamaño de E. P se conoce como la matriz de

transición o la matriz de probabilidades de transición de la cadena. La i-´esima
fila de P para i = 0, 1, . . . es la distribución condicional de Xn+1 dado que Xn = i.
Si el número de estados es finito, digamos k entonces P es una matriz cuadrada
cuya dimensión es k × k. Es inmediato que

de modo que cada fila de la matriz representa una distribución de probabilidad.

Una matriz con esta propiedad se llama una matriz estocástica o de Markov.

EJEMPLO:

3
Un profesor de ingeniería adquiere una computadora nueva cada dos años. el
profesor puede elegir entre 3 modelos: M1, M2 y M3. Si el modelo actual es M1,
la siguiente computadora puede ser M2 con probabilidad 0.2, o M3 con
probabilidad 0.15. Si el modelo actual es M2, las probabilidades de cambiar a
M1 y M3 Son 0.6 y 0.25, respectivamente. Pero si el modelo actual es M3,
entonces las probabilidades de comprar los modelos M1 y M2 son 0.5 y 0.1,
respectivamente.

      SIGUIENTE  
      M1   M2   M3  

                 
M
1   0.65   0.2   0.15  
               
ACTUAL

M
2   0.6   0.15   0.25  
               
M
3   0.5   0.1   0.4  
                 
De donde podemos encontrar cualquier probabilidad de transición de un paso.
Por poner algunos ejemplos

4
La probabilidad de teer como modelo actual M1 y cambiar a M2 es 0.2 ese valor
lo encontramos muy fácil en la matriz buscando en el modelo actual en su
intersección con el modelo siguiente.

REFERENCIAS
 Cadena de Markov - https://www.ugr.es/~bioestad/_private/cpfund10.pdf
 Procesos estocásticos - https://www.master-finanzas-
cuantitativas.com/masters6704/
 Proceso de Markov -
http://www.isa.cie.uva.es/estudios/doctorado/GA/Transpa_fab_avanzada_
JGG.pdf
 Probabilidad de transición:
https://www.cimat.mx/~jortega/MaterialDidactico/modestoI11/CMarkov1v1.
pdf
