I NVE ST I GACI ÓN OP E RAT I VA

Análisis de
Marcov
Estudiantes:
- Culqui Panduro Vladimir Antonio.
- Velez Aguilar Kelly Kiara.
ORIGEN
El análisis de Márkov, llamado así por los estudios realizados por el
ruso Andréi Andréyevich Márkov  entre 1906 y 1907.

Las cadenas de Markov fueron introducidas con el objetivo de crear
un modelo probabilístico parara analizar la frecuencia con la que
aparecen las vocales en poemas y textos literarios.

Las cadenas de Márkov, hoy día, se consideran una herramienta esencial en

disciplinas como la economía, la ingeniería, la investigación de operaciones
y muchas otras.
DEFINICIÓN
El análisis de Markov es una forma de analizar el movimiento actual
de alguna variable, a fin de pronosticar el movimiento futuro de la
misma.

Este análisis se encuentra en el campo de los procesos en los que están

involucrados componentes aleatorios (procesos estocásticos) que se
desarrollan como secuencias de valores de una variable aleatoria en las
que el valor de la variable en el futuro depende del valor de la variable
en el presente, pero es independiente de la historia de dicha variable.

En efecto, las cadenas de este tipo, tienen memoria, “recuerdan" el

último evento y esto condiciona las posibilidades de los eventos
futuros. Esta dependencia del evento anterior distingue a las cadenas
de Márkov de las series de eventos independientes, como tirar una
moneda al aire o un dado.
PROCESO ESTOCÁSTICOS
Una sucesión de observaciones X1, X2,... se denomina proceso estocástico si los valores de estas
observaciones no se pueden predecir exactamente, pero se pueden especificar las probabilidades para los
distintos valores posibles en cualquier instante de tiempo .

Para cada posible valor del estado inicial y para cada uno de los sucesivos valores de los estados Xn,
n = 2, 3,..., especificamos:
CADENAS DE MARKOV
Una cadena de Markov es un proceso estocástico en el que

No depende de los estados anteriores X1,...,Xn−1, y solamente depende del estado actual Xn. Es
decir, para n = 1, 2,... y para cualquier sucesión de estados s1,...,sn+1
MATRIZ DE TRANSICIÓN
MATRIZ ESTOCÁSTICA

Es una matriz cuadrada cuyos elementos son no negativos y tal que la suma de los elementos de cada fila es igual a 1.

MATRIZ DE TRANSICIÓN EN UN SOLO PASO

Dada una cadena de Markov con k estados posibles ,..., y probabilidades de transición estacionarias.

La matriz de transición P de cualquier cadena de Markov finita con probabilidades de transición estacionarias es
una matriz estocástica.
 Ejemplo:
Una agencia de alquiler de vehículos dispone de tres centros designados por 1, 2 y 3. Un cliente puede
alquilar un coche en cualquiera de los tres centros y devolverlo en cualquiera de ellos. El gerente determinó
que los clientes devolvían los coches en los distintos locales de acuerdo con las siguientes probabilidades:

Esta es la matriz de transición del sistema considerado como una cadena de Markov. En ella se observa, por
ejemplo, que la probabilidad de recoger el vehículo en el centro 3 y devolverlo en el 2 es de 0,6.
Ejemplo:
MATRIZ DE TRANSICIÓN EN UN SOLO PASO
Supongamos que el clima de una determinada región sólo puede ser soleado (s1) o nublado (s2) y que las condiciones del
clima en mañanas sucesivas forman una cadena de Markov con probabilidades de transición estacionarias. La matriz de
transición está dada por:

Si un día concreto está nublado, ¿cuál es la probabilidad de que esté nublado el día siguiente?
Soleado Nublado
Soleado 0.7 0.3
Nublado 0.6 0.4
MATRIZ DE TRANSICIÓN
MATRIZ DE TRANSICIÓN EN VARIOS PASOS

Dada una cadena de Markov con k posibles estados ,..., y matriz de transición P, si notamos

es la matriz de probabilidades de que la cadena pase del estado si al estado en m pasos; para cualquier
valor de m, (m = 2, 3,...).
es la matriz de transición de m pasos de la cadena de Markov.
 Ejemplo:
MATRIZ DE TRANSICIÓN EN VARIOS PASOS
En el ejemplo del clima con matriz de transición

Si un miércoles está nublado, ¿cuál es la probabilidad de que el viernes siguiente haga sol?

- Calculamos la matriz de transición en dos pasos,

VECTOR DE PROBABILIDADES

w = (w1,...,wk) se llama vector de probabilidades si

Consideramos una cadena de Markov con:

1. ,..., posibles estados en los que la cadena puede estar en el tiempo de observación inicial n = 1
2. Para i = 1,...,k; P(X1 = si) = vi, con vi ≥ 0 y v1 + ... + vk = 1
VECTOR DE PROBABILIDADES
Un vector probabilidad es un vector en la que las entradas son no negativa y agregar hasta 1. Las entradas en un vector
probabilidad pueden representar las probabilidades de encontrar un sistema de cada uno de los estados.

Si v es el vector de distribución inicial y P es la matriz de transición de un sistema de Markov, entonces la vector de distribución a
partir del paso 1 es el producto vP.

Distribución después de 1 paso:   vP

La distribución un paso más adelante, obtenido de nuevo a través de multiplicación por P, es dado por (vP)P = vP2.

Distribucíon después del paso 2:   vP2

Del mismo , la distribucíon depués del paso n se puede obtener multiplicando v al derecho por P n veces, o multiplicando v por Pn.

Distribucíon después de n pasos:   vPn

P2 es la matriz de transición 2-etapas del sistema de Markov. Del mismo modo, P3 es la matriz de transición 3-estapas, y Pn es la
matriz n-etapas de transición. Esto significa que la ija entrada de Pn es la probabilidad de que el sistema pasará de estado i a
estado j en n pasos.
Ejemplo:
Sea:
Para obtener la matriz 2-pasos de transición, calculamos

y sea v = [ 100   200   300 ] una distribución inicial. A

continuación, la distribución después de un paso se expresa por

La distribución un paso más adelante se expresa por vP2 =

(vP)P Así, por ejemplo, la probabilidad de pasar del estado 3 al estado
1 en dos pasos viene dada por la 3,1-entrada en P2, es decir, 0.3.
COMPORTAMIENTO A LARGO PLAZO
DE LOS SISTEMAS DE MARKOV
Si P es una matriz de transición de un sistema de Markov, y si v es un vector de distribución con la propiedad que vP = v,
entonces nos referimos a v como un vector (distribución) de estado de equilibrio. Para encontrar un vector de estado de
equilibrio para un sistema de Markov con matriz de transición P, resolvemos el sistema de ecuaciones dados por:

x+y+z+... = 1
[x   y   z . . . ]P = [x   y   z . . .]

donde su uso como muchas incógnitas, ya que hay estados en el sistema de Márkov. Una constante vectorial de estado de
probabilidades se da entonces por
v         = [x   y   z . . . ]
COMPORTAMIENTO A LARGO PLAZO
DE LOS SISTEMAS DE MARKOV
Un sistema regular de Markov es un sistema cuya matriz de transición tiene algún poder con ningunas
entradas de cero. Un sistema regular de Markov siempre tiene un solo vector de estado de equilibrio.

Comportamiento a largo plazo Si los poderes más y más altos de P se acercan a una matriz P  , nos
referimos a P    como la matriz de equilibrio o como la matriz de transición largo plazo. Si es regular
el sistema de Markov, entonces la matriz de equilibrio se expresa por la matriz cuadrada cuyas
reglones son iguales el uno a otro, y iguales al vector de estado de equilibrio.

[x   y   z . . .].
VECTOR DE ESTADO
ESTACIONARIO
El vector de estado estacionario q de una matriz de transición regular P es el único vector de probabilidad
que satisface la ecuación Pq = q.

Para verlo consideremos la igualdad matricial . Tanto como se aproximan a Q cuando n → ∞. Sustituyendo
en la igualdad anterior obtenemos PQ = Q. Cualquiera de las columnas de esta ecuación matricial da Pq = q.

Para ver que q es el único vector de probabilidad que satisface esta ecuación, supongamos que r es otro
vector de probabilidad que cumple que Pr = r. Entonces también se cumplirá que para n = 1, 2, …. Si
hacemos que n → ∞ , obtenemos que q = r.

Este teorema puede expresarse también diciendo que el sistema lineal homogéneo (1 − P)q = 0 tiene como
solución única el vector q cuyos elementos son todos no negativos y cumplen + + ⋯ + = 1. Se observa que
el vector q es un autovector de la matriz P asociado al autovalor λ= 1.
 Ejemplo:
La matriz de transición: Para hacer que q sea un vector de probabilidad tomamos

Por lo que el sistema homogéneo (1− P)q = 0 es:

Que se reduce a una única ecuación independiente: por tanto el vector de estado estacionario buscado es

Tomando = s como variable libre, las soluciones se

pueden expresar como:
Es decir, a largo plazo, el 60% de los alumnos pagarán y
el 40% no.