i

UNIVERSIDAD NACIONAL DE INGENIERA

FACULTAD DE INGENIERIA ECONOMICA, ESTADISTICA Y CC.SS
Escuela Profesional de Ingeniera Economica

CADENAS DE MARKOV

ASIGNATURA:
Investigacion de operaciones II
PROFESOR:

Eduardo Quiroz Vera

INTEGRANTES:

Silvia Carolina Chumpitaz Quispe

Geidy Naupay Huanca
Fernando Zelada Maguina

SEMESTRE ACADMICO:
2014-II

ii

ndice de contenido

1.

ORIGEN______________________________________________________________ 1

2.

ALGUNAS DEFINICIONES ________________________________________________ 1

2.1.

CADENA DE MARKOV ____________________________________________________ 1

2.2.

PROCESO ESTOCSTICO __________________________________________________ 1

2.3.

ESTADO _______________________________________________________________ 1

3.

TIPOS DE ESTADOS ____________________________________________________ 2

4.

ELEMENTOS Y PROPIEDADES DE LAS CADENAS DE MARKOV ___________________ 2

5.

MATRIZ DE TRANSICIN ________________________________________________ 3

6.

APLICACIONES DE LAS CADENAS DE MARKOV _______________________________ 5

7.

EJERCICIOS APLICATIVOS ________________________________________________ 5

CADENAS DE MARKOV

1. ORIGEN
ANDRI MRKOV
Andri Andryevich Mrkov (1856 - 1922) fue un matemtico
ruso conocido por sus trabajos en la teora de los nmeros y la
teora de probabilidades. Perteneci a la escuela matemtica
de San Petersburgo fundada por Chebychev, y junto a
Liapunov llego a ser una de las figuras ms eminentes de la
misma en el campo de la probabilidad. Sin duda una de las
contribuciones importantes de Markov fue la introduccin del
concepto de cadena de Markov, como un modelo para el
estudio de variables dependientes, el cual dio lugar a una gran
cantidad de investigacin posterior en la teora de los procesos
estocsticos.

2. ALGUNAS DEFINICIONES
2.1.

CADENA DE MARKOV

Una cadena de Markov es un proceso estocstico con un nmero finito de estados

con probabilidades de transicin estacionarias, es decir, si se conoce la historia del
sistema hasta su instante actual, su estado presente resume toda la informacin
relevante para describir en probabilidad su estado futuro.

Una cadena de Markov tambin se puede definir como una serie de eventos, en la
cual la probabilidad de que ocurra un evento depende del evento inmediato
anterior. En efecto, las cadenas de este tipo tienen memoria, es decir, recuerdan el
ltimo evento y esto condiciona las posibilidades de los eventos futuros. Esta
dependencia del evento anterior distingue a las cadenas de Markov de las series
de eventos independientes, como tirar una moneda al aire o un dado.
2.2.

Es un conjunto o sucesin de variables aleatorias: {X(t) C G} definidas en un

mismo espacio de probabilidad. Normalmente el ndice t representa un tiempo
y X(t) el estado del proceso estocstico en el instante t. El proceso puede ser de
tiempo discreto o continuo si G es discreto o continuo. Si el proceso es de tiempo
discreto, usamos enteros para representar el ndice: {X1, X2,...}
2.3.

PROCESO ESTOCSTICO

ESTADO

Un estado se define como una caracterizacin de la situacin en la que se halla el

sistema en un instante dado.

3. TIPOS DE ESTADOS
Ejemplo 1

Ejemplo 2

Si existe una probabilidad no nula que comenzando

en un estado i se pueda llegar a un estado j al cabo de un cierto nmero de etapas
(digamos n) se afirma que el estado j es accesible desde el estado i. Si consideramos el
ejemplo 1 podemos afirmar que el estado 3 es accesible desde el estado 1. Aun cuando
en una etapa no podemos llegar desde el estado 1 al estado 3, si podemos hacerlo al
cabo de 2, 3,..., n etapas. Cabe destacar en este punto que es relevante que exista una
probabilidad no nula que comenzando en 1 se pueda llegar a 3 al cabo de un cierto
nmero de etapas no importando el valor exacto de esta probabilidad para un n
cualquiera.
En cuanto al ejemplo 2, se puede verificar que el estado 2 es accesible desde el estado 3,
sin embargo, el estado 2 no es accesible desde el estado 4 (esto porque una vez que se
llega al estado 4 no se sale de ese estado). Finalmente, dos estados que son accesibles
viceversa se dice que se comunican y que pertenecen a una misma clase de estados.
Una Cadena de Markov donde todos sus estados son accesibles entre s y por tanto se
comunican se dice que es irreducible, es decir, que existe una nica clase de estados.
Este es el caso del ejemplo 1.
En cambio s al menos existen 2 clases de estados la cadena ya no es irreducible. Si
tenemos 2 estados que no se comunican (esto porque no son accesibles viceversa) estos
estados pertenecern a distintas clases de estados. En el ejemplo 2 existen 3 clases de
estados {0}, {1,2,3}, {4} (en consecuencia no es una cadena irreducible). En cuanto al
estado 0 y estado 4, estos son estados absorbentes debido a que una vez que se accede
a ellos la probabilidad de seguir en ese estado es de un 100%.
4. ELEMENTOS Y PROPIEDADES DE LAS CADENAS DE MARKOV
Toda cadena de Markov tiene los siguientes elementos:

Un conjunto finito estados.

Ciclo de Markov (paso): periodo de tiempo que sirve de base para examinar las
transiciones entre estados.
Probabilidades de transicin entre estados.
Distribucin inicial del sistema entre los estados.

Toda cadena de Markov cumple con las siguientes propiedades:

Propiedad Markoviana:

Un proceso estocstico cumple la propiedad markoviana si las probabilidades de

transicin en un paso slo dependen del estado del sistema en el perodo anterior
(memoria limitada).
P {Xt+1=j| Xt=i} = Pij

Las probabilidades son estacionarias:

P {Xt+1=j| Xt=i} = P {X1=j|X0=i} = Pij
P {Xt+n=j| Xt=i} = P {Xn=j|X0=i} = Pij^(n)

Existe un conjunto de probabilidades iniciales:

P {X0=i}

Existe una matriz de transicin

5. MATRIZ DE TRANSICIN
Un elemento muy importante en el desarrollo de las cadenas de Markov es la matriz de
transicin, la cual es la matriz que nos muestra las probabilidades de pasar de un estado
a otro o de mantenerse en un mismo estado. Por ejemplo:

Una caracterstica muy importante es que la matriz de transicin debe ser cuadrada, es
decir debe mostrar la probabilidad de pasar de un estado a cada uno de los otros estados.
Tambin es muy importante aclarar que la suma de cada uno de los elementos de cada
fila de la matriz debe ser igual a 1.
Al trabajar con cadenas de Markov, a menudo es til pensar la sucesin de ensayos como
experimentos efectuados en cierto sistema fsico, cada resultado dejando a este sistema
en cierto estado.
Ejemplo:
Consideremos una sucesin de elecciones polticas en cierto pas: el sistema podra
tomarse como el pas mismo y cada eleccin lo dejara en cierto estado, es decir en el
control del partido ganador. Si slo hay dos partidos polticos fuertes, llamados A y B, los
que por lo regular controlan el gobierno, entonces podemos decir que el pas se encuentra
en el estado A o B si el partido A o B ganara la eleccin. Cada ensayo (o sea cada

eleccin), coloca al pas en uno de los dos estados A o B. Una sucesin de 10 elecciones
podra producir resultados tales como los siguientes:
A, B, A, A, B, B, B, A, B, B
La primera eleccin en la sucesin deja en el poder al partido A, la segunda fue ganada
por el partido B, y as sucesivamente, hasta que la dcima eleccin la gane el partido B.
Supongamos que las probabilidades de que el partido A o B ganen la prxima eleccin
son determinadas por completo por el partido que est en el poder ahora. Por ejemplo
podramos tener las probabilidades siguientes:
Si el partido A est en el poder, existe una probabilidad de 1/4que el partido A ganar la
prxima eleccin y una probabilidad de 3/4 de que el partido B gane la eleccin siguiente.
Si el partido B est en el poder, hay una probabilidad de 1/3 de que el partido A gane la
eleccin siguiente y una probabilidad de 2/3 que el partido B permanezca en el poder.
En tal caso, la sucesin de elecciones forman una cadena de Markov, dado que las
probabilidades de los dos resultados de cada eleccin estn determinadas por el
resultado de la eleccin precedente.
Lo descrito anteriormente puede representarse grficamente usando la siguiente red:

Los crculos A y B se denominan nodos y representan los estados del proceso, las flechas
que van de un nodo a s mismo o al otro son los arcos y representan la probabilidad de
cambiar de un estado al otro.
La informacin probabilstica que se acaba de dar se puede representar de manera
conveniente por la siguiente matriz:

Esta matriz se denomina matriz de transicin. Sus representan las probabilidades de que
en el prximo ensayo el estado del sistema del partido indicado a la izquierda de la matriz
cambie al estado del partido indicado arriba de la matriz.

6. APLICACIONES DE LAS CADENAS DE MARKOV

7.

En los negocios, las cadenas de Markov se han utilizado para analizar los patrones
de compra de los deudores morosos, para planear las necesidades de personal y
para analizar el reemplazo de equipo.

Se aplica en el posicionamiento de marcas para describir la probabilidad de que un

cliente que adquiere la marca A en un periodo, adquiere en su lugar la marca B en
el siguiente y analizar la penetracin en el mercado.

Se aplica para describir la probabilidad de que una mquina que funciona en un

periodo determinado, contine o falle en el siguiente.

Se aplica en la meteorologa si considera el clima de una regin a travs de

distintos das, es claro que el estado actual solo depende del ltimo estado y no de
toda la historia en s, de modo que se pueden usar cadenas de Markov para
formular modelos climatolgicos bsicos.

Y otros como el reparto del mercado entre marcas, evolucin de una enfermedad,
etc.
EJERCICIOS APLICATIVOS

A. Los consumidores de caf en la zona de la selva peruana usan tres marcas: A, B y

C. En marzo del ao 2012 se hizo una encuesta en la que se entrevist a las 8450
personas que compran caf y los resultados fueron los siguientes:

Compra en el siguiente mes

Marca A

Marca B

Marca C

Total

Marca A

507

845

338

1690

Marca B

676

2028

676

3380

Marca C

845

845

1690

3380

Total

2028

3718

2704

8450

Compra actual

a.) Si las compras se realizan de forma mensual, cul ser la probabilidad de que los
que personas que consumen actualmente la marca A, en el mes de junio compren caf de
la marca C?
b.) A la larga, cmo se distribuirn los clientes de caf?

B. La Universidad de Stanford ha estudiado la trayectoria de sus estudiantes

universitarios y ha descubierto lo siguiente:
a. El 70% de los estudiantes de primer ao regresar el ao siguiente como estudiantes
de segundo ao, el 15% volver como estudiantes de primer ao y el resto no regresar.
b. El 75% de los estudiantes de segundo ao volvern el ao siguiente como estudiantes
de tercer ao, el 15% volver como estudiante de segundo ao y el resto no regresar.
c. El 80% de los estudiantes de tercer ao regresar el ao siguiente como estudiantes de
ltimo ao, el 10% volver como estudiante de tercer ao y el resto no regresar.
d. El 85% de los estudiantes de ltimo ao se graduaran, el 10% volver como
estudiantes de ltimo ao y el resto no regresar.
En base a la informacin anterior, la Universidad desea saber cul es la probabilidad de
que un estudiante ingresante se grade