TECNOLÓGICO NACIONAL DE MÉXICO

Instituto Tecnológico de Zacatepec

Investigación de Operaciones II
Unidad 4
Trabajo de Investigación
Cadenas De Markov

Docente: Oscar López Lagunas

Integrantes:
Rivera Encarnación Héctor C16091202
Barón Pérez Lisset Pamela 17090218
Aguirre Silva Jose Carlos

30 de abril de 2019
 ÍNDICE.
Introducción......................................................................2

Cadenas de markow........................................................3

4.1 Introducción a las cadenas de markov..................3

4.2 Probabilidad de transiciones estacionarias de n

pasos.................................................................................4

4.3 Estado estable...........................................................7

4.4 Casos especiales (cadenas absorbentes,

cadenas cíclicas)...........................................................14
 INTRODUCCIÓN.

En este trabajo hablamos de como analizar un cambio de una variable

aleatoria con el tiempo, este estudio de investigación incluye procesos
estocásticos, en particular es conocido como la cadena de Márkov, que se ha
aplicado en varias áreas como educación comercio finanzas, servicio ala
salud, contabilidad, producción etc.
La cadena de Márkov fue introducida por el matemático ruso Andrey Márkov
(1856-1922) alrededor del año 1905.Su intención era crear un modelo
probabilístico para analizar la frecuencia con la que aparecen las vocales en
poemas y textos literarios.
Destaquemos que en la teoría de la probabilidad, se conoce como la cadena
de Márkov a un tipo especial de proceso estocástico en el que la
probabilidad de que ocurra un evento depende del evento inmediatamente
anterior .
Destaquemos que el efecto que tienen las cadenas de este tipo tienen
memoria recuerdan el ultimo evento y esto condiciona las posibilidades de
los eventos futuros , este dependencia del evento anterior distingue a las
cadenas de Márkov de las series de eventos independientes.
 CADENAS DE MARKOW

4.1 INTRODUCCIÓN A LAS CADENAS DE MARKOV.

Una cadena de Markov es una serie de eventos, en la cual la probabilidad de

que ocurra un evento depende del evento inmediato anterior. En efecto, las
cadenas de este tipo tienen memoria, "Recuerdan" el último evento y esto
condiciona las posibilidades de los eventos futuros. Esta dependencia del evento
anterior distingue a las cadenas de Markov de las series de eventos
independientes, como tirar una moneda al aire o un dado. En los negocios, las
cadenas de Markov se han utilizado para analizar los patrones de compra, los
deudores morosos, para planear las necesidades de personal y para analizar el
reemplazo de equipo.
El análisis de Markov, llamado así en honor de un matemático ruso que
desarrollo el método en 1907, permite encontrar la probabilidad de que un
sistema se encuentre en un estado en particular en un momento dado. Algo más
importante aún, es que permite encontrar el promedio a la larga o las
probabilidades de estado estable para cada estado. Con esta información se
puede predecir el comportamiento del sistema a través del tiempo. La tarea más
difícil es reconocer cuándo puede aplicarse. La característica más importante
que hay que buscar en la memoria de un evento a otro.
Las cadenas de Markov han experimentado una importante aplicación real en el
ámbito de los negocios y las finanzas, al permitir como se ha señalado analizar y
estimar futuros patrones de conducta de los individuos atendiendo a la
experiencia y los resultados anteriores. Esto puede reflejarse en diferentes
campos como la prevención de la morosidad, el estudio de las conductas de
consumidores de un sector o la necesidad estacional de personal y mano de
obra.
4.2 Probabilidad de transiciones estacionarias de n pasos.

Los procesos de paseo aleatorio en realidad son un caso particular de procesos

más generales que son las cadenas de Markov. En esencia, una cadena es un
proceso en tiempo discreto en el que una variable aleatoria Xn va cambiando
con el paso del tiempo. Las cadenas de Markov tienen la propiedad de que la
probabilidad de que Xn = j sólo depende del estado inmediatamente anterior del
sistema: Xn−1. Cuando en una cadena dichas probabilidades no dependen del
tiempo en que se considere, n.

se denomina cadena homogénea, esto es, las probabilidades son las mismas en
cada paso.
Probabilidades de Transición
En una cadena homogénea finita con m posibles estados E1, E2… En m se
puede introducir la notación

Donde i, j = 1, 2, . . . , m. Si pij > 0 entonces se dice que el estado Ei puede

comunicar con
Ej . La comunicación puede ser mutua si también pji > 0.
Para cada i fijo, la serie de valores {pij} es una distribución de probabilidad, ya
que
en cualquier paso puede ocurrir alguno de los sucesos E1, E2,...,En m y son
mutuamente
excluyentes. Los valores pij se denominan probabilidades de transición que
satisfacen la condición.
Suponga que en un juego existen 2 jugadores, cada uno de los cuales dispone
inicialmente de 2 monedas. En cada jugada se gana una moneda con
probabilidad ½ o se pierde una moneda con probabilidad ½. El juego termina
cuando un jugador tiene 4 monedas o se queda con ninguna. Modele como una
Cadena de Markov la situación descrita.

Desarrollo: El primer caso consiste en identificar la variable aleatoria la cuál

debe representar el problema planteado, en este caso la evolución del juego al
cabo de cada etapa o jugada. Se define la variable aleatoria en tiempo discreto
Xn : Cantidad de monedas que tiene uno de los jugadores (digamos el jugador
A) al cabo de la enésima jugada.

Luego se debe identificar los posibles valores o estados que puede tomar esta
variable aleatoria para una etapa n cualquiera. Sabemos que el jugador A
comienza el juego con 2 monedas y el juego termina cuando pierde todo (y por
tanto el jugador B gana) o cuando gana todo (y por tanto el jugador B pierde). En
consecuencia, los valores posibles para Xn son {0,1,2,3,4}.
A continuación, se debe determinar las probabilidades de transición (en una
etapa). Por ejemplo, si actualmente el jugador A tiene 2 monedas, la
probabilidad que tenga 3 monedas al cabo de una jugada es ½ (probabilidad de
ganar) y la probabilidad de que tenga 1 moneda es ½ (probabilidad de perder).
De esta forma se identifican las distintas combinaciones o probabilidades de que
comenzando en un estado "i" se pueda pasar a un estado "j" al cabo de una
etapa. Notar que si el jugador A tiene 0 monedas la probabilidad que continúe en
ese estado es 1 (o 100%) dado que no tiene monedas para seguir jugando. De
la misma forma si el jugador A tiene 4 monedas el jugador B tiene 0 y por tanto
la probabilidad de que el jugador A se mantenga en ese estado es de 1 (o
100%).

Las probabilidades de transición en una etapa se pueden representar haciendo

uso de un grafo o en forma resumida a través de la matriz de transición de
probabilidades.
Cabe destacar que la suma de las probabilidades para cada fila en la matriz de
transición P es de un 100%.
Podemos responder preguntas adicionales como por ejemplo ¿Cuál es la
probabilidad de que el jugador A tenga 2 monedas al cabo de 2 jugadas?
Haciendo uso del grafo y dado que actualmente el jugador A tiene 2 monedas,
se busca identificar las combinaciones que permitan a este jugador mantener
esta cantidad de monedas al cabo de 2 etapas. Esto se logra ganando la
próxima jugada (con probabilidad ½) y perdiendo la jugada que sigue (con
probabilidad ½). También se llega al mismo resultado perdiendo la próxima
jugada, pero luego ganando en la jugada que sigue. Por tanto, la probabilidad de
tener 2 monedas al cabo de 2 etapas es P(X2=2/X0=2) = ½*½ + ½*½ = ½.
 4.3 Estado estable.

Se puede decir que el estado estable es la distribución de probabilidades que en

cierto punto quedara fija por el vector P y no presentara cambios en periodos
posteriores.
4.4 Casos especiales (cadenas absorbentes, cadenas
cíclicas).
Previamente hablamos de estado estable, ahora procederemos a explicar otra
clase de estado, el absorbente.
Definición:
Estado cuya única transición posible es volver al mismo estado. Un estado
absorbente constituye una clase final de un único estado.
En otras palabras un estado absorbente es aquel del que no se puede salir una
vez se haya caído en él, es decir la probabilidad de permanecer en el mismo es
de 100% .Por ejemplo si expresáramos la vida como una cadena de markov,
con la serie de estados: nacer, crecer, reproducirse y morir; la muerte sería
obviamente el estado absorbente ya que no existe la posibilidad alguna de
volver a un estado anterior.

CÓMO PROCEDEMOS EN ESTOS CASOS.

Resolvamos un ejemplo