Facultad de Ingenierías

Programa de Ingeniería Industrial

Asignatura: Investigación de Operaciones II
Docente: Ing. Katherinne Salas Navarro, PhD
Universidad de la Costa

TALLER ESTRATEGIAS DE JUEGOS NO COOPERATIVOS Y PROCESOS

MARKOVIANOS

Joel Ballesta – Marcela Sinning.

I. Investiga los siguientes temas propuesto (Valor 2.0).

1) Definición de Cadenas de Markov de Tiempo Continuo: Procesos de nacimiento y
muerte.
2) Aplicación de procesos de nacimiento y muerte.
3) Ejemplos de procesos de nacimiento y muerte.

Definición de Cadenas de Markov de Tiempo Continuo: Procesos de nacimiento y

muerte
Al igual que en el caso de las cadenas de tiempo discreto, estas están caracterizadas por
la propiedad Markoviana de que dado el estado presente, el futuro es independiente del
pasado.
En otras palabras, una cadena de Markov de tiempo continuo (CMTC) es un proceso
estocástico que verifica la propiedad markoviana, es decir, que la probabilidad
condicional de un futuro estado en el tiempo t + s, dado el estado presente en el tiempo
s y todos los estados pasados, solo depende del presente estado y en independiente del
pasado
Sea {Xt} t≥0 un proceso estocástico de tiempo continuo (es decir t ∈ [0, T] con T ∈ R
fijo), que toma valores en un conjunto numerable E. Decimos que el proceso {X t} t≥0 en
una cadena

de Markov de tiempo continuo si ∀ s, t ≥ 0 y ∀ i, j, xu ∈ E con 0 ≤ u ≤ s se cumple que:

Es independiente entonces se dice que la CMTC tiene probabilidades de transición

estacionarias u homogéneas.

A continuación construiremos un proceso {Xt} con t ∈ R a valores en un espacio E

numerable y veremos luego que dicha construcción resulta ser una CMTC.
 Facultad de Ingenierías
Programa de Ingeniería Industrial
Asignatura: Investigación de Operaciones II
Docente: Ing. Katherinne Salas Navarro, PhD
Universidad de la Costa

Supongamos entonces que el espacio de estados E es un conjunto numerable. Sea q: E ×

E → R una función tal que q(x, y) ≥ 0 para todos x, y ∈ E, x ≠ y. Llamaremos a q(x, y)
velocidad de transición del estado x

al estado y. Queremos construir un proceso con la propiedad de que la velocidad de

salto de un estado x a otro y sea q(x, y). En otras palabras el proceso debe verificar:

Observar que si el espacio de estados E es finito, entonces esta condición se satisface

automáticamente). Para construir el proceso, introducimos un proceso de Poisson
bidimensional M(·) : Ω × P(R 2 ) → R con parámetro 1. Para cada x ∈ E particionados
el
intervalo I x := [0, q(x)] en intervalos I(x, y) tales que |I(x, y)| = q(x, y). De esta forma,
tenemos que {I(x, y)}y∈E ⊂ R verifica que:

Observar que x1 está bien definido, ya que como los {I(x, y)} y∈E son una partición del
intervalo [0, q(x)] entonces el estado y que verifica 3.6 es único). Supongamos ahora
que
 Facultad de Ingenierías
Programa de Ingeniería Industrial
Asignatura: Investigación de Operaciones II
Docente: Ing. Katherinne Salas Navarro, PhD
Universidad de la Costa

tenemos determinados τn−1 y xn−1. Definimos entonces de manera inductiva:

Procesos de nacimiento y muerte

Los procesos de nacimiento y muerte representan el crecimiento o la extinción de la

población de cierto sistema. El valor de la variable Xt representa el número de

individuos

que hay en el sistema en el tiempo t. Las velocidades de nacimiento y muerte dependen

solamente de la cantidad de individuos que hay en ese momento, es decir:
 Facultad de Ingenierías
Programa de Ingeniería Industrial
Asignatura: Investigación de Operaciones II
Docente: Ing. Katherinne Salas Navarro, PhD
Universidad de la Costa

son familias de parámetros no negativos. A continuación usaremos las ecuaciones de

balance para encontrar condiciones bajo las cuales el proceso admite una medida
invariante. Como el espacio de estados E es numerable supondremos que es N para
facilitar la notación.

Queremos encontrar un vector π = {π(x)}x∈N que satisfaga las siguientes condiciones:

Sustituyendo en cada caso las velocidades de transición correspondientes implican que:

Aplicación de procesos de nacimiento y muerte

Aplicaciones en Biología
Todos los sistemas biológicos comparten la propiedad del crecimiento de sus
individuos, por lo tanto a la hora de estudiar poblaciones (por ejemplo de plantas o
 Facultad de Ingenierías
Programa de Ingeniería Industrial
Asignatura: Investigación de Operaciones II
Docente: Ing. Katherinne Salas Navarro, PhD
Universidad de la Costa

animales) la existencia de una teoría acerca de procesos de crecimiento es

extremadamente deseada y necesaria a continuación varios ejemplos en donde se
aplican los procesos de nacimiento y muerte en biología.
Procesos simples de Nacimiento, Muerte e Inmigración.
El tipo de proceso de nacimiento y muerte que es de interés en diversas aplicaciones es
el proceso de nacimiento, muerte e inmigración. Las características de estos procesos
son las mismas que las de los procesos simples de nacimiento y muerte, con la
propiedad adicional de que en el intervalo de tiempo (t, t + ∆t) la probabilidad de que el
tamaño de la población aumente una unidad debido a la inmigración desde fuera de la
población es ν∆t + o (∆t), donde ν > 0 es la velocidad de inmigración. Observar que
aunque la inmigración aumenta el tamaño de la población, el efecto de la velocidad de
inmigración ν difiere del de la velocidad de nacimientos λ en el sentido de que es
independiente del tamaño de la población.

Sea FI (s, t) la función generatriz asociada a este proceso. Entonces se cumple:

Donde F(s, t) es la función generatriz asociada al proceso de nacimiento y muerte. Si

X0 = 0 entonces 4.42 o 4.43 serán resueltas con la condición inicial FI (s, 0) = 1. La
solución de 4.42 es:
 Facultad de Ingenierías
Programa de Ingeniería Industrial
Asignatura: Investigación de Operaciones II
Docente: Ing. Katherinne Salas Navarro, PhD
Universidad de la Costa

Derivando las ecuaciones de arriba obtenemos la siguiente expresión para la esperanza

del tamaño de la población en tiempo t:
 Facultad de Ingenierías
Programa de Ingeniería Industrial
Asignatura: Investigación de Operaciones II
Docente: Ing. Katherinne Salas Navarro, PhD
Universidad de la Costa

Procesos de Nacimiento y Muerte no homogéneos

Procesos de nacimiento y muerte más generales fueron estudiados por Kendall, en los
cuales las velocidades de nacimientos y muertes son funciones arbitrarias del tiempo y
no funciones lineales de la variable estados como hemos asumido hasta ahora. Estos
procesos están caracterizados por la siguiente ecuación diferencial:
Donde Px(t) = P(Xt = x) con x ∈ N y Xt denota el tamaño de la población en tiempo t.
Análogamente al razonamiento hecho en la sección anterior se ve que la solución de
este sistema con condición inicial

Como se dijo anteriormente, lo interesante de estos procesos es el comportamiento de

los momentos y la probabilidad de extinción de la población. De la misma manera que
se hizo en la sección anterior, no es difícil de ver que:

De esta manera dados λ(t) y µ(t) podemos saber explícitamente las expresiones para la
esperanza y la varianza de la variable Xt y estudiar su comportamiento, como por
ejemplo se estudió el caso lineal en la sección anterior. Por otro lado, debido a la
definición de α(t) vemos que en este caso general la probabilidad de que la población se
extinga en tiempo t es:
 Facultad de Ingenierías
Programa de Ingeniería Industrial
Asignatura: Investigación de Operaciones II
Docente: Ing. Katherinne Salas Navarro, PhD
Universidad de la Costa

Observar que en el caso de que X 0 = x0 > 1, la independencia entre los individuos de la

población implica que la probabilidad de extinción de la población se obtiene elevando
a la x0-esima potencia.
Consideremos ahora el “proceso acumulativo” asociado con cierto proceso de
nacimiento y muerte. De esta manera, además de la v.a. X t que representa el número de
individuos que hay en la población en tiempo t, introducimos una nueva variable Y t que
representa en número total de nacimientos que se produjeron en la población hasta
tiempo t. Entonces, Yt es un proceso de “nacimiento puro” en el sentido de que un
cambio en Yt es inducido por un nacimiento en la población, es decir por un incremento
en una unidad en la variable aleatoria X t. Sea entonces {Xt, Yt: t ≥ 0} el proceso
acumulativo, y notemos:
 Facultad de Ingenierías
Programa de Ingeniería Industrial
Asignatura: Investigación de Operaciones II
Docente: Ing. Katherinne Salas Navarro, PhD
Universidad de la Costa

Ejemplos de procesos de nacimiento y muerte.

Supongamos una fábrica con tres máquinas en uso y un técnico para repararlas. Cada
máquina trabaja durante un tiempo exponencial con media 60 días antes de una avería,
pero cada avería requiere un tiempo de reparación exponencial con media 4 días. Se
trata de calcular la fracción de tiempo en que las tres máquinas trabajan a largo plazo.
Denominamos Xt el número de máquinas que está funcionando, dado que sólo hay un
técnico para repararlas se tiene que:

Donde i = 0, 1, 2. Por otro lado, la tasa de fallo es proporcional al número de máquinas

trabajando, de modo que:

Donde i = 1, 2, 3. Fijamos π(0) = c de modo que, como:

La suma de todas ellas debe ser igual a 1, luego:

 Facultad de Ingenierías
Programa de Ingeniería Industrial
Asignatura: Investigación de Operaciones II
Docente: Ing. Katherinne Salas Navarro, PhD
Universidad de la Costa

Luego, a largo plazo, el porcentaje de las máquinas que están trabajando es el

1225
∗100=82,66 % del tiempo .
1482

Ejemplo.
Supongamos una peluquería que corta el pelo a un ritmo o tasa de 3 personas por hora,
esto es, cada corte de pelo requiere una cantidad de tiempo que se distribuye como una
exponencial de media 20 minutos. Supongamos que los clientes llegan según un
proceso de Poisson de tasa 2, pero que se marchan si las dos sillas de la salita de espera
están ocupadas. Se trata de calcular la fracción de tiempo que las dos sillas están
ocupadas. También, interesa averiguar cuantos clientes son atendidos por hora, a largo
plazo. Se define el estado como el número de clientes en el sistema, de modo que S =
{0, 1, 2, 3}. A partir del enunciado se deduce que:
 Facultad de Ingenierías
Programa de Ingeniería Industrial
Asignatura: Investigación de Operaciones II
Docente: Ing. Katherinne Salas Navarro, PhD
Universidad de la Costa
 Facultad de Ingenierías
Programa de Ingeniería Industrial
Asignatura: Investigación de Operaciones II
Docente: Ing. Katherinne Salas Navarro, PhD
Universidad de la Costa

II. Resuelve los siguientes ejercicios propuestos de análisis de decisiones en

ambientes de riesgo con experimentación (Valor 3.0)

1. Considere el juego que tiene la siguiente matriz de pagos.

Estrategia Jugador 2
1 2 3 4 5
Jugador 1 1 -3 2 -2 1
1 2 2 3 0 3 -2
3 0 4 -1 -3 2
4 -4 0 -2 2 -1

Aplicando criterio maximin y minimax obtenemos:

Minimo
1 -3 2 -2 1 -3
2 3 0 3 -2 -2 Valor Maximo
0 4 -1 -3 2 -3
-4 0 -2 2 -1 -4
Maximo 2 4 2 3 2
Valor Minimo

Por lo que decimos que el valor de maximin de -2 y de minimax 2, decimos que el

juego no tiene punto de silla.

a) Construye un modelo de programación lineal para el jugador 1 y jugador que permita

solucionar el juego con estrategias mixtas.
b) Soluciona los modelos de programación lineal aplicando el método simplex (puedes
utilizar las herramientas Solver o GAMS y adjunta los archivos de solución.
c) Analiza los resultados obtenidos para cada jugador.

Formulación de modelo para jugador 1:

Maximizar Z = V

v−x 1−2 x 2−0 x 3 + 4 x 4 ≤ 0

v+3 x 1−3 x 2−4 x3 −0 x 4 ≤0
v−2 x 1−0 x 2 + x 3+ 2 x 4 ≤ 0
v+ 2 x 1−3 x 2+3 x 3−x 4 ≤ 0
 Facultad de Ingenierías
Programa de Ingeniería Industrial
Asignatura: Investigación de Operaciones II
Docente: Ing. Katherinne Salas Navarro, PhD
Universidad de la Costa

v−x 1+2 x 2−2 x3 + x 4 ≤ 0

x 1+ x2 + x 3 + x 4=1
x1 , x2 , x3 , x4 ≥ 0

v sin restricciones

Solución mediante herramientas gams.

Formulación de modelo en herramienta gams jugador 1.

Variables
Z
V
X1
X2
X3
X4;

Positive variable X1, X2, X3, X4;

Equations
FO Función objetivo
R1
R2
R3
R4
R5
R6;

FO.. Z =e= V;
R1.. v - X1 + (-2*X2)+ (-0*X3) + (4*X4) =l= 0;
R2.. V + (3*X1) + (-3*X2) + (-4*X3) + (-0*X4) =l= 0;
R3.. V + (-2*X1) + (-0*X2) + (X3) + (2*X4) =l= 0;
R4.. V + (2*X1) + (-3*X2) + (3*X3) + (-2*X4) =l= 0;
R5.. V - X1 + (2*X2) + (-2*X3) + X4 =l= 0;
R6.. X1 + X2 + X3 + X4 =e= 1;

Model Punto1/all/;
Solve Punto1 using LP maximizing Z;
 Facultad de Ingenierías
Programa de Ingeniería Industrial
Asignatura: Investigación de Operaciones II
Docente: Ing. Katherinne Salas Navarro, PhD
Universidad de la Costa

Nota: Programación empleada para la solución de ejercicio mediante la herramienta

gams, adicional se envía archivo de gams.

Solución dada en la herramienta.

Formulación de modelo para jugador 2:

Minimizar Z = V

v− y 1+ 3 y 2−2 y3 +2 y 4 − y 5 ≥ 0
v−2 y 1−3 y 2−0 y 3−3 y 4 +2 y 5 ≥ 0
v−0 y 1−4 y 2+ y 3+ 3 y 4−2 y 5 ≥ 0
v+ 4 y 1−0 y 2 +2 y 3−2 y 4 + y 5 ≥ 0
y 1 + y 2+ y 3+ y 4=1
y1 , y2 , y3 , y4 ≥ 0

v sin restricciones

Solución mediante herramientas gams.

Formulación de modelo en herramienta gams jugador 2.

Variables
Z
V
y1
 Facultad de Ingenierías
Programa de Ingeniería Industrial
Asignatura: Investigación de Operaciones II
Docente: Ing. Katherinne Salas Navarro, PhD
Universidad de la Costa

y2
y3
y4
y5;

Positive variable y1, y2, y3, y4, y5;

Equations
FO Función objetivo
R1
R2
R3
R4
R5;

FO.. Z =e= V;
R1.. v - y1 + (3*y2)+ (-2*y3) + (2*y4) - y5 =g= 0;
R2.. V + (-2*y1) + (-3*y2) + (-0*y3) + (-3*y4)+ (2*y5) =g= 0;
R3.. V + (-0*y1) + (-4*y2) + (y3) + (3*y4) + (-2*y5) =g= 0;
R4.. V + (4*y1) + (-0*y2) + (2*y3) + (-2*y4)+ y5 =g= 0;
R5.. y1 + y2 + y3 + y4 + y5 =e= 1;

Model Punto2/all/;
Solve Punto2 using LP minimazing Z;

Nota: Programación empleada para la solución de ejercicio mediante la herramienta

gams, adicional se envía archivo de gams.

Solución dada en la herramienta.

 Facultad de Ingenierías
Programa de Ingeniería Industrial
Asignatura: Investigación de Operaciones II
Docente: Ing. Katherinne Salas Navarro, PhD
Universidad de la Costa

2. Un profesor de ingeniería adquiere una computadora nueva cada dos años. El

profesor puede elegir de entre tres modelos: Ml, M2 y M3. Si el modelo actual es
Ml, la siguiente computadora puede ser M2 con probabilidad 0.2, o M3 con
probabilidad 0.15. Si el modelo actual es M2, las probabilidades de cambiar a Ml y
M3 son 0.6 y 0.25, respectivamente. Pero si el modelo actual es M3, entonces las
probabilidades de comprar los modelos Ml y M2 son 0.5 y 0.1, respectivamente.
Represente la situación como una cadena de Markov.
a) Exprese las actividades probabilísticas de la patrulla en la forma de una matriz de
transición.

Estados:

E0 =Si computadora M 1 , Entonces M 2 P ( 0,2 ) ó Sera M 3 P(0.15)

E1=Si computadora M 2 , Entonces M 1 P ( 0,6 ) ó Sera M 3 P(0.25)
E2=Si computadora M 3 , Entonces M 1 P ( 0,5 ) ó Sera M 2 P(0.1)

Matriz de transición sin probabilidades restantes.

 Facultad de Ingenierías
Programa de Ingeniería Industrial
Asignatura: Investigación de Operaciones II
Docente: Ing. Katherinne Salas Navarro, PhD
Universidad de la Costa

Hallando probabilidades.

Matriz de transición con probabilidades halladas.

b) Desarrolla un diagrama de transición de estados.

 Facultad de Ingenierías
Programa de Ingeniería Industrial
Asignatura: Investigación de Operaciones II
Docente: Ing. Katherinne Salas Navarro, PhD
Universidad de la Costa

c) Determine la probabilidad de que el profesor compre el modelo actual en 4 años.

Podemos decir que para el año 4 las probabilidades de ocurrencia para cada
computadora tendrán un comportamiento parecido con respecto a las 3 opciones, es
decir para este año las probabilidades de que sea M2 o M3, tendrán una misma
probabilidad. Con respecto a las demás opciones.
 Facultad de Ingenierías
Programa de Ingeniería Industrial
Asignatura: Investigación de Operaciones II
Docente: Ing. Katherinne Salas Navarro, PhD
Universidad de la Costa

REFERENCIAS.

 Carreras, A. (12 de 2 de 2009). Slideshare. Obtenido de Slideshare:

https://es.slideshare.net/tito.carrreras/proceso-de-nacimiento-y-muerte
 Fraiman, R. (2004). Cadenas de Markov de tiempo continuo y aplicaciones.
Montevideo - Uruguay.
 Zamora, K. A. (21 de 5 de 2013). SlideShare. Obtenido de SlideShare:
https://es.slideshare.net/arrza/proceso-de-nacimiento-y-muerte-poisson