Unidad II: Procesos Estocásticos

Investigación de Operaciones II

Ing. Paulina González Martínez

Contacto: clasesdii@gmail.com
 Unidad II: Procesos Estocásticos

 Procesos Estocásticos.

 Cadenas de Markov. Ecuaciones de Chapman-Kolmogorov.

 Clasificación de estados de una cadena de Markov.

 Tiempos de primera pasada.

 Propiedades de lago plazo de las cadenas de Markov.

 Cadenas de Markov en tiempo continuo.

AUTOESTUDIO:

- Cap. Taha, “Cadenas de Markov”

- Cap. Hillier-Liberman, “Cadenas de Markov”
 PROCESO ESTOCASTICO

En ocasiones nos interesa conocer como cambia una variable aleatoria a

través del tiempo.

Consideremos las siguientes situaciones:

-Evolución del precio de las acciones en el mercado bursátil día a día

- Demanda diaria de un producto en un local de ventas

- Nivel de inventario diario, semanal, mensual de un determinado producto

- Cambios mes a mes en las preferencias de los clientes por un producto

En todas ellas se trata de una sucesión de eventos que se desarrollan en el

tiempo y en el cual el resultado en cualquier etapa contiene algún elemento
que depende del azar. Se dice entonces que se trata de procesos aleatorios
ó estocásticos.
 PROCESO ESTOCASTICO

En todos los ejemplos anteriores se observa alguna característica de un

sistema en puntos discretos del tiempo t ( t =0, t =1, t =2...... ).

Sea X(t) el valor de la característica observada, en el tiempo t . Dado que, en

la generalidad de los casos, no se conoce el valor de X(t) antes del tiempo t,
se tiene que las X(t) son variables aleatorias.

Un Proceso Estocástico de tiempo discreto es un modelo para sistemas que

evolucionan en el tiempo de manera probabilística. Más formalmente un
Proceso Estocástico es una colección ó sucesión de variables aleatorias
X(t), t єT

Si T ={0,1, 2,3,.....} el proceso es de tiempo discreto

Si T = [0 , ∞ ) el proceso es de tiempo continuo

 PROCESO ESTOCASTICO

Por lo tanto, un proceso estocástico se define como una colección indexada

de variables aleatorias (Xt), donde el índice t toma valores de un conjunto T
dado.

Con frecuencia T se toma como el conjunto de enteros no negativos, y Xt

representa una característica de interés mesurable en el tiempo t.

El interés de los procesos estocásticos es describir el comportamiento de

un sistema en operación durante algunos periodos.
 EJEMPLOS DE PROCESOS ESTOCASTICOS

Estado de una máquina al Número de clientes

Serie mensual de ventas de
final de cada semana esperando en una fila cada
un producto
(funciona/averiada) 30 segundos

Marca de detergente que

compra un consumidor cada Número de unidades en
vez que se hace la compra. almacén al finalizar la
Se supone que existen 7 semana
marcas diferentes
 ESTRUCTURA DEL PROCESO ESTOCASTICO

En puntos específicos del tiempo t el sistema se encuentra exactamente en

uno de un número finito de categorías ó ESTADOS mutuamente excluyentes
etiquetados por conveniencia de notación como 1, 2,3, .......,M

Por lo tanto el Proceso estocástico {Xt} t ∈ T = {X0, X1, X2, …., Xn} es una
representación matemática de cómo evoluciona el sistema físico en el
tiempo.
 EJEMPLO 1: Ruina del jugador

Tengo inicialmente 2 dólares. Para t = 0, 1, 2, 3, ......

participo en un juego en el que apuesto 1 dólar en
cada jugada. Gano 1 dólar con probabilidad p y
pierdo 1 dólar con probabilidad 1− p. El juego
termina si acumulo 4 dólares ó si quiebro.
 EJEMPLO 1: Ruina del jugador

Sea Xt= capital luego del juego en el tiempo t .

Por lo tanto los estados del sistema son: 0; 1, 2, 3, 4 y

en consecuencia M = 5 estados.
 EJEMPLO 2: Módulos de atención

• Se dispone de 4 módulos de atención que se van

activando secuencialmente a medida que la cantidad
de usuarios que deben ser atendidos aumenta.
• Cada módulo tiene un máximo de usuarios a los que
se les puede entregar servicio.
• Cuando un módulo está completamente utilizado,
entra en servicio el siguiente módulo.
• Si un módulo deja de ser utilizado, el módulo se
desactiva temporalmente, quedando en servicio los
módulos anteriores.
 EJEMPLO 2

• La definición de estados sería:

– Estado 1: El módulo 1 está siendo utilizado.
– Estado 2: El módulo 2 está siendo utilizado.
– Estado 3: El módulo 3 está siendo utilizado.
– Estado 4: El módulo 4 está siendo utilizado.
 EJEMPLO 3: Cantidad de alumnos
• Si consideramos los siguientes porcentajes, para pasar de curso, repetir o
retirarse cada año:

– Repetir 1°año: 2%
– Pasar a 2° año: 97%
– Retirarse al final del 1° año: 1%

– Repetir 2°año: 3%
– Pasar a 3° año: 95%
– Retirarse al final del 2° año: 2%

– Repetir 3°año: 4%
– Pasar a 4° año: 92%
– Retirarse al final del 3° año: 4%

– Repetir 4°año: 1%
– Egresar: 96%
– Retirarse al final del 4° año: 3%
 EJEMPLO 3
• Definición de estados:

– Estado 1: Estar en 1° año.

– Estado 2: Estar en 2° año
– Estado 3: Estar en 3° año
– Estado 4: Estar en 4° año
– Estado 5: Egresar
– Estado 6: Retirarse del establecimiento.

ACTIVIDAD: Representar gráficamente los estados

 EJEMPLO 4

El clima de La Serena puede cambiar con rapidez de un día a

otro. Sin embargo, las posibilidades de tener un clima seco
(sin lluvia) mañana es de alguna forma mayor si hoy está seco,
es decir, no llueve. Estas probabilidades no cambian si se
considera la información acerca del clima en los días
anteriores a hoy.
 EJEMPLO 4
SOLUCIÓN:

La evolución del clima día tras día en La Serena es un proceso estocástico.

Si se comienza en algún día inicial (etiquetado como el día 0). El clima se
observa cada día t, puede ser:

Estado 0: día seco

Estado 1: día t es lluvioso

Así, para t=0, 1, 2… la variable aleatoria Xt toma los valores:

Xt 0 sí día t es seco
1 sí día t es lluvioso
De esta manera se proporciona una representación matemática de la forma
como se comporta el clima de La Serena a través del tiempo.
 DEFINICIÓN

El paso de un estado i a un estado j es una transición del estado i al

estado j y la probabilidad condicional
se llama probabilidad de transición (de un paso) del estado i al
estado j y se denota por Pij .
 PROPIEDAD MARKOVIANA

“Nos dice que el futuro depende únicamente del valor

del estado del presente y es independiente del
pasado”

Es una propiedad que posee los procesos aleatorios y de

ramificación, es decir, sus valores en el n-ésimo paso sólo dependen
de los valores en el (n-1)-ésimo paso, y no de los anteriores. Esta
propiedad, conocida como la propiedad Markoviana es de gran
importancia en el estudio de estos procesos, y en el estudio general de
la teoría de procesos estocásticos.
 PROPIEDAD MARKOVIANA

La probabilidad condicional P(Xn+1 = j | Xn = i), de que la cadena estará en el

estado j en el tiempo n + 1 si está en el estado i en el tiempo n se conoce como
una probabilidad de transición. Si para una cadena de Markov esta probabilidad
de transición tiene el mismo valor para todo los tiempos n (n = 1, 2, 3, ... )
decimos que la cadena tiene probabilidades de transición estacionarias.

Es decir una cadena de Markov tiene probabilidades de transición estacionarias

si para cualquier estados i y j existe una probabilidad de transición pij tal que
P(Xn+1 = j | Xn = i) = pij para n =1, 2, 3,...

Probabilidad de transición de un paso del estado i al

estado j
Probabilidad de transición de n
pasos
 EJERCICIOS

1. Suponga que un jugador tiene $1 y que cada jugada

gana $1 con probabilidad p>0 o pierde $1 con
probabilidad 1-p. El juego termina cuando el jugador
acumula $3 o bien cuando quiebra

2. Una partícula se mueve sobre un círculo por puntos

marcados 0, 1, 2, 3, 4 (en el sentido de las manecillas
del reloj). La partícula comienza en el punto 0. en cada
paso tiene una probabilidad de 0,5 de moverse un
punto en el sentido de las manecillas del reloj (0 sigue
a 4) y una probabilidad de 0,5 de moverse a un punto
en el sentido opuesto a las manecillas del reloj.
Encuentre la matriz de transición de un paso.
 EJERCICIOS

3.- Suponga que toda la industria de gaseosas produce solo 2 colas: Coca-Cola
y Pepsi. Cuando una persona ha comprado CC hay una posibilidad de 90% de
que siga comprándola la vez siguiente; si una persona compró Pepsi, hay 80%
de que repita la vez siguiente.
a) Si una persona actualmente es comprador de Pepsi ¿cuál es la
probabilidad de que compre CC pasadas 2 compras a partir de hoy?
b) Si en la actualidad una persona es comprador de CC ¿cuál es la
probabilidad de que compre CC pasadas 3 compras a partir de hoy?
c) Supongamos que el 60% de toda la gente toma hoy CC y el 40% Pepsi, a 3
compras a partir de ahora, ¿qué fracción de los compradores estará
tomando CC?
d) Determine el estado estable del mercado.
 EJERCICIOS

4.- Un fabricante de grabadoras está tan seguro de su calidad que está

ofreciendo garantía de reposición total si el aparato falla en dos años.
Basándose en datos compilados la compañía ha notado que solo el 1 % de
las grabadoras falla durante el primer año y 5 % durante el segundo. La
garantía no cubre grabadoras ya reemplazadas.
Modele el sistema como una cadena de Markov.

Solución:

1º) Definir cuantos estados existen

2º) Escribir claramente los estados

3º) Construir el sistema

Estados:
E1: Grabadoras funcionando durante el 1º año
E2: Grabadoras funcionando durante el 2º año
E3: Grabadoras reemplazadas por garantía
E4: Finaliza la garantía

0 0.99 0.01 0
0 0 0.05 0.95
0 0 1 0
0 0 0 1

Nota:
•Como solo falla el 1% de las grabadoras el 1º año, el 99% restante
corresponde a las grabadoras funcionando el 2º año y además es la cantidad
de grabadoras reemplazadas por derecho de garantía.
 EJERCICIOS

5.- Un taxi efectúa sus servicios en las ciudades R y

S. si el taxi está en R, la probabilidad de que un
pasajero quiera ir a S es de 0.8. si está en S, la
probabilidad de ir a R es de 0.3.
Se sabe además que el beneficio esperado por
carrera es:
Dentro de R: $1000
Dentro de S: $1200
Entre R y S: $2000
a) Obtener la probabilidad, a largo plazo de estar en
R
b) Suponiendo que realiza 10 viajes, calcular, a
largo plazo, el beneficio esperado por carrera.
 EJERCICIOS
6.-La producción de uvas en una empresa del Valle del Limarí se
clasifican según la cantidad y calidad de sol recibida durante el año y
estas pueden ser A, B ó C. la uva de tipo A, se destina a la producción
de licores añejados, la de tipo B para vinos de selección y la tipo C
para producir licores económicos. Por los antecedentes del año
anterior se determinó que si la cosecha de uvas fue de tipo A, las
probabilidades de tener durante la cosecha siguiente, una cosecha de
uvas igual es de 0,4, y se espera una cosecha de uvas de tipo C de
0,3. Si la cosecha de uvas fue del tipo B, entonces se espera contar
con uva del tipo A en una probabilidad de 0,6 y B de 0,4. Si durante el
año la cosecha de uva es de tipo C, entonces para el año siguiente, se
espera que la producción sea de tipo C con una probabilidad de 0,4 y
de tipo B de 0,6.
En promedio se producen anualmente 125000 kgs. De uva, y el ultimo
año se produjo solo uva del tipo B.
Se le solicita que apoye al ingeniero a cargo del programa de
producción en la elaboración del programa de producción para los
próximos 5 años y establezca la producción que se espera para 10
años más.
 EJERCICIOS
7.- Ante la problemática actual de la crisis energética, el gobierno ha decidido
analizar el uso de las energías disponibles para generar energía eléctrica, con el fin
de destinar recursos para investigar aquellas que son alternativas sustentables
(Eólica). El Ministerio de Transporte y Energía le solicita a Ud. determinar cuales
serán las proporciones de uso de dicha energía en un horizonte de 10 años. Las
energías actualmente en uso son: Petróleo, Carbón, Hidráulica y Eólica. Por estudios
realizados, se ha establecido que en la actualidad se utiliza el 60% en energía
Hidráulica, 15% en Petróleo y 20% en Carbón. Por otra parte se analizó que: de la
energía Hidráulica el 95% se mantiene usando la misma energía y el 5% cambia a
Eólica; del uso del Carbón, el 25% se cambia a Hidráulica, un 45% continúa usando
Carbón y un 5% cambia a Petróleo; del uso de Petróleo, un 40% se mantiene usando
Petróleo, un 15% se cambia a Carbón y un 30% se cambia a Hidráulica; también se
sabe que quienes usan energía Eólica lo siguen haciendo. Se le solicita a Ud.:
a) Matriz inicial del caso
b) Matriz de Transición para resolver la situación planteada
c) Diagrama de Transición
d) Proporción de uso para los próximos 3 años
e) ¿Es conveniente de acuerdo a la tendencia del uso de los medios de generar
energía eléctrica que se realice investigación en energía alternativa (Eólica) o
buscar mejores mecanismos para obtener petróleo, Carbón o Hidráulica a mas
bajos costos?