Daniela Jiménez (00322800)

NRC 4033

26 / 04 / 2022

PROYECTO II

4.9 Aplicaciones a Cadenas de Markov

INTRODUCCIÓN

¿Qué son las Cadenas de Markov?

Una Cadena de Markov, como tal, puede ser definida como un proceso gradual que se basa en

una cantidad finita de estados en los que, la probabilidad de que un evento suceda, únicamente

depende del evento anterior con probabilidades que estén fijas. Por otro lado, a la cadena de

Markov también se la conoce por el “modelo de Markov”, que es principalmente utilizado en

teorías de probabilidad y estadística (procesos estocásticos), y el cual también resalta la

dependencia que hay entre un suceso y otro que se ha dado previamente, como se ha mencionado

al principio.

Procesos Estocásticos

Es un término matemático que se usa para manejar magnitudes aleatorias que pueden cambiar en

el tiempo o también para determinar una serie de variables aleatorias ‘estocásticas’, que

progresan en función de otra variable. Por lo tanto:

Se dice que todo proceso es estocástico {𝑿𝒕 }, si cumple con la propiedad markoviana que

establece que la probabilidad condicional de cualquier evento futuro dados cualquier

 evento pasado y el estado actual 𝑿𝒕 = 𝒊, es independiente del suceso pasado y sólo

depende del estado actual del proceso. (Acevedo, 2011, p. 21)

Nota. Demostración del cumplimiento de la propiedad markoviana mediante el cálculo de

probabilidades de transición. Adaptado de Ingeniería Matemática [Imagen], por Fausto Navarra,

2015, SlidePlayer (https://slideplayer.es/slide/1642379/).

USOS DE LAS CADENAS DE MARKOV

En general, las cadenas de Markov se emplean para la aplicación de diversos modelos

matemáticos en diferentes áreas o campos como economía, biología, química, ingeniería, etc.

que tienen la finalidad de detallar y explicar experimentos que han pasado por un proceso similar

al del método científico que se realiza de la misma manera repetidamente, pero con la única

diferencia de que el resultado de cada “intento” depende del anterior. Algunos ejemplos

específicos se pueden encontrar en:

 Economía: Modelos de negocios y Finanzas como la volatilidad de los precios y el

análisis de colapsos de las bolsas de valores.

  Meteorología: Estimación de del estado actual del tiempo atmosférico de una región

específica que depende únicamente del último estado registrado.

 Genética: Análisis de los porcentajes de alelos presentes en el genoma de una población.

 Biotecnología: Procesos de producción de plantas in vitro.

 Ingeniería Industrial: Análisis y pronóstico de series de tiempo.

 Juegos: Las cadenas de Markov se pueden implementar en varios juegos de azar al

determinar las probabilidades de apuestas de dinero.

APLICACIONES Y DEFINICIONES / EJEMPLOS

Una empresa de gaseosas quiere lanzar una nueva bebida, pero antes se deciden realizar algunas

encuestas a un grupo de personas sobre las preferencias de sabores para el nuevo producto.

En la primera encuesta se obtiene que 70% de las personas prefieren el sabor de fresa y el 30%

restante prefiere sabor de piña.

Por lo tanto, el vector que representa la situación sería:

0.70
𝒙𝟎 = ( )
0.30

NOTA: Un vector con entradas no negativas que suman 1 entre los valores de sus columnas se

denomina vector de probabilidad, ya que 0.70 + 0.30 = 1 que representa al 100% de la población

o grupo de personas que tomaron la encuesta.

Asimismo, una cadena de Markov se presenta como “una secuencia de vectores de probabilidad

𝐱 0 , 𝐱1 , 𝐱1 , …, junto con una matriz estocástica P ” (Lay, 2016, p. 254). Tal que:
NOTA: Cuando las cadenas de Markov definidas en ℝ𝑛 trazan un sistema o sucesión de

experimentos, todo 𝐱 k es visto como las k probabilidades de que un sistema esté en los n

resultados potenciales. En este caso, 𝐱 k a menudo se denomina el vector de estado.

Predicciones a futuro

Las cadenas de Markov, también pueden ser “definidas en un espacio finito de estados posibles y

cuyos cambios entre estados están determinados por un conjunto de probabilidades” (Solorio et

al., 2014). Y esto implica que, mediante ellas, es posible obtener una estimación sobre el

comportamiento de un fenómeno o proceso a largo plazo.

No obstante, cabe recalcar que hay cadenas de Markov que no tienen un comportamiento a largo

plazo bien definido, y además, existen ciertas reglas que nos permiten saber si este

comportamiento a largo plazo puede ser determinado. Por ejemplo: Si una cadena de Markov

con matriz de transición P (aquella que define la probabilidad de la variación de estado

partiendo de un tiempo actual hasta un tiempo en el futuro) tiene todas sus entradas sin valores

negativos, entonces es posible mostrar que la cadena de Markov a largo plazo no solo tiene un

comportamiento a largo plazo bien definido, sino también que este es único.

Visualización de cadenas de Markov

Por otra parte, las transiciones en un sistema se presentan visualmente a través de grafos

(diagramas de transición) en los que las flechas son las transiciones que hay entre un estado y

otro.
EJEMPLO:

 Sea T una matriz de transición como:

Entonces, su diagrama de transición será:

Nota. Diagrama de transición correspondiente a los valores contenidos en una matriz de

transición. Adaptado de Cadenas de Markov [Imagen], por Juan Huerta Mende, 2014, Academia

(https://www.academia.edu/9798029/Modelo_de_Markov_-_Investigacion_Operativa_2).

Vector de estado estable

Un vector de estado estable es considerado como un vector que indica “la probabilidad de que un

sistema esté en cualquier estado particular después de un número elevado de transiciones”

(Fraleigh, 1989). Esto implica que P, siendo una matriz estocástica, tiene un vector de estado

estable (o de equilibrio) q que cumple: Pq = q.

EJEMPLOS:

o Encontrar el vector estable de la matriz:

Lo primero que se debe hacer es resolver Px = x al reescribir la ecuación como (P – I) x = 0,

donde:

Posteriormente, se procede a reducir por filas a la matriz aumentada para el sistema

homogéneo (P – I) x = 0, del cual se obtiene que:

1
∴ y una de las soluciones es ( 2 ), el cual es un vector cuyos valores
1

internos suman a un total de 4, por lo cual se lo debe multiplicar por 1/4.

Finalmente, se podrá observar que el vector de estado estable es:

 o [M] La Unidad de Investigación Demográfica del Departamento de Finanzas del Estado

de California proporcionó los siguientes datos para la matriz de migración, la cual

describe el movimiento de la población de Estados Unidos durante 1989. En ese año,

alrededor del 11.7% de la población total vivía en California. ¿Qué porcentaje de la

población total con el tiempo vivirá en California si las probabilidades de migración

mencionadas se mantuvieran constantes durante muchos años?

Haciendo uso de MATLAB, podemos decir que:

y se resuelve (P – I) x = 0 al reducir por filas a la matriz aumentada

para conseguir:

. 162011
∴ y una solución posible es ( ). Puesto que las entradas en este
1

vector suman un total de 1.162011, se lo debe multiplicar por 1/1.162011 y finalmente se

obtendría el vector de estado estable:

INTERPRETACIÓN: Este vector de estado estable q nos indica que cerca del 13.9% (casi

14%) de la población total de los Estados Unidos eventualmente viviría en California.

RESOLUCIÓN DE EJERCICIOS

2. Un animal de laboratorio puede comer cualquiera de tres alimentos cada día. Los registros de
laboratorio indican que, si el animal elige un alimento en un ensayo, elegirá el mismo alimento
en el siguiente ensayo con una probabilidad del 60%, y elegirá cualquiera de los otros alimentos
en el siguiente ensayo con iguales probabilidades del 20%.

a) ¿Cuál es la matriz estocástica de esta situación?

Sean los alimentos que el animal consume: “1, 2 y 3”, entonces el comportamiento del animal

está representado por la tabla:

Hacia:
Desde:

RESPUESTA: Por lo tanto, la matriz estocástica P será:

b) Si el animal elige el alimento #1 en un ensayo inicial, ¿cuál es la probabilidad de que elija

el alimento #2 en el segundo ensayo después del inicial?
Hay 2 ensayos posteriores al ensayo inicial, por lo que se calcula 𝐱 𝟐 . El vector inicial es:

RESPUESTA: La probabilidad de que el animal escoja el alimento 2 es de 0.28

Sea G clima bueno, I clima regular y B clima malo, el cambio de clima se representa mediante la

tabla:
Hacia:

Desde:

RESPUESTA: Por lo tanto, la matriz estocástica P será:

El vector inicial es:

y se calcula 𝐱 𝟏 :
RESPUESTA: La probabilidad de que haya un mal clima mañana es de 30%.

El vector inicial es:

y se calcula 𝐱 𝟐 :

RESPUESTA: La probabilidad de que haya buen clima el miércoles es del 39.8%

En los ejercicios 6 y 8, encuentre el vector de estado estable.

−.6 . 8
Se resuelve Px = x al reescribir la ecuación como (P – I) x = 0, donde P – I = [ ].
. 6 −.8
Luego, se reduce por filas a la matriz aumentada para el sistema homogéneo (P – I) x = 0:
RESPUESTA:

4
Por lo tanto: , y una solución es ( ) . Ya que las entradas en este vector
3
suman 7, se lo multiplica por 1/7 para obtener un vector estable:

Se resuelve Px = x al reescribir la ecuación como (P – I) x = 0, donde P – I =

. Luego, se reduce por filas a la matriz aumentada para el sistema homogéneo

(P – I) x = 0:

RESPUESTA:

15
Por lo tanto: , y una solución es ( 2 ) . Ya que las entradas en este vector
10
suman 27, se lo multiplica por 1/27 para obtener un vector estable:
RESPUESTA:

Ya que: tendrá un cero como su entrada (2,1) para toda k, entonces P no es una
matriz estocástica regular.

Del ejercicio 2, se tenía que: , por lo que . Resolviendo

para (P – I) x = 0 al reducir por filas a la matriz aumentada, se obtiene:

RESPUESTA:

1
Por lo tanto: , y una solución es ( 1 ) . Ya que las entradas en este vector suman
1
3, se lo multiplica por 1/3 para obtener un vector estable:

 El vector q nos indica que, en el largo plazo, cada alimento tendrá igual preferencia.
Del ejercicio 4, se tenía que: , por lo que . Resolviendo
para (P – I) x = 0 al reducir por filas a la matriz aumentada, se obtiene:

RESPUESTA:

4
Por lo tanto: , y una solución es ( 3 ) . Ya que las entradas en este vector
3
suman 10, se lo multiplica por 1/10 para obtener un vector estable:

 El vector q nos indica que, en el largo plazo, la probabilidad de que haya buen clima un
día es del 40%.
Haciendo uso de Matlab: ,y .. Resolviendo para
(P – I) x = 0 al reducir por filas a la matriz aumentada, se obtiene:

RESPUESTA:

. 919192
Por lo tanto: , y una solución es ( . 191919 ) . Ya que las entradas en este
1
vector suman 2.111111, se lo multiplica por 1/2.111111 para obtener un vector estable:

 El vector q nos indica que, en un día normal, cerca de (.090909)(2000) = 182 autos serán
alquilados o estarán disponibles desde la sucursal del centro de la ciudad.
Si 𝛼 = 𝛽 = 0, entonces . Como se observa, Px = x para cualquier vector x en ℝ2 , y
1 0
( ) , ( ) son 2 vectores estables linealmente independientes en este caso.
0 1

Si 𝛼 ≠ 0 o 𝛽 ≠ 0, se resuelve (P – I) x = 0 donde . Al reducir por filas a la

matriz aumentada, se obtiene:

RESPUESTA:
Por lo que 𝛼𝑥1 = 𝛽𝑥2 , y una posible solución es que 𝑥1 = 𝛽 y 𝑥2 = 𝛼. Por lo tanto,

. Ya que las entradas en este vector suman 𝛼 + 𝛽, se lo multiplica por 1/( 𝛼 + 𝛽)

y se obtiene el vector estable:

Sea P = [𝐩𝟏 𝐩𝟐 … 𝐩𝐧 ], entonces…

Con el inciso c) del ejercicio 19, se tenía que las columnas de 𝑃2 eran vectores de probabilidad,
por lo que 𝑃2 es una matriz estocástica.

RESPUESTA:
De forma alternativa, se observó que SP = S en el inciso b) del ejercicio 19 debido a que P es
una matriz estocástica. Si se multiplica por P a la derecha, se obtiene: S𝑃2 = SP, entonces:
SP = S y esto implica que S𝑷𝟐 = S. Ya que las entradas en P no son negativas, las entradas en
𝑃2 también lo son, y 𝑷𝟐 es una matriz estocástica.

Haciendo uso de Matlab:

El primer paso es tomar una matriz estocástica aleatoria de dimensión 30 x 30:
COMANDO:

Luego, se escribe el método (1):

Se escribe el método (2):

Ahora se puede contrastar el rendimiento del método 1 y método 2. Se agrega: “tic … toc” en
ambos métodos, y por lo tanto:

RESPUESTA:
 El método que sea el más rápido depende de la matriz A. El primer método era más
complejo de implementar, pues se usan funciones propias de la librería de MATLAB, sin
embargo, este fue el que obtuvo mayor precisión.
 REFERENCIAS

Acevedo Beltrán, C. (2011). Aplicación de Cadenas de Markov para el Análisis y Pronóstico de

Series de Tiempo [Tesis de grado, Universidad Industrial de Santander]. Biblioteca
Virtual UIS. http://tangara.uis.edu.co/biblioweb/tesis/2011/141227.pdf

Fraleigh, J. (1989). Álgebra Lineal. Editorial Addison Wesley.

Huerta Mende, J. (2014). Modelo de Markov.

https://www.academia.edu/9798029/Modelo_de_Markov_-_Investigacion_Operativa_2

Lay, D. (2016). Álgebra lineal y sus aplicaciones 4ta Edición. Editorial Pearson.

Navarra, F. (2015). Cadenas de Markov en Ingeniería Matemática.

https://slideplayer.es/slide/1642379/

Sánchez, J. (2016, agosto 5). Cadena de Markov. Economipedia.

https://economipedia.com/definiciones/cadena-de-markov.html

Solorio, R., Márquez, D. et al. (2014). Aplicación de cadenas de Markov homogéneas en el

modelado del deterioro de carreteras. Notas del Instituto Mexicano de Transporte, 1(148).
http://imt.mx/resumen-boletines.html?IdArticulo=391&IdBoletin=148

Universidad Nacional de Colombia. (2022, abril 24). Cadenas de Markov.

https://ciencias.medellin.unal.edu.co/cursos/algebra-lineal/clases/8-clases/25-clase-23-
aplicaciones-cadenas-de-markov.html