Cadenas de Markov

INTEGRANTES
 JEHAN CARLOS COILA TICONA
 ESTEFANI DEYCY SOSA COLQUEHUANCA
 DENYS FERNANDO MAMANI NUÑEZ
Conceptos

> ¿Qué es un vector?

Definición de vectores. Representación de vectores.
> ¿Qué es una matriz?
Definición de Matriz. Representación de Matrices.
Multiplicación de Matrices.
> Cadenas de Markov
Vector de Probabilidad. Vectores únicos de
probabilidad. Matriz Estocástica. Matriz estocástica
regular. Vector de probabilidad fijo (t). Matriz de
transición.
 ¿Qué es un vector?

> Definición y representación

• Un vector a lista de números independientes cuyos
valores son relacionados de manera sistémica.

• En matemáticas los vectores son representados así:

V1= [0, 0, ½, ½,]

V = [a1, a2, a3… an]

 ¿Qué es una matriz?

> Definición y representación

• Es una tabla cuadrada o rectangular de números,
ordenados por filas y columnas. En algunos casos se
pueden realizar sumas y multiplicaciones de matrices.

• Una matriz se representa así:

0 0 ½½
0 0 1 0
½0 ½ 0
0 0 1 0
 ¿Qué es una matriz?

> Multiplicación de matrices

• Antes de proceder a multiplicar matrices se ha de tener en cuenta
una condición fundamental: la cantidad de columnas de la primera
matriz debe ser igual a la cantidad de filas de la segunda.

El proceso de multiplicación se realiza así:

La primera fila de la primera matriz por la primera columna de la

segunda matriz.
La primera fila de la primera matriz por la segunda columna de la
segunda matriz (y así hasta completar el número de columnas)

Luego se pasa a la segunda fila y se repite la multiplicación de las

columnas. El resultado es una nueva matriz.
 ¿Qué es una matriz?

> Ejemplo de multiplicación de matrices

0 0 ½½ 0 0 ½½ ¼ ¼ ¼ ¼
0 0 1 0 ¼½ ¼0 ½ 0 ½ 0
X =
½0 ½ 0 ½0 ½ 0 ¼ 0 ½ ¼
0 0 1 0 0 ½ 0 ½ ½ 0 ½ 0

Ejemplo de la primera fila por columna:

A11= 0*0+ 0*1/4+ 1/2*1/2+1/2*0= 1/4

A12= 0*0+ 0*1/2+ 1/2*0+ 1/2*1/2=1/4
A13= 0*1/2+ 0*1/4+ 1/2*1/2+ 1/2*0=1/4
A14= 0*1/2+ 0*0+ 1/2*0+ 1/2*1/2=1/4
Así obtenemos la primera fila de la nueva matriz.
 Cadenas de Markov

> Elementos importantes

• Las cadenas de Markov pueden ser representadas a
a través de matrices. Es importante que el estudiante
tenga en cuenta que las cadenas de Markov obedecen
a un tipo de matrices específicas, las características
de las matrices que obedecen a las cadenas de
Markov son expuestas a continuación:
 Cadenas de Markov

> Vector de probabilidad

• La primera característica es que tenga vectores de
probabilidad, estos son aquellos que sus elementos
son números positivos y al sumarlos el resultado es
uno. A continuación algunos ejemplos:

V1= [0, 0, ½, ½,] Es un vector de probabilidad

V2= [1, 0, ½, ½,] NO es un vector de probabilidad
 Cadenas de Markov

> Vector único de probabilidad

Los vectores que no son de probabilidad, (la suma de sus
componentes es mayor que 1) pero que cumplen con la condición de
que todos sus componentes son positivos, tienen algo llamado vector
único de probabilidad, el cual corresponde a un escalar múltiplo de si
mismo. El vector único de probabilidad (qv) se obtiene de la siguiente
manera:
1. Se calcula la suma todos los componentes del vector
2. El vector se multiplica por ese resultado
Ejemplo:
Tengo la matriz: V2= [1, 0, ½, ½,]
Observo que no es un vector de probabilidad, pero que todos sus
elementos son positivos
Calculo la suma de sus elementos: 1+0+1/2+1/2 = 2
qv = 1/2 V2 = [1/2, 0, 1/4, 1/4]
 Cadenas de Markov

> Matriz estocástica

• Es una matriz en la cual todos sus vectores son de probabilidad.
Cuando se multiplican dos matrices estocásticas o una matriz
estocástica por si misma, el resultado siempre es una matriz
estocástica. Una matriz estocástica, se considera regular, cuando
todos los elementos de alguna potencia de dicha matriz, son
positivos.

Estocástica NO Estocástica
0 0 ½½ 0 1 ½½
0 0 1 0 1 0 1 0
½0 ½ 0 ½0 ½ 0
0 0 1 0 0 4 1 0
 Cadenas de Markov

> Matriz estocástica regular

Una matriz estocástica es regular, cuando todos los elementos de una
potencia son positivos. Como ejemplo, tomaremos nuestra matriz
estocástica de la diapositiva anterior la elevamos al cuadrado:

0 0 ½½ 0 0 ½½ ¼0 ¾ 0

0 0 1 0 X 0 0 1 0 = ½0 ½ 0
A²=
½0 ½ 0 ½0 ½ 0 ¼0 ½ ¼

0 0 1 0 0 0 1 0 ½0 ½ 0
 Cadenas de Markov

> Matriz estocástica regular

Las características de una matriz estocástica regular son:

La matriz (P) tiene un vector de probabilidad fijo (t) cuyos

componentes son todos positivos.
La sucesión de potencias de la matriz: P, P2, P3, se aproxima a la
matriz T cuyas filas son cada punto fijo (t).
X
Si p es un vector de probabilidad, entonces la sucesión de vectores:
pP, pP2, pP3, se aproxima al punto fijo t.
 Cadenas de Markov

> Hallar el vector de probabilidad fijo (t)

El vector de probabilidad fijo es una característica de las matrices
estocásticas regulares. Para hallarlo se requiere multiplicar cualquier
matriz por incógnitas con la finalidad de que estas puedan ser
despejadas. Tomaremos como ejemplo una matriz trabajada con
anterioridad:

Se realiza la multiplicación de las

0 0 ½½ matrices y luego se despeja cada una
de las incógnitas para hallar el vector
[w, x, y, z] X 0 0 1 0
de probabilidad fijo (t). Si este no es
½0 ½ 0 un vector de probabilidad, puede
convertirse utilizando lo aprendido en
0 0 1 0
diapositivas anteriores
 Cadenas de Markov

> Matriz de transición

Para calcular lo que sucederá en un tiempo determinado, el proceso
es el siguiente:
Tomo el vector que representa el estado inicial del problema, este se
llamará q0
Si multiplico q0 por la Matriz me dará el estado 1, entonces para
hallar un estado n la fórmula es:
q0 Mn = qn
 Cadenas de Markov

> Matriz de transición

Ejemplo: Si queremos hallar lo que sucederá en la transición 150,
entonces:

150
0 0 ½½
0 0 1 0
V1= [0, 0, ½, ½,] X = V150= [23/100, 3/20, 19/50, 23/100]
½0 ½ 0
Estado inicial
0 0 1 0
Es un conjunto de observaciones X1, X2, X3, . . .
Se denomina proceso estocástico:
1.- Si los valores de estas observaciones no se pueden
predecir exactamente.
2.- Pero se pueden especificar las probabilidades para los
distintos valores posibles en cualquier instante de tiempo.
X1: v.a. del estado inicial del proceso.
Xn: v.a. del estado del proceso en el instante de tiempo n.
 PROCESOS
ESTOCÁSTICOS
El «espacio paramétrico T» de un proceso estocástico es el
conjunto de todos los posibles valores que puede tomar el
tiempo.

T={t/t є T}

El «espacio de estados S» de un proceso estocástico

es el conjunto de todos los posibles valores que puede
tomar dicho proceso:

S={Xt | t є T }
 CADENAS DE MARKOV

Una cadena de Markov es un proceso estocástico en el que si el

estado actual Xn y los estados previos X1, . . . , Xn-1 son
conocidos.
La probabilidad del estado futuro Xn+1:
- No depende de los estados anteriores X1, . . . , Xn-1, y
solamente depende del estado actual Xn.

Para n = 1, 2, ... , y para cualquier sucesión de estados S1, ... ,

Sn+1:
P(Xn+1 = Sn+1| X1 = S1, X2 = S2, . . , Xn =Sn)=P(Xn+1 =
Sn+1|Xn = Sn)
( PROPIEDAD MARKOVIANA )
 CADENAS DE MARKOV

En resumen:
Un proceso de Markov finito tiene las siguientes características
generales:
1.- Es un Proceso Estocástico.
2.- Tiene la Propiedad Markoviana.
P(Xn+1 = Sn+1|X1 = S1, X2 = S2, . . , Xn =Sn)=P(Xn+1 = Sn+1|Xn = Sn)
 DIAGRAMA DE TRANSICIÓN DE
ESTADOS

El diagrama de transición de estados (DTE) de una CM es un grafo

dirigido cuyos nodos son los estados de la CM y cuyos arcos se
etiquetan con la probabilidad de transición entre los estados que unen.
Si dicha probabilidad es nula, no se pone arco.

i j
Qij
 EJEMPLO: LÍNEA
TELEFÓNICA
Sea una línea telefónica de estados ocupado = 1 y
desocupado = 0. Si en el instante t está ocupada, en el
instante t+1 estará ocupada con probabilidad de 0,7 y
desocupada con probabilidad 0,3. Si en el instante t
está desocupada, en el t+1 estará ocupada con
probabilidad 0,1 y desocupada con probabilidad 0,9.

Espacio de Estados:
S = {0,1}
Espacio Paramétrico:
T = {0, 1, 2, . . .}
 La aplicación de la biotecnología
incluye una serie de procesos
industriales que involucran
organismos vivos o partes de ellos.
se cultivan plantas seleccionadas
bajo condiciones controladas de
incubación y en medios nutritivos.

Se aplicó el método de Cadenas de Markov para

determinar los requerimientos de material
vegetal para cumplir con una demanda
determinada de acuerdo con la etapa del proceso
de la que se inicia, incluyendo en ese cálculo las
pérdidas y reprocesos.
 Su aplicación en procesos
productivos se realiza luego de
tener información y análisis de
tiempos de producción,
producto desechado y
reprocesos
Durante el proceso se producen
pérdidas por contaminación o
muerte del material y
reprocesos, cuando las plantas
se oxidan o deforman, pero una
parte de ellas se puede rescatar
y reintegrar a la etapa anterior.
Con este trabajo se pretende
brindar una herramienta para
que las empresas dedicadas a
esta industria puedan
determinar con mayor certeza
su capacidad productiva,
partiendo de parámetros
simples, como el número de
plantas iniciales requeridas
para lotes específicos y
probabilidades por etapa para
la transformación en producto
final.
Se aplica la cadena de markov para
determinar el tiempo promedio de
estancia de los pacientes en una
sala determinada, con un
determinado nivel de probabilidad
en dichos estados transitorios.
como herramienta estadística para la
toma de decisiones en el campo de la
salud, teniendo un impacto relevante
por su rigurosidad técnica y científica
para la determinación de indicadores
que inciden en los costos de calidad.
 será una herramienta de vital
importancia para la determinación con
Optimizar los recursos disponibles,
cierto nivel de probabilidad de los
perfeccionar los servicios de salud y
períodos o intervalos de tiempos de los
lograr la excelencia en los servicios
pacientes que han recibido a algún
prestados
servicio de salud,

así poder tener de

antemano una estimación
de los costos en los que
incurrirán, para luego
poder determinar los
Costos Totales de Calidad
de esos servicios
hospitalarios ofertados.
Fin de la presentación