Contenido

1. Introducción al proceso de Markov

Biología de Sistemas (MT-231) 2. Comportamiento en estado estable
Análisis estocástico de Sistemas Biológicos 3. Cálculo de Probabilidades

Paul Cardenas Lizana, PhD.

Universidad Nacional de Ingeniería (UNI)
Lima, Peru

1.- Introducción al proceso de Markov Motivación:

● Motivacion
● Definición del proceso de Markov
● Probabilidades de transición de n pasos
● Clasificación de estados

3 4
Motivación: Protein Kinase A cyclic nucleotide binding domain Markov state model Ion-exchange stochastic process: las reglas del juego

Bridging scales through multiscale modeling: a case study on protein kinase A

Hidden markov model approaches for biological studies
5 6

Ion-exchange stochastic process: las reglas del juego Ion-exchange stochastic process

El ingreso de iones al canal transportador para migar

● Tiempo discreto

● Llegada de iones:
● Partida de iones: “Tiempo de permanencia del ion en el canal”
Si observas el proceso y te preguntas:
1. ¿Cual es la probabilidad de ver salir un ion el primer intervalo de tiempo? A) 1 B) 0
2. Si el canal de iones estará lleno después de cierto tiempo? A) 2 B) 20 ions
3. ¿Qué variable captura la información del proceso? Pasado → estado → Futuro

7 8
Ejemplo Cadenas de Markov de estado finito de tiempo discreto

Las ingreso de iones al canal transportador para migar
● Tiempo discreto
● Ingreso de iones al canal: Bernoulli (p)
● Tiempos de permanencia del ion en el canal: geométrico (q)
● "Estado" Xn: número de iones en el canal en el tiempo n
● Xn : estado después de las n transiciones
○ Pertenece a un conjunto finito.
○ Estado inicial Xo dado o aleatorio.
○ Probabilidades de transición:
● Propiedad/suposición de Markov:
○ “dado el estado actual, el pasado no importa”

0 1 2 3 ... 19 20
● Especificación del modelo: identificar estados, transiciones y probabilidades de transición

9 10

Probabilidades de transición de n steps Problema

● Probabilidades del estado, dado el estado inicial i: rij(n) = P ( Xn = j | X0 = i )

● recursión clave:
n=0 n=1 n=2 n=99 n=100
r11(n)
r12(n)
● Estado inicial aleatorio: r21(n)
r22(n)

11 12
Problema Problema

rij(n) = P ( Xn = j | X0 = i ) rij(n) = P ( Xn = j | X0 = i ) → grandes

13 14

Problema Preguntas genéricas de convergencia

rij(n) = P ( Xn = j | X0 = i ) → pequeños ● ¿converge rij(n) a algo?

n impar: r22(n) =
n par: r22(n) =

● ¿El límite depende del estado inicial?

r11(n) =
r31(n) =
r21(n) =

15 16
Estados recurrentes y transitorios Estados recurrentes y transitorios

● El estado i es recurrente si: “a partir de i (y a donde se pueda ir) hay una ● El estado i es recurrente si: “a partir de i, y desde donde se pueda ir, hay una forma de
volver a i”
forma de volver a i”
● Si no es recurrente, se llama transitorio
● Si no es recurrente, se llama transitoria. ● Clase recurrente: una colección de estados recurrentes que solo se comunican entre sí
● El estado i es transitorio si: P( Xn = i ) → 0,
○ i es visitado un número finito de steps

● Clase recurrente: una colección de estados recurrentes que solo se

comunican (o están conectados) entre sí

17 18

Estados recurrentes y transitorios Resumen

● El estado i es recurrente si: “a partir de i, y desde donde se pueda ir, hay una forma de ● Tiempo discreto, espacio de estado discreto, tiempo homogéneo.
volver a i” ○ Probabilidades de transición
● Si no es recurrente, se llama transitorio
● Clase recurrente: una colección de estados recurrentes que solo se comunican entre sí ○ Propiedad de Markov

● rij (n) =

● La regal recursiva:

rij (n) =

19 20
Calculando las probabilidades de trayectorias
● P( X1 = 2 ,X2 = 6 ,X3 = 7 | X0 = 1) =
● P( X4 = 7 | X0 = 2) =
21
Estados periódicos en una clase recurrente
● Un estado es periódico si se puede volver al estado sólo en múltiplos de
un número entero mayor que 1.
● El comportamiento periódico complica el estudio del comportamiento
límite de la cadena.
● Los estados en una clase recurrente son periódicos si se pueden agrupar
en d > 1 grupos para que todas las transiciones de un grupo lleven al
siguiente grupo.
23
2.- Comportamiento en estados
● Comportamiento en estado estacionario
○ Estados recurrentes, estados transitorios, clases recurrentes.
○ Estados periódicos
○ Teorema de convergencia
○ Ecuaciones de balance
22
Cadenas Irreducible vs. Reducible
● Las cadenas irreducibles son cadenas en las que es posible pasar de
cualquier estado a cualquier otro estado. No importa si ese camino
puede tomar mucho tiempo, solo importa que es posible.
● Una cadena es irreducible implica que todos los estados de la cadena
son recurrentes.
● Si todos los estados están conectados de alguna manera (cadena
irreducible), entonces se tiene la garantía de volver al punto de partida
en algún momento (estados recurrentes).
● Sin embargo, lo contrario no es cierto, si los estados son recurrentes no
implica que la cadena sea irreductible.
24
Estados periódicos en una clase recurrente Estados periódicos en una clase recurrente

● Los estados en una clase recurrente son periódicos si se pueden agrupar

en d > 1 grupos para que todas las transiciones de un grupo lleven al
siguiente grupo.

25 26

Estados periódicos en una clase recurrente y cadenas irreducibles Estados periódicos en una clase recurrente y cadenas irreducibles

27 28
Probabilidades de estado estable Ejemplo

● ¿ rij (n) = P ( Xn=j | Xo=i) converge a

algun πj? ⇒ ● ¿Hay convergencia?
○ Teorema: si, cuando ● ¿Es independiente del estado inicial?
○ los todos estados recurrentes
están en una sola clase
○ y la clase recurrente no es
periódica

● Si la respuesta es “sí”, usar la regla

recursiva
○ Tomar el límite n → ∞

○ Condición adicional:
29 30

Interpretación frecuentista Resumen

● Ecuaciones de balance ● Cadena de Markov con una sola clase de estados recurrentes, aperiódico; y
algunos estados transitorios:

● Frecuencia de estar en j (a largo plazo) :

● Frecuencia de transicionar de 1 → j: ● Se puede encontrar como

solución única para las
ecuaciones de balance.

● Frecuencia de transiciones (totales) hacia → j: ● junto con →

31 32
3.- Probabilidades Ejemplo: Uso de probabilidades en estado estacionario

● Probabilidades en estado estable π1 = 2/7 , π2 = 5/7

● Calculando probabilidades de absorción
● Calculando el tiempo esperado de absorción

Asumir el proceso comienza en el estado 1

● P ( X1 = 1 , X100 = 1 | X0 = 1) =

● P ( X100 = 1 , X101 = 2 | X0 = 1) =

● P ( X100 = 1 , X200 = 1 | X0 = 1) =

33 34

Ejemplo: Uso de probabilidades en estado estacionario Probabilidades en estado estable

Matrix

35 36
Probabilidades de absorción Número esperado de steps o transiciones para la absorción

● Estado absorbente es un estado donde no se puede escapar ● El número esperado de transiciones μi hasta alcanzar 4, dado que
○ estado recurrente k con pkk = 1 comenzó en i es

● ¿Cuál es la probabilidad (ai) que la cadena finalmente termine en 4 dado que

comenzó en i? μi = 0 ∀ i =
∀ i = 4, ai = ∀ los otros μi =
∀ i = 5, ai =
otros casos, ai =

● Solución única de ai =
● Solución única de μi =

37 38

Tiempo promedio del primer step y primer regreso o recurrencia a un estado Ejemplo

● Cadena con una clase recurrente donde se fija s como recurrente

● Tiempo promedio del primer step de i a s :
○ ti = E [min { n ≥ 0 tal que Xn = s }| X0 = i ]
● t1 ,t2 , . . . , tm son soluciones únicas a
○ ts =
○ ti =
● Tiempo promedio de primera recurrencia de s a s:
○ t∗s = E [min { n ≥ 1 tal que Xn = s }| X0 = s ]
○ t∗s =

39 40