Tarea 1: Markov

Autor: Jorge Betancourt Parada

Al analizar un proceso aleatorio se determinó que tiene 5 estados identificables y que, después de un análisis
de su comportamiento, se determinaron las transiciones que se producen y cuáles son sus probabilidades, las
que se muestran en el siguiente diagrama:

Este proceso en particular tiene sólo 2 posibles estados iniciales: el estado 2 y el estado 5.

clear;
clc;
close all;

1. La matriz de transición.

P=[0 0 0 0 1;0.8 0 0.2 0 0;0.7 0 0 0.3 0;0 0.5 0.5 0 0; 0 0.1 0 0.9 0];

Creamos la cadena de Markov discreta:

mc = dtmc(P);

La visualizamos:

figure;
graphplot(mc,'ColorEdges',true,'ColorNodes',true);

1
2. El vector de probabilidad de estados después de la transición 1, 2, 5, 10 y 20, para ambos estados iniciales
calculados de forma independiente. Este vector debe ser calculado de forma matricial de acuerdo a la fórmula,
y mediante cálculo directo a través de Matlab (redistribute).

Como nos pide hacerlo de manera independiente para cada estado inicial, comenzaremos con el estado 2.

X0 = [0 1 0 0 0];

Ahora calculamos el vector de probabilidad de estados despues de la transición 1:

p1_2 = X0 * P;
X_1_2 = redistribute(mc,1,'X0', X0);

Transicion 2:

p2_2 = X0 * P^2;
X_2_2 = redistribute(mc,2,'X0', X0);

Transicion 5:

p5_2 = X0 * P^5;
X_5_2 = redistribute(mc,5,'X0', X0);

2
Transicion 10;

p10_2 = X0 * P^10;
X_10_2 = redistribute(mc,10,'X0', X0);

Transicion 20;

p20_2 = X0 * P^20;
X_20_2 = redistribute(mc,20,'X0', X0);

Repetimos todo lo anterior para el estado inicial 5:

X1 = [0 0 0 0 1];

Ahora calculamos el vector de probabilidad de estados despues de la transición 1:

p1 = X1 * P;
X_1_5 = redistribute(mc,1,'X0', X1);

Transicion 2:

p2_5 = X1 * P^2;
X_2_5 = redistribute(mc,2,'X0', X1);

Transicion 5:

p5_5 = X1 * P^5;
X_5_5= redistribute(mc,5,'X0', X1);

Transicion 10;

p10_5 = X1 * P^10;
X_10_5 = redistribute(mc,10,'X0', X1);

Transicion 20;

p20_5 = X1 * P^20;
X_20_5 = redistribute(mc,20,'X0', X1);

3. El mapa de probabilidades de estados hasta la transición 20 para ambos estados iniciales mediante Matlab
(distplot).

Primero para el estado inicial 2

figure;
distplot(mc,X_20_2);

3
Luego para el estado inicial 5

figure;
distplot(mc,X_20_5);

4
4. El vector de probabilidad de estados en estado estacionario. calculado de forma matricial de acuerdo a
fórmula y mediante cálculo a través de Matlab (asymptotics).

% Calcular el estado estacionario

asymptotics(mc)

ans = 1×5
0.2252 0.1469 0.1538 0.2488 0.2252

Modifique ahora sus cálculos considerando que no existe salida desde el estado 5. Para este nuevo caso
determine entonces:

1. La matriz de transición.

P2=[0 0 0 0 1;0.8 0 0.2 0 0;0.7 0 0 0.3 0;0 0.5 0.5 0 0; 0 0 0 0 1];

Creamos la cadena de Markov discreta:

mc2 = dtmc(P2);

La visualizamos:

figure;
graphplot(mc2,'ColorEdges',true,'ColorNodes',true);

5
2. El vector de probabilidad de estados después de la transición 5, para ambos estados iniciales calculados de
forma independiente. Este vector debe ser calculado de forma matricial de acuerdo a la fórmula, y mediante
cálculo directo a través de Matlab.

Para el estado inicial 2:

Transicion 5:

p5_2_2 = X0 * P2^5;
X_5_2_2 = redistribute(mc2,5,'X0', X0);

Transicion 10;

p10_2_2 = X0 * P2^10;
X_10_2_2 = redistribute(mc2,10,'X0', X0);

Transicion 20;

p20_2_2 = X0 * P2^20;
X_20_2_2 = redistribute(mc2,20,'X0', X0);

Para estado inicial 5:

Transicion 5:

6
 p5_5_2 = X1 * P2^5;
X_5_5_2 = redistribute(mc2,5,'X0', X1);

Transicion 10;

p10_5_2 = X1 * P2^10;
X_10_5_2 = redistribute(mc2,10,'X0', X1);

Transicion 20;

p20_5_2 = X1 * P2^20;
X_20_5_2 = redistribute(mc2,20,'X0', X1);

3. El mapa de probabilidades de estados hasta la transición 20 para ambos estados iniciales mediante Matlab.

Para estado inicial 2:

figure;
distplot(mc,X_20_2_2);

Para estado inicial 5:

figure;
distplot(mc,X_20_5_2);

7
4. El vector de probabilidad de estados en estado estacionario. calculado de forma matricial de acuerdo a
fórmula y mediante cálculo a través de Matlab.

% Calcular el estado estacionario

asymptotics(mc2)

ans = 1×5
0 0 0 0 1