Universidad Politcnica del Estado de Morelos

Anlisis y toma de decisiones

Tapia Robledo Luis Ricardo
6C IIN

Cadenas de Markov
Una cadena de Markov es una serie de eventos, en la cual la probabilidad de
que ocurra un evento depende del evento inmediato anterior.
Las cadenas de este tipo tienen memoria, "Recuerdan" el ltimo evento y esto
condiciona las posibilidades de los eventos futuros. Esta dependencia del
evento anterior distingue a las cadenas de Markov de las series de eventos
independientes, como tirar una moneda al aire o un dado. En los negocios, las
cadenas de Markov se han utilizado para analizar los patrones de compra, los
deudores morosos, para planear las necesidades de personal y para analizar el
reemplazo de equipo.
El anlisis de Markov, llamado as en honor de un matemtico ruso que
desarrollo el mtodo en 1907, permite encontrar la probabilidad de que un
sistema se encuentre en un estado en particular en un momento dado. Algo
ms importante an, es que permite encontrar el promedio a la larga o las
probabilidades de estado estable para cada estado. Con esta informacin se
puede predecir el comportamiento del sistema a travs del tiempo. La tarea
ms difcil es reconocer cundo puede aplicarse. La caracterstica ms
importante que hay que buscar en la memoria de un evento a otro.
Propiedad de Markov: Dada una secuencia de variables aleatorias ......, X 1 X2
X3 , tales que el valor de Xn es el estado del proceso en el tiempo n. Si la
distribucin de probabilidad condicional de X n+1 en estados pasados es una
funcin de Xn por s sola, entonces:

Donde Xi es el estado del proceso en el instante i.

Matriz de transicin
Los elementos de la matriz de transicin representan las probabilidades de que
en el prximo ensayo el estado del sistema del partido indicado a la izquierda
de la matriz cambie al estado del partido indicado arriba de la matriz.
Matriz estocstica
Es una matriz cuadrada cuyos elementos son no negativos y tal que la suma de
los elementos de cada fila es igual a 1.
Matriz de transicin en un solo paso
Dada una cadena de Markov con k estados posibles s 1,...,sk y probabilidades
de transicin estacionarias.

Universidad Politcnica del Estado de Morelos

Anlisis y toma de decisiones
Tapia Robledo Luis Ricardo
6C IIN

La matriz de transicin P de cualquier cadena de Markov finita con

probabilidades de transicin estacionarias es una matriz estocstica
Observaciones:
1) La suma 1 ..... pi1 + pi2 ++ pin = . Esta suma representa la probabilidad de
que el sistema pase a uno de los estados 1, 2, ., n dado que empieza en el
estado i. Ya que el sistema ha de estar en uno de estos n estados, la suma de
probabilidades debe ser igual a 1. Esto significa que los elementos en cualquier
rengln de la matriz de transicin deben sumar 1.
2) Cada elemento 0
Teorema 1: Si P denota la matriz de transicin de una cadena de Markov y Ak
es la matriz de estado despus de k ensayos, entonces la matriz de estado Ak
+1 despus del ensayo siguiente est dada por: Ak +1 = Ak .P
Teorema 2: Una matriz de transicin P se dice que es regular si para algn
entero positivo k, la matriz kP no tiene elementos iguales a cero. Si P es una
matriz de transicin regular, entonces sin importar la matriz de estado inicial,
las matrices de estado sucesivas se aproximan a alguna matriz de estado fija B
en donde B.P = B. La matriz B se denomina matriz estacionaria del sistema

Andri Andrievich Markov

(Riazn, 1856 - San Petersburgo, 1922) Matemtico ruso que desarroll la
moderna teora de procesos estocsticos. Trabaj en la casi totalidad de los

Universidad Politcnica del Estado de Morelos

Anlisis y toma de decisiones
Tapia Robledo Luis Ricardo
6C IIN
campos de la matemtica. En el campo de
la la teora de la probabilidad, profundiz
en las consecuencias del teorema central
del lmite y en la ley de los grandes
nmeros. En su honor, lleva su nombre un
tipo muy especial de procesos
estocsticos.
Markov, graduado en la Universidad de
San Petersburgo en 1878, fue alumno de
Pafutny Chebyshev, quien ejerci una
gran influencia en sus investigaciones.
Imparti clases de matemticas en esta
Universidad desde 1886. Sus primeras
investigaciones versaron sobre anlisis y
teora de nmeros, en particular sobre las
fracciones continuas, lmites de integrales, teora de aproximaciones y
convergencia de series. En 1900 estudi la teora de probabilidades. Demostr
a partir de supuestos muy generales el llamado teorema central del lmite, que
establece que la suma de un nmero grande de variables aleatorias
independientes se aproxima a una distribucin gaussiana.

Bibliografa
http://www.ingenieria.unam.mx/javica1/ingsistemas2/Simulacion/Cadenas_de_M
arkov.htm
http://www.bioingenieria.edu.ar/academica/catedras/metestad/Cadenas%20de
%20Markov-1.pdf
http://www.biografiasyvidas.com/biografia/m/markov.htm