REPÚBLICA BOLIVARIANA DE VENEZUELA
Procesos de Markov con espacios determinada por la posición inicial del
MINISTERIO DEL PODER POPULAR PARA LA DEFENSA
UNIVERSIDAD NACIONAL EXPERIMENTAL POLITÈCNICA
DE LA FUERZA ARMADA BOLIVARIANA
UNEFA - NÚCLEO ANZOÀTEGUI
Bachilleres:
Profesora:
Deamaris Rodríguez Cristian Pérez 30.038.748
Eduardo Lessey 16.572.182
VI SEMESTRE ING. DE
SISTEMAS
parametrales.
Estos tipos de procesos son importantes y
son modelos en donde, suponiendo
conocido el estado presente del sistema, los
estados anteriores no tienen influencia en
los estados futuros del sistema.
Esta condición se llama propiedad de
Markov y puede expresarse de la siguiente
forma: Para cualesquiera estados x0, x1,. . .,
xn−1 (pasado), xn (presente), xn+1
(futuro), se cumple la igualdad P (Xn+1 =
xn+1 | X0 = x0,. . ., Xn = xn) = P (Xn+1 =
xn+1 | Xn = xn).
De esta forma la probabilidad del evento
futuro (Xn = xn) solo depende el evento
(Xn−1 = xn−1), mientras que la información
correspondiente al evento pasado (X0 = x0,.
. ., Xn−2 = xn−2) es irrelevante.
Los procesos de Markov han sido
estudiados extensamente y existe un gran
número de sistemas que surgen en muy
diversas disciplinas del conocimiento para
los cuales el modelo de proceso estocástico
y la propiedad de Markov son razonables.
En particular, los sistemas dinámicos
deterministas dados por una ecuación
diferencial pueden considerarse procesos
de Markov pues su evolución futura queda
sistema y una ley de movimiento
especificada.
Propiedad de Markov
La propiedad de Markov nos muestra que el
futuro es independiente del pasado, dado el
presente, lo cual se expresa en la siguiente
formula:
La cual significa que el estado actual
(representado por S) contiene toda la
información relevante de los estados
pasados (S₁,….. S), por lo tanto ya no nos
serviría tener mayor información de los
estados pasados.
Espacio Continuos de estado.
Un espacio de estado es el conjunto de
todas las configuraciones posibles de un
sistema. Es una abstracción útil para
razonar sobre el comportamiento de un
sistema dado y se usa ampliamente en los
campos de la inteligencia artificial y la teoría
de juegos.
En la teoría de sistemas dinámicos, un
sistema discreto definido por una función f ,
el espacio de estados del sistema se puede
modelar como un gráfico dirigido donde
cada estado posible de un sistema dinámico
está representado por un vértice, y hay un
borde dirigido desde a a b si y solo si ƒ ( a ) =
b . Esto se conoce como diagrama de
estado.
Para un sistema dinámico continuo definido
por una función f, el espacio de estados del
sistema es la imagen de f.
Los espacios de estados son útiles en
informática como un modelo simple de
máquinas. Formalmente, un espacio de
estados se puede definir como una tupla [N,
A, S, G] donde:
 N es un conjunto de estados
 A es un conjunto de arcos que
conectan los estados
 S es un subconjunto no vacío de N
que contiene estados de inicio
 G es un subconjunto no vacío de N
que contiene los estados objetivos.
Ejemplo. ¿Cuáles son el espacio de estados
y el espacio del parámetro para un proceso
estocástico que representa el posible
marcador durante un partido de fútbol?
Solución. El espacio de estados S es el
conjunto de valores posibles que puede
tomar el posible marcador, de donde S =
{(x,y): x, y = 0, 1, 2, ...}. El espacio del
parámetro es T = (0,90). Notemos que el
proceso se inicia en el estado (0,0) y habrá Ejemplo de aplicación de un proceso de
transiciones entre los distintos estados, Markov:
siempre que sea anotado un gol. Con cada
En el caso hipotético de que en el mercado
gol, puede hacer que x ó y se incrementen
existen tres marcas de detergentes, cada
en uno, de donde, el marcador (x,y) pasa a
una de las cuales tiene una cierta porción
(x+1,y) o a (x,y+1).
de dicho mercado en la semana 1, la
Procesos Gaussianos semana siguiente la distribución puede
cambiar dependiendo de las decisiones del
En la teoría de la probabilidad, un proceso
consumidor (seguir con la misma marca o
gaussiano es un proceso estocástico f (x) tal
cambiar por otra), y esta decisión depende
que al tomar cualquier número finito de
mucho de la última compra. Muchas otras
variables aleatorias, de la colección que
situaciones presentan este patrón de
forma el proceso aleatorio en sí, tienen una
comportamiento: los valores de las acciones
distribución de probabilidad conjunta
de la bolsa día a día, la distribución de la
gaussiana.
población entre diferentes regiones año a
Se dice que un proceso a tiempo continuo año etc.
{Xt: t ≥ 0} es un proceso Gaussiano si para
cualesquiera colección finita de tiempos t1,.
. ., tn, el vector (Xt1,. . ., Xtn) tiene
distribución normal o Gaussiana.
Un proceso gaussiano se puede usar como
distribución de probabilidad a priori en
funciones en inferencia bayesiana. La
inferencia por valores continuos que hace
uso de procesos gaussianos se conoce como
regresión gaussiana y se usa en varios
campos, desde la automatización hasta la
geoestadística (kriging). Los procesos
gaussianos también son una poderosa
herramienta para la interpolación no lineal. Andréi Márkov