Documentos de Académico
Documentos de Profesional
Documentos de Cultura
37
ActualidadyNuevasTendencias Año3,Vol.II,N°5
ISSN:18568327
FiltrosconAprendizajedeParámetrosparaOptimizar
ModelosdeRedesNeuronalesenlaPrediccióndeSeries
dePrecipitaciones
(FilterswithParametersLearningforOptimizingNeuralNetworkModels
inPredictingRainfallSeries)
SabaInfante,FernandoCedeño,JoséOrtega
PalabrasClave:RedesNeuronales;FiltrodeKalmanExtendido;FiltrodePartículas;Seriesde
Precipitaciones.
KeyWords:NeuralNetworks;KalmanExtendedFilter;ParticleFilter;PrecipitationSeries
RESUMEN bondad de ajuste para medir la exactitud
delmodelo.Losresultadosdemuestranque
En este estudio se usó un modelo de redes el modelo ajustado es útil para predecir
neuronales (RN) para predecir los niveles niveles de precipitaciones mensuales con
de lluvia en Venezuela. El estudio está altaexactitudyconfiabilidad.
basadoenseriesdelluviatotalmensualdel ABSTRACT
periodocomprendidoentre19712000de36
estaciones meteorológicas. Para determinar
In this study it was used a neural network
ladimensióndeinmersióndelosdatos,así
model (NN) to predict rainfall levels in
como el tiempo de retardo, número de
Venezuela.Thestudyisbasedonaseriesof
pasos hacia atrás necesarios para predecir
monthly total rainfall in the period 1971
un valor futuro, se utilizan dos técnicas
2000 from 36 meteorological stations. One
estándar de los sistemas dinámicos, la
determine the embedding dimension of the
Información Mutua Promedio (AMI) y los
data and the delay time, the number of
Falsos Vecinos más Cercanos (FNN). Una
backwardstepsnecessarytopredictafuture
vez determinadas las variables de entrada,
value, two standard techniques of
se diseña el modelo predictivo formulado
dynamical systems, the Average Mutual
en términos de los modelos espacioestado.
Information (AMI)andtheFalseNeighbors
Paraestimarlospesosdelaredseutilizaron
Nearest(FNN).Afterdeterminingtheinput
dos algoritmos de aprendizaje Filtro de
variables, were used the predictive model
Kalman Extendido (FKE) y Filtro de
was designed in terms of statespace
Partículas o Muestreo de Importancia
models. To estimate the weights of the
Secuencial (FP o SIR). Se utilizó el criterio
network we used two learning algorithms,
de información Bayesiano (BIC) para
the Extended Kalman Filter (FKE) and a
seleccionar el número de neuronas de la
Particle Filter or Sequential Importance
capa oculta. Se proponen dos métodos de
Infanteetal.FiltrosconAprendizajedeParámetrosparaOptimizarModelosdeRedesNeuronales,p.3756
IngenieríaIndustrial. 38
ActualidadyNuevasTendencias Año3,Vol.II,N°5
ISSN:18568327
Infanteetal.FiltrosconAprendizajedeParámetrosparaOptimizarModelosdeRedesNeuronales,p.3756
IngenieríaIndustrial. 39
ActualidadyNuevasTendencias Año3,Vol.II,N°5
ISSN:18568327
(2004) y el algoritmo de filtro de siguiente: el espacio estado es
partículas(FP),Doucetetal.(2000),De particionado en muchas regiones, las
Freitasetal.(2000),Moraisetal.(2008) cuales son rellenadas por partículas de
eInfanteetal.(2009). acuerdoalgunamedidadeprobabilidad.
El algoritmo de aprendizaje de FKE Las partículas con la mayor
permite obtener mejores resultados que probabilidad son seleccionadas. El
las técnicas de estimación sistema de partículas se actualiza a lo
convencionales tales como el algoritmo largo del tiempo de acuerdo a dos
deBackpropagation,yaquehaceusode ecuaciones, una de estado o transición
los estadísticos de segundo orden y la otra de observación o evolución,
(covarianzas) que son esenciales para las cuales involucran funciones de
propagarelerrorsobrelaspredicciones, densidad de probabilidad que se
además muestra excelente convergencia estiman recursivamente en dos pasos
en los parámetros estimados, debido a denominados, predicción y
quesetienebastantememoriaenlabase actualización.
del computador y la precisión de la Elrestodelartículoesorganizadocomo
máquina es alta. El FKE se basa en la sigue: En la primera sección se plantea
expansión analítica de una serie de la metodología a seguir, se define: el
Taylordeunsistemanolinealdadopor modelodeRNenformaespacioestado,
laecuacióndeobservaciónalrededorde y se detallan los algoritmos filtro del
los estimadores máximo verosímil; que Kalmanextendidoyfiltrodepartículas;
en este caso son: la media y covarianza se definen las medidas utilizadas para
condicional a posteriori. También se determinar la exactitud de predicción
propone usar el algoritmo de FP como del modelo de RN y el método de
método para entrenar el modelo de transformación de los datos. En la
redes neuronales. La estrategia permite siguiente Sección se muestra una
que los parámetros de aprendizaje discusión de los resultados obtenidos; y
(pesos de la red) se actualicen en forma en la Sección final se establecen las
secuencial utilizando una distribución conclusionesobtenidas.
de probabilidad a posteriori. La técnica
esadecuadaparamodelajededatosque METODOLOGÍA
tengancomportamientonoestacionario,
Enloquesiguesedefinen:elmodelode
estructuras no lineales, y que se
RN en forma de espacio estado y los
requieran estimar en tiempo real;
algoritmos utilizados para estimar los
además, tiene la ventaja que no se
parámetros del modelo. El objetivo de
requiere de ninguna restricción sobre la
utilizar un modelo RN conjugado con
distribución y la forma funcional. La
lastécnicasdelossistemasdinámicoses
idea principal del algoritmo de FP es la
que en primer lugar: las precipitaciones
Infanteetal.FiltrosconAprendizajedeParámetrosparaOptimizarModelosdeRedesNeuronales,p.3756
IngenieríaIndustrial. 40
ActualidadyNuevasTendencias Año3,Vol.II,N°5
ISSN:18568327
se comportan como un sistema caótico g( ݔ ሺݐሻ), esto quiere decir que se puede
no lineal que es difícil de controlar anticipar la dinámica futura de la serie
porque presenta inestabilidad y temporal considerando únicamente los
sensibilidad a las condiciones iníciales; valores del pasado. El problema ahora
la teoría de caos permite establecer un consiste en encontrar un buen predictor
orden; en segundo lugar, se quiere ݃ොሺǤ ሻqueaproximeag(.).
utilizar la capacidad de las RN para Enestetrabajoseutilizaráunmodelode
generalizaryenestetrabajoseproponen RNparaaproximarag(.),formuladoen
dos estrategias de optimización para términosdelosmodelosespacioestado,
estimar los pesos del modelo, que dondelaecuacióndeestado(transición)
garantizan el aprendizaje de los describe la evolución de los pesos de la
parámetros en forma eficiente y con red, mientras que la ecuación de
mayor control sobre el sistema observación (medida) describe la
estudiado. relación no lineal de las entradas y
LostrabajosdeTakens(1981)yCasdagli salidas de un proceso físico que se
(1989) entre otros, han establecido la quiereestudiar.
metodología necesaria para modelar Lasentradasdelaredsedeterminanen
series de tiempo que tienen un función de m y ߬ mediante las técnicas
comportamiento no lineal. A partir de dadas en Abarbanel (1996), Fraser y
una serie de tiempo univariada, Swinney (1986). El modelo en la forma
ܺ ൌ ሼݔଵǡ ݔଶ ǡ ǥ ǡ ݔ ሽ se construyen los espacioestadosedefinecomo:
vectores de estados ݔ ሺݐሻ ൌ ሼݔሺݐሻǡ ݔሺ ݐെ
ݓ௧ାଵ ൌ ܶݓ௧ ݑ௧ (1.a)
߬ሻǡ ǥ ǡ ݔሺ ݐെ ሺ݉ െ ͳሻ߬ሻሽ;donde:ݔଵ ൌ ݔሺݐሻǡ
ݔଶ ൌ ݔሺ ݐെ ߬ሻǡ ǥ ǡ ݔ ൌ ݔሺ ݐെ ሺ݉ െ ݕ௧ ൌ ݃௧ ሺݓ௧ ǡ ݔ௧ ሻ ݒ௧ (1.b)
ͳሻ߬ሻݔଵ ൌ ݔሺݐሻǡ ݔଶ ൌ ݔሺ ݐെ ߬ሻǡ ǥ ǡ ݔ ൌ La ecuación (1.a) se llama ecuación de
ݔሺ ݐെ ሺ݉ െ ͳሻ߬ሻ,ሺ݉ ݊ሻy݉representa
estado o transición; la ecuación (1.b) se
la dimensión de inmersión y es el
llama ecuación de observación o
tiempo de retardo. Según el teorema de
medida; ݕ௧ אԹ es un vector de
Takens (1981), la trayectoria geométrica
respuesta conocido (valor supervisado),
de esta secuencia de vectores conforma
ݔ௧ ൌ ݔ ሺݐሻ אԹ es el vector de entrada;
un objeto multidimensional en ࣬ que
ݓ௧ אԹ es el vector de estado que
mantiene inalterada las características
contiene los pesos de la red neuronal,
delverdaderoperodesconocidoproceso
݃௧ ሺݓ௧ ǡ ݔ௧ ሻesunaesunafuncióniterativa
generado de los datos. Además el
que describe el mapeo no lineal de la
teorema garantiza la existencia de una
red; ݕො௧ ൌ ݃ො௧ ሺݓෝ௧ ǡ ݔ௧ ሻ es el valor de la
función ݃ǣ Թ ՜ Թ que relaciona el ଵ
respuesta estimada, ܵ ܧܥൌ σே ୀଵሺݕ௧ െ
estadoactualx(t)yelestadofuturox(t+ ே
ݕෝ௧ ሻଶ es la suma de cuadrados del error
t), mediante la ecuación x(t + t) =
de la función de predicción, ߤ௧ es un
Infanteetal.FiltrosconAprendizajedeParámetrosparaOptimizarModelosdeRedesNeuronales,p.3756
IngenieríaIndustrial. 41
ActualidadyNuevasTendencias Año3,Vol.II,N°5
ISSN:18568327
vectorderuidodelaecuacióndeestado; EntoncesusandolastécnicasBayesianas,
߭௧ es un vector de ruido de la ecuación se puede estimar la densidad a
de observación y T es una matriz de posteriori de ܲሺݓଵǣ௧ ȁݕଵǣ௧ ሻ. En muchas
constantes conocidas. Es ampliamente aplicaciones, el interés recae en la
conocido que el modelo RN tiene la estimación de las marginales, también
capacidad de aproximar cualquier llamada densidad filtrada ܲሺݓ௧ ȁݕଵǣ௧ ሻ.
función continua, con la precisión Conociendo la densidad, se pueden
deseada independientemente del calcularvariosestimadoresdelospesos
tamañodelared,Cybenko(1989). de la red, como la media, mediana,
Los supuestos del modelo son los varianza e intervalos de confianza. Para
siguientes: ߤ௧ es un ruido blanco con obtener el estimador filtrado ܲሺݓ௧ ȁݕଵǣ௧ ሻ
media cero y matriz de varianza se requiere conocer de una distribución
covarianza ܧሺߤ௧ ߤ௧் ሻ ൌ ܳ௧ , ߭௧ también es a priori ܲሺݓ ሻ y de una distribución a
unruidoblancoconmediaceroymatriz posteriori ܲሺݓ௧ିଵ ȁݕଵǣ௧ିଵ ሻ en el tiempo
de varianza covarianza ܧሺ߭௧ ߭௧் ሻ ൌ ܴ௧ , ݐെ ͳ. Entonces el estimador filtrado se
yܧሺߤ௧ ்߭ ሻ ൌ Ͳ, para todo ݇ y ݐ. Los estima recursivamente en dos pasos
ruidos ߭௧ y ߤ௧ se consideran no denominadospredicciónyactualización:
correlacionadosconlospesosdelaredy 1. Predicción:
lascondicionesiniciales.Laevoluciónde
los estados corresponden a proceso de ܲሺݓ௧ ȁݕଵǣ௧ିଵ ሻ ൌ න ܲሺݓ௧ ȁݓ௧ିଵ ሻ
Markov de primer orden con
probabilidad inicial ܲሺݓ ሻ y una ܲ כሺݓ௧ିଵ ȁݕଵǣ௧ିଵ ሻ݀ݓ௧ିଵ (3)
probabilidad de transición dada por donde:
ܲሺݓ௧ ȁݓ௧ିଵ ሻ. Las observaciones se
consideran condicionalmente ܲሺݓ௧ ȁݓ௧ିଵ ሻ ൌ න ܲሺݓ௧ ȁݑ௧ିଵ ǡ ݓ௧ିଵ ሻ
independientedadolosestados,esdecir;
ܲ כሺݑ௧ିଵ ȁݓ௧ିଵ ሻ݀ݑ௧ିଵ
ܲሺݕଵǣ௧ ȁݓଵǣ௧ ሻ ൌ ς௧ୀଵ ܲሺݕ ȁݓ ሻ, donde:
ݕଵǣ௧ ൌ ሼݕଵǡ ǡ ǥ ǡ ݕ௧ ሽyݓଵǣ௧ ൌ ሼݓଵǡ ǡ ǥ ǡ ݓ௧ ሽ, =ߜ ሺݓ௧ െ ݑ௧ିଵ െ ܶݓ௧ିଵ ሻ
(véaseHarvey,1970). ܲ כሺݑ௧ିଵ ሻ݀ݑ௧ିଵ (4)
ߜሺǤ ሻ denota un punto de masa de la
En la ecuación (2) se muestra la funciónDeltadeDiracyܲሺݑ௧ିଵ ȁݓ௧ିଵ ሻ ൌ
distribuciónconjuntadelosestadosylas ܲሺݑ௧ିଵ ሻ.
observaciones,queseobtieneusandola
regla de la cadena de probabilidad, es 2. Actualización
decir;ܲሺݓଵǣ௧ ǡ ݕଵǣ௧ ሻvienedadapor: ሺ௬ ȁ௪ ሻሺ௪ ȁ௬భǣషభ ሻ
ܲሺݓ௧ ȁݕଵǣ௧ ሻ ൌ (5)
ሺ௬ ȁ௬భǣషభ ሻ
ܲሺݓ ሻ ς୲୧ୀଵ ሺ୧ ȁ୧ିଵ ሻ ς୲୧ୀଵ ሺ୧ ȁ୧ ሻ(2)
donde:
ܲሺݕ௧ ȁݓ௧ ሻ ൌ ߜ ሾݕ௧ െ ݃௧ ሺݓ௧ ǡ ݔ௧ ሻ െ ݒ௧ ሿ
Infanteetal.FiltrosconAprendizajedeParámetrosparaOptimizarModelosdeRedesNeuronales,p.3756
IngenieríaIndustrial. 42
ActualidadyNuevasTendencias Año3,Vol.II,N°5
ISSN:18568327
ܲ כሺݒ௧ ሻ݀ݒ௧ (6) esto es,ݑ௧ ̱ܰሺͲǡ ܳ௧ ሻ, ݒ௧ ̱ܰሺͲǡ ܴ௧ ሻ y
y ݓ ̱ܰሺߤ ǡ ȭ ሻ. El objetivo del FKE es
estimar los estados no observados
ܲሺݕ௧ ȁݕଵǣ௧ିଵ ሻ ൌ ܲ ሺݕ௧ ȁݓ௧ ሻ ݓ
ෝଵǣ௧ ൌ ሼݓ ෝଵ ǡ ǥ ǡ ݓ
ෝ௧ ሽ basándose en las
observaciones ݕଵǣ௧ . El algoritmo
ܲ כሺݓ௧ ȁݕଵǣ௧ିଵ ሻ݀ݓ௧ (7) permite obtener una aproximación del
estimadoróptimo.Lanolinealidadenla
Las relaciones dadas por las ecuaciones
segunda ecuación dada en (1.b) es
(3) y (5), constituyen la solución formal
aproximadaporunaversiónlinealizada
del problema de estimación recursiva
alrededor del último estado estimado,
mediantelosmétodosBayesianos.
esto݃௧ ሺݓ௧ ǡ ݔ௧ ሻesaproximadapor:
La solución óptima de la ecuación (5)
exige calcular integrales డ
ෝ௧ ǡ ݔ௧ ሻ
݃ሺݓ ȁ ෝ ሻ ሺݓ௧ ෝ௧ ሻ ...(8)
െݓ
multidimensionales, lo que hace డ௪ ሺ௪ ୀ௪
imposibleobtenerunasoluciónanalítica.
Para obtener las ecuaciones de
Entonces para obtener aproximaciones
predicciónyactualizacióndelalgoritmo,
de las integrales se usan métodos
supóngasequeܧሺݓ௧ିଵ ȁݕଵǣ௧ିଵ ሻ ൌ ݉௧ିଵȁ௧ିଵ
numéricos o métodos de simulación
y ܸሺݓ௧ିଵ ȁݕଵǣ௧ିଵ ሻ ൌ ௧ିଵȁ௧ିଵ se conocen
MonteCarlo.
en el tiempo ݐെ ͳǤ El predictor de ݓ௧ y
En este artículo se realizan dos
su matriz asociada al error cuadrático
propuestas alternativas para estimar los
medio en el tiempo ݐെ ͳ están dadas
pesos delmodelo de RN basadas enlos
por:
algoritmos de aprendizajes: filtro de
Kalmanextendidoyfiltrodepartículas. ܧሺݓ௧ ȁݕଵǣ௧ିଵ ሻ ൌ ܧሺܶݓ௧ିଵ ݑ௧ ȁݕଵǣ௧ିଵ ሻ
El objetivo final es encontrar valores ൌ ܶܧሺݓ௧ିଵ ȁݕଵǣ௧ିଵ ሻ
para los pesos del modelo que ൌ ܶ݉௧ିଵȁ௧ିଵ (9)
minimicen la suma de cuadrados del
error (SCE). Finalmente se señala, para ܸሺݓ௧ ȁݕଵǣ௧ିଵ ሻesdadapor:
simplificar el trabajo no se trata el
problema de estimar los parámetros de ൌ ܸሺܶݓ௧ିଵ ݑ௧ିଵ ȁݕଵǣ௧ିଵ ሻ
los ruidos blancos ܳ௧ , ܴ௧ dadas las ൌ ܸܶሺݓ௧ିଵ ȁݕଵǣ௧ିଵ ሻܶ ் ܳ௧
observacionesݕଵǣ௧ .
ൌ ܶ௧ିଵȁ௧ିଵ ܶ ் ܳ௧
1. Algoritmo de Aprendizaje Filtro de
KalmanExtendido(FKE)
ൌ ௧ȁ௧ିଵ (10)
Considérese el sistema dinámico no ܧሺݕ௧ ȁݕଵǣ௧ିଵ ሻ ൌ ܧሾ݃௧ ሺݓ௧ ǡ ݔ௧ ሻ ݒ௧ ȁݕଵǣ௧ ሿ
linealenformadeespacioestado,dado
en(1.a)y(1.b),conlashipótesisusuales; ൌ ݃௧ ሺݓ௧ ǡ ݔ௧ ሻ(11)
Infanteetal.FiltrosconAprendizajedeParámetrosparaOptimizarModelosdeRedesNeuronales,p.3756
IngenieríaIndustrial. 43
ActualidadyNuevasTendencias Año3,Vol.II,N°5
ISSN:18568327
donde: ൌ ௧ȁ௧ିଵ െ ௧ȁ௧ିଵ ܬ௧ ሾܬ௧ ௧ȁ௧ିଵ ܬ௧் ܴ௧ ሿିଵ
߲݃௧ כሾ௧ȁ௧ିଵ ܬ௧ ሿ் (17)
ܬ௧ ൌ ሾ ȁ ሿ
߲ݓ௧ ሺ௪ୀ௪ෝ ሻ
Bajo los supuestos de normalidad para
ܥሺݓ௧ ǡ ݕ௧ ȁݕଵǣ௧ିଵ ሻesdadapor: loserrores,algoritmoFKEseresume:
#####################################
ൌ ܥሾݓ௧ ǡ ܧሺݕ௧ ȁݓ௧ ሻȁݕଵǣ௧ିଵ ሿ
Algoritmo1:FKE
ෝ௧ ǡ ݔ௧ ሻ
ൌ ܥሾݓ௧ ǡ ݃௧ ሺݓ
#####################################
ෝ௧ ሻ ڮȁݕଵǣ௧ିଵ ሿ
ܬ௧ ሺݓ௧ െ ݓ Paso1Semuestreaݓ௧ିଵ de:
ൌ ܸሺݓ௧ ȁݕଵǣ௧ିଵ ሻܬ௧ ሺݓ௧ିଵ ȁݕଵǣ௧ିଵ ሻ ൌ ܰሺ݉௧ିଵȁ௧ିଵ ǡ ௧ିଵȁ௧ିଵ ሻ
Infanteetal.FiltrosconAprendizajedeParámetrosparaOptimizarModelosdeRedesNeuronales,p.3756
IngenieríaIndustrial. 44
ActualidadyNuevasTendencias Año3,Vol.II,N°5
ISSN:18568327
Infanteetal.FiltrosconAprendizajedeParámetrosparaOptimizarModelosdeRedesNeuronales,p.3756
IngenieríaIndustrial. 45
ActualidadyNuevasTendencias Año3,Vol.II,N°5
ISSN:18568327
Infanteetal.FiltrosconAprendizajedeParámetrosparaOptimizarModelosdeRedesNeuronales,p.3756
IngenieríaIndustrial. 46
ActualidadyNuevasTendencias Año3,Vol.II,N°5
ISSN:18568327
ே
que permite seleccionar una función de ்ܰொ ൌ ሺሻ (39)
ଵାሺ ሻ
importancia que minimiza la varianza
delospesossobrelastrayectoriasdelos En la práctica es complicado calcular
ሺሻ
estadossimuladosሼݓଵǣ௧ିଵ ǡ ݅ ൌ ͳǡʹǡ ǥ ݊ሽy ்ܰொ exactamente,peroseestimapor:
las observaciones ݕଵǣ௧ . La función de
ଵ
importancia sugerida por Doucet et al. ்ொ ൌ
ܰ ሺሻ (40)
σಿ ሿమ
సభሾ
(2000)esdadapor:
ሺሻ ሺሻ
ߨቀݓ௧ ȁݓଵǣ௧ିଵ ǡ ݕଵǣ௧ିଵ ቁ ൌ ሺݓ௧ ȁݓ௧ିଵ ǡ ݕ௧ ሻ(37)
Entonces el estimador de ்ܰொ se
ሺሻ compara con un umbral prefijado ܰ .
Es decir, ߨቀݓ௧ ȁݓଵǣ௧ିଵ ǡ ݕଵǣ௧ିଵ ቁ es la Este procedimiento de filtro de
función de importancia que minimiza a partículas con remuestreo es usado por
lavarianzadelospesosdeimportancia Rubin (1988). El algoritmo con
ሺሻ
ݍ௧ condicionada sobre los estados remuestreo para un modelo de RN con
ሺሻ
ሼݓଵǣ௧ିଵ ǡ ݅ ൌ ͳǡʹǡ ǥ ǡ ݊ሽylosdatosݕଵǣ௧ .La doscapasocultas,seresume:
función de importancia sugerida por #####################################
Doucetetal.(2000)esdadapor:
Algoritmo2:FPoSIR
ሺሻ ሺሻ
ߨቀݓ௧ ቚݓଵǣ௧ିଵ ǡ ݕଵǣ௧ ቁ ൌ ሺݓ௧ ȁݓ௧ିଵ ሻ(38) #####################################
Infanteetal.FiltrosconAprendizajedeParámetrosparaOptimizarModelosdeRedesNeuronales,p.3756
IngenieríaIndustrial. 47
ActualidadyNuevasTendencias Año3,Vol.II,N°5
ISSN:18568327
Infanteetal.FiltrosconAprendizajedeParámetrosparaOptimizarModelosdeRedesNeuronales,p.3756
IngenieríaIndustrial. 48
ActualidadyNuevasTendencias Año3,Vol.II,N°5
ISSN:18568327
Los datos utilizados para mostrar la donde: ݕ es el valor normalizado,
metodología provienen de las series de ݕ௧ es la tésima salida observada, y
lluvia total mensual del período ሺݕ௧ ሻ es el valor máximo observado
comprendido entre 19712000 de 36 en la serie. La transformación acota el
estacionesdelserviciometeorológicode valordelasalidaenelrango[0.1,0.9].
la Fuerza Aérea de Venezuela, y se le
realizólasiguientetransformación: DISCUSIÓN DERESULTADO
1. Primero, las bases de datos que
presentaron datos faltantes fueron Una vez que se tienen los datos
rellenadas utilizando la transformadosporestación,sedividela
metodología propuesta en Infante muestra en dos partes: el ochenta por
et al. (2008). Es decir, dado que en ciento80%delosdatosseutilizaparael
esetrabajoseobtuvounmodelode entrenamiento de los algoritmos y
RN predictor basado en el calibración de los modelos, y el resto
algoritmo Backpropagation, veinte por ciento 20% se utiliza para
entoncesseutilizóesemodelopara validar la arquitectura de red del
predecir los datos perdidos y modelo seleccionado. El siguiente paso
completarlabasededatos. consiste en determinar las dimensiones
deinmersión݉yeltiempoderetardo߬
2. Dado que en los modelos de RN
de las estaciones consideradas,
se usa una función de
Infanteetal.FiltrosconAprendizajedeParámetrosparaOptimizarModelosdeRedesNeuronales,p.3756
IngenieríaIndustrial. 49
ActualidadyNuevasTendencias Año3,Vol.II,N°5
ISSN:18568327
utilizando los métodos de AMI y los desempeño comparado con las
FNN. Conociendo ݉ y ߬ se determinan observaciones verdaderas de la muestra
las variables de entrada de la red, y deentrenamiento.
finalmente se procede a estimar los EnlaTabla1semuestranlosresultados
parámetros del modelo, usando dos delosestadísticosestimadosparamedir
algoritmosdeaprendizajeFKEyelFPo laexactituddeprediccióndelmodelode
SIR. En la Figura 1 se comparan los RN. El FKE tiene una exactitud de
niveles totales de precipitación mensual predicción del 99.727%, mientras que el
de los estados observados, con los FPtieneunaexactitudde99.405%.Otra
niveles totales de precipitación mensual medida de exactitud utilizada es la raíz
simulados por un modelo de RN cuadrada del error cuadrático medio,
ajustado por los algoritmos FKE y FP. ambos algoritmos tienen errores
Los datos corresponden a la estación pequeñosdeestimación;elFKEtieneun
80413 ubicada en Maracay estado valorde0.073,mientrasqueelFPtiene
Aragua y se utilizaron 278 datos de unvalorde0.126.Parahacerlaselección
entrenamientoquerepresentanalaserie de la arquitectura de la red se utilizó el
de diciembre de 1971 hasta febrero de criterio de información de Bayes BIC,
1995 para ajustar los parámetros de la quebásicamenteconsisteenpenalizarel
red. error cuadrático medio por los
Seseleccionóunmodelocon6variables parámetros utilizados en el ajuste y se
de entradas (debido a que se determino toma el BIC mínimo. En la serie de
entrenamientoanalizadaelFKEtieneun
que ݉ ൌ y ߬ ൌ ʹ), 4 neuronas de la
capaocultayunasalidaorespuesta,que BIC=3.621,mientrasqueelFPtieneun
BIC=2.841, ambos algoritmos
representa el nivel total de lluvia
mensual predicha. Los valores para seleccionan un modelo con 4 neuronas
inicializar los parámetros (medias y enlacapaoculta.LaFigura2seobtiene
covarianzas)delFKE,sonlossiguientes: siguiendo el mismo procedimiento que
݉ȁ ൌ ͲǤͲͲͳyܲȁ ൌ ͲǤͳyserequirióde se realizó con la serie de entrenamiento
pero este caso se utilizan 70 datos de
1000 iteraciones para obtener los
validaciónquevandesdeMarzode1995
resultados.
hastaDiciembrede2000.Seobservaque
Los parámetros del FP se inicializan de
con el FKE se obtienen los siguientes
la siguiente manera:ݓ ̱ܰሺͲǡʹʹͷሻ,
valores:unaexactituddeprediccióndel
ݑ௧ ̱ܰሺͲǡͲǤͲͲͳሻ,ݒ௧ ̱ܰሺͲǡͲǤͳሻ,yseeligióT
98.638%, un valor para la raíz del error
= I donde I es la matriz identidad y se
cuadrático medio de 0.1650 y el BIC =
generaron1000partículas.
1.668; mientras que cuando se usa el
En la Figura 1, se observa que los
algoritmo FP, se obtienen los valores
resultados predichos por los algoritmos
siguientes:unaexactitudde98.697%,un
propuestos tienen muy buen
Infanteetal.FiltrosconAprendizajedeParámetrosparaOptimizarModelosdeRedesNeuronales,p.3756
IngenieríaIndustrial. 50
ActualidadyNuevasTendencias Año3,Vol.II,N°5
ISSN:18568327
valor para la raíz del error cuadrático estado Vargas. Se seleccionaron 259
medio de 0.110, y el BIC =1.713, ver la datos parala muestrade entrenamiento
Tabla1,estosresultadossonsimilaresa que comprende la serie que va desde
los obtenidos utilizando la serie de Diciembre de 1972 hasta Junio 1992;
entrenamiento.EnlaFigura3semuestra mientras que en la muestra de
un gráfico similar al obtenido en la validación se utilizaron 65 datos que
Figura1,ladiferenciaeslaestaciónque correspondenalaseriequevadeJulio
se analiza; en este caso, se estudia la 1992hastaDiciembre
estación 80415 ubicada en Maiquetía
Figura 1: Serie de la estación Maracay, para la muestra de entrenamiento
Figura2:SeriedelaestaciónMaracay,paramuestradevalidación
Tabla1:Resumendetestdevalidación,estaciónMaracay
Infanteetal.FiltrosconAprendizajedeParámetrosparaOptimizarModelosdeRedesNeuronales,p.3756
IngenieríaIndustrial. 51
ActualidadyNuevasTendencias Año3,Vol.II,N°5
ISSN:18568327
De 1999. La arquitectura de la red considerados, observándose errores de
seleccionada está compuesta por 6 estimación pequeños (ver Tabla 2).
variables de entradas, 5 neuronas en la También se estimó el BIC para la
capaocultayunasalida.Enelgráficose muestra de entrenamiento y validación
observa que los totales mensuales de usando los dos algoritmos propuestos,
precipitacionessimuladosporelmodelo obteniéndose el BIC mínimo para una
deRNajustadoporlosalgoritmosFKEy redcon5neuronasocultas,(verTabla2).
FP son comparables con los totales Todoslosanálisisfueronrealizadosbajo
mensuales de precipitaciones el ambiente de programación del
observados; adicionalmente se incluyen software estadístico R versión 2.ȱ 9.ȱ 2.
medidas exactitud de 99.414% y Finalmentesedestacaqueseanalizaron
99.198%, respectivamente cuando se 36 estaciones, todas tienen un
utiliza la muestra de entrenamiento. comportamiento muy similar a las dos
Para la muestra de validación la mostradaseneltrabajo.
exactitud es de 98.844% y 98.945%,
respectivamente. También se cálculo la
RECM para los dos conjuntos de datos
Figura3:SeriedelaestaciónMaiquetía,paralamuestradeentrenamiento
Infanteetal.FiltrosconAprendizajedeParámetrosparaOptimizarModelosdeRedesNeuronales,p.3756
IngenieríaIndustrial. 52
ActualidadyNuevasTendencias Año3,Vol.II,N°5
ISSN:18568327
Figura4:SeriedelaestaciónMaiquetía,paralamuestradevalidación
Tabla2:Resumendetestdevalidación,estaciónMaiquetía
CONCLUSIONES
Las principales contribuciones de este separación temporal óptima de los
trabajoson: datos, así como ayudan a determinar el
Se diseñó un modelo de red neuronal número de datos hacia atrás necesarios
en términos de los modelos espacio para pronosticar con exactitud un dato
estados no lineales para hacer futuro.Paraoptimizarlaseleccióndela
predicciones de series de tiempo de arquitectura de las capas ocultas de la
totales mensuales de precipitaciones. Se red se utiliza el Criterio de Información
utilizan las técnicas AMI y FNN de los deBayes.
sistemas dinámicos para definir las Se proponen dos algoritmos de
entradas del modelo, se demuestra que aprendizaje alternativos para ajustar los
el uso de patrones de entrada parámetrosdelmodelodeRNdistintoal
apropiados mejora la performance del algoritmo Backpropagation clásico.
modelo. Estos métodos permiten la Estos algoritmos pueden ser
Infanteetal.FiltrosconAprendizajedeParámetrosparaOptimizarModelosdeRedesNeuronales,p.3756
IngenieríaIndustrial. 53
ActualidadyNuevasTendencias Año3,Vol.II,N°5
ISSN:18568327
Infanteetal.FiltrosconAprendizajedeParámetrosparaOptimizarModelosdeRedesNeuronales,p.3756
IngenieríaIndustrial. 54
ActualidadyNuevasTendencias Año3,Vol.II,N°5
ISSN:18568327
Infanteetal.FiltrosconAprendizajedeParámetrosparaOptimizarModelosdeRedesNeuronales,p.3756
IngenieríaIndustrial. 55
ActualidadyNuevasTendencias Año3,Vol.II,N°5
ISSN:18568327
Infanteetal.FiltrosconAprendizajedeParámetrosparaOptimizarModelosdeRedesNeuronales,p.3756
IngenieríaIndustrial. 56
ActualidadyNuevasTendencias Año3,Vol.II,N°5
ISSN:18568327
Autores
Saba Infante. Profesor Asociado a Dedicación Exclusiva, Departamento de Matemáticas,
FacultadExperimentaldeCienciasyTecnologíayCentrodeAnálisis,ModeladoyTratamiento
de Datos (CAMYTD), Universidad de Carabobo, Valencia, Venezuela. 2005, Doctor en
Estadística,UniversidadSimónBolívar,Venezuela.
Email:sinfante@uc.edu.ve
Fernando Cedeño. Profesor Instructor a Dedicación Exclusiva, Departamento de Matemáticas,
FacultadExperimentaldeCienciasyTecnologíayCentrodeAnálisis,ModeladoyTratamiento
de Datos (CAMYTD), Universidad de Carabobo, Valencia, Venezuela. 2008, Licenciado en
Matemáticas,UniversidadCarabobo,Venezuela.
Email:fjcedeno@uc.edu.ve
JoséOrtega.ProfesorTitularaDedicaciónExclusiva,DepartamentodeMatemáticasFacultadde
Ciencia y Tecnología y Centro de Análisis, Modelado y Tratamiento de Datos (CAMYTD),
UniversidaddeCarabobo,Valencia,Venezuela.2006,DoctorenCiencias,UniversidadCentral
deVenezuela.
Email:jortega@uc.edu.ve
Recibido:22/10/2010Aceptado:27/12/2010
Infanteetal.FiltrosconAprendizajedeParámetrosparaOptimizarModelosdeRedesNeuronales,p.3756