See

discussions, stats, and author profiles for this publication at: https://www.researchgate.net/publication/26428307

Anlisis de algoritmos evolutivos para redes

neuronales

Article January 2001

CITATION READS

1 327

2 authors, including:

Joaqun A. Pacheco
Universidad de Burgos
88 PUBLICATIONS 590 CITATIONS

SEE PROFILE

Some of the authors of this publication are also working on these related projects:

Metaheuristics in Multiobjetive Optmization. Applications to Public Transportation and other logistics

problems View project

All content following this page was uploaded by Joaqun A. Pacheco on 03 October 2017.

The user has requested enhancement of the downloaded file.

 ANALISIS DE ALGORITMOS EVOLUTIVOS PARA REDES
NEURONALES

Joaqun A. Pacheco, Alberto Aragn

Dpto. Economa Aplicada
Universidad de BURGOS.

Resumen:

En este trabajo se proponen y analizan diferentes tcnicas Metaheursticas,

as como otras tcnicas, en el aprendizaje de Redes Neuronales
Artificiales, ms concretamente en el conocido Perceptrn Multicapa.
Concretamente se disean una serie de algoritmos evolutivos: Algoritmos
Memticos y basados en Scatter Search. Con estos mtodos se intentan
ofrecer alternativas a otros mtodos, como los basados en el gradiante,
(como el de la Propagacin hacia atrs), ya que han mostrado ser
inconsistentes debido al carcter local de su bsqueda. El objetivo de
nuestro trabajo es disear estrategias de aprendizaje que den valores bajos
en los errores cuadrtricos rpidamente de forma que puedan ser usados
como mtodos on-line. A su vez estas estrategias deben ser consistentes
y mostrar su capacidad de mejora cuando se disponga de mayor tiempo de
computacin.

Palabras clave: Redes Neuronales, Aprendizaje, Metaheursticos Evolutivos,

Algoritmos Memticos, Scatter Search.
Joaqun A. Pacheco y Alberto Aragn Anlisis de algoritmos evolutivos

1.- EL PROBLEMA

El perceptrn Multicapa es un modelo de red neuronal consistente en varias capas de

neuronas: una de entrada, 1 o ms capas ocultas y una de salida. La informacin se
transmite de cada nodo a los nodos de la capa siguiente, desde la entrada a la salida. La
informacin que sale de un nodo a cada nodo de la capa siguiente se pondera por un
peso wji; de forma que la informacin total que llega a cada nodo j de la nueva capa es
iwjixi , siendo xi el valor de salida de los nodos i de la capa anterior. Este valor de
entrada, para los nodos de las capas ocultas y la de salida, se transforma mediante una
funcin de transferencia f produciendo la salida del nodo j, xj = f(iwjixi). Las funciones
1
de transferencia ms usadas son la sigmoide y= , y la identidad o lineal y = x.
1 + ex
Para el aprendizaje de una red se usan vectores de entrenamiento, consistentes cada uno
en un vector de entrada y un vector de salida. Para un determinados vector de pesos w y
cada vector de entrenamiento, la red lee el vector de entrada y se compara la salida
producida por la red (salida observada) con la con los valores del vector de salida
(salida esperada). El problema consiste en determinar los valores de los pesos wji de
forma que el Error Cuadrtico Medio (E) en el conjunto de vectores de entrenamiento y
valores de salida sea mnima.
A continuacin se muestra la notacin formal y la formulacin del problema. Sean n
y K los nmeros de nodos respectivamente de las capas de entrada y salida; sea S el
conjunto de vectores de entrenamiento; (x, y) S x indica el vector de entrada e y el
de salida; sea = g(x, w) la salida producida en la red con el vector de pesos w cuando
lee el vector de entrada x. Entonces el problema se pude formular como
minimizar E(w)
K

( yk ) .
1
E ( w) =
2
siendo k
S ( x, y )S k =1

Los algoritmos basados en el gradiante como el mtodo de Propagacin hacia atrs

(Werbos, (1.974)) bsicamente usan la siguiente frmula de actualizacin de pesos
E
w ji = w ji ; donde es conocido como parmetro de aprendizaje.
w ji

2
Joaqun A. Pacheco y Alberto Aragn Anlisis de algoritmos evolutivos

Precisamente una de las limitaciones de estos mtodos, es la convergencia a ptimos

locales no globales y su dependencia de la solucin inicial. Adems no son aplicables a
modelos de redes que usan funciones de transferencia no derivables.
Se van a proponer algoritmos de aprendizaje basadas en la estrategia denominada
Scatter Search y se va a disear un Algoritmo Memtico. Se har una comparacin con
otros mtodos propuestos recientemente por otros autores. Nuestro objetivo es el
diseos de estrategias que obtengan pesos con buenos resultados de E en el conjunto de
aprendizaje. Tambin interesa que los pesos obtenidos den valores bajos de E cuando se
presenta otro conjunto de vectores diferentes. (Para verificar que la red haya aprendido
y no memorizado). Un segundo objetivo es que estas estrategias sean rpidas, para que
puedan ser usadas, como mtodos on-line. Por otra parte, sin dejar de lado la rapidez,
interesa que las estrategias obtenidas muestren su capacidad de mejorar cuando se
disponga de mayor tiempo de computacin. Finalmente, es interesante que los mtodos
sean consistentes y robustos, para que la dependencia de las soluciones iniciales (o
poblaciones) sea la menor posible.

2.- ARQUITECTURA DE RED NEURONAL

La redes neuronales con las que se va a trabajar va a estar compuesto por una capa
oculta. Se denota a n el nmero de neuronas de la capa de entrada (que lgicamente
coincide con el nmero de variables de entrada), y m el nmero de neuronas de la capa
oculta. Vamos a considerar una neurona en la capa de salida (i.e. una sola variable de
salida a predecir, K = 1). Cada neurona de la capa oculta, as como la de salida tiene un
elemento bias (que funciona como constante). Una representacin esquemtica viene
dada por la siguiente figura

3
Joaqun A. Pacheco y Alberto Aragn Anlisis de algoritmos evolutivos

wn +1
w1 1
1 w2 wm( n+1)+1
wj
wn
2 wm( n+2)+1

wk (n+1) wm (n+1)+ k o
w(k-1)(n+1)+ j
j k
w(k-1)(n +1)+n
wm (n +1)+m
n w(m-1)(n +1)+n wm (n+1)
m

Figura 1.- Arquitectura de red neuronal usada (tomada de Laguna y Mart, (2.000))

En este trabajo se van a utilizar 6 neuronas en la capa oculta. Los pesos estn
numerados secuencialmente, de forma que los pesos que enlazan la capa de entrada con
la primera neurona de la oculta son del w1 al wn y su trmino bias wn+1 .
De esta forma la informacin de entrada de cada neurona k, k = 1, ...,m, de la capa
n
oculta, viene dada por wk ( n +1) + w( k 1 )( n +1) + j x j y la neurona de salida recibe la
j =1

m
siguiente informacin wm ( n + 2 )+1 + wm ( n +1) +k a k donde ak son las salidas de las neuronas
k =1

ocultas.
En nuestro caso se usa la sigmoide como funcin de transferencia para la capa oculta
y la identidad para la neurona de salida. Un aspecto importante: en este trabajo, los
mtodos de aprendizaje propuestos solo se aplican a los pesos asociados con la capa
oculta, i.e. de w1 a wm(n+1); los pesos de la neurona de salida se obtienen por mnimos
cuadrados ordinarios cada vez que se generan los de la capa oculta. Cuando se genera
un nuevo vector de pesos en la capa oculta, automticamente se deben calcular los de la
capa de salida y evaluar el valor E (solucin al problema de mnimos cuadrados). Esta
idea ha sido sugerida en Sexton y otros, (1.998), y (1.999), y Laguna y Mart, (2.000).

4
Joaqun A. Pacheco y Alberto Aragn Anlisis de algoritmos evolutivos

Finalmente se ha de indicar que para el entrenamiento los valores de cada una de las
variables de los vectores de entrada son escalados entre 1,0 (el menor valor en el
conjunto de entrenamiento) y +1,0 (el mayor); y los valores de la salida son escalados
entre 0,8 y +0,8.

3.- MEJORA POR ENTORNOS

Sea w una solucin cualquiera de componentes wl y radio un nmero real

suficientemente pequeo, se definen los siguientes procedimientos

Procedimiento Perturbar_Peso(w, radio, w)

Generar una solucin w cuyos componentes wl toman valores aleatorios en el

intervalo (wl - radio wl + radio)

As mismo sea w0 una solucin cualquiera el parmetros entero n_vecinos, el

parmetro real radio se define el siguiente

Procedimiento Mejor_Vecino(w0 , radio, n_vecinos, w)

min =
Para i = 1 hasta n_vecinos hacer
Perturbar_Peso(w0 , radio, w)
Si E(w) < min hacer: w = w y min = E(w)

Un anlisis sobre el efecto de los diferentes valores de radio en este ltimo

procedimiento indica que valores altos dan lugar a descensos rpidos, y valores bajos
dan lugar a descensos ms lentos y profundos. Por tanto se va a intentar disear una
estrategia que combine rpidez con profundidad (calidad de la solucin final). Sean w
una solucin inicial, los parmetros reales radio0 (valor inicial de radio) y alfa, y los
parmetros entero n_vecinos y max_int, esta estrategia puede describirse en
seudocdigo como sigue

Procedimiento Mejora_Radio_Variable(w, radio0, alfa, n_vecinos, max_int)

5
Joaqun A. Pacheco y Alberto Aragn Anlisis de algoritmos evolutivos

Hacer radio = radio0, n_int = 0;

Repetir
Ejecutar Mejor_Vecino(w , radio, n_vecinos, w)
Si E(w) < E(w) hacer: w = w, radio = radio*alfa y n_int = 0
en caso contrario hacer: radio = radio/alfa y n_int = n_int+1
hasta n_int = max_int

4.- SCATTER SEARCH

Scatter Seach es una estrategia poblacional-evolutiva caracterizada bsicamente por

el uso de un Conjunto de Referencia (RefSet) de soluciones. Dicho conjunto esta
formado por dos Subconjuntos: Subconjunto de Calidad (RefSet1) formado por las
mejores soluciones y Subconjunto de Diversidad (RefSet2) formado por las soluciones
ms diferentes con el resto de RefSet. En cada paso o ciclo se generan nuevas soluciones
a partir de las del Conjunto de Referencia que actualizan ste. Un tutorial sobre Scatter
Search se pueden encontrar en Glover, (1.998). Se ha diseado una versin esttica y
una versin dinmica de esta estrategia para este problema. La descripcin en
seudocdigo de forma muy general es la siguiente

Procedimiento Scatter Search Esttico

Generar un conjunto inicial de soluciones aleatorias
Mejorarlas mediante un mtodo preestablecido
A partir de estas soluciones obtener RefSet inicial
Repetir
Construir subconjuntos de 2 y 3 elementos de RefSet
Obtener nuevas soluciones a partir de dichos subconjuntos
Aplicar a las nuevas soluciones el mtodo de mejora
Actualizar RefSet con las nuevas soluciones, (una vez obtenidas todas) (1)
Hasta que RefSet se estabilice (i.e. no haya nuevas soluciones)

El Procedimiento Scatter Search Dinmico es similar cambiando la sentencia (1) por

la siguiente
Cada vez que se obtiene una nueva solucin actualizar RefSet (1)

En otras palabras: en la versin esttica se generan las nuevas soluciones y, una vez
obtenidas, con las ya existentes en RefSet se actualiza este; en la dinmica, en el
momento que se genera una nueva solucin se comprueba si mejora el valor de la

6
Joaqun A. Pacheco y Alberto Aragn Anlisis de algoritmos evolutivos

funcin objetivo E de alguna de las existentes en RefSet1 o aporta ms diversidad que

alguna de RefSet2, en cuyo caso se incorpora sin esperar a generar las dems.
Como en los tutoriales de Scatter Search, antes mencionados, en la versin dinmica
para evitar realizar operaciones (generar nuevas soluciones, mejorarlas y actualizar el
conjunto de referencia) con subconjuntos con la misma composicin de elementos que
en ciclos anteriores, se propone slo considerar los subconjuntos que contienen algn
elemento nuevo, (es decir generado en el ciclo o iteracin anterior).
Para medir la diversidad de una solucin w respecto RefSet se usa la siguiente
funcin dmin(w) = min {d(w, w) / w R}; donde d(w, w) = i |wi- wi|.
Los subconjuntos de 2 elementos se forman con todos los pares de RefSet, y los de 3
elementos se forman al aadir a todos los subconjuntos de 2 el mejor elemento de
RefSet1 no presente.

La forma de generar nuevos soluciones est inspirada en Kelly y otros (1.996), y se

ilustra en la siguiente grfica

nw3
W2
nw1
W1
nw2

nw1

W1

nw0
W2
W3
nw2
nw3

Figura 2.- Formas de generar nuevas soluciones con subconjuntos de 2 y 3

Se define TamRef = |RefSet|, anlogamente TamRef1 = |RefSet1| y TamRef2 =

|RefSet2|. Inicialmente se toma TamRef1 = TamRef2 = 5.

7
Joaqun A. Pacheco y Alberto Aragn Anlisis de algoritmos evolutivos

Adems de estas dos estrategias Esttica y Dinmica analizaremos una variante de la

Dinmica que aparece propuesta en los tutoriales antes mencionados. Esta variante
consiste en, una vez obtenido el conjunto de referencia inicial, considerar RefSet1 =
RefSet, y RefSet2 = (i.e. TamRef1 = 10, en este caso y TamRef2 = 0). En otras
palabras, solo se consideraran incorporaciones a RefSet que mejoren la funcin objetivo
de alguno de sus elementos, y no se incorporarn soluciones por diversidad.

En nuestro caso el procedimiento de mejora es la ejecucin del procedimiento

Mejora_Radio_Variable inicialmente con radio = 0.1, alfa = 1, n_vecinos = 1,
max_int= 2.

5.- ALGORITMO MEMTICO

Los Algoritmos Memticos tambin son procedimientos basados en poblacin y se

han mostrado como tcnicas ms rpidas que los tradicionales Algoritmos Genticos
para algunos tipos de problemas. Bsicamente combinan procedimientos de bsqueda
local con operadores de cruce o mutacin, por lo que algunos investigadores les han
visto como Algoritmos Genticos Hbridos o Algoritmos Genticos Paralelos (PGAs) o
mtodos de Bsqueda Local Gentica. El mtodo, descrito originalmente en el trabajo
de Moscato, (1.989), est ganando amplia aceptacin en particular en los bien conocidos
problemas de optimizacin combinatoria donde grandes ejemplos se han solventado
ptimamente y donde otros metaheursticos han fallado.

En nuestro caso el Algoritmo Memtico que se propone sigue un esquema muy

similar al algoritmo Gentico propuesto en Sexton y otros, (1999). En este caso, se
aaden procedimientos de mejora cada vez que se genera una nueva solucin. En
seudocdigo puede escribirse de la forma siguiente:

Procedimiento Memtico
Generar una poblacin inicial de soluciones
Mejorarlas mediante un mtodo preestablecido
Repetir
- Seleccionar aleatoriamente un subconjunto de elementos (par) de la
poblacin con una probabilidad proporcional a su bondad

8
Joaqun A. Pacheco y Alberto Aragn Anlisis de algoritmos evolutivos

- Cruce Reproduccin: Emparejar o cruzar estas soluciones (Padres)

para dar lugar a nuevos soluciones (Hijos). De cada pareja de
Padres se han den generar una nueva pareja de hijos.
- Mutacin: Los soluciones hijas pueden cambiar con una
probabilidad pequea alguno de sus elementos (genes)
- Aplicar el procedimiento de mejora a los hijos
- Sustituir las peores soluciones de la poblacin por las nuevas
soluciones hijas
- Actualizar el parmetro de mutacin
hasta conseguir algn criterio de parada

Como en la estrategias Scatter Search del apartado 3 el procedimiento de mejora es

Mejora_Radio_Variable con los mismos parmetros. La bondad de cada elemento de
la poblacin va a venir dado por el valor de la funcin objetivo E correspondiente. La
probabilidad de seleccin de una determinada solucin w va a ser proporcional a Emax
E(w) ; donde Emax es el mximo valor de los de E(w) en los elementos de la
poblacin de esa poblacin. El operador de cruce sigue el esquema one-point crossing,
es decir, sean w y w dos soluciones padres seleccionadas,
w = (w1 , w2 , ... wm(n+1)) y w = (w1 , w2 , ... wm(n+1))

se genera aleatoriamente un punto de cruce entre 1 y m(n+1)-1, (pto_cruce), de forma

que las nuevas soluciones hijas se definen como
w* = (w1 , w2 , ..., wpto_cruce , wpto_cruce+1 , ..., wm(n+1 ))
w** = (w1 , w2 , ..., wpto_cruce , wpto_cruce+1 , ..., wm(n+1)).

Los pesos de cada nueva solucin hija pueden cambiar o mutar con una pequea
probabilidad, p_mut. Para decidir si un determinado peso cambia se genera un valor
aleatorio uniformemente en (0,1); si este valor es menor que p_mut se realiza el cambio.
Este consiste en asignarle un nuevo punto aleatoriamente en el intervalo (-5, +5),
(Mutacin). Este proceso de mutacin tiene por objeto dar diversidad al proceso y evitar
que este se encajone en una regin entorno a un mnimo local.

Un aspecto relativamente novedoso es que el valor del parmetro p_mut no es fijo,

sino que vara entre dos valores prefijados p_mut_min y p_mut_max. Los valores
p_mut_min y p_mut_max representan probabilidades mnimas y mximas de mutacin.
El objeto de esta estrategia es Intensificar de la bsqueda en una regin cuando se

9
Joaqun A. Pacheco y Alberto Aragn Anlisis de algoritmos evolutivos

encuentran mejores soluciones, y favorecer la bsqueda en otras regiones cuando no es

as. En este trabajo se utilizan los siguientes valores: p_mut_min = 0,05, p_mut_max =
01. Adems de ello el nmero de elementos de la poblacin (n_pob) es 100, y el
nmero de padres seleccionados (n_sel) es 20.

6.- RESULTADOS COMPUTACIONALES

Para contrastar la bondad de los mtodos propuestos, y compararlos por otros

propuestos recientemente se han realizado una serie de pruebas que se describen a
continuacin. En primer lugar se han considerado las siguientes funciones: 1 y = x1 + x2

x1 0.2 y t 5
2 y = x1 x 2 3 y = 4 y = x12 + x 23 5 y = x13 + x 22 6 y t = y t 1 + 10.5 0 . 1 y .
1+ x2 + ( )10 t 1
1 y t 5
Para cada una de las 5 primeras funciones se considera un conjunto de entrenamiento
con 50 vectores: Los valores de entrada son enteros generados en [-100, +100] para x 1 y
en [-10, +10] para x 2 ; el valor de la salida y viene dado por la funcin correspondiente.
En los 5 casos se utilizan los mismos vectores de entrada. Para la sexta funcin se usan
5 nodos o variables de entrada, aunque claramente solo hacen falta 3. Los vectores de
entrenamiento en este caso han sido generados recursivamente a partir de los valores
(1,6, 0, 0, 0, 0). Estas funciones han sido propuestas en Sexton y otros, (1.998) y
(1.999), y utilizadas tambin en Laguna y Mart, (2.000). En este trabajo se usa, as
mismo, el mismo conjunto de vectores de entrada que en estas referencias 1 . Los
mtodos que se van a utilizar en las pruebas son los siguientes: Scatter Search Esttico
(ES), Scatter Search Dinmico (DI), Variante de Scatter Search Dinmico (VD) y
Algoritmo Memtico (ME).

Se comparan con los siguientes: Propagacin hacia atrs usado en Neural Works
Profession II/Plus de NeuralWare (BP); Algoritmo Bsqueda Tab (TS) de Sexton y
otros (1.998); Algoritmo Temple Simulado (SA), Algoritmo Gentico (GA) estos 2 de
Sexton y otros (1.999), Adaptacin de Scatter Search de Laguna y Mart, (2.000)

1
Nuestro agradecimiento a los profesores R.Mart y M.Laguna por facilitarnos esta informacin

10
Joaqun A. Pacheco y Alberto Aragn Anlisis de algoritmos evolutivos

A continuacin se muestra una tabla, tomada de Laguna y Mart, (2.000), en la que se

muestran los mejores resultados obtenidos por los algoritmos BP, SA, GA, TS y SS,
para cada uno de estos problemas:

Funcin BP SA GA TS SS
1 5.23E-01 1.05E-05 4.16E-07 1.42E-06 8.93E-08
2 1.10E+01 3.17E-02 1.27E-02 8.38E-02 5.97E-03
3 8.43E+00 1.76E+00 1.82E-01 2.45E-01 2.96E-03
4 1.88E+02 4.84E-01 4.09E-02 4.32E-01 2.31E+00
5 8.57E+03 4.39E-01 3.06E-03 2.56E-02 2.76E+02
6 1.55E-01 1.02E-02 2.53E-02 5.35E-02 3.34E-03
Tabla 2.- Mejores resultados obtenidos por BP, SA, GA, TS y SS
Segn, Laguna y Mart, 2.000, Sexton, (1.998) y (1.999), SS limita el nmero de
evaluaciones a 50000; BP realiza 4,18 millones, SA entre 112501 y 12,6 millones, GA
100000, y TS entre 190021 y 928061. Por tanto estos, los mtodos ms rpidos son SS y
GS. Adems SS obtiene los mejores resultados para las funciones 1, 2, 3 y 6 y GA para
las funciones 4 y 5. A continuacin se muestra una tabla, en la que se muestran los
mejores resultados obtenidos por nuestros algoritmos con 100000 evaluaciones
DI VD ES ME
Funcin
1 1,65E-09 8,84E-09 5,60E-12 6,32E-13
2 1,95E-03 1,45E-04 1,01E-04 6,56E-05
3 1,58E-03 1,01E-03 3,00E-03 4,62E-04
4 5,28E-02 2,48E-02 5,27E-03 1,93E-03
5 8,39E-01 2,71E-01 7,33E-01 4,58E-03
6 2,04E-04 5,69E-05 2,47E-04 1,51E-03
Tabla 3.- Mejores resultados finales obtenidos por DI, VD, ES y ME

Posteriormente, se ha generado un conjunto test de 150 vectores donde los valores de

entrada se generan con la misma distribucin que los del conjunto de entrenamiento.
Este conjunto test se va a usar para examinar la capacidad de la red de predecir valores
de y cuando los valores de x no estn en el conjunto de entrenamiento. A continuacin
se muestra un cuadro, tomado de Laguna y Mart, (2.000), en la que se sealan los
resultados conseguidos en el conjunto test por los pesos obtenidos por los algoritmos
BP, SA, GA, TS y SS
Funcin BP SA GA TS SS
1 1.76E+00 1.56E-05 3.68E-07 2.79E-06 9.37E-07
2 9.11E+01 1.85E-01 1.72E-02 1.96E-01 2.13E-01
3 2.34E+01 5.53E+00 1.38E+00 1.69E+00 1.55E+00

11
Joaqun A. Pacheco y Alberto Aragn Anlisis de algoritmos evolutivos

4 4.31E+02 2.73E+00 4.53E-02 1.15E+00 9.26E+00

5 5.28E+04 1.36E+00 2.02E-02 5.68E-02 5.98E+03
6 1.95E-01 2.69E-01 3.40E-02 6.75E-02 2.90E-01
Tabla 4.- Mejor valor de E obtenido por BP, SA, GA, TS y SS para el conjunto test

Finalmente se muestra una tabla con los mejores errores cuadrticos medios para el
conjunto test, de los pesos finales obtenidos por los algoritmos propuestos en este
trabajo

Funcin DI VD ES ME
1 2,34E-09 9,26E-09 2,93E-11 1,13E-11
2 5,72E-03 6,26E-04 2,20E-04 1,45E-04
3 1,38E-01 7,59E-02 1,75E-01 9,89E-02
4 2,24E-01 4,11E-02 1,38E-02 6,52E-03
5 1,72E+00 7,08E-01 1,25E+00 2,43E-02
6 1,16E-01 1,02E-01 1,08E-01 8,64E-02
Tabla 5.- Mejor valor de E obtenido por BP, SA, GA, TS y SS para el conjunto test

8.- CONCLUSIONES FINALES

En este trabajo se han propuesto 4 mtodos evolutivos que tienen en comn la

aplicacin de alguno de los procedimientos de mejora anterior cada vez que se generaba
una nueva solucin. Los tres primeros de estos mtodos (DI, VD y ES) propuestos
estaban basados en la estrategia Metaheurstica denominada Scatter Search, mientras
que el cuarto es un Algoritmo Memtico, (ME). Estos 4 mtodos han destacado por lo
siguiente: 1) Generan buenas soluciones en poco tiempo; 2) Superan, en casi todos los
casos, a los resultados obtenidos por otras estrategias propuestas en trabajos recientes;
3) Mantienen la capacidad de obtener buenos resultados cuando se les presentan valores
de entrada diferentes a los utilizados en el aprendizaje.

9.- BIBLIOGRAFA

GLOVER, F. (1998) A Template for Scatter Search and Path Relinking, in

Artificial Evolution, Lecture Notes in Computer Science 1363, J.-K. Hao, E. Lutton, E.
Ronald, M. Schoenauer and D. Snyers (Eds.), Springer-Verlag, pp. 13-54.

12
 Joaqun A. Pacheco y Alberto Aragn Anlisis de algoritmos evolutivos

KELLY, J. P., B. RANGASWAMY, and J. XU, (1.996): A Scatter Search-Based

Learning Algorithm for Neural Networks Training. Journal of Heuristics, vol.2, n.2,
129-146.
LAGUNA, M. y R. MART (2.000) Neural Network Prediction in a System for
Optimizing Simulations. Aceptada para su publicacin en IEEE Transactions.
SEXTON, R. S., B. ALIDAEE, R. E. DORSEY and J. D. JOHNSON (1998) Global
Optimization for Artificial Neural Networks: A Tabu search Application, European
Journal of Operational Research, vol. 106, pp. 570-584.
SEXTON, R. S., R. E. DORSEY and J. D. JOHNSON (1999) Optimization of
Neural Networks: A Comparative Analysis of the Genetic Algorithm and Simulated
Annealing, European Journal of Operational Research, vol. 114, pp. 589-601.
WERBOS, P. (1.974): Beyond Regression: New tools for prediction and analisys in
the behavioral sciences. Tesis Doctoral. Harvard. Cambridge.

13
View publication stats