Machine Translated by Google

Redes neuronales 61 (2015) 85­117

Listas de contenidos disponibles en ScienceDirect

Redes neuronales
página de inicio de la revista: www.elsevier.com/locate/neunet

Revisar

Aprendizaje profundo en redes neuronales: una descripción general

Jürgen Schmidhuber
The Swiss AI Lab IDSIA, Istituto Dalle Molle di Studi sull'Intelligenza Artificiale, Universidad de Lugano y SUPSI, Galleria 2, 6928 Manno­Lugano, Suiza

información del artículo abstracto

Historia del artículo:

En los últimos años, las redes neuronales artificiales profundas (incluidas las recurrentes) han ganado numerosos concursos en
Recibido el 2 de mayo de 2014
reconocimiento de patrones y aprendizaje automático. Este estudio histórico resume de forma compacta trabajos relevantes, muchos
Recibido en forma revisada el 12 de septiembre de 2014
de ellos del milenio anterior. Los estudiantes superficiales y profundos se distinguen por la profundidad de sus rutas de asignación de

Aceptado el 14 de septiembre de 2014

créditos, que son cadenas de vínculos causales posiblemente aprendibles entre acciones y efectos. Reviso el aprendizaje supervisado
Disponible en línea el 13 de octubre de 2014 profundo (también recapitulando la historia de la retropropagación), el aprendizaje no supervisado, el aprendizaje por refuerzo y la
computación evolutiva, y la búsqueda indirecta de programas cortos que codifiquen redes grandes y profundas.
Palabras clave:
Aprendizaje profundo © 2014 Publicado por Elsevier Ltd.
Aprendizaje supervisado
Aprendizaje sin supervisión
Aprendizaje reforzado
Computación evolutiva

Contenido

1. Introducción al aprendizaje profundo (DL) en redes neuronales (NN)................................. ................................................. ........................................ 86 2. Evento­ notación orientada para la
dispersión de activación en NN 87 3. Profundidad de las rutas de asignación de.................................................
crédito (CAP) y de los problemas ................................................. .......................................................................................... .......
................................. .................................................
88 4. Temas recurrentes del aprendizaje profundo.................... ................................................. ................................................. ........................................ 88 4.1. Programación dinámica para
aprendizaje supervisado/por refuerzo (SL/RL).................... ................................................. ................ 88 4.2. Aprendizaje no supervisado (UL) que facilita SL y RL 89 4.3. Aprendizaje de
representaciones jerárquicas a través de SL, UL, RL profundo 89 4.4. Navaja de Occam: compresión y longitud mínima de descripción
(MDL).................................. ................................................. ................. 89.................................................
4.5. Unidades de procesamiento .................................................
de gráficos rápidos (GPU) para ........................................
DL en
.................................................
NN ......................................... ................................................. ................................................. 89 5. NN supervisadas , algunos .................................................
ayudados por NN no .................
supervisados.................................... ................................................. ................................................. ... 89 5.1. Los primeros NN desde los años 1940 (y
1800)................................. ................................................. ................................................. .......... 90 5.2. Alrededor de 1960: la corteza visual proporciona inspiración para la DL (Secciones
5.4, 5.11) .................... ................................................. .......... 90 5.3. 1965: redes profundas basadas en el método grupal de manejo de datos.................... ................................................. ...................
90 5.4. 1979: convolución + replicación de peso + submuestreo (Neocognitron).................................. ................................................. ............ 90 5.5. 1960­1981 y más allá: desarrollo de
la retropropagación (BP) para NN 90 5.5.1. BP para NN feedforward (FNN) y NN recurrentes (RNN) de reparto de peso................... ................................................ 91 91 5.6.1. Ideas para
hacer frente a retrasos prolongados y CAP profundos.................... ................................................. ........................ 91 5.6.2. Mejor PA a través del descenso de gradiente avanzado
(compárese con la Sección 5.24).................... ................................................. 92 5.6.3. Búsqueda de NN simples, de baja complejidad y que resuelvan problemas (Sección
5.24).... ................................................ 92 5.6. 4. Beneficios potenciales de UL para SL (compárese las .................................................
Secciones 5.7, 5.10, 5.15)..................................................................... .
................................................. ................
92 5.7. 1987: UL a través de jerarquías de Autoencoder (AE) (compárese con la Sección 5.15).................... ................................................. ................. 93 5.8. 1989: BP para NN
5.6. Finales de la década de 1980­2000 y años posteriores: numerosas mejoras de las NN ................................................. ................................................. ..............
convolucionales (CNN, Sección 5.4)................................. ................................................. ................................................ 93 5.9. 1991: Problema fundamental de aprendizaje
profundo del descenso de gradiente 93 5.10. 1991: Compresión del historial basada en UL a través de una pila profunda de RNN................... ................................................. ........................
94 5.11. 1992: Max­Pooling (MP): hacia MPCNN (compárese con las Secciones 5.16, 5.19) ................. ................................................. ................. 94

................................................. ................................................. ..............

Dirección de correo electrónico: juergen@idsia.ch.

http://dx.doi.org/10.1016/j.neunet.2014.09.003 0893­6080/© 2014

Publicado por Elsevier Ltd.
Machine Translated by Google

86 J. Schmidhuber / Redes neuronales 61 (2015) 85–117

5.12. 1994: primeros NN ganadores del concurso................................. ................................................. ................................................. ........................ 95

5.13. 1995: Aprendizaje muy profundo recurrente supervisado (LSTM RNN).................... ................................................. ................................ 95
5.14. 2003: más NN ganadoras de concursos/que establecen récords; NN profundas exitosas .................................. ................................................. ... 96
5.15. 2006/7: UL para redes de creencias profundas/pilas AE ajustadas por BP 96 ................................................. ................................................. ..............
5.16. 2006/7: CNN/GPU­CNN/BP mejorados para pilas MPCNN/LSTM 96 ................................................. ................................................. ............
5.17. 2009: primeras competencias oficiales ganadas por RNN y con MPCNN ................................. ................................................. ........................ 97
5.18. 2010: backprop simple (+ distorsiones) en GPU bate el récord MNIST 97 ................................................. ................................................. .........
5.19. 2011: Los MPCNN en GPU logran un rendimiento de visión sobrehumano ......................... ................................................. ................. 97
5.20. 2011: optimización sin arpillera para RNN 98 ................................................. ................................................. .................................................
5.21. 2012: primeros concursos ganados en ImageNet, detección de objetos, segmentación....................... ................................................. ................ 98
5.22. 2013­: más concursos y récords de referencia 98 ................................................. ................................................. ................................................
5.23. Técnicas exitosas actualmente: LSTM RNN y GPU­MPCNN 99 ................................................. ................................................. ..............
5.24. Trucos recientes para mejorar los NN profundos de SL (compare las Secciones 5.6.2, 5.6.3)................................. ................................................. ................... 99
5.25. Consecuencias para la neurociencia................................................ ................................................. ................................................. ................. 100
5.26. ¿DL con neuronas en aumento? ................................................. ................................................. ................................................. ................................ 100
6. DL en FNN y RNN para aprendizaje por refuerzo (RL) ......................... ................................................. ................................................. ..... 100
6.1. Los modelos mundiales de RL a NN producen RNN con CAP profundos 100 ................................................. ................................................. .........................
6.2. FNN profundos para procesos de decisión (MDP) tradicionales de RL y Markov................... ................................................. ................. 101
6.3. RNN de RL profundas para MDP parcialmente observables (POMDP)................... ................................................. ........................................ 101
6.4. RL facilitada por UL profunda en FNN y RNN ......................................... ................................................. ................................................. ...... 102
6.5. RL jerárquico profundo (HRL) y aprendizaje de subobjetivos con FNN y RNN.................................. ................................................. ................. 102
6.6. RL profunda mediante búsqueda directa de NN/gradientes de políticas/evolución ......................... ................................................. ........................................ 102
6.7. RL profundo mediante búsqueda de políticas indirectas/búsqueda NN comprimida .................................................
103 ................................................. .........................
6.8. RL universal ................................................. ................................................. ................................................. ................................................. .. 103
7. Conclusión y perspectivas ................................................. ................................................. ................................................. ......................................... 103
Agradecimientos ................................................ ................................................. ................................................. ................................................. .. 104
Referencias................................................. ................................................. ................................................. ................................................. ................ 104

Prefacio
Esta es la preimpresión de una descripción general invitada del aprendizaje profundo (DL).
Uno de sus objetivos es asignar crédito a quienes contribuyeron a la
estado actual del arte. Reconozco las limitaciones de intentar lograr este objetivo. La propia
comunidad de investigación de DL puede estar
visto como una red profunda y en continua evolución de científicos que
se han influenciado mutuamente de maneras complejas. A partir de reciente
resultados de DL, traté de rastrear los orígenes de ideas relevantes a través
el último medio siglo y más allá, a veces utilizando "búsqueda local"
seguir citas de citas hacia atrás en el tiempo. ya que no todos
Las publicaciones de DL reconocen adecuadamente trabajos relevantes anteriores, se
pesos que hacen que el NN muestre el comportamiento deseado , como conducir
un coche. Dependiendo del problema y de cómo están conectadas las neuronas, tal
comportamiento puede requerir largas cadenas causales de etapas computacionales
(Sección 3), donde cada etapa se transforma (a menudo en
de forma no lineal) la activación agregada de la red. Profundo
Aprender consiste en asignar créditos con precisión a través de muchos de estos
etapas.
Han existido modelos superficiales similares a NN con pocas etapas de este tipo.
durante muchas décadas, si no siglos (Sección 5.1). Los modelos con varias capas sucesivas
de neuronas no lineales se remontan al menos a
los años 1960 (Sección 5.3) y 1970 (Sección 5.5). Un método eficiente de descenso de
gradientes para el aprendizaje supervisado (SL) basado en profesores

emplearon estrategias de búsqueda global adicionales, con la ayuda de consultoría. en redes discretas y diferenciables de profundidad arbitraria llamada retropropagación (BP),

Numerosos expertos en redes neuronales. Como resultado, la presente preimpresión se desarrolló en las décadas de 1960 y 1970, y se aplicó a las NN en 1981 (Sección 5.5).

consiste principalmente en referencias. Sin embargo, debido a un sesgo de selección de Entrenamiento basado en BP de NN profundas

expertos, es posible que me haya perdido un trabajo importante. Un sesgo relacionado fue Sin embargo, a finales de la década de 1980 se había descubierto que la práctica con

seguramente introducido por mi especial familiaridad con el trabajo de mi
propio grupo de investigación de DL en el último cuarto de siglo. Por estas razones, este
trabajo debe verse simplemente como una instantánea de un proceso de asignación de
créditos en curso. Para ayudar a mejorarlo, por favor no
No dude en enviar correcciones y sugerencias a juergen@idsia.ch.
1. Introducción al aprendizaje profundo (DL) en redes neuronales (NN)
¿Qué componentes modificables de un sistema de aprendizaje son responsables de su
éxito o fracaso? ¿Qué cambios en ellos mejoran el rendimiento? A esto se le ha llamado la
asignación de crédito fundamental.
problema (Minsky, 1963). Existen métodos generales de asignación de créditos para
solucionadores de problemas universales que son óptimos en el tiempo en varios
sentidos teóricos (Sección 6.8). La presente encuesta, sin embargo,
centrarse en el subcampo más limitado, pero ahora comercialmente importante
del aprendizaje profundo (DL) en redes neuronales artificiales (NN).
Una red neuronal (NN) estándar consta de muchos procesadores simples conectados
llamados neuronas, cada uno de los cuales produce una secuencia de
activaciones de valor real. Las neuronas de entrada se activan a través de sensores que
perciben el entorno, otras neuronas se activan
a través de conexiones ponderadas de neuronas previamente activas (detalles en la Sección
2). Algunas neuronas pueden influir en el medio ambiente.
desencadenando acciones. El aprendizaje o la asignación de créditos se trata de encontrar
muchas capas era difícil en la práctica (Sección 5.6), y se había convertido en una práctica explícita.
tema de investigación a principios de la década de 1990 (Sección 5.9). DL se volvió
prácticamente factible hasta cierto punto gracias a la ayuda de Unsupervised
Aprendizaje (UL), por ejemplo, Sección 5.10 (1991), Sección 5.15 (2006). El
En las décadas de 1990 y 2000 también se produjeron muchas mejoras en la DL puramente
supervisada (Sección 5). En el nuevo milenio, las NN profundas finalmente han atraído una
atención generalizada, principalmente por su desempeño superior.
Métodos alternativos de aprendizaje automático, como máquinas kernel.
(Schölkopf, Burges y Smola, 1998; Vapnik, 1995) en numerosas aplicaciones importantes.
De hecho, desde 2009, las NN profundas supervisadas han
Ganó muchos concursos oficiales internacionales de reconocimiento de patrones.
(p. ej., Secciones 5.17, 5.19, 5.21 y 5.22), lograr el primer reconocimiento de patrones
visuales sobrehumanos da como resultado dominios limitados (Sección 5.19, 2011). Las NN
profundas también se han vuelto relevantes para los más
campo general del aprendizaje por refuerzo (RL) donde no hay un maestro supervisor
(Sección 6).
Tanto NN anticipados (acíclicos) (FNN) como recurrentes (cíclicos)
Los NN (RNN) han ganado concursos (Secciones 5.12, 5.14, 5.17, 5.19, 5.21,
5.22). En cierto sentido, las RNN son las más profundas de todas las NN (Sección 3):
son computadoras generales más potentes que las FNN y, en
principio crear y procesar recuerdos de secuencias arbitrarias de
patrones de entrada (por ejemplo, Schmidhuber, 1990a; Siegelmann & Sontag,
1991). A diferencia de los métodos tradicionales para la síntesis automática de programas
secuenciales (por ejemplo, Balzer, 1985; Deville & Lau, 1994; Soloway,
Machine Translated by Google

J. Schmidhuber / Redes neuronales 61 (2015) 85–117 87

1986; Waldinger & Lee, 1969), los RNN pueden aprender programas que combinan
Abreviaturas en orden alfabético Procesamiento secuencial y paralelo de información de forma natural y eficiente,
explotando el paralelismo masivo considerado crucial.
EA: codificador automático
AI: para sostener la rápida disminución del costo de computación observada durante
Inteligencia artificial
ANN: Red neuronal artificial los últimos 75 años.

BFGS: Broyden–Fletcher–Goldfarb–Shanno El resto del artículo se estructura de la siguiente manera. La sección 2 presenta
BNN: red neuronal biológica una notación compacta orientada a eventos que es simple pero general.
BM: Máquina Boltzmann suficiente para acomodar tanto FNN como RNN. La sección 3 presenta
PA: Propagación hacia atrás el concepto de Rutas de Asignación de Crédito (CAP) para medir si
BRNN: red neuronal recurrente bidireccional El aprendizaje en una aplicación NN determinada es del tipo profundo o superficial .
GORRA: Ruta de asignación de crédito La Sección 4 enumera temas recurrentes de DL en SL, UL y RL. La sección 5 se centra
CCA: Carrusel de errores constantes
en SL y UL, y en cómo UL puede facilitar SL, aunque puramente
LFC: Lenguaje libre de contexto
SL se ha vuelto dominante en competiciones recientes (Secciones 5.17–
CMA­ES: Estimación de matriz de covarianza ES
5.23). La sección 5 está organizada en un formato de línea de tiempo histórica con
CNN: red neuronal convolucional
subsecciones sobre inspiraciones y contribuciones técnicas importantes.
CoSyNE: Neuroevolución co­sináptica
CSL: La sección 6 sobre RL profunda analiza la programación dinámica tradicional.
Lenguaje sensible al contexto
CTC: Clasificación temporal conexionista RL basado en (DP) combinado con técnicas de búsqueda basadas en gradientes
DBN: Red de Creencias Profundas para SL o UL en NN profundas, así como métodos generales para directo y
DCT: Transformada de coseno discreta Búsqueda indirecta en el espacio de peso de FNN y RNN profundos, incluido el
DL: Aprendizaje profundo gradiente de políticas exitoso y los métodos evolutivos.
PD: Programación dinámica
DS: Búsqueda directa de políticas
2. Notación orientada a eventos para la propagación de activación en NN
EA: Algoritmo evolutivo
EM: Maximización de expectativas
ES: Estrategia de evolución A lo largo de este artículo, denotemos i, j, k, t, p, q,r positivo
FMS: Búsqueda mínima plana variables enteras asumiendo rangos implícitos en los contextos dados.
FNN: Red neuronal de avance Sean n, m, T constantes enteras positivas.
FSA: Autómata de estados finitos La topología de una NN puede cambiar con el tiempo (por ejemplo, Secciones 5.3,
GMDH: Método grupal de manejo de datos 5.6.3). En cualquier momento dado, puede describirse como un subconjunto finito.
GOFAI: buena IA a la antigua usanza de unidades (o nodos o neuronas) N = {u1, u2, . . . ,} y un conjunto finito
Programación genética
Médico de cabecera:

H N × N de aristas dirigidas o conexiones entre nodos. FNN

GPU: Unidad de procesamiento gráfico son gráficos acíclicos, RNN cíclicos. La primera capa (de entrada) es el conjunto.
GPU­MPCNN: MPCNN basado en GPU
de unidades de entrada, un subconjunto de N. En FNN, la k­ésima capa (k > 1) es la
HMM: modelo oculto de Markov
HRL: conjunto de todos los nodos u N tal que haya un camino de borde de longitud
Aprendizaje por refuerzo jerárquico
k − 1 (pero ya no es el camino) entre alguna unidad de entrada y u. Allá
HTM: Memoria temporal jerárquica
HMAX: Modelo Jerárquico ''y X'' pueden ser conexiones de atajo entre capas distantes. En el procesamiento de
LSTM: memoria larga a corto plazo (RNN) secuencia, RNN completamente conectados, todas las unidades tienen conexiones a todos
MDL: Longitud mínima de descripción unidades sin entrada.
MDP: Proceso de decisión de Markov El comportamiento o programa del NN está determinado por un conjunto de
MNIST: Base de datos del Instituto Nacional Mixto de Estándares y Tecnología parámetros o pesos de valor real, posiblemente modificables, wi (i = 1,
. . . , norte). Ahora nos centramos en un único episodio o época finita de procesamiento
diputado: Agrupación máxima de información y difusión de activación, sin aprender a través de ellos.
MPCNN: CNN de agrupación máxima cambios de peso. La siguiente notación ligeramente poco convencional es
NORDESTE:NeuroEvolución
diseñado para describir de forma compacta lo que sucede durante el tiempo de
NEAT: NE de topologías aumentantes
NES: ejecución del sistema.
Estrategias de evolución natural
Durante un episodio, hay una secuencia parcialmente causal xt (t =
NFQ: Q­Learning adaptado a los nervios
NN: Red neuronal 1, . . . , T ) de valores reales que llamo eventos. Cada xt es una entrada establecida
OCR: Reconocimiento óptico de caracteres por el entorno o la activación de una unidad que puede
PCC: Conexión causal potencial dependen directamente de otros xk(k < t)a través de un conjunto actual NN dependiente
PDCC: posible conexión causal directa de la topología int de índices k que representan conexiones o enlaces causales
PM: Minimización de la previsibilidad entrantes. Deje que la función v codifique información de topología
POMDP: MDP parcialmente observable y asignar dichos pares de índices de eventos (k, t) a índices de ponderación. Por
RAAM: Memoria recursiva autoasociativa ejemplo, en el caso sin insumos podemos tener xt = ft(nett) con
RBM: Máquina Boltzmann restringida
valor real neto = k int xkwv(k,t) (caso aditivo) o nett =
ReLU: Unidad lineal rectificada
RL: Aprendizaje reforzado k int xkwv(k,t) (caso multiplicativo), donde ft es una función de activación de valor
RNN: red neuronal recurrente real típicamente no lineal como tanh. En muchos recientes
R­prop: retropropagación resistente NN ganadoras de la competencia (Secciones 5.19, 5.21, 5.22) también hay
SL: Aprendizaje supervisado eventos del tipo xt = maxk int (xk); algunos tipos de red pueden
SLIM NN: red neuronal autodelimitante También utilice funciones de activación polinomiales complejas (Sección 5.3). xt
SOTA: algoritmo de árbol autoorganizado puede afectar directamente a ciertos xk(k > t)a través de conexiones salientes
SVM: máquina de vectores de soporte o enlaces representados a través de un conjunto actual de índices k con
TDNN: red neuronal con retardo de tiempo
t tinta. Algunos de los eventos que no son de entrada se denominan eventos de salida.
TIMIT: TI/SRI/MIT Habla Continua Acústica­Fonética
Tenga en cuenta que muchos de los xt pueden referirse a diferentes, que varían en el tiempo.
Cuerpo
activaciones de la misma unidad en RNN de procesamiento de secuencias (p. ej.,
UL: Aprendizaje sin supervisión
WTA: El ganador se lo lleva todo Williams, 1989 ''unfolding in time''), o también en FNN secuencialmente
expuesto a patrones de entrada que varían en el tiempo de un gran conjunto de entrenamiento
codificados como eventos de entrada. Durante un episodio, el mismo peso
Machine Translated by Google
88 J. Schmidhuber / Redes neuronales 61 (2015) 85–117
puede reutilizarse una y otra vez en formas dependientes de la topología, por ejemplo, en
RNN o en NN convolucionales (Secciones 5.4 y 5.8). A esto lo llamo compartir peso a
través del espacio y/o el tiempo. Compartir el peso puede reducir en gran medida la
complejidad descriptiva de la NN, que es la cantidad de bits de información necesarios
para describir la NN (Sección 4.4).
En el aprendizaje supervisado (SL), ciertos eventos de salida de NN xt pueden estar
asociados con etiquetas u objetivos de valor real dados por el maestro dt , lo que produce
2.
errores et , por ejemplo, et = 1/2(xt − dt) Un objetivo típico del
entrenamiento NN supervisado es encontrar pesos que produzcan episodios con un error
total pequeño E, la suma de todos esos et . La esperanza es que el NN se generalice
bien en episodios posteriores, provocando sólo pequeños errores en secuencias de
eventos de entrada nunca antes vistas. Son posibles muchas funciones de error alternativas
para SL y UL.
SL supone que los eventos de entrada son independientes de los eventos de salida
anteriores (que pueden afectar el medio ambiente a través de acciones que causan
percepciones posteriores). Esta suposición no se cumple en los campos más amplios de
la toma de decisiones secuencial y el aprendizaje por refuerzo (RL) (Hutter, 2005; Kaelbling,
Littman y Moore, 1996; Sutton y Barto, 1998; Wiering y van Otterlo, 2012) (Sección 6). .
En RL, algunos de los eventos de entrada pueden codificar señales de recompensa de
valor real proporcionadas por el entorno, y un objetivo típico es encontrar pesos que
produzcan episodios con una suma alta de señales de recompensa, a través de secuencias
de acciones de salida apropiadas.
La sección 5.5 utilizará la notación anterior para describir de forma compacta un
algoritmo central de DL, a saber, la retropropagación (BP) para FNN y RNN supervisados
de peso compartido. (Las FNN pueden verse como RNN con ciertas ponderaciones cero
fijas). La sección 6 abordará el caso más general de RL.
3. Profundidad de las rutas de asignación de crédito (CAP) y de los problemas
Para medir si la asignación de crédito en una aplicación NN dada es del tipo profundo
o superficial , introduzco el concepto de Rutas de Asignación de Crédito o CAP, que son
cadenas de vínculos posiblemente causales entre los eventos de la Sección 2, por ejemplo,
desde la entrada hasta oculto para generar capas en FNN, o mediante transformaciones a
lo largo del tiempo en RNN.
Centrémonos primero en SL. Considere dos eventos xp y xq (1 ≤ p < q ≤ T ).
Dependiendo de la aplicación, pueden tener una Conexión Causal Directa Potencial
(PDCC) expresada por el predicado booleano pdcc(p, q), que es verdadera si y sólo si p
inq. Entonces la lista de 2 elementos (p, q) se define como un CAP (mínimo) de p a q.
Se puede permitir que un algoritmo de aprendizaje cambie wv(p,q) para mejorar el
rendimiento en episodios futuros.
Las conexiones causales potenciales (PCC) más generales, posiblemente indirectas,
se expresan mediante el predicado booleano definido recursivamente pcc(p, q), que en el
caso SL es verdadero sólo si pdcc(p, q), o si pcc(p, k) . ) para algunos k y pdcc(k, q). En el
último caso, agregar q a cualquier CAP desde p hasta k produce un CAP desde p hasta q
(esta también es una definición recursiva). El conjunto de tales CAP puede ser grande
pero finito.
Tenga en cuenta que el mismo peso puede afectar a muchos PDCC diferentes entre
eventos sucesivos enumerados por un CAP determinado, por ejemplo, en el caso de RNN
o FNN de peso compartido.
Supongamos que un CAP tiene la forma (. . . , k, t, . . . , q), donde k y t (posiblemente
t = q) son los primeros elementos sucesivos con modificable , q) se llama profundidad del
wv(k,t) . Entonces la longitud de la lista de sufijos (t, . . . CAP (que es 0 si no hay
ningún enlace modificable). Esta profundidad limita hasta qué punto la asignación de
créditos puede avanzar hacia atrás en la cadena causal para encontrar un peso
modificable.1 Supongamos un episodio y su secuencia
de eventos x1, . . . , xT satisface un criterio computable utilizado para decidir si un
problema determinado ha sido resuelto (por ejemplo, error total E por debajo de cierto
umbral). Entonces el conjunto
1 Una alternativa sería contar sólo los enlaces modificables al medir la profundidad.
En muchas aplicaciones típicas de NN esto no supondría una diferencia, pero en algunas sí, por
ejemplo, en la Sección 6.1.
de pesos usados se llama solución al problema, y la profundidad del CAP más profundo
dentro de la secuencia se llama profundidad de la solución.
Puede haber otras soluciones (que produzcan diferentes secuencias de eventos) con
diferentes profundidades. Dada una topología NN fija, la profundidad más pequeña de
cualquier solución se denomina profundidad del problema.
A veces también hablamos de la profundidad de una arquitectura: las SL FNN con
topología fija implican una profundidad máxima del problema independiente del problema
limitada por el número de capas que no son de entrada. Ciertos SL RNN con pesos fijos
para todas las conexiones excepto aquellas a unidades de salida (Jaeger, 2001, 2004;
Maass, Natschläger y Markram, 2002; Schrauwen, Verstraeten y Van Campenhout, 2007)
tienen una profundidad de problema máxima de 1, porque sólo los enlaces finales en los
CAP correspondientes son modificables. Sin embargo, en general, los RNN pueden
aprender a resolver problemas de profundidad potencialmente ilimitada.
Tenga en cuenta que las definiciones anteriores se basan únicamente en la profundidad
de las cadenas causales y son independientes de la distancia temporal entre eventos. Por
ejemplo, las FNN superficiales que perciben grandes "ventanas de tiempo" de eventos
de entrada pueden clasificar correctamente secuencias de entrada largas a través de
eventos de salida apropiados y, por lo tanto, resolver problemas superficiales que
involucran largos desfases de tiempo entre eventos relevantes.
¿En qué profundidad del problema termina el aprendizaje superficial y comienza el
aprendizaje profundo ? Las conversaciones con expertos en DL aún no han dado una
respuesta concluyente a esta pregunta. En lugar de comprometerme con una respuesta
precisa, permítanme definir para los propósitos de esta descripción general: los problemas
de profundidad >10 requieren un aprendizaje muy profundo.
La dificultad de un problema puede tener poco que ver con su profundidad.
Algunos NN pueden aprender rápidamente a resolver ciertos problemas profundos, por
ejemplo, mediante adivinación de peso aleatoria (Sección 5.9) u otros tipos de búsqueda
directa (Sección 6.6) o búsqueda indirecta (Sección 6.7) en el espacio de peso, o
entrenando a un NN primero en un espacio superficial. problemas cuyas soluciones pueden
luego generalizarse a problemas profundos, o mediante el colapso de secuencias de
operaciones (no) lineales en una única operación (no) lineal (pero consulte un análisis de
aspectos no triviales de redes lineales profundas, Baldi & Hornik, 1995, Sección B).
Sin embargo, en general, encontrar un NN que modele con precisión un conjunto de
entrenamiento dado es un problema de NP completo (Blum y Rivest, 1992; Judd, 1990),
también en el caso de NN profundos (de Souto, Souto y Oliveira, 1999). ; Síma, 1994;
Windisch, 2005); comparar una encuesta de resultados negativos (Síma, 2002, Sección 1).
Arriba nos hemos centrado en SL. En el caso más general de RL en entornos
desconocidos, pcc(p, q) también es cierto si xp es un evento de salida y xq cualquier
evento de entrada posterior; cualquier acción puede afectar el entorno y, por tanto,
cualquier percepción posterior. (En el mundo real, el entorno puede incluso influir en
eventos que no son de entrada calculados en un hardware físico entrelazado con el
universo entero, pero esto se ignora aquí). Es posible modelar y reemplazar tales PCC
ambientales no modificables a través de una parte de el NN que ya ha aprendido a
predecir (a través de algunas de sus unidades) eventos de entrada (incluidas señales de
recompensa) a partir de eventos y acciones de entrada anteriores (Sección 6.1). Sus
ponderaciones están congeladas, pero pueden ayudar a asignar crédito a otras
ponderaciones aún modificables utilizadas para calcular acciones (Sección 6.1). Sin
embargo, este enfoque puede conducir a PAC muy profundos.
Algunas investigaciones de DL tratan de reformular automáticamente problemas de
manera que se reduzca su profundidad (Sección 4). En particular, algunas veces se
utiliza UL para hacer que los problemas de SL sean menos profundos, por ejemplo, Sección 5.10.
A menudo se utiliza la Programación Dinámica (Sección 4.1) para facilitar ciertos
problemas tradicionales de RL, por ejemplo, la Sección 6.2. La Sección 5 se centra en los
CAP para SL, la Sección 6 en el caso más complejo de RL.
4. Temas recurrentes del aprendizaje profundo
4.1. Programación dinámica para aprendizaje supervisado/por refuerzo (SL/RL)
Un tema recurrente de DL es la Programación Dinámica (DP) (Bell­man, 1957), que
puede ayudar a facilitar la asignación de créditos en
Machine Translated by Google
J. Schmidhuber / Redes neuronales 61 (2015) 85–117
ciertos supuestos. Por ejemplo, en SL NN, la retropropagación en sí misma puede verse
como un método derivado de DP (Sección 5.5). En la RL tradicional basada en fuertes
supuestos markovianos, los métodos derivados de DP pueden ayudar a reducir en gran
medida la profundidad del problema (Sección 6.2).
Los algoritmos DP también son esenciales para sistemas que combinan conceptos de NN
y modelos gráficos, como los Modelos Ocultos de Markov (HMM) (Baum & Petrie, 1966;
Stratonovich, 1960) y Maximización de Expectativas (EM) (Dempster, Laird, & Rubin,
1977; Friedman, Hastie, & Tibshirani, 2001), por ejemplo, Baldi y Chauvin (1996), Bengio
(1991), Bishop (2006), Bottou (1991), Bourlard y Morgan (1994), Dahl, Yu, Deng y Acero
(2012), Hastie, Tibshirani y Friedman (2009), Hinton, Deng y otros. (2012), Jordan y
Sejnowski (2001), Poon y Domingos (2011) y Wu y Shao (2014).
4.2. Aprendizaje no supervisado (UL) que facilita SL y RL
Otro tema recurrente es cómo UL puede facilitar tanto SL (Sección 5) como RL
(Sección 6). UL (Sección 5.6.4) normalmente se utiliza para codificar datos entrantes sin
procesar, como secuencias de video o voz, en una forma que sea más conveniente para el
aprendizaje posterior dirigido a objetivos. En particular, los códigos que describen los
datos originales de una manera menos redundante o más compacta pueden introducirse
en máquinas SL (Secciones 5.10, 5.15) o RL (Sección 6.4), cuyos espacios de búsqueda
pueden volverse más pequeños (y cuyos CAP son más superficiales). ) que los necesarios
para tratar los datos sin procesar. UL está estrechamente relacionado con los temas de
regularización y compresión (Secciones 4.4, 5.6.3).
4.3. Aprendizaje de representaciones jerárquicas a través de SL, UL, RL profundos
Muchos métodos de la Inteligencia Artificial a la antigua usanza (GO­FAI) (Nilsson,
1980) , así como enfoques más recientes de la IA (Russell, Norvig, Canny, Malik y
Edwards, 1995) y el aprendizaje automático (Mitchell , 1997) aprenden jerarquías de
representaciones de datos cada vez más abstractas. Por ejemplo, ciertos métodos de
reconocimiento de patrones sintácticos (Fu, 1977) , como la inducción gramatical, descubren
jerarquías de reglas formales para modelar observaciones. El matemático automatizado/
EURISKO parcialmente (no)supervisado (Lenat, 1983; Lenat y Brown, 1984) aprende
continuamente conceptos combinando conceptos aprendidos previamente. Este aprendizaje
de representación jerárquica (Bengio, Courville y Vincent, 2013; Deng y Yu, 2014; Ring,
1994) también es un tema recurrente en las NN de DL para SL (Sección 5), SL asistida
por UL (Secciones 5.7, 5.10 , 5.15), y RL jerárquico (Sección 6.5). A menudo, las
representaciones jerárquicas abstractas son subproductos naturales de la compresión de
datos (Sección 4.4), por ejemplo, Sección 5.10.
4.4. Navaja de Occam: compresión y longitud mínima de descripción (MDL)
La navaja de Occam favorece las soluciones simples a las complejas. Dado algún
lenguaje de programación, el principio de longitud mínima de descripción (MDL) se puede
utilizar para medir la complejidad de una solución candidata por la longitud del programa
más corto que la calcula (p. ej., Blumer, Ehrenfeucht, Haussler y Warmuth). , 1987;
Chaitin, 1966; Grünwald, Myung y Pitt, 2005; Kolmogorov, 1965b; Levin, 1973a; Li y Vitányi,
1997; Rissanen, 1986; Solomonoff, 1964, 1978; Wallace y Boulton, 1968). Algunos métodos
tienen en cuenta explícitamente el tiempo de ejecución del programa (Allender, 1992;
Schmidhuber, 1997, 2002; Watanabe, 1992); muchos consideran sólo programas con
tiempo de ejecución constante, escritos en lenguajes de programación no universales (por
ejemplo, Hinton y van Camp, 1993; Rissanen, 1986). En el caso de NN, el principio MDL
sugiere que una baja complejidad de ponderación de NN corresponde a una alta
probabilidad de NN en la visión bayesiana (por ejemplo, Buntine y Weigend, 1991; De
Freitas, 2003; MacKay, 1992; Neal, 1995), y a Alto rendimiento de generalización (por
ejemplo, Baum y Haussler, 1989), sin sobreajustar los datos de entrenamiento. Se han
propuesto muchos métodos para regularizar los NN, es decir, buscar cálculos de soluciones
pero SL NN simples y de baja complejidad (Sección 5.6.3) y RL NN (Sección 6.7). Esto
está estrechamente relacionado con ciertos métodos UL (Secciones 4.2, 5.6.4).
89
4.5. Unidades de procesamiento de gráficos rápidos (GPU) para DL en NN
Mientras que en el milenio anterior se produjeron varios intentos de crear hardware
rápido específico para NN (por ejemplo, Faggin, 1992; Heemskerk, 1995; Jackel et al.,
1990; Korkin, de Garis, Gers y Hemmi, 1997; Ramacher et al. , 1993; Urlbe, 1999; Widrow,
Rumelhart, & Lehr, 1994), y en la explotación de hardware estándar (por ejemplo, Anguita
& Gomes, 1996; Anguita, Parodi, & Zunino, 1994; Muller, Gunzinger, & Guggenbühl, 1995),
El nuevo milenio trajo un gran avance en DL en forma de tarjetas gráficas o GPU
multiprocesador y económicas.
Las GPU se utilizan ampliamente para videojuegos, un mercado enorme y competitivo que
ha hecho bajar los precios del hardware. Las GPU destacan por las rápidas multiplicaciones
de matrices y vectores necesarias no sólo para convencer a las realidades virtuales sino
también para el entrenamiento de NN, donde pueden acelerar el aprendizaje en un factor
de 50 o más. Algunas de las implementaciones de FNN basadas en GPU (Secciones
5.16–5.19) han contribuido en gran medida a los éxitos recientes en concursos de
reconocimiento de patrones (Secciones 5.19–5.22), segmentación de imágenes (Sección
5.21) y detección de objetos (Secciones 5.21– 5.22).
5. NN supervisadas, algunas ayudadas por NN no supervisadas
El foco principal de las aplicaciones prácticas actuales está en el Aprendizaje
Supervisado (SL), que ha dominado los recientes concursos de reconocimiento de patrones
(Secciones 5.17 a 5.23). Sin embargo, varios métodos utilizan aprendizaje no supervisado
(UL) adicional para facilitar el SL (Secciones 5.7, 5.10, 5.15). Tiene sentido tratar SL y UL
en la misma sección: a menudo se utilizan métodos basados en gradientes, como BP
(Sección 5.5.1), para optimizar las funciones objetivo tanto de UL como de SL, y el límite
entre SL y UL puede desenfoque, por ejemplo, cuando se trata de predicción de series
temporales y clasificación de secuencias, por ejemplo, Secciones 5.10, 5.12.
Un formato de línea de tiempo histórica ayudará a organizar subsecciones sobre
inspiraciones y contribuciones técnicas importantes (aunque dicha subsección puede
abarcar un intervalo de tiempo de muchos años). La sección 5.1 menciona brevemente los
primeros modelos NN superficiales desde las décadas de 1940 (y 1800), y la sección 5.2
es una inspiración neurobiológica temprana adicional relevante para el aprendizaje profundo
(DL) moderno. La sección 5.3 trata sobre las redes GMDH (desde 1965), que yo sepa, la
primera (feedforward)
Sistemas DL. La sección 5.4 trata sobre el Neocognitron NN relativamente profundo (1979),
que es muy similar a ciertas arquitecturas FNN profundas modernas, ya que combina NN
convolucionales (CNN), replicación de patrones de peso y mecanismos de submuestreo.
La Sección 5.5 utiliza la notación de la Sección 2 para describir de manera compacta un
algoritmo central de DL, a saber, la retropropagación (BP) para FNN y RNN supervisados
de peso compartido. También resume la historia de BP 1960­1981 y más allá. La sección
5.6 describe los problemas encontrados a finales de la década de 1980 con BP para NN
profundas y menciona varias ideas del milenio anterior para superarlos.
La Sección 5.7 analiza una primera pila jerárquica (1987) de Autoencoders (AE) basados
en UL acoplados; este concepto resurgió en el nuevo milenio (Sección 5.15). La sección
5.8 trata sobre la aplicación de BP a CNN (1989), lo cual es importante para las aplicaciones
DL actuales. La sección 5.9 explica el problema fundamental de DL de BP (de gradientes
que desaparecen/explotan) descubierto en 1991. La sección 5.10 explica cómo una pila
RNN profunda de 1991 (el compresor de historial) previamente entrenada por UL ayudó a
resolver puntos de referencia de DL que antes no se podían aprender y que requerían rutas
de asignación de crédito ( CAPs, Sección 3) de profundidad 1000 y más. La sección 5.11
analiza un método particular en el que el ganador se lo lleva todo (WTA), llamado Max­
Pooling (MP, 1992), ampliamente utilizado en las FNN profundas actuales. La sección 5.12
menciona un primer concurso importante ganado por SL NN en 1994. La sección 5.13
describe una DL RNN (Long Short­Term Memory, LSTM, 1995) puramente supervisada
para problemas de profundidad 1000 y más. La sección 5.14 menciona un concurso inicial
de 2003 ganado por un conjunto de FNN superficiales, así como buenos resultados de
reconocimiento de patrones con CNN y FNN profundos y RNN de LSTM.
Machine Translated by Google
90 J. Schmidhuber / Redes neuronales 61 (2015) 85–117
(2003). La Sección 5.15 trata principalmente sobre Deep Belief Networks (DBN, 2006)
y pilas relacionadas de Autoencoders (AE, Sección 5.7), ambos previamente
entrenados por UL para facilitar el SL posterior basado en BP (compárese con las
Secciones 5.6.1, 5.10). La sección 5.16 menciona las primeras GPU­CNN basadas
en SL (2006), MPCNN entrenadas por BP (2007) y pilas LSTM (2007). Las secciones
5.17 a 5.22 se centran en competencias oficiales con conjuntos de pruebas secretas
ganadas por NN profundas (en su mayoría puramente supervisadas) desde 2009, en
reconocimiento de secuencias, clasificación de imágenes, segmentación de imágenes
y detección de objetos. Muchos resultados de RNN dependían de LSTM (Sección
5.13); Muchos resultados de FNN dependieron del código FNN basado en GPU
desarrollado desde 2004 (Secciones 5.16 a 5.19), en particular, GPU­MPCNN
(Sección 5.19). La Sección 5.24 menciona trucos recientes para mejorar la DL en NN,
muchos de ellos estrechamente relacionados con trucos anteriores del milenio anterior
(por ejemplo, Secciones 5.6.2, 5.6.3).
La sección 5.25 analiza cómo las NN artificiales pueden ayudar a comprender las NN
biológicas; La sección 5.26 aborda la posibilidad de DL en NN con neuronas activas.
5.1. Primeros NN desde la década de 1940 (y el siglo XIX)
Las primeras arquitecturas NN (McCulloch & Pitts, 1943) no aprendían.
Las primeras ideas sobre UL se publicaron unos años más tarde (Hebb, 1949). Las
décadas siguientes trajeron NN simples entrenados por SL (por ejemplo, Narendra y
Thathatchar, 1974; Rosenblatt, 1958, 1962; Widrow y Hoff, 1962) y UL (por ejemplo,
Grossberg, 1969; Kohonen, 1972; von der Malsburg, 1973; Willshaw ). & von der
Malsburg, 1976), así como memorias asociativas estrechamente relacionadas (por
ejemplo, Hop­field, 1982; Palm, 1980).
En cierto sentido, las NN han existido incluso desde antes, ya que las primeras
NN supervisadas eran esencialmente variantes de métodos de regresión lineal que
se remontaban al menos a principios del siglo XIX (p. ej., Gauss, 1809, 1821;
Legendre, 1805); Gauss también se refiere a su trabajo de 1795. Los primeros NN
tenían una profundidad CAP máxima de 1 (Sección 3).
5.2. Alrededor de 1960: la corteza visual proporciona inspiración para la DL (Secciones
5.4, 5.11)
2011) en lugar de Max­Pooling (MP, Sección 5.11), actualmente un mecanismo WTA
Se encontraron células simples y complejas en la corteza visual del gato (p. ej.,
Hubel y Wiesel, 1962; Wiesel y Hubel, 1959). Estas células se activan en respuesta a
ciertas propiedades de los estímulos sensoriales visuales, como la orientación de los
bordes. Las células complejas exhiben más invariancia espacial que las células
simples. Esto inspiró arquitecturas NN profundas posteriores (Secciones 5.4, 5.11)
utilizadas en ciertos Deep Learners modernos y galardonados (Secciones 5.19 a
5.22).
5.3. 1965: redes profundas basadas en el método grupal de manejo de datos
Las redes entrenadas por el Método Grupal de Manejo de Datos (GMDH)
(Ivakhnenko, 1968, 1971; Ivakhnenko & Lapa, 1965; Ivakhnenko, Lapa, & McDonough,
1967) fueron quizás los primeros sistemas DL del tipo Feedforward Multilayer
Perceptron , aunque hubo trabajos anteriores sobre NN con una única capa oculta
(por ejemplo, Joseph, 1961; Viglione, 1970). Las unidades de las redes GMDH pueden
tener funciones de activación polinómica que implementan polinomios de Kol­mogorov­
Gabor (más generales que otras funciones de activación NN ampliamente utilizadas,
Sección 2). Dado un conjunto de entrenamiento, las capas crecen y se entrenan
incrementalmente mediante análisis de regresión (por ejemplo, Gauss, 1809, 1821;
Legendre, 1805) (Sección 5.1), luego se podan con la ayuda de un conjunto de
validación separado (usando la terminología actual). ), donde la Regularización de
decisiones se utiliza para eliminar unidades superfluas (compárese con la Sección
5.6.3). El número de capas y unidades por capa se puede aprender en función del
problema. Hasta donde yo sé, este fue el primer ejemplo de aprendizaje de
representación jerárquica y abierto en NN (Sección 4.3). Un artículo de 1971 ya
describía una red GMDH profunda con 8 capas (Ivakhnenko, 1971).
Ha habido numerosas aplicaciones de redes de estilo GMDH, por ejemplo
Farlow (1984), Ikeda, Ochiai y Sawaragi (1976), Ivakhnenko (1995), Kondo (1998),
Kondo y Ueno (2008), Kordík, Náplava, Snorek y Genyk­Berezovskyj (2003), Madala
e Ivakhnenko ( 1994) y Witczak, Korbicz, Mrugalski y Patton (2006).
5.4. 1979: convolución + replicación de peso + submuestreo (Neocog­nitron)
Aparte de las redes GMDH profundas (Sección 5.3), el Neocogni­tron (Fukushima,
1979, 1980, 2013a) fue quizás el primer NN artificial que mereció el atributo de
profundo y el primero en incorporar los conocimientos neurofisiológicos de la Sección
5.2. Introdujo NN convolucionales (hoy en día a menudo llamados CNN o convnets),
donde el campo receptivo (típicamente rectangular) de una unidad convolucional con
un vector de peso dado (un filtro) se desplaza paso a paso a través de una matriz
bidimensional de valores de entrada. como los píxeles de una imagen (normalmente
hay varios filtros de este tipo). La matriz 2D resultante de eventos de activación
posteriores de esta unidad puede proporcionar entradas a unidades de nivel superior,
y así sucesivamente. Debido a la replicación masiva de pesos (Sección 2), pueden
ser necesarios relativamente pocos parámetros (Sección 4.4) para describir el
comportamiento de dicha capa convolucional.
Las capas de submuestreo o reducción de resolución constan de unidades cuyas
conexiones de peso fijo se originan a partir de vecinos físicos en las capas
convolucionales inferiores. Las unidades de submuestreo se vuelven activas si al
menos una de sus entradas está activa; sus respuestas son insensibles a ciertos
pequeños cambios de imagen (compárese con la Sección 5.2).
El Neocognitron es muy similar a la arquitectura de los Deep Learners modernos,
ganadores de concursos, puramente supervisados, de avance y basados en
gradientes, con capas alternas de convolución y reducción de resolución (p. ej.,
Secciones 5.19 a 5.22). Fukushima, sin embargo, no estableció las ponderaciones
mediante retropropagación supervisada (Secciones 5.5, 5.8), sino mediante reglas
locales de aprendizaje no supervisado basadas en la WTA (por ejemplo, Fukushima,
2013b), o mediante cableado previo. En ese sentido, no le importaba el problema de
la DL (Sección 5.9), aunque su arquitectura era comparativamente profunda. Para
propósitos de reducción de resolución, utilizó Spatial Averaging (Fukushima, 1980,
particularmente conveniente y popular. Las combinaciones DL actuales de CNN, MP
y BP también se benefician mucho de trabajos posteriores (por ejemplo, Secciones
5.8, 5.16, 5.19).
5.5. 1960­1981 y más allá: desarrollo de la retropropagación (BP) para NN
La minimización de errores a través del descenso de gradiente (Hadamard, 1908)
en el espacio de parámetros de sistemas complejos, no lineales, diferenciables
(Leibniz, 1684), de múltiples etapas y relacionados con NN, se ha debatido al menos
desde principios de los años 1960 (por ejemplo, Amari, 1967; Bryson, 1961; Bryson &
Denham, 1961; Bryson & Ho, 1969; Director & Rohrer, 1969; Dreyfus, 1962; Kelley,
1960; Pontryagin, Boltyan­skii, Gamrelidze, & Mishchenko, 1961; Wilkinson, 1965 ),
inicialmente en el marco de las ecuaciones de Euler­Lagrange en el Cálculo de
variaciones (p. ej., Euler, 1744).
El descenso más pronunciado en el espacio de peso de tales sistemas se puede
realizar (Bryson, 1961; Bryson & Ho, 1969; Kelley, 1960) iterando la regla de la
cadena (Leibniz, 1676; L'Hôpital, 1696) à la Dynamic Programación (DP) (Bellman,
1957). Una derivación simplificada de este método de retropropagación utiliza
únicamente la regla de la cadena (Dreyfus, 1962).
Los sistemas de los años 60 ya eran eficientes en el sentido de DP.
Sin embargo, propagaron hacia atrás información derivada a través de cálculos
matriciales jacobianos estándar desde una "capa" a la anterior, sin abordar
explícitamente ni los enlaces directos entre varias capas ni las posibles ganancias
adicionales de eficiencia debido a la escasez de la red (pero tal vez tales mejoras
parecía obvio a los autores). Dado todo el trabajo previo sobre el aprendizaje en
sistemas tipo NN multicapa (ver también la Sección 5.3 sobre redes no lineales
profundas desde
Machine Translated by Google
J. Schmidhuber / Redes neuronales 61 (2015) 85–117
1965), en retrospectiva parece sorprendente que un libro (Minsky y Papert, 1969) sobre
las limitaciones de los perceptrones lineales simples con una sola capa (Sección 5.1) haya
disuadido a algunos investigadores de seguir estudiando los NN.
La retropropagación de errores (BP) explícita y eficiente en redes tipo NN arbitrarias,
discretas y posiblemente escasamente conectadas aparentemente se describió por primera
vez en una tesis de maestría de 1970 (Linnainmaa, 1970, 1976), aunque sin referencia a
las NN. BP también se conoce como el modo inverso de diferenciación automática
(Griewank, 2012), donde los costos de la activación hacia adelante y la propagación son
esencialmente iguales a los costos del cálculo de la derivada hacia atrás. Véase el código
FORTRAN inicial (Linnainmaa, 1970) y trabajos estrechamente relacionados (Ostrovskii,
Volin y Borisov, 1971).
Pronto se utilizó explícitamente la BP eficiente para minimizar las funciones de costos
adaptando los parámetros de control (pesos) (Dreyfus, 1973). Compare algunas discusiones
preliminares específicas de NN (Werbos, 1974, Sección 5.5.1), un método para umbrales
de NN de múltiples capas (Bobrowski, 1978) y un programa de computadora para derivar e
implementar automáticamente BP para sistemas diferenciables dados ( Speelpenning,
1980).
Hasta donde yo sé, la primera aplicación específica de NN de BP eficiente como la
anterior se describió en 1981 (Werbos, 1981, 2006). Un trabajo relacionado se publicó
varios años después (LeCun, 1985, 1988; Parker, 1985). Un artículo de 1986 contribuyó
significativamente a la popularización de BP para NN (Rumelhart, Hinton y Williams, 1986),
demostrando experimentalmente el surgimiento de representaciones internas útiles en
capas ocultas. Véanse las generalizaciones para NN recurrentes de procesamiento de
secuencias (p. ej., Atiya y Parlos, 2000; Baldi, 1995; Gherrity, 1989; Kremer y Kolen, 2001;
Pearlmutter, 1989, 1995; Robinson y Fallside, 1987; Rohwer, 1989; Schmidhuber, 1992a ;
Werbos, 1988; Williams, 1989; Williams & Peng, 1990; Williams & Zipser, 1988, 1989a,
1989b), también para RNN de equilibrio (Almeida, 1987; Pineda, 1987) con entradas
estacionarias.
5.5.1. BP para NN anticipados (FNN) y NN recurrentes (RNN) de peso compartido
Utilizando la notación de la Sección 2 para FNN o RNN de peso compartido, después
de un episodio de activación que se extiende a través de ft diferenciable , una única
iteración del descenso de gradiente a través de BP calcula los cambios ∂nett de todos wi en
∂E
∂wi t =
proporción a como en Algo­ ∂wi ritmo 5.5.1 (para el caso aditivo),
∂E
donde cada peso wi está
∂neto
asociado con una variable de valor real ∆i inicializada por 0.
Algoritmo 5.5.1: Una iteración de BP para FNN o RNN de peso compartido
para t = T , . . . , 1 hacer
∂E
calcular por 0; ∂nett ,
inicializar la variable de señal de error de valor real δt
si xt
es un evento de entrada, continúe con la siguiente iteración; si hay un error
et entonces δt := xt − dt; sumar a δt el valor wv(t,k)δk;
(Esta es la aplicación de regla de cadena recursiva elegante y eficiente k
recopila los impactos de nett en eventos futuros)
multiplica δt por f ′
t (neto);
para todo k int suma a wv(k,t) el valor xkδt
final para
cambiar cada wi en proporción a i y una pequeña tasa de aprendizaje de valor real
Los costos computacionales del pase hacia atrás (BP) son esencialmente los del pase
hacia adelante (Sección 2). Los pases hacia adelante y hacia atrás se repiten hasta alcanzar
un rendimiento suficiente.
A partir de 2014, este método BP simple sigue siendo el algoritmo de aprendizaje
central para FNN y RNN. En particular, la mayoría de las NN ganadoras del concurso
91
hasta 2014 (Secciones 5.12, 5.14, 5.17, 5.19, 5.21, 5.22) no aumentaron la BP supervisada
mediante algún tipo de aprendizaje no supervisado como se analiza en las Secciones 5.7,
5.10, 5.15.
5.6. Finales de la década de 1980­2000 y años posteriores: numerosas mejoras de las NN
A finales de los años 1980 parecía claro que BP por sí solo (Sección 5.5) no era una
panacea. La mayoría de las aplicaciones FNN se centraron en FNN con pocas capas
ocultas. Las capas ocultas adicionales a menudo no parecían ofrecer beneficios empíricos.
Muchos profesionales encontraron consuelo en un teorema (Hecht­Nielsen, 1989; Hornik,
Stinchcombe y White, 1989; Kolmogorov, 1965a) que afirma que un NN con una sola capa
de suficientes unidades ocultas puede aproximarse a cualquier función continua multivariada
con precisión arbitraria.
Del mismo modo, la mayoría de las aplicaciones RNN no requerían errores de
retropropagación. Muchos investigadores ayudaron a sus RNN capacitándolos primero en
problemas superficiales (Sección 3) cuyas soluciones luego se generalizaron a problemas
más profundos. De hecho, algunos algoritmos RNN populares restringieron la asignación
de créditos a un solo paso hacia atrás (El­man, 1990; Jordan, 1986, 1997), también en
estudios más recientes (Jaeger, 2001, 2004; Maass et al., 2002). .
En términos generales, aunque BP permite en principio problemas profundos, parece
funcionar sólo para problemas superficiales . A finales de los años 1980 y principios de los
1990 se vieron algunas ideas con potencial para superar este problema, que no se
comprendió plenamente hasta 1991 (Sección 5.9).
5.6.1. Ideas para afrontar retrasos prolongados y CAP profundos
Para hacer frente a largos retrasos entre eventos relevantes, se propusieron varios
métodos de procesamiento de secuencias, incluido BP focalizado basado en factores de
desintegración para activaciones de unidades en RNN (Mozer, 1989, 1992), redes
neuronales con retardo de tiempo (TDNN). (Lang, Waibel y Hinton, 1990) y su extensión
adaptativa (Boden­hausen y Waibel, 1991), RNN autorregresivos no lineales con entradas
exógenas (NARX) (Lin, Horne, Tino y Giles, 1996), ciertos RNN (Hihi y Bengio, 1996)
(compárese la Sección 5.10, 1991), economías de RL en RNN con unidades WTA y reglas
de aprendizaje locales (Schmidhuber, 1989b) y otros métodos (p. ej., Bengio, Simard y
Frasconi, 1994; de Vries & Principe, 1991; Plate, 1993; Ring, 1993, 1994; Sun, Chen y Lee,
1993). Sin embargo, estos algoritmos funcionaban sólo para CAP superficiales, no podían
generalizarse a profundidades de CAP invisibles, tenían problemas con desfases de tiempo
muy variables entre eventos relevantes, necesitaban un ajuste fino externo de las constantes
de retardo o padecían otros problemas. De hecho, resultó que ciertos problemas de
referencia simples pero profundos utilizados para evaluar tales métodos se resuelven más
rápidamente adivinando aleatoriamente los pesos de RNN hasta que se encuentra una
solución (Hochreiter y Schmidhuber, 1996).
Si bien los métodos RNN anteriores se diseñaron para DL de secuencias temporales,
el intercambiador de calor neuronal (Schmidhuber, 1990c) consta de dos FNN profundos
paralelos con direcciones de flujo opuestas.
Los patrones de entrada ingresan al primer FNN y se propagan "hacia arriba". Las salidas
outt que
deseadas (objetivos) ingresan al FNN "opuesto" y se propagan "hacia abajo". Usando una
regla de aprendizaje local, cada capa en cada red intenta ser similar (en contenido de
información) a la capa anterior y a la capa adyacente de la otra red. La entrada que ingresa
a la primera red se "calienta" lentamente hasta convertirse en el objetivo. El objetivo que
entra en la red opuesta se "enfría" lentamente para convertirse en la entrada. La máquina
Helmholtz (Dayan y Hinton, 1996; Dayan, Hinton, Neal y Zemel, 1995) puede verse como
una variante no supervisada (Sección 5.6.4) de la misma (Peter Dayan, comunicación
personal, 1994).
Un enfoque híbrido (Shavlik & Towell, 1989; Towell & Shavlik, 1994) inicializa un FNN
potencialmente profundo a través de una teoría de dominio en lógica proposicional, que
puede adquirirse a través del aprendizaje basado en explicaciones (DeJong & Mooney,
1986; Minton et al., 1989; Mitchell, Keller y Kedar­Cabelli, 1986). Luego, el NN se ajusta a
través de BP (Sección 5.5). La profundidad del NN refleja la cadena más larga.
Machine Translated by Google

92 J. Schmidhuber / Redes neuronales 61 (2015) 85–117

del razonamiento en el conjunto original de reglas lógicas. Una extensión de este enfoque A menudo, los pesos previos están implícitos en términos de penalización adicionales
(Maclin y Shavlik, 1993; Shavlik, 1994) inicializa un RNN mediante conocimiento de dominio (MacKay, 1992) o en métodos basados en conjuntos de validación (Craven y Wahba, 1979;
expresado como un Autómata de Estado Finito (FSA). Eubank, 1988; Golub, Heath y Wahba, 1979; Hastie y Tibshirani, 1990; Mosteller y Tukey). ,
El ajuste fino basado en BP se ha vuelto importante para sistemas DL posteriores 1968; Stone, 1974), criterio de información de Akaike y error de predicción final (Akaike,
previamente entrenados por UL, por ejemplo, Secciones 5.10, 5.15. 1970, 1973, 1974), o error de predicción generalizado (Moody, 1992; Moody & Utans,
1994). Véanse también Amari y Murata (1993), Guyon, Vapnik, Boser, Bottou y Solla
(1992), Holden (1994), Vapnik (1992), Wang, Venkatesh y Judd (1994) y Wolpert (1994).
5.6.2. Mejor PA mediante descenso de gradiente avanzado (compárese con la Sección
Prioridades similares (o sesgos hacia la simplicidad) están implícitos en los algoritmos
5.24)
constructivos y de poda, por ejemplo, la construcción de redes secuenciales capa por capa
Se han propuesto numerosas mejoras del descenso más pronunciado a través de BP
(por ejemplo, Ash, 1989; Burgess, 1994; Fahlman, 1991; Fritzke, 1994; Gallant, 1988 ;
(Sección 5.5) . Métodos de mínimos cuadrados (Gauss–Newton, Levenberg–Marquardt)
Honavar) . & Uhr, 1988, 1993; Ivakhnenko, 1968, 1971; Moody, 1989; Parekh, Yang, &
(Gauss, 1809; Levenberg, 1944; Marquardt, 1963; Newton, 1687; Schaback & Werner,
Honavar, 2000; Ring, 1991; Utgoff & Stracuzzi, 2002; Weng, Ahuja, & Huang, 1992) (ver
1992) y métodos cuasi­Newton (Broyden–Fletcher–Goldfarb–Shanno, BFGS) (Broyden et
también las Secciones 5.3 , 5.11), poda de insumos (Moody, 1992; Refenes, Zapranis y
al., 1965; Fletcher & Powell, 1963; Goldfarb, 1970; Shanno, 1970) son computacionalmente
Francis, 1994), poda unitaria (p. ej., Ivakhnenko, 1968, 1971; Levin, Leen y Moody, 1994;
demasiado costosos para NN grandes. La BFGS parcial (Battiti, 1992; Saito y Nakano,
Mozer y Smolensky, 1989; White, 1989 ), poda de peso, por ejemplo, daño cerebral óptimo
1997) y el gradiente conjugado (Hestenes y Stiefel, 1952; Møller, 1993) , así como otros
(LeCun, Denker y Solla, 1990) y neurocirujano óptimo (Hassibi y Stork, 1993).
métodos (Cauwenberghs, 1993; Schmidhuber, 1989a; Solla, 1988) , proporcionan
alternativas rápidas a veces útiles. . BP puede tratarse como un problema lineal de mínimos
cuadrados (Biegler­König y Bärmann, 1993), donde la información del gradiente de segundo
orden se devuelve a las capas precedentes.

Un enfoque muy general, pero no siempre práctico, para descubrir búsquedas de SL

NN o RL NN de baja complejidad entre programas de computación matricial de peso
Para acelerar la BP, se introdujo el impulso (Rumelhart et al., 1986), se agregaron
escritos en un lenguaje de programación universal, con un sesgo hacia programas rápidos
constantes ad­hoc a la pendiente de la función de activación linealizada (Fahlman, 1988),
y cortos (Schmidhu­ber, 1997) ( Sección 6.7).
o se exageró la no linealidad de la pendiente (West & Saad, 1995).

La búsqueda mínima plana (FMS) (Hochreiter y Schmidhuber, 1997a, 1999) busca un

Solo los signos de las derivadas del error son tenidos en cuenta por la exitosa y
mínimo "plano" de la función de error: una gran región conectada en el espacio de peso
ampliamente utilizada variante de BP R­prop (Riedmiller & Braun, 1993) y la variación
donde el error es bajo y permanece aproximadamente constante, es decir, unos pocos bits.
robusta iRprop+ (Igel & Hüsken, 2003), que también se aplicó con éxito a los RNN.
Se requiere mucha información para describir pesos de baja precisión con alta variación.

El gradiente local puede normalizarse basándose en la arquitectura NN (Schraudolph

Compare las condiciones de tolerancia a la perturbación (Bishop, 1993; Carter, Rudolph y
& Sejnowski, 1996), a través de un enfoque hessiano diagonalizado (Becker & Le Cun,
Nucci, 1990; Hanson, 1990; Kerlirzin y Vallet, 1993; Matsuoka, 1992; Minai y Williams,
1989), o métodos eficientes relacionados (Schraudolph, 2002).
1994; Murray y Edwards, 1993; Neti, Schneider y Young , 1992). Un argumento bayesiano
basado en MDL sugiere que los mínimos planos corresponden a NN "simples" y a un
Algunos algoritmos para controlar el tamaño del paso de la PA adaptan una tasa de
sobreajuste esperado bajo. Compare la Sección 5.6.4 y los desarrollos más recientes
aprendizaje global (Battiti, 1989; Lapedes y Farber, 1986; LeCun, Simard y Pearlmutter,
mencionados en la Sección 5.24.
1993; Vogl, Mangis, Rigler, Zink y Alkon, 1988; Yu, Chen y Cheng, 1995), mientras que
otros calculan tasas de aprendizaje individuales para cada peso (Jacobs, 1988; Silva y
Almeida, 1990). En el aprendizaje en línea, donde se aplica BP después de cada
5.6.4. Beneficios potenciales de UL para SL (compárese las Secciones 5.7, 5.10, 5.15)
presentación de patrón, el algoritmo vario­η (Neuneier & Zimmermann, 1996) establece la
La notación de la Sección 2 introdujo etiquetas dadas por el maestro dt .
tasa de aprendizaje de cada peso de manera inversamente proporcional a la desviación
Sin embargo, muchos artículos del milenio anterior trataban del aprendizaje no supervisado
estándar empírica de su gradiente local, normalizando así las stochas. ­tic fluctuaciones
(UL) sin profesor (por ejemplo, Atick, Li y Redlich, 1992; Baldi y Hornik, 1989; Barlow,
de peso. Compare un método local de adaptación del tamaño de paso en línea para NN
Kaushal y Mitchison, 1989; Barrow, 1987; Deco y Parra, 1997; Field, 1987; Földiák, 1990;
no lineales (Almeida, Almeida, Langlois, Amaral y Redol, 1997).
Földiák y Young, 1995; Grossberg, 1976a, 1976b; Hebb, 1949; Kohonen, 1972, 1982, 1988;
Kosko, 1990; Martinetz, Ritter y Schulten, 1990 ; Miller, 1994; Mozer, 1991; Oja, 1989;
Palm, 1992; Pearlmutter & Hinton, 1986; Ritter & Kohonen, 1989; Rubner & Schulten, 1990;
Se han descrito muchos trucos adicionales para mejorar las NN (p. ej., Montavon, Orr
Sanger, 1989; Saund, 1994; von der Malsburg, 1973; Watanabe , 1985; Willshaw y von der
y Müller, 2012; Orr y Müller, 1998). Compare la Sección 5.6.3 y los desarrollos recientes
Malsburg, 1976); véase también el trabajo posterior a 2000 (p. ej., Carreira­Perpinan, 2001;
mencionados en la Sección 5.24.
Franzius, Sprekeler y Wiskott, 2007; Waydo y Koch, 2008; Wiskott y Sejnowski, 2002).

5.6.3. Búsqueda de NN simples, de baja complejidad y que resuelvan problemas (Sección

5.24)
Muchos investigadores utilizaron métodos similares a los de BP para buscar NN
"simples" y de baja complejidad (Sección 4.4) con alta capacidad de generalización. La
mayoría de los enfoques abordan el dilema sesgo/varianza (Geman, Bienenstock y Doursat,
1992) mediante supuestos previos sólidos.
Por ejemplo, la disminución del peso (Hanson y Pratt, 1989; Krogh y Hertz, 1992; Weigend,
Rumelhart y Huberman, 1991) fomenta pesos cercanos a cero, al penalizar los pesos
grandes. En un marco bayesiano (Bayes, 1763), la caída del peso se puede derivar
(Hinton y van Camp, 1993) a partir de valores a priori gaussianos o laplacianos (Gauss,
1809; Laplace, 1774); véase también Murray y Edwards (1993). Una extensión de este
enfoque postula que una distribución de redes con muchos pesos similares generadas
por mezclas gaussianas es "mejor" a priori (Nowlan y Hinton, 1992).
Muchos métodos de UL están diseñados para maximizar objetivos relacionados con la
entropía y la teoría de la información (Boltzmann, 1909; Kullback y Leibler, 1951; Shannon,
1948) (por ejemplo, Amari, Cichocki y Yang, 1996; Barlow et al., 1989; Dayan y Zemel) . ,
1995; Deco&Parra, 1997; Field, 1994; Hinton, Dayan, Frey y Neal, 1995; Linsker, 1988;
MacKay y Miller, 1990; Plumbley, 1991; Redlich, 1993; Schmidhuber, 1992b, 1992c;
Schraudolph y Sejnowski, 1993; Zemel, 1993; Zemel y Hinton, 1994).
Muchos hacen esto para descubrir y desenredar fuentes de señales subyacentes
ocultas (por ejemplo, Andrade, Chacón, Merelo y Moran, 1993; Bell y Sejnowski, 1995;
Belouchrani, Abed­Meraim, Cardoso y Moulines, 1997; Cardoso ). , 1994; Comon, 1994;
Hyvärinen,
Machine Translated by Google
J. Schmidhuber / Redes neuronales 61 (2015) 85–117
Karhunen y Oja, 2001; Jutten y Hérault, 1991; Karhunen y Joutsensalo, 1995;
Molgedey y Schuster, 1994; Schuster, 1992; Shan y Cottrell, 2014; Shan, Zhang y
Cottrell, 2007; Szabó, Póczos y Lőrincz, 2006).
Muchos métodos de UL generan de forma automática y robusta representaciones
dispersas y distribuidas de patrones de entrada (Falconbridge, Stamps y Badcock,
2006; Földiák, 1990; Hinton y Ghahramani, 1997; Hochreiter y Schmidhuber, 1999;
Hyvärinen, Hoyer y Oja, 1999 ; Lewicki & Olshausen, 1998) a través de detectores de
características bien conocidos (p. ej., Olshausen & Field, 1996; Schmidhuber,
Eldracher, & Foltin, 1996), tales como estructuras de tipo envolvente descentradas ,
así como detectores de bordes sensibles a la orientación y filtros Gabor (Gabor, 1946).
Extraen características simples relacionadas con las observadas en las primeras
etapas de preprocesamiento visual de los sistemas biológicos (por ejemplo, De Valois,
Albrecht y Thorell, 1982; Jones y Palmer, 1987).
UL también puede servir para extraer características invariantes de diferentes
elementos de datos (por ejemplo, Becker, 1991) a través de NN acoplados que
observan dos entradas diferentes (Schmidhuber y Prelinger, 1992), también llamados
NN siameses (por ejemplo, Bromley et al., 1993; Chen y Salman, 2011; Hadsell,
Chopra y LeCun, 2006; Taylor, Spiro, Bregler y Fergus, 2011).
UL puede ayudar a codificar los datos de entrada en una forma ventajosa para su
posterior procesamiento. En el contexto de DL, un objetivo importante de UL es la
reducción de la redundancia. Idealmente, dado un conjunto de patrones de entrada, la
reducción de redundancia a través de una NN profunda creará un código factorial (un
código con componentes estadísticamente independientes) del conjunto (Barlow, 1989;
Barlow et al., 1989), para desenredar los factores desconocidos de variación
(compárese con Bengio et al., 2013).
Dichos códigos pueden ser escasos y pueden resultar ventajosos para (1) la
compresión de datos, (2) acelerar la BP posterior (Becker, 1991), (3) trivializar la tarea
de los clasificadores Bayes posteriores, ingenuos pero óptimos (Schmidhuber et al.,
1996). .
La mayoría de los primeros UL FNN tenían una sola capa. Los métodos para UL
FNN más profundos incluyen mapas de Kohonen autoorganizados jerárquicos (Sección
4.3) (p. ej., Dittenbach, Merkl y Rauber, 2000; Koikkalainen y Oja, 1990; Lampinen y
Oja, 1992; Rauber, Merkl y Dittenbach, 2002; Versino & Gambardella, 1996), redes
jerárquicas de funciones potenciales gaussianas (Lee & Kil, 1991), UL por capas de
jerarquías de características alimentadas en clasificadores SL (Behnke, 1999, 2003a),
el algoritmo de árbol autoorganizado (SOTA) (Herrero, Valencia, & Dopazo, 2001), y
Autoencoders (AE) no lineales con más de 3 (p. ej., 5) capas (DeMers & Cottrell, 1993;
Kramer, 1991; Oja, 1991). Estos AE NN (Rumelhart et al., 1986) pueden entrenarse
para mapear patrones de entrada a sí mismos, por ejemplo, codificándolos de forma
compacta a través de activaciones de unidades de una capa oculta de cuello de botella
estrecho. Ciertos EA no lineales adolecen de ciertas limitaciones (Baldi, 2012).
Lococode (Hochreiter & Schmidhuber, 1999) utiliza FMS (Sección 5.6.3) para
encontrar EA de baja complejidad con pesos de baja precisión que se pueden describir
con unos pocos bits de información, lo que a menudo produce códigos dispersos o
factoriales. La Minimización de la Previsibilidad (PM) (Schmidhuber, 1992c) busca
códigos factoriales a través de detectores de características no lineales que luchan
contra los predictores no lineales, tratando de volverse lo más informativos e
impredecibles posible. El UL basado en PM se aplicó no sólo a las FNN sino también
a las RNN (por ejemplo, Lindstädt, 1993; Schmidhuber, 1993b). Compare la Sección
5.10 sobre pilas de RNN basadas en UL (1991), así como también las RNN de UL
posteriores (por ejemplo, Klapper­Rybicka, Schraudolph y Schmidhuber, 2001; Steil,
2007).
5.7. 1987: UL a través de jerarquías de Autoencoder (AE) (compárese con la Sección
5.15)
Quizás el primer trabajo para estudiar los beneficios potenciales del
preentrenamiento basado en UL se publicó en 1987. Propuso jerarquías de AE no
supervisadas (Ballard, 1987), estrechamente relacionadas con ciertos aprendizajes
profundos de avance posterior al 2000 basados en UL (Sección 5.15). El AE NN de
nivel más bajo con una única capa oculta está entrenado para mapear la entrada
93
patrones a sí mismos. Sus códigos de capa oculta luego se introducen en un AE de
nivel superior del mismo tipo, y así sucesivamente. La esperanza es que los códigos
en las capas ocultas de AE tengan propiedades que faciliten el aprendizaje posterior.
En un experimento, se utilizó un algoritmo de aprendizaje específico de AE (diferente
del BP tradicional de la Sección 5.5.1) para aprender un mapeo en una pila de AE
previamente entrenada por este tipo de UL (Ballard, 1987). Esto fue más rápido que
aprender un mapeo equivalente por parte de BP a través de un único AE más profundo
sin entrenamiento previo. Por otro lado, la tarea realmente no requirió un AE profundo,
es decir, los beneficios de UL no fueron tan obvios en este experimento. Compare una
encuesta anterior (Hinton, 1989) y la Memoria autoasociativa recursiva (RAAM), algo
relacionada
(Melnik, Levy y Pollack, 2000; Pollack, 1988, 1990), utilizado originalmente para
codificar estructuras lingüísticas secuenciales de tamaño arbitrario a través de un
número fijo de unidades ocultas. Más recientemente, los RAAM también se utilizaron
como preprocesadores no supervisados para facilitar la asignación de créditos
profundos para RL (Gisslen, Luciw, Graziano y Schmidhuber, 2011) (Sección 6.4).
En principio, muchos métodos UL (Sección 5.6.4) podrían apilarse como los AE
anteriores, los RNN que comprime el historial de la Sección 5.10, las Máquinas de
Boltzmann restringidas (RBM) de la Sección 5.15 o las redes Kohonen jerárquicas
(Sección 5.6.4). , para facilitar el SL posterior. Compare la generalización apilada (Ting
y Witten, 1997; Wolpert, 1992) y las FNN que se benefician del entrenamiento previo
mediante UL competitivos (p. ej., Rumelhart y Zipser, 1986) antes del ajuste fino
basado en BP (Maclin y Shavlik, 1995) . Véanse también los métodos más recientes
que utilizan UL para mejorar el SL posterior (p. ej., Behnke, 1999, 2003a; Escalante­B
y Wiskott, 2013).
5.8. 1989: BP para NN convolucionales (CNN, Sección 5.4)
En 1989, se aplicó la propagación hacia atrás (Sección 5.5) (LeCun et al., 1989;
LeCun, Boser, et al., 1990; LeCun, Bottou, Bengio y Haffner, 1998) a convoluciones
similares a Neocognitron, de peso compartido. capas neuronales funcionales (Sección
5.4) con conexiones adaptativas. Esta combinación, aumentada por Max­Pooling (MP,
Secciones 5.11, 5.16) y acelerada en las tarjetas gráficas (Sección 5.19), se ha
convertido en un ingrediente esencial de muchos Deep Learners visuales, ganadores
de competencias y modernos. (Secciones 5.19 a 5.23). Este trabajo también introdujo
el conjunto de datos MNIST de dígitos escritos a mano (LeCun et al., 1989), que con
el tiempo se ha convertido quizás en el punto de referencia más famoso del aprendizaje
automático. Las CNN ayudaron a lograr un buen rendimiento en MNIST (LeCun,
Boser, et al., 1990) (profundidad de CAP 5) y en el reconocimiento de huellas
dactilares (Baldi y Chauvin, 1993); En la década de 1990 se utilizaron comercialmente
CNN similares.
5.9. 1991: Problema fundamental de aprendizaje profundo del descenso de gradiente
Una tesis de diploma (Hochreiter, 1991) representó un hito en la investigación
explícita de EAD. Como se mencionó en la Sección 5.6, a fines de la década de 1980,
los experimentos habían indicado que las redes tradicionales de retroalimentación
profunda o recurrentes son difíciles de entrenar mediante retropropagación (BP)
(Sección 5.5). El trabajo de Hochreiter identificó formalmente una razón importante: las
NN profundas típicas sufren el ahora famoso problema de gradientes que desaparecen
o explotan. Con las funciones de activación estándar (Sección 1), las señales de error
acumuladas retropropagadas (Sección 5.5.1) se reducen rápidamente o crecen fuera
de los límites. De hecho, decaen exponencialmente en el número de capas o en la
profundidad del CAP (Sección 3), o explotan. Esto también se conoce como el
problema del retraso prolongado. Gran parte de las investigaciones posteriores sobre
DL de las décadas de 1990 y 2000 estuvieron motivadas por esta idea. Trabajos
posteriores (Bengio et al., 1994) también estudiaron las cuencas de atracción y su
estabilidad bajo ruido desde el punto de vista de los sistemas dinámicos: o la dinámica
no es robusta al ruido o los gradientes desaparecen. Véanse también Hochreiter,
Bengio, Frasconi y Schmidhuber (2001) y Tiňo y Hammer (2004). A lo largo de los
años, se exploraron varias formas de superar parcialmente el problema fundamental
del aprendizaje profundo :
Machine Translated by Google
94 J. Schmidhuber / Redes neuronales 61 (2015) 85–117
I. Un alumno muy profundo de 1991 (el compresor de historia,
Sección 5.10) alivia el problema mediante operaciones no supervisadas.
entrenamiento previo para una jerarquía de RNN. Esto facilita enormemente la
posterior asignación de crédito supervisado a través de BP (Sección 5.5).
En el caso de FNN, se pueden lograr efectos similares a través de pilas de AE
conceptualmente relacionadas (Secciones 5.7, 5.15) y Creencia Profunda.
Redes (DBN, Sección 5.15).
II. Las redes tipo LSTM (Secciones 5.13, 5.16, 5.17, 5.21–5.23) alivian el problema a
través de una arquitectura especial que no se ve afectada por
él.
III. Las computadoras actuales basadas en GPU tienen un millón de veces la potencia
computacional de las máquinas de escritorio de principios de los años 1990. Este
permite propagar errores algunas capas más abajo dentro
plazo razonable, incluso en las NN tradicionales (Sección 5.18). Eso es
básicamente lo que está ganando muchos de los concursos de reconocimiento de
imágenes ahora (Secciones 5.19, 5.21, 5.22). (Aunque esto no
realmente no supera el problema de una manera fundamental.)
IV. La optimización sin arpillera (Sección 5.6.2) puede aliviar el
problema para las FNN (Martens, 2010; Møller, 1993; Pearlmutter,
1994; Schraudolph, 2002) (Sección 5.6.2) y RNN (Martens &
Sutskever, 2011) (Sección 5.20).
V. El espacio de matrices de peso NN también se puede buscar sin
confiando en gradientes de error, evitando así el Fundamental Deep
Problema de aprendizaje por completo. La estimación aleatoria del peso a veces
funciona mejor que métodos más sofisticados (Hochre­iter y Schmidhuber, 1996).
Ciertos problemas más complejos
se resuelven mejor utilizando la búsqueda universal (Levin, 1973b) para
programas de computación matricial de peso escritos en un lenguaje de
programación universal (Schmidhuber, 1997). algunos son mejores
resuelto utilizando métodos lineales para obtener pesos óptimos para
conexiones con eventos de salida (Sección 2) y pesos en evolución
de conexiones con otros eventos: esto se llama Evolino (Schmid­huber, Wierstra,
Gagliolo y Gomez, 2007). Compare también los RNN relacionados previamente
entrenados por ciertas reglas de UL (Steil, 2007), también en
el caso de las neuronas con picos (Klampfl & Maass, 2013; Yin, Meng,
& Jin, 2012) (Sección 5.26). Los métodos de búsqueda directa son relevantes
no sólo para SL sino también para RL más general, y se discuten
con más detalle en la Sección 6.6.
5.10. 1991: compresión del historial basada en UL a través de una pila profunda de
RNN
Un estudiante muy profundo que trabaja (Sección 3) de 1991 (Schmidhuber,
1992b, 2013a) podría realizar asignaciones de crédito en cientos
de operadores no lineales o capas neuronales, mediante el uso de entrenamiento previo
no supervisado para una jerarquía de RNN.
La idea básica sigue siendo relevante hoy. Cada RNN está capacitado para un
mientras que de manera no supervisada para predecir su siguiente entrada (por ejemplo,
Connor, Martin y Atlas, 1994; Dorffner, 1996). A partir de entonces, sólo las entradas
inesperadas (errores) transmiten nueva información y se transmiten a
el siguiente RNN superior que, por lo tanto, funciona con un sistema más lento y autoorganizado
escala de tiempo. Se puede demostrar fácilmente que no se pierde ninguna información.
Simplemente se comprime (gran parte del aprendizaje automático es esencialmente
sobre compresión, por ejemplo, Secciones 4.4, 5.6.3, 6.7). Para cada secuencia de
entrada individual, obtenemos una serie de codificaciones cada vez menos redundantes
en niveles cada vez más profundos de este compresor de historial o
Neural Sequence Chunker, que puede comprimir datos en ambos espacios
(como NN feedforward) y el tiempo. Este es otro buen ejemplo.
del aprendizaje de representación jerárquica (Sección 4.3). Ahi tambien
es una variante continua del compresor histórico (Schmidhuber,
Mozer y Prelinger, 1993).
La pila RNN es esencialmente un modelo generativo profundo de datos,
que se puede reconstruir a partir de su forma comprimida. Añadiendo
otro RNN a la pila mejora un límite en la longitud de descripción de los datos, equivalente
al logaritmo negativo de su probabilidad (Huffman, 1952; Shannon, 1948) , siempre que
quede resto.
previsibilidad local que se puede aprender en la representación de datos en el nivel
correspondiente de la jerarquía. Comparar una observación similar
para redes de creencias profundas de avance (DBN, 2006, sección 5.15).
El sistema pudo aprender muchos datos que antes no se podían aprender.
Tareas de DL. Un antiguo experimento ilustrativo de DL (Schmidhuber,
1993b) requería CAP (Sección 3) de profundidad 1200. El código de nivel superior
Sin embargo, la pila RNN inicialmente no supervisada se volvió tan compacta
esa clasificación de secuencia (anteriormente inviable) a través de SL adicional basada
en BP se hizo posible. Básicamente, el sistema utilizaba UL.
para reducir en gran medida la profundidad del problema. Compare el ajuste fino anterior
de NN basado en BP inicializado por reglas de lógica proposicional (Shavlik &
Towell, 1989) (Sección 5.6.1).
Hay una manera de comprimir niveles superiores hacia niveles inferiores.
niveles, colapsando así total o parcialmente la pila RNN. El truco es
volver a entrenar un RNN de nivel inferior para imitar (predecir) continuamente el
unidades ocultas de un RNN ya entrenado, más lento y de mayor nivel (el
fragmentador "consciente" ), a través de neuronas de salida predictivas adicionales
(Schmidhuber, 1992b). Esto ayuda al RNN inferior (el automatizador) a desarrollar
recuerdos apropiados, que rara vez cambian y que pueden
puente con retrasos muy largos. Nuevamente, este procedimiento puede reducir en gran medida
la profundidad requerida del proceso BP.
El sistema de 1991 era un aprendizaje profundo funcional en el mundo moderno.
sentido posterior al 2000, y también una primera Memoria Temporal Jerárquica Neural
(HTM). Es conceptualmente similar a las jerarquías AE anteriores (1987,
Sección 5.7) y posteriormente Deep Belief Networks (2006, Sección 5.15),
pero más general en el sentido de que utiliza procesamiento de secuencias
RNN en lugar de FNN con entradas invariables. Más recientemente, empresarios de
renombre (Hawkins & George, 2006; Kurzweil, 2012)
También me interesé en los HTM; comparar también HMM jerárquicos
(p. ej., Fine, Singer y Tishby, 1998), así como sistemas posteriores de alquiler recurrente
basados en UL (Klampfl y Maass, 2013; Klapper­Rybicka et al., 2001;
Steil, 2007; Young, Davis, Mishtal y Arel, 2014). RNN mecánicos
(Koutník, Greff, Gomez y Schmidhuber, 2014) también constan de módulos RNN que
interactúan con diferentes velocidades de reloj, pero no utilizan
UL para establecer esas tarifas. Se utilizaron pilas de RNN en trabajos posteriores en SL
con gran éxito, por ejemplo, las Secciones 5.13, 5.16, 5.17, 5.22.
5.11. 1992: Max­Pooling (MP): hacia MPCNN (comparar Secciones
5.16, 5.19)
El Neocognitron (Sección 5.4) inspiró el Cresceptron (Weng
et al., 1992), que adapta su topología durante el entrenamiento (Sección 5.6.3); comparar
el crecimiento y la contracción incrementales
Redes GMDH (1965, Sección 5.3).
En lugar de utilizar métodos alternativos de submuestreo local o WTA (por ejemplo,
Fukushima, 1980, 2013a; Maass, 2000; Schmidhuber,
1989b), Cresceptron utiliza capas Max­Pooling (MP). Aquí un 2­
La capa dimensional o conjunto de activaciones unitarias se divide en
conjuntos rectangulares más pequeños. Cada uno se reemplaza en una reducción de resolución.
capa por la activación de su unidad máximamente activa. Un después, más
versión compleja del Cresceptron (Weng, Ahuja y Huang, 1997)
También se incluyeron capas "difuminadas" para mejorar la tolerancia a la ubicación de objetos.
ance.
La topología neurofisiológicamente plausible del feedforward
El modelo HMAX (Riesenhuber & Poggio, 1999) es muy similar al
uno del Cresceptron de 1992 (y por lo tanto al Neocognitron de 1979).
Sin embargo, HMAX no aprende. Sus unidades cuentan con pesas artesanales;
Posteriormente se propusieron reglas de aprendizaje biológicamente plausibles para
modelos (por ejemplo, Serre, Riesenhuber, Louie y Poggio, 2002; Teichmann,
Wiltschut y Hamker, 2012).
Cuando se combinan CNN o convnets (Secciones 5.4, 5.8)
con MP, se convierten en MPCNN similares a Cresceptron o HMAX
con capas alternas convolucionales y de agrupación máxima. A diferencia de
Cresceptron y HMAX, sin embargo, los MPCNN están entrenados por BP
(Secciones 5.5, 5.16) (Ranzato, Huang, Boureau y LeCun, 2007).
Las ventajas de hacer esto se señalaron posteriormente (Scherer,
Müller y Behnke, 2010). Los MPCNN capacitados por BP se han vuelto centrales
para muchos modernos, ganadores de competencia, de avance visual y profundos.
Estudiantes (Secciones 5.17, 5.19–5.23).
Machine Translated by Google
J. Schmidhuber / Redes neuronales 61 (2015) 85–117
5.12. 1994: primeros NN ganadores del concurso
En la década de 1990, algunos NN ya ganaron ciertos concursos controlados de
reconocimiento de patrones con conjuntos de pruebas secretos. En particular, un NN con
líneas de retardo internas ganó la competencia de series temporales de Santa Fe sobre
pulsaciones de intensidad caótica de un láser NH3 (Wan, 1994; Weigend & Gershenfeld,
1993). Sin embargo, no se necesitaban PAC muy profundos (Sección 3).
5.13. 1995: aprendizaje muy profundo recurrente supervisado (LSTM RNN)
Los RNN de memoria supervisada a largo plazo y corto plazo (LSTM) (Gers,
Schmidhuber y Cummins, 2000; Hochreiter y Schmidhuber, 1997b; Pérez­Ortiz, Gers, Eck
y Schmidhuber, 2003) eventualmente podrían realizar hazañas similares a las de la
jerarquía RNN profunda de 1991 (Sección 5.10), superando el problema fundamental del
aprendizaje profundo (Sección 5.9) sin ningún entrenamiento previo no supervisado. LSTM
también podría aprender tareas de DL sin previsibilidad de secuencia local (y, por lo tanto,
imposibles de aprender por el History Compressor de 1991 parcialmente no supervisado,
Sección 5.10), que se ocupa de problemas muy profundos (Sección 3) (por ejemplo, Gers,
Schraudolph y Schmidhuber, 2002).
La idea básica de LSTM es muy simple. Algunas de las unidades se denominan
carruseles de errores constantes (CEC). Cada CEC utiliza como función de activación f ,
la función de identidad, y tiene una conexión consigo misma con un peso fijo de 1,0.
Debido a la derivada constante de 1.0 de f , los errores propagados hacia atrás a través
de una CEC no pueden desaparecer ni explotar (Sección 5.9) , sino que permanecen
como están (a menos que “fluyan fuera” de la CEC a otras partes , típicamente
adaptativas ). de la NN). Los CEC están conectados a varias unidades adaptativas no
lineales (algunas con funciones de activación multiplicativas) necesarias para aprender
comportamientos no lineales. Los cambios de peso de estas unidades a menudo se
benefician de señales de error propagadas en el tiempo a través de los CEC. Los CEC
son la razón principal por la que las redes LSTM pueden aprender a descubrir la
importancia de (y memorizar) eventos que ocurrieron hace miles de pasos de tiempo
discretos, mientras que los RNN anteriores ya fallaron en caso de retrasos de tiempo
mínimos de 10 pasos.
Se permiten muchas variantes y topologías de LSTM diferentes. Es posible desarrollar
buenas topologías específicas para cada problema (Bayer, Wierstra, Togelius y
Schmidhuber, 2009). Algunas variantes de LSTM también utilizan autoconexiones
modificables de CEC (Gers y Schmidhuber, 2001).
Hasta cierto punto, LSTM es biológicamente plausible (O'Reilly, 2003). LSTM aprendió
a resolver muchas tareas de DL que antes no se podían aprender y que implicaban:
Reconocimiento del orden temporal de eventos muy separados en flujos de entrada
ruidosos; Almacenamiento sólido de números reales de alta precisión en intervalos de
tiempo prolongados; Operaciones aritméticas en flujos de entrada continuos; Extracción
de información transmitida por la distancia temporal entre eventos; Reconocimiento de
patrones temporalmente extendidos en secuencias de entrada ruidosas (Gers et al., 2000;
Hochreiter & Schmidhuber, 1997b); Generación estable de ritmos sincronizados con
precisión, así como trayectorias periódicas suaves y no suaves (Gers & Schmidhuber,
2000). LSTM claramente superó a los RNN anteriores en tareas que requieren aprender
las reglas de lenguajes regulares descriptibles por autómatas de estado finito (FSA)
deterministas (Blair & Pollack, 1997; Casey, 1996; Kalinke & Lehmann, 1998; Manolios &
Fanelli, 1994; Omlin & Giles , 1996; Siegelmann, 1992; Vahed & Omlin, 2004; Watrous &
Kuhn, 1992; Zeng, Goodman, & Smyth, 1994), tanto en términos de confiabilidad como de
velocidad.
LSTM también trabajó en tareas que involucran lenguajes libres de contexto (CFL)
que no pueden ser representados por HMM o FSA similares discutidos en la literatura de
RNN (Andrews, Diederich y Tickle, 1995; Rodríguez y Wiles, 1998; Rodríguez, Wiles y
Elman, 1999 ; Steijvers y Grunwald, 1996; Sun, Giles, Chen y Lee, 1993; Tonkes y Wiles,
1997; Wiles y Elman, 1995). El reconocimiento CFL (Lee, 1996) requiere el equivalente
funcional de una pila de tiempo de ejecución.
Algunos RNN anteriores no pudieron aprender pequeños conjuntos de entrenamiento CFL
95
(Rodríguez y Wiles, 1998). Aquellos que no lo hicieron (Bodén y Wiles, 2000; Rodríguez
et al., 1999) no lograron extraer las reglas generales y no generalizaron bien en conjuntos
de pruebas sustancialmente más grandes. Similar para los lenguajes sensibles al contexto
(CSL) (p. ej., Chalup y Blair, 2003).
Sin embargo, LSTM se generalizó bien y requirió solo los 30 ejemplos más cortos (n ≤ 10)
nnc _
de CSL a para predecir correctamente las posiblesbcontinuaciones de prefijos de secuencia
norte
para n hasta 1000 y más. Una combinación de un filtro de Kalman extendido desacoplado
(Feldkamp, Prokhorov, Eagen y Yuan, 1998; Feldkamp, Prokhorov y Feldkamp, 2003;
Haykin, 2001; Kalman, 1960; Puskorius y Feldkamp, 1994; Williams, 1992b) y un LSTM
RNN (Pérez­Ortiz et al., 2003) aprendió a manejar correctamente valores de n hasta 10
millones y más. Es decir, después del entrenamiento, la red fue capaz de leer secuencias
de 30.000.000 de símbolos y más, un símbolo a la vez, y finalmente detectar las diferencias
sutiles entre cadenas legales como 10.000.000b 10.000.000c 10.000.000 y cadenas muy
similares pero ilegales como 10.000.000b 9.999.999c 10.000.000. Compárese también los
algoritmos RNN más recientes capaces de lidiar con retrasos prolongados (Koutník et al.,
2014; Martens & Sutskever, 2011; Schäfer, Udluft, & Zimmermann, 2006; Zimmermann,
Tietz, & Grothmann, 2012).
Los RNN bidireccionales (BRNN) (Schuster, 1999; Schuster & Paliwal, 1997) están
diseñados para secuencias de entrada cuyos inicios y finales se conocen de antemano,
como oraciones habladas que se etiquetan por sus fonemas; compárese con Fukada,
Schuster y Sagisaka (1999). Para tener en cuenta el contexto pasado y futuro de cada
elemento de la secuencia, un RNN procesa la secuencia de principio a fin y el otro hacia
atrás, de fin a inicio. En cada paso de tiempo, sus salidas combinadas predicen la etiqueta
correspondiente (si existe alguna). Los BRNN se aplicaron con éxito a la predicción de la
estructura de proteínas secundarias (Baldi, Brunak, Frasconi, Pollastri y Soda, 1999). Los
DAG­RNN (Baldi y Pollastri, 2003; Wu y Baldi, 2008) generalizan los BRNN a múltiples
dimensiones. Aprendieron a predecir propiedades de pequeñas moléculas orgánicas
(Lusci, Pollastri y Baldi, 2013) , así como mapas de contacto de proteínas (Tegge, Wang,
Eickholt y Cheng, 2009), también en conjunto con un creciente FNN profundo (Di Lena,
Nagata y Baldi, 2012) (Sección 5.21). Los BRNN y DAG­RNN despliegan todo su potencial
cuando se combinan con el concepto LSTM (Graves et al., 2009; Graves & Schmidhuber,
2005, 2009).
Particularmente exitosas en competencias recientes son las pilas (Sección 5.10) de
LSTM RNN (Fernández, Graves y Schmidhuber, 2007b; Graves y Schmidhuber, 2009)
entrenados por la Clasificación Temporal Conexionista (CTC) (Graves, Fernández,
Gómez y Schmidhu­ber, 2006), un método basado en gradientes para encontrar pesos
RNN que maximicen la probabilidad de secuencias de etiquetas dadas por el maestro,
dados flujos (normalmente mucho más largos y de mayor dimensión) de vectores de
entrada de valor real. CTC­LSTM realiza segmentación (alineación) y reconocimiento
simultáneos (Sección 5.22).
A principios de la década de 2000, el reconocimiento de voz estaba dominado por
HMM combinados con FNN (por ejemplo, Bourlard y Morgan, 1994). Sin embargo, cuando
se entrenó desde cero con expresiones de la base de datos de voz TIDIGITS, en 2003
LSTM ya obtuvo resultados comparables a los de los sistemas basados en HMM (Beringer,
Graves, Schiel y Schmidhuber, 2005; Graves, Eck, Beringer y Schmidhuber, 2003). ;
Graves et al., 2006). En 2007, LSTM superó a los HMM en tareas de detección de
palabras clave (Fernández, Graves y Schmidhuber, 2007a); compare las mejoras recientes
(Indermuhle, Frinken, Fischer y Bunke, 2011; Wöllmer, Schuller y Rigoll, 2013). En 2013,
LSTM también logró los resultados más conocidos en el famoso punto de referencia de
reconocimiento de fonemas TIMIT (Graves, Mohamed y Hinton, 2013) (Sección 5.22).
Recientemente, los híbridos LSTM RNN/HMM obtuvieron el rendimiento más conocido en
reconocimiento de voz de vocabulario medio (Geiger, Zhang, Weninger, Schuller y Rigoll,
2014) y de vocabulario amplio (Sak, Senior y Beaufays, 2014).
LSTM también es aplicable a la localización de robots (Förster, Graves y Schmidhuber,
2007), el control de robots (Mayer et al., 2008), la detección de distracciones del conductor
en línea (Wöllmer et al., 2011) y muchos
Machine Translated by Google
96 J. Schmidhuber / Redes neuronales 61 (2015) 85–117
otras tareas. Por ejemplo, ayudó a mejorar el estado del arte en diversas aplicaciones
como el análisis de proteínas (Hochreiter & Obermayer, 2005), el reconocimiento de
escritura (Bluche et al., 2014; Graves, Fernandez, Liwicki, Bunke, & Schmidhuber,
2008; Graves et al., 2009; Graves & Schmidhuber, 2009), detección de actividad de
voz (Eyben, Weninger, Squartini, & Schuller, 2013), reconocimiento óptico de
caracteres (Breuel, Ul­Hasan, Al­Azawi, & Shafait , 2013), identificación del lenguaje
(Gonzalez­Dominguez, Lopez­Moreno, Sak, Gonzalez­Rodriguez, & Moreno, 2014),
predicción del contorno de la prosodia (Fernandez, Rendel, Ramabhadran, & Hoory,
2014), detección del inicio del audio (Marchi et al., 2014), síntesis de texto a voz
(Fan, Qian, Xie, & Soong, 2014), clasificación de señales sociales (Brueckner &
Schul­ter, 2014), traducción automática (Sutskever, Vinyals,&Le, 2014) , y otros.
Los RNN también se pueden utilizar para el metaaprendizaje (Prokhorov,
Feldkamp y Tyukin, 2002; Schaul y Schmidhuber, 2010; Schmidhuber, 1987), porque
en principio pueden aprender a ejecutar su propio algoritmo de cambio de peso
(Schmidhuber, 1993a). Un metalearner exitoso (Hochreiter, Younger y Conwell,
2001) utilizó un LSTM RNN para aprender rápidamente un algoritmo de aprendizaje
para funciones cuadráticas (compárese con la Sección 6.8).
Recientemente, los RNN de LSTM ganaron varios concursos internacionales
de reconocimiento de patrones y establecieron numerosos récords de referencia en
conjuntos de datos grandes y complejos, por ejemplo, las Secciones 5.17, 5.21,
5.22. Sin embargo, el LSTM basado en gradientes no es una panacea; a veces,
otros métodos lo superaron al menos en ciertas tareas (Jaeger, 2004; Koutník et al.,
2014; Martens & Sutskever, 2011; Pascanu, Mikolov, & Bengio, 2013; Schmidhuber
et otros, 2007); compárese con la Sección 5.20.
5.14. 2003: más NN ganadoras de concursos/que establecen récords; NN profundas
exitosas
Alrededor de la década de 2000, muchas aplicaciones prácticas y comerciales
de reconocimiento de patrones estaban dominadas por métodos de aprendizaje
automático no neuronal, como las máquinas de vectores de soporte (SVM).
(Schölkopf et al., 1998; Vapnik, 1995). Sin embargo, al menos en ciertos dominios,
las NN superaron a otras técnicas.
Una NN de Bayes (Neal, 2006) basada en un conjunto (Breiman, 1996; Dietterich,
2000a; Hashem & Schmeiser, 1992; Schapire, 1990; Ueda, 2000; Wolpert, 1992) de
NN ganó el NIPS 2003 Feature Selection Challenge con secreto conjunto de prueba
(Neal y Zhang, 2006). Sin embargo, el NN no era muy profundo: tenía dos capas
ocultas y, por lo tanto, CAP bastante poco profundos (Sección 3) de profundidad 3.
Importantes para muchos reconocedores de patrones ganadores de la
competencia actual (Secciones 5.19, 5.21, 5.22) fueron los desarrollos en el
departamento de CNN. Una CNN (Secciones 5.4, 5.8 ) entrenada por BP (LeCun et
al., 1989) estableció un nuevo récord MNIST del 0,4% (Simard, Steinkraus y Platt,
2003), utilizando deformaciones del patrón de entrenamiento (Baird, 1990) pero sin
presin supervisión. ­formación (secciones 5.7, 5.10, 5.15). Un mosquitero estándar
alcanzó el 0,7% (Simard et al., 2003). Nuevamente, la profundidad correspondiente
de la PAC fue baja. Compárese con mejoras adicionales en las Secciones 5.16, 5.18,
5.19.
Se lograron buenos resultados en la interpretación de imágenes (Behnke, 2003b)
con NN bastante profundos entrenados por la variante R­prop de BP (Riedmiller &
Braun, 1993) (Sección 5.6.2); aquí la retroalimentación a través de conexiones
recurrentes ayudó a mejorar la interpretación de las imágenes.
Se utilizaron FNN con una profundidad de CAP de hasta 6 para clasificar con éxito
datos de alta dimensión (Vieira y Barradas, 2003).
Los RNN de LSTM profundos comenzaron a obtener ciertos primeros resultados
de reconocimiento de voz comparables a los de los sistemas basados en HMM
(Graves et al., 2003); compárense las Secciones 5.13, 5.16, 5.21, 5.22.
5.15. 2006/7: UL para redes de creencia profunda/pilas AE ajustadas por BP
Si bien las redes de aprendizaje con numerosas capas no lineales se remontan
al menos a 1965 (Sección 5.3), y la investigación explícita de DL
Los resultados se han publicado al menos desde 1991 (Secciones 5.9, 5.10), la
expresión Aprendizaje Profundo en realidad se acuñó alrededor de 2006, cuando el
entrenamiento previo no supervisado de FNN profundos ayudó a acelerar el SL
posterior hasta el BP (Hinton, Osindero y Teh, 2006; Hinton y Salakhutdinov, 2006).
Compare la terminología anterior sobre la carga de redes profundas (Síma, 1994;
Windisch, 2005) y el aprendizaje de recuerdos profundos (Gómez y Schmidhuber,
2005). Compárese también el ajuste fino (Sección 5.6.1) basado en BP (Sección 5.5)
de FNN (no tan profundos) previamente entrenados por UL competitivos (Maclin y
Shavlik, 1995).
La Deep Belief Network (DBN) es una pila de Máquinas Boltzmann Restringidas
(RBM) (Smolensky, 1986), que a su vez son Máquinas Boltzmann (BM) (Hinton &
Sejnowski, 1986) con una sola capa de unidades de detección de características;
compárese también las MO de orden superior (Memisevic y Hinton, 2010). Cada
RBM percibe representaciones de patrones del nivel inferior y aprende a codificarlas
sin supervisión. Al menos en teoría, bajo ciertos supuestos, agregar más capas
mejora un límite en la probabilidad logarítmica negativa de los datos (Hinton et al.,
2006) (equivalente a la longitud de la descripción de los datos; compare la observación
correspondiente para las pilas RNN, Sección 5.10). Existen extensiones para los
RBM temporales (Sutskever, Hinton y Taylor, 2008).
Sin ninguna deformación del patrón de entrenamiento (Sección 5.14), un DBN
ajustado por BP logró una tasa de error del 1,2% (Hinton y Salakhutdinov, 2006) en
los dígitos escritos a mano del MNIST (Secciones 5.8, 5.14). Este resultado ayudó a
despertar el interés en las DBN. Los DBN también lograron buenos resultados en el
reconocimiento de fonemas, con una tasa de error del 26,7% en el conjunto de
pruebas principales de TIMIT (Mohamed & Hinton, 2010); compare mejoras
adicionales a través de FNN (Deng & Yu, 2014; Hinton, Deng, et al., 2012) y LSTM
RNN (Sección 5.22).
Una técnica basada en DBN llamada Semantic Hashing (Salakhutdinov & Hinton,
2009) asigna documentos semánticamente similares (de tamaño variable) a
direcciones cercanas en un espacio de representaciones de documentos.
Superó a buscadores anteriores de documentos similares, como Locality Sensitive
Hashing (Buhler, 2001; Datar, Immorlica, Indyk y Mirrokni, 2004). Consulte el tutorial
RBM/DBN (Fischer & Igel, 2014).
Las pilas de codificador automático (AE) (Ballard, 1987) (Sección 5.7) se
convirtieron en una forma alternativa popular de entrenar previamente FNN profundos
de manera no supervisada, antes de ajustarlos (Sección 5.6.1) a través de BP
(Sección 5.5) (Bengio, Lamblin , Popovici y Larochelle, 2007; Erhan et al., 2010;
Vincent, Hugo, Bengio y Manzagol, 2008). La codificación dispersa (Sección 5.6.4)
se formuló como una combinación de problemas de optimización convexa (Lee,
Battle, Raina y Ng, 2007). Estudios recientes sobre métodos combinados de GBR y
EA se centran en la evolución posterior a 2006 (Arel, Rose y Karnowski, 2010;
Bengio, 2009).
Las pilas DBN y AE no supervisadas son conceptualmente similares, pero en cierto
sentido menos generales, al History Compressor no supervisado basado en pilas
RNN de 1991 (Sección 5.10), que puede procesar y recodificar no solo patrones de
entrada estacionarios, sino patrones completos. secuencias.
5.16. 2006/7: CNN/GPU­CNN/BP mejorados para pilas MPCNN/LSTM
También en 2006, una CNN (Secciones 5.4, 5.8 ) entrenada por BP (LeCun et
al., 1989) estableció un nuevo récord MNIST del 0,39% (Ranzato, Poultney, Chopra
y LeCun, 2006), utilizando deformaciones del patrón de entrenamiento (Sección
5.14) pero sin entrenamiento previo sin supervisión. Compárese con mejoras
adicionales en las Secciones 5.18, 5.19. Se utilizaron CNN similares para evitar
obstáculos todoterreno (LeCun, Muller, Cosatto y Flepp, 2006). Posteriormente, una
combinación de CNN y TDNN aprendió a asignar representaciones de tamaño fijo
de oraciones de tamaño variable a características relevantes para el procesamiento
del lenguaje, utilizando una combinación de SL y UL (Collobert y Weston, 2008).
En 2006 también se produjo una implementación temprana de CNN basada en
GPU (Chellapilla, Puri y Simard, 2006) hasta 4 veces más rápida que las CPU­CNN;
compare también implementaciones anteriores de GPU de FNN estándar con un
factor de aceleración informado de 20 (Oh y Jung, 2004). GPU
Machine Translated by Google
J. Schmidhuber / Redes neuronales 61 (2015) 85–117
o las tarjetas gráficas se han vuelto cada vez más importantes para la DL en los años
siguientes (secciones 5.18 a 5.22).
En 2007, BP (Sección 5.5) se aplicó por primera vez (Ranzato et al., 2007) a MPCNN
inspirados en Neocognitron (Sección 5.4), similares a Cresceptron (o HMAX) (Sección 5.11)
con alternancia convolucional y máxima. ­agrupación de capas. Los MPCNN entrenados por
BP se han convertido en un ingrediente esencial de muchos Deep Learners visuales, de
avance, modernos, ganadores de competencias (Secciones 5.17, 5.19­5.23).
También en 2007, se introdujeron pilas jerárquicas de LSTM RNN (Fernández et al.,
2007b). Pueden ser entrenados mediante la Clasificación Temporal Conexionista (CTC)
jerárquica (Graves et al., 2006). Para tareas de etiquetado de secuencia, cada nivel de LSTM
RNN (Sección 5.13) predice una secuencia de etiquetas enviadas al siguiente nivel. Las
señales de error en cada nivel se propagan hacia atrás a través de todos los niveles inferiores.
En el reconocimiento de dígitos hablados, las pilas LSTM superaron a los HMM, a pesar de
hacer menos suposiciones sobre el dominio. Las pilas LSTM no necesariamente requieren
un entrenamiento previo no supervisado como las pilas RNN anteriores basadas en UL
(Schmidhuber, 1992b) de la Sección 5.10.
5.17. 2009: primeras competiciones oficiales ganadas por RNN y con MPCNN
Las pilas de RNN de LSTM entrenados por CTC (Secciones 5.13, 5.16) se convirtieron
en los primeros RNN en ganar concursos oficiales internacionales de reconocimiento de
patrones (con conjuntos de pruebas secretos conocidos solo por los organizadores).
Más precisamente, tres concursos de escritura a mano conectada en IC­DAR 2009 en tres
idiomas diferentes (francés, árabe, farsi) fueron ganados por RNN de LSTM profundos sin
ningún conocimiento lingüístico a priori , realizando segmentación y reconocimiento
simultáneos. Compárese con Graves y Jaitly (2014), Graves y Schmidhuber (2005), Graves
et al. (2009), Graves et al. (2013) y Schmidhuber, Ciresan, Meier, Masci y Graves (2011)
(Sección 5.22).
Para detectar acciones humanas en vídeos de vigilancia, una CNN tridimensional (p. ej.,
Jain y Seung, 2009; Prokhorov, 2010), combinada con SVM, formaba parte de un sistema
más grande (Yang et al., 2009) que utilizaba un conjunto de funciones. enfoque (Nowak, Jurie
y Triggs, 2006) para extraer regiones de interés. El sistema ganó tres concursos TRECVID
en 2009.
Estos fueron posiblemente los primeros concursos internacionales oficiales ganados con la
ayuda de (MP)CNN (Sección 5.16). Posteriormente se publicó una versión mejorada del
método (Ji, Xu, Yang y Yu, 2013).
En 2009 también se produjo una implementación de GPU­DBN (Raina, Madhavan y Ng,
2009) órdenes de magnitud más rápida que las CPU­DBN anteriores (consulte la Sección
5.15); véase también Coates et al. (2013). El DBN convolucional (Lee, Grosse, Ranganath y
Ng, 2009) (con una variante probabilística de MP, Sección 5.11) combina ideas de CNN y
DBN y se aplicó con éxito a la clasificación de audio (Lee, Pham, Largman y Ng, 2009).
5.18. 2010: backprop simple (+ distorsiones) en GPU bate el récord MNIST
En 2010, el viejo BP (Sección 5.5) estableció un nuevo récord MNIST ( Sección 5.8 ) de
una tasa de error del 0,35% en NN profundas pero por lo demás estándar (Ciresan, Meier,
Gambardella y Schmidhuber, 2010), sin utilizar métodos previos no supervisados.
entrenamiento (por ejemplo, Secciones 5.7, 5.10, 5.15) ni convolución (por ejemplo,
Secciones 5.4, 5.8, 5.14, 5.16). Sin embargo, las deformaciones del patrón de entrenamiento
(por ejemplo, Sección 5.14) fueron importantes para generar un gran conjunto de
entrenamiento y evitar el sobreajuste. Este éxito fue posible principalmente gracias a una
implementación de GPU de BP que era hasta 50 veces más rápida que las versiones de
CPU estándar. Se obtuvo un buen valor de 0,95% sin distorsiones, excepto por pequeñas
traslaciones similares a movimientos oculares sacádicos (compárese con la Sección 5.15).
Dado que para entonces BP tenía entre 3 y 5 décadas (Sección 5.5), y las deformaciones
de patrones dos décadas (Baird, 1990) (Sección 5.14), estos resultados parecían sugerir que
los avances en la explotación del hardware informático moderno eran más importantes que
los avances en los algoritmos.
97
5.19. 2011: MPCNN en GPU logran un rendimiento de visión sobrehumano
En 2011, se describió una implementación flexible de GPU (Ciresan, Meier, Masci,
Gambardella y Schmidhuber, 2011) de CNN o Convnets de Max­Pooling (MP) (una GPU­
MPCNN), basándose en trabajos anteriores de MP (Weng et al. ., 1992) (Sección 5.11) CNN
(Fukushima, 1979; LeCun et al., 1989) (Secciones 5.4, 5.8, 5.16), y en las primeras CNN
basadas en GPU sin MP (Chellapilla et al., 2006) (Sección 5.16 ); compare las primeras
GPU­NN (Oh & Jung, 2004) y GPU­DBN (Raina et al., 2009) (Sección 5.17). Los MPCNN
tienen capas convolucionales alternas (Sección 5.4) y capas de agrupación máxima (MP,
Sección 5.11) rematadas por capas estándar completamente conectadas. Todos los pesos
son entrenados por BP (Secciones 5.5, 5.8, 5.16) (Ranzato et al., 2007; Scherer et al., 2010).
Las GPU­MPCNN se han vuelto esenciales para muchas FNN ganadoras de concursos
(Secciones 5.21, 5.22).
Los GPU­MPCNN de varias columnas (Ciresan, Meier, Masci y Schmid­huber, 2011)
son comités (Breiman, 1996; Dietterich, 2000a; Hashem y Schmeiser, 1992; Schapire, 1990;
Ueda, 2000; Wolpert, 1992) de GPU­MPCNN con promedio de salida democrático simple.
Varios MPCNN ven la misma entrada; sus vectores de salida se utilizan para asignar
probabilidades a las distintas clases posibles. La clase con la probabilidad más alta en
promedio se elige como clasificación del sistema de la entrada actual. Compárese con
métodos de conjunto anteriores y más sofisticados (Schapire, 1990), el conjunto ganador del
concurso Bayes­NN (Neal, 2006) de la Sección 5.14 y trabajos recientes relacionados
(Shao, Wu y Li, 2014).
Un conjunto de GPU­MPCNN fue el primer sistema en lograr un reconocimiento de
patrones visuales sobrehumanos (Ciresan, Meier, Masci, Schmidhuber, 2011; Ciresan, Meier,
Masci y Schmidhuber, 2012) en una competencia controlada, a saber, la señal de tráfico
IJCNN 2011. concurso de reconocimiento en San José (CA) (Stallkamp, Schlipsing, Salmen,
& Igel, 2011, 2012). Esto es de interés para los vehículos totalmente autónomos y autónomos
en el tráfico (por ejemplo, Dickmanns et al., 1994). El conjunto GPU­MPCNN obtuvo una
tasa de error del 0,56% y fue dos veces mejor que los sujetos de prueba humanos, tres
veces mejor que el competidor NN artificial más cercano (Sermanet & LeCun, 2011) y seis
veces mejor que el mejor método no neuronal.
Unos meses antes, la ronda de clasificación se ganó en una competición online de
primera fase, aunque por un margen mucho menor: 1,02% (Ciresan, Meier, Masci,
Schmidhuber, 2011) frente a 1,03% del segundo puesto (Sermanet & LeCun, 2011). .
Después de la fecha límite, los organizadores revelaron que el rendimiento humano en el set
de prueba fue del 1,19%. Es decir, los mejores métodos ya parecían humanos­competitivos.
Sin embargo, durante la clasificación fue posible obtener información incremental sobre el
conjunto de pruebas sondeándolo a través de presentaciones repetidas. Esto se ilustra con
los resultados cada vez mejores obtenidos por varios equipos a lo largo del tiempo
(Stallkamp et al., 2012) (los organizadores finalmente impusieron un límite de 10 reenvíos).
En la competición final esto no fue posible.
Esto ilustra un problema general con los puntos de referencia cuyos conjuntos de
pruebas son públicos, o al menos pueden ser probados hasta cierto punto: los equipos
competidores tienden a sobreajustarse en el conjunto de pruebas incluso cuando no se
puede utilizar directamente para entrenamiento, sólo para evaluación.
En 1997, muchos pensaron que era gran cosa que el campeón mundial de ajedrez
Kasparov fuera derrotado por una computadora IBM. Pero en aquel entonces las
computadoras no podían competir en absoluto con los niños pequeños en el reconocimiento
de patrones visuales, lo que parece mucho más difícil que el ajedrez desde una perspectiva
computacional. Por supuesto, el dominio de las señales de tráfico está muy restringido y los
niños siguen siendo mucho mejores reconocedores de patrones generales. Sin embargo, en
2011, las NN profundas ya podían aprender a rivalizar con ellas en importantes dominios
visuales limitados.
Un conjunto de GPU­MPCNN fue también el primer método para lograr un rendimiento
humano competitivo (alrededor del 0,2%) en MNIST (Ciresan, Meier y Schmidhuber, 2012a).
Esto representó una mejora espectacular, ya que para entonces el registro del MNIST había
rondado el 0,4% durante casi una década (Secciones 5.14, 5.16, 5.18).
Machine Translated by Google
98 J. Schmidhuber / Redes neuronales 61 (2015) 85–117
Dado todo el trabajo previo sobre (MP)CNN (Secciones 5.4, 5.8, 5.11, 5.16) y GPU­
CNN (Sección 5.16), las GPU­MPCNN no son un gran avance en el sentido científico.
Pero son un avance comercialmente relevante en codificación eficiente que ha marcado
la diferencia en varios concursos desde 2011. Hoy en día, la mayoría de los NN
profundos ganadores de la competencia de feedforward son (conjuntos de) GPU­
MPCNN (Secciones 5.21 a 5.23).
5.20. 2011: optimización sin arpillera para RNN
También en 2011 se demostró (Martens & Sutskever, 2011) que la optimización sin
hesse (por ejemplo, Møller, 1993; Pearlmutter, 1994; Schraudolph, 2002) (Sección
5.6.2) puede aliviar el problema fundamental del aprendizaje profundo (Sección 5.9). en
RNN, superando a los RNN de LSTM basados en gradientes estándar (Sección 5.13)
en varias tareas. Compare otros algoritmos RNN (Jaeger, 2004; Koutník et al., 2014;
Pascanu, Mikolov, et al., 2013; Schmidhuber et al., 2007) que también, al menos a
veces, arrojan mejores resultados que el descenso más pronunciado para los RNN de
LSTM.
5.21. 2012: primeros concursos ganados en ImageNet, detección de objetos,
segmentación
En 2012, un conjunto de GPU­MPCNN (Sección 5.19) logró los mejores resultados
en el punto de referencia de clasificación ImageNet (Krizhevsky, Sutskever y Hinton,
2012), que es popular en la comunidad de visión por computadora. Aquí fueron
necesarios tamaños de imagen relativamente grandes de 256 × 256 píxeles, en
comparación con los sólo 48 × 48 píxeles del concurso de señales de tráfico de 2011
(Sección 5.19). Ver más mejoras en la Sección 5.22.
También en 2012, el NN más grande hasta el momento (109 parámetros libres) se
entrenó en modo no supervisado (Secciones 5.7, 5.15) con datos sin etiquetar (Le et
al., 2012) y luego se aplicó a ImageNet. Los códigos de su capa superior se utilizaron
para entrenar un clasificador supervisado simple, que logró los mejores resultados hasta
el momento en 20.000 clases. En lugar de depender de una programación GPU
eficiente, esto se hizo mediante fuerza bruta en 1.000 máquinas estándar con 16.000
núcleos.
Entonces, en 2011/2012, los estudiantes profundos habían logrado excelentes
resultados en el reconocimiento y clasificación de imágenes (Secciones 5.19, 5.21). Sin
embargo, la comunidad de visión por computadora está especialmente interesada en la
detección de objetos en imágenes grandes, para aplicaciones como motores de
búsqueda basados en imágenes o para diagnóstico biomédico donde el objetivo puede
ser detectar automáticamente tumores, etc. en imágenes de tejido humano. La detección
de objetos presenta desafíos adicionales. Un enfoque natural es entrenar un clasificador
NN profundo en parches de imágenes grandes y luego usarlo como un detector de
características para desplazarlo a través de escenas visuales desconocidas, usando
varias rotaciones y factores de zoom.
Es probable que las partes de la imagen que producen unidades de salida altamente
activas contengan objetos similares a aquellos en los que se entrenó el NN.
En 2012 finalmente vio el primer sistema DL (un conjunto de GPU­MPCNN,
Sección 5.19) ganar un concurso sobre detección visual de objetos (Ciresan, Giusti,
Gambardella y Schmidhuber, 2013) en imágenes grandes de varios millones de píxeles
(ICPR, 2012; Roux et al., 2013).
Estas aplicaciones biomédicas pueden llegar a estar entre las aplicaciones más
importantes de la DL. El mundo gasta más del 10% del PIB en atención sanitaria (>6
billones de dólares al año), gran parte del mismo en diagnósticos médicos a través de
costosos expertos. La automatización parcial de esto no sólo podría ahorrar mucho
dinero, sino también hacer que los diagnósticos expertos sean accesibles para muchas
personas que actualmente no pueden permitírselo. Es gratificante observar que hoy en
día las NN profundas pueden ayudar a mejorar la atención sanitaria y tal vez salvar
vidas humanas.
2012 también vio el primer concurso de segmentación de imágenes pura ganado
por DL (Ciresan, Giusti, Gambardella y Schmidhuber, 2012), nuevamente a través de
un conjunto GPU­MPCNN (Segmentation of Neuronal
Structures in EM Stacks Challenge, 2012).2 Las pilas de EM son relevantes para los
enormes proyectos cerebrales recientemente aprobados en Europa y Estados Unidos
(por ejemplo, Markram, 2012). A partir de imágenes de microscopía electrónica de pilas
de rodajas finas de cerebros de animales, el objetivo es construir un modelo 3D
detallado de las neuronas y dendritas del cerebro. Pero los expertos humanos necesitan
muchas horas, días y semanas para anotar las imágenes: ¿Qué partes representan las
membranas neuronales? ¿Qué partes son antecedentes irrelevantes? Esto debe
automatizarse (p. ej., Turaga et al., 2010). Las GPU­MPCNN de múltiples columnas
profundas aprendieron a resolver esta tarea a través de la experiencia con muchas
imágenes de entrenamiento y ganaron el concurso en las tres métricas de evaluación
por un amplio margen, con un rendimiento sobrehumano en términos de error de píxeles.
Tanto la detección de objetos (Ciresan et al., 2013) como la segmentación de
imágenes (Ciresan, Giusti, et al., 2012) se benefician de escaneos rápidos de imágenes
basados en MPCNN que evitan cálculos redundantes. Los escáneres MPCNN recientes
aceleran las implementaciones ingenuas hasta en tres órdenes de magnitud (Giusti,
Ciresan, Masci, Gambardella y Schmidhu­ber, 2013; Masci, Giusti, Ciresan, Fricout y
Schmidhuber, 2013); compare métodos eficientes anteriores para CNN sin MP (Vaillant,
Monrocq y LeCun, 1994).
También en 2012, un sistema que consiste en FNN profundos en crecimiento y 2D­
BRNN (Di Lena et al., 2012) ganó el concurso CASP 2012 sobre predicción de mapas
de contacto de proteínas. En el punto de referencia IAM­OnDoDB, los RNN de LSTM
(Sección 5.13) superaron a todos los demás métodos (HMM, SVM) en la detección del
modo en línea (Indermuhle, Frinken y Bunke, 2012; Otte, Krechel, Liwicki y Dengel,
2012) y la detección de palabras clave. (Indermühle et al., 2011). En el problema del
largo retraso del modelado del lenguaje, los RNN de LSTM superaron a todos los
enfoques estadísticos en el punto de referencia IAM­DB (Frinken et al., 2012);
Posteriormente se obtuvieron mejores resultados mediante una combinación de NN y
HMM (Zamora­Martínez et al., 2014). Compare RNN anteriores para el reconocimiento
de objetos mediante interpretación iterativa de imágenes (Behnke, 2002, 2003b; Behnke
y Rojas, 1998); véanse también publicaciones más recientes (O'Reilly, Wyatte, Herd,
Mingus y Jilk, 2013; Wyatte, Curran y O'Reilly, 2012) que amplían el trabajo sobre
reglas de aprendizaje biológicamente plausibles para RNN (O'Reilly, 1996).
5.22. 2013­: más concursos y récords de referencia
Una pila (Fernández et al., 2007b; Graves & Schmidhuber, 2009)
(Sección 5.10) de RNN LSTM bidireccionales (Graves & Schmidhuber, 2005) entrenados
por CTC (Secciones 5.13, 5.17) rompieron un famoso récord de reconocimiento de voz
(fonema) TIMIT, logrando una tasa de error del conjunto de pruebas del 17,7% (Graves
et al., 2013) , a pesar de los miles de años­hombre dedicados anteriormente a la
investigación del reconocimiento de voz basada en el modelo oculto de Markov (HMM).
Compare resultados anteriores de DBN (Sección 5.15).
CTC­LSTM también ayudó a obtener la primera puntuación en la evaluación
OpenHaRT2013 del NIST (Bluche et al., 2014). Para el reconocimiento óptico de
caracteres (OCR), los RNN de LSTM superaron a los reconocedores comerciales de
datos históricos (Breuel et al., 2013). Los sistemas basados en LSTM también
establecieron récords de referencia en identificación de idiomas (González­Domínguez
et al., 2014), reconocimiento de voz de vocabulario medio (Geiger et al., 2014),
predicción de contornos de prosodia (Fernández et al., 2014), inicio de audio. detección
(Marchi et al., 2014), síntesis de texto a voz (Fan et al., 2014) y clasificación de señales
sociales (Brueckner & Schulter, 2014).
Se utilizó un LSTM RNN para estimar los estados posteriores de un HMM; este
sistema superó el estado del arte anterior en reconocimiento de voz de vocabulario
extenso (Sak, Senior, et al., 2014; Sak, Vinyals, et al., 2014). Otro LSTM RNN con
cientos de millones de
2
Sin embargo, cabe mencionar que los RNN de LSTM ya realizaron segmentación y
reconocimiento simultáneos cuando se convirtieron en los primeros estudiantes profundos
recurrentes en ganar concursos internacionales oficiales de reconocimiento de patrones;
consulte la Sección 5.17.
Machine Translated by Google
J. Schmidhuber / Redes neuronales 61 (2015) 85–117
Se utilizaron conexiones para reordenar las hipótesis de un sistema de traducción
automática estadística; este sistema superó el estado del arte anterior en traducción del
inglés al francés (Sutskever et al., 2014).
Un conjunto de GPU­MPCNN (Sección 5.19) con un rendimiento casi humano
estableció un nuevo récord en el punto de referencia de reconocimiento de escritura a
mano en chino ICDAR (más de 3700 clases) en una máquina de escritorio (Ciresan y
Schmidhuber, 2013); compárese (Yin, Wang, Zhang y Liu, 2013).
El Gran Desafío MICCAI 2013 sobre Detección de Mitosis (Veta, Viergever, Pluim,
Stathonikos y van Diest, 2013) también lo ganó un conjunto GPU­MPCNN de detección
de objetos (Ciresan et al., 2013).
Su conjunto de datos era incluso mayor y más desafiante que el de ICPR 2012 (Sección
5.21): un conjunto de datos del mundo real que incluía muchos casos ambiguos y
problemas encontrados con frecuencia, como la tinción imperfecta de portaobjetos.
Tres 2D­CNN (con agrupación media en lugar de MP, Sección 5.11) que observaron
tres proyecciones ortogonales de imágenes 3D superaron a los métodos 3D tradicionales
en la tarea de segmentar el cartílago tibial en exploraciones de resonancia magnética de
rodilla de campo bajo (Prasoon et al., 2013).
Las GPU­MPCNN profundas (Sección 5.19) también ayudaron a lograr mejores
resultados en importantes puntos de referencia de la comunidad de visión por computadora:
clasificación ImageNet (Szegedy et al., 2014; Zeiler & Fergus, 2013) y, junto con los
enfoques tradicionales, objeto PASCAL. detección (Girshick, Donahue, Darrell y Malik,
2013). También aprendieron a predecir las coordenadas del cuadro delimitador de objetos
en la base de datos Imagenet 2013 y obtuvieron resultados de última generación en tareas
de localización y detección (Sermanet et al., 2013). Las GPU­MPCNN también ayudaron
a reconocer números de varios dígitos en imágenes de Google Street View (Goodfellow,
Bulatov, Ibarz, Arnoud y Shet, 2014), donde parte del NN fue entrenado para contar dígitos
visibles; compare trabajos anteriores sobre la detección de "numerosidad" a través de
DBN (Stoianov y Zorzi, 2012). Este sistema también se destacó en el reconocimiento de
texto sintético distorsionado en acertijos reCAPTCHA .
Otras aplicaciones exitosas de CNN incluyen el análisis de escenas (Farabet, Couprie,
Najman y LeCun, 2013), la detección de objetos (Szegedy, Toshev y Erhan, 2013), la
detección de sombras (Khan, Bennamoun, Sohel y Togneri, 2014) y la clasificación de
videos. (Karpathy et al., 2014) y neuroimagen de la enfermedad de Alzheimer (Li et al.,
2014).
Se mencionan concursos adicionales en las páginas web del Swiss AI Lab IDSIA, la
Universidad de Toronto, la Universidad de Nueva York y la Universidad de Montreal.
5.23. Técnicas exitosas actualmente: LSTM RNN y GPU­MPCNN
La mayoría de los Deep Learners ganadores de competencias o que establecen
récords de referencia en realidad utilizan una de dos técnicas supervisadas : (a) LSTM
recurrente (1997) entrenado por CTC (2006) (Secciones 5.13, 5.17, 5.21, 5.22), o (b) GPU
feedforward ­MPCNN (2011, Secciones 5.19, 5.21, 5.22) basadas en CNN (1979, Sección
5.4) con MP (1992, Sección 5.11) entrenado a través de BP (1989­2007, Secciones 5.8,
5.16).
Las excepciones incluyen dos concursos de 2011 (Goodfellow, Courville y Bengio,
2011, 2012; Mesnil et al., 2011) especializados en la transferencia de aprendizaje de un
conjunto de datos a otro (por ejemplo, Caruana, 1997; Pan y Yang, 2010; Schmidhuber,
2004) . ). Sin embargo, las GPU­MPCNN profundas permiten una transferencia pura
basada en SL (Ciresan, Meier y Schmidhuber, 2012b), donde el entrenamiento previo en
un conjunto de entrenamiento mejora en gran medida el rendimiento en conjuntos bastante
diferentes, también en estudios más recientes (Donahue et al. ., 2013; Oquab, Bottou,
Laptev y Sivic, 2013). De hecho, los MPCNN profundos previamente entrenados por SL
pueden extraer características útiles de imágenes muy diversas fuera del conjunto de
entrenamiento, lo que produce mejores resultados que las características tradicionales y
ampliamente utilizadas, como SIFT (Lowe, 1999, 2004) en muchas tareas de visión
(Razavian, Azizpour, Sullivan y Carlsson, 2014).
Para hacer frente a los cambios en los conjuntos de datos, las NN profundas de aprendizaje
lento también se combinaron con las NN "superficiales" de rápida adaptación (Kak, Chen
y Wang, 2010).
99
Sorprendentemente, en la década de 1990 una tendencia pasó de pilas RNN
parcialmente no supervisadas (Sección 5.10) a RNN LSTM puramente supervisadas
(Sección 5.13), al igual que en la década de 2000, una tendencia pasó de pilas FNN
parcialmente no supervisadas (Sección 5.15) a puramente MPCNN supervisadas
(secciones 5.16 a 5.22). Sin embargo, en muchas aplicaciones aún puede resultar
ventajoso combinar lo mejor de ambos mundos: aprendizaje supervisado y preentrenamiento
no supervisado (Secciones 5.10, 5.15).
5.24. Trucos recientes para mejorar los NN profundos de SL (compare las Secciones
5.6.2, 5.6.3)
El entrenamiento DBN (Sección 5.15) se puede mejorar mediante mejoras de
gradiente y ajustes automáticos de la tasa de aprendizaje durante el descenso de gradiente
estocástico (Cho, 2014; Cho, Raiko, & Ilin, 2013), y a través del tipo Tikhonov (Tikhonov,
Arsenin, & John). , 1977) regularización de las GBR (Cho, Ilin y Raiko, 2012). Los EA
contractivos (Ri­fai, Vincent, Muller, Glorot y Bengio, 2011) desalientan las perturbaciones
unitarias ocultas en respuesta a las perturbaciones de entrada, de forma similar a como
FMS (Sección 5.6.3) para los EA Lococode (Sección 5.6.4) desalienta las perturbaciones
de salida en respuesta a perturbaciones de peso.
Se entrenaron CNN jerárquicas en una pirámide de abstracción neuronal (por ejemplo,
Behnke, 2003b, 2005) para reconstruir imágenes corrompidas por ruido estructurado
(Behnke, 2001), imponiendo así representaciones de imágenes cada vez más abstractas
en capas cada vez más profundas.
Posteriormente, los AE de eliminación de ruido utilizaron un procedimiento similar (Vincent et al., 2008).
El abandono (Ba y Frey, 2013; Hinton, Srivastava, Krizhevsky, Sutskever y
Salakhutdinov, 2012) elimina unidades de los NN durante el entrenamiento para mejorar
la generalización. Algunos lo ven como un método conjunto que entrena múltiples modelos
de datos simultáneamente (Baldi y Sadowski, 2014). En determinadas circunstancias,
también podría verse como una forma de aumento del conjunto de entrenamiento:
efectivamente, se eliminan cada vez más características informativas complejas de los
datos de entrenamiento. Compare la deserción escolar de los RNN (Pachitariu y Sahani,
2013; Pascanu, Gulcehre, Cho y Bengio, 2013; Pham, Kermorvant y Louradour, 2013).
Una aproximación determinista denominada abandono escolar rápido (Wang y Manning,
2013) puede conducir a un aprendizaje y una evaluación más rápidos y fue adaptada para
las RNN (Bayer, Osendorfer, Chen, Urban y van der Smagt, 2013). El abandono está
estrechamente relacionado con técnicas más antiguas y biológicamente plausibles para
añadir ruido a las neuronas o sinapsis durante el entrenamiento (por ejemplo, An, 1996;
Hanson, 1990; Jim, Giles y Horne, 1995; Murray y Edwards, 1993; Nadal y Parga, 1994). ;
Schuster, 1992), que a su vez están estrechamente relacionados con la búsqueda de NN
de baja complejidad resistentes a perturbaciones, por ejemplo, a través de FMS (Sección
5.6.3). Los métodos variacionales estocásticos basados en MDL (Graves, 2011) también
están relacionados con FMS. Son útiles para RNN, donde los regularizadores clásicos
como la caída de peso (Sección 5.6.3) representan un sesgo hacia una capacidad de
memoria limitada (p. ej., Pascanu, Mikolov, et al., 2013). Compare trabajos recientes sobre
EA recurrentes variacionales (Bayer & Osendorfer, 2014).
La función de activación f de las unidades lineales rectificadas (ReLU) es f(x) = x para
x > 0, f(x) = 0 en caso contrario; compárese con el antiguo concepto de unidades
rectificadas de media onda (Malik y Perona, 1990). Los NN ReLU son útiles para RBM
(Maas, Hannun y Ng, 2013; Nair y Hinton, 2010), superaron las funciones de activación
sigmoidal en NN profundos (Glorot, Bordes y Bengio, 2011) y ayudaron a obtener mejores
resultados en varios puntos de referencia. problemas en múltiples dominios (p. ej., Dahl,
Sainath y Hinton, 2013; Krizhevsky et al., 2012).
Los NN con unidades lineales competitivas tienden a superar a aquellos con unidades
no lineales no competitivas y evitan un olvido catastrófico a través de BP cuando los
conjuntos de entrenamiento cambian con el tiempo (Srivastava, Masci, Kazerounian,
Gomez y Schmidhuber, 2013). En este contexto, elegir un algoritmo de aprendizaje puede
ser más importante que elegir funciones de activación (Goodfellow, Mirza, Da, Courville y
Bengio, 2014). Las NN Maxout (Goodfellow, Warde­Farley, Mirza, Courville y Bengio,
2013) combinan interacciones competitivas y abandono (ver arriba) para lograr excelentes
resultados en ciertas áreas.
Machine Translated by Google
100 J. Schmidhuber / Redes neuronales 61 (2015) 85–117
puntos de referencia. Compare los primeros RNN con unidades competidoras para
SL y RL (Schmidhuber, 1989b). Para abordar el sobreajuste, en lugar de depender
de regularizadores e hiperparámetros precableados (Bishop, 2006; Hertz, Krogh y
Palmer, 1991), los RNN autodelimitantes (SLIM NN) con unidades competidoras
(Schmidhuber, 2012) pueden, en principio aprender a seleccionar su propio tiempo
de ejecución y su propio número de parámetros libres efectivos, aprendiendo así sus
propios regularizadores computables (Secciones 4.4, 5.6.3), volviéndose rápidos y
delgados cuando sea necesario. Se puede penalizar la longitud total de las
conexiones específicas de la tarea (por ejemplo, Clune, Mouret y Lipson, 2013;
Legenstein y Maass, 2002; Schmidhuber, 2012, 2013b) y los costos de comunicación
de las NN SLIM implementadas en el cerebro tridimensional. hardware multiprocesador
que se espera en el futuro.
RmsProp (Schaul, Zhang y LeCun, 2013; Tieleman y Hinton, 2012) puede
acelerar los métodos de descenso de gradiente de primer orden (Secciones 5.5,
5.6.2); compárese vario­η (Neuneier y Zimmermann, 1996), Adagrad (Duchi, Hazan
y Singer, 2011) y Adadelta (Zeiler, 2012).
La DL en NN también se puede mejorar transformando las activaciones de unidades
ocultas de modo que tengan salida cero y pendiente en promedio (Raiko, Valpola y
LeCun, 2012). Muchos trucos antiguos y adicionales (Secciones 5.6.2, 5.6.3) también
deberían ser aplicables a las NN profundas actuales; comparar (Montavon et al.,
2012; Orr & Müller, 1998).
5.25. Consecuencias para la neurociencia
Es irónico que las NN artificiales (ANN) puedan ayudar a comprender mejor las
NN biológicas (BNN); consulte los resultados de ISBI 2012 mencionados en la
Sección 5.21 (Ciresan, Giusti, et al., 2012; Segmentation of Neuronal Structures in
EM Desafío de pilas, 2012).
Los detectores de características aprendidos por las RNA visuales de una sola
capa son similares a los que se encuentran en las primeras etapas de procesamiento
visual de las BNN (p. ej., Sección 5.6.4). Del mismo modo, los detectores de
características aprendidos en capas profundas de RNA visuales deberían ser
altamente predictivos de lo que los neurocientíficos encontrarán en capas profundas
de BNN. Si bien la corteza visual de las BNN puede utilizar algoritmos de aprendizaje
bastante diferentes, su función objetivo a minimizar puede ser bastante similar a la
de las ANN visuales. De hecho, los resultados obtenidos con DBN artificiales
relativamente profundas (Lee, Ekanadham y Ng, 2007) y CNN (Yamins, Hong,
Cadieu y DiCarlo, 2013) parecen compatibles con conocimientos sobre la vía visual
en la corteza cerebral de los primates, que ha ha sido estudiado durante muchas
décadas (p. ej., Bichot, Rossi y Desimone, 2005; Connor, Brincat y Pasupathy, 2007;
Desimone, Albright, Gross y Bruce, 1984; DiCarlo, Zoccolan y Rust, 2012; Felleman
y Van Essen , 1991; Hubel y Wiesel, 1968; Hung, Kreiman, Poggio y DiCarlo, 2005;
Kobatake y Tanaka, 1994; Kriegeskorte et al., 2008; Lennie y Movshon, 2005;
Logothetis, Pauls y Poggio, 1995; Perrett, Hietanen, Oram, Benson y Rolls, 1992;
Perrett, Rolls y Caan, 1982); compare una encuesta orientada a la visión por
computadora (Kruger et al., 2013).
5.26. ¿DL con neuronas en aumento?
Muchos resultados recientes de DL se benefician de las NN profundas
tradicionales basadas en GPU, por ejemplo, las Secciones 5.16 a 5.19. Las GPU
actuales, sin embargo, son pequeños hornos, mucho más hambrientos de energía
que los cerebros biológicos, cuyas neuronas se comunican eficientemente mediante
breves picos (FitzHugh, 1961; Hodgkin y Huxley, 1952; Nagumo, Arimoto y
Yoshizawa, 1962) y, a menudo, permanecen en silencio. Se han propuesto y
analizado muchos modelos computacionales de dichas neuronas que se activan (por
ejemplo, Amit y Brunel, 1997; Bohte, Kok y La Poutre, 2002; Brea, Senn y Pfister,
2013; Brette et al., 2007; Brunel, 2000). ; Deco & Rolls, 2005; Gerstner & Kistler,
2002; Gerstner & van Hemmen, 1992; Hoerzer, Legenstein, & Maass, 2014; Izhikevich
et al., 2003; Kasabov, 2014; Kempter, Gerstner, & Van Hemmen, 1999; Kistler,
Gerstner y van Hemmen, 1997; Maass, 1996, 1997; Maex y Orban, 1996; Nessler,
Pfeiffer, Buesing y Maass, 2013; Rezende y Gerstner, 2014;
Seung, 2003; Canción, Miller y Abbott, 2000; Stemmler, 1996; Stoop, Schindler y
Bunimovich, 2000; Tsodyks, Pawelzik y Markram, 1998; Tsodyks, Skaggs, Sejnowski
y McNaughton, 1996; Zipser, Kehoe, Littlewort y Fuster, 1993).
El futuro hardware energéticamente eficiente para DL en NN puede implementar
aspectos de dichos modelos (p. ej., Fieres, Schemmel y Meier, 2008; Glackin,
McGinnity, Maguire, Wu y Belatreche, 2005; Indiveri et al., 2011; Jin et al. ., 2010;
Khan et al., 2008; Liu et al., 2001; Merolla et al., 2014; Neil & Liu, 2014; Roggen,
Hofmann, Thoma, & Floreano, 2003; Schemmel, Grubl, Meier, & Mueller , 2006;
Serrano­Gotarredona et al., 2009). Una variante simulada de picos impulsada por
eventos (Neftci, Das, Pedroni, Kreutz­Delgado y Cauwenberghs, 2014) de un RBM
(Sección 5.15) fue entrenada mediante una variante del algoritmo de Divergencia
Contrastiva (Hinton, 2002). Las redes de pinchazos se desarrollaron para lograr un
rendimiento razonable en pequeños conjuntos de datos de reconocimiento facial
(Wysoski, Benuskova y Kasabov, 2010) y para controlar robots simples (Floreano y
Mattiussi, 2001; Hagras, Pounds­Cornish, Colley, Callaghan y Clarke, 2004). ). Un
DBN con picos con aproximadamente 250 000 neuronas (como parte de un NN más
grande; Eliasmith, 2013; Eliasmith et al., 2012) logró una tasa de error del 6 % en
MNIST; compare resultados similares con una variante de DBN de profundidad 3
utilizando un sensor basado en eventos neuromórficos (O'Connor, Neil, Liu, Delbruck
y Pfeiffer, 2013). Sin embargo, en aplicaciones prácticas, las redes artificiales
actuales de neuronas con picos aún no pueden competir con las mejores NN
profundas tradicionales (por ejemplo, compare los resultados de MNIST de la Sección
5.19).
6. DL en FNN y RNN para aprendizaje por refuerzo (RL)
Hasta ahora nos hemos centrado en el aprendizaje profundo (DL) en NN
supervisadas o no supervisadas. Tales NN aprenden a percibir/codificar/predecir/
clasificar patrones o secuencias de patrones, pero no aprenden a actuar en el sentido
más general de aprendizaje por refuerzo (RL) en entornos desconocidos (véanse
encuestas, por ejemplo, Kaelbling et al., 1996; Sutton y Barto, 1998; Wiering y van
Otterlo, 2012). Aquí agregamos una discusión sobre DL FNN y RNN para RL. Será
más breve que la discusión sobre FNN y RNN para SL y UL (Sección 5), lo que
refleja el tamaño actual de los distintos campos.
Sin un maestro, únicamente a partir de señales ocasionales de dolor y placer de
valor real, los agentes de RL deben descubrir cómo interactuar con un entorno
dinámico, inicialmente desconocido, para maximizar sus señales de recompensa
acumuladas esperadas (Sección 2 ). Puede haber retrasos arbitrarios, a priori
desconocidos, entre acciones y consecuencias perceptibles. El problema es tan
difícil como cualquier problema de la informática, ya que cualquier tarea con una
descripción computable puede formularse en el marco de RL (por ejemplo, Hutter,
2005). Por ejemplo, una respuesta a la famosa pregunta de si P = NP (Cook, 1971;
Levin, 1973b) también establecería límites a lo que se puede lograr mediante RL
general. Compárense limitaciones más específicas, por ejemplo, Blondel y Tsitsik­
lis (2000), Madani, Hanks y Condon (2003) y Vlassis, Littman y Barber (2012). Las
siguientes subsecciones se centran principalmente en ciertas intersecciones obvias
entre DL y RL; no pueden servir como un estudio general de RL.
6.1. Los modelos mundiales de RL a NN producen RNN con CAP profundos
En el caso especial de un controlador C de RL FNN que interactúa con un
entorno determinista y predecible , un FNN separado llamado M puede aprender a
convertirse en el modelo mundial de C a través de la identificación del sistema,
prediciendo las entradas de C a partir de acciones y entradas anteriores (p. ej., Co­
chocki & Unbehauen , 1993; Ge, Hang, Lee y Zhang, 2010; Gomi y Kawato, 1993;
Jordan, 1988; Jordan y Rumelhart, 1990; Levin y Narendra, 1995; Ljung, 1998; Miller,
Werbos y Sutton, 1995; Munro , 1987; Narendra y Parthasarathy, 1990; Prokhorov,
Pusko­rius y Feldkamp, 2001; Robinson y Fallside, 1989; Schmidhuber, 1990d;
Werbos, 1981, 1987, 1989a, 1989b, 1992). Supongamos que M tiene
Machine Translated by Google
J. Schmidhuber / Redes neuronales 61 (2015) 85–117
aprendió a producir predicciones precisas. Podemos usar M para sustituir el
entorno. Entonces M y C forman un RNN donde las salidas de M se convierten en
entradas de C, cuyas salidas (acciones) a su vez se convierten en entradas de M.
Ahora se puede utilizar BP para RNN (Sección 5.5.1) para lograr eventos de entrada
deseados, como alta señales de recompensa de valor real: mientras los pesos de M
permanecen fijos, la información de gradiente para los pesos de C se propaga de
regreso a través de M hacia C y de regreso a través de M , etc.
Hasta cierto punto, el enfoque también es aplicable en entornos probabilísticos o
inciertos, siempre y cuando los productos internos de las estimaciones de gradiente
basadas en C de M y los gradientes "verdaderos" de M tiendan a ser positivos.
En general, este enfoque implica CAP profundos para C, a diferencia del RL
tradicional basado en DP (Sección 6.2). Hace décadas, el método se utilizaba para
aprender a dar marcha atrás en un modelo de camión (Nguyen y Widrow, 1989). Un
sistema de visión activa RL lo utilizó para aprender cambios secuenciales (sacádicos)
de una fóvea, para detectar objetivos en escenas visuales (Schmidhuber & Huber,
1991), aprendiendo así a controlar la atención selectiva. Compare el aprendizaje de
la atención basado en RL sin NN (Whitehead, 1992).
Para permitir recuerdos de eventos previos en mundos parcialmente observables
(Sección 6.3), la variante más general de esta técnica utiliza RNN en lugar de FNN
para implementar tanto M como C (Feldkamp & Puskorius, 1998; Schmidhuber,
1990d, 1991c). Esto puede causar CAPs profundos no sólo para C sino también
para M.
M también se puede utilizar para optimizar la recompensa esperada mediante la
planificación de secuencias de acción futuras (Schmidhuber, 1990d). De hecho, los
ganadores del Campeonato Mundial RoboCup de 2004 en la liga rápida (Egorova
et al., 2004) entrenaron a NN para predecir los efectos de las señales de dirección
en robots rápidos con 4 motores para 4 ruedas diferentes. Durante el juego, estos
modelos NN se utilizaron para lograr subobjetivos deseables, optimizando
secuencias de acción mediante una planificación rápida y anticipada.
Este enfoque también se utilizó para crear robots autorreparables capaces de
compensar motores defectuosos cuyos efectos ya no coinciden con las predicciones
de los modelos NN (Gloye, Wiesel, Tenchio y Simon, 2005; Schmidhuber, 2007).
Normalmente M no se da por adelantado. Entonces una pregunta esencial es:
¿qué experimentos debería realizar C para mejorar rápidamente M?
La teoría formal de la diversión y la creatividad (p. ej., Schmidhuber, 2006a, 2013b)
formaliza las fuerzas impulsoras y las funciones de valor detrás de este
comportamiento curioso y exploratorio: una medida del progreso del aprendizaje de
M se convierte en la recompensa intrínseca de C (Schmidhuber, 1991a); compárese
(Oudeyer, Baranes y Kaplan, 2013; Singh, Barto y Chentanez, 2005). Esto motiva a
C a crear secuencias de acción (experimentos) de modo que M progrese rápidamente.
6.2. FNN profundos para procesos de decisión tradicionales de RL y Markov (MDP)
El enfoque clásico de RL (Bertsekas y Tsitsiklis, 1996; Samuel, 1959) parte del
supuesto simplificador de los Procesos de Decisión de Markov (MDP): la entrada
actual del agente de RL transmite toda la información necesaria para calcular el
siguiente evento o decisión de salida óptimo. . Esto permite reducir en gran medida
la profundidad del CAP en RL NN (Secciones 3, 6.1) mediante el uso del truco de
Programación Dinámica (DP) (Bell­man, 1957). Esto último se explica a menudo
en un marco probabilístico (por ejemplo, Sutton y Barto, 1998), pero su idea básica
ya puede transmitirse en un entorno determinista. Para simplificar, utilizando la
notación de la Sección 2, permita que los eventos de entrada xt codifiquen todo el
estado actual del entorno, incluida una recompensa de valor real rt (no es necesario
introducir notación adicional con valores vectoriales, ya que los valores reales
pueden codificar vectores arbitrarios). de valores reales). El objetivo RL original
(encontrar pesos que maximicen la suma de todas las recompensas de un episodio)
se reemplaza por un conjunto equivalente de objetivos alternativos establecidos
por una función de valor real V definida en eventos de entrada. Considere dos
eventos de entrada posteriores cualesquiera xt, xk. Defina recursivamente V(xt) =
rt + V(xk), donde V(xk) = rk si xk es el último evento de entrada. Ahora busca
101
pesos que maximizan el V de todos los eventos de entrada, al provocar eventos o
acciones de salida apropiados.
Debido al supuesto de Markov, una FNN es suficiente para implementar la
política que asigna eventos de entrada a salida. Los CAP relevantes no son más
profundos que este FNN. El propio V a menudo se modela mediante un FNN
separado (que también produce CAP típicamente cortos) que aprende a aproximar
V(xt) solo a partir de información local rt, V(xk).
Existen muchas variantes de la RL tradicional (p. ej., Abounadi, Bertsekas y
Borkar, 2002; Baird, 1995; Baird y Moore, 1999; Barto, Sutton y Anderson, 1983;
Bertsekas, 2001; Bradtke, Barto y Kaelbling, 1996; Brafman y Tennenholtz, 2002;
Kaelbling, Littman y Cassandra, 1995; Lagoudakis y Parr, 2003; Maei y Sutton,
2010; Mahadevan, 1996; Meuleau, Peshkin, Kim y Kaelbling, 1999; Moore y Atkeson,
1993; Morimoto y Doya, 2000; Peng y Williams, 1996; Prokhorov y Wunsch, 1997;
Rummery y Niranjan, 1994; Santamaría, Sutton y Ram, 1997; Schwartz, 1993;
Singh, 1994; Sutton y Barto, 1998; Sutton, Szepesvári y Maei, 2008; Tsitsiklis y van
Roy, 1996; van Hasselt, 2012; Watkins, 1989; Watkins y Dayan, 1992; Wiering y
Schmidhuber, 1998b). La mayoría están formulados en un marco probabilístico y
evalúan pares de eventos de entrada y salida (acción) (en lugar de eventos de
entrada únicamente). Para facilitar ciertas derivaciones matemáticas, algunos
descuentan recompensas retrasadas, pero tales distorsiones del problema RL
original son problemáticas.
Quizás el RL NN más conocido es el jugador de backgammon de clase mundial
de RL (Tesauro, 1994), que alcanzó el nivel de campeones mundiales humanos
jugando contra sí mismo. Su FNN no lineal y bastante superficial asigna un número
grande pero finito de estados de tablero discretos a valores. Más recientemente, se
utilizó una GPU­CNN bastante profunda en un marco de RL tradicional para jugar
varios juegos de computadora Atari 2600 directamente desde una entrada de video
de 84 × 84 píxeles y 60 Hz (Mnih et al., 2013), utilizando la reproducción de
experiencia (Lin, 1993). , ampliando el trabajo anterior sobre Neural Fitted Q­
Learning (NFQ) (Riedmiller, 2005). Se logran resultados aún mejores utilizando la
planificación de árboles Monte Carlo (lenta) para entrenar NN profundos
comparativamente rápidos (Guo, Singh, Lee, Lewis y Wang, 2014). Compare RL
basado en RBM (Sallans & Hinton, 2004) con entradas de alta dimensión (Elfwing,
Otsuka, Uchibe, & Doya, 2010), reproductores RL Atari anteriores (Grüttner, Sehnke,
Schaul, & Schmidhuber, 2010) y un modelo anterior , RL NN basado en video sin
procesar para juegos de computadora (Koutník, Cuccu, Schmidhuber y Gomez,
2013) entrenado mediante búsqueda de políticas indirectas (Sección 6.7).
6.3. RNN de RL profundo para MDP parcialmente observables (POMDP)
El supuesto de Markov (sección 6.2) suele ser poco realista. No podemos
percibir directamente lo que hay a nuestras espaldas, y mucho menos el estado
actual del universo entero. Sin embargo, los recuerdos de eventos anteriores pueden
ayudar a lidiar con problemas de decisión de Markov (POMDP) parcialmente
observables (por ejemplo, Boutilier y Poole, 1996; Jaakkola, Singh y Jordan, 1995;
Kaelbling et al., 1995; Kimura, Miyazaki y Kobayashi). , 1997; Lin, 1993; Littman,
Cassandra y Kaelbling, 1995; McCallum, 1996; Otsuka, Yoshimoto y Doya, 2010;
Ring, 1991, 1993, 1994; Schmidhuber, 1990d, 1991c; Teller, 1994; Wiering y
Schmidhuber. , 1996, 1998a; Williams, 1992a). Una forma ingenua de implementar
memorias sin salir del marco MDP (Sección 6.2) sería simplemente considerar un
espacio de estados posiblemente enorme, es decir, el conjunto de todos los
historiales de observación posibles y sus prefijos. Una forma más realista es utilizar
aproximadores de funciones como RNN que producen características de estado
compacto en función de toda la historia vista hasta ahora. En términos generales,
POMDP RL a menudo usa DL RNN para aprender qué eventos memorizar y cuáles
ignorar. Tres alternativas básicas son: 1. Usar un RNN como función de valor que
asigna historias de eventos arbitrarios a valores (por ejemplo, Bakker, 2002; Lin,
1993; Schmidhuber, 1990b, 1991c). Por ejemplo,
se utilizaron RNN LSTM profundos de esta manera para robots RL (Bakker,
Zhumatiy, Gruener y Schmidhuber, 2003).
Machine Translated by Google
102 J. Schmidhuber / Redes neuronales 61 (2015) 85–117
2. Utilice un controlador RNN junto con un segundo RNN como modelo mundial
predictivo para obtener un RNN combinado con CAP profundos; consulte la Sección
6.1.
3. Utilice un RNN para RL mediante búsqueda directa (Sección 6.6) o Búsqueda
indirecta (Sección 6.7) en el espacio de peso.
Sin embargo, en general, los POMDP pueden implicar una profundidad de la PAC
mucho mayor.
6.4. RL facilitada por UL profundo en FNN y RNN
Las máquinas RL pueden beneficiarse de UL para el preprocesamiento de insumos
(por ejemplo, Jodogne y Piater, 2007). En particular, un UL NN puede aprender a
codificar de forma compacta entradas ambientales como imágenes o vídeos, por
ejemplo, Secciones 5.7, 5.10, 5.15. Los códigos compactos (en lugar de los datos brutos
de alta dimensión) se pueden introducir en una máquina RL, cuyo trabajo puede resultar
mucho más fácil (Cuccu, Luciw, Schmidhuber y Gomez, 2011; Legenstein, Wilbert y
Wiskott, 2010). al igual que SL puede beneficiarse de UL, por ejemplo, las Secciones
5.7, 5.10, 5.15. Por ejemplo, NFQ (Riedmiller, 2005) se aplicó a tareas de control del
mundo real (Lange y Riedmiller, 2010; Riedmiller, Lange y Voigtlaender, 2012) donde
las entradas puramente visuales se codificaban de forma compacta mediante
codificadores automáticos profundos (Secciones 5.7, 5.15) . ). RL combinado con UL
basado en el análisis de características lentas (Kompella, Luciw y Schmidhuber, 2012;
Wiskott y Sejnowski, 2002) permitió que un robot humanoide real aprendiera habilidades
a partir de transmisiones de video sin procesar de alta dimensión (Luciw, Kompella,
Kaze­rounian y Schmidhuber, 2013). Para lidiar con los POMDP (Sección 6.3) que
involucran entradas de alta dimensión, se utilizó RL basado en RBM (Ot­suka, 2010) y
se empleó un RAAM (Pollack, 1988) (Sección 5.7) como un codificador de secuencia
profundo no supervisado. para RL (Gisslen et al., 2011). Ciertos tipos de RL y UL
también se combinaron en RNN biológicamente plausibles con neuronas activadas
(Sección 5.26) (p. ej., Klampfl & Maass, 2013; Rezende & Gerstner, 2014; Yin et al.,
2012).
6.5. RL jerárquico profundo (HRL) y aprendizaje de subobjetivos con FNN y RNN
Múltiples niveles de abstracción que se pueden aprender (Bengio et al., 2013; Deng
& Yu, 2014; Fu, 1977; Lenat & Brown, 1984; Ring, 1994) parecen tan importantes para
RL como para SL. Desde principios de la década de 1990 se han publicado trabajos
sobre RL jerárquico (HRL) basado en NN . En particular, el descubrimiento de
subobjetivos basado en gradientes con FNN o RNN descompone las tareas de RL en
subtareas para submódulos de RL (Schmid­huber, 1991b; Schmidhuber y Wahnsiedler,
1992). Se han propuesto numerosas técnicas alternativas de HRL (por ejemplo, Bakker
y Schmidhuber, 2004; Barto y Mahadevan, 2003; Dietterich, 2000b; Doya, Samejima,
Katagiri y Kawato, 2002; Ghavamzadeh y Mahadevan, 2003; Jameson, 1991; Menache,
Mannor , y Shimkin, 2002; Moore y Atkeson, 1995; Precup, Sutton y Singh, 1998; Ring,
1991, 1994; Samejima, Doya y Kawato, 2003; Simsek y Barto, 2008; Tenenberg,
Karlsson y White­head , 1993; Weiss, 1994; Whiteson, Kohl, Mükkulainen y Stone,
2005). Si bien los marcos de HRL como Feudal RL (Dayan & Hinton, 1993) y las
opciones (Barto, Singh, & Chentanez, 2004; Singh et al., 2005; Sutton, Precup, &
Singh, 1999) no abordan directamente el problema. En el caso del descubrimiento
automático de subobjetivos, HQ­Learning (Wiering y Schmidhuber, 1998a) descompone
automáticamente los POMDP (Sección 6.3) en secuencias de subtareas más simples
que pueden resolverse mediante políticas sin memoria que pueden aprenderse
mediante subagentes reactivos. El HRL reciente organiza submódulos de RL
potencialmente profundos basados en NN en mapas de control motor bidimensionales y
autoorganizados (Ring, Schaul y Schmidhuber, 2011) inspirados en hallazgos
neurofisiológicos (Graziano, 2009).
6.6. RL profunda mediante búsqueda directa de NN/gradientes de políticas/evolución
No son tan universales como los métodos de la Sección 6.8, pero son prácticos y
más generales que la mayoría de los algoritmos RL tradicionales (Sección 6.2) . Sin
necesidad de funciones de valor o suposiciones de Markov (Secciones 6.2, 6.3), los
pesos de un FNN o RNN se evalúan directamente en el problema RL dado. Los
resultados de ensayos sucesivos informan sobre la búsqueda de mejores pesos. A
diferencia del RL apoyado por BP (Secciones 5.5, 6.3, 6.1), la profundidad del CAP
(Secciones 3, 5.9) no es una cuestión crucial. DS puede resolver el problema de la
asignación de créditos sin retroceder a través de profundas cadenas causales de
parámetros modificables: no se preocupa por su existencia ni intenta explotarlos.
Una clase importante de métodos DS para NN son los métodos de gradiente de
políticas (Aberdeen, 2003; Baxter & Bartlett, 2001; Ghavamzadeh & Mahadevan, 2003;
Grondman, Busoniu, Lopes, & Babuska, 2012; Grüttner et al., 2010; Heess, Silver ,&Teh,
2012; Kohl&Stone, 2004; Peters, 2010; Peters & Schaal, 2008a, 2008b; Rückstieß,
Felder, & Schmidhuber, 2008; Sehnke et al., 2010; Sutton, McAllester, Singh, & Mansour,
1999; Wierstra, Foerster, Peters y Schmidhuber, 2010; Wierstra, Schaul, Peters y
Schmidhuber, 2008; Williams, 1986, 1988, 1992a). Los gradientes de la recompensa
total con respecto a las políticas (ponderaciones de NN) se estiman (y luego se explotan)
mediante evaluaciones repetidas de NN.
Los RL NN también pueden evolucionar a través de algoritmos evolutivos (EA)
(Fogel, Owens y Walsh, 1966; Goldberg, 1989; Holland, 1975; Rechenberg, 1971;
Schwefel, 1974) en una serie de ensayos. Aquí varias políticas están representadas por
una población de NN mejorados a través de mutaciones y/o recombinaciones repetidas
de los individuos más aptos de la población (por ejemplo, Fogel, Fogel y Porto, 1990;
Happel y Murre, 1994; Maniezzo, 1994; Montana y Davis). , 1989; Nolfi, Parisi y Elman,
1994). Compárese la Programación Genética (GP) (Cramer, 1985) (ver también Smith,
1980) que puede usarse para desarrollar programas informáticos de tamaño variable
(Dickmanns, Schmidhuber y Winkl­hofer, 1987; Koza, 1992), y la GP cartesiana ( Miller
& Harding, 2009; Miller & Thomson, 2000) para la evolución de programas similares a
gráficos, incluidos NN (Khan, Khan, & Miller, 2010) y su topología (Turner & Miller,
2013). Los métodos relacionados incluyen EA basados en distribución de probabilidad
(Baluja, 1994; Larraanaga & Lozano, 2001; Sałustowicz & Schmidhuber, 1997;
Saravanan & Fogel, 1995), Estrategias de evolución de estimación de matrices de
covarianza (CMA­ES) (Hansen, Müller, & Koumoutsakos, 2003; Hansen & Ostermeier,
2001; Heidrich­Meisner & Igel, 2009; Igel, 2003) y NeuroEvolution of Aug­menting
Topologies (NEAT) (Stanley & Miikkulainen, 2002). Los métodos híbridos combinan RL
tradicionales basados en NN (Sección 6.2) y EA (por ejemplo, Whiteson y Stone, 2006).
Dado que los RNN son computadoras generales, la evolución de RNN es como GP
en el sentido de que puede desarrollar programas generales. Sin embargo, a diferencia
de los programas secuenciales aprendidos por los GP tradicionales, los RNN pueden
combinar el procesamiento de información secuencial y paralelo de una manera natural
y eficiente, como ya se mencionó en la Sección 1. Se han propuesto muchos
evolucionadores de RNN (por ejemplo, Cliff, Husbands, & Harvey, 1993; Juang, 2004;
Miglino, Lund y Nolfi, 1995; Miller, Todd y Hedge, 1989; Moriarty, 1997; Nolfi, Floreano,
Miglino y Mondada, 1994; Pasemann, Steinmetz y Dieckman, 1999; Sims, 1994;
Whiteson, 2012; Wieland, 1991; Yamauchi & Beer, 1994; Yao, 1993). Una familia de
métodos particularmente eficaz coevoluciona neuronas, combinándolas en redes y
seleccionando para la reproducción aquellas neuronas que participaron en las redes de
mejor rendimiento (Gómez, 2003; Gómez y Miikkulainen, 2003; Moriarty y Miikkulainen,
1996). Esto puede ayudar a resolver POMDP profundos (Gómez y Schmidhuber, 2005).
La Neuroevolución Co­Sináptica (CoSyNE) hace algo similar a nivel de sinapsis o pesos
(Gomez, Schmidhuber, & Miikku­lainen, 2008); Los beneficios de esto se demostraron
en difíciles puntos de referencia POMDP no lineales.
Machine Translated by Google
J. Schmidhuber / Redes neuronales 61 (2015) 85–117
Estrategias de evolución natural (NES) (Glasmachers, Schaul, Sun, Wierstra y
Schmidhuber, 2010; Sun, Gomez, Schaul y Schmid­huber, 2013; Sun, Wierstra,
Schaul y Schmidhuber, 2009; Wier­stra et al. , 2008) vinculan los métodos de
gradiente de políticas y los enfoques evolutivos a través del concepto de gradientes
naturales (Amari, 1998). La evolución de RNN también puede ayudar a mejorar SL
para RNN profundos a través de Evolino (Schmidhuber et al., 2007) (Sección 5.9).
6.7. RL profundo mediante búsqueda de políticas indirectas/búsqueda NN comprimida
Algunos métodos DS (Sección 6.6) pueden desarrollar NN con cientos o miles
de pesos, pero no millones. ¿Cómo buscar NN grandes y profundas? La mayoría
de los métodos SL y RL mencionados hasta ahora buscan de alguna manera el
espacio de pesos wi . Algunos se benefician de una reducción
del espacio de búsqueda a través de wi compartida que se reutiliza una y otra vez,
por ejemplo, en CNN (Secciones 5.4, 5.8, 5.16, 5.21), o en RNN para SL (Secciones
5.5, 5.13, 5.17 ) y RL. (Secciones 6.1, 6.3, 6.6).
Sin embargo, es posible explotar regularidades/compresibilidades adicionales
en el espacio de soluciones, mediante una búsqueda indirecta en el espacio de
pesos. En lugar de desarrollar directamente NN grandes (Sección 6.6), a veces
se puede reducir en gran medida el espacio de búsqueda desarrollando
codificaciones compactas de NN, por ejemplo, a través de Lindenmeyer Systems
(Jacob, Lindenmayer y Rozenberg, 1994; Lindenmayer, 1968), reescritura de
gráficos. (Kitano, 1990), Codificación celular (Gruau, Whitley y Pyeatt, 1996),
HyperNEAT (Clune, Stanley, Pennock y Ofria, 2011; D'Ambrosio y Stanley, 2007;
Stanley, D'Ambrosio y Gauci, 2009 ; van den Berg & Whiteson, 2013) (ampliando
NEAT; Sección 6.6), y extensiones del mismo (por ejemplo, Risi & Stanley, 2012).
Esto ayuda a evitar el sobreajuste (compárese con las Secciones 5.6.3, 5.24) y
está estrechamente relacionado con los temas de regularización y MDL (Sección 4.4).
Un enfoque general (Schmidhuber, 1997) tanto para SL como para RL busca
codificar de forma compacta pesos de NN grandes (Schmidhuber, 1997) a través
de programas escritos en un lenguaje de programación universal (Church, 1936;
Gödel, 1931 ; Post, 1936; Turing, 1936 ).
A menudo es mucho más eficiente buscar sistemáticamente el espacio de tales
programas con un sesgo hacia programas cortos y rápidos (Levin, 1973b;
Schmidhuber, 1997, 2004), en lugar de buscar directamente en el enorme espacio
de posibles matrices de peso NN. Un lenguaje universal anterior para codificar NN
era similar a un ensamblador (Schmidhuber, 1997). Trabajos más recientes utilizan
lenguajes más prácticos basados en coeficientes de transformadas populares
(Fourier, wavelet, etc.).
En particular, las matrices de peso RNN se pueden comprimir como imágenes,
codificándolas mediante los coeficientes de una transformada de coseno discreto
(DCT) (Koutník et al., 2013; Koutník, Gomez y Schmidhuber, 2010). Las
descripciones compactas basadas en DCT se pueden desarrollar a través de NES
o CoSyNE (Sección 6.6). Un RNN con más de un millón de pesos aprendió (sin
profesor) a conducir un automóvil simulado en el juego de conducción TORCS
(Loiacono, Cardamone y Lanzi, 2011; Loiacono et al., 2009), basado en un video
de alta dimensión. flujo de entrada visual (Koutník et al., 2013). El RNN aprendió
tanto el control como el procesamiento visual desde cero, sin la ayuda de UL. (Por
supuesto, UL podría ayudar a generar códigos de imagen más compactos
(Secciones 6.4, 4.2) para introducirlos en un RNN más pequeño, para reducir el
esfuerzo computacional general).
6.8. RL universal
Los algoritmos de aprendizaje de propósito general pueden mejorarse a sí
mismos de manera abierta y de manera específica para el entorno en un contexto
de aprendizaje permanente (Schmidhuber, 1987; Schmidhuber, Zhao y
Schraudolph, 1997; Schmidhuber, Zhao y Wiering, 1997). El tipo más general de
RL está limitado únicamente por las limitaciones fundamentales de computabilidad
identificadas por los fundadores de la informática teórica (Church, 1936; Gödel,
1931; Post, 1936; Turing, 1936). Sorprendentemente, existen modelos de
solucionadores de problemas universales o máquinas RL universales para un uso
ilimitado.
103
profundidad del problema que son óptimas en el tiempo en varios sentidos teóricos
(Hutter, 2002, 2005; Schmidhuber, 2002, 2006b). En particular, la máquina de
Gödel se puede implementar en computadoras generales como las RNN y puede
mejorar cualquier parte de su software (incluido el propio algoritmo de aprendizaje)
de una manera que, en cierto sentido, sea demostrablemente óptima en el tiempo
(Schmidhuber, 2006b). Puede inicializarse mediante un metamétodo asintóticamente
óptimo (Hutter, 2002) (también aplicable a RNN) que resolverá cualquier problema
bien definido tan rápidamente como la forma más rápida desconocida de resolverlo,
salvo por una sobrecarga constante aditiva que se vuelve insignificante. a medida
que crece el tamaño del problema. Tenga en cuenta que la mayoría de los
problemas son grandes; sólo unos pocos son pequeños.
Los investigadores de IA y DL todavía están en el negocio porque muchos están
interesados en problemas tan pequeños que vale la pena intentar reducir los
gastos generales mediante métodos menos generales, incluida la heurística. Aquí
no discutiré más los métodos universales de RL, que van más allá de lo que
normalmente se llama DL.
7. Conclusión y perspectivas
El aprendizaje profundo (DL) en redes neuronales (NN) es relevante para el
aprendizaje supervisado (SL) (Sección 5), el aprendizaje no supervisado (UL)
(Sección 5) y Aprendizaje por refuerzo (RL) (Sección 6). Al aliviar los problemas
con las Rutas de Asignación de Crédito profundas (CAP, Secciones 3, 5.9), UL
(Sección 5.6.4) no solo facilita SL de secuencias (Sección 5.10) y patrones
estacionarios (Secciones 5.7, 5.15), sino también RL (Secciones 6.4). , 4.2). La
programación dinámica (DP, Sección 4.1) es importante tanto para SL profundo
(Sección 5.5) como para RL tradicional con NN profundos (Sección 6.2). Una
búsqueda de NN de baja complejidad, resistentes a las perturbaciones (Secciones
5.6.3, 5.15, 5.24) y de baja complejidad que se puedan describir con unos pocos
bits de información (Sección 4.4) puede reducir el sobreajuste y mejorar SL y UL
profundos (Secciones 5.6.3, 5.6.3, 5.24). 5.6.4) , así como RL (Sección 6.7),
también en el caso de entornos parcialmente observables (Sección 6.3). Deep SL,
UL, RL a menudo crean jerarquías de representaciones cada vez más abstractas
de datos estacionarios (Secciones 5.3, 5.7, 5.15), datos secuenciales (Sección
5.10) o políticas de RL (Sección 6.5). Si bien UL puede facilitar SL, SL puro para
NN feedforward (FNN) (Secciones 5.5, 5.8, 5.16, 5.18) y NN recurrentes (RNN)
(Secciones 5.5, 5.13) no solo ganó los primeros concursos (Secciones 5.12, 5.14)
sino también la mayoría de los recientes (Secciones 5.17 a 5.22). Especialmente
DL en FNN se benefició de las implementaciones de GPU (Secciones 5.16 a 5.19).
En particular, las NN convolucionales basadas en GPU (Sección 5.19), Max­
Pooling (Sección 5.11) (Secciones 5.4, 5.8, 5.16) ganaron competencias no solo
en reconocimiento de patrones (Secciones 5.19 a 5.22) , sino también en
segmentación de imágenes (Sección 5.21) y objetos. detección (Secciones 5.21,
5.22).
A diferencia de estos sistemas, los humanos aprenden a percibir patrones
activamente dirigiendo secuencialmente la atención a partes relevantes de los
datos disponibles. Los NN profundos en un futuro cercano también lo harán,
ampliando el trabajo previo desde 1990 sobre NN que aprenden atención selectiva
a través de RL de (a) acciones motoras como el control sacádico (Sección 6.1) y
(b) acciones internas que controlan los focos de atención dentro de los RNN.
cerrando así el circuito sensoriomotor general a través de retroalimentación tanto
externa como interna (p. ej., Secciones 2, 5.21, 6.6, 6.7).
Muchas NN profundas futuras también tendrán en cuenta que activar las
neuronas y enviar señales entre ellas cuesta energía.
Los cerebros parecen minimizar tales costos computacionales durante la
resolución de problemas de al menos dos maneras: (1) En un momento dado, sólo
una pequeña fracción de todas las neuronas está activa porque la competencia
local a través de mecanismos en los que el ganador se lo lleva todo apaga a
muchos vecinos. neuronas entrantes, y solo los ganadores pueden activar otras
neuronas a través de conexiones salientes (compárese con SLIM NN; Sección
5.24). (2) Numerosas neuronas están escasamente conectadas en un volumen
3D compacto mediante muchas conexiones de corto alcance y pocas de largo
alcance (muy parecidas a los microchips de las supercomputadoras tradicionales).
A menudo, las neuronas vecinas se asignan para resolver una única tarea, lo que
reduce los costes de comunicación. La física parece dictar que cualquier hardware
computacional eficiente en el futuro también tendrá que ser similar a un cerebro.
Machine Translated by Google

104 J. Schmidhuber / Redes neuronales 61 (2015) 85–117

de acuerdo con estas dos limitaciones. Sin embargo, los RNN profundos
actuales más exitosos no lo son. A diferencia de ciertos NN con picos (Sección
5.26), generalmente activan todas las unidades al menos ligeramente y tienden
a estar fuertemente conectados, ignorando las limitaciones naturales del
Anguita, D. y Gomes, BA (1996). Combinación de formatos de punto fijo y flotante para el aprendizaje de
redes neuronales en neuroprocesadores. Microprocesamiento y microprogramación, 41 (10), 757–769.
Anguita, D., Parodi, G. y Zunino, R. (1994). Una implementación eficiente de BP en
Estaciones de trabajo basadas en RISC. Neurocomputación, 6(1), 57–65.

hardware 3D. Debería ser posible mejorarlos adoptando (1) y (2), y minimizando
los costos no diferenciables de energía y comunicación mediante la búsqueda
directa en el espacio (peso) del programa (por ejemplo, Secciones 6.6 , 6.7).
Estos RNN más parecidos a un cerebro asignarán partes de RNN vecinas a
comportamientos relacionados y partes de RNN distantes a comportamientos
menos relacionados, automodularizándose así de una manera más general que
la de los mapas autoorganizados tradicionales en FNN (Sección 5.6.4) . ).
Arel, I., Rose, DC y Karnowski, TP (2010). Aprendizaje automático profundo: una nueva frontera en la
investigación de la inteligencia artificial. Revista IEEE Computational Intelligence, 5(4), 13–18.
Ceniza, T. (1989). Creación de nodos dinámicos en redes neuronales de retropropagación.
Ciencia de la conexión, 1(4), 365–375.
Atick, J. J., Li, Z. y Redlich, AN (1992). Comprender la codificación de colores de la retina desde los primeros
principios. Computación neuronal, 4, 559–572.
Atiya, AF y Parlos, AG (2000). Nuevos resultados sobre entrenamiento recurrente de redes: unificando los
algoritmos y acelerando la convergencia. Transacciones IEEE en redes neuronales, 11(3), 697–709.

También implementarán la navaja de Occam (Secciones 4.4, 5.6.3) como

subproducto de la minimización de energía, al encontrar soluciones de
problemas simples (altamente generalizadoras) que requieren pocas neuronas
activas y pocas conexiones, en su mayoría cortas.
El futuro más lejano puede pertenecer a algoritmos de aprendizaje de
propósito general que mejoren de manera demostrablemente óptima (Sección
6.8), pero aún no son prácticos ni comercialmente relevantes.
Expresiones de gratitud
Desde el 16 de abril de 2014, los borradores de este documento se han
sometido a una revisión masiva y abierta por pares en línea a través de listas
de correo públicas que incluyen connectists@cs.cmu.edu, ml­
news@googlegroups.com, comp­neuro@neuroinf.org,
genetic_programming@yahoogroups.com, rl­list@googlegroups.com ,
imageworld@diku.dk, Foro de aprendizaje automático de Google+ . Gracias a
numerosos expertos de NN/DL por sus valiosos comentarios. Gracias al SNF,
a la DFG y a la Comisión Europea por financiar parcialmente mi grupo de investigación deP.DL (2012). Codificadores
El contenido de este documento puede utilizarse con fines educativos y no
comerciales, incluidos artículos para Wikipedia y sitios similares.
Ba, J. y Frey, B. (2013). Abandono adaptativo para entrenar redes neuronales profundas.
En Avances en los sistemas de procesamiento de información neuronal (NIPS) (págs. 3084­3092).
Baird, H. (1990). Modelos de defectos de imagen de documento. En Actas, taller de la IAPR sobre
Reconocimiento de patrones sintácticos y estructurales.
Baird, LC (1995). Algoritmos residuales: Aprendizaje por refuerzo con aproximación de funciones. En
Conferencia internacional sobre aprendizaje automático (págs. 30­37).
Baird, L. y Moore, AW (1999). Descenso de gradiente para aprendizaje por refuerzo general. En Avances en
sistemas de procesamiento de información neuronal, vol. 12 (NIPS) (págs. 968–974). Prensa del MIT.
Bakker, B. (2002). Aprendizaje por refuerzo con memoria a largo plazo. En TG
Dietterich, S. Becker y Z. Ghahramani (Eds.), Avances en los sistemas de procesamiento de información
neuronal, vol. 14 (págs. 1475­1482). Cambridge, MA: MIT Press.
Bakker, B. y Schmidhuber, J. (2004). Aprendizaje por refuerzo jerárquico basado en el descubrimiento de
subobjetivos y la especialización de subpolíticas. En F. Groen, et al. (Eds.), Proc. Octava conferencia
sobre sistemas autónomos inteligentes IAS­8 (págs. 438–445). Ámsterdam, Países Bajos: IOS Press.
Bakker, B., Zhumatiy, V., Gruener, G. y Schmidhuber, J. (2003). Un robot que aprende por refuerzo a
identificar y memorizar observaciones previas importantes. En Actas de la conferencia internacional
IEEE/RSJ de 2003 sobre robots y sistemas inteligentes (págs. 430–435).
Baldi, P. (1995). Descripción general de los algoritmos de aprendizaje de descenso de gradientes: una
perspectiva general de los sistemas dinámicos. Transacciones IEEE en redes neuronales, 6(1), 182–
195.
Baldi,
durante automáticos,
el último cuarto aprendizaje
de siglo. no supervisado y arquitecturas profundas.
Revista de investigación sobre aprendizaje automático, 27, 37–50. (Proc. 2011 Taller ICML sobre
aprendizaje por transferencia y no supervisado).
Baldi, P., Brunak, S., Frasconi, P., Pollastri, G. y Soda, G. (1999). Explotando el pasado y el futuro en la
predicción de la estructura secundaria de proteínas. Bioinformática, 15, 937–946.

Referencias
Aberdeen, D. (2003). Algoritmos de gradiente de políticas para procesos de decisión de Markov parcialmente
observables (tesis doctoral), Universidad Nacional de Australia.
Abounadi, J., Bertsekas, D. y Borkar, VS (2002). Algoritmos de aprendizaje para procesos de decisión de
Markov con coste medio. Revista SIAM sobre control y optimización, 40 (3), 681–698.
Akaike, H. (1970). Identificación de predictores estadísticos. Anales del Instituto de Matemática Estadística,
22, 203–217.
Akaike, H. (1973). Teoría de la información y una extensión del principio de máxima verosimilitud. En
Segunda Internacional. simposio sobre teoría de la información (págs. 267­281).
Akademinai Kiado.
Akaike, H. (1974). Una nueva mirada a la identificación de modelos estadísticos. Transacciones IEEE sobre
control automático, 19(6), 716–723.
Allender, A. (1992). Aplicación de la complejidad de Kolmogorov con límite de tiempo en la teoría de la
complejidad. En O. Watanabe (Ed.), monografías de EATCS sobre informática teórica, complejidad de
Kolmogorov y complejidad computacional (págs. 6­22).
Saltador.
Almeida, LB (1987). Una regla de aprendizaje para perceptrones asincrónicos con retroalimentación en un
entorno combinatorio. En IEEE 1ª conferencia internacional sobre redes neuronales, vol. 2 (págs. 609–
618).
Almeida, LB, Almeida, LB, Langlois, T., Amaral, JD y Redol, RA (1997). Adaptación del tamaño del paso en
línea. Informe técnico, INESC, 9 Rua Alves Redol, 1000.
Amari, S. (1967). Una teoría de clasificadores de patrones adaptativos. Transacciones IEEE en computadoras
electrónicas, 16(3), 299–307.
Amari, S.­I. (1998). El gradiente natural funciona eficientemente en el aprendizaje. Computación neuronal, 10
(2), 251–276.
Amari, S., Cichocki, A. y Yang, H. (1996). Un nuevo algoritmo de aprendizaje para la separación de señales
ciegas. En DS Touretzky, MC Mozer y ME Hasselmo (Eds.), Avances en los sistemas de procesamiento
de información neuronal (NIPS), vol. 8. La prensa del MIT.
Amari, S. y Murata, N. (1993). Teoría estadística de curvas de aprendizaje bajo criterio de pérdida entrópica.
Baldi, P. y Chauvin, Y. (1993). Redes neuronales para el reconocimiento de huellas dactilares. Neural
Computación, 5(3), 402–418.
Baldi, P. y Chauvin, Y. (1996). Modelado híbrido, arquitecturas HMM/NN y aplicaciones de proteínas.
Computación neuronal, 8 (7), 1541­1565.
Baldi, P. y Hornik, K. (1989). Redes neuronales y análisis de componentes principales: aprender de ejemplos
sin mínimos locales. Redes neuronales, 2, 53–58.
Baldi, P. y Hornik, K. (1995). Aprendizaje en redes lineales: una encuesta. Transacciones IEEE
sobre redes neuronales, 6 (4), 837–858. 1995.
Baldi, P. y Pollastri, G. (2003). El diseño de principios de arquitecturas de redes neuronales recursivas a gran
escala: DAG­RNN y el problema de predicción de la estructura de proteínas. Revista de investigación
sobre aprendizaje automático, 4, 575–602.
Baldi, P. y Sadowski, P. (2014). El algoritmo de aprendizaje de abandono. Artificial
Inteligencia, 210C, 78–122.
Ballard, DH (1987). Aprendizaje modular en redes neuronales. En Proc. AAAI
(págs. 279–284).
Baluja, S. (1994). Aprendizaje incremental basado en la población: un método para integrar la optimización
de funciones basadas en búsqueda genética y el aprendizaje competitivo. Informe técnico CMU­
CS­94­163. Universidad de Carnegie mellon.
Balzer, R. (1985). Una perspectiva de 15 años sobre la programación automática. Transacciones IEEE sobre
ingeniería de software, 11 (11), 1257–1268.
Barlow, HB (1989). Aprendizaje sin supervisión. Computación neuronal, 1 (3), 295–311.
Barlow, HB, Kaushal, TP y Mitchison, GJ (1989). Encontrar la entropía mínima
códigos. Computación neuronal, 1 (3), 412–423.
Barrow, HG (1987). Aprendizaje de campos receptivos. En Actas de la primera conferencia anual del IEEE
sobre redes neuronales, vol. IV (págs. 115­121). IEEE.
Barto, AG y Mahadevan, S. (2003). Avances recientes en el aprendizaje por refuerzo jerárquico. Sistemas
dinámicos de eventos discretos, 13 (4), 341–379.
Barto, AG, Singh, S. y Chentanez, N. (2004). Aprendizaje intrínsecamente motivado de conjuntos jerárquicos
de habilidades. En Actas de la conferencia internacional sobre aprendizaje para el desarrollo (págs.
112­119). Cambridge, MA: MIT Press.
Barto, AG, Sutton, RS y Anderson, CW (1983). Elementos adaptativos tipo neurona que pueden resolver

Computación neuronal, 5 (1), 140­153. problemas difíciles de control del aprendizaje. Transacciones IEEE sobre sistemas, hombre y cibernética,

Amit, DJ y Brunel, N. (1997). Dinámica de una red recurrente de neuronas activas antes y después del SMC­13, 834–846.

aprendizaje. Red: Computación en sistemas neuronales, 8(4), 373–404.
An, G. (1996). Los efectos de agregar ruido durante el entrenamiento de retropropagación en un rendimiento
de generalización. Computación neuronal, 8 (3), 643–674.
Andrade, MA, Chacón, P., Merelo, JJ y Morán, F. (1993). Evaluación de la estructura secundaria de proteínas
a partir de espectros de dicroísmo circular UV utilizando una red neuronal de aprendizaje no supervisado.
Ingeniería de proteínas, 6(4), 383–390.
Andrews, R., Diederich, J. y Tickle, AB (1995). Estudio y crítica de técnicas de extracción de reglas a partir
de redes neuronales artificiales entrenadas. Sistemas basados en el conocimiento, 8(6), 373–389.
Battiti, R. (1989). Aprendizaje acelerado de retropropagación: dos optimizaciones
métodos. Sistemas complejos, 3(4), 331–342.
Battiti, T. (1992). Métodos de aprendizaje de primer y segundo orden: entre el descenso más pronunciado y
el método de Newton. Computación neuronal, 4 (2), 141–166.
Baum, EB y Haussler, D. (1989). ¿Qué tamaño de red da una generalización válida? Neural
Computación, 1(1), 151–160.
Baum, LE y Petrie, T. (1966). Inferencia estadística para funciones probabilísticas de cadenas de Markov de
estados finitos. Anales de estadística matemática, 1554­1563.
Baxter, J. y Bartlett, PL (2001). Estimación del gradiente de políticas de horizonte infinito. Revista de
investigación en inteligencia artificial, 15 (1), 319–350.
Machine Translated by Google
J. Schmidhuber / Redes neuronales 61 (2015) 85–117
Bayer, J. y Osendorfer, C. (2014). Inferencia variacional de secuencias de estados latentes utilizando
redes recurrentes. Preimpresión de ArXiv arXiv:1406.1655.
Bayer, J., Osendorfer, C., Chen, N., Urban, S. y van der Smagt, P. (2013). Sobre el abandono rápido y su
aplicabilidad a redes recurrentes. Preimpresión de ArXiv arXiv:1311.0701.
Bayer, J., Wierstra, D., Togelius, J. y Schmidhuber, J. (2009). Evolución de estructuras de células de
memoria para el aprendizaje de secuencias. En Proc. ICANN (2) (págs. 755–764).
Bayes, T. (1763). Un ensayo para resolver un problema en la doctrina de las posibilidades. Transacciones
filosóficas de la Royal Society de Londres, 53, 370–418.
Comunicado por R. Price, en carta dirigida a J. Canton.
Becker, S. (1991). Procedimientos de aprendizaje no supervisado para redes neuronales.
Revista internacional de sistemas neuronales, 2(1–2), 17–33.
Becker, S. y Le Cun, Y. (1989). Mejorar la convergencia del aprendizaje de retropropagación con métodos
de segundo orden. En D. Touretzky, G. Hinton y T. Sejnowski (Eds.), Proc. Escuela de verano de
modelos conexionistas de 1988, 1988 (págs. 29­37). San Mateo: Morgan Kaufmann.
Behnke, S. (1999). Aprendizaje y competencia hebbianos en la pirámide de abstracción neuronal. En
Actas de la conferencia conjunta internacional sobre redes neuronales, vol. 2 (págs. 1356­1361).
Behnke, S. (2001). Aprendizaje de la reconstrucción iterativa de imágenes en la pirámide de abstracción
neuronal. Revista internacional de aplicaciones e inteligencia computacional, 1(4), 427–438.
Behnke, S. (2002). Aprendizaje de la localización facial mediante redes recurrentes jerárquicas.
En Actas de la duodécima conferencia internacional sobre redes neuronales artificiales (págs.
1319­1324).
Behnke, S. (2003a). Descubrir características jerárquicas del habla mediante factorización matricial
convolucional no negativa. En Actas de la conferencia conjunta internacional sobre redes neuronales,
vol. 4 (págs. 2758­2763).
Behnke, S. (2003b). LNCS, Apuntes de conferencias sobre informática: vol. 2766. Redes neuronales
jerárquicas para interpretación de imágenes. Saltador.
Behnke, S. (2005). Localización y seguimiento de rostros en la pirámide de abstracción neuronal.
Aplicaciones y computación neuronal, 14 (2), 97–103.
Behnke, S. y Rojas, R. (1998). Pirámide de abstracción neuronal: una imagen jerárquica que comprende
la arquitectura. En Actas de la conferencia conjunta internacional sobre redes neuronales, vol. 2
(págs. 820–825).
Bell, AJ y Sejnowski, TJ (1995). Un enfoque de maximización de la información para la separación ciega
y la deconvolución ciega. Computación neuronal, 7 (6), 1129­1159.
Bellman, R. (1957). Programación dinámica (1ª ed). Princeton, Nueva Jersey, EE.UU.: Princeton
University Press.
Belouchrani, A., Abed­Meraim, K., Cardoso, J.­F. y Moulines, E. (1997). Una técnica de separación de
fuentes ciega que utiliza estadísticas de segundo orden. Transacciones IEEE sobre procesamiento
de señales, 45 (2), 434–444.
Bengio, Y. (1991). Redes neuronales artificiales y su aplicación al reconocimiento de secuencias (tesis
doctoral), Montreal, QC, Canadá: Universidad McGill, (Ciencias de la Computación).
Bengio, Y. (2009). Fundamentos y tendencias del aprendizaje automático: vol. 2(1). Aprendiendo
Arquitecturas profundas para IA. Ahora editores.
Bengio, Y., Courville, A. y Vincent, P. (2013). Aprendizaje de representación: una revisión y nuevas
perspectivas. Transacciones IEEE sobre análisis de patrones e inteligencia artificial, 35(8), 1798–
1828.
Bengio, Y., Lamblin, P., Popovici, D. y Larochelle, H. (2007). Entrenamiento codicioso por capas de redes
profundas. En JD Cowan, G. Tesauro y J. Alspector (Eds.), Avances en sistemas de procesamiento
de información neuronal, vol. 19 (NIPS) (págs. 153­160).
Prensa del MIT.
Bengio, Y., Simard, P. y Frasconi, P. (1994). Es difícil aprender dependencias a largo plazo con el
descenso de gradientes. Transacciones IEEE en redes neuronales, 5(2), 157–166.
Beringer, N., Graves, A., Schiel, F. y Schmidhuber, J. (2005). Clasificación del habla espontánea mediante
el reentrenamiento de redes LSTM. En W. Duch, J. Kacprzyk, E. Oja y S. Zadrozny (Eds.), LNCS:
vol. 3696. Redes neuronales artificiales: inspiraciones biológicas—ICANN 2005 (págs. 575–581).
Berlín, Heidelberg: Springer­Verlag.
Bertsekas, DP (2001). Programación dinámica y control óptimo. Atenas científica.
Bertsekas, DP y Tsitsiklis, JN (1996). Programación neurodinámica. Belmont, MA: Athena científica.
Bichot, NP, Rossi, AF y Desimone, R. (2005). Mecanismos neuronales paralelos y seriales para la
búsqueda visual en el área de macacos V4. Ciencia, 308, 529–534.
Biegler­König, F. y Bärmann, F. (1993). Un algoritmo de aprendizaje para redes neuronales multicapa
basado en problemas de mínimos cuadrados lineales. Redes neuronales, 6(1), 127–131.
Obispo, CM (1993). Suavizado impulsado por curvatura: un algoritmo de aprendizaje para redes de
retroalimentación. Transacciones IEEE en redes neuronales, 4(5), 882–884.
Obispo, CM (2006). Reconocimiento de patrones y aprendizaje automático. Saltador.
Blair, AD y Pollack, JB (1997). Análisis de reconocedores dinámicos. Computación neuronal, 9 (5),
1127­1142.
Blondel, VD y Tsitsiklis, JN (2000). Un estudio de los resultados de la complejidad computacional
en sistemas y control. Automática, 36(9), 1249­1274.
Bluche, T., Louradour, J., Knibbe, M., Moysset, B., Benzeghiba, F. y Kermorvant, C. (2014). El sistema
de reconocimiento de texto escrito a mano en árabe A2iA en la evaluación OpenHaRT2013. En
Taller internacional sobre sistemas de análisis de documentos.
Blum, AL y Rivest, RL (1992). El entrenamiento de una red neuronal de 3 nodos es NP completo.
Redes neuronales, 5(1), 117–127.
Blumer, A., Ehrenfeucht, A., Haussler, D. y Warmuth, MK (1987). La navaja de Occam.
Cartas de procesamiento de información, 24, 377–380.
Bobrowski, L. (1978). Procesos de aprendizaje en redes de umbral multicapa. Biológico
Cibernética, 31, 1–6.
Bodén, M. y Wiles, J. (2000). Dinámica sensible al contexto y libre de contexto en redes neuronales
recurrentes. Ciencia de la conexión, 12 (3–4), 197–210.
105
Bodenhausen, U. y Waibel, A. (1991). El algoritmo Tempo 2: ajuste de retrasos temporales mediante
aprendizaje supervisado. En DS Lippman, JE Moody y DS Touretzky (Eds.), Avances en sistemas
de procesamiento de información neuronal, vol. 3 (págs. 155­161).
Morgan Kaufman.
Bohte, SM, Kok, JN y La Poutre, H. (2002). Propagación hacia atrás de errores en redes codificadas
temporalmente de neuronas con picos. Neurocomputación, 48 (1), 17–37.
Boltzmann, L. (1909). En F. Hasenöhrl (Ed.), Wissenschaftliche Abhandlungen. Leipzig: Barth (colección
de artículos de Boltzmann en revistas científicas).
Bottou, L. (1991). Une approche théorique de l'apprentissage connexioniste; aplicaciones à la
reconnaissance de la parole (tesis doctoral), Universidad de París XI.
Bourlard, H. y Morgan, N. (1994). Reconocimiento de voz conexionista: un híbrido
acercarse. Editores académicos de Kluwer.
Boutilier, C. y Poole, D. (1996). Calcular políticas óptimas para procesos de decisión de Markov
parcialmente observables utilizando representaciones compactas. En Actas de la AAAI.
Bradtke, SJ, Barto, AG y Kaelbling, LP (1996). Algoritmos de mínimos cuadrados lineales para el
aprendizaje de diferencias temporales. Aprendizaje automático, 22–33.
Brafman, RI y Tennenholtz, M. (2002). R­MAX: un algoritmo de tiempo polinómico general para un
aprendizaje por refuerzo casi óptimo. Revista de investigación sobre aprendizaje automático, 3, 213–
231.
Brea, J., Senn, W. y Pfister, J.­P. (2013). Emparejamiento de recuperación y almacenamiento en
aprendizaje secuencial con redes neuronales activas. La Revista de Neurociencia, 33(23), 9565–
9575.
Breiman, L. (1996). Predictores de embolsado. Aprendizaje automático, 24, 123–140.
Brette, R., Rudolph, M., Carnevale, T., Hines, M., Beeman, D., Bower, JM, et al.
(2007). Simulación de redes de neuronas activas: una revisión de herramientas y estrategias.
Revista de neurociencia computacional, 23 (3), 349–398.
Breuel, TM, Ul­Hasan, A., Al­Azawi, MA y Shafait, F. (2013). OCR de alto rendimiento para inglés impreso
y Fraktur utilizando redes LSTM. En la XII Conferencia internacional sobre análisis y reconocimiento
de documentos (págs. 683–687). IEEE.
Bromley, J., Bentz, JW, Bottou, L., Guyon, I., LeCun, Y., Moore, C., et al. (1993).
Verificación de firma mediante una red neuronal de retardo de tiempo siamesa. Revista internacional
de reconocimiento de patrones e inteligencia artificial, 7(4), 669–688.
Broyden, CG y cols. (1965). Una clase de métodos para resolver ecuaciones simultáneas no lineales.
Matemáticas de la Computación, 19(92), 577–593.
Brueckner, R. y Schulter, B. (2014). Clasificación de señales sociales utilizando redes neuronales
recurrentes BLSTM profundas. En Actas de la 39.ª conferencia internacional del IEEE sobre acústica,
voz y procesamiento de señales (págs. 4856–4860).
Brunel, N. (2000). Dinámica de redes escasamente conectadas de neuronas excitadoras e inhibidoras.
Revista de neurociencia computacional, 8(3), 183–208.
Bryson, AE (1961). Un método de gradiente para optimizar procesos de asignación de múltiples etapas.
En Proc. Universidad de Harvard. Simposio sobre computadoras digitales y sus aplicaciones.
Bryson Jr., AE y Denham, WF (1961). Un método de ascenso más pronunciado para resolver problemas
de programación óptima. Informe técnico BR­1303. Compañía Raytheon, División Espacial y de
Misiles.
Bryson, A. y Ho, Y. (1969). Control óptimo aplicado: optimización, estimación y
control. Pub Blaisdell. Co.
Buhler, J. (2001). Comparación eficiente de secuencias a gran escala por sensibilidad a la localidad
hash. Bioinformática, 17(5), 419–428.
Buntine, WL y Weigend, AS (1991). Propagación hacia atrás bayesiana. Sistemas complejos , 5, 603–
643.
Burgess, N. (1994). Un algoritmo constructivo que converge para patrones de entrada de valor real.
Revista internacional de sistemas neuronales, 5(1), 59–66.
Cardoso, J.­F. (1994). Sobre el desempeño de la separación de fuentes ortogonales
algoritmos. En Proc. EUSIPCO (págs. 776–779).
Carreira­Perpiñán, MA (2001). Modelos continuos de variables latentes para la reducción de
dimensionalidad y la reconstrucción secuencial de datos (tesis doctoral), Reino Unido: Universidad
de Sheffield.
Carter, MJ, Rudolph, FJ y Nucci, AJ (1990). Tolerancia operativa a fallos de redes CMAC. En DS
Touretzky (Ed.), Avances en sistemas de procesamiento de información neuronal (NIPS), vol. 2
(págs. 340–347). San Mateo, California: Morgan Kaufmann.
Caruana, R. (1997). Aprendizaje multitarea. Aprendizaje automático, 28(1), 41–75.
Casey, diputado (1996). La dinámica de la computación en tiempo discreto, con aplicación a redes
neuronales recurrentes y extracción de máquinas de estados finitos. Computación neuronal, 8 (6),
1135­1178.
Cauwenberghs, G. (1993). Un algoritmo rápido de descenso de errores estocástico para optimización y
aprendizaje supervisado. En DS Lippman, JE Moody y DS Touretzky (Eds.), Avances en sistemas
de procesamiento de información neuronal, vol. 5 (pág. 244). Morgan Kaufman.
Chaitin, GJ (1966). Sobre la duración de los programas para calcular binarios finitos
secuencias. Revista de la ACM, 13, 547–569.
Chalup, SK y Blair, AD (2003). Entrenamiento incremental de redes neuronales recurrentes de primer
orden para predecir un lenguaje sensible al contexto. Redes neuronales, 16(7), 955–972.
Chellapilla, K., Puri, S. y Simard, P. (2006). Redes neuronales convolucionales de alto rendimiento para
procesamiento de documentos. En Taller internacional sobre Fronteras en el reconocimiento de
escritura.
Chen, K. y Salman, A. (2011). Aprender características específicas del hablante con una arquitectura
neuronal profunda. Transacciones IEEE en redes neuronales, 22(11), 1744–1756.
Cho, K. (2014). Fundamentos y avances en el aprendizaje profundo (tesis doctoral), Aalto
Escuela Universitaria de Ciencias.
Cho, K., Ilin, A. y Raiko, T. (2012). Regularización tipo Tikhonov para máquinas Boltzmann restringidas.
En Internacional. conf. sobre redes neuronales artificiales 2012 (págs. 81–88).
Saltador.
Cho, K., Raiko, T. e Ilin, A. (2013). Gradiente mejorado para entrenar máquinas Boltzmann restringidas.
Computación neuronal, 25 (3), 805–831.
Machine Translated by Google
106 J. Schmidhuber / Redes neuronales 61 (2015) 85–117
Iglesia, A. (1936). Un problema irresoluble de la teoría elemental de números. El
Revista Estadounidense de Matemáticas, 58, 345–363.
Ciresan, DC, Giusti, A., Gambardella, LM y Schmidhuber, J. (2012). Las redes neuronales profundas
segmentan las membranas neuronales en imágenes de microscopía electrónica.
En Avances en los sistemas de procesamiento de información neuronal (NIPS) (págs. 2852–2860).
Ciresan, DC, Giusti, A., Gambardella, LM y Schmidhuber, J. (2013). Detección de mitosis en imágenes
histológicas de cáncer de mama con redes neuronales profundas. En Proc.
MICCAI, vol. 2 (págs. 411–418).
Ciresan, DC, Meier, U., Gambardella, LM y Schmidhuber, J. (2010). Redes neuronales simples, grandes y
profundas para el reconocimiento de dígitos escritos a mano. Computación neuronal, 22 (12), 3207–
3220.
Ciresan, DC, Meier, U., Masci, J., Gambardella, LM y Schmidhuber, J.
(2011). Redes neuronales convolucionales flexibles y de alto rendimiento para clasificación de imágenes.
En Internacional. conferencia conjunta sobre inteligencia artificial (págs. 1237­1242).
Ciresan, DC, Meier, U., Masci, J. y Schmidhuber, J. (2011). Un comité de redes neuronales para la clasificación
de señales de tráfico. En Conferencia internacional conjunta sobre redes neuronales (págs. 1918­1921).
Ciresan, DC, Meier, U., Masci, J. y Schmidhuber, J. (2012). Red neuronal profunda de varias columnas para
clasificación de señales de tráfico. Redes neuronales, 32, 333–338.
Ciresan, DC, Meier, U. y Schmidhuber, J. (2012a). Redes neuronales profundas de varias columnas para
clasificación de imágenes. En la Conferencia IEEE sobre visión por computadora y reconocimiento de
patrones. Preimpresión larga arXiv:1202.2745v1 [cs.CV].
Ciresan, DC, Meier, U. y Schmidhuber, J. (2012b). Transferir el aprendizaje de caracteres latinos y chinos con
redes neuronales profundas. En Conferencia conjunta internacional sobre redes neuronales (págs.
1301­1306).
Ciresan, DC y Schmidhuber, J. (2013). Redes neuronales profundas de varias columnas para la clasificación
de caracteres chinos escritos a mano sin conexión. Reporte técnico. IDSIA. arXiv:1309.0261.
Cliff, D. T., Husbands, P. y Harvey, I. (1993). Evolución de redes dinámicas recurrentes para el control de
robots. En Redes neuronales artificiales y algoritmos genéticos (págs. 428–435).
Saltador.
Clune, J., Mouret, J.­B. y Lipson, H. (2013). Los orígenes evolutivos de la modularidad.
Actas de la Royal Society B: Biological Sciences, 280(1755), 20122863.
Clune, J., Stanley, KO, Pennock, RT y Ofria, C. (2011). Sobre el desempeño de la codificación indirecta a lo
largo del continuo de regularidad. Transacciones IEEE sobre computación evolutiva, 15 (3), 346–367.
Coates, A., Huval, B., Wang, T., Wu, DJ, Ng, AY y Catanzaro, B. (2013). Aprendizaje profundo con sistemas
COTS HPC. En Proc. Congreso internacional sobre aprendizaje automático.
Cochocki, A. y Unbehauen, R. (1993). Redes neuronales para optimización y procesamiento de señales. John
Wiley & Sons, Inc.
Collobert, R. y Weston, J. (2008). Una arquitectura unificada para el procesamiento del lenguaje natural: redes
neuronales profundas con aprendizaje multitarea. En Actas de la 25ª conferencia internacional sobre
aprendizaje automático (págs. 160­167). ACM.
Comon, P. (1994). Análisis de componentes independientes: ¿un nuevo concepto? Señal
Procesamiento, 36(3), 287–314.
Connor, CE, Brincat, SL y Pasupathy, A. (2007). Transformación de información de forma en la vía ventral.
Opinión actual en neurobiología, 17 (2), 140­147.
Connor, J., Martín, DR y Atlas, LE (1994). Redes neuronales recurrentes y predicción robusta de series
temporales. Transacciones IEEE en redes neuronales, 5(2), 240–254.
Cook, SA (1971). La complejidad de los procedimientos de demostración de teoremas. En Actas del tercer
simposio anual de ACM sobre teoría de la informática (págs. 151­158). Nueva York: ACM.
Cramer, NL (1985). Una representación para la generación adaptativa de programas secuenciales simples.
En J. Grefenstette (Ed.), Actas de una conferencia internacional sobre algoritmos genéticos y sus
aplicaciones, Universidad Carnegie­Mellon.
Hillsdale, Nueva Jersey: Lawrence Erlbaum Associates.
Craven, P. y Wahba, G. (1979). Suavizado de datos ruidosos con funciones spline: estimación del grado
correcto de suavizado mediante el método de validación cruzada generalizada. Numerische Mathematik,
31, 377–403.
Cuccu, G., Luciw, M., Schmidhuber, J. y Gomez, F. (2011). Búsqueda evolutiva intrínsecamente motivada de
aprendizaje por refuerzo basado en la visión. En Actas de la conferencia IEEE de 2011 sobre desarrollo
y aprendizaje y robótica epigenética IEEE­ICDL­EPIROB, vol. 2 (págs. 1 a 7). IEEE.
Dahl, GE, Sainath, TN y Hinton, GE (2013). Mejora de redes neuronales profundas para LVCSR utilizando
unidades lineales rectificadas y deserción. En la conferencia internacional IEEE sobre acústica, habla y
procesamiento de señales (págs. 8609–8613). IEEE.
Dahl, G., Yu, D., Deng, L. y Acero, A. (2012). Redes neuronales profundas preentrenadas dependientes del
contexto para el reconocimiento de voz con un amplio vocabulario. Transacciones IEEE sobre
procesamiento de audio, voz y lenguaje, 20(1), 30–42.
D'Ambrosio, DB y Stanley, KO (2007). Una novedosa codificación generativa para explotar sensores de redes
neuronales y geometría de salida. En Actas de la conferencia sobre computación genética y evolutiva
(págs. 974–981).
Datar, M., Immorlica, N., Indyk, P. y Mirrokni, VS (2004). Esquema de hash sensible a la localidad basado en
distribuciones p­estables. En Actas del vigésimo simposio anual sobre geometría computacional (págs.
253­262). ACM.
Dayan, P. y Hinton, G. (1993). Aprendizaje por refuerzo feudal. En DS Lippman, J.
E. Moody y DS Touretzky (Eds.), Avances en los sistemas de procesamiento de información neuronal
(NIPS), vol. 5 (págs. 271­278). Morgan Kaufman.
Dayan, P. y Hinton, GE (1996). Variedades de máquina Helmholtz. Redes neuronales, 9(8), 1385­1403.
Dayan, P., Hinton, GE, Neal, RM y Zemel, RS (1995). La máquina de Helmholtz.
Computación neuronal, 7, 889–904.
Dayan, P. y Zemel, R. (1995). Modelos de competencia y causas múltiples. Neural
Computación, 7, 565–579.
Deco, G. y Parra, L. (1997). Extracción de características no lineales mediante reducción de redundancia en
una red neuronal estocástica no supervisada. Redes neuronales, 10(4), 683–691.
Deco, G. y Rolls, et (2005). Neurodinámica de competencia sesgada y cooperación para la atención: un
modelo con neuronas activas. Revista de Neurofisiología, 94(1), 295–313.
De Freitas, JFG (2003). Métodos bayesianos para redes neuronales (tesis doctoral), Universidad de Cambridge.
DeJong, G. y Mooney, R. (1986). Aprendizaje basado en explicaciones: una visión alternativa.
Aprendizaje automático, 1(2), 145–176.
DeMers, D. y Cottrell, G. (1993). Reducción de dimensionalidad no lineal. En SJ Hanson, JD Cowan y CL
Giles (Eds.), Avances en los sistemas de procesamiento de información neuronal (NIPS), vol. 5 (págs.
580–587). Morgan Kaufman.
Dempster, AP, Laird, NM y Rubin, DB (1977). Máxima probabilidad de datos incompletos mediante el algoritmo
EM. Revista de la Real Sociedad de Estadística B, 39.
Deng, L. y Yu, D. (2014). Aprendizaje profundo: métodos y aplicaciones. AHORA Editores.
Desimone, R., Albright, TD, Gross, CG y Bruce, C. (1984). Propiedades selectivas de estímulos de las
neuronas temporales inferiores en el macaco. La Revista de Neurociencia, 4(8), 2051–2062. de Souto,
MC, Souto, MCPD y Oliveira, WRD
(1999). El problema de carga de las redes neuronales piramidales. Revista Electrónica de Matemáticas de la
Computación.
De Valois, RL, Albrecht, DG y Thorell, LG (1982). Selectividad de frecuencia espacial de las células en la
corteza visual de macacos. Investigación de la visión, 22(5), 545–559.
Deville, Y. y Lau, KK (1994). Síntesis de programas lógicos. Revista de programación lógica , 19(20), 321–
350. de Vries, B. y Príncipe, JC (1991).
Una teoría para redes neuronales con retrasos temporales.
En RP Lippmann, JE Moody y DS Touretzky (Eds.), Avances en los sistemas de procesamiento de
información neuronal (NIPS), vol. 3 (págs. 162­168). Morgan Kaufman.
DiCarlo, JJ, Zoccolan, D. y Rust, Carolina del Norte (2012). ¿ Cómo resuelve el cerebro el reconocimiento
visual de objetos? Neurona, 73(3), 415–434.
Dickmanns, ED, Behringer, R., Dickmanns, D., Hildebrandt, T., Maurer, M. y Thomanek, F., et al. (1994). El
coche de pasajeros que ve 'VaMoRs­P'. En Proc. En t. símp. sobre vehículos inteligentes (págs. 68 a 73).
Dickmanns, D., Schmidhuber, J. y Winklhofer, A. (1987). El algoritmo genético: una implementación en el
prólogo. Reporte técnico. Inst. de Informática, Tecnología. Univ.
Munich. http://www.idsia.ch/~juergen/geneticprogramming.html.
Dietterich, TG (2000a). Métodos de conjunto en aprendizaje automático. En Sistemas de clasificación múltiple
(págs. 1 a 15). Saltador.
Dietterich, TG (2000b). Aprendizaje por refuerzo jerárquico con la descomposición de la función de valor
MAXQ. Revista de Investigación en Inteligencia Artificial (JAIR), 13, 227–303.
Di Lena, P., Nagata, K. y Baldi, P. (2012). Arquitecturas profundas para el mapa de contacto de proteínas.
predicción. Bioinformática, 28, 2449–2457.
Director, SW y Rohrer, RA (1969). Diseño de red automatizado: el caso del dominio de la frecuencia.
Transacciones IEEE sobre teoría de circuitos, CT­16, 330–337.
Dittenbach, M., Merkl, D. y Rauber, A. (2000). El creciente mapa jerárquico autoorganizado. En la conferencia
conjunta internacional IEEE­INNS­ENNS sobre redes neuronales, vol. 6 (pág. 6015). Sociedad de
Computación IEEE.
Donahue, J., Jia, Y., Vinyals, O., Hoffman, J., Zhang, N. y Tzeng, E., et al. (2013). DeCAF: una función de
activación convolucional profunda para el reconocimiento visual genérico. Preimpresión de ArXiv
arXiv:1310.1531.
Dorffner, G. (1996). Redes neuronales para procesamiento de series temporales. En red neuronal
mundo.
Doya, K., Samejima, K., Ichi Katagiri, K. y Kawato, M. (2002). Aprendizaje por refuerzo basado en múltiples
modelos . Computación neuronal, 14 (6), 1347­1369.
Dreyfus, SE (1962). La solución numérica de problemas variacionales. Revista de análisis y aplicaciones
matemáticas, 5(1), 30–45.
Dreyfus, SE (1973). La solución computacional de problemas de control óptimo con desfase temporal.
Transacciones IEEE sobre control automático, 18 (4), 383–385.
Duchi, J., Hazan, E. y Singer, Y. (2011). Métodos adaptativos de subgradiente para el aprendizaje en línea y
optimización estocástica. La revista de aprendizaje automático, 12, 2121–2159.
Egorova, A., Gloye, A., Göktekin, C., Liers, A., Luft, M. y Rojas, R., et al. (2004). FU­fighters tamaño pequeño
2004, descripción del equipo. En el simposio RoboCup 2004: artículos y artículos de descripción del
equipo. Edición en CD.
Elfwing, S., Otsuka, M., Uchibe, E. y Doya, K. (2010). Aprendizaje por refuerzo basado en energía libre para
navegación basada en la visión con entradas sensoriales de alta dimensión. En procesamiento de
información neuronal. teoría y algoritmos (ICONIP), vol. 1 (págs. 215­222). Saltador.
Eliasmith, C. (2013). Cómo construir un cerebro: una arquitectura neuronal para la cognición biológica. Nueva
York, Nueva York: Oxford University Press.
Eliasmith, C., Stewart, TC, Choo, X., Bekolay, T., DeWolf, T., Tang, Y., et al. (2012).
Un modelo a gran escala del funcionamiento del cerebro. Ciencia, 338(6111), 1202–1205.
Elman, JL (1990). Encontrar estructura en el tiempo. Ciencia cognitiva, 14 (2), 179–211.
Erhan, D., Bengio, Y., Courville, A., Manzagol, P.­A., Vincent, P. y Bengio, S. (2010).
¿Por qué la formación previa no supervisada ayuda al aprendizaje profundo? Revista de investigación
sobre aprendizaje automático, 11, 625–660.
Escalante­B, AN y Wiskott, L. (2013). Cómo resolver problemas de clasificación y regresión en datos de alta
dimensión con una extensión supervisada de análisis de características lento. Revista de investigación
sobre aprendizaje automático, 14, 3683–3719.
Eubank, RL (1988). Suavizado de splines y regresión no paramétrica. En S. Farlow (Ed.), Métodos de
autoorganización en modelado. Nueva York: Marcel Dekker.
Euler, L. (1744). Methodus inveniendi.
Eyben, F., Weninger, F., Squartini, S. y Schuller, B. (2013). Detección de actividad de voz en la vida real con
redes neuronales recurrentes LSTM y una aplicación para películas de Hollywood. En Proc. 38ª
conferencia internacional IEEE sobre acústica, voz y procesamiento de señales (págs. 483–487).
Faggin, F. (1992). Hardware de red neuronal. En Conferencia conjunta internacional sobre redes neuronales,
vol. 1 (pág. 153).
Machine Translated by Google
J. Schmidhuber / Redes neuronales 61 (2015) 85–117
Fahlman, SE (1988). Un estudio empírico de la velocidad de aprendizaje en redes de retropropagación .
Informe técnico CMU­CS­88­162. Universidad Carnegie­Mellon..
Fahlman, SE (1991). El algoritmo de aprendizaje recurrente de correlación en cascada. En RP Lippmann, JE
Moody y DS Touretzky (Eds.), Avances en los sistemas de procesamiento de información neuronal
(NIPS), vol. 3 (págs. 190­196). Morgan Kaufman.
Falconbridge, MS, Stamps, RL y Badcock, DR (2006). Una red hebbiana/antihebbiana simple aprende los
componentes escasos e independientes de las imágenes naturales. Computación neuronal, 18 (2), 415–
429.
Fan, Y., Qian, Y., Xie, F. y Soong, FK (2014). Síntesis TTS con LSTM bidireccional
Redes neuronales recurrentes basadas en En Proc. Entre discursos.
Farabet, C., Couprie, C., Najman, L. y LeCun, Y. (2013). Aprendizaje de funciones jerárquicas para el
etiquetado de escenas. Transacciones IEEE sobre análisis de patrones e inteligencia artificial, 35(8),
1915­1929.
Farlow, SJ (1984). Métodos de autoorganización en modelado: algoritmos tipo GMDH, vol. 54. Prensa CRC.
Feldkamp, LA, Prokhorov, DV, Eagen, CF y Yuan, F. (1998). Entrenamiento de filtro Kalman de flujo múltiple
mejorado para redes recurrentes. En Modelado no lineal (págs. 29–53). Saltador.
Feldkamp, LA, Prokhorov, DV y Feldkamp, TM (2003). Comportamiento adaptativo simple y condicionado de
redes recurrentes entrenadas con filtro de Kalman. Redes neuronales, 16(5), 683–689.
Feldkamp, LA y Puskorius, GV (1998). Un marco de procesamiento de señales basado en redes neuronales
dinámicas con aplicación a problemas de adaptación, filtrado y clasificación. Actas del IEEE, 86(11),
2259–2277.
Felleman, DJ y Van Essen, DC (1991). Procesamiento jerárquico distribuido en la corteza cerebral de primates.
Corteza cerebral, 1(1), 1–47.
Fernández, S., Graves, A. y Schmidhuber, J. (2007a). Una aplicación de redes neuronales recurrentes para la
detección discriminativa de palabras clave. En Proc. ICANN (2) (págs. 220–229).
Fernández, S., Graves, A. y Schmidhuber, J. (2007b). Etiquetado de secuencias en dominios estructurados
con redes neuronales recurrentes jerárquicas. En Actas de la vigésima conferencia internacional conjunta
sobre inteligencia artificial.
Fernández, R., Rendel, A., Ramabhadran, B. y Hoory, R. (2014). Predicción de contornos de prosodia con
memoria a largo plazo, redes neuronales profundas y recurrentes bidireccionales. En Proc. Entre
discursos.
Campo, DJ (1987). Relaciones entre las estadísticas de imágenes naturales y las propiedades de respuesta
de las células corticales. Revista de la Sociedad Óptica de América, 4, 2379–2394.
Campo, DJ (1994). ¿Cuál es el objetivo de la codificación sensorial? Computación neuronal, 6,
559–601.
Fieres, J., Schemmel, J. y Meier, K. (2008). Realización de modelos de redes de picos biológicos en un sistema
de hardware configurable a escala de oblea. En la conferencia conjunta internacional IEEE sobre redes
neuronales (págs. 969–976).
Fine, S., Singer, Y. y Tishby, N. (1998). El modelo jerárquico oculto de Markov: análisis y aplicaciones.
Aprendizaje automático, 32 (1), 41–62.
Fischer, A. e Igel, C. (2014). Entrenamiento de máquinas Boltzmann restringidas: una
introducción. Reconocimiento de patrones, 47, 25–39.
FitzHugh, R. (1961). Impulsos y estados fisiológicos en modelos teóricos de membrana nerviosa. Revista
biofísica, 1(6), 445–466.
Fletcher, R. y Powell, MJ (1963). Un método de descenso rápidamente convergente para la minimización. El
diario de la computadora, 6(2), 163–168.
Floreano, D. y Mattiussi, C. (2001). Evolución de controladores neuronales para robots autónomos basados
en visión. En Robótica evolutiva. De la robótica inteligente a la vida artificial (págs. 38­61). Saltador.
Fogel, DB, Fogel, LJ y Porto, V. (1990). Redes neuronales en evolución. Biológico
Cibernética, 63(6), 487–493.
Fogel, L., Owens, A. y Walsh, M. (1966). Inteligencia artificial a través de simulación.
evolución. Nueva York: Wiley.
Földiák, P. (1990). Formación de escasas representaciones mediante el aprendizaje antihebbiano local.
Cibernética biológica, 64, 165­170.
Földiák, P. y Young, MP (1995). Codificación escasa en la corteza de los primates. En MA Arbib (Ed.), El
manual de teoría del cerebro y redes neuronales (págs. 895–898). La prensa del MIT.
Förster, A., Graves, A. y Schmidhuber, J. (2007). Aprendizaje basado en RNN de mapas compactos para una
localización eficiente de robots. En el 15º simposio europeo sobre redes neuronales artificiales (págs.
537–542).
Franzius, M., Sprekeler, H. y Wiskott, L. (2007). La lentitud y la escasez conducen a células de lugar, dirección
de la cabeza y visión espacial. Biología Computacional PLoS, 3(8), 166.
Friedman, J., Hastie, T. y Tibshirani, R. (2001). Serie Springer en estadística: vol. 1. El
Elementos del aprendizaje estadístico. Nueva York.
Frinken, V., Zamora­Martínez, F., España­Boquera, S., Castro­Bleda, MJ, Fischer, A. y Bunke, H. (2012).
Modelado del lenguaje de redes neuronales de memoria a largo y corto plazo para el reconocimiento de
escritura a mano. En 2012, 21ª conferencia internacional sobre reconocimiento de patrones (págs. 701–
704). IEEE.
Fritzke, B. (1994). Una red de gas neuronal en crecimiento aprende topologías. En G. Tesauro, DS Touretzky
y TK Leen (Eds.), NIPS (págs. 625–632). Prensa del MIT.
Fu, KS (1977). Reconocimiento y aplicaciones de patrones sintácticos. Berlín: Springer.
Fukada, T., Schuster, M. y Sagisaka, Y. (1999). Estimación de límites de fonemas utilizando redes neuronales
recurrentes bidireccionales y sus aplicaciones. Sistemas y computadoras en Japón, 30 (4), 20–30.
Fukushima, K. (1979). Modelo de red neuronal para un mecanismo de reconocimiento de patrones que no se
ve afectado por el cambio de posición: Neocognitron. Transacciones del IECE, J62­A(10), 658–665.
Fukushima, K. (1980). Neocognitron: una red neuronal autoorganizada para un mecanismo de reconocimiento
de patrones que no se ve afectado por el cambio de posición. Cibernética biológica, 36(4), 193–202.
107
Fukushima, K. (2011). Aumento de la robustez frente al ruido de fondo: reconocimiento de patrones visuales
mediante un neocognitrón. Redes neuronales, 24(7), 767–778.
Fukushima, K. (2013a). Visión artificial mediante redes neuronales multicapa: neocognitrón y sus avances.
Redes neuronales, 37, 103­119.
Fukushima, K. (2013b). Entrenamiento de red neuronal multicapa neocognitrón.
Redes neuronales, 40, 18–31.
Gabor, D. (1946). Teoría de la comunicación. Parte 1: el análisis de la información.
Ingenieros eléctricos­Parte III: Revista de la Institución de Ingeniería de Radio y Comunicaciones, 93(26),
429–441.
Galán, SI (1988). Sistemas expertos conexionistas. Comunicaciones de la ACM, 31(2), 152–169.
Gauss, CF (1809). Theoria motus corporum coelestium in sectionibus conicis solem
ambiente.
Gauss, CF (1821). Theoria combineis observeum erroribus minimis obnoxiae (Teoría de la combinación de
observaciones menos sujeta a error).
Ge, S., Hang, CC, Lee, TH y Zhang, T. (2010). Control estable de redes neuronales adaptativas.
Saltador.
Geiger, JT, Zhang, Z., Weninger, F., Schuller, B. y Rigoll, G. (2014). Reconocimiento de voz robusto que utiliza
redes neuronales recurrentes de memoria a corto plazo para modelado acústico híbrido. En Proc. entre
discursos.
Geman, S., Bienenstock, E. y Doursat, R. (1992). Las redes neuronales y el dilema sesgo/varianza.
Computación neuronal, 4, 1–58.
Gers, FA y Schmidhuber, J. (2000). Redes recurrentes que cronometran y cuentan.
En Actas de la conferencia conjunta internacional IEEE­INNS­ENNS sobre redes neuronales, 2000, vol.
3 (págs. 189­194). IEEE.
Gers, FA y Schmidhuber, J. (2001). Las redes recurrentes de LSTM aprenden lenguajes simples sensibles al
contexto y libres de contexto. Transacciones IEEE en redes neuronales, 12(6), 1333–1340.
Gers, FA, Schmidhuber, J. y Cummins, F. (2000). Aprender a olvidar: predicción continua con LSTM.
Computación neuronal, 12 (10), 2451–2471.
Gers, FA, Schraudolph, N. y Schmidhuber, J. (2002). Aprender la sincronización precisa con redes recurrentes
LSTM. Revista de investigación sobre aprendizaje automático, 3, 115–143.
Gerstner, W. y Kistler, WK (2002). Modelos de neuronas con picos. Universidad de Cambridge
Prensa.
Gerstner, W. y van Hemmen, JL (1992). Memoria asociativa en una red de neuronas activas. Red: Computación
en sistemas neuronales, 3 (2), 139–164.
Ghavamzadeh, M. y Mahadevan, S. (2003). Algoritmos de gradiente de políticas jerárquicas.
En Actas de la vigésima conferencia sobre aprendizaje automático (págs. 226­233).
Gherrity, M. (1989). Un algoritmo de aprendizaje para redes neuronales analógicas totalmente recurrentes.
En la conferencia conjunta internacional IEEE/INNS sobre redes neuronales, San Diego, vol. 1 (págs.
643–644).
Girshick, R., Donahue, J., Darrell, T. y Malik, J. (2013). Ricas jerarquías de funciones para una detección
precisa de objetos y una segmentación semántica. Reporte técnico. UC Berkeley e ICSI. arxiv.org/abs/
1311.2524.
Gisslen, L., Luciw, M., Graziano, V. y Schmidhuber, J. (2011). Compresor secuencial de tamaño constante
para aprendizaje por refuerzo. En Proc. cuarta conferencia sobre inteligencia artificial general (págs.
31­40). Saltador.
Giusti, A., Ciresan, DC, Masci, J., Gambardella, LM y Schmidhuber, J. (2013). Escaneo rápido de imágenes
con redes neuronales convolucionales de agrupación máxima profunda. En Proc.
ICIP.
Glackin, B., McGinnity, TM, Maguire, LP, Wu, Q. y Belatreche, A. (2005).
Un enfoque novedoso para la implementación de redes neuronales de picos a gran escala en hardware
FPGA. En Inteligencia computacional y sistemas bioinspirados (págs. 552–563). Saltador.
Glasmachers, T., Schaul, T., Sun, Y., Wierstra, D. y Schmidhuber, J. (2010).
Estrategias de evolución natural exponencial. En Actas de la conferencia sobre computación genética y
evolutiva (págs. 393–400). ACM.
Glorot, X., Bordes, A. y Bengio, Y. (2011). Redes rectificadoras escasas y profundas. En AISTATS, vol. 15
(págs. 315–323).
Gloye, A., Wiesel, F., Tenchio, O. y Simon, M. (2005). Reforzar la calidad de conducción de los robots
jugadores de fútbol mediante la anticipación. TI—Tecnología de la información, 47(5).
Gödel, K. (1931). Über formal unentscheidbare Sätze der Principia Mathematica und verwandter Systeme I.
Monatshefte für Mathematik und Physik, 38, 173–198.
Goldberg, DE (1989). Algoritmos genéticos en búsqueda, optimización y máquina.
aprendiendo. Lectura, MA: Addison­Wesley.
Goldfarb, D. (1970). Una familia de métodos de métrica variable derivados de variacionales.
medio. Matemáticas de la Computación, 24 (109), 23–26.
Golub, G., Heath, H. y Wahba, G. (1979). Validación cruzada generalizada como método para elegir un buen
parámetro de cresta. Tecnometría, 21, 215–224.
Gómez, FJ (2003). Control no lineal robusto a través de la neuroevolución (tesis doctoral), Departamento de
Ciencias de la Computación, Universidad de Texas en Austin.
Gómez, FJ y Mükkulainen, R. (2003). Guía activa para un cohete sin aletas mediante neuroevolución. En Proc.
GECCO 2003.
Gómez, FJ y Schmidhuber, J. (2005). Las neuronas recurrentes en coevolución aprenden POMDP de memoria
profunda. En Proc. de la conferencia de 2005 sobre computación genética y evolutiva. Nueva York, NY,
Estados Unidos: ACM Press.
Gómez, FJ, Schmidhuber, J. y Mükkulainen, R. (2008). Evolución neuronal acelerada a través de sinapsis
coevolucionadas cooperativamente. Revista de investigación sobre aprendizaje automático, 9 (mayo),
937–965.
Gomi, H. y Kawato, M. (1993). Control de red neuronal para un sistema de circuito cerrado mediante
retroalimentación­aprendizaje de errores. Redes neuronales, 6(7), 933–946.
González­Domínguez, J., López­Moreno, I., Sak, H., González­Rodríguez, J. y Moreno, PJ (2014). Identificación
automática del idioma mediante redes neuronales recurrentes de memoria a corto plazo. En Proc. Entre
discursos.
Goodfellow, IJ, Bulatov, Y., Ibarz, J., Arnoud, S. y Shet, V. (2014). Reconocimiento de números de varios
dígitos a partir de imágenes de Street View mediante redes neuronales convolucionales profundas.
Preimpresión de ArXiv arXiv:1312.6082v4.
Machine Translated by Google
108 J. Schmidhuber / Redes neuronales 61 (2015) 85–117
Goodfellow, IJ, Courville, A. y Bengio, Y. (2011). Codificación escasa de puntas y losas para el descubrimiento
de funciones sin supervisión. En NIPS Taller sobre desafíos en el aprendizaje de modelos jerárquicos.
Goodfellow, IJ, Courville, AC y Bengio, Y. (2012). Aprendizaje de funciones a gran escala con codificación
dispersa de puntas y losas. En Actas de la 29ª conferencia internacional sobre aprendizaje automático.
Goodfellow, I., Mirza, M., Da, X., Courville, A. y Bengio, Y. (2014). Una investigación empírica del olvido
catastrófico en redes neuronales basadas en gradientes. TR. arXiv:1312.6211v2.
Goodfellow, IJ, Warde­Farley, D., Mirza, M., Courville, A. y Bengio, Y. (2013).
Redes al máximo. En conferencia internacional sobre aprendizaje automático.
Tumbas, A. (2011). Inferencia variacional práctica para redes neuronales. En Avances en los sistemas de
procesamiento de información neuronal (NIPS) (págs. 2348­2356).
Graves, A., Eck, D., Beringer, N. y Schmidhuber, J. (2003). Reconocimiento de dígitos aislados con redes
recurrentes LSTM. En Primer taller internacional sobre enfoques de inspiración biológica para tecnologías
de la información avanzadas.
Graves, A., Fernández, S., Gómez, FJ y Schmidhuber, J. (2006). Clasificación temporal conexionista: etiquetado
de datos de secuencia no segmentados con redes neuronales recurrentes. En ICML'06: Actas de la 23ª
conferencia internacional sobre aprendizaje automático (págs. 369–376).
Graves, A., Fernández, S., Liwicki, M., Bunke, H. y Schmidhuber, J. (2008). Reconocimiento de escritura a
mano en línea sin restricciones con redes neuronales recurrentes. En J. Platt, D. Koller, Y. Singer y S.
Roweis (Eds.), Avances en los sistemas de procesamiento de información neuronal (NIPS), vol. 20 (págs.
577–584). Cambridge, MA: MIT Press.
Graves, A. y Jaitly, N. (2014). Hacia el reconocimiento de voz de un extremo a otro con redes neuronales
recurrentes. En Proc. 31ª conferencia internacional sobre aprendizaje automático (págs. 1764­1772).
Graves, A., Liwicki, M., Fernández, S., Bertolami, R., Bunke, H. y Schmidhuber, J.
(2009). Un novedoso sistema conexionista para mejorar el reconocimiento de escritura a mano sin
restricciones. Transacciones IEEE sobre análisis de patrones e inteligencia artificial, 31 (5).
Graves, A., Mohamed, A.­R. y Hinton, GE (2013). Reconocimiento de voz con redes neuronales recurrentes
profundas. En la conferencia internacional IEEE sobre acústica, habla y procesamiento de señales (págs.
6645–6649). IEEE.
Graves, A. y Schmidhuber, J. (2005). Clasificación de fonemas framewise con LSTM bidireccional y otras
arquitecturas de redes neuronales. Redes neuronales, 18(5–6), 602–610.
Graves, A. y Schmidhuber, J. (2009). Reconocimiento de escritura a mano sin conexión con redes neuronales
recurrentes multidimensionales. En Avances en sistemas de procesamiento de información neuronal
(NIPS), vol. 21 (págs. 545–552). Cambridge, MA: MIT Press.
Graziano, M. (2009). La máquina de movimiento inteligente: una perspectiva etológica sobre
El sistema motor de los primates. Estados Unidos: Oxford University Press.
Griewank, A. (2012). Documenta Mathematica: volumen adicional ISMP, (págs. 389–400).
Grondman, I., Busoniu, L., Lopes, GAD y Babuska, R. (2012). Un estudio sobre el aprendizaje por refuerzo
actor­crítico: gradientes de políticas estándar y naturales. Transacciones IEEE sobre sistemas, hombre y
cibernética Parte C: Aplicaciones y revisiones, 42(6), 1291–1307.
Grossberg, S. (1969). Algunas redes que pueden aprender, recordar y reproducir cualquier cantidad de patrones
espacio­temporales complicados, I. Journal of Mathematics and Mechanics, 19, 53–91.
Grossberg, S. (1976a). Clasificación de patrones adaptativos y recodificación universal, 1: desarrollo paralelo y
codificación de detectores de características neuronales. Cibernética biológica, 23, 187–202.
Grossberg, S. (1976b). Clasificación de patrones adaptativos y recodificación universal, 2: retroalimentación,
expectativa, olfato e ilusiones. Cibernética biológica, 23.
Gruau, F., Whitley, D. y Pyeatt, L. (1996). Una comparación entre la codificación celular y la codificación directa
de redes neuronales genéticas. Informe técnico de NeuroCOLT NC­TR­96­048, Grupo de trabajo ESPRIT
en aprendizaje neuronal y computacional, NeuroCOLT 8556.
Grünwald, PD, Myung, IJ y Pitt, MA (2005). Avances en descripción mínima
Longitud: teoría y aplicaciones. Prensa del MIT.
Grüttner, M., Sehnke, F., Schaul, T. y Schmidhuber, J. (2010). Reproductores atari­go de memoria profunda
multidimensional para la exploración de parámetros de gradientes de políticas.
En Actas de la conferencia internacional sobre redes neuronales artificiales ICANN (págs. 114­123).
Saltador.
Guo, X., Singh, S., Lee, H., Lewis, R. y Wang, X. (2014). Aprendizaje profundo para juegos Atari en tiempo real
utilizando la planificación de búsqueda de árboles Monte­Carlo sin conexión. En Avances en sistemas de
procesamiento de información neuronal, vol. 27 (PNI).
Guyon, I., Vapnik, V., Boser, B., Bottou, L. y Solla, SA (1992). Minimización de riesgos estructurales para el
reconocimiento de caracteres. En DS Lippman, JE Moody y DS Touretzky (Eds.), Avances en los sistemas
de procesamiento de información neuronal (NIPS), vol. 4 (págs. 471–479). Morgan Kaufman.
Hadamard, J. (1908). Mémoire sur le problème d'analyse relatif à l'equilibre des plaques élastiques encastrées.
Mémoires présentés par divers savants à l'Académie des sciences de l'Institut de France: Éxtrait.
Imprimerie nationale.
Hadsell, R., Chopra, S. y LeCun, Y. (2006). Reducción de dimensionalidad mediante el aprendizaje de un
mapeo invariante. En Proc. Jornada sobre visión por ordenador y reconocimiento de patrones.
Prensa IEEE.
Hagras, H., Pounds­Cornish, A., Colley, M., Callaghan, V. y Clarke, G. (2004). Controladores de redes neuronales
en evolución para robots autónomos. En la conferencia internacional IEEE sobre robótica y automatización,
vol. 5 (págs. 4620–4626).
Hansen, N., Müller, SD y Koumoutsakos, P. (2003). Reducir la complejidad temporal de la estrategia de
evolución desaleatorizada con adaptación de matriz de covarianza (CMA­ES). Computación evolutiva, 11
(1), 1–18.
Hansen, N. y Ostermeier, A. (2001). Autoadaptación completamente desaleatorizada en las estrategias de
evolución. Computación evolutiva, 9 (2), 159–195.
Hanson, SJ (1990). Una versión estocástica de la regla delta. Física D: No lineal
Fenómenos, 42(1), 265–272.
Hanson, SJ y Pratt, LY (1989). Comparación de sesgos para una construcción mínima de red con propagación
hacia atrás. En DS Touretzky (Ed.), Avances en sistemas de procesamiento de información neuronal
(NIPS), vol. 1 (págs. 177­185). San Mateo, California: Morgan Kaufmann.
Happel, BL y Murre, JM (1994). Diseño y evolución de red neuronal modular.
arquitecturas. Redes neuronales, 7(6), 985–1004.
Hashem, S. y Schmeiser, B. (1992). Mejora de la precisión del modelo utilizando combinaciones lineales
óptimas de redes neuronales entrenadas. Transacciones IEEE en redes neuronales, 6, 792–794.
Hassibi, B. y Stork, DG (1993). Derivados de segundo orden para poda de redes: neurocirujano óptimo. En DS
Lippman, JE Moody y DS Touretzky (Eds.), Avances en sistemas de procesamiento de información
neuronal, vol. 5 (págs. 164­171). Morgan Kaufman.
Hastie, TJ y Tibshirani, RJ (1990). Monografías sobre estadística y probabilidad aplicada: vol. 43. Modelos
aditivos generalizados.
Hastie, T., Tibshirani, R. y Friedman, J. (2009). Serie Springer en estadística. El
Elementos del aprendizaje estadístico.
Hawkins, J. y George, D. (2006). Memoria temporal jerárquica: conceptos, teoría y terminología. Numenta Inc.
Haykin, SS (2001). Filtrado de Kalman y redes neuronales. Biblioteca en línea de Wiley.
Hebb, DO (1949). La organización del comportamiento. Nueva York: Wiley.
Hecht­Nielsen, R. (1989). Teoría de la red neuronal de retropropagación.
En Conferencia conjunta internacional sobre redes neuronales (págs. 593–605). IEEE.
Heemskerk, JN (1995). Descripción general del hardware neuronal. En Neurocomputadoras para el cerebro
procesamiento de estilo. Diseño, implementación y aplicación.
Heess, N., Silver, D. y Teh, YW (2012). Aprendizaje por refuerzo actor­crítico con políticas basadas en energía.
En Proc. Taller europeo sobre aprendizaje por refuerzo (págs. 43–57).
Heidrich­Meisner, V. e Igel, C. (2009). Estrategias de neuroevolución para el aprendizaje por refuerzo episódico.
Revista de algoritmos, 64 (4), 152­168.
Herrero, J., Valencia, A. y Dopazo, J. (2001). Una red neuronal jerárquica en crecimiento no supervisada para
agrupar patrones de expresión genética. Bioinformática, 17(2), 126–136.
Hertz, J., Krogh, A. y Palmer, R. (1991). Introducción a la teoría de los nervios.
cálculo. Ciudad de Redwood: Addison­Wesley.
Hestenes, MR y Stiefel, E. (1952). Métodos de gradientes conjugados para la resolución de sistemas lineales.
Revista de Investigación de la Oficina Nacional de Estándares, 49, 409–436.
Hihi, SE y Bengio, Y. (1996). Redes neuronales recurrentes jerárquicas para dependencias a largo plazo. En
DS Touretzky, MC Mozer y ME Hasselmo (Eds.), Avances en sistemas de procesamiento de información
neuronal, vol. 8 (págs. 493–499). Prensa del MIT.
Hinton, GE (1989). Procedimientos de aprendizaje conexionistas. Inteligencia artificial, 40(1),
185–234.
Hinton, GE (2002). Productos de formación de expertos minimizando la divergencia contrastiva. Computación
neuronal, 14 (8), 1771–1800.
Hinton, GE, Dayan, P., Frey, BJ y Neal, RM (1995). El algoritmo de vigilia­sueño
para redes neuronales no supervisadas. Ciencia, 268, 1158­1160.
Hinton, GE, Deng, L., Yu, D., Dahl, GE, Mohamed, A., Jaitly, N., et al. (2012). Redes neuronales profundas para
modelado acústico en reconocimiento de voz: las opiniones compartidas de cuatro grupos de investigación.
Revista de procesamiento de señales IEEE, 29(6), 82–97.
Hinton, GE y Ghahramani, Z. (1997). Modelos generativos para descubrir representaciones distribuidas
dispersas. Transacciones filosóficas de la Royal Society B, 352, 1177­1190.
Hinton, GE, Osindero, S. y Teh, Y.­W. (2006). Un algoritmo de aprendizaje rápido para redes de creencias
profundas. Computación neuronal, 18 (7), 1527­1554.
Hinton, G. y Salakhutdinov, R. (2006). Reducir la dimensionalidad de los datos con
Redes neuronales. Ciencia, 313(5786), 504–507.
Hinton, GE y Sejnowski, TE (1986). Aprendizaje y reaprendizaje en máquinas Boltzmann. En Procesamiento
distribuido paralelo, vol. 1 (págs. 282–317). Prensa del MIT.
Hinton, GE, Srivastava, N., Krizhevsky, A., Sutskever, I. y Salakhutdinov, RR
(2012). Mejora de las redes neuronales evitando la coadaptación de detectores de características. Reporte
técnico. arXiv:1207.0580.
Hinton, GE y van Camp, D. (1993). Mantener las redes neuronales simples. En Actas de la conferencia
internacional sobre redes neuronales artificiales, Amsterdam (págs. 11­18). Saltador.
Hochreiter, S. (1991). Untersuchungen zu dynamischen neuronalen Netzen (tesis de diploma), Institut für
Informatik, Lehrstuhl Prof. Brauer, Technische Universität München, asesor: J. Schmidhuber.
Hochreiter, S., Bengio, Y., Frasconi, P. y Schmidhuber, J. (2001). Flujo de gradiente en redes recurrentes: la
dificultad de aprender dependencias a largo plazo. En Carolina del Sur
Kremer y JF Kolen (Eds.), Una guía de campo para redes neuronales dinámicas recurrentes.
Prensa IEEE.
Hochreiter, S. y Obermayer, K. (2005). Clasificación de secuencias para análisis de proteínas.
En el taller de Snowbird, Snowbird: Utah. Sociedad de Aprendizaje Biológico y Computacional.
Hochreiter, S. y Schmidhuber, J. (1996). Superar largos retrasos mediante la adivinación del peso y la memoria
larga a corto plazo. En FL Silva, JC Principe y LB Almeida (Eds.), Fronteras en inteligencia artificial y
aplicaciones: vol. 37. Modelos espaciotemporales en sistemas biológicos y artificiales (págs. 65 a 72).
Ámsterdam, Países Bajos: IOS Press.
Hochreiter, S. y Schmidhuber, J. (1997a). Mínimos planos. Computación neuronal, 9 (1),
1–42.
Hochreiter, S. y Schmidhuber, J. (1997b). Memoria larga a corto plazo. Computación neuronal, 9 (8), 1735­1780.
Basado en TR FKI­207­95, TUM (1995).
Hochreiter, S. y Schmidhuber, J. (1999). Extracción de características mediante LOCOCODE.
Computación neuronal, 11 (3), 679–714.
Hochreiter, S., Younger, AS y Conwell, PR (2001). Aprender a aprender usando el descenso de gradientes. En
notas de conferencias sobre comp. ciencia: vol. 2130. Procedimiento. int. conf. sobre redes neuronales
artificiales (págs. 87­94). Berlín, Heidelberg: Springer.
Machine Translated by Google
J. Schmidhuber / Redes neuronales 61 (2015) 85–117
Hodgkin, AL y Huxley, AF (1952). Una descripción cuantitativa de la corriente de membrana y su aplicación
a la conducción y excitación en los nervios. La Revista de Fisiología, 117(4), 500.
Hoerzer, GM, Legenstein, R. y Maass, W. (2014). Aparición de estructuras computacionales complejas a
partir de redes neuronales caóticas a través del aprendizaje hebbiano modulado por recompensa.
Corteza cerebral, 24, 677–690.
Holden, SB (1994). Sobre la teoría de la generalización y la autoestructuración en redes conexionistas
ponderadas linealmente (tesis doctoral), Universidad de Cambridge, Departamento de Ingeniería.
Holanda, JH (1975). Adaptación en sistemas naturales y artificiales. Ann Arbor:
Prensa de la Universidad de Michigan.
Honavar, V. y Uhr, LM (1988). Una red de unidades parecidas a neuronas que aprende a percibir por
generación así como por reponderación de sus vínculos. En D. Touretzky, G.
E. Hinton y T. Sejnowski (Eds.), Proc. de la escuela de verano de modelos conexionistas de 1988
(págs. 472–484). San Mateo: Morgan Kaufman.
Honavar, V. y Uhr, L. (1993). Estructuras y procesos de aprendizaje generativo para redes conexionistas
generalizadas. Ciencias de la información, 70 (1), 75–108.
Hopfield, JJ (1982). Redes neuronales y sistemas físicos con habilidades computacionales colectivas
emergentes. Actas de la Academia Nacional de Ciencias, 79, 2554–2558.
Hornik, K., Stinchcombe, M. y White, H. (1989). Las redes feedforward multicapa son aproximadores
universales. Redes neuronales, 2(5), 359–366.
Hubel, DH y Wiesel, T. (1962). Campos receptivos, interacción binocular y arquitectura funcional en la
corteza visual del gato. Journal of Physiology (Londres), 160, 106­154.
Hubel, DH y Wiesel, TN (1968). Campos receptivos y arquitectura funcional de la corteza estriada de mono.
La Revista de Fisiología, 195(1), 215–243.
Huffman, DA (1952). Un método para la construcción de códigos de redundancia mínima.
Procedimientos IRE, 40, 1098–1101.
Hung, CP, Kreiman, G., Poggio, T. y DiCarlo, JJ (2005). Lectura rápida de la identidad del objeto de la
corteza temporal inferior del macaco. Ciencia, 310(5749), 863–866.
Hutter, M. (2002). El algoritmo más rápido y más corto para todos los problemas bien definidos.
Revista internacional de fundamentos de la informática, 13 (3), 431–443. (Sobre J.
Beca SNF de Schmidhuber 20­61847).
Hutter, M. (2005). Inteligencia artificial universal: decisiones secuenciales basadas en probabilidad
algorítmica. Berlín: Springer, (Sobre la subvención del SNF de J. Schmidhuber 20­61847).
Hyvärinen, A., Hoyer, P. y Oja, E. (1999). Reducción de código disperso: eliminación de ruido mediante
estimación de máxima verosimilitud. En M. Kearns, SA Solla y D. Cohn (Eds.), Avances en los sistemas
de procesamiento de información neuronal (NIPS), vol. 12. Prensa del MIT.
Hyvärinen, A., Karhunen, J. y Oja, E. (2001). Análisis de componentes independientes. John
Wiley e hijos.
CIPR (2012). Concurso de Detección de Mitosis en Imágenes Histológicas de Cáncer de Mama (2012).
Laboratorio IPAL y empresa TRIBVN y hospital pitie­salpetriere y CIALAB de la Universidad Estatal de
Ohio. http://ipal.cnrs.fr/ICPR2012/.
Igel, C. (2003). Neuroevolución para el aprendizaje por refuerzo utilizando estrategias de evolución. En R.
Reynolds, H. Abbass, KC Tan, B. Mckay, D. Essam y T. Gedeon (Eds.), Congreso sobre computación
evolutiva, vol. 4 (págs. 2588­2595). IEEE.
Igel, C. y Hüsken, M. (2003). Evaluación empírica del aprendizaje Rprop mejorado.
algoritmo. Neurocomputación, 50 (C), 105–123.
Ikeda, S., Ochiai, M. y Sawaragi, Y. (1976). Algoritmo secuencial GMDH y su aplicación a la predicción del
caudal de los ríos. Transacciones IEEE sobre sistemas, hombre y cibernética, (7), 473–479.
Indermuhle, E., Frinken, V. y Bunke, H. (2012). Detección de modo en documentos escritos a mano en línea
utilizando redes neuronales BLSTM. En Fronteras en el reconocimiento de escritura a mano (CIFHR),
conferencia internacional de 2012 sobre (págs. 302–307).
IEEE.
Indermuhle, E., Frinken, V., Fischer, A. y Bunke, H. (2011). Detección de palabras clave en documentos
escritos a mano en línea que contienen texto y no texto utilizando redes neuronales BLSTM. En Análisis
y reconocimiento de documentos (ICDAR), conferencia internacional de 2011 sobre (págs. 73–77).
IEEE.
Indiveri, G., Linares­Barranco, B., Hamilton, TJ, Van Schaik, A., Etienne­Cummings, R., Delbruck, T., et al.
(2011). Circuitos neuronales de silicio neuromórficos. Fronteras en neurociencia, 5 (73).
Ivakhnenko, AG (1968). El método grupal de manejo de datos: un rival del método de aproximación
estocástica. Control automático soviético, 13(3), 43–55.
Ivakhnenko, AG (1971). Teoría polinomial de sistemas complejos. Transacciones IEEE
sobre Sistemas, Hombre y Cibernética, (4), 364–378.
Ivakhnenko, AG (1995). La revisión de problemas solucionables mediante algoritmos del método grupal de
manejo de datos (GMDH). Reconocimiento de patrones y análisis de imágenes/Raspoznavaniye
Obrazov I Analiz Izobrazhenii, 5, 527–535.
Ivakhnenko, AG y Lapa, VG (1965). Dispositivos cibernéticos de predicción. MCP
Corporación de Información.
Ivakhnenko, AG, Lapa, VG y McDonough, RN (1967). Cibernética y técnicas de previsión. Nueva York:
American Elsevier.
Izhikevich, EM, et al. (2003). Modelo simple de neuronas con picos. Transacciones IEEE en redes neuronales,
14(6), 1569–1572.
Jaakkola, T., Singh, SP y Jordan, MI (1995). Algoritmo de aprendizaje por refuerzo para problemas de
decisión de Markov parcialmente observables. En G. Tesauro, DS Touretzky y TK Leen (Eds.), Avances
en sistemas de procesamiento de información neuronal, vol. 7 (págs. 345–352). Prensa del MIT.
Jackel, L., Boser, B., Graf, H.­P., Denker, J., LeCun, Y. y Henderson, D., et al. (1990).
Implementación VLSI de redes neuronales electrónicas: y ejemplo en reconocimiento de caracteres. En
IEEE (Ed.), conferencia internacional IEEE sobre sistemas, hombre y cibernética (págs. 320–322).
Jacob, C., Lindenmayer, A. y Rozenberg, G. (1994). Programación genética del sistema L.
En Apuntes de conferencias sobre informática. Resolución de problemas paralelos desde la naturaleza III.
109
Jacobs, RA (1988). Mayores tasas de convergencia a través de la tasa de aprendizaje.
adaptación. Redes neuronales, 1(4), 295–307.
Jaeger, H. (2001). El enfoque del "estado de eco" para analizar y entrenar redes neuronales recurrentes.
Informe técnico Informe GMD 148. Centro Nacional Alemán de Investigación en Tecnologías de la
Información.
Jaeger, H. (2004). Aprovechar la no linealidad: predecir sistemas caóticos y ahorrar
energía en la comunicación inalámbrica. Ciencia, 304, 78–80.
Jain, V. y Seung, S. (2009). Eliminación de ruido de imágenes naturales con redes convolucionales.
En D. Koller, D. Schuurmans, Y. Bengio y L. Bottou (Eds.), Avances en los sistemas de procesamiento
de información neuronal (NIPS), vol. 21 (págs. 769–776). Curran asociados, Inc.
Jameson, J. (1991). Aprendizaje por refuerzo retardado con críticos adaptativos retropropagados jerárquicos
en múltiples escalas de tiempo. En Redes neuronales para el control.
Ji, S., Xu, W., Yang, M. y Yu, K. (2013). Redes neuronales convolucionales 3D para el reconocimiento de
acciones humanas. Transacciones IEEE sobre análisis de patrones e inteligencia artificial, 35 (1), 221–
231.
Jim, K., Giles, CL y Horne, BG (1995). Efectos del ruido sobre la convergencia y generalización en redes
recurrentes. En G. Tesauro, D. Touretzky y T. Leen (Eds.), Avances en los sistemas de procesamiento
de información neuronal (NIPS), vol. 7 (pág. 649).
San Mateo, California: Morgan Kaufmann.
Jin, X., Luján, M., Plana, LA, Davies, S., Temple, S. y Furber, SB (2010). Modelado de redes neuronales con
picos en SpiNNaker. Computación en ciencia e ingeniería, 12 (5), 91–97.
Jodogne, SR y Piater, JH (2007). Aprendizaje en circuito cerrado de políticas de control visual.
Revista de investigación en inteligencia artificial, 28, 349–391.
Jones, J. P. y Palmer, LA (1987). Una evaluación del modelo de filtro bidimensional de Gabor de campos
receptivos simples en la corteza estriada de un gato. Revista de Neurofisiología, 58(6), 1233–1258.
Jordania, MI (1986). Orden en serie: un enfoque de procesamiento distribuido paralelo. Informe técnico
Informe ICS 8604. San Diego: Instituto de Ciencias Cognitivas, Universidad de California.
Jordania, MI (1988). Aprendizaje supervisado y sistemas con exceso de grados de libertad.
Informe técnico MONEDAS TR 88­27. Instituto de Tecnología de Massachusetts.
Jordania, MI (1997). Orden en serie: un enfoque de procesamiento distribuido paralelo.
Avances en Psicología, 121, 471–495.
Jordan, MI y Rumelhart, DE (1990). Aprendizaje supervisado con un profesor distal.
Informe técnico Documento ocasional n.° 40. Centro de Cog. Sci., Instituto de Tecnología de
Massachusetts.
Jordan, MI y Sejnowski, TJ (2001). Modelos gráficos: fundamentos de la computación neuronal. Prensa del
MIT.
José, RD (1961). Contribuciones a la teoría del perceptrón (tesis doctoral), Cornell Univ.
Juang, C.­F. (2004). Un híbrido de algoritmo genético y optimización de enjambre de partículas para el diseño
de redes recurrentes. Transacciones IEEE sobre sistemas, hombre y cibernética, Parte B: Cibernética,
34(2), 997–1006.
Judd, JS (1990). Modelado de redes neuronales y conexionismo. Diseño de redes neuronales
y la complejidad del aprendizaje. Prensa del MIT.
Jutten, C. y Hérault, J. (1991). Separación ciega de fuentes, parte I: un algoritmo adaptativo basado en
arquitectura neuromimética. Procesamiento de señales, 24(1), 1–10.
Kaelbling, LP, Littman, ML y Cassandra, AR (1995). Planificar y actuar en dominios estocásticos parcialmente
observables. Reporte técnico. Providence RI: Universidad de Brown.
Kaelbling, LP, Littman, ML y Moore, AW (1996). Aprendizaje por refuerzo: A
encuesta. Revista de investigación de IA, 4, 237–285.
Kak, S., Chen, Y. y Wang, L. (2010). Minería de datos utilizando agentes superficiales y profundos.
en redes neuronales. En actas AMCIS 2010.
Kalinke, Y. y Lehmann, H. (1998). Computación en redes neuronales recurrentes: de contadores a sistemas
de funciones iteradas. En G. Antoniou y J. Slaney (Eds.), LNAI: vol. 1502. Temas avanzados en
inteligencia artificial, Actas de la 11ª conferencia conjunta australiana sobre inteligencia artificial. Berlín,
Heidelberg: Springer.
Kalman, RE (1960). Un nuevo enfoque de los problemas de filtración y de predicción lineal.
Revista de Ingeniería Básica, 82(1), 35–45.
Karhunen, J. y Joutsensalo, J. (1995). Generalizaciones de análisis de componentes principales , problemas
de optimización y redes neuronales. Redes neuronales, 8(4), 549–562.
Karpathy, A., Toderici, G., Shetty, S., Leung, T., Sukthankar, R. y Fei­Fei, L. (2014).
Clasificación de vídeos a gran escala con redes neuronales convolucionales. En la conferencia IEEE
sobre visión por computadora y reconocimiento de patrones.
Kasabov, NK (2014). Neucube: una arquitectura de red neuronal dinámica para mapear, aprender y
comprender datos cerebrales espacio­temporales. Redes neuronales.
Kelley, HJ (1960). Teoría del gradiente de trayectorias de vuelo óptimas. Revista ARS, 30(10),
947–954.
Kempter, R., Gerstner, W. y Van Hemmen, JL (1999). Aprendizaje y remate hebbiano
neuronas. Revisión física E, 59(4), 4498.
Kerlirzin, P. y Vallet, F. (1993). Robustez en perceptrones multicapa. Neural
Computación, 5(1), 473–482.
Khan, SH, Bennamoun, M., Sohel, F. y Togneri, R. (2014). Aprendizaje automático de funciones para una
detección sólida de sombras. En la conferencia IEEE sobre visión por computadora y reconocimiento
de patrones.
Khan, MM, Khan, GM y Miller, JF (2010). Evolución de redes neuronales mediante Programación Genética
Cartesiana. En el congreso del IEEE sobre computación evolutiva (págs. 1 a 8).
Khan, MM, Lester, DR, Plana, LA, Rast, A., Jin, X., Painkras, E., et al.
(2008). SpiNNaker: mapeo de redes neuronales en un multiprocesador de chip masivamente paralelo.
En Conferencia conjunta internacional sobre redes neuronales (págs. 2849–2856). IEEE.
Kimura, H., Miyazaki, K. y Kobayashi, S. (1997). Aprendizaje por refuerzo en POMDP con aproximación de
funciones. En ICML, vol. 97 (págs. 152­160).
Machine Translated by Google
110 J. Schmidhuber / Redes neuronales 61 (2015) 85–117
Kistler, WM, Gerstner, W. y van Hemmen, JL (1997). Reducción de las ecuaciones de Hodgkin­Huxley a un
modelo de umbral de una sola variable. Computación neuronal, 9 (5), 1015–1045.
Kitano, H. (1990). Diseño de redes neuronales mediante algoritmos genéticos con sistema de generación de
gráficos. Sistemas complejos, 4, 461–476.
Klampfl, S. y Maass, W. (2013). Aparición de rastros de memoria dinámica en modelos de microcircuitos
corticales a través de STDP. La Revista de Neurociencia, 33(28), 11515–11529.
Klapper­Rybicka, M., Schraudolph, NN y Schmidhuber, J. (2001). Aprendizaje no supervisado en redes
neuronales recurrentes LSTM. En notas de clase sobre comp. Ciencia: vol. 2130. Procedimiento. int.
conf. sobre redes neuronales artificiales (págs. 684–691). Berlín, Heidelberg: Springer.
Kobatake, E. y Tanaka, K. (1994). Selectividades neuronales para características de objetos complejos en la
vía visual ventral de la corteza cerebral del macaco. Revista de Neurofisiología, 71, 856–867.
Kohl, N. y Stone, P. (2004). Aprendizaje por refuerzo de gradiente de políticas para la locomoción cuadrúpeda
rápida. En Robótica y automatización, 2004. Actas. ICRA'04.
Conferencia internacional IEEE de 2004 sobre, vol. 3 (págs. 2619­2624). IEEE.
Kohonen, T. (1972). Memorias de matrices de correlación. Transacciones IEEE en computadoras, 100(4),
353–359.
Kohonen, T. (1982). Formación autoorganizada de mapas de características topológicamente correctos.
Cibernética biológica, 43(1), 59–69.
Kohonen, T. (1988). Autoorganización y memoria asociativa (2ª ed). Saltador.
Koikkalainen, P. y Oja, E. (1990). Mapas de características jerárquicas autoorganizadas.
En Conferencia conjunta internacional sobre redes neuronales (págs. 279–284). IEEE.
Kolmogorov, AN (1965a). Sobre la representación de funciones continuas de varias variables mediante
superposición de funciones continuas de una variable y suma.
Doklady Akademii Nauk SSSR, 114, 679–681.
Kolmogorov, AN (1965b). Tres aproximaciones a la definición cuantitativa de información. Problemas de
transmisión de información, 1, 1–11.
Kompella, VR, Luciw, MD y Schmidhuber, J. (2012). Análisis incremental de características lentas :
actualización adaptativa de características lentas de baja complejidad a partir de flujos de entrada de
alta dimensión. Computación neuronal, 24 (11), 2994–3024.
Kondo, T. (1998). Algoritmo de red neuronal GMDH utilizando el método heurístico de autoorganización y su
aplicación al problema de identificación de patrones.
En Actas de la 37ª conferencia anual de SICE (págs. 1143­1148). IEEE.
Kondo, T. y Ueno, J. (2008). Red neuronal multicapa tipo GMDH que selecciona automáticamente la
arquitectura de red neuronal óptima y su aplicación al reconocimiento de imágenes médicas
tridimensionales de vasos sanguíneos. Revista internacional de informática, información y control
innovadores, 4(1), 175–187.
Kordík, P., Náplava, P., Snorek, M. y Genyk­Berezovskyj, M. (2003). Método GMDH modificado y evaluación
de la calidad de los modelos mediante visualización. Sistemas de control y computadoras, 2, 68–75.
Korkin, M., de Garis, H., Gers, F. y Hemmi, H. (1997). CBM (CAM­Brain Machine): una herramienta de
hardware que desarrolla un módulo de red neuronal en una fracción de segundo y ejecuta un cerebro
artificial de un millón de neuronas en tiempo real.
Kosko, B. (1990). Aprendizaje no supervisado en ruido. Transacciones IEEE en redes neuronales, 1(1), 44–
57.
Koutník, J., Cuccu, G., Schmidhuber, J. y Gomez, F. (2013). Evolución de redes neuronales a gran escala
para el aprendizaje por refuerzo basado en la visión. En Actas de la conferencia sobre computación
genética y evolutiva (págs. 1061­1068). Ámsterdam: ACM.
Koutník, J., Gómez, F. y Schmidhuber, J. (2010). Redes neuronales en evolución en un espacio de peso
comprimido. En Actas de la duodécima conferencia anual sobre computación genética y evolutiva (págs.
619–626).
Koutník, J., Greff, K., Gomez, F. y Schmidhuber, J. (2014). Un RNN mecánico. En Actas de la 31ª conferencia
internacional sobre aprendizaje automático, vol. 32 (págs. 1845­1853). arXiv:1402.3511 [cs.NE].
Koza, JR (1992). Programación genética: sobre la programación de computadoras por medios
de la selección natural. Prensa del MIT.
Kramer, M. (1991). Análisis de componentes principales no lineal mediante autoasociativo.
Redes neuronales. Revista AIChE, 37, 233–243.
Kremer, SC y Kolen, JF (2001). Guía de campo para redes dinámicas recurrentes. wiley­
Prensa IEEE.
Kriegeskorte, N., Mur, M., Ruff, DA, Kiani, R., Bodurka, J., Esteky, H., et al. (2008).
Emparejamiento de representaciones de objetos categóricos en la corteza temporal inferior del hombre
y el mono. Neurona, 60(6), 1126­1141.
Krizhevsky, A., Sutskever, I. y Hinton, GE (2012). Clasificación de Imagenet con redes neuronales
convolucionales profundas. En Avances en los sistemas de procesamiento de información neuronal (p.
4).
Krogh, A. y Hertz, JA (1992). Una simple disminución de peso puede mejorar la generalización.
En DS Lippman, JE Moody y DS Touretzky (Eds.), Avances en sistemas de procesamiento de información
neuronal, vol. 4 (págs. 950–957). Morgan Kaufman.
Kruger, N., Janssen, P., Kalkan, S., Lappe, M., Leonardis, A., Piater, J., et al. (2013).
Jerarquías profundas en la corteza visual de los primates: ¿qué podemos aprender sobre la visión por
computadora? Transacciones IEEE sobre análisis de patrones e inteligencia artificial, 35(8), 1847–1871.
Kullback, S. y Leibler, RA (1951). Sobre información y suficiencia. Los anales de
Estadística matemática, 79–86.
Kurzweil, R. (2012). Cómo crear una mente: revelado el secreto del pensamiento humano.
Lagoudakis, MG y Parr, R. (2003). Iteración de la política de mínimos cuadrados. Diario de
Investigación sobre aprendizaje automático, 4, 1107–1149.
Lampinen, J. y Oja, E. (1992). Propiedades de agrupamiento de mapas jerárquicos autoorganizados . Revista
de visión y imágenes matemáticas, 2(2–3), 261–272.
Lang, K., Waibel, A. y Hinton, GE (1990). Una arquitectura de red neuronal con retardo de tiempo para el
reconocimiento de palabras aisladas. Redes neuronales, 3, 23–43.
Lange, S. y Riedmiller, M. (2010). Redes neuronales profundas con codificador automático en el aprendizaje
por refuerzo. En Redes neuronales, conferencia conjunta internacional de 2010 sobre (págs. 1 a 8).
Lapedes, A. y Farber, R. (1986). Una red neuronal asimétrica y autooptimizada para memoria direccionable
de contenido y reconocimiento de patrones. Física D, 22, 247–259.
Laplace, P. (1774). Mémoire sur la probabilité des cause par les évènements.
Mémoires de l'Academie Royale des Sciences Presentés par Divers Savan, 6, 621–656.
Larraanaga, P. y Lozano, JA (2001). Estimación de algoritmos de distribución: una nueva herramienta para el
cálculo evolutivo. Norwell, MA, EE.UU.: Kluwer Academic Publishers.
Le, QV, Ranzato, M., Monga, R., Devin, M., Corrado, G. y Chen, K., et al. (2012).
Creación de funciones de alto nivel mediante aprendizaje no supervisado a gran escala. En Proc.
ICML'12.
LeCun, Y. (1985). Une procédure d'apprentissage pour réseau à seuil asymétrique.
En Actas de cognitiva 85 (págs. 599–604).
LeCun, Y. (1988). Un marco teórico para la retropropagación. En D. Touretzky, G. Hinton y T. Sejnowski
(Eds.), Actas de la escuela de verano de modelos conexionistas de 1988 (págs. 21­28). CMU, Pittsburgh,
Pensilvania: Morgan Kaufmann.
LeCun, Y., Boser, B., Denker, JS, Henderson, D., Howard, RE, Hubbard, W., et al.
(1989). Propagación hacia atrás aplicada al reconocimiento de códigos postales escritos a mano.
Computación neuronal, 1 (4), 541–551.
LeCun, Y., Boser, B., Denker, JS, Henderson, D., Howard, RE, Hubbard, W., et al.
(1990). Reconocimiento de dígitos escritos a mano con una red de retropropagación. en d.
S. Touretzky (Ed.), Avances en los sistemas de procesamiento de información neuronal, vol. 2 (págs.
396 a 404). Morgan Kaufman.
LeCun, Y., Bottou, L., Bengio, Y. y Haffner, P. (1998). Aprendizaje basado en gradientes aplicado al
reconocimiento de documentos. Actas del IEEE, 86(11), 2278–2324.
LeCun, Y., Denker, JS y Solla, SA (1990). Daño cerebral óptimo. En DS Touretzky (Ed.), Avances en sistemas
de procesamiento de información neuronal, vol. 2 (págs. 598–605).
Morgan Kaufman.
LeCun, Y., Muller, U., Cosatto, E. y Flepp, B. (2006). Evitación de obstáculos todoterreno mediante el
aprendizaje de un extremo a otro. En Avances en sistemas de procesamiento de información neuronal
(NIPS 2005).
LeCun, Y., Simard, P. y Pearlmutter, B. (1993). Maximización automática de la tasa de aprendizaje mediante
estimación en línea de los vectores propios de Hesse. En S. Hanson, J. Cowan y L. Giles (Eds.),
Avances en sistemas de procesamiento de información neuronal, vol. 5 (NIPS 1992). San Mateo, CA:
Editores Morgan Kaufmann.
Lee, L. (1996). Aprendizaje de lenguas libres de contexto: un estudio de la literatura. Informe técnico TR­12­96.
Cambridge, Massachusetts: Centro de Investigación en Tecnología Informática, Universidad de Harvard.
Lee, H., Battle, A., Raina, R. y Ng, AY (2007). Algoritmos de codificación dispersa eficientes . En Avances en
sistemas de procesamiento de información neuronal (NIPS), vol. 19 (págs. 801–808).
Lee, H., Ekanadham, C. y Ng, AY (2007). Modelo de red de creencias profundas y dispersas para el área
visual V2. En Avances en sistemas de procesamiento de información neuronal (NIPS), vol. 7 (págs. 873–
880).
Lee, H., Grosse, R., Ranganath, R. y Ng, AY (2009). Redes convolucionales de creencias profundas para el
aprendizaje escalable no supervisado de representaciones jerárquicas.
En Actas de la 26ª conferencia internacional sobre aprendizaje automático (págs. 609–616).
Lee, S. y Kil, RM (1991). Una red de funciones potenciales gaussianas con aprendizaje jerárquicamente
autoorganizado. Redes neuronales, 4(2), 207–224.
Lee, H., Pham, PT, Largman, Y. y Ng, AY (2009). Aprendizaje de funciones no supervisado para la clasificación
de audio mediante redes convolucionales de creencias profundas. En Proc. NIPS, vol. 9 (págs.
1096­1104).
Legendre, AM (1805). Nuevos métodos para la determinación de las órbitas de los cometas. F. Didot.
Legenstein, RA y Maass, W. (2002). Circuitos neuronales para reconocimiento de patrones con longitud total
de cable pequeña. Informática teórica, 287 (1), 239–249.
Legenstein, R., Wilbert, N. y Wiskott, L. (2010). Aprendizaje reforzado sobre características lentas de flujos
de entrada de alta dimensión. Biología Computacional PLoS, 6 (8).
Leibniz, GW (1676). Memoria utilizando la regla de la cadena (citada en TMME 7:2 y 3 p. 321–332,
2010).
Leibniz, GW (1684). Nova Methodus pro maximis et minimis, itemque tangentibus, quae nec fractas, nec
irrationales quantitates moratur, et singulare pro illis calculi genus. Acta Eruditorum, 467–473.
Lenat, DB (1983). Formación de teorías mediante búsqueda heurística. Aprendizaje automático, 21.
Lenat, DB y Brown, JS (1984). Por qué AM un EURISKO parece funcionar. Artificial
Inteligencia, 23(3), 269–294.
Lennie, P. y Movshon, JA (2005). Codificación de color y forma en la vía visual geniculoestriada. Revista de
la Sociedad Óptica de América A, 22(10), 2013–2033.
Levenberg, K. (1944). Un método para la solución de ciertos problemas en mínimos cuadrados.
Trimestral de Matemáticas Aplicadas, 2, 164–168.
Levin, LA (1973a). Sobre la noción de secuencia aleatoria. Matemáticas soviéticas
Doklady, 14(5), 1413­1416.
Levin, LA (1973b). Problemas de búsqueda secuencial universal. Problemas de información
Transmisión, 9(3), 265–266.
Levin, AU, Leen, TK y Moody, JE (1994). Poda rápida con componentes principales. En Avances en sistemas
de procesamiento de información neuronal (NIPS), vol. 6 (pág. 35). Morgan Kaufman.
Levin, AU y Narendra, KS (1995). Control de sistemas dinámicos no lineales mediante redes neuronales. II.
Observabilidad, identificación y control. Transacciones IEEE en redes neuronales, 7(1), 30–42.
Lewicki, MS y Olshausen, BA (1998). Inferir códigos de imágenes dispersos y sobrecompletos utilizando un
marco de codificación eficiente. En MI Jordan, MJ Kearns y S.
A. Solla (Eds.), Avances en los sistemas de procesamiento de información neuronal (NIPS), vol. 10
(págs. 815–821).
Machine Translated by Google
J. Schmidhuber / Redes neuronales 61 (2015) 85–117
L'Hôpital, GFA (1696). Analice los infinitos pequeños, para la inteligencia de las líneas corrientes. París:
L'Imprimerie Royale.
Li, M. y Vitányi, PMB (1997). Una introducción a la complejidad de Kolmogorov y sus aplicaciones (2ª ed.).
Saltador.
Li, R., Zhang, W., Suk, H.­I., Wang, L., Li, J., Shen, D., et al. (2014). Finalización de datos de imágenes basada
en aprendizaje profundo para mejorar el diagnóstico de enfermedades cerebrales. En Proc. MICCAI.
Saltador.
Lin, L. (1993). Aprendizaje por refuerzo para robots que utilizan redes neuronales (tesis doctoral),
Pittsburgh: Universidad Carnegie Mellon.
Lin, T., Horne, B., Tino, P. y Giles, C. (1996). Aprendizaje de dependencias a largo plazo en redes neuronales
recurrentes NARX. Transacciones IEEE en redes neuronales, 7(6), 1329–1338.
Lindenmayer, A. (1968). Modelos matemáticos de interacción celular en el desarrollo. Revista de biología
teórica, 18, 280–315.
Lindstädt, S. (1993). Comparación de dos modelos de redes neuronales no supervisadas para la reducción de
redundancia. En MC Mozer, P. Smolensky, DS Touretzky, JL Elman y AS Weigend (Eds.), Proc. de la
escuela de verano de modelos conexionistas de 1993 (págs. 308­315). Hillsdale, Nueva Jersey: Erlbaum
Associates.
Linnainmaa, S. (1970). La representación del error de redondeo acumulativo de un algoritmo como una
expansión de Taylor de los errores de redondeo locales (tesis de maestría), Univ. Helsinki.
Linnainmaa, S. (1976). Expansión de Taylor del error de redondeo acumulado. POCO
Matemáticas numéricas, 16 (2), 146­160.
Linsker, R. (1988). Autoorganización en una red perceptual. Computadora IEEE, 21 años,
105–117.
Littman, ML , Cassandra, AR y Kaelbling, LP (1995). Políticas de aprendizaje para entornos parcialmente
observables: ampliación de escala. En A. Prieditis y S. Russell (Eds.), Aprendizaje automático: actas de
la duodécima conferencia internacional (págs. 362–370). San Francisco, CA: Editores Morgan Kaufmann.
Liu, S.­C., Kramer, J., Indiveri, G., Delbrück, T., Burg, T., Douglas, R., et al.
(2001). Neuronas con picos aVLSI selectivas de orientación. Redes neuronales, 14(6–7), 629–643.
Ljung, L. (1998). Identificación del sistema. Saltador.
Logothetis, NK, Pauls, J. y Poggio, T. (1995). Representación de la forma en la parte inferior.
corteza temporal de monos. Biología actual, 5(5), 552–563.
Loiacono, D., Cardamone, L. y Lanzi, PL (2011). Manual de software de competición de campeonato de
carreras de coches simulados. Reporte técnico. Italia: Dipartimento di Elettronica e Informazione,
Politecnico di Milano.
Loiacono, D., Lanzi, PL, Togelius, J., Onieva, E., Pelta, DA y Butz, MV, et al. (2009).
El campeonato de carreras de coches simulados de 2009.
Lowe, D. (1999). Reconocimiento de objetos a partir de características locales invariantes de escala. En Actas
de la séptima conferencia internacional IEEE sobre visión por computadora, vol. 2 (págs. 1150­1157).
Lowe, D. (2004). Características de imagen distintivas a partir de puntos clave invariantes de escala.
Revista internacional de visión por computadora, 60, 91–110.
Luciw, M., Kompella, VR, Kazerounian, S. y Schmidhuber, J. (2013). Un sistema de valores intrínsecos para
desarrollar múltiples representaciones invariantes con un aprendizaje lento incremental. Fronteras en
neurorobótica, 7 (9).
Lusci, A., Pollastri, G. y Baldi, P. (2013). Arquitecturas profundas y aprendizaje profundo en quimioinformática:
la predicción de la solubilidad acuosa de moléculas similares a fármacos.
Revista de modelado e información química, 53 (7), 1563­1575.
Maas, AL, Hannun, AY y Ng, AY (2013). Las no linealidades del rectificador mejoran los modelos acústicos de
redes neuronales. En conferencia internacional sobre aprendizaje automático.
Maass, W. (1996). Límites inferiores del poder computacional de las redes de neuronas activas. Computación
neuronal, 8 (1), 1–40.
Maass, W. (1997). Redes de neuronas con picos: la tercera generación de neuronas
modelos de red. Redes neuronales, 10(9), 1659–1671.
Maass, W. (2000). Sobre el poder computacional del ganador se lo lleva todo. Neural
Computación, 12, 2519–2535.
Maass, W., Natschläger, T. y Markram, H. (2002). Computación en tiempo real sin estados estables: un nuevo
marco para la computación neuronal basada en perturbaciones.
Computación neuronal, 14 (11), 2531–2560.
MacKay, DJC (1992). Un marco bayesiano práctico para redes backprop.
Computación neuronal, 4, 448–472.
MacKay, DJC y Miller, KD (1990). Análisis de la simulación de Linsker de las reglas hebbianas. Computación
neuronal, 2, 173–187.
Maclin, R. y Shavlik, JW (1993). Uso de redes neuronales basadas en el conocimiento para mejorar algoritmos:
refinamiento del algoritmo Chou­Fasman para el plegamiento de proteínas.
Aprendizaje automático, 11 (2–3), 195–215.
Maclin, R. y Shavlik, JW (1995). Combinando las predicciones de múltiples clasificadores: uso del aprendizaje
competitivo para inicializar redes neuronales. En Proc. IJCAI (págs. 524–531).
Madala, HR e Ivakhnenko, AG (1994). Algoritmos de aprendizaje inductivo para complejos.
modelado de sistemas. Boca Ratón: CRC Press.
Madani, O., Hanks, S. y Condon, A. (2003). Sobre la indecidibilidad de la planificación probabilística y
problemas de optimización estocástica relacionados. Inteligencia artificial, 147(1), 5–34.
Maei, recursos humanos y Sutton, RS (2010). GQ(λ): un algoritmo de gradiente general para el aprendizaje
de predicción de diferencias temporales con trazas de elegibilidad. En Actas de la tercera conferencia
sobre inteligencia artificial general, vol. 1 (págs. 91 a 96).
Maex, R. y Orban, G. (1996). Circuito modelo de neuronas activas que generan selectividad direccional en
células simples. Revista de neurofisiología, 75 (4), 1515­1545.
Mahadevan, S. (1996). Aprendizaje por refuerzo de recompensa promedio: fundamentos,
algoritmos y resultados empíricos. Aprendizaje automático, 22, 159.
Malik, J. y Perona, P. (1990). Discriminación de texturas preatentiva con mecanismos de visión temprana.
Revista de la Sociedad Óptica de América A, 7(5), 923–932.
Maniezzo, V. (1994). Evolución genética de la topología y distribución de pesos de las redes neuronales.
Transacciones IEEE en redes neuronales, 5(1), 39–53.
111
Manolios, P. y Fanelli, R. (1994). Redes neuronales recurrentes de primer orden y autómatas deterministas
de estados finitos. Computación neuronal, 6, 1155­1173.
Marchi, E., Ferroni, G., Eyben, F., Gabrielli, L., Squartini, S. y Schuller, B. (2014).
Funciones basadas en predicción lineal de resolución múltiple para la detección de inicio de audio con
redes neuronales LSTM bidireccionales. En Proc. 39ª conferencia internacional IEEE sobre acústica, voz
y procesamiento de señales (págs. 2183­2187).
Markram, H. (2012). El proyecto del cerebro humano. Científico americano, 306(6), 50–55.
Marquardt, DW (1963). Un algoritmo para la estimación por mínimos cuadrados de parámetros no lineales.
Revista de la Sociedad de Matemáticas Industriales y Aplicadas, 11(2), 431–441.
Martens, J. (2010). Aprendizaje profundo mediante optimización sin hessiano. En J. Fürnkranz y T. Joachims
(Eds.), Actas de la 27.ª conferencia internacional sobre aprendizaje automático (págs. 735–742). Haifa,
Israel: OmniPress.
Martens, J. y Sutskever, I. (2011). Aprendizaje de redes neuronales recurrentes con optimización sin hessiano.
En Actas de la 28ª conferencia internacional sobre aprendizaje automático (págs. 1033­1040).
Martinetz, TM, Ritter, HJ y Schulten, KJ (1990). Red neuronal tridimensional para aprender la coordinación
visomotora de un brazo robótico. Transacciones IEEE en redes neuronales, 1(1), 131–136.
Masci, J., Giusti, A., Ciresan, DC, Fricout, G. y Schmidhuber, J. (2013). Un algoritmo de aprendizaje rápido
para la segmentación de imágenes con redes convolucionales de agrupación máxima.
En Conferencia internacional sobre procesamiento de imágenes (págs. 2713–2717).
Matsuoka, K. (1992). Inyección de ruido en las entradas en el aprendizaje de retropropagación. Transacciones
IEEE sobre sistemas, hombre y cibernética, 22(3), 436–440.
Mayer, H., Gómez, F., Wierstra, D., Nagy, I., Knoll, A. y Schmidhuber, J. (2008). Un sistema para cirugía
cardíaca robótica que aprende a hacer nudos utilizando redes neuronales recurrentes. Robótica
avanzada, 22 (13–14), 1521–1537.
McCallum, RA (1996). Aprender a utilizar la atención selectiva y la memoria a corto plazo en tareas
secuenciales. En P. Maes, M. Mataric, J.­A. Meyer, J. Pollack y SW
Wilson (Eds.), De los animales a los animats 4: actas de la cuarta conferencia internacional sobre
simulación del comportamiento adaptativo (págs. 315–324). Prensa del MIT, Libros de Bradford.
McCulloch, W. y Pitts, W. (1943). Un cálculo lógico de las ideas inmanentes a la actividad nerviosa. Boletín de
Biofísica Matemática, 7, 115­133.
Melnik, O., Levy, SD y Pollack, JB (2000). RAAM para infinito sin contexto
idiomas. En Proc. IJCNN (5) (págs. 585–590).
Memisevic, R. y Hinton, GE (2010). Aprender a representar transformaciones espaciales con máquinas de
Boltzmann factorizadas de orden superior. Computación neuronal, 22 (6), 1473­1492.
Menache, I., Mannor, S. y Shimkin, N. (2002). Q­cut: descubrimiento dinámico de subobjetivos en el
aprendizaje por refuerzo. En Proc. ECML'02 (págs. 295–306).
Merolla, PA, Arthur, JV, Álvarez­Icaza, R., Cassidy, AS, Sawada, J., Akopyan, F., et al. (2014). Un circuito
integrado de un millón de neuronas con una red e interfaz de comunicación escalables. Ciencia,
345(6197), 668–673.
Mesnil, G., Dauphin, Y., Glorot, X., Rifai, S., Bengio, Y. y Goodfellow, I., et al. (2011).
Desafío de aprendizaje por transferencia y no supervisado: un enfoque de aprendizaje profundo. En
JMLR W&CP: proc. Aprendizaje no supervisado y por transferencia, vol. 7.
Meuleau, N., Peshkin, L., Kim, KE y Kaelbling, LP (1999). Aprendizaje de controladores de estados finitos para
entornos parcialmente observables. En la 15.ª conferencia internacional sobre la incertidumbre en la IA
(págs. 427–436).
Miglino, O., Lund, H. y Nolfi, S. (1995). Robots móviles en evolución en simulación y real.
ambientes. Vida artificial, 2(4), 417–434.
Molinero, KD (1994). Un modelo para el desarrollo de campos receptores celulares simples y la disposición
ordenada de columnas de orientación a través de la competencia dependiente de la actividad entre
entradas dentro y fuera del centro. Revista de Neurociencia, 14(1), 409–441.
Miller, JF y Harding, SL (2009). Programación genética cartesiana. En Actas de la undécima conferencia anual
complementaria sobre computación genética y evolutiva: artículos de última hora (págs. 3489–3512).
ACM.
Miller, JF y Thomson, P. (2000). Programación genética cartesiana. En Programación genética (págs.
121­132). Saltador.
Miller, G., Todd, P. y Hedge, S. (1989). Diseño de redes neuronales mediante algoritmos genéticos. En Actas
de la tercera conferencia internacional sobre algoritmos genéticos (págs. 379–384). Morgan Kauffman.
Miller, WT, Werbos, PJ y Sutton, RS (1995). Redes neuronales para el control. MIT
Prensa.
Minai, AA y Williams, RD (1994). Respuesta de perturbación en feedforward
redes. Redes neuronales, 7(5), 783–796.
Minsky, M. (1963). Pasos hacia la inteligencia artificial. En E. Feigenbaum y J.
Feldman (Eds.), Computadoras y pensamiento (págs. 406–450). Nueva York: McGraw­Hill.
Minsky, M. y Papert, S. (1969). Perceptrones. Cambridge, MA: MIT Press.
Minton, S., Carbonell, JG, Knoblock, CA, Kuokka, DR, Etzioni, O. y Gil, Y.
(1989). Aprendizaje basado en explicaciones: una perspectiva de resolución de problemas. Inteligencia
artificial, 40 (1), 63–118.
Mitchell, T. (1997). Aprendizaje automático. McGraw­Hill.
Mitchell, TM, Keller, RM y Kedar­Cabelli, ST (1986). Generalización basada en explicaciones : una visión
unificadora. Aprendizaje automático, 1(1), 47–80.
Mnih, V., Kavukcuoglu, K., Silver, D., Graves, A., Antonoglou, I., Wierstra, D., et al. (2013). Jugar a Atari con
aprendizaje por refuerzo profundo. Reporte técnico.
Tecnologías Deepmind, arXiv:1312.5602 [cs.LG].
Mohamed, A. y Hinton, GE (2010). Reconocimiento de teléfonos mediante máquinas Boltzmann restringidas.
En la conferencia internacional IEEE sobre acústica, habla y procesamiento de señales (págs. 4354–
4357).
Molgedey, L. y Schuster, HG (1994). Separación de señales independientes mediante correlaciones retardadas
en el tiempo. Cartas de revisión física, 72(23), 3634–3637.
Møller, MF (1993). Cálculo exacto del producto de la matriz de Hesse de funciones de error de red feed­
forward y un vector en tiempo O(N). Informe técnico PB­432. Dinamarca: Departamento de Ciencias de
la Computación, Universidad de Aarhus.
Machine Translated by Google
112 J. Schmidhuber / Redes neuronales 61 (2015) 85–117
Montana, DJ y Davis, L. (1989). Entrenamiento de redes neuronales feedforward mediante algoritmos
genéticos. En Actas de la undécima conferencia internacional conjunta sobre inteligencia artificial, vol. 1
(págs. 762–767). San Francisco, CA, EE.UU.: Morgan Kaufmann Publishers Inc.
Montavon, G., Orr, G. y Müller, K. (2012). Serie de notas de conferencias sobre informática.
LNCS: vol. 7700. Redes neuronales: trucos del oficio. Springer Verlag.
Moody, JE (1989). Aprendizaje rápido en jerarquías de múltiples resoluciones. En DS Touretzky (Ed.), Avances
en sistemas de procesamiento de información neuronal (NIPS), vol. 1 (págs. 29­39).
Morgan Kaufman.
Moody, JE (1992). El número efectivo de parámetros: un análisis de generalización y regularización en
sistemas de aprendizaje no lineales. En DS
Lippman, JE Moody y DS Touretzky (Eds.), Avances en los sistemas de procesamiento de información
neuronal (NIPS), vol. 4 (págs. 847–854). Morgan Kaufman.
Moody, JE y Utans, J. (1994). Estrategias de selección de arquitectura para redes neuronales: aplicación a la
predicción de calificaciones de bonos corporativos. En AN Refenes (Ed.), Redes neuronales en los
mercados de capitales. John Wiley e hijos.
Moore, A. y Atkeson, CG (1993). Barrido priorizado: aprendizaje por refuerzo
con menos datos y menos tiempo. Aprendizaje automático, 13, 103–130.
Moore, A. y Atkeson, C. (1995). El algoritmo de juego parcial para el aprendizaje por refuerzo de resolución
variable en espacios de estados multidimensionales. Aprendizaje automático, 21 (3), 199–233.
Moriarty, DE (1997). Evolución simbiótica de redes neuronales en tareas de decisión secuencial (tesis
doctoral), Departamento de Ciencias de la Computación, Universidad de Texas en Austin.
Moriarty, DE y Mükkulainen, R. (1996). Aprendizaje por refuerzo eficiente a través de la evolución simbiótica.
Aprendizaje automático, 22, 11–32.
Morimoto, J. y Doya, K. (2000). Aprendizaje por refuerzo robusto. En TK Leen, TG
Dietterich y V. Tresp (Eds.), Avances en los sistemas de procesamiento de información neuronal (NIPS),
vol. 13 (págs. 1061­1067). Prensa del MIT.
Mosteller, F. y Tukey, JW (1968). Análisis de datos, incluidas estadísticas. En G. Lindzey y E. Aronson (Eds.),
Manual de psicología social, vol. 2. Addison­Wesley.
Mozer, MC (1989). Un algoritmo de retropropagación enfocado para secuencia temporal
reconocimiento. Sistemas complejos, 3, 349–381.
Mozer, MC (1991). Descubrir representaciones distribuidas discretas con aprendizaje competitivo iterativo. En
RP Lippmann, JE Moody y DS Touretzky (Eds.), Avances en sistemas de procesamiento de información
neuronal, vol. 3 (págs. 627–634). Morgan Kaufman.
Mozer, MC (1992). Inducción de estructura temporal multiescala. En DS Lippman, JE Moody y DS Touretzky
(Eds.), Avances en los sistemas de procesamiento de información neuronal (NIPS), vol. 4 (págs. 275–
282). Morgan Kaufman.
Mozer, MC y Smolensky, P. (1989). Esqueletización: una técnica para eliminar la grasa de una red mediante
evaluación de relevancia. En DS Touretzky (Ed.), Avances en sistemas de procesamiento de información
neuronal (NIPS), vol. 1 (págs. 107­115). Morgan Kaufman.
Muller, UA, Gunzinger, A. y Guggenbühl, W. (1995). Simulación rápida de redes neuronales con una matriz
de procesadores DSP. Transacciones IEEE en redes neuronales, 6(1), 203–213.
Munro, PW (1987). Un esquema dual de retropropagación para el aprendizaje por refuerzo escalar. En Actas
de la novena conferencia anual de la sociedad de ciencia cognitiva (págs. 165­176).
Murray, AF y Edwards, PJ (1993). El ruido de peso sináptico durante el aprendizaje MLP mejora la tolerancia
a fallos, la generalización y la trayectoria de aprendizaje. En SJ Hanson, JD Cowan y CL Giles (Eds.),
Avances en los sistemas de procesamiento de información neuronal (NIPS), vol. 5 (págs. 491–498). San
Mateo, California: Morgan Kaufmann.
Nadal, J.­P. y Parga, N. (1994). Neuronas no lineales en el límite bajo de ruido: un factorial
El código maximiza la transferencia de información. Redes, 5, 565–581.
Nagumo, J., Arimoto, S. y Yoshizawa, S. (1962). Una línea de transmisión de pulso activa que simula el axón
nervioso. Actas de la IRE, 50(10), 2061–2070.
Nair, V. y Hinton, GE (2010). Las unidades lineales rectificadas mejoran las máquinas Boltzmann restringidas.
En conferencia internacional sobre aprendizaje automático.
Narendra, KS y Parthasarathy, K. (1990). Identificación y control de sistemas dinámicos mediante redes
neuronales. Transacciones IEEE en redes neuronales, 1(1), 4–27.
Narendra, KS y Thathatchar, MAL (1974). Autómatas de aprendizaje: una encuesta. Transacciones IEEE
sobre sistemas, hombre y cibernética, 4, 323–334.
Neal, RM (1995). Aprendizaje bayesiano para redes neuronales (tesis doctoral), Universidad de
Toronto.
Neal, RM (2006). Clasificación con redes neuronales bayesianas. En J. Quinonero­Candela, B. Magnini, I.
Dagan y F. D'Alche­Buc (Eds.), Apuntes de conferencias sobre informática: vol. 3944. Desafíos del
aprendizaje automático. Evaluación de la incertidumbre predictiva, clasificación de objetos visuales y
reconocimiento de implicaciones textuales (págs. 28­32).
Saltador.
Neal, RM y Zhang, J. (2006). Clasificación de alta dimensión con redes neuronales bayesianas y árboles de
difusión de Dirichlet. En I. Guyon, S. Gunn, M. Nikravesh y LA Zadeh (Eds.), Estudios sobre borrosidad
y computación blanda, Extracción de características: fundamentos y aplicaciones (págs. 265–295).
Saltador.
Neftci, E., Das, S., Pedroni, B., Kreutz­Delgado, K. y Cauwenberghs, G. (2014). Divergencia contrastiva
impulsada por eventos para sistemas neuromórficos con picos. Fronteras en neurociencia, 7 (272).
Neil, D. y Liu, S.­C. (2014). Minitaur, un acelerador de red de picos basado en FPGA impulsado por eventos.
Transacciones IEEE en sistemas de integración a muy gran escala (VLSI), PP(99), 1–8.
Nessler, B., Pfeiffer, M., Buesing, L. y Maass, W. (2013). La computación bayesiana surge en microcircuitos
corticales genéricos a través de una plasticidad dependiente del tiempo de pico. Biología Computacional
PLoS, 9(4), e1003037.
Neti, C., Schneider, MH y Young, ED (1992). Redes neuronales con máxima tolerancia a fallos. Transacciones
IEEE en redes neuronales, 3, 14­23.
Neuneier, R. y Zimmermann, H.­G. (1996). Cómo entrenar redes neuronales. En GB
Orr y K.­R. Müller (Eds.), Apuntes de conferencias sobre informática: vol. 1524. Redes neuronales: trucos
del oficio (págs. 373–423). Saltador.
Newton, I. (1687). Philosophiae naturalis principia mathematica. Londres: Guillermo
Dawson & Sons Ltd.
Nguyen, N. y Widrow, B. (1989). El camión de respaldo: un ejemplo de autoaprendizaje en redes neuronales.
En Actas de la conferencia conjunta internacional sobre redes neuronales (págs. 357–363). Prensa IEEE.
Nilsson, Nueva Jersey (1980). Principios de la inteligencia artificial. San Francisco, California, EE. UU.:
Morgan Kaufman.
Nolfi, S., Floreano, D., Miglino, O. y Mondada, F. (1994). Cómo evolucionar robots autónomos: diferentes
enfoques en robótica evolutiva. En RA Brooks y P. Maes (Eds.), Cuarto taller internacional sobre síntesis
y simulación de sistemas vivos (vida artificial IV) (págs. 190­197). MIT.
Nolfi, S., Parisi, D. y Elman, JL (1994). Aprendizaje y evolución en redes neuronales.
Comportamiento adaptativo, 3(1), 5–28.
Nowak, E., Jurie, F. y Triggs, B. (2006). Estrategias de muestreo para la clasificación de imágenes de bolsa
de características . En Proc. ECCV 2006 (págs. 490 a 503). Saltador.
Nowlan, SJ y Hinton, GE (1992). Simplificando las redes neuronales por peso suave.
intercambio. Computación neuronal, 4, 173–193.
O'Connor, P., Neil, D., Liu, S.­C., Delbruck, T. y Pfeiffer, M. (2013). Clasificación en tiempo real y fusión de
sensores con una red de creencias profundamente profunda. Fronteras en neurociencia, 7 (178).
Oh, K.­S. y Jung, K. (2004). Implementación GPU de redes neuronales. Reconocimiento de patrones , 37 (6),
1311­1314.
Oja, E. (1989). Redes neuronales, componentes principales y subespacios. Revista internacional de sistemas
neuronales, 1(1), 61–68.
Oja, E. (1991). Compresión de datos, extracción de características y asociación automática en redes
neuronales feedforward. En T. Kohonen, K. Mäkisara, O. Simula y J. Kangas (Eds.), Redes neuronales
artificiales, vol. 1 (págs. 737–745). Holanda Septentrional: Elsevier Science Publishers BV.
Olshausen, BA y Field, DJ (1996). Aparición de propiedades de campo receptivo de células simples mediante
el aprendizaje de un código disperso para imágenes naturales. Naturaleza, 381(6583), 607–609.
Omlin, C. y Giles, CL (1996). Extracción de reglas de tiempo discreto recurrente.
Redes neuronales. Redes neuronales, 9(1), 41–52.
Oquab, M., Bottou, L., Laptev, I. y Sivic, J. (2013). Aprender y transferir representaciones de imágenes de
nivel medio utilizando redes neuronales convolucionales. Informe técnico hal­00911179.
O'Reilly, RC (1996). Aprendizaje impulsado por errores biológicamente plausible utilizando diferencias de
activación locales: el algoritmo de recirculación generalizada. Computación neuronal, 8(5), 895–938.
O'Reilly, R. (2003). Hacer que la memoria de trabajo funcione: un modelo computacional de aprendizaje en la
corteza prefrontal y los ganglios basales. Informe técnico ICS­03­03. ICS.
O'Reilly, RC, Wyatte, D., Herd, S., Mingus, B. y Jilk, DJ (2013). Procesamiento recurrente durante el
reconocimiento de objetos. Fronteras en Psicología, 4, 124.
Orr, G. y Müller, K. (1998). Serie de notas de conferencias sobre informática. LNCS: vol. 1524.
Redes neuronales: trucos del oficio. Springer Verlag.
Ostrovskii, GM, Volin, YM y Borisov, WW (1971). Über die Berechnung von Ableitungen. Wissenschaftliche
Zeitschrift der Technischen Hochschule für Chemie, 13, 382–384.
Otsuka, M. (2010). Representación del mundo exterior orientada a objetivos: un enfoque basado en la
energía libre (tesis doctoral), Instituto de Ciencia y Tecnología de Nara.
Otsuka, M., Yoshimoto, J. y Doya, K. (2010). Aprendizaje por refuerzo basado en energía libre en un entorno
parcialmente observable. En Proc. ESANN.
Otte, S., Krechel, D., Liwicki, M. y Dengel, A. (2012). Detección de modo en línea basada en funciones locales
con redes neuronales recurrentes. En Actas de la conferencia internacional de 2012 sobre Fronteras en
el reconocimiento de escritura a mano (págs. 533–537).
Sociedad de Computación IEEE.
Oudeyer, P.­Y., Baranes, A. y Kaplan, F. (2013). Aprendizaje intrínsecamente motivado de habilidades
sensoriomotoras del mundo real con limitaciones de desarrollo. En g.
Baldassarre y M. Mirolli (Eds.), Aprendizaje intrínsecamente motivado en sistemas naturales y artificiales.
Saltador.
Pachitariu, M. y Sahani, M. (2013). Regularización y no linealidades para modelos de lenguaje neuronal:
¿cuándo son necesarias? arXiv Preimpresión arXiv:1301.5650.
Palma, G. (1980). Sobre la memoria asociativa. Cibernética biológica, 36.
Palma, G. (1992). Sobre la capacidad de almacenamiento de información de las reglas de aprendizaje locales. Neural
Computación, 4(2), 703–711.
Pan, SJ y Yang, Q. (2010). Una encuesta sobre el aprendizaje por transferencia. Las transacciones IEEE en
Ingeniería del conocimiento y de los datos, 22(10), 1345–1359.
Parekh, R., Yang, J. y Honavar, V. (2000). Algoritmos constructivos de aprendizaje de redes neuronales para
la clasificación de patrones de múltiples categorías. Transacciones IEEE en redes neuronales, 11 (2),
436–451.
Parker, DB (1985). Lógica de aprendizaje. Informe técnico TR­47. Centro de Comp.
Investigación en Economía y Ciencias de la Gestión, MIT.
Pascanu, R., Gulcehre, C., Cho, K. y Bengio, Y. (2013). Cómo construir redes neuronales recurrentes
profundas. arXiv Preimpresión arXiv:1312.6026.
Pascanu, R., Mikolov, T. y Bengio, Y. (2013). Sobre la dificultad de entrenar redes neuronales recurrentes. En
ICML'13: JMLR: W&CP, vol. 28.
Pasemann, F., Steinmetz, U. y Dieckman, U. (1999). Estructura y función en evolución de los neurocontroladores.
En PJ Angeline, Z. Michalewicz, M. Schoenauer, X. Yao y A. Zalzala (Eds.), Actas del congreso sobre
computación evolutiva, vol. 3 (págs. 1973­1978). Hotel Mayflower, Washington, DC, Estados Unidos:
IEEE Press.
Pearlmutter, Licenciatura en Letras (1989). Aprendizaje de trayectorias del espacio de estados en neurología recurrente.
redes. Computación neuronal, 1 (2), 263–269.
Pearlmutter, Licenciatura en Letras (1994). Multiplicación rápida y exacta por el hessiano. Neural
Computación, 6(1), 147–160.
Pearlmutter, Licenciatura en Letras (1995). Cálculos de gradiente para redes neuronales dinámicas recurrentes:
una encuesta. Transacciones IEEE en redes neuronales, 6(5), 1212–1228.
Machine Translated by Google
J. Schmidhuber / Redes neuronales 61 (2015) 85–117
Pearlmutter, BA y Hinton, GE (1986). Maximización G: un procedimiento de aprendizaje no supervisado
para descubrir regularidades. En Denker, JS, (Ed.), Redes neuronales para la informática: actas de
conferencias del Instituto Americano de Física 151, vol. 2 (págs. 333–338).
Peng, J. y Williams, RJ (1996). Q­learning incremental de varios pasos. Aprendizaje automático, 22, 283–
290.
Pérez­Ortiz, JA, Gers, FA, Eck, D. y Schmidhuber, J. (2003). Los filtros de Kalman mejoran el rendimiento
de la red LSTM en problemas que las redes recurrentes tradicionales no pueden resolver. Redes
neuronales, (16), 241–250.
Perrett, D., Hietanen, J., Oram, M., Benson, P. y Rolls, E. (1992). Organización y funciones de las células
que responden a rostros en la corteza temporal [y discusión].
Transacciones filosóficas de la Royal Society de Londres. Serie B: Ciencias biológicas, 335(1273),
23–30.
Perrett, D., Rolls, E. y Caan, W. (1982). Neuronas visuales que responden a rostros en la corteza temporal
del mono. Investigación experimental del cerebro, 47(3), 329–342.
Peters, J. (2010). Métodos de gradiente de políticas. Scholarpedia, 5(11), 3698.
Peters, J. y Schaal, S. (2008a). Actor­crítico natural. Neurocomputación, 71, 1180­1190.
Peters, J. y Schaal, S. (2008b). Aprendizaje reforzado de habilidades motoras con política.
gradientes. Redes neuronales, 21 (4), 682–697.
Pham, V., Kermorvant, C. y Louradour, J. (2013). La deserción mejora las redes neuronales recurrentes
para el reconocimiento de escritura a mano. arXiv Preimpresión arXiv:1312.4569.
Pineda, FJ (1987). Generalización de la retropropagación a neuronas recurrentes.
redes. Cartas de revisión física, 19(59), 2229–2232.
Placa, TA (1993). Redes recurrentes holográficas. En SJ Hanson, JD Cowan y CL Giles (Eds.), Avances
en los sistemas de procesamiento de información neuronal (NIPS), vol. 5 (págs. 34 a 41). Morgan
Kaufman.
Plumbley, Doctor en Medicina (1991). Sobre teoría de la información y redes neuronales no supervisadas.
Disertación, publicada como Informe técnico CUED/F­INFENG/TR.78. Departamento de Ingeniería,
Universidad de Cambridge.
Pollack, JB (1988). Implicaciones de las representaciones distribuidas recursivas. En Proc.
NIPS (págs. 527–536).
Pollack, JB (1990). Representación distribuida recursiva. Inteligencia artificial, 46,
77­105.
Pontryagin, LS, Boltyanskii, VG, Gamrelidze, RV y Mishchenko, EF (1961). El
Teoría matemática de procesos óptimos.
Poon, H. y Domingos, P. (2011). Redes de suma­producto: una nueva arquitectura profunda.
En la conferencia internacional IEEE sobre talleres de visión por computadora (págs. 689–690).
IEEE.
Correo, EL (1936). Procesos combinatorios finitos: formulación 1. The Journal of
Lógica simbólica, 1(3), 103–105.
Prasoon, A., Petersen, K., Igel, C., Lauze, F., Dam, E. y Nielsen, M. (2013). Clasificación de vóxeles
basada en redes neuronales convolucionales triplanares aplicadas a la segmentación del cartílago
en resonancia magnética de rodilla. En LNCS: vol. 8150. Computación de imágenes médicas e
intervención asistida por computadora (MICCAI) (págs. 246­253). Saltador.
Precup, D., Sutton, RS y Singh, S. (1998). Modelos multitemporales para una planificación temporalmente
abstracta. En Avances en los sistemas de procesamiento de información neuronal (NIPS) (págs.
1050­1056). Morgan Kaufman.
Prokhorov, D. (2010). Un sistema de aprendizaje convolucional para la clasificación de objetos en datos
LIDAR 3­D. Transacciones IEEE en redes neuronales, 21(5), 858–863.
Prokhorov, DV, Feldkamp, LA y Tyukin, IY (2002). Comportamiento adaptativo con pesos fijos en RNN:
una descripción general. En Actas de la conferencia conjunta internacional IEEE sobre redes
neuronales (págs. 2018­2023).
Prokhorov, D., Puskorius, G. y Feldkamp, L. (2001). Redes neuronales dinámicas para el control. En J.
Kolen y S. Kremer (Eds.), Una guía de campo para redes dinámicas recurrentes (págs. 23–78).
Prensa IEEE.
Prokhorov, D. y Wunsch, D. (1997). Diseño crítico adaptativo. Transacciones IEEE en redes neuronales,
8(5), 997–1007.
Puskorius, GV y Feldkamp, LA (1994). Neurocontrol de sistemas dinámicos no lineales con redes
recurrentes entrenadas con filtro de Kalman. Transacciones IEEE en redes neuronales, 5(2), 279–
297.
Raiko, T., Valpola, H. y LeCun, Y. (2012). Aprendizaje profundo facilitado por transformaciones lineales en
perceptrones. En Conferencia internacional sobre inteligencia artificial y estadística (págs. 924–932).
Raina, R., Madhavan, A. y Ng, A. (2009). Aprendizaje profundo no supervisado a gran escala mediante
procesadores gráficos. En Actas de la 26ª conferencia internacional anual sobre aprendizaje
automático (págs. 873–880). ACM.
Ramacher, U., Raab, W., Anlauf, J., Hachmann, U., Beichter, J., Bruels, N., et al. (1993).
Arquitectura multiprocesador y memoria del neurocomputador SYNAPSE­1.
Revista internacional de sistemas neuronales, 4(4), 333–336.
Ranzato, MA, Huang, F., Boureau, Y. y LeCun, Y. (2007). Aprendizaje no supervisado de jerarquías de
características invariantes con aplicaciones al reconocimiento de objetos. En Proc. Conferencia
sobre visión por computadora y reconocimiento de patrones (págs. 1 a 8). Prensa IEEE.
Ranzato, M., Poultney, C., Chopra, S. y LeCun, Y. (2006). Aprendizaje eficiente de representaciones
dispersas con un modelo basado en energía. En J. Platt, et al. (Eds.), Avances en los sistemas de
procesamiento de información neuronal (NIPS 2006). Prensa del MIT.
Rauber, A., Merkl, D. y Dittenbach, M. (2002). El creciente mapa jerárquico autoorganizado: análisis
exploratorio de datos de alta dimensión. Transacciones IEEE en redes neuronales, 13(6), 1331–1341.
Razavian, AS, Azizpour, H., Sullivan, J. y Carlsson, S. (2014). Funciones de CNN listas para usar: una
base asombrosa para el reconocimiento. Preimpresión de ArXiv arXiv:1403.6382.
Rechenberg, I. (1971). Evolutionsstrategie—optimierung technischer systeme nach prinzipien der
biologischen Evolution (Disertación), publicada en 1973 por Fromman­Holzboog.
Redlich, AN (1993). La reducción de la redundancia como estrategia para el aprendizaje no supervisado.
Computación neuronal, 5, 289–304.
Refenes, NA, Zapranis, A. y Francis, G. (1994). Modelado del desempeño bursátil mediante redes
neuronales: un estudio comparativo con modelos de regresión. Redes neuronales, 7(2), 375–388.
113
Rezende, DJ y Gerstner, W. (2014). Aprendizaje variacional estocástico en redes de picos recurrentes.
Fronteras en neurociencia computacional, 8, 38.
Riedmiller, M. (2005). Iteración Q neuronal ajustada: primeras experiencias con un método de aprendizaje
por refuerzo neuronal eficiente en datos. En Proc. ECML­2005 (págs. 317–328). Berlín, Heidelberg:
Springer­Verlag.
Riedmiller, M. y Braun, H. (1993). Un método adaptativo directo para un aprendizaje de retropropagación
más rápido: el algoritmo Rprop. En Proc. IJCNN (págs. 586–591).
Prensa IEEE.
Riedmiller, M., Lange, S. y Voigtlaender, A. (2012). Aprendizaje por refuerzo autónomo sobre datos de
entrada visual sin procesar en una aplicación del mundo real. En Conferencia conjunta internacional
sobre redes neuronales (págs. 1 a 8).
Riesenhuber, M. y Poggio, T. (1999). Modelos jerárquicos de reconocimiento de objetos en
corteza. Neurociencia de la naturaleza, 2(11), 1019–1025.
Rifai, S., Vincent, P., Muller, X., Glorot, X. y Bengio, Y. (2011). Codificadores automáticos contractivos:
invariancia explícita durante la extracción de características. En Actas de la 28ª conferencia
internacional sobre aprendizaje automático (págs. 833–840).
Anillo, MB (1991). Desarrollo incremental de conductas complejas mediante la construcción automática
de jerarquías sensorio­motoras. En L. Birnbaum y G.
Collins (Eds.), Aprendizaje automático: actas del octavo taller internacional (págs. 343–347). Morgan
Kaufman.
Anillo, MB (1993). Aprender tareas secuenciales añadiendo incrementalmente órdenes superiores.
En SJ Hanson, JD Cowan y CL Giles (Eds.), Avances en sistemas de procesamiento de información
neuronal, vol. 5 (págs. 115­122). Morgan Kaufman.
Anillo, MB (1994). Aprendizaje continuo en entornos de refuerzo (tesis doctoral), Austin, Texas 78712:
Universidad de Texas en Austin.
Ring, M., Schaul, T. y Schmidhuber, J. (2011). La organización bidimensional del comportamiento. En
Actas de la primera conferencia conjunta sobre aprendizaje para el desarrollo y robótica epigenética.
Risi, S. y Stanley, KO (2012). Un enfoque unificado para la evolución de la plasticidad y la geometría
neuronal. En Conferencia conjunta internacional sobre redes neuronales (págs. 1 a 8). IEEE.
Rissanen, J. (1986). Complejidad estocástica y modelado. Los Anales de Estadística,
14(3), 1080–1100.
Ritter, H. y Kohonen, T. (1989). Mapas semánticos autoorganizados. Biológico
Cibernética, 61(4), 241–254.
Robinson, AJ y Fallside, F. (1987). La red de propagación dinámica de errores impulsada por la utilidad.
Informe técnico CUED/F­INFENG/TR.1. Departamento de Ingeniería de la Universidad de Cambridge.
Robinson, T. y Fallside, F. (1989). Redes de propagación de errores impulsadas por refuerzo dinámico
con aplicación a los juegos. En Actas de la undécima conferencia de la sociedad de ciencia cognitiva
(págs. 836–843).
Rodríguez, P. y Wiles, J. (1998). Las redes neuronales recurrentes pueden aprender a implementar el
conteo sensible a símbolos. En Avances en sistemas de procesamiento de información neuronal
(NIPS), vol. 10 (págs. 87 a 93). La prensa del MIT.
Rodríguez, P., Wiles, J. y Elman, J. (1999). Una red neuronal recurrente que aprende
para contar. Ciencia de la conexión, 11 (1), 5–40.
Roggen, D., Hofmann, S., Thoma, Y. y Floreano, D. (2003). Red neuronal de hardware con conectividad
reconfigurable en tiempo de ejecución en un robot autónomo.
En Proc. Conferencia NASA/DoD sobre hardware evolutivo (págs. 189­198). IEEE.
Rohwer, R. (1989). El método de entrenamiento de "objetivos en movimiento". En J. Kindermann y A.
Linden (Eds.), Actas de 'procesamiento distribuido de información neuronal adaptativa'.
Oldenburgo.
Rosenblatt, F. (1958). El perceptrón: un modelo probabilístico para el almacenamiento y organización de
la información en el cerebro. Revisión psicológica, 65(6), 386.
Rosenblatt, F. (1962). Principios de la neurodinámica. Nueva York: espartano.
Roux, L., Racoceanu, D., Lomenie, N., Kulikova, M., Irshad, H., Klossa, J., et al. (2013).
Detección de mitosis en imágenes histológicas de cáncer de mama: un concurso ICPR 2012.
Revista de Informática de Patología, 4, 8.
Rubner, J. y Schulten, K. (1990). Desarrollo de detectores de características por autoorganización: un
modelo de red. Cibernética biológica, 62, 193­199.
Rückstieß, T., Felder, M. y Schmidhuber, J. (2008). Exploración dependiente del Estado para métodos de
gradiente de políticas. En W. Daelemans, et al. (Eds.), LNAI: vol. 5212.
Conferencia europea sobre aprendizaje automático (ECML) y principios y práctica del descubrimiento
de conocimientos en bases de datos 2008, parte II (págs. 234­249).
Rumelhart, DE, Hinton, GE y Williams, RJ (1986). Aprendiendo representaciones internas por propagación
de errores. En DE Rumelhart y JL McClelland (Eds.), Procesamiento distribuido paralelo, vol. 1
(págs. 318–362). Prensa del MIT.
Rumelhart, DE y Zipser, D. (1986). Descubrimiento de características mediante aprendizaje competitivo.
En Procesamiento distribuido paralelo (págs. 151­193). Prensa del MIT.
Rummery, G. y Niranjan, M. (1994). Q­learning online utilizando sistemas conexionistas.
Informe técnico CUED/F­INFENG­TR 166. Reino Unido: Universidad de Cambridge.
Russell, SJ, Norvig, P., Canny, JF, Malik, JM y Edwards, DD (1995). Inteligencia artificial : un enfoque
moderno, vol. 2. Acantilados de Englewood: Prentice Hall.
Saito, K. y Nakano, R. (1997). Actualización parcial de BFGS y cálculo eficiente de longitud de paso para
redes neuronales de tres capas. Computación neuronal, 9 (1), 123­141.
Sak, H., Senior, A. y Beaufays, F. (2014). Arquitecturas de redes neuronales recurrentes de memoria a
corto plazo para modelado acústico a gran escala. En Proc. entre discursos.
Sak, H., Vinyals, O., Heigold, G., Senior, A., McDermott, E. y Monga, R., et al. (2014). Secuencia de
entrenamiento distribuido discriminativo de redes neuronales recurrentes de memoria a corto plazo.
En Proc. Entre discursos.
Salakhutdinov, R. y Hinton, G. (2009). Hash semántico. Revista Internacional de
Razonamiento aproximado, 50(7), 969–978.
Sallans, B. y Hinton, G. (2004). Aprendizaje por refuerzo con estados y acciones factorizados. Revista de
investigación sobre aprendizaje automático, 5, 1063–1088.
Sałustowicz, RP y Schmidhuber, J. (1997). Evolución probabilística incremental del programa .
Computación evolutiva, 5 (2), 123–141.
Samejima, K., Doya, K. y Kawato, M. (2003). Asignación de créditos entre módulos en aprendizaje por
refuerzo modular. Redes neuronales, 16(7), 985–994.
Machine Translated by Google
114 J. Schmidhuber / Redes neuronales 61 (2015) 85–117
Samuel, AL (1959). Algunos estudios en aprendizaje automático utilizando el juego de damas.
Revista IBM de investigación y desarrollo, 3, 210–229.
Sanger, TD (1989). Un principio de optimización para el aprendizaje no supervisado. En DS
Touretzky (Ed.), Avances en los sistemas de procesamiento de información neuronal (NIPS), vol. 1
(págs. 11 a 19). Morgan Kaufman.
Santamaría, JC, Sutton, RS y Ram, A. (1997). Experimentos con aprendizaje por refuerzo en problemas
con estados continuos y espacios de acción. Comportamiento adaptativo, 6(2), 163–217.
Saravanan, N. y Fogel, DB (1995). Sistemas de control neuronal en evolución. experto en IEEE,
23–27.
Saund, E. (1994). Aprendizaje no supervisado de mezclas de múltiples causas en datos binarios. En JD
Cowan, G. Tesauro y J. Alspector (Eds.), Avances en los sistemas de procesamiento de información
neuronal (NIPS), vol. 6 (págs. 27­34). Morgan Kaufman.
Schaback, R. y Werner, H. (1992). Matemática numérica, vol. 4. Saltador.
Schäfer, AM, Udluft, S. y Zimmermann, H.­G. (2006). Aprender dependencias a largo plazo con redes
neuronales recurrentes. En SD Kollias, A. Stafylopatis, W. Duch y E. Oja (Eds.), Apuntes de
conferencias sobre informática: vol. 4131. ICANN (1) (págs. 71 a 80). Saltador.
Schapire, RE (1990). La fuerza de pobre aprendizaje. Aprendizaje automático, 5,
197–227.
Schaul, T. y Schmidhuber, J. (2010). Metaaprendizaje. Scholarpedia, 6(5), 4650.
Schaul, T., Zhang, S. y LeCun, Y. (2013). No más tasas de aprendizaje molestas. En Proc. 30
Congreso internacional sobre aprendizaje automático.
Schemmel, J., Grubl, A., Meier, K. y Mueller, E. (2006). Implementación de plasticidad sináptica en un
modelo de red neuronal con picos VLSI. En Conferencia conjunta internacional sobre redes neuronales
(págs. 1 a 6). IEEE.
Scherer, D., Müller, A. y Behnke, S. (2010). Evaluación de operaciones de pooling en arquitecturas
convolucionales para reconocimiento de objetos. En Proc. Conferencia internacional sobre redes
neuronales artificiales (págs. 92­101).
Schmidhuber, J. (1987). Principios evolutivos en el aprendizaje autorreferencial, o en aprender a aprender:
el meta­meta­... gancho (tesis de diploma), Inst. F. Inf., Tecnología.
Univ. Múnich, http://www.idsia.ch/~juergen/diploma.html.
Schmidhuber, J. (1989a). Aprendizaje acelerado en redes de retropropagación. en r.
Pfeifer, Z. Schreter, Z. Fogelman y L. Steels (Eds.), El conexionismo en perspectiva (págs. 429–438).
Ámsterdam: Elsevier, Holanda Septentrional.
Schmidhuber, J. (1989b). Un algoritmo de aprendizaje local para avance dinámico y
Redes recurrentes. Ciencia de la conexión, 1(4), 403–412.
Schmidhuber, J. (1990a). Dynamische neuronale Netze und das fundamentale raumzeitliche Lernproblem.
(Redes neuronales dinámicas y el problema fundamental de asignación de crédito espacio­temporal).
(Disertación), Inst. F. Inf., Tecnología. Univ.
Munich.
Schmidhuber, J. (1990b). Algoritmos de aprendizaje para redes con retroalimentación interna y externa. En
DS Touretzky, JL Elman, TJ Sejnowski y GE Hinton (Eds.), Proc. de la escuela de verano de modelos
conexionistas de 1990 (págs. 52­61). Morgan Kaufman.
Schmidhuber, J. (1990c). El intercambiador de calor neuronal. Charlas en TU Munich (1990), Universidad
de Colorado en Boulder (1992) y taller NIPS*94 de Z. Li sobre aprendizaje no supervisado. También
publicado en el Internacional. conferencia sobre procesamiento de información neuronal, vol. 1 (págs.
194­197), 1996.
Schmidhuber, J. (1990d). Un algoritmo en línea para el aprendizaje y la planificación por refuerzo dinámico
en entornos reactivos. En Proc. Conferencia conjunta internacional IEEE/INNS sobre redes neuronales,
vol. 2 (págs. 253­258).
Schmidhuber, J. (1991a). Curiosos sistemas de control para la construcción de maquetas. En Actas de la
conferencia conjunta internacional sobre redes neuronales, vol. 2 (págs. 1458­1463). Prensa IEEE.
Schmidhuber, J. (1991b). Aprender a generar submetas para secuencias de acción. En t.
Kohonen, K. Mäkisara, O. Simula y J. Kangas (Eds.), Redes neuronales artificiales (págs. 967–972).
Holanda Septentrional: Elsevier Science Publishers BV.
Schmidhuber, J. (1991c). Aprendizaje por refuerzo en entornos markovianos y no markovianos . En DS
Lippman, JE Moody y DS Touretzky (Eds.), Avances en sistemas de procesamiento de información
neuronal, vol. 3 (NIPS 3) (págs. 500–506). Morgan Kaufman.
3 Schwartz, A. (1993). Un método de aprendizaje por refuerzo para maximizar la indisponibilidad.
Schmidhuber, J. (1992a). Un almacenamiento de tamaño fijo O(n ) algoritmo de aprendizaje de
complejidad temporal para redes totalmente recurrentes que se ejecutan continuamente. Computación
neuronal, 4 (2), 243–248.
Schmidhuber, J. (1992b). Aprender secuencias complejas y extendidas utilizando el principio de compresión
histórica. Computación neuronal, 4 (2), 234–242. Basado en TR FKI­148­91, TUM, 1991.
Schmidhuber, J. (1992c). Aprendizaje de códigos factoriales mediante minimización de la previsibilidad.
Computación neuronal, 4 (6), 863–879.
Schmidhuber, J. (1993a). Una red introspectiva que puede aprender a ejecutar su propio algoritmo de
cambio de peso. En Proc. del int. conf. sobre redes neuronales artificiales, Brighton (págs. 191­195).
IEEE.
Schmidhuber, J. (1993b). Netzwerkarchitekturen, Zielfunktionen und Kettenregel.
(Arquitecturas de red, funciones objetivo y regla de cadena). (Tesis de habilitación), Inst. F. Inf.,
Tecnología. Univ. Munich.
Schmidhuber, J. (1997). Descubriendo redes neuronales con baja complejidad de Kolmogorov y alta
capacidad de generalización. Redes neuronales, 10(5), 857–873.
Schmidhuber, J. (2002). La velocidad previa: una nueva medida de simplicidad que produce predicciones
computables casi óptimas. En J. Kivinen y RH Sloan (Eds.), Apuntes de conferencias sobre inteligencia
artificial, Actas de la 15ª conferencia anual sobre teoría del aprendizaje computacional (págs. 216­228).
Sídney, Australia: Springer.
Schmidhuber, J. (2004). Solucionador de problemas ordenado óptimo. Aprendizaje automático, 54,
211–254.
Schmidhuber, J. (2006a). Robótica del desarrollo, curiosidad artificial óptima, creatividad, música y bellas
artes. Ciencia de la conexión, 18 (2), 173–187.
Schmidhuber, J. (2006b). Máquinas de Gödel: Automejoradores universales óptimos totalmente
autorreferenciales. En B. Goertzel y C. Pennachin (Eds.), Inteligencia general artificial (págs. 199­226).
Springer Verlag. Variante disponible como arXiv:cs.LO/0309048.
Schmidhuber, J. (2007). Prototipos de robots resistentes y automodelados. Ciencia, 316(5825), 688.
Schmidhuber, J. (2012). Redes neuronales autodelimitantes. Informe técnico IDSIA­08­12.
El laboratorio suizo de IA IDSIA, arXiv:1210.0118v1 [cs.NE].
Schmidhuber, J. (2013a). Mi primer sistema de aprendizaje profundo de 1991 + cronograma de aprendizaje
profundo 1962­2013. Reporte técnico. El laboratorio suizo de IA IDSIA, arXiv:1312.5548v1 [cs.NE].
Schmidhuber, J. (2013b). PowerPlay: formar a un solucionador de problemas cada vez más general
mediante la búsqueda continua del problema más simple que aún no tiene solución.
Fronteras en Psicología.
Schmidhuber, J., Ciresan, D., Meier, U., Masci, J. y Graves, A. (2011). En redes rápidas y profundas para
la visión AGI. En Proc. cuarta conferencia sobre inteligencia artificial general (págs. 243­246).
Schmidhuber, J., Eldracher, M. y Foltin, B. (1996). La minimización de la previsibilidad semilineal produce
detectores de características bien conocidos. Computación neuronal, 8(4), 773–786.
Schmidhuber, J. y Huber, R. (1991). Aprender a generar trayectorias de fóvea artificiales para la detección
de objetivos. Revista internacional de sistemas neuronales, 2 (1 y 2), 135–141.
Schmidhuber, J., Mozer, MC y Prelinger, D. (1993). Compresión continua de la historia . En H. Hüning, S.
Neuhauser, M. Raus y W. Ritschel (Eds.), Proc. de int. taller sobre redes neuronales (págs. 87–95).
Agustino: RWTH Aachen.
Schmidhuber, J. y Prelinger, D. (1992). Descubrir clasificaciones predecibles.
Informe técnico CU­CS­626­92. Departamento de Comp. Ciencias, Universidad de Colorado en
Boulder. Publicado en Computación neuronal 5 (4) (1993) 625–635.
Schmidhuber, J. y Wahnsiedler, R. (1992). Planificación de trayectorias simples utilizando generadores de
subobjetivos neuronales. En JA Meyer, HL Roitblat y SW Wilson (Eds.), Proc. de la segunda
conferencia internacional sobre simulación del comportamiento adaptativo (págs. 196­202).
Prensa del MIT.
Schmidhuber, J., Wierstra, D., Gagliolo, M. y Gómez, FJ (2007). Entrenamiento de redes recurrentes por
Evolino. Computación neuronal, 19 (3), 757–779.
Schmidhuber, J., Zhao, J. y Schraudolph, N. (1997). Aprendizaje por refuerzo con políticas automodificables.
En S. Thrun y L. Pratt (Eds.), Aprender a aprender (págs. 293–309). Kluwer.
Schmidhuber, J., Zhao, J. y Wiering, M. (1997). Cambiar el sesgo inductivo con algoritmo de historias de
éxito, búsqueda adaptativa de Levin y superación personal incremental.
Aprendizaje automático, 28, 105–130.
Schölkopf, B., Burges, CJC y Smola, AJ (Eds.) (1998). Avances en los métodos del kernel: apoyan el
aprendizaje de vectores. Cambridge, MA: MIT Press.
Schraudolph, NN (2002). Productos vectoriales de matriz de curvatura rápida para descenso de gradiente
de segundo orden . Computación neuronal, 14 (7), 1723­1738.
Schraudolph, N. y Sejnowski, TJ (1993). Discriminación no supervisada de datos agrupados mediante la
optimización de la ganancia de información binaria. En SJ Hanson, JD Cowan y CL Giles (Eds.),
Avances en sistemas de procesamiento de información neuronal, vol. 5 (págs. 499–506). San Mateo:
Morgan Kaufmann.
Schraudolph, NN y Sejnowski, TJ (1996). Templar las redes de retropropagación: no todos los pesos son
iguales. En DS Touretzky, MC Mozer y YO
Hasselmo (Eds.), Avances en los sistemas de procesamiento de información neuronal (NIPS), vol. 8
(págs. 563–569). Cambridge, MA: The MIT Press.
Schrauwen, B., Verstraeten, D. y Van Campenhout, J. (2007). Una descripción general de la computación
de yacimientos: teoría, aplicaciones e implementaciones. En Actas del 15º simposio europeo sobre
redes neuronales artificiales (págs. 471–482).
Schuster, HG (1992). Aprendizaje maximizando la transferencia de información a través de neuronas
ruidosas no lineales y "desglose del ruido". Revisión física A, 46(4), 2131–2138.
Schuster, M. (1999). Sobre el aprendizaje supervisado a partir de datos secuenciales con aplicaciones para
el reconocimiento de voz (tesis doctoral), Kyoto, Japón: Instituto Nara de Ciencia y Tecnología.
Schuster, M. y Paliwal, KK (1997). Redes neuronales recurrentes bidireccionales. Transacciones IEEE
sobre procesamiento de señales, 45, 2673–2681.
recompensas contadas. En Proc. ICML (págs. 298–305).
Schwefel, HP (1974). Numerische optimierung von computer­modellen (Disserta­
tion), publicado en 1977 por Birkhäuser, Basilea.
Desafío de segmentación de estructuras neuronales en pilas EM, (2012). Simposio internacional IEEE sobre
imágenes biomédicas. http://tinyurl.com/d2fgh7g.
Sehnke, F., Osendorfer, C., Rückstieß, T., Graves, A., Peters, J. y Schmidhuber, J.
(2010). gradientes de políticas de exploración de parámetros. Redes neuronales, 23(4), 551–559.
Sermanet, P., Eigen, D., Zhang, X., Mathieu, M., Fergus, R. y LeCun, Y. (2013). Over­Feat: reconocimiento,
localización y detección integrados mediante redes convolucionales. Preimpresión de ArXiv
arXiv:1312.6229.
Sermanet, P. y LeCun, Y. (2011). Reconocimiento de señales de tráfico con redes convolucionales
multiescala. En Actas de una conferencia conjunta internacional sobre redes neuronales (págs. 2809–
2813).
Serrano­Gotarredona, R., Oster, M., Lichtsteiner, P., Linares­Barranco, A., Paz­Vicente, R., Gómez­
Rodríguez, F., et al. (2009). Caviar: una neurona de 45 k, sinapsis de 5 m, conexiones de 12 g/s.
Sistema de accionamiento, aprendizaje, procesamiento sensorial y hardware AER para reconocimiento
y seguimiento de objetos visuales de alta velocidad. Transacciones IEEE en redes neuronales, 20(9),
1417–1438.
Serre, T., Riesenhuber, M., Louie, J. y Poggio, T. (2002). Sobre el papel de las características específicas
de los objetos para el reconocimiento de objetos del mundo real en la visión biológica. En Visión por
computadora con motivación biológica (págs. 387–397).
Seung, SA (2003). Aprendizaje en redes neuronales de refuerzo mediante refuerzo de
Transmisión sináptica estocástica. Neurona, 40(6), 1063–1073.
Machine Translated by Google
J. Schmidhuber / Redes neuronales 61 (2015) 85–117
Shan, H. y Cottrell, G. (2014). Codificación visual eficiente: De la retina a V2.
En Proc. Congreso internacional sobre representaciones del aprendizaje. Preimpresión de ArXiv
arXiv:1312.6077.
Shan, H., Zhang, L. y Cottrell, GW (2007). ICA recursiva. En Avances en neurología
sistemas de procesamiento de información (NIPS), vol. 19 (pág. 1273).
Shanno, DF (1970). Condicionamiento de métodos cuasi­Newton para minimización de funciones.
Matemáticas de la Computación, 24(111), 647–656.
Shannon, CE (1948). Una teoría matemática de la comunicación (partes I y II). Campana
Revista técnica del sistema, XXVII, 379–423.
Shao, L., Wu, D. y Li, X. (2014). Aprendizaje profundo y amplio: un método espectral para aprender redes
profundas. Transacciones IEEE sobre redes neuronales y sistemas de aprendizaje.
Shavlik, JW (1994). Combinando aprendizaje simbólico y neuronal. Aprendizaje automático, 14(3), 321–331.
Shavlik, JW y Towell, GG (1989). Combinando aprendizaje neuronal y basado en explicaciones : un
algoritmo y resultados empíricos. Ciencia de la conexión, 1(3), 233–255.
Siegelmann, H. (1992). Fundamentos teóricos de las redes neuronales recurrentes ( tesis doctoral), New
Brunswick Rutgers, estado de Nueva Jersey: Rutgers.
Siegelmann, HT y Sontag, ED (1991). Computabilidad de Turing con redes neuronales.
Cartas de Matemáticas Aplicadas, 4(6), 77–80.
Silva, FM y Almeida, LB (1990). Acelerando la retropropagación. En R. Eckmiller (Ed.), Computadoras
neuronales avanzadas (págs. 151­158). Ámsterdam: Elsevier.
Síma, J. (1994). Cargar redes profundas es difícil. Computación neuronal, 6 (5), 842–850.
Síma, J. (2002). Entrenar una sola neurona sigmoidea es difícil. Computación neuronal,
14(11), 2709–2728.
Simard, P., Steinkraus, D. y Platt, J. (2003). Mejores prácticas para redes neuronales convolucionales
aplicadas al análisis de documentos visuales. En Séptima conferencia internacional sobre análisis y
reconocimiento de documentos (págs. 958–963).
Sims, K. (1994). Criaturas virtuales en evolución. En A. Glassner (Ed.), ACM SIGGRAPH, Actas de
SIGGRAPH '94, actas de gráficos por computadora, conferencia anual (págs. 15­22). Prensa ACM,
ISBN: 0­89791­667­0.
Simsek, Ö. y Barto, AG (2008). Caracterización de habilidades basada en el intermediación. En
NIPS'08 (págs. 1497­1504).
Singh, SP (1994). Algoritmos de aprendizaje por refuerzo para procesos de decisión markovianos de
rentabilidad media. En Conferencia nacional sobre inteligencia artificial (págs. 700–705).
Singh, S., Barto, AG y Chentanez, N. (2005). Aprendizaje por refuerzo intrínsecamente motivado . En
Avances en sistemas de procesamiento de información neuronal, vol. 17 (PNI).
Cambridge, MA: MIT Press.
Smith, SF (1980). Un sistema de aprendizaje basado en algoritmos genéticos adaptativos ( tesis doctoral),
Univ. Pittsburg.
Smolensky, P. (1986). Procesamiento distribuido paralelo: exploraciones en la microestructura de la
cognición. En Procesamiento de información en sistemas dinámicos: fundamentos de la teoría de la
armonía, vol. 1 (págs. 194 a 281). Cambridge, MA, EE.UU.: MIT Press, (Capítulo).
Solla, SA (1988). Aprendizaje acelerado en redes neuronales en capas. Sistemas complejos , 2, 625–640.
Salomónoff, RJ (1964). Una teoría formal de inferencia inductiva. Parte I. Información
y Control, 7, 1–22.
Solomonoff, RJ (1978). Sistemas de inducción basados en la complejidad. Transacciones IEEE sobre
teoría de la información, IT­24(5), 422–432.
Soloway, E. (1986). Aprender a programar = aprender a construir mecanismos y explicaciones.
Comunicaciones de la ACM, 29(9), 850–858.
Song, S., Miller, KD y Abbott, LF (2000). Aprendizaje hebbiano competitivo a través de la plasticidad
sináptica dependiente del tiempo de pico. Neurociencia de la naturaleza, 3(9), 919–926.
Speelpenning, B. (1980). Compilación de derivadas parciales rápidas de funciones dadas por algoritmos
(tesis doctoral), Urbana­Champaign: Departamento de Ciencias de la Computación, Universidad de
Illinois.
Srivastava, RK, Masci, J., Kazerounian, S., Gomez, F. y Schmidhuber, J. (2013).
Competir para computar. En Avances en los sistemas de procesamiento de información neuronal
(NIPS) (págs. 2310­2318).
Stallkamp, J., Schlipsing, M., Salmen, J. e Igel, C. (2011). El punto de referencia alemán de reconocimiento
de señales de tráfico: una competición de clasificación de varias clases. En Conferencia conjunta
internacional sobre redes neuronales (págs. 1453­1460). Prensa IEEE.
Stallkamp, J., Schlipsing, M., Salmen, J. e Igel, C. (2012). Hombre versus computadora: evaluación
comparativa de algoritmos de aprendizaje automático para el reconocimiento de señales de tráfico.
Redes neuronales, 32, 323–332.
Stanley, KO, D'Ambrosio, DB y Gauci, J. (2009). Una codificación basada en hipercubo para la evolución
de redes neuronales a gran escala. Vida artificial, 15 (2), 185–212.
Stanley, KO y Mükkulainen, R. (2002). Redes neuronales en evolución mediante topologías crecientes.
Computación evolutiva, 10, 99–127.
Steijvers, M. y Grunwald, P. (1996). Una red recurrente que realiza una tarea de predicción sensible al
contexto. En Actas de la 18ª conferencia anual de la sociedad de ciencia cognitiva. Erlbaum.
Steil, JJ (2007). Adaptación del reservorio en línea mediante plasticidad intrínseca para retropropagación­
descorrelación y aprendizaje del estado de eco. Redes neuronales, 20(3), 353–364.
Stemmler, M. (1996). Un solo pico es suficiente: la forma más simple de resonancia estocástica en neuronas
modelo. Red: Computación en sistemas neuronales, 7 (4), 687–716.
Stoianov, I. y Zorzi, M. (2012). Aparición de un "sentido numérico visual" en la jerarquía
modelos generativos. Neurociencia de la naturaleza, 15 (2), 194­196.
Piedra, M. (1974). Elección de validación cruzada y evaluación de predicciones estadísticas.
Revista de la Royal Statistical Society B, 36, 111­147.
Stoop, R., Schindler, K. y Bunimovich, L. (2000). Cuando las neuronas piramidales se bloquean, cuando
responden de forma caótica y cuando les gusta sincronizarse.
Investigación en neurociencia, 36(1), 81–91.
115
Stratonovich, R. (1960). Procesos condicionales de Markov. Teoría de la probabilidad y sus
Aplicaciones, 5(2), 156–178.
Sun, G., Chen, H. y Lee, Y. (1993). Redes neuronales invariantes que deforman el tiempo. en sj
Hanson, JD Cowan y CL Giles (Eds.), Avances en los sistemas de procesamiento de información
neuronal (NIPS), vol. 5 (págs. 180­187). Morgan Kaufman.
Sun, GZ, Giles, CL, Chen, HH y Lee, YC (1993). El autómata pushdown de la red neuronal: simulaciones
de modelo, pila y aprendizaje. Informe técnico CS­TR­3118.
Universidad de Maryland, College Park.
Sun, Y., Gomez, F., Schaul, T. y Schmidhuber, J. (2013). Una estrategia de evolución natural en el tiempo
lineal para funciones no separables. En Actas de la conferencia sobre computación genética y
evolutiva (p. 61). Ámsterdam, Países Bajos: ACM.
Sun, Y., Wierstra, D., Schaul, T. y Schmidhuber, J. (2009). Estrategias eficientes de evolución natural. En
Proc. XI conferencia de computación genética y evolutiva (págs. 539–546).
Sutskever, I., Hinton, GE y Taylor, GW (2008). El temporal restringido recurrente
Máquina de Boltzmann. En NIPS, vol. 21 (pág. 2008).
Sutskever, I., Vinyals, O. y Le, QV (2014). Secuencia a secuenciar el aprendizaje con redes neuronales.
Reporte técnico. arXiv:1409.3215 [cs.CL] Google. NIPS'2014.
Sutton, R. y Barto, A. (1998). Aprendizaje por refuerzo: una introducción. Cambridge,
MA: Prensa del MIT.
Sutton, RS, McAllester, DA, Singh, SP y Mansour, Y. (1999). Métodos de gradiente de políticas para el
aprendizaje por refuerzo con aproximación de funciones. En Avances en sistemas de procesamiento
de información neuronal (NIPS), vol. 12 (págs. 1057­1063).
Sutton, RS, Precup, D. y Singh, SP (1999). Entre MDP y semi­MDP: un marco para la abstracción temporal
en el aprendizaje por refuerzo. Inteligencia artificial, 112 (1–2), 181–211.
Sutton, RS, Szepesvári, C. y Maei, HR (2008). Un algoritmo convergente O(n) para el aprendizaje de
diferencias temporales fuera de políticas con aproximación de funciones lineales.
En Avances en sistemas de procesamiento de información neuronal (NIPS'08), vol. 21 (págs.
1609­1616).
Szabó, Z., Póczos, B. y Lőrincz, A. (2006). Optimización de entropía cruzada para análisis de procesos
independientes. En Análisis de componentes independientes y separación de señales ciegas (págs.
909–916). Saltador.
Szegedy, C., Liu, W., Jia, Y., Sermanet, P., Reed, S., Anguelov, D., et al. (2014). Profundizando con las
convoluciones. Reporte técnico. arXiv:1409.4842 [cs.CV], Google.
Szegedy, C., Toshev, A. y Erhan, D. (2013). Redes neuronales profundas para objetos.
detección (págs. 2553­2561).
Taylor, GW, Spiro, I., Bregler, C. y Fergus, R. (2011). Aprender la invariancia mediante la imitación. En
Conferencia sobre visión por computadora y reconocimiento de patrones (págs. 2729–2736). IEEE.
Tegge, AN, Wang, Z., Eickholt, J. y Cheng, J. (2009). NNcon: predicción mejorada del mapa de contacto de
proteínas mediante redes neuronales recursivas 2D. Investigación de ácidos nucleicos, 37 (suplemento
2), W515 – W518.
Teichmann, M., Wiltschut, J. y Hamker, F. (2012). Aprender la invariancia a partir de imágenes naturales
inspiradas en observaciones en la corteza visual primaria. Computación neuronal, 24 (5), 1271­1296.
Cajero, A. (1994). La evolución de los modelos mentales. En E. Kenneth y J. Kinnear (Eds.), Avances en la
programación genética (págs. 199­219). Prensa del MIT.
Tenenberg, J., Karlsson, J. y Whitehead, S. (1993). Aprendizaje mediante descomposición de tareas.
En JA Meyer, H. Roitblat y S. Wilson (Eds.), De animales a animats 2: actas de la segunda conferencia
internacional sobre simulación de conducta adaptativa (págs. 337–343). Prensa del MIT.
Tesauro, G. (1994). TD­gammon, un programa de backgammon autodidacta, consigue
juego de nivel maestro. Computación neuronal, 6 (2), 215–219.
Tieleman, T. y Hinton, G. (2012). Conferencia 6.5—RmsProp: Divida el gradiente por un promedio móvil de
su magnitud reciente. CURSERA: Redes neuronales para el aprendizaje automático.
Tikhonov, AN, Arsenin, VI y John, F. (1977). Soluciones de problemas mal planteados.
Winston.
Ting, KM y Witten, IH (1997). Generalización apilada: ¿cuándo funciona? En Proc. Conferencia conjunta
internacional sobre inteligencia artificial.
Tiňo, P. y Hammer, B. (2004). Sesgo arquitectónico en redes neuronales recurrentes:
Análisis fractal. Computación neuronal, 15 (8), 1931­1957.
Tonkes, B. y Wiles, J. (1997). Aprender una tarea libre de contexto con una red neuronal recurrente: un
análisis de estabilidad. En Actas de la cuarta conferencia bienal de la sociedad de ciencia cognitiva de
Australasia.
Towell, GG y Shavlik, JW (1994). Redes neuronales artificiales basadas en el conocimiento.
Inteligencia artificial, 70(1), 119–165.
Tsitsiklis, JN y van Roy, B. (1996). Métodos basados en funciones para programación dinámica a gran
escala. Aprendizaje automático, 22(1–3), 59–94.
Tsodyks, M., Pawelzik, K. y Markram, H. (1998). Redes neuronales con dinámica.
sinapsis. Computación neuronal, 10 (4), 821–835.
Tsodyks, MV, Skaggs, WE, Sejnowski, TJ y McNaughton, BL (1996). Dinámica de la población y precesión
de la fase del ritmo theta de la activación de las células del lugar del hipocampo: un modelo de
neuronas con picos. Hipocampo, 6(3), 271–280.
Turaga, SC, Murray, JF, Jain, V., Roth, F., Helmstaedter, M., Briggman, K., et al.
(2010). Las redes convolucionales pueden aprender a generar gráficos de afinidad para la
segmentación de imágenes. Computación neuronal, 22 (2), 511–538.
Turing, AM (1936). Sobre números computables, con aplicación al Entscheidungsproblem. Actas de la
Sociedad Matemática de Londres, Serie 2, 41, 230–267.
Turner, AJ y Miller, JF (2013). La programación genética cartesiana codificó redes neuronales artificiales:
una comparación utilizando tres puntos de referencia. En Actas de la conferencia sobre computación
genética y evolutiva, GECCO (págs. 1005­1012).
Ueda, N. (2000). Combinación lineal óptima de redes neuronales para mejorar el rendimiento de la
clasificación. Transacciones IEEE sobre análisis de patrones e inteligencia artificial, 22 (2), 207–215.
Machine Translated by Google
116 J. Schmidhuber / Redes neuronales 61 (2015) 85–117
Urlbe, AP (1999). Redes neuronales digitales de estructura adaptable (tesis doctoral), Universidad del Valle.
Utgoff, PE y Stracuzzi, DJ (2002). Aprendizaje en muchos niveles. Computación neuronal,
14(10), 2497–2529.
Vahed, A. y Omlin, CW (2004). Un método de aprendizaje automático para extraer conocimiento simbólico
de redes neuronales recurrentes. Computación neuronal, 16 (1), 59–71.
Vaillant, R., Monrocq, C. y LeCun, Y. (1994). Enfoque original para la localización de objetos en imágenes.
Actas de la IEE Procesamiento de visión, imágenes y señales, 141(4), 245–250.
van den Berg, T. y Whiteson, S. (2013). Factores críticos en el desempeño de HyperNEAT. En GECCO 2013:
actas de la conferencia sobre computación genética y evolutiva (págs. 759–766). van Hasselt, H. (2012).
Aprendizaje por refuerzo en espacios de estado y
acción continuos . En M. Wiering y M. van Otterlo (Eds.), Aprendizaje por refuerzo (págs. 207­251). Saltador.
Vapnik, V. (1992). Principios de minimización de riesgos para la teoría del aprendizaje. En DS
Lippman, JE Moody y DS Touretzky (Eds.), Avances en los sistemas de procesamiento de información
neuronal (NIPS), vol. 4 (págs. 831–838). Morgan Kaufman.
Vapnik, V. (1995). La naturaleza de la teoría del aprendizaje estadístico. Nueva York: Springer.
Versino, C. y Gambardella, LM (1996). Aprender el movimiento fino utilizando el mapa jerárquico extendido
de Kohonen. En Proc. int. conf. sobre redes neuronales artificiales (págs. 221­226). Saltador.
Veta, M., Viergever, M., Pluim, J., Stathonikos, N. y van Diest, PJ (2013). MICCAI
Gran reto 2013 sobre detección de mitosis.
Vieira, A. y Barradas, N. (2003). Un algoritmo de entrenamiento para la clasificación de datos de alta
dimensión. Neurocomputación, 50, 461–472.
Viglione, S. (1970). Aplicaciones de la tecnología de reconocimiento de patrones. En JM Mendel y KS Fu
(Eds.), Sistemas adaptativos, de aprendizaje y de reconocimiento de patrones. Prensa académica.
Vicente, P., Hugo, L., Bengio, Y. y Manzagol, P.­A. (2008). Extracción y composición de funciones sólidas
con codificadores automáticos de eliminación de ruido. En Actas de la 25ª conferencia internacional
sobre aprendizaje automático (págs. 1096­1103). Nueva York, NY, Estados Unidos: ACM.
Vlassis, N., Littman, ML y Barber, D. (2012). Sobre la complejidad computacional de la optimización del
controlador estocástico en POMDP. Transacciones ACM sobre teoría de la computación, 4 (4), 12.
Vogl, T., Mangis, J., Rigler, A., Zink, W. y Alkon, D. (1988). Acelerar la convergencia del método de
retropropagación. Cibernética biológica, 59, 257–263.
Von der Malsburg, C. (1973). Autoorganización de células sensibles a la orientación en el
corteza estriada. Kybernetik, 14(2), 85­100.
Waldinger, RJ y Lee, RCT (1969). PROW: un paso hacia la escritura automática de programas. En DE
Walker y LM Norton (Eds.), Actas de la primera conferencia conjunta internacional sobre inteligencia
artificial (págs. 241­252). Morgan Kaufman.
Wallace, CS y Boulton, DM (1968). Una medida teórica de la información para la clasificación. El diario de la
computadora, 11 (2), 185–194.
Wan, EA (1994). Predicción de series temporales mediante el uso de una red conexionista con líneas de
retardo internas. En AS Weigend y NA Gershenfeld (Eds.), Predicción de series temporales: pronosticar
el futuro y comprender el pasado (págs. 265–295).
Addison­Wesley.
Wang, S. y Manning, C. (2013). Entrenamiento de abandono rápido. En Actas de la 30ª conferencia
internacional sobre aprendizaje automático (págs. 118­126).
Wang, C., Venkatesh, SS y Judd, JS (1994). Parada óptima y complejidad efectiva de la máquina en el
aprendizaje. En Avances en los sistemas de procesamiento de información neuronal (NIPS'6) (págs.
303–310). Morgan Kaufman.
Watanabe, S. (1985). Reconocimiento de patrones: humanos y mecánicos. Nueva York: Wiley.
Watanabe, O. (1992). Complejidad de Kolmogorov y complejidad computacional.
En monografías de EATCS sobre informática teórica. Saltador.
Watkins, CJCH (1989). Aprendiendo de las recompensas retrasadas (tesis doctoral), Oxford:
Colegio del Rey.
Watkins, CJCH y Dayan, P. (1992). Q­aprendizaje. Aprendizaje automático, 8, 279–292.
Watrous, RL y Kuhn, GM (1992). Inducción de autómatas de estados finitos utilizando redes recurrentes de
segundo orden. En JE Moody, SJ Hanson y RP Lippman (Eds.), Avances en sistemas de procesamiento
de información neuronal, vol. 4 (págs. 309–316).
Morgan Kaufman.
Waydo, S. y Koch, C. (2008). Aprendizaje no supervisado de individuos y categorías.
a partir de imágenes. Computación neuronal, 20 (5), 1165­1178.
Weigend, AS y Gershenfeld, NA (1993). Resultados del concurso de predicción de series de tiempo del
Instituto Santa Fe. En Redes neuronales, 1993., conferencia internacional IEEE sobre (págs. 1786­1793).
IEEE.
Weigend, AS, Rumelhart, DE y Huberman, BA (1991). Generalización por eliminación de peso con aplicación
a la previsión. En RP Lippmann, JE.
Moody y DS Touretzky (Eds.), Avances en los sistemas de procesamiento de información neuronal
(NIPS), vol. 3 (págs. 875–882). San Mateo, California: Morgan Kaufmann.
Weiss, G. (1994). Fragmentación jerárquica en sistemas clasificadores. En Actas de la 12ª conferencia
nacional sobre inteligencia artificial, vol. 2 (págs. 1335­1340). Prensa AAAI / Prensa MIT.
Weng, J., Ahuja, N. y Huang, TS (1992). Cresceptron: una red neuronal autoorganizada que crece de forma
adaptativa. En Conferencia conjunta internacional sobre redes neuronales, vol. 1 (págs. 576–581). IEEE.
Weng, JJ, Ahuja, N. y Huang, TS (1997). Aprendizaje de reconocimiento y segmentación mediante el
cresceptrón. Revista internacional de visión por computadora, 25 (2), 109–143.
Werbos, PJ (1974). Más allá de la regresión: nuevas herramientas de predicción y análisis en el
Ciencias del comportamiento (tesis doctoral), Universidad de Harvard.
Werbos, PJ (1981). Aplicaciones de los avances en el análisis de sensibilidad no lineal. En Actas de la décima
conferencia IFIP, 31.8­4.9, Nueva York (págs. 762–770).
Werbos, PJ (1987). Construcción y comprensión de sistemas adaptativos: un enfoque estadístico/numérico
para la automatización industrial y la investigación del cerebro. Transacciones IEEE sobre sistemas,
hombre y cibernética, 17.
Werbos, PJ (1988). Generalización de la retropropagación con aplicación a un modelo de mercado de gas
recurrente. Redes Neuronales, 1.
Werbos, PJ (1989a). Retropropagación y neurocontrol: una revisión y un prospecto.
En la conferencia conjunta internacional IEEE/INNS sobre redes neuronales, vol. 1 (págs. 209­216).
Werbos, PJ (1989b). Redes neuronales para control e identificación de sistemas. En actas de IEEE/CDC
Tampa.
Werbos, PJ (1992). Redes neuronales, identificación y control de sistemas en las industrias químicas. En DA
White y DA Sofge (Eds.), Manual de control inteligente: enfoques neuronales, difusos y adaptativos
(págs. 283–356).
Aprendizaje Thomson.
Werbos, PJ (2006). Diferenciación hacia atrás en AD y redes neuronales: vínculos pasados y nuevas
oportunidades. En Diferenciación automática: aplicaciones, teoría e implementaciones (págs. 15­34).
Saltador.
Oeste, AHL y Saad, D. (1995). Propagación hacia atrás adaptativa en el aprendizaje en línea de redes
multicapa. En DS Touretzky, M. Mozer y ME Hasselmo (Eds.), NIPS (págs. 323–329). Prensa del MIT.
Blanco, H. (1989). Aprendizaje en redes neuronales artificiales: una perspectiva estadística.
Computación neuronal, 1 (4), 425–464.
Whitehead, S. (1992). Aprendizaje por refuerzo para el control adaptativo de la percepción y la acción (tesis
doctoral), Universidad de Rochester.
Whiteson, S. (2012). Computación evolutiva para el aprendizaje por refuerzo. En m.
Wiering y M. van Otterlo (Eds.), Aprendizaje por refuerzo (págs. 325–355). Berlín, Alemania: Springer.
Whiteson, S., Kohl, N., Mükkulainen, R. y Stone, P. (2005). Evolución de los jugadores de fútbol a través de
la descomposición de tareas. Aprendizaje automático, 59(1), 5–30.
Whiteson, S. y Stone, P. (2006). Aproximación de funciones evolutivas para el aprendizaje por refuerzo.
Revista de investigación sobre aprendizaje automático, 7, 877–917.
Viuda, B. y Hoff, M. (1962). Almacenamiento y recuperación asociativo de información digital en redes de
neuronas adaptativas. Prototipos biológicos y sistemas sintéticos, 1, 160.
Widrow, B., Rumelhart, DE y Lehr, MA (1994). Redes neuronales: aplicaciones en la industria, los negocios
y la ciencia. Comunicaciones de la JCA, 37(3), 93–105.
Wieland, AP (1991). Controladores de redes neuronales en evolución para sistemas inestables.
En Conferencia conjunta internacional sobre redes neuronales, vol. 2 (págs. 667–673). IEEE.
Wiering, M. y Schmidhuber, J. (1996). Resolución de POMDP con búsqueda de Levin y EIRA.
En L. Saitta (Ed.), Aprendizaje automático: actas de la decimotercera conferencia internacional (págs.
534–542). San Francisco, CA: Editores Morgan Kaufmann.
Wiering, M. y Schmidhuber, J. (1998a). Aprendizaje HQ. Comportamiento adaptativo, 6(2),
219–246.
Wiering, MA y Schmidhuber, J. (1998b). Q(λ) rápido en línea . Aprendizaje automático, 33(1),
105–116.
Wiering, M. y van Otterlo, M. (2012). Aprendizaje reforzado. Saltador.
Wierstra, D., Foerster, A., Peters, J. y Schmidhuber, J. (2010). Política recurrente
gradientes. Revista lógica de IGPL, 18 (2), 620–634.
Wierstra, D., Schaul, T., Peters, J. y Schmidhuber, J. (2008). Estrategias de evolución natural. En Congreso
de Computación Evolutiva.
Wiesel, DH y Hubel, TN (1959). Campos receptivos de neuronas individuales en la corteza estriada del gato.
Revista de fisiología, 148, 574–591.
Wiles, J. y Elman, J. (1995). Aprender a contar sin contador: un estudio de caso de dinámicas y paisajes de
activación en redes recurrentes. En Actas de la decimoséptima conferencia anual de la sociedad de
ciencia cognitiva (págs. 482–487). Prensa del MIT: Cambridge, MA.
Wilkinson, JH (Ed.) (1965). El problema algebraico de valores propios. Nueva York, Nueva York, Estados Unidos:
Prensa de la Universidad de Oxford, Inc.
Williams, RJ (1986). Aprendizaje reforzado en redes conexionistas: un análisis matemático. Informe técnico
8605. San Diego: Instituto de Ciencias Cognitivas, Universidad de California.
Williams, RJ (1988). Hacia una teoría de los sistemas conexionistas de aprendizaje por refuerzo. Informe
técnico NU­CCS­88­3. Boston, MA: Facultad de Comp. Ciencias, Universidad del Noreste.
Williams, RJ (1989). Complejidad de los algoritmos de cálculo de gradiente exacto para redes neuronales
recurrentes. Informe técnico NU­CCS­89­27. Boston: Universidad Northeastern, Facultad de Ciencias
de la Computación.
Williams, RJ (1992a). Algoritmos estadísticos simples de seguimiento de gradientes para el aprendizaje por
refuerzo conexionista. Aprendizaje automático, 8, 229–256.
Williams, RJ (1992b). Entrenamiento de redes recurrentes utilizando el filtro de Kalman extendido. En
Conferencia conjunta internacional sobre redes neuronales, vol. 4 (págs. 241­246).
IEEE.
Williams, RJ y Peng, J. (1990). Un algoritmo eficiente basado en gradientes para el entrenamiento en línea
de trayectorias de red recurrentes. Computación neuronal, 4, 491–501.
Williams, RJ y Zipser, D. (1988). Un algoritmo de aprendizaje para ejecutar continuamente redes totalmente
recurrentes. Informe técnico Informe ICS 8805. San Diego, La Jolla: Univ. de California.
Williams, RJ y Zipser, D. (1989a). Análisis experimental de la recurrencia en tiempo real.
Algoritmo de aprendizaje. Ciencia de la conexión, 1(1), 87–111.
Williams, RJ y Zipser, D. (1989b). Un algoritmo de aprendizaje para ejecutar continuamente redes totalmente
recurrentes. Computación neuronal, 1 (2), 270–280.
Willshaw, DJ y von der Malsburg, C. (1976). Cómo se pueden establecer conexiones neuronales modeladas
mediante la autoorganización. Actas de la Royal Society de Londres.
Serie B, 194, 431–445.
Windisch, D. (2005). Cargar redes profundas es difícil: el caso piramidal. Neural
Computación, 17 (2), 487–502.
Wiskott, L. y Sejnowski, T. (2002). Análisis de características lento: aprendizaje no supervisado de invarianzas.
Computación neuronal, 14 (4), 715–770.
Machine Translated by Google
J. Schmidhuber / Redes neuronales 61 (2015) 85–117
Witczak, M., Korbicz, J., Mrugalski, M. y Patton, RJ (2006). Un enfoque basado en redes neuronales
GMDH para un diagnóstico sólido de fallas: aplicación al problema de referencia DAMADICS.
Práctica de ingeniería de control, 14 (6), 671–683.
Wöllmer, M., Blaschke, C., Schindl, T., Schuller, B., Färber, B., Mayer, S., et al.
(2011). Detección de distracciones del conductor en línea mediante memoria a corto plazo.
Transacciones IEEE sobre sistemas de transporte inteligentes (TITS), 12(2), 574–582.
Wöllmer, M., Schuller, B. y Rigoll, G. (2013). Detección de palabras clave explotando la memoria a largo
plazo. Comunicación del habla, 55 (2), 252–265.
Wolpert, DH (1992). Generalización apilada. Redes neuronales, 5(2), 241–259.
Wolpert, DH (1994). Propagación hacia atrás bayesiana sobre funciones io en lugar de pesos. En JD
Cowan, G. Tesauro y J. Alspector (Eds.), Avances en los sistemas de procesamiento de información
neuronal (NIPS), vol. 6 (págs. 200­207). Morgan Kaufman.
Wu, L. y Baldi, P. (2008). Aprende a jugar usando redes neuronales recursivas.
Redes neuronales, 21 (9), 1392­1400.
Wu, D. y Shao, L. (2014). Aprovechamiento de redes paramétricas jerárquicas para la segmentación y el
reconocimiento de acciones basadas en articulaciones esqueléticas. En Proc. Conferencia sobre
visión por computadora y reconocimiento de patrones.
Wyatte, D., Curran, T. y O'Reilly, R. (2012). Los límites de la visión anticipada: el procesamiento
recurrente promueve un reconocimiento sólido de objetos cuando los objetos se degradan. Revista
de neurociencia cognitiva, 24 (11), 2248–2261.
Wysoski, SG, Benuskova, L. y Kasabov, N. (2010). Evolución de redes neuronales para el procesamiento
de información audiovisual. Redes neuronales, 23(7), 819–835.
Yamauchi, BM y Beer, RD (1994). Comportamiento secuencial y aprendizaje en redes neuronales
dinámicas evolucionadas. Comportamiento adaptativo, 2(3), 219–246.
Yamins, D., Hong, H., Cadieu, C. y DiCarlo, JJ (2013). La optimización modular jerárquica de redes
convolucionales logra representaciones similares a la TI de macaco y la corriente ventral humana.
En Avances en los sistemas de procesamiento de información neuronal (NIPS) (págs. 1–9).
Yang, M., Ji, S., Xu, W., Wang, J., Lv, F. y Yu, K., et al. (2009). Detección de acciones humanas en vídeos
de vigilancia. En el taller de evaluación de recuperación de videos de TREC.
Yao, X. (1993). Una revisión de las redes neuronales artificiales evolutivas. Internacional
Revista de sistemas inteligentes, 4, 203–222.
117
Yin, J., Meng, Y. y Jin, Y. (2012). Un enfoque de desarrollo de la autoorganización estructural en la
computación de yacimientos. Transacciones IEEE sobre desarrollo mental autónomo, 4(4), 273–289.
Yin, F., Wang, Q.­F., Zhang, X.­Y. y Liu, C.­L. (2013). Concurso de reconocimiento de escritura a mano
china ICDAR 2013. En la duodécima conferencia internacional sobre análisis y reconocimiento de
documentos (págs. 1464­1470).
Young, S., Davis, A., Mishtal, A. y Arel, I. (2014). Extracción jerárquica de características espaciotemporales
mediante agrupación en línea recurrente. Cartas de reconocimiento de patrones, 37, 115–123.
Yu, X.­H., Chen, G.­A. y Cheng, S.­X. (1995). Optimización dinámica de la tasa de aprendizaje del
algoritmo de retropropagación. Transacciones IEEE en redes neuronales, 6(3), 669–677.
Zamora­Martínez, F., Frinken, V., España­Boquera, S., Castro­Bleda, M., Fischer, A., & Bunke, H. (2014).
Modelos de lenguaje de redes neuronales para el reconocimiento de escritura a mano fuera de
línea. Reconocimiento de patrones, 47 (4), 1642–1652.
Zeiler, MD (2012). ADADELTA: un método de ritmo de aprendizaje adaptativo. CoRR, abs/1212.5701.
Zeiler, MD y Fergus, R. (2013). Visualizar y comprender redes convolucionales. Reporte técnico.
Universidad de Nueva York, arXiv:1311.2901 [cs.CV].
Zemel, RS (1993). Un marco de longitud mínima de descripción para no supervisados.
aprendizaje (tesis doctoral), Universidad de Toronto.
Zemel, RS y Hinton, GE (1994). Desarrollar códigos de población minimizando la longitud de la
descripción. En JD Cowan, G. Tesauro y J. Alspector (Eds.), Avances en sistemas de procesamiento
de información neuronal vol. 6 (págs. 11 a 18). Morgan Kaufman.
Zeng, Z., Goodman, R. y Smyth, P. (1994). Redes neuronales recurrentes discretas para inferencia
gramatical. Transacciones IEEE en redes neuronales, 5(2).
Zimmermann, H.­G., Tietz, C. y Grothmann, R. (2012). Previsión con redes neuronales recurrentes: 12
trucos. En G. Montavon, GB Orr y K.­R. Müller (Eds.), Apuntes de conferencias sobre informática:
vol. 7700. Redes neuronales: trucos del oficio (2ª ed.) (págs. 687–707). Saltador.
Zipser, D., Kehoe, B., Littlewort, G. y Fuster, J. (1993). Un modelo de red de picos de memoria activa a
corto plazo. La Revista de Neurociencia, 13(8), 3406–3420.