Redes Neuronales Artificiales

MSC. Javier A. Carmona Troyo Divisin de Estudios de Posgrado e Investigacin Instituto Tecnologico de La Paz

Curso Redes Neuronales Artificiales

CONTENIDO

Introduccin Aprendizaje Perceptrones mono-nivel Perceptrones multi-nivel Otras Arquitecturas

Redes Neuronales

Redes Neuronales Artificiales

1.- INTRODUCCION Inteligencia Artificial

Redes Neuronales

Cerebro Humano

1011 Neuronas (procesadores) Poder desconocido 1000 10000 conecciones por neurona
4

Redes Neuronales

Neuronas

Redes Neuronales

Neuronas Artificiales

Sper-simplificacin Analoga Metafrica Sorprendente poder de cmputo

Redes Neuronales

Historia

William James (1890): Describe (en palabras y figuras) redes distribudas simples y el aprendizaje de Hebbian. McCulloch & Pitts (1943): Unidades binarias con barrera de activacin que realizan operaciones lgicas (prueban computacin universal!). Hebb (1949): Formulacin de una regla fisiologica (local) de aprendizaje. Rosenblatt (1958): El Perceptrnla primera mquina real que aprende. Widrow & Hoff (1960): ADALINE y la regla Widrow-Hoff de aprendizaje supervisado. Minsky & Papert (1969): Las limitaciones del perceptrnel Invierno Neuronal v.d.Malsburg (1973): Mapas Auto-organizables. Grossberg (1980): Theora de la Resonancia Adaptiva. Hopfield (1982/84): Redes de Atractores. Teora de patrones de asociacin y memoria. Kohonen (1982): Mapas Auto-organizables. Rumelhart, Hinton, & Williams (1986): Backpropagation

Redes Neuronales

Caractersticas de RNAs

El estilo de procesamiento es mas bien como el de procesamiento de seales, no simblico. La combinacin de seales para producir nuevas seales contrasta con la ejecucin de instrucciones almacenadas en memoria La informacin se almacena en un conjunto de pesos, no en un programa. Los pesos se deben adaptar cuando le mostramos ejemplos a la red. Las redes son tolerantes a ruido: pequeos cambios en la entrada no afecta drsticamente la salida de la red. Los conceptos se ven como patrones de actividad a lo largo de casi toda la red y no como el contenido de pequeos grupos de celdas de memoria. La red puede generalizar el conjunto de entrenamiento y as tratar con ejemplos no conocidos. RNA son buenas para tareas perceptuales y asociaciones. Justamente con lo que se topa la computacin tradicional.
Redes Neuronales
8

Arquitecturas de RNAs

Perceptrones de un solo nivel

Redes Neuronales

Arquitecturas de RNAs

Perceptrones de varios niveles

Redes Neuronales

10

Arquitecturas de RNAs

Redes Recurrentes

Redes Neuronales

11

Representacin de Conocimiento

Conocimiento = Informacin Almacenada + Modelos Tarea = Aprender un Modelo del Mundo Conocimiento:

Del mundo (informacin a priori) Observaciones (ejemplos) Etiquetados (respuesta deseada) Sin etiqueta Entrenamiento (Training Set) Validacin (Validation Set) Prueba (Test Set)

Ejemplos:

Ejemplos (+ y -):

Redes Neuronales

12

Diseo de una RNA

Dado un conj. de Ejemplos Seleccionar una arquitectura adecuada:

Tipo de conexin # neuronas/capa

Entrenar con TS Validar con VS Probar con TS

Redes Neuronales

13

IA y RNAs

IA -> desarrollar mquinas que realizan tareas cognitivas para las cuales los humanos son aptos.
Representacin

IA
Aprendizaje

Razonamiento

Redes Neuronales

14

Modelo de una Neurona

Redes Neuronales

15

Bias (Sesgo)

Redes Neuronales

16

Funciones de Activacin

Redes Neuronales

17