Redes neuronales

Conceptos fundamentales y
modelos
 2

Contenido
„ Introduccion
„ La neurona biologica
„ Modelo de una neurona
„ Arquitecturas de las redes: Redes feedforward
„ Arquitecturas de las redes: Redes recurrentes
„ Capacidades de las redes neuronales
„ Aplicaciones de las Redes Neuronales

15 noviembre 2005 PIAI Unicauca

Introduccion
 4
Las redes neuronales y los sistemas
fuzzy

15 noviembre 2005 PIAI Unicauca

 5

Funcionamiento del cerebro

„ Es facil reconocer una manzana o una pera
„ Aprendimos a hacer esto durante la infancia a
traves de un proceso de aprendizaje por
ejemplos
„ No necesitamos un sistema experto o una base de
reglas o una busqueda heuristica compleja de
reconocimiento de patrones

15 noviembre 2005 PIAI Unicauca

 6

Funcionamiento del cerebro

„ Podemos clasificar un objeto como una fruta
aunque jamas lo hayamos visto antes

„ Habilidad inherente para generalizar

15 noviembre 2005 PIAI Unicauca

 7

¿Qué es una red neuronal?

„ Las redes neuronales son un intento de simular
las capacidades del cerebro humano

„ Aprendizaje por ejemplos

„ Generalizacion de lo especifico a lo abstracto
„ Manejo de datos con ruido

15 noviembre 2005 PIAI Unicauca

 8
El cerebro y las aproximaciones
artificiales
„ El funcionamiento del cerebro y el
razonamiento humano son procesos
complejos

Las aproximaciones artificiales

son
muy rudimentarias

15 noviembre 2005 PIAI Unicauca

La Neurona Biologica

Image Source: ww.physiol.ucl.ac.uk/fedwards/ ca1%20neuron.jpg

 10

La Neurona Biologica

Las neuronas son celulas del

cerebro. Se estima que hay
en el cerebro humano::

1012 neuronas

1014 Conexiones sinapticas

15 noviembre 2005 PIAI Unicauca

 11

Partes de una neurona

15 noviembre 2005 PIAI Unicauca

 12

Como trabaja la neurona

„ Las dendritas recogen las cargas de entrada
de las sinapsis

„ Algunas veces la accion a traves de la sinapsis

incrementa el potencial del soma, y otras veces lo
disminuye

15 noviembre 2005 PIAI Unicauca

 13

Como trabaja la neurona

„ Si el potencial del cuerpo de la celula alcanza
cierto umbral, entonces, la neurona se dispara
40 mV membrane

„ un impulso electrico 20
rest
activation

recorrera el axon 0

-20

alcanzando -40

eventualmente todas -60

-80
las ramas, -100
ms
-120
0 10 20 30 40 50 60 70 80 90 100

15 noviembre 2005 PIAI Unicauca

 14

Como trabaja la neurona

„ Causando la descarga de neurotransmisores.

„ Y asi sucesivamente . . .

15 noviembre 2005 PIAI Unicauca

 15

Dinamica de la neurona
40 mV membrane
Potential de la accion
rest
20
activation ≈ 100mV
0 Action potential
Umbral de activacion
-20 ≈ 20-30mV
-40
Potencial de reposo
-60 ≈ -65mV
-80 Refractory time
Tiempo del pico
-100 ≈ 1-2ms
ms
-120 Tiempo de refracccion
0 10 20 30 40 50 60 70 80 90 100 ≈ 10-20ms

15 noviembre 2005 PIAI Unicauca

 16

Neuronas Biologicas
synapse axon
synapse axon
nucleus
nucleus

cell body
cell body

dendrites
dendrites

dendritas
axon

sinapsis

La transmision de la informacion ocurre en las sinapsis.

15 noviembre 2005 PIAI Unicauca
Modelo de una
neurona
 18
Una neurona artificial y una
biologica

15 noviembre 2005 PIAI Unicauca

 19

La neurona artificial
„ La neurona es la unidad de procesamiento
basica de una red neuronal. Consiste de:

„ Un conjunto de sinapsis o conexiones, cada

conexion caracterizada por un peso:

15 noviembre 2005 PIAI Unicauca

 20

La neurona artificial
„ La neurona es la unidad de procesamiento
basica de una red neuronal. Consiste de:
„ Una funcion sumatoria que calcula la suma
pesada de las entradas:

15 noviembre 2005 PIAI Unicauca

 21

La neurona artificial
„ La neurona es la unidad de procesamiento
basica de una red neuronal. Consiste de:
„ Una funcion de activacion que limita la amplitud
de la salida de la neurona:

15 noviembre 2005 PIAI Unicauca

 22

Morfología de una neurona artificial

„ Modelo de McCulloch-Pitts (1949)

15 noviembre 2005 PIAI Unicauca

 23

Neurona artificial

15 noviembre 2005 PIAI Unicauca

 24

Modelo matematico de la neurona

„ La salida de una neurona ( j ) esta dada por

⎛ ⎞
a j = f ⎜ ∑ wij xi + b j ⎟ = f ( w j x + b j )
n
T

⎝ i =1 ⎠
Funcion de activacion

„ wij : determina la fortaleza con que la entrada i contribuye en

la la salida

„ bj : determina el nivel de umbral o de activacion de la neurona

15 noviembre 2005 PIAI Unicauca

 25

La “Bias” de la neurona
„ La polarizacion b tiene el efector de aplicar una
transformacion affine a u:

v=u+b

„ v es el campo local inducido

por la neurona

15 noviembre 2005 PIAI Unicauca

 26

Tipos de funcion de activacion

15 noviembre 2005 PIAI Unicauca

 27

Tipos de funcion de activacion

15 noviembre 2005 PIAI Unicauca

 28

Tipos de funcion de activacion

15 noviembre 2005 PIAI Unicauca

 29

Funciones de activacion bipolares

„ s

15 noviembre 2005 PIAI Unicauca

 30

Neuronas continuas y discretas

„ s

15 noviembre 2005 PIAI Unicauca

 31

La neurona como un operador

„ La neurona realiza una operación no lineal
sobre la conbinacion lineal de las variables de
entrada

15 noviembre 2005 PIAI Unicauca

 32
Selección de la funcion de activacion y
los parametros

„ El diseñador escoge la funcion de activacion

para satisfacer alguna especificacion del
problema que la neurona intenta resolver.

„ Los pesos y bias son determinados mediante

un proceso de aprendizaje

15 noviembre 2005 PIAI Unicauca

 33

Representacion de una neurona

El termino b es la polarizacion o bias,

o umbral

15 noviembre 2005 PIAI Unicauca

Arquitecturas de las
redes

Redes feedforward
 35

Estructuras de las redes

„ Una red neuronal esta compuesta de muchas
neuronas artificiales

„ Ligadas de acuerdo a una estructura de red

especifica

„ El objetivo de la red neuronal es transformar

las entradas en salidas significativas

15 noviembre 2005 PIAI Unicauca

 36

Tipos de redes
„ Existen muchos tipos de redes neuronales. Por
mencionar algunas:
„ Redes perceptron multicapa
„ Redes backpropagation feedforward
„ Redes RBF (Radial Basis Function)
„ Redes backpropagation recurrentes
No se pretende
„ Otras: hacer una
clasificacion
„ Mapas auto-organizativos
„ Redes neuronales modulares

15 noviembre 2005 PIAI Unicauca

 37

Redes feedforward
„ No tienen realimentacion interna

„ La salida se calcula directamente de la entrada

„ A traves de conexiones feedforward

15 noviembre 2005 PIAI Unicauca

 38

Redes neuronales de una sola capa

15 noviembre 2005 PIAI Unicauca

 39

Red neuronal de tres capas

Red feedforward con conexión completa con una capa oculta y la capa
de salida

15 noviembre 2005 PIAI Unicauca

 40

Red neuronal de tres capas

Red feedforward con conexión parcial con una capa oculta y la capa de
salida

15 noviembre 2005 PIAI Unicauca

 41
Conexión de las neuronas entre
capas

15 noviembre 2005 PIAI Unicauca

 42

Una capa de neuronas

„ R entradas
„ S neuronas
„ S salidas

15 noviembre 2005 PIAI Unicauca

 43

Red de una capa: notacion abreviada

Matriz de los pesos

15 noviembre 2005 PIAI Unicauca

 44

Red de tres capas

„ sd

15 noviembre 2005 PIAI Unicauca

 45

Red de tres capas: notacion abreviada

15 noviembre 2005 PIAI Unicauca

Arquitecturas de las
redes

Redes recurrentes
 47

Redes neuronales recurrentes

„ Tienen realimentacion interna

„ La salida depende de la entrada presente

„ Pero tambien de estados y salidas pasadas de

la red

15 noviembre 2005 PIAI Unicauca

 48
Estructura de una red neuronal
recurrente

15 noviembre 2005 PIAI Unicauca

 49

Subred recurrente con varios retardos

Ejemplo: Una subred de dos capas

15 noviembre 2005 PIAI Unicauca

 50

Subred recurrente con varios retardos

Lineas de retardo

15 noviembre 2005 PIAI Unicauca

 51

Ejemplo: La red Hopfield

15 noviembre 2005 PIAI Unicauca

Capacidades de las
redes neuronales
 53

Propiedades de las redes neuronales

„ Muchas neuronas simples dispuestas como
unidades de conmutacion con umbral
„ Muchas conexiones pesadas entre las unidades
„ Procesamiento paralelo
„ Base de conocimientos distribuida
„ Aprendizaje por sintonia de los pesos de las
conexiones

15 noviembre 2005 PIAI Unicauca

 54

Propiedades de las redes neuronales

„ Tolerancia a fallas
„ Razonamiento aproximado
„ Capacidad de generalizacion

„ Las redes neuronales estan motivadas por los

sistemas neuronales biologicos
„ Pero no son tan complejas como los sistemas
biologicos

15 noviembre 2005 PIAI Unicauca

 55

Dominios apropiados para las ANNs

„ La entrada es un valor real o discreto de
dimension alta
„ La salida es un vector de valores reales o
discretos
„ La forma de la funcion objetivo es
desconocida

15 noviembre 2005 PIAI Unicauca

 56

Dominios apropiados para las ANNs

„ Los humanos no necesitan interpretar los
resultados
„ modelo de caja negra

„ Los ejemplos de entrenamiento pueden

contener errores
„ Las redes neuronales son robustas a los errores

15 noviembre 2005 PIAI Unicauca

 57
Las redes neuronales como
aproximadores

„ Las redes supervisadas son aproximadores

universales

„ Teorema : Cualquier funcion limitada puede

ser aproximada por una red neuronal con un
numero finito de neuronas ocultas con una
precision arbitraria

15 noviembre 2005 PIAI Unicauca

 58

Aprendizaje en las redes neuronales

„ En los sistemas biologicos

„ El aprendizaje es un proceso de adaptacion de la conducta

„ En las redes neuronales

„ El aprendizaje ocurre cambiando el peso de las

conexiones, eliminando algunas, o construyendo otras
nuevas

15 noviembre 2005 PIAI Unicauca

 59
El aprendizaje como proceso de
optimizacion
„ En los organismos biologicos
„ El objetivo del aprendizaje es optimizar la cantidad
disponible de recursos, o en general alcanzar un estado
optimo.

„ En las redes neuronales

„ El objetivo de adaptar la respuesta sobre la base de la
informacion recibida del entorno es alcanzar un mejor
estado.

15 noviembre 2005 PIAI Unicauca

 60
Inconvenientes de las redes
neuronales
„ La base de conocimientos no es transparente
(caja negra) (Parcialmente resuelto)

„ Aprendizaje algunas veces dificil / lento

„ Capacidad de almacenamiento limitado

15 noviembre 2005 PIAI Unicauca

 61
Inconvenientes de las redes
neuronales
„ Demasiados parametros
„ Numero de capas
„ Numero de neuronas
„ Demasiadas neuronas requieren mas tiempo de
entrenamiento

„ Velocidad de aprendizaje

15 noviembre 2005 PIAI Unicauca

 62
Inconvenientes de las redes
neuronales
„ Overfitting

„ Con suficientes nodos se puede clasificar

cualquier conjunto de entrenamiento exactamente

„ Pero la habilidad para generalizar es pobre

15 noviembre 2005 PIAI Unicauca

Aplicaciones de las
Redes Neurales
 64

Aplicaciones de las Redes Neurales

15 noviembre 2005 PIAI Unicauca

 65

Aplicaciones de las Redes Neurales

„ Las propiedades de las redes neuronales
definen donde pueden ser utiles.
„ Pueden aprender mapeos de entrada-salida
complejos basadas unicamente en ejemplos

15 noviembre 2005 PIAI Unicauca

 66

Aplicaciones de las Redes Neurales

„ Las propiedades de las redes neuronales
definen donde pueden ser utiles.
„ Dificiles de analizar: Es dificil hacer predicciones
firmes sobre la conducta de la red neuronal
„ Poco adecuadas para aplicaciones de seguridad critica

15 noviembre 2005 PIAI Unicauca

 67

Aplicaciones de las Redes Neurales

„ Las propiedades de las redes neuronales
definen donde pueden ser utiles.
„ Requieren de cierto conocimiento del entrenador,
quien puede guiarse por metodos heuristicos

15 noviembre 2005 PIAI Unicauca

 68

Tipos de problemas
„ Clasificacion: determinar a cual de un numero
discreto de clases pertenece una entrada dada
„ Regresion: predecir el valor de una variable
(usualmente continua)

„ Analogo a una regresion lineal con minimos cuadrados

„ Series de tiempo: predecir el valor de una variable a

partir de los valores anteriores de la misma o de otras
variables

15 noviembre 2005 PIAI Unicauca

 69

Tareas de las redes Neuronales

„ Control
„ Classification En general estas pueden ser
reformuladas como tareas de
„ Prediction APROXIMACION DE FUNCIONES

„ Approximation

15 noviembre 2005 PIAI Unicauca

 70
Ejemplo: Las redes neuronales y el
reconocimiento de caracteres

OCR
„ Red: feedforward

„ Entrenamiento:
backpropagation

15 noviembre 2005 PIAI Unicauca

 71

Ejemplo: conduccion de automoviles

„ ALVINN aprende a mantener un automovil en la
via observando como la gente conduce (Dean
Pomerleau en CMU)

15 noviembre 2005 PIAI Unicauca

 72

Ejemplo: reconocimiento de caras

„ 90% de precision en aprender la pose de la
cabeza y reconocimiento de 1-20 caras

15 noviembre 2005 PIAI Unicauca

 73

Fuentes
„ Martin Hagan, Neural Network Design Demonstrations. PWS
Publishing Company. 1994
„ Heikki Koivo, Neuro-Fuzzy Computing in Automation,
course material. Control Engineering Laboratory. Helsinki
University of Technology. Spring 2002.
„ Jeen-Shing Wang, Course: Introduction to Neural Networks.
Lecture notes. Department of Electrical Engineering. National
Cheng Kung University. Fall, 2005
„ Wen Yu, Advanced Fuzzy neural networks. Lecture notes.
Departamento de Control Automatico. CINVESTAV-IPN.
2005

15 noviembre 2005 PIAI Unicauca

 74

Sources
„ J-Shing Roger Jang, Chuen-Tsai Sun and Eiji Mizutani, Slides
for Ch. 5 of “Neuro-Fuzzy and Soft Computing: A
Computational Approach to Learning and Machine
Intelligence”, First Edition, Prentice Hall, 1997.
„ Djamel Bouchaffra. Soft Computing. Course materials.
Oakland University. Fall 2005
„ Lucidi delle lezioni, Soft Computing. Materiale Didattico.
Dipartimento di Elettronica e Informazione. Politecnico di
Milano. 2004
„ Handbook of Neural Computation. release 97/1. IOP
Publishing Ltd and Oxford University Press. 1997

15 noviembre 2005 PIAI Unicauca