Redes Neuronales

Artificiales
Objetivo:
Conocer los diferentes tipos Redes Neuronales Artificiales
sus aplicaciones.

Introduccin
Aunque todava se ignora mucho sobre la forma en
que el cerebro aprende a procesar la informacin, se
han desarrollado modelos que tratan de mimetizar
tales habilidades; denominados redes neuronales
artificiales modelos de computacin conexionista.
La elaboracin de estos modelos supone en primer
lugar la deduccin de los rasgos o caractersticas
esenciales de las neuronas y sus conexiones, y en
segundo lugar, la implementacin del modelo en una
computadora de forma que se pueda simular.

Introduccin
Se trata te entender la forma de
funcionamiento del cerebro humano,
que es completamente distinta al
funcionamiento de un computador
digital
convencional.
El
cerebro
humano corresponde al de un sistema
altamente
complejo,
no-lineal
y
paralelo.

Marco Histrico de las

Redes Neuronales
1943 W. Mc Culloch y
W. Pitts. N. Digitales.
1949 Donald Hebb
La organizacin de
comportamiento.
1950 Karl Lashley,
informacin
almacenada
de
forma distribuida.

Marco Histrico de las

Redes Neuronales
1957 F. Rosemblatt
El Perceptron.
1959 B. Widrow y T.
Hoff
Adaline
&
Madaline.
1967
S. Grossberg
Red Avalancha.

Marco Histrico de las

Redes Neuronales
1969 M. Minsky y S.
Papert Perceptrons.
1977 Stephen Grossberg
"Teora de Resonancia
Adaptada
(TRA),
Adaptative
Resonanci
Theory (ART).
1978 Teuvo Kohonen
Mapas
Autoorganizativos
(SOM).

Marco Histrico de las

Redes Neuronales
1980 K. Fukushima
Cognitron
y
Neocognitron.
1985 John Hopfield
Red Hopfield.
1986
Rumelhart,
Hinton y William,
Algoritmo
de
retropropagacin.

Inspiracin Biolgica
El cerebro consiste de un gran nmero
de elementos altamente conectados
llamadas neuronas.
dendritas

axn
Cuerpo celular
sinpsis

Inspiracin Biolgica
Neurona
s
Sonido

informacin

Conexiones
Sabo
r
Olor

Color

Movimient
o

acciones

Inspiracin Biolgica
Dendritas
Axon

Cuerpo

Seal
(Informacin)
Sinapsis

Inspiracin Biolgica
Dendritas: ramificaciones nerviosas que trasmiten
seales electroqumicas hacia el cuerpo de la clula.
Cuerpo de la clula: suma esas seales de entrada.
Axn: filamento que lleva la seal desde el cuerpo
de la clula hacia otras neuronas.

Sinpsis: punto de contacto entre un axn de una

clula y una dendrita de otra clula.

El arreglo (conexin) de neuronas establece la

funcin de toda la red neural.

Inspiracin Biolgica
Se nace con alguna estructura neural
Se crean nuevas conexiones y otras se gastan; se
desarrollan a travs del aprendizaje propio de la
etapa de crecimiento.
La estructura neural cambia a travs de la vida.
Esos cambios consisten en reforzamiento o
debilitamiento de las junturas sinpticas.
Se forman nuevas memorias al modificar o reforzar
algunas sinapsis.
Por ejemplo, memorizar la cara de una persona
que nos presentan, consiste en alterar varias
sinpsis.

Inspiracin Biolgica
Las ANN no copian la complejidad del
cerebro.
Aunque las neuronas biolgicas son muy
lentas
comparadas
a
los
circuitos
elctricos, el cerebro biolgico es capaz de
realizar muchas tareas ms rpido que
cualquier
computador
convencional,
debido en parte a su estructura
masivamente
paralela,
donde
sus
neuronas
estn
operando
simultneamente.

Muchas ANN se implementan en

Reacciones en el Cerebro
Las reacciones qumicas se generan fuera de la neurona
gracias a los neurotransmisores (glutamato, dopamina,
adrenalina, endomorfina).
Los impulsos elctricos son procesos internos en la soma
debido al desbalance de los iones (pasivo a -60 mV)
Na+ (dentro y fuera del soma)
K+ (fuera del soma)
Ca2+ (fuera del soma)
P2- (proteinas, dentro )
El desbalance entre Na+ y K+, precipita los Na+ al interior
del soma y lleva al modo activo a +50 mV. Este potencial
dispara los neurotransmisores

Cerebro
Estudios dividen la corteza cerebral en
51
reas
(comportamiento,
movimiento, Homeostasis, emociones,
memoria, aprendizaje, etc), las ms
importantes:
lbulo temporal: cualidades sonoras,
comprensin de lenguaje, memoria y
aprendizaje.
lbulo
frontal:
motora
primaria,
neuronas que controlan los msculos
del cuerpo.
lbulo parietal: neuronas relacionadas
con el tacto.
lbulo occipital: corteza visual primaria,
localizada en la parte posterior.

Cerebro
La respuesta se conduce a
travs de la mdula espinal a
los msculos
El cerebro ha crecido desde el
hipotlamo que es el asiento
de las funciones ms bsicas

Cerebro vs Computador
Almacenamiento: Ms
neuronas que bits aunque la
evolucin computacional es
vertiginosa (mucho mayor que
la evolucin de cerebro).
Velocidad: Computador orden
de los seg Cerebro del orden
de los mseg, pero el cerebro
es masivamente paralelo yen
definitiva el cerebro es 1010
veces ms rpido.

Cerebro vs Computador
Tolerancia a fallas: Una neurona
natural daada afecta de manera
marginal el comportamiento del
cerebro. Cualquier mnimo error
altera todo el procesamiento a nivel
del computador.
Complejidad de ejecucin: El cerebro
realiza tareas muy complejas que son
sencillas al humano pero difciles
para cualquier computador.
Procesamiento:
Centralizado vs Distribuido
Computador
Cerebro

Red Neuronal
Artificial

Qu es una Red Neuronal

Artificial?

Algunas redes neuronales son modelos

biolgicos y otros no, gran parte del origen
de las redes neuronales proviene del deseo
de producir sistemas artificiales capaces de
efectuar procesos sofisticados,
quizs
inteligentes, similares a los que realiza el
cerebro humano comnmente.

Definiciones de una RNA

Es un arreglo masivo de elementos de
procesamiento simple llamados neuronas,
los cuales poseen un alto grado de
interconectividad entre sus elementos, en
los que la informacin puede fluir en
cascada o en retroceso. Estos arreglos estn
inspirados en la naturaleza biolgica de las
neuronas.

Definiciones de una RNA

Las redes neuronales Artificiales son redes
interconectadas masivamente en paralelo
de elementos simples y con organizacin
jerrquica, las cuales intentan interactuar
con los objetos del mundo real del mismo
modo que lo hace el sistema nervioso
biolgico.
Teuvo Kohonen

Redes Neurales Artificiales

Unidades enlazadas a travs de conexiones
cargadas por pesos numricos
o El aprendizaje se basa en la actualizacin de esos
pesos que se inicializan en la fase de
entrenamiento de la red.
o Est formada por unidades de entrada y unidades
de salida (neuronas de entrada y neuronas de
salida).
o El nivel de activacin de la neurona artificial
(equivalente al impulso excitatorio) es un clculo
individual en cada neurona, sin control global.

Redes Neurales Artificiales

Redes Neurales Artificiales

Suma Ponderada

ini =

aj

j,i

a=(wp+b)

La entrada escalar p se multiplica por el peso escalar w para formar wp, un trmino
que entra al sumador.
Otra entrada 1, que se multiplica por un sesgo (offset) b, tambin va al sumador.
La salida del sumador n, que se conoce como entrada de red va a la funcin de
transferencia f (funcin de activacin), la cual produce la salida escalar a de la
neurona.

Redes Neurales Artificiales

Neurona de mltiples entradas
Tpicamente una neurona tiene ms de una entrada.

p
Rx1

W
1xR

+
1

n
1x1

a
1x1

b
1x1

n = w11p1 + w12p2 + ... + w1RpR + b

n = Wp+b
El nmero de entradas a la red depende de las especificaciones
del problema.
Por ejemplo, si se desea predecir las condiciones de vuelo de un
cometa y las entradas sean la temperatura del aire, la velocidad
del viento y la humedad, la red necesitar tres entradas.

Informacin sobre el Sesgo

Se pueden escoger las neuronas con o sin sesgo. El
sesgo es una variable extra.
Las redes con sesgo son ms poderosas que las que
no lo tienen.
Por ejemplo, una neurona sin sesgo siempre tendr
una entrada de red n cero, cuando las entradas P
son cero. En algunos casos esto es no deseable y se
puede evitar por el uso del sesgo.

Funciones de Activacin ()
Funcin comn a todas las neuronas artificiales que
determina su activacin dado los estmulos de entrada

Arquitecturas de RNAs
Perceptrones de un
solo nivel

Arquitecturas de RNAs
Perceptrones de
varios niveles

Arquitecturas de RNAs
Redes Recurrentes

Arquitecturas de RNAs

Tipos de Aprendizaje

Supervisado:
Se presenta a la red un conjunto de patrones junto con la salida
deseada. Iterativamente se ajustan los pesos para lograr la salida
deseada.
Requiere propagar informacin hacia atrs.
Requiere de instructor.
Pasos:
Fijar pesos aleatorios las conexiones
Seleccionar par de entrenamiento
Presentar patrn de entrada y calcular salida
Calcular error o discrepancia con la salida deseada
Aplicar regla de aprendizaje

Tipos de Aprendizaje

No Supervisado o Autoorganizado:
Se presentan slo patrones de entrada
Basado en la redundancia en las entradas
La red reconoce la irregularidades del conjunto de entrada,
extrae rasgos y los agrupa por similitud (cluster).
Grandes plausibilidades biolgicas

Tipos de Aprendizaje

Hbrido:
Coexistencia de supervisado y autoorganizado.

Reforzado:
Se tiene informacin del error ms no de la salida. Con
la informacin del buen o mal comportamiento se ajusta
la red.

Ventajas de la Redes
Neuronales

Aprendizaje Adaptativo:

Es una de las caractersticas ms atractivas de las redes

neuronales es la capacidad de aprender a realizar tareas
basadas en un entrenamiento o una experiencia inicial.
. Autoorganizacin:
Las redes neuronales usan su capacidad de aprendizaje
adaptativo para organizar la informacin que reciben
durante el aprendizaje y/o la operacin. Una RNA puede
crear su propia organizacin o representacin de la
informacin que recibe mediante una etapa de aprendizaje.
Esta autoorganizacin provoca la facultad de las redes
neuronales de responder apropiadamente cuando se les
presentan datos o situaciones a los que no haban sido
expuestas anteriormente.

Ventajas de la Redes
Neuronales

Tolerancia a Fallos:

Comparados con los sistemas computacionales

tradicionales, los cuales pierden su funcionalidad en cuanto
sufren un pequeo error de memoria, en las redes
neuronales, si se produce un fallo en un pequeo nmero
de neuronas, aunque el comportamiento del sistema se ve
influenciado, sin embargo no sufre una cada repentina.
Hay dos aspectos distintos respecto a la tolerancia a fallos:
primero, las redes pueden aprender a reconocer patrones
con ruido, distorsionados, o incompleta. Segundo pueden
seguir realizando su funcin (con cierta degradacin)
aunque se destruya parte de la red.

Ventajas de la Redes
Neuronales

Operacin en Tiempo Real:

Los computadores neuronales pueden ser realizados en

paralelo, y se disean y fabrican mquinas con hardware
especial para obtener esta capacidad.
Fcil insercin dentro de la tecnologa existente:
Debido a que una red puede ser rpidamente entrenada,
comprobada, verificada y trasladada a una implementacin
hardware de bajo costo, es fcil insertar RNA para
aplicaciones especficas dentro de sistemas existentes
(chips, por ejemplo). De esta manera, las redes neuronales
se pueden utilizar para mejorar sistemas de forma
incremental, y cada paso puede ser evaluado antes de
acometer un desarrollo ms amplio.

Consideraciones en una Red

Neural Artificial
Cuantas unidades o neuronas artificiales ?
Tanteo ...
Tipo de neurona ?

Por problemas similares

Topologa de la red ?
Tanteo ...
Inicializacin de los pesos ?
Aleatorio
Nmero de ejemplos para el entrenamiento ?
Depende del problema planteado
Cmo codificar los datos de entrada y salida ?
Binario es lo comn ...

Algunos Tipos de Redes

Artificiales

Perceptron

Reconocimiento de caracteres impresos.

Adalaine y Madalaine
Filtrado de seales.
Backpropagation
Sintesis de Voz, Control de Robots,
Patrones.
Neocognitron
Reconocimiento de caracteres

Algunos Tipos de Redes

Artificiales

Hopfield

Reconstruccin de Patrones.
SOM
Reconocimiento de patrones codificados
de datos.
ART
Reconocimiento de patrones (radar,
sonar).

Campos de aplicacin
Finanzas
Prediccin de ndices.
Deteccin de fraudes.
Riesgo crediticio, clasificacin.
Prediccin de la rentabilidad de acciones.
Negocios
Marketing.
Venta cruzada.
Campanas de venta.
Tratamiento de textos y proceso de formas
Reconocimiento de caracteres impresos
mecnicamente.
Reconocimiento de grficos.
Reconocimiento de caracteres escritos a mano.

Campos de aplicacin
Alimentacin
Anlisis de olor y aroma.
Perfilamiento de clientes en funcin de la compra.
Desarrollo de productos.
Control de CalidadPrediccin consumo de gas ciudad.
Industria manufacturera
Control de procesos.
Control de calidad.
Control de robots.
Medicina y salud
Ayuda al diagnostico.
Anlisis de Imgenes.
Desarrollo de medicamentos.
Distribucin de recursos.

Campos de aplicacin
Ciencia e Ingeniera
Anlisis de datos y clasificacin.
Ingeniera Qumica.
Ingeniera Elctrica.
Climatologa.
Transportes y Comunicaciones
Optimizacin de rutas.
Optimizacin en la distribucin de recursos.

Aplicaciones Reales
Pronunciacin: NETtalk (87), aprende a
pronunciaer texto escrito. 29 unidades de
entrada (26 letras, ms espacios, puntos,
comas, ...). 80 unidades ocultas. 1024palabras de entrenamiento y 95% de xito
en el entrenamiento, pero 78% en la
prueba.

Aplicaciones Reales
Reconocimiento de caracteres: una de las
aplicaciones ms grandes de redes neuronales
actuales (Le Cun et al. 89). Una red que lee
cdigos postales en cartas escritas a mano. El
sistema tiene un prepocesador para localizar los
nmeros, y la red los descifra. 3 capas ocultas
(768, 192 y 30 unidades cada una). No se
conectaron todas las unidades contra todas, si no
que se di un efecto de detectores de atributos,
dividiendo las unidades ocultas en grupos (un
total de 9,760 conexiones). Logra un 99% de
xito, adecuado para un sistema de correo
automtico y se ha implementado en un chip.

Aplicaciones Reales
Manejar: ALVINN (Autonomous Land Vehicle In a
Neural Network) (Pomerleau 93) es una red
neuronal que aprende a manejar un vehculo
viendo como maneja un humano. Maneja dos
vehculos equipados especialmente. Se utiliza
una camara que alimenta una rejilla de entradas
a la red. La salida (30 unidades) controla la
direccin del volante.
La red tiene 5 capas ocultas totalmente
conectadas. Despus de que gente maneja el
vehculo y se entrena al sistema (con retropropagacin, por cerca de 10 min.) el sistema
est listo para manejar. Puede manejar hasta a
70 mph por distancias de hasta 90 millas.

Instituciones y Centros
de Investigacin
MIT

UCLA
Universidad de Helsinky
Universidad Politcnica de Madrid
Texas A&M, etc.
UNI Facultad de Ciencias

Asociaciones de RNA
1987

International Neural Network

Society (INNS).

1988
on

International Joint Conference

Neural Networks (IJNN).

1991

International Conference on
Artificial Neural Networks
(ICANN).