Curso Ingenieria Neuronal

Universidad de Santiago de Chile
Programa
Magíster en Ingeniería Informática
Curso de Ingeniería Neuronal

Clase 1: Introducción
Dr. Gonzalo Acuña L.
Enero 2005
Universidad de Santiago de Chile Departamento de Ingeniería Informática
Temario
Motivación
La neurona biológica
La neurona artificial
Aprendizaje
Redes Neuronas Artificiales
Ingeniería Neuronal
Reseña Histórica
Bibliografía
Ingeniería Neuronal Magíster en Ingeniería Informática
I . Motivación
I. Motivación
Gran facilidad de seres cognitivos para llevar a
cabo tareas como:
Reconocimiento de formas
Procesamiento de voz, imágenes, etc.
Ð Dificultad de computadores tipo Von Neumann

para desempeñar adecuadamente esas tareas.
Ð Interés (al igual que en la evolución técnica
anterior) en “copiar” el “secreto” de los seres
cognitivos.

I. Motivación
Ð Por lo anterior pareció importante
comprender y emular los mecanismos
asociados al éxito de los seres cognitivos:
Paralelismoy alta conectividad
Complejidad
Nace una de las ramas de la Inteligencia

Artificial: Redes Neuronales Artificiales

I. Motivación
Nuevo paradigma (no-algorítmico) para
el procesamiento de la información
(neurocomputación): de aprendizaje y
adaptación, procesamiento distribuido y
paralelo.
Nuevas herramientas (computadores más
rápidos, más baratos)
Entusiasmo inicial, edad media y

renacimiento.
I. Motivación
Actualmente aplicaciones en todas las áreas
En aproximación: control, automatización
modelamiento, predicción, identificación
En clasificación: reconocimiento patrones,
extracción de características, cuantización
En el futuro: mayor prudencia y más apoyo
teórico. Problemas abiertos:
generalización…

II. La Neurona
Biológica
II. Neurona biológica

Neurona Biológica
Potencial de reposo (- 60 mV)
Potencial de receptor (información exterior)
Æ depolarización Æ + 10 mV
Propagación pasiva en membrana
(amplitud y duración proporcionales a
estímulo)
Si importante Æ potencial acción

Neurona Biológica
Potencial de acción (+ 100 mV)
Tren de potenciales de frecuencia
proporcional a amplitud y duración de
potencial receptor.
Propagación activa en axón, desde cono
axónico hasta sinapsis.
Na+ adentro. Después: K+ afuera.

Neurona Biológica
Sinapsis (Ramón y Cajal, s. XIX)
Retardo en la transmisión de impulso Æ
modulación por neurotransmisores
Æplasticidad
Tipos sinapsis: axón-dendrita; axón soma;
axón-axón.
Tipos sinapsis: excitatoria, inhibitoria.

Neurona Biológica
Interconexión
1010 neuronas
Algunas neuronas con hasta 100.000
sinapsis


Neurona Biológica

III. La neurona
artificial
III. Neurona artificial

Autómata caracterizado por:
Un estado interno
Señales de entrada
Funciones de activación y transferencia
Tipos de neuronas:
Producto punto
Distancia


Modelo de McCulloch
y Pitts (1943)


a = x1 w1 + x2 w2 + …
Si a > Ө y=1
Si a < Ө y=0
Con este modelo se puede construir cualquier

función lógica (Booleana)
Con pesos convenientemente determinados se
podría simular cualquier computador digital



AND de 4 entradas
Inputs
Threshold = 1.5
Outputs
Threshold = 1.5
Inputs
Threshold = 1.5
All weights = 1 and all outputs = 1 if active; 0 otherwise


IV.Aprendizaje
IV. Aprendizaje
Capacidad de una neurona (o red neuronal)

para ajustar las conexiones (pesos) de modo
de obtener una respuesta deseada o que
satisfaga ciertos criterios

IV. Aprendizaje
Regla de Hebb (1949)
Cuando una neurona i repetida y
persistentemente excita a una neurona j
algún proceso de crecimiento o metabólico
se produce en una o ambas neuronas de
modo que la eficiencia de excitación de i
sobre j aumenta.

IV. Aprendizaje
Regla de Hebb (1949)
wijnew = wijold + α xi yj

V. Redes de
Neuronas
Artificiales (RNA)
V. RNA
Ð Consisten en un conjunto de neuronas
interconectados entre sí
Ð Queda completamente caracterizado por:
Ð Número de neuronas
Ð Arquitectura de interconexión
Ð Valor de los pesos
Ð Funciones de activación y transferencia

V. RNA
Ð Las RNA pueden trabajar en dos modos:
Ð Aprendizaje: adapta sus pesos; su arquitectura; sus
funciones de activación y transferencia
Ð Reconocimiento o simulación: se usa la RNA para
procesar información
Ð Aprendizaje de RNA:
Ð Supervisado (vía ejemplos)
Ð No-Supervisado

V. RNA

V. RNA

V. RNA
Entrenamiento Supervisado No-Supervisado
Problema
Memorias Hopfield
Asociativas
Clasificación Adaline-
Predicción Perceptron
Interpolación MLP – TDNN
LVQ – RBF
Cuantización LVQ Kohonen
ART

RNA Von Neumann

V. RNA Entrenada Programada
c/instrucciones
Memoria y No interactúan
procesadores
interactúan
Paralelo y Secuencial
asíncrono
Tolerante fallas No
Autoorganizada Dependiente Sw
Conocimiento Conocimiento
almacenado en almacenado en
forma adaptable memoria
localizable
Procesamiento Procesamiento
anárquico autocrático

VI. Ingeniería Neuronal

Apoyo en teoría de RNA para resolver
problemas de procesamiento información
(regresión, clasificación , reconocimiento
patrones, optimización, etc..)
Tratamiento previo de datos y análisis de
sistema
Creación de la red
Validación del modelo

VII. Reseña Histórica

McCulloch y Pitts (1943)
Hebb (1949)
Rossenblatt (1958)
Widrow – Hoff (Adaline)
Minski y Papert (Perceptrons)
Kohonen (1972 y 1982)
Hopfield (1982)
Rumelhart y Hinton (retropropagación) (1986)
(Werbos 1974)

VIII Bibliografía
R. Lippmann, 1987, An introduction to computing
with neural nets, IEEE ASP, pp. 4-22.
J. A. Freeman, D. Skapura, 1993, Redes
Neuronales, Addison-Wesley
J. Hertz, A. Krogh, R. Palmer, 1991, Introduction
to the theory of neural computation, Addison-
Wesley.
C. Bishop, 1995, Neural networks for pattern
recognition, Clarendon Press, Oxford.

Curso Ingenieria Neuronal

Cargado por

Información del documento

Descripción original:

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Curso Ingenieria Neuronal

Cargado por

Copyright:

Formatos disponibles

Universidad de Santiago de Chile

Curso de Ingeniería Neuronal

Ð Dificultad de computadores tipo Von Neumann

Ingeniería Neuronal Magíster en Ingeniería Informática

 Nace una de las ramas de la Inteligencia

Ingeniería Neuronal Magíster en Ingeniería Informática

 Entusiasmo inicial, edad media y

Ingeniería Neuronal Magíster en Ingeniería Informática

II. Neurona biológica

Ingeniería Neuronal Magíster en Ingeniería Informática

Ingeniería Neuronal Magíster en Ingeniería Informática

Ingeniería Neuronal Magíster en Ingeniería Informática

Ingeniería Neuronal Magíster en Ingeniería Informática

Ingeniería Neuronal Magíster en Ingeniería Informática

Ingeniería Neuronal Magíster en Ingeniería Informática

Ingeniería Neuronal Magíster en Ingeniería Informática

III. Neurona artificial

Ingeniería Neuronal Magíster en Ingeniería Informática

III. Neurona artificial

Ingeniería Neuronal Magíster en Ingeniería Informática

III. Neurona artificial

 Con este modelo se puede construir cualquier

Ingeniería Neuronal Magíster en Ingeniería Informática

III. Neurona artificial

Ingeniería Neuronal Magíster en Ingeniería Informática

III. Neurona artificial

Ingeniería Neuronal Magíster en Ingeniería Informática

All weights = 1 and all outputs = 1 if active; 0 otherwise

Ingeniería Neuronal Magíster en Ingeniería Informática

III. Neurona artificial

Ingeniería Neuronal Magíster en Ingeniería Informática

 Capacidad de una neurona (o red neuronal)

Ingeniería Neuronal Magíster en Ingeniería Informática

Ingeniería Neuronal Magíster en Ingeniería Informática

Ingeniería Neuronal Magíster en Ingeniería Informática

Ingeniería Neuronal Magíster en Ingeniería Informática

Ingeniería Neuronal Magíster en Ingeniería Informática

Ingeniería Neuronal Magíster en Ingeniería Informática

Ingeniería Neuronal Magíster en Ingeniería Informática

Ingeniería Neuronal Magíster en Ingeniería Informática

RNA Von Neumann

Ingeniería Neuronal Magíster en Ingeniería Informática

VI. Ingeniería Neuronal

Ingeniería Neuronal Magíster en Ingeniería Informática

VII. Reseña Histórica

Ingeniería Neuronal Magíster en Ingeniería Informática

Ingeniería Neuronal Magíster en Ingeniería Informática

También podría gustarte

Nace una de las ramas de la Inteligencia

Entusiasmo inicial, edad media y

Con este modelo se puede construir cualquier

Capacidad de una neurona (o red neuronal)