Introducción a las Redes

Neuronales y su aplicación a la
Investigación Astrofísica
Patricio García Báez
pgarcia@ull.es

Patricio García Báez 1

 Sumario
◆ Introducción
◆ Inspiración biológica
◆ Modelado Neuronal
◆ Implementaciones
◆ Aplicaciones
◆ Grupo de trabajo
◆ Futuro de las RNAs

Patricio García Báez 2

 Redes Neuronales en la IA
Ramas de la Inteligencia Artificial en sus inicios:
◆ Simbólica-deductiva:
– Sistemas formales de reglas y manipulación
simbólica
– Rama más conocida de la IA
◆ Conexionista:
– Inspirada en las redes neuronales biológicas
– Métodos Inductivos: a partir de ejemplos

Ambas tratan de resolver problemas no algoritmicos a partir

de la experiencia almacenada como conocimiento

Patricio García Báez 3

 RNA como Modelo de Computación
Conexionista vs. Von Neumann
• Masivamente paralelo • Arquitectura secuencial
• Datos y programa • Separa claramente datos
indiferenciable en las del programa en la
conexiones memoria
• Solución inducida por • Solución como algoritmo
aprendizaje o programa introducido
• Impredicibilidad de • Resultados totalmente
resultados predecibles
• Gran tolerancia a fallos • No tolera errores

Patricio García Báez 4

 Áreas de Trabajo
Procesamiento de Señales
Análisis de Datos
Reconocimiento de Patrones
Control
Inteligencia Artificial
Desarrollo de aplicaciones
Aplicaciones basadas en técnicas
conexionistas

Informática Construcción de modelos

Implementaciones neuronales
Sicología
Proponer y validar modelos de
Arquitectura y Teoría de RN funcionamiento de arquitecturas
neuronales
Matemáticas Neurofisiología
Patricio García Báez Física 5
 Inspiración biológica
“Entender el cerebro y emular su potencia”

◆ Cerebro:
– Gran velocidad de proceso
– Tratamiento de grandes cantidades de información
procedentes de:
• Los sentidos
• Memoria almacenada
– Capacidad de tratar situaciones nuevas
– Capacidad de aprendizaje

Patricio García Báez 6

 Inspiración biológica
◆ Neuronas:
– Árbol dendrítico de
entradas
– Un axón de salida
– Sobre de104 sinapsis
– Comunicación mediante
Potenciales de Acción (PA)
– Periodo refractario de 10-3
segundos entre PAs

Patricio García Báez 7

 Inspiración biológica
◆ Transmisión neuronal:
– Impulso eléctrico que
viaja por el axón
– Liberación de
neurotransmisores
– Apertura/cierre de
canales iónicos
– Variación potencial en
dendrita
– Integración de entradas
en soma
– Si se supera umbral de
disparo se genera un PA

Patricio García Báez 8

 Inspiración biológica
◆ Red Neuronal Biológica:
– de 1010 a 1011 neuronas
– 1014 sinapsis
– Organización por capas
– Organización por niveles:
• Sistema Nervioso
Central (SNC)
• Circuitos entre regiones
• Circuitos locales
• Neuronas
• Árboles dendríticos
• Microcircuitos
neuronales
• Sinapsis
• Canales iónicos
Patricio García Báez • Moléculas 9
 Inspiración biológica
◆ Características SNC:
– Inclinación a adquirir
conocimiento desde la
experiencia
– Conocimiento almacenado
en conexiones sinápticas
– Gran plasticidad neuronal
– Comportamiento altamente
no-lineal
– Alta tolerancia a fallos
(muerte neuronal)
– Apto para reconocimiento,
percepción y control

Patricio García Báez 10

 Modelado Neuronal
◆ Una red neuronal artificial (RNA) es un sistema
de procesamiento de información que tiene
ciertas aptitudes en común con las redes
neuronales biológicas:
– El procesamiento de información ocurre en muchos
elementos simples llamados neuronas.
– Las señales son transferidas entre neuronas a través de
enlaces de conexión.
– Cada conexión tiene un peso asociado, el cual, típicamente,
multiplica a la señal transmitida.
– Cada neurona aplica una función de activación (usualmente
no lineal) a su entrada de red (suma de entradas pesadas)
para determinar su salida.
Laurene Fausett
Patricio García Báez 11
 Modelado Neuronal
◆ Enfoques:
– Computacional:
• Modelos eficientes, potentes y simples
• Áreas de aprendizaje inductivo y reconocimiento de
patrones
– Cognitivo:
• Interesado por capacidades cognitivas de los modelos
• Centrados en representación del conocimiento
– Biocognitivo:
• Premisa la plausibilidad biológica
– Psicofisiológico:
• Mecanismos naturales de procesos cognitivos reales

Patricio García Báez 12

 Modelado Neuronal
◆ Neurona Artificial: x1
w1,j función función
suma de activación
– Grupo de entradas (x) x2 w2,j


netj(t)
– Pesos sinápticos (w) xj(t)
wn,j
– Función suma (net)
xn
– Función de activación j
umbral (bias)
(act)
– Una única salida (y)
– Funcionamiento en modo
aprendizaje o ejecución

Patricio García Báez 13

 Modelado Neuronal
◆ Neurona Natural vs. Artificial:
– Neurona = Unidad de proceso
– Conexiones sinápticas =
Conexiones Pesadas
– Efectividad sináptica = Peso
sináptico
– Exitatorio/Inhibitorio = Pesos +
ó-
– Efecto combinado de sinapsis
= Función suma
– Activación-> Ratio disparo =
Función activación -> salida

Patricio García Báez 14

 Modelado Neuronal
◆ Arquitecturas Neuronales:
– Según e/o/s Monocapa feedforward

• Número y tipo de entradas

• Elementos ocultos Capa de Capa de
entrada
• Elementos de salida salida

– Según conectividad entre

Multicapa feedforward
capas
• Feedforward (hacia
adelante) Capa de Capa Capa de
entrada oculta salida
• Redes Recurrentes
• Estructuras Enrejadas
Multicapa feedforward
(Lattice) parcialmente conectada

Capa Capa de
oculta salida

Patricio García Báez 15

 Modelado Neuronal
◆ Arquitecturas Neuronales:
– Según conexión entre
capas
Recurrente con
• Totalmente conectados interconexiones
laterales
(full-conexión)
• Parcialmente conectados
• Conexión uno a uno
– Sincronía (actualización de
valores)
• Simultánea
Salidas

• Aleatoria Recurrente con

• Según orden topológico neuronas ocultas

Entradas

Patricio García Báez 16

 Modelado Neuronal
◆ Aprendizaje:
– Estimulación de la RN por el entorno
– Cambios en la RN debido a estimulación
– Nueva forma de responder debido a cambios de la
estructura interna de la RN

Patricio García Báez 17

 Modelado Neuronal
◆ Paradigmas de aprendizaje:
– Aprendizaje Supervizado
– Aprendizaje por Reforzamiento
– Aprendizaje Auto-organizado (No Supervizado)
– Precalculado o prefijado

Patricio García Báez 18

 Modelado Neuronal
◆ Aprendizaje supervizado:
– Se presentan pares de patrones de entrada y salida
deseada
– Pasos:
• Fijar pesos aleatorios las conexiones
• Seleccionar par de entrenamiento
• Presentar patrón de entrada y calcular salida
• Calcular error o discrepancia con la salida deseada
• Aplicar regla de aprendizaje

– Dudosa plausibilidad biológica:

• Requiere propagar información hacia atrás
• Requiere de instructor
Patricio García Báez 19
 Modelado Neuronal
◆ Aprendizaje no supervizado:
– Se presentan sólo patrones de entrada
– Basado en la redundancia en las entradas
– Aprendizaje extrae de los patrones:
• Familiaridad con patrones típicos o promedios del
pasado
• Análisis de las Componentes Principales
• Clustering
• Prototipos, correspondientes a las categorias existentes
• Codificación
• Mapa de Características
– Grandes plausibilidades biológicas

Patricio García Báez 20

 Modelado Neuronal
◆ Algoritmos de aprendizaje más comunes:
– Perceptrón multicapa o Backpropagation (BPN)
• Aprendizajes supervizados bajo corrección de error
– Mapas Auto-organizados (SOM)
• Aprendizajes competitivo no supervizados
– Extractores de características (GHA ó ICA)
• Aprendizajes hebbianos no supervizados

Patricio García Báez 21

 Modelado Neuronal
◆ Propiedades y Capacidades
– Generalización – Información Contextual
– Estructura altamente – Tolerancia a fallos
paralela – Implementación VLSI
– No linealidad – Uniformidad en el
– Mapeo de Entrada- Análisis y Diseño
Salida – Analogía
– Adaptabilidad Neurobiológica
– Respuesta graduada

Patricio García Báez 22

 Implementaciones
◆ Medio biológico vs. medio silicio
– Velocidad:
• Neuronas: 10-3 s., Puertas lógicas: 10-9 s.
– Tamaño:
• Neuronas 5 ó 6 órdenes de magnitud menores
– Eficiencia energética:
• Cerebro: 10-16 J/op./s., mejores ordenadores: 10-6
– Fan-In:
• Promedio de 10.000 sinapsis por neurona, mucho mayor
que en silicio

Patricio García Báez 23

 Implementaciones
◆ Neurosimuladores:
– Software:
• Flexibles
• Económicos
– Hardware:
• Eficientes

Patricio García Báez 24

 Implementaciones
◆ Tipos Neurosoftware:
– Programación directa
– Librerías
– Entornos de desarrollo

◆ Características
deseables:
– Facilidad de uso
– Potencia
– Eficiente
– Extensibilidad

Patricio García Báez 25

 Implementaciones
◆ Neurohardware:
– VLSI analógico
– Opto-Electrónicos
– FPGAs
– Neuro-Chips (VLSI Digital)
– Neuro-Tarjetas
– Máquinas paralelas de
propósito general
– Biochips
◆ Objetivo:
– Acelerar fases de aprendizaje
y ejecución

Patricio García Báez 26

 Implementaciones
◆ Biochips

Patricio García Báez 27

 Aplicaciones
◆ Fases de desarrollo:

Selección de
la arquitectura
neuronal
Selección del
Fase de Fase de
conjunto de ¿OK?
aprendizaje validación
aprendizaje
Selección del
conjunto de
validación
Implantar en
aplicación

Patricio García Báez 28

 Aplicaciones
◆ Tipos de problemas abordables:
– Asociación
– Clasificación de Patrones
– Predicción
– Control
– Aproximación
– Optimización
◆ En general:
– Difícil describir conocimiento/forma de resolverlos
– Se dispone de una gran cantidad de datos

Patricio García Báez 29

 Problemas de Asociación
– NETalk (Sejnowski & Rosemberg):
• A partir de textos escritos genera
gonemas correspondientes. Mejoras
durante aprendizaje
– Tratamiento de imágenes:
• Ruido placas matrículas
• Restitución

– Compresión de Imágenes:

Patricio García Báez 30

 Problemas de Clasificación de
Patrones
– Conteo de células:
• Clasificación de glóbulos
blancos

– Inspección visual:

– Seguimiento de pupila

Patricio García Báez 31

 Problemas de Predicción
– Airline Marketing Tactician (AMT):
• Monitoriza y recomienda la reserva de
plazas

– Neuralstocks:
• Servico de predicciones financieras a
corto plazo

Patricio García Báez 32

 Problemas de Control
– Control de robots:
• Cinemática inversa
• Dinámica

– ALVINN:
• Conducción de
vehículo

Patricio García Báez 33

 Problemas de Aproximación

– Aproximación de funciones
utilizando RBFs

Problemas de
Optimización
– Optimización de rutas:
• TSP

Patricio García Báez 34

 Aplicaciones en
Astronomía/Astrofísica
– Reconocimiento de estrellas/galaxias
– Clasificación espectral y morfológica de
estrellas/galaxias
– Estudios de superficies planetarias
– Estudio del campo magnético interplanetario
– Determinación de parámetros en atmósferas
estelares
– Clasificación de poblaciones de enanas blancas
• Neural Networks, 16 (2003)

Patricio García Báez 35

 Aplicaciones en
Astronomía/Astrofísica
– Identificación y caracterización de objetos: QSO's,
galaxias IR ultraluminosas, fuente de Rayos
Gamma
– Determinación de desplazamientos fotométricos al
rojo
– Eliminación de ruido en pixels
– Descomposición de datos simulados multi-
frecuencia para la misión Planck
– Búsqueda de cúmulos de galaxias
• Neural Networks, 16 (2003)

Patricio García Báez 36

 Aplicaciones en
Astronomía/Astrofísica
– Análisis de datos recogidos por instrumentos de
nueva generación para astrofísica de alta energía:
• Telescopio de neutrinos AUGER y ARGO
• Telescopio de rayos gamma Cherenkhov
• Interferómetro de ondas gravitacionales VIRGO
• Búsqueda de bosones Higgs
– AstroNeural, paquete AstroMinnig: reducción y
análisis de datos
• Neural Networks, 16 (2003)

Patricio García Báez 37

 Grupo de Trabajo
◆ Grupo de Computación Neuronal y Adaptativa
y Neurociencia Computacional
– Departamento de Estadística, I. O. y Computación, ULL
– I. U. de Ciencias y Tecnologías Cibernética, ULPGC
– Área de Conocimiento: Ciencias de la Computación e
Inteligencia Artificial
◆ Líneas de trabajo
– Neurociencia Computacional y Cognición Computacional:
Comunicación Neuronal;Aprendizaje y Memoria.Procesos y
Estructuras Cognitivas/Perceptivas Teorías y Modelos
– Redes Neuronales Naturales y Artificiales: Diseño de Nuevos
Modelos de RNAs
– Aplicación de la Computación Neuronal en Dominios
Biomédicos, Clínicos y Medioambientales
Patricio García Báez 38
 Grupo de Trabajo
Entradas ..... xi ......

◆ Campos aplicativos estudiados mli

...... dl ........

– Procesamiento de Señales Neurofisiológicas Capa

SOM

– Identificación de Espectros Luminescentes hl

– Agente de Catalogación Automática de Webs Capa de

...... zl ........

Holguras

– Sistema Automático de Detección de Ataques

Informáticos upl
gpq
Capa de
– Diagnóstico de Enfermedades Etiquetado
... vp

Neurodegenerativas

Mezcla
Mapa de Rechazo
Espectrofotómetro
Analysis
de Luminescencia
Capa de Tolerancias

2
1
Espectro

Preprocesado
2
1
Características Identificador de Espectros
(Capa de Etiquetado)
Espectrales Etiquetado
Mapa de SOM

Comparación de Espectros
(Capa SOM)

Patricio García Báez Comp. 1 Comp. 2 Comp. 3

39
 Grupo de Trabajo
◆ Docencia Impartida en la ULL
– Introducción a los Modelos de Computación Conexionista
• 3er curso, Ing. Técnica en Informática de Sistemas, ETSII
• 30 a 40 alumnos
• http://soma.etsii.ull.es/imcc/
– Introducción a la Inteligencia Artificial
• 3er curso, ITI de Gestión/Sistemas
• 50 a 60 alumnos
• http://soma.etsii.ull.es/iia/
– Modelos Conexionistas y Autómatas
• 5º curso, Ing. Informática, ETSII
• 10 a 20 alumnos
• http://soma.etsii.ull.es/mcya/

Patricio García Báez 40

 Futuro de las RNAs
– Futuro prometedor, si nos seguimos acercando a
las característicias de los organismos vivos:
• Evolución, Computación Colectiva, Manejo del
Conocimiento, ...
• Natural Computing => Soft Computing
– Presente problemático: dificultades de escalabilidad
• ¿Tal vez algunos parámetros de nuestros modelos son
erroneos?
• ¿Tal vez no disponemos de la suficiente potencia
informática?
• ¿Tal vez nuestros modelos no han alcanzado la
suficiente complejidad?
• ¿Tal vez nos falta en nuestros modelos algún concepto
fundamental?
Patricio García Báez 41