Introduccin a las Redes Neuronales y su aplicacin a la Investigacin Astrofsica

Patricio Garca Bez pgarcia@ull.es

Patricio Garca Bez

Sumario
N Introduccin N Inspiracin

biolgica N Modelado Neuronal N Implementaciones N Aplicaciones N Grupo de trabajo N Futuro de las RNAs

Patricio Garca Bez

Redes Neuronales en la IA
Ramas de la Inteligencia Arti icial en sus inicios! N "imblica#deducti$a!
% "istemas ormales de reglas & manipulacin simblica % Rama ms conocida de la IA
N 'one(ionista!

% Inspirada en las redes neuronales biolgicas % M)todos Inducti$os! a partir de ejemplos

Ambas tratan de resolver problemas no algoritmicos a partir de la experiencia almacenada como conocimiento
Patricio Garca Bez 3

RNA como Modelo de Computacin

'one(ionista $s* +on Neumann
, Masi$amente paralelo , -atos & programa indi erenciable en las cone(iones , "olucin inducida por aprendizaje , Impredicibilidad de resultados , Gran tolerancia a allos
Patricio Garca Bez

, Ar.uitectura secuencial , "epara claramente datos del programa en la memoria , "olucin como algoritmo o programa introducido , Resultados totalmente predecibles , No tolera errores
4

reas de Traba o
Procesamiento de "e0ales Anlisis de -atos Reconocimiento de Patrones 'ontrol Inteligencia Arti icial -esarrollo de aplicaciones basadas en t)cnicas cone(ionistas 'onstruccin de modelos neuronales Proponer & $alidar modelos de uncionamiento de ar.uitecturas neuronales
5

Aplicaciones
In ormtica "icologa

Implementaciones Ar.uitectura & /eora de RN

Matemticas
Patricio Garca Bez

Neuro isiologa Fsica

Inspiracin biolgica
Entender el cerebro y emular su potencia
N 'erebro!

% Gran $elocidad de proceso % /ratamiento de grandes cantidades de in ormacin procedentes de!

, 1os sentidos , Memoria almacenada

% 'apacidad de tratar situaciones nue$as % 'apacidad de aprendizaje

Patricio Garca Bez

Inspiracin biolgica
N

Neuronas!
% 2rbol dendrtico de entradas % 3n a(n de salida % "obre de456 sinapsis % 'omunicacin mediante Potenciales de Accin 7PA8 % Periodo re ractario de 45#9 segundos entre PAs

Patricio Garca Bez

Inspiracin biolgica
N

/ransmisin neuronal!
% Impulso el)ctrico .ue $iaja por el a(n % 1iberacin de neurotransmisores % Apertura:cierre de canales inicos % +ariacin potencial en dendrita % Integracin de entradas en soma % "i se supera umbral de disparo se genera un PA

Patricio Garca Bez

Inspiracin biolgica
N

Red Neuronal Biolgica!

% % % % de 4545 a 4544 neuronas 4546 sinapsis ;rganizacin por capas ;rganizacin por ni$eles!

, "istema Ner$ioso 'entral 7"N'8 , 'ircuitos entre regiones , 'ircuitos locales , Neuronas , 2rboles dendrticos , Microcircuitos neuronales , "inapsis , 'anales inicos Patricio Garca Bez , Mol)culas

Inspiracin biolgica
N

'aractersticas "N'!
% Inclinacin a ad.uirir conocimiento desde la e(periencia % 'onocimiento almacenado en cone(iones sinpticas % Gran plasticidad neuronal % 'omportamiento altamente no#lineal % Alta tolerancia a allos 7muerte neuronal8 % Apto para reconocimiento< percepcin & control

Patricio Garca Bez

10

Modelado Neuronal
N 3na

red neuronal arti icial 7RNA8 es un sistema de procesamiento de in ormacin .ue tiene ciertas aptitudes en com=n con las redes neuronales biolgicas!
% >l procesamiento de in ormacin ocurre en muc?os elementos simples llamados neuronas* % 1as se0ales son trans eridas entre neuronas a tra$)s de enlaces de cone(in* % 'ada cone(in tiene un peso asociado< el cual< tpicamente< multiplica a la se0al transmitida* % 'ada neurona aplica una uncin de acti$acin 7usualmente no lineal8 a su entrada de red 7suma de entradas pesadas8 para determinar su salida* 1aurene Fausett

Patricio Garca Bez

11

Modelado Neuronal
N >n

o.ues!
, Modelos e icientes< potentes & simples , 2reas de aprendizaje inducti$o & reconocimiento de patrones

% 'omputacional!

% 'ogniti$o!
, Interesado por capacidades cogniti$as de los modelos , 'entrados en representacin del conocimiento

% Biocogniti$o!
, Premisa la plausibilidad biolgica

% Psico isiolgico!
, Mecanismos naturales de procesos cogniti$os reales
Patricio Garca Bez 12

Modelado Neuronal
N

Neurona Arti icial!

% % % % Grupo de entradas 7x8 Pesos sinpticos 7w8 Funcin suma 7net8 Funcin de acti$acin 7act8 % 3na =nica salida 7y8 % Funcionamiento en modo aprendizaje o ejecucin

x1 x2

w1,j w2,j wn,j

uncin suma

uncin de acti$acin

netj t!

xj t!

xn

j
umbral 7bias8

Patricio Garca Bez

13

Modelado Neuronal
N

Neurona Natural $s* Arti icial!

% Neurona @ 3nidad de proceso % 'one(iones sinpticas @ 'one(iones Pesadas % > ecti$idad sinptica @ Peso sinptico % >(itatorio:In?ibitorio @ Pesos A # % > ecto combinado de sinapsis @ Funcin suma % Acti$acin#B Ratio disparo @ Funcin acti$acin #B salida

Patricio Garca Bez

14

Modelado Neuronal
N

Ar.uitecturas Neuronales!
% "eg=n e:o:s
, , , N=mero & tipo de entradas >lementos ocultos >lementos de salida
'apa de entrada 'apa de salida

Monocapa eed orCard

% "eg=n conecti$idad entre capas

, Feed orCard 7?acia adelante8 , Redes Recurrentes , >structuras >nrejadas 71attice8

Multicapa eed orCard

'apa de entrada

'apa oculta

'apa de salida

Multicapa eed orCard parcialmente conectada

'apa oculta

'apa de salida

Patricio Garca Bez

15

Modelado Neuronal
N

Ar.uitecturas Neuronales!
% "eg=n cone(in entre capas
, /otalmente conectados 7 ull#cone(in8 , Parcialmente conectados , 'one(in uno a uno
Recurrente con intercone(iones laterales

% "incrona 7actualizacin de $alores8

, , , "imultnea Aleatoria "eg=n orden topolgico
>ntradas "alidas

Recurrente con neuronas ocultas

Patricio Garca Bez

16

Modelado Neuronal
N Aprendizaje!

% >stimulacin de la RN por el entorno % 'ambios en la RN debido a estimulacin % Nue$a orma de responder debido a cambios de la estructura interna de la RN

Patricio Garca Bez

17

Modelado Neuronal
N Paradigmas

de aprendizaje!

% Aprendizaje "uper$izado % Aprendizaje por Re orzamiento % Aprendizaje Auto#organizado 7No "uper$izado8 % Precalculado o pre ijado

Patricio Garca Bez

18

Modelado Neuronal
N Aprendizaje

super$izado!

% "e presentan pares de patrones de entrada & salida deseada % Pasos!

, , , , , Fijar pesos aleatorios las cone(iones "eleccionar par de entrenamiento Presentar patrn de entrada & calcular salida 'alcular error o discrepancia con la salida deseada Aplicar regla de aprendizaje

% -udosa plausibilidad biolgica!

, Re.uiere propagar in ormacin ?acia atrs , Re.uiere de instructor
Patricio Garca Bez 19

Modelado Neuronal
N Aprendizaje

no super$izado!

% "e presentan slo patrones de entrada % Basado en la redundancia en las entradas % Aprendizaje e(trae de los patrones!
, Familiaridad con patrones tpicos o promedios del pasado , Anlisis de las 'omponentes Principales , 'lustering , Prototipos< correspondientes a las categorias e(istentes , 'odi icacin , Mapa de 'aractersticas

% Grandes plausibilidades biolgicas

Patricio Garca Bez 20

Modelado Neuronal
N Algoritmos

de aprendizaje ms comunes!

% Perceptrn multicapa o BacDpropagation 7BPN8

, Aprendizajes super$izados bajo correccin de error

% Mapas Auto#organizados 7";M8

, Aprendizajes competiti$o no super$izados

% >(tractores de caractersticas 7GEA I'A8

, Aprendizajes ?ebbianos no super$izados

Patricio Garca Bez

21

Modelado Neuronal
N Propiedades

& 'apacidades
% In ormacin 'onte(tual % /olerancia a allos % Implementacin +1"I % 3ni ormidad en el Anlisis & -ise0o % Analoga Neurobiolgica

% Generalizacin % >structura altamente paralela % No linealidad % Mapeo de >ntrada# "alida % Adaptabilidad % Respuesta graduada

Patricio Garca Bez

22

Implementaciones
N Medio

biolgico $s* medio silicio

% +elocidad!
, Neuronas! 45#9 s*< Puertas lgicas! 45#F s*

% /ama0o!
, Neuronas G H rdenes de magnitud menores

% > iciencia energ)tica!

, 'erebro! 45#4H I:op*:s*< mejores ordenadores! 45#H

% Fan#In!
, Promedio de 45*555 sinapsis por neurona< muc?o ma&or .ue en silicio

Patricio Garca Bez

23

Implementaciones
N Neurosimuladores!

% "o tCare!
, Fle(ibles , >conmicos

% EardCare!
, > icientes

Patricio Garca Bez

24

Implementaciones
N

/ipos Neuroso tCare!

% % % Programacin directa 1ibreras >ntornos de desarrollo

'aractersticas deseables!
% % % % Facilidad de uso Potencia > iciente >(tensibilidad

Patricio Garca Bez

25

Implementaciones
N

Neuro?ardCare!
% % % % % % +1"I analgico ;pto#>lectrnicos FPGAs Neuro#'?ips 7+1"I -igital8 Neuro#/arjetas M.uinas paralelas de propsito general % Bioc?ips

;bjeti$o!
% Acelerar ases de aprendizaje & ejecucin

Patricio Garca Bez

26

Implementaciones
N Bioc?ips

Patricio Garca Bez

27

Aplicaciones
N Fases

de desarrollo!

Seleccin de la arquitectura neuronal Seleccin del conjunto de aprendizaje Seleccin del conjunto de validacin Fase de aprendizaje Fase de validacin !"#

$%plantar en aplicacin

Patricio Garca Bez

28

Aplicaciones
N /ipos

de problemas abordables!

% Asociacin % 'lasi icacin de Patrones % Prediccin % 'ontrol % Apro(imacin % ;ptimizacin

N >n

general!

% -i cil describir conocimiento: orma de resol$erlos % "e dispone de una gran cantidad de datos
Patricio Garca Bez 29

!roblemas de Asociacin
% N>/alD 7"ejnoCsDi J Rosemberg8!
, A partir de te(tos escritos genera gonemas correspondientes* Mejoras durante aprendizaje

% /ratamiento de imgenes!
, Ruido placas matrculas , Restitucin

% 'ompresin de Imgenes!

Patricio Garca Bez

30

!roblemas de Clasificacin de !atrones

% 'onteo de c)lulas!
, 'lasi icacin de glbulos blancos

% Inspeccin $isual!

% "eguimiento de pupila

Patricio Garca Bez

31

!roblemas de !rediccin
% Airline MarDeting /actician 7AM/8!
, Monitoriza & recomienda la reser$a de plazas

% NeuralstocDs!
, "er$ico de predicciones inancieras a corto plazo

Patricio Garca Bez

32

!roblemas de Control
% 'ontrol de robots!
, 'inemtica in$ersa , -inmica

% A1+INN!
, 'onduccin de $e?culo

Patricio Garca Bez

33

!roblemas de Apro"imacin
% Apro(imacin de unciones utilizando RBFs

!roblemas de #ptimi$acin
% ;ptimizacin de rutas!
, /"P

Patricio Garca Bez

34

Aplicaciones en Astronoma%Astrofsica
% Reconocimiento de estrellas:gala(ias % 'lasi icacin espectral & mor olgica de estrellas:gala(ias % >studios de super icies planetarias % >studio del campo magn)tico interplanetario % -eterminacin de parmetros en atms eras estelares % 'lasi icacin de poblaciones de enanas blancas
, Neural NetCorDs< &' 7K5598

Patricio Garca Bez

35

Aplicaciones en Astronoma%Astrofsica
% Identi icacin & caracterizacin de objetos! L";Ms< gala(ias IR ultraluminosas< uente de Ra&os Gamma % -eterminacin de desplazamientos otom)tricos al rojo % >liminacin de ruido en pi(els % -escomposicin de datos simulados multi# recuencia para la misin PlancD % B=s.ueda de c=mulos de gala(ias
, Neural NetCorDs< &' 7K5598

Patricio Garca Bez

36

Aplicaciones en Astronoma%Astrofsica
% Anlisis de datos recogidos por instrumentos de nue$a generacin para astro sica de alta energa!
, , , , /elescopio de neutrinos A3G>R & ARG; /elescopio de ra&os gamma '?erenD?o$ Inter ermetro de ondas gra$itacionales +IRG; B=s.ueda de bosones Eiggs

% AstroNeural< pa.uete AstroMinnig! reduccin & anlisis de datos

, Neural NetCorDs< &' 7K5598

Patricio Garca Bez

37

(rupo de Traba o
N Grupo

de 'omputacin Neuronal & Adaptati$a & Neurociencia 'omputacional

% -epartamento de >stadstica< I* ;* & 'omputacin< 311 % I* 3* de 'iencias & /ecnologas 'ibern)tica< 31PG' % 2rea de 'onocimiento! 'iencias de la 'omputacin e Inteligencia Arti icial

N 1neas de trabajo % Neurociencia 'omputacional & 'ognicin 'omputacional! 'omunicacin NeuronalNAprendizaje & Memoria*Procesos & >structuras 'ogniti$as:Percepti$as /eoras & Modelos % Redes Neuronales Naturales & Arti iciales! -ise0o de Nue$os Modelos de RNAs % Aplicacin de la 'omputacin Neuronal en -ominios Biom)dicos< 'lnicos & Medioambientales
Patricio Garca Bez 38

(rupo de Traba o
N 'ampos aplicati$os estudiados % Procesamiento de "e0ales Neuro isiolgicas % Identi icacin de >spectros 1uminescentes % Agente de 'atalogacin Automtica de Oebs % "istema Automtico de -eteccin de Ata.ues In ormticos % -iagnstico de >n ermedades Neurodegenerati$as
Me$cla
(spectro)ot%etro de *u%inescencia

Entradas
mli

11111 xi 111111

111111 dl 11111111

Capa SOM
hl 111111 zl 11111111

Capa de Holguras

upl gpq

Capa de Etiquetado

... vp

&nal'sis

Mapa de Rec-a$o
,apa de 0olerancias

2 1

,spectro
+reprocesado 2 1

Caractersticas ,spectrales Mapa de S#M

,o%paracin de (spectros -,apa S!./

$denti)icador de (spectros -,apa de (tiquetado/

,ti.uetado

Patricio Garca Bez

Comp) & Comp) * Comp) +

39

(rupo de Traba o
N -ocencia Impartida en la 311 % Introduccin a los Modelos de 'omputacin 'one(ionista , 9er curso< Ing* /)cnica en In ormtica de "istemas< >/"II , 95 a 65 alumnos , ?ttp!::soma*etsii*ull*es:imcc: % Introduccin a la Inteligencia Arti icial , 9er curso< I/I de Gestin:"istemas , G5 a H5 alumnos , ?ttp!::soma*etsii*ull*es:iia: % Modelos 'one(ionistas & Autmatas , GP curso< Ing* In ormtica< >/"II , 45 a K5 alumnos , ?ttp!::soma*etsii*ull*es:mc&a:
Patricio Garca Bez 40

/uturo de las RNAs

% Futuro prometedor< si nos seguimos acercando a las caractersticias de los organismos $i$os!
, >$olucin< 'omputacin 'olecti$a< Manejo del 'onocimiento< *** , "atural #omputing @B $o%t #omputing

% Presente problemtico! di icultades de escalabilidad

, Q/al $ez algunos parmetros de nuestros modelos son erroneosR , Q/al $ez no disponemos de la su iciente potencia in ormticaR , Q/al $ez nuestros modelos no ?an alcanzado la su iciente complejidadR , Q/al $ez nos alta en nuestros modelos alg=n concepto undamentalR
Patricio Garca Bez 41