Neurociencia Cognitiva

Computacional
Daniel Finol
ICA - LUZ
 Neurociencia Cognitiva
• Estudia las bases biológicas de los fenómenos
mentales.
– ¿Cómo produce el cerebro las funciones psico-
cognitivas?
– ¿Cuál es el algoritmo de procesamiento de
información?
 Neurociencia Cognitiva
Métodos
• Experimentos de comportamiento y técnicas
de medición de la actividad cerebral:
– Psicofísicos: Relación entre el estímulo físico y su
percepción
– EEG/ERP – MEG: Encefalografías eléctricas y
magnéticas
– PET / fMRI
– Single (multi) –cell recording
– Transcranial Magnetic Stimulation
 Neurociencia Cognitiva
Pregunta Última

¿Cómo la materia se convierte en conciencia, la

imaginación, sensaciones, etc?
Neurociencia Cognitiva Computacional

• “Simulando el cerebro para entender la

mente”

• Las herramientas de Neurociencia Teórica

(Computacional) + Las preguntas y datos de
Neurociencia Cognitiva.
 Neurociencia Computacional

• Modelos matemático-computacionales de
cómo funciona el cerebro
– Principios computacionales y representacionales
del cerebro
– Su implementación neural
Neurociencia Cognitiva Computacional

• Conexionismo:
– los fenómenos mentales son procesos
emergentes de redes de unidades más simples

• Ahora: Modelado más cercano y más amplio

de los aspectos biológicos
Neurociencia Cognitiva Computacional
Construir y probar modelos computacionales,
biológicamente plausibles de los datos de la
neurociencia, las neuro-imágenes y el
comportamiento*

• Estrategia para modelar simultáneamente los datos

de Single-cell Recording, fMRI y del comportamiento
humano

*FG Ashby, VV Valentin (2004)

Neurociencia Cognitiva Computacional
• Las unidades de los modelos conexionistas (clásicos)
sólo tienen similitud superficial con neuronas reales
– Son genéricas
– Describen el comportamiento humano pero no modelan
datos de neurociencia
• Los modelos de la neurociencia computacional son
altamente complejos
– Hasta cientos de ecuaciones diferenciales para modelar una
sola neurona
– Esta complejidad es demasiado alta para modelar el
comportamiento humano
Neurociencia Cognitiva Computacional

Los elementos que componen este modelo

(NCC: Ashby, Valentin) son unidades que se
corresponden con grupos de neuronas (p. ej.
Columnas corticales)
Neurociencia Cognitiva Computacional
• Los pasos de la estrategia son:
– Hipótesis: Identificar las áreas cerebrales y las
interconexiones involucradas en el comportamiento
a modelar

– Escribir el conjunto de ecuaciones diferenciales que

describen la activación neural de cada región

– Adaptar el producto del modelo a cada tipo de dato

Neurociencia Cognitiva Computacional
• Adaptar el producto del modelo a cada tipo de
dato:
– Para single-cell recording: convertir las activaciones
continuas a “Spike-trains”
– Para fMRI: anexar un modelo de la transformación de
activación neural a la señal BOLD fMRI (Blood Oxygen
Level Dpendent)
– Para los datos de comportamiento: se añaden
algunas pre-suposiciones que relacionen la activación
en un área particular con un comportamiento
 Redes Neuronales Artificiales–Fase 2

• Tomar una teoría de cómo funciona (cierto

aspecto o parte de) el cerebro y crear una
herramienta computacional con fines
prácticos
 Hierarchical Temporal Memory
• Background
– Jeff Hawkins (PalmPilot, Treo (Smart-Phone))
– Redwood Neuroscience Institute (UC Berkeley):
Teoría de cómo la corteza procesa información
– Dileep George: Formulación matemática
• Marco bayesiano  HTM (2008)
• Numenta (2005)
– Colaboración
People
Cars
Buildings patterns
Words
Songs
Ideas

World Senses HTM/Cortex

“Causes” “Beliefs”

People
Cars cause1 0.22
cause2 0.07
Buildings patterns cause3 0.00
cause4 0.63
Words cause5 0.00
cause6 0.08
Songs
Ideas

World Senses HTM/Cortex

 HTM

Representations
Causes
of Causes

What does an HTM do?

1 Discover causes in the world

2 Infer causes of novel input
3 Predict future
4 Direct motor behavior
HTMs use a hierarchy of memory nodes
Belief

Sensory data
 HTMs use a hierarchy of memory nodes
Beliefs

Sensory data

Each node: Discovers causes (of its input)

Passes beliefs up
Passes predictions down
 HTMs use a hierarchy of memory nodes
Beliefs

Sensory data

Each node: Discovers causes (of its input)

Passes beliefs up
Passes predictions down

Each node: Stores common sequences

Changing sensory data forms stable beliefs at top
Stable beliefs at top form changing sensory predictions
1) Why does hierarchy make a difference?

2) How does each node discover and infer causes?

Why does hierarchy make a difference?
1) Shared representations lead to generalization and efficiency
Why does hierarchy make a difference?
1) Shared representations lead to generalization and efficiency

2) HTM hierarchy matches spatial and temporal hierarchy of causes in world

Why does hierarchy make a difference?
1) Shared representations lead to generalization and efficiency

2) HTM hierarchy matches spatial and temporal hierarchy of causes in world

3) Belief propagation techniques ensure all nodes quickly reach mutually

compatible beliefs
Belief Propagation

90% cat

CPT

80% woof 70% pig image

20% meow 30% cat image
Why does hierarchy make a difference?
1) Shared representations lead to generalization and efficiency

2) HTM hierarchy matches spatial and temporal hierarchy of causes in world

3) Belief propagation techniques ensure all nodes quickly reach mutually

compatible beliefs

4) Affords mechanism for attention

How does each node discover causes?
How does each node discover causes?

1) Learn common spatial patterns

2) Learn common sequences of spatial patterns
How does each node discover causes?

1) Learn common spatial patterns

(things that happen at the same time are likely to have a common cause)
How does each node discover causes?

1) Learn common spatial patterns

Common patterns:
remember

Uncommon patterns:
ignore
How does each node discover causes?

1) Learn common spatial patterns

2) Learn common sequences of spatial patterns
How does each node discover causes?

1) Learn common spatial patterns

2) Learn common sequences of spatial patterns

Common sequence:
assign to cause

Common sequence:
assign to cause

Uncommon sequence:
ignore

time
How does each node discover causes?

1) Learn common spatial patterns

2) Learn common sequences
3) Use context from above in hierarchy
Do HTMs really work?
Simple HTM vision system (32x32 pixel)

Level 3

Level 2

Level 1

4 pixels
Training images
Training Correct Incorrect
images
Correctly recognized images
 Redes Neuronales Artificiales–Fase 2

• Otros modelos
– Boltzmann Machines: Hinton, Sejnowsky

– Adaptive Resonance Theory: Grossberg Carpenter

 Conectividad
• Inferir la arquitectura conectiva del cerebro
– A partir de datos fMRI
– Causalidad
– Inferencia de red bayesiana
– Grafos e hipergrafos