Neural

Networks

1. ¿Qué son las Redes Neuronales (RRNN)

2. ¿Qué se puede hacer con RRNN?
3. Ejemplos
4. Herramientas de RRNN en Python ! Objetivo:
Conocer y aplicar uno de los paradigmas de
aprendizaje y procesamiento automático más
conocidos en la actualidad.
Inspirados en la forma en que funciona el sistema
nervioso de los animales
Sistema de interconexión de neuronas, en una red
Es un sistema de procesamiento de de neuronas que colaboran para producir una
información que tiene ciertas salida
características de comportamiento Modelos muy adecuados para aproximar funciones
inspiradas en el conocimiento actual o para clasificar patrones
que tenemos sobre el funcionamiento
de las neuronas biológicas.
Neural
Networks
Funcionamiento del cerebro?

• Es fácil reconocer una manzana o una pera

• Aprendimos a hacer esto durante la infancia a través de un proceso de aprendizaje
por ejemplos
• No necesitamos un sistema experto o una base de reglas o una búsqueda heurística
compleja de reconocimiento de patrones.

Podemos clasificar un objeto como una fruta, aunque jamás lo hayamos visto antes
• Habilidad inherente para generalizar
Neural
Networks
Qué es una Neural Networks?

Son un intento de simular las capacidades del cerebro humano

• Aprendizaje por ejemplos

• Generalización de lo especifico a lo abstracto
• Manejo de datos con ruido

El funcionamiento del cerebro y el razonamiento humano son procesos complejos

Las aproximaciones artificiales

son
muy rudimentarias
Neural
Networks

La Neurona Biologica?

Las neuronas son células del cerebro. Se estima que hay en el cerebro humano:
1012 neuronas
1014 Conexiones sinápticas
Organización por capas
Organización por niveles:
Sistema Nervioso Central (SNC)
Circuitos entre regiones
Circuitos locales
Neuronas
Árboles dendríticos
Microcircuitos neuronales
Sinapsis
Canales iónicos
Moléculas
Neural
Networks

Inspiración Biologica?

Características SNC:
Inclinación a adquirir conocimiento desde la experiencia
Conocimiento almacenado en conexiones sinápticas
Gran plasticidad neuronal
Comportamiento altamente no-lineal
Alta tolerancia a fallos (muerte neuronal)
Apto para reconocimiento, percepción y control
Neural
Networks

1) Como trabaja la neurona?

Las dendritas recogen las cargas de entrada de las sinapsis

Algunas veces la acción a través de la sinapsis incrementa el potencial del soma, y otras
veces lo disminuye.
Neural
Networks

2) Como trabaja la neurona? 3) Como trabaja la neurona?

Si el potencial del cuerpo de la célula alcanza Causando la descarga de neurotransmisores.
cierto umbral, entonces, la neurona se dispara.

Y así sucesivamente . . .
Un impulso eléctrico recorrerá el axón
alcanzando eventualmente todas las ramas,
Neural
Networks

Dinamica de la neurona?
40 mV membrane Potential de la accion ≈ 100mV
rest
20
activation
Umbral de activacion ≈ 20-30mV
0 Potencial de reposo ≈ -65mV
Tiempo del pico ≈ 1-2ms
-20
Tiempo de refracccion ≈ 10-20ms
-40

-60

-80

-100
ms
-120
0 10 20 30 40 50 60 70 80 90 100
Neural
Networks

4) Como trabaja la neurona?

synapse axon

nucleus

cell body

dendrites

axon dendritas

sinapsis
La transmisión de la información ocurre en las sinapsis.
Neural
Networks

Modelo de una neurona

Una red neuronal artificial (RRNN) es un sistema de procesamiento de información que

tiene ciertas aptitudes en común con las redes neuronales biológicas:

• El procesamiento de información ocurre en muchos elementos simples llamados

neuronas.
• Las señales son transferidas entre neuronas a través de enlaces de conexión.
• Cada conexión tiene un peso asociado, el cual, típicamente, multiplica a la señal
transmitida.
• Cada neurona aplica una función de activación (usualmente no lineal) a su entrada
de red (suma de entradas pesadas) para determinar su salida.
Neural
Networks

Modelo de una neurona

Neurona Natural vs. Artificial:

Neurona = Unidad de proceso
Conexiones sinápticas = Conexiones Pesadas
Efectividad sináptica = Peso sináptico
Excitatorio/Inhibitorio = Pesos + ó -
Efecto combinado de sinapsis = Función suma
Activación-> Ratio disparo = Función activación -> salida
Neural
Networks

Modelo de una neurona

Aprendizaje:

Estimulación de la RRNN por el entorno

Cambios en la RRNN debido a la estimulación
Nueva forma de responder debido a cambios de la estructura interna de la RRNN
Neural
Networks

Modelo de una neurona

Paradigmas de aprendizaje:

Aprendizaje Supervisado
Aprendizaje por Reforzamiento
Aprendizaje Auto-organizado (No Supervisado)
Precalculado o prefijado
Neural
Networks

Modelo de una neurona

Aprendizaje no supervisado:

Se presentan sólo patrones de entrada

Basado en la redundancia en las entradas
Aprendizaje extrae de los patrones:
Familiaridad con patrones típicos o promedios del pasado
Análisis de las Componentes Principales
Clustering
Prototipos, correspondientes a las categorías existentes
Codificación
Mapa de Características
Grandes plausibilidades biológicas
Neural
Networks

Modelo de una neurona

Algoritmos de aprendizaje más comunes:

Perceptrón multicapa o Backpropagation (BPN)

Aprendizajes supervisados bajo corrección de error

Mapas Auto-organizados (SOM)

Aprendizajes competitivo no supervisados

Extractores de características (GHA ó ICA)

Aprendizajes hebbianos no supervisados
Neural
Networks
Modelo de una neurona
Propiedades y Capacidades
Generalización
Estructura altamente paralela
No linealidad
Mapeo de Entrada-Salida
Adaptabilidad
Respuesta graduada
Modelo de una neurona
Propiedades y Capacidades
Información Contextual
Tolerancia a fallos
Implementación VLSI
Uniformidad en el Análisis y Diseño
Analogía Neurobiológica
Neural
Networks

Implementaciones

Medio biológico vs. medio silicio

Velocidad:
Neuronas: 10-3 s., Puertas lógicas: 10-9 s.
Tamaño:
Neuronas 5 ó 6 órdenes de magnitud menores
Eficiencia energética:
Cerebro: 10-16 J/op./s., mejores ordenadores: 10-6
Fan-In:
Promedio de 10.000 sinapsis por neurona, mucho mayor que en silicio
Neural
Networks

Implementaciones

Neurosimuladores:
Software:
Flexibles
Económicos
Hardware:
Eficientes
Neural
Networks

Implementaciones

Tipos Neuro-software:
Programación directa
Librerías
Entornos de desarrollo

Características deseables:
Facilidad de uso
Potencia
Eficiente
Extensibilidad
Neural
Networks

Implementaciones

Neuro-hardware:
VLSI analógico
Opto-Electrónicos
FPGAs
Neuro-Chips (VLSI Digital)
Neuro-Tarjetas
Máquinas paralelas de propósito general
Biochips
Objetivo:
Acelerar fases de aprendizaje y ejecución
Neural
Networks

Implementaciones

Biochips
Neural
Networks

Una neurona artificial y una biológica

Neural
Networks
La neurona artificial

La neurona es la unidad de procesamiento básica de una

red neuronal. Consiste de:

Un conjunto de sinapsis o conexiones, cada conexión

caracterizada por un peso:
Neural
Networks
La neurona artificial

La neurona es la unidad de procesamiento básica de una

red neuronal. Consiste de:

Una función sumatoria que calcula la suma pesada de las entradas:

Neural
Networks

La neurona artificial

La neurona es la unidad de procesamiento básica de una

red neuronal. Consiste de:

Una función de activación que limita la amplitud de la salida de la neurona:

Neural
Networks
Morfología de una neurona artificial
Modelo de McCulloch-Pitts (1949)

Una función de activación que limita la amplitud de la salida de la neurona:

Neural
Networks

La neurona artificial
Neural
Networks

Modelo matemático de una neurona artificial

La salida de una neurona ( j ) esta dada por

 
a j = f   wij xi + b j  = f ( w j x + b j )
n
T

 i =1 
Funcion de activacion

wij : determina la fortaleza con que la entrada i contribuye en la salida

bj : determina el nivel de umbral o de activación de la neurona

Neural
Networks

Modelo matemático de una neurona artificial

La “Bias” de la neurona

La polarización b tiene el efector de aplicar una transformación affine a u:

v=u+b

v es el campo local inducido por la neurona

Neural
Networks

Tipos de función de activación

Neural
Networks

Tipos de función de activación bipolares

Neural
Networks

Tipos de función de activación bipolares

Implementing Signature Neural Networks with Spiking Neurons
Neural
Networks

La neurona como un operador

La neurona realiza una operación no lineal sobre la combinación lineal de las variables
de entrada

Selección de la función de activación y los parámetros

El diseñador escoge la función de activación para satisfacer alguna especificación del

problema que la neurona intenta resolver.

Los pesos y bias son determinados mediante un proceso de aprendizaje

Neural
Networks

Representación de una neurona

El termino b es la polarización o bias, o umbral

Neural
Networks

Arquitecturas de Redes Tipos de redes

Redes feedforward
Existen muchos tipos de redes neuronales. Por
mencionar algunas:
Estructura de una Red Neuronal
Redes perceptron
Una red neuronal esta compuesta de muchas Redes perceptron multicapa
neuronas artificiales Redes backpropagation feedforward
Redes RBF (Radial Basis Function)
Ligadas de acuerdo a una estructura de red Redes backpropagation recurrentes
especifica No se pretende
Otras:
hacer una
Mapas auto-organizativos
El objetivo de la red neuronal es transformar Redes neuronales modulares
clasificación
las entradas en salidas significativas
Neural
Networks

Redes feedforward Tipos de redes

No tienen realimentación interna Existen muchos tipos de redes neuronales. Por

mencionar algunas:
La salida se calcula directamente de la Redes perceptron
entrada Redes perceptron multicapa
Redes backpropagation feedforward
A través de conexiones feedforward Redes RBF (Radial Basis Function)
Redes backpropagation recurrentes
Otras: No se pretende
hacer una
Mapas auto-organizativos clasificación
Redes neuronales modulares
Neural
Networks

Redes neuronales de una sola capa

Perceptron
Neural
Networks

Perceptrón Tiene un vector de pesos reales con el que

se calcula una suma ponderada y usa un
El perceptrón es un discriminador que umbral para representar el grado de
traza su entrada a un único valor de inhibición de la neurona.
salida.

El valor de salida se usa para clasificar el

patrón (x) como un caso positivo o un caso
negativo, en el caso de un problema de
clasificación binario
Neural
Networks

Perceptrón 4. Modificar los pesos para minimizar el

error:
El algoritmo de aprendizaje es de tipo
supervisado
1. Inicializar los pesos con valores
aleatorios pequeños
2. Presentar un ejemplo (x) de entrada
3. Calcular la salida para dicho El valor de salida se usa para clasificar el
ejemplo: patrón (x) como un caso positivo o un caso
negativo, en el caso de un problema de
clasificación binario
Neural
Networks

Una capa de neuronas

R entradas
S neuronas
S salidas
Neural
Networks

Red de una capa: notación abreviada

Neural
Networks

El Perceptrón Una función no separable no se puede

aproximar con un solo plano de
Solo puede discriminar patrones que separación:
pertenezcan a clases linealmente
separables.
Neural
Networks

El Perceptrón Multicapa

Es una red neuronal artificial formada por

múltiples capas, esto le permite resolver
problemas que no son literalmente
separables.

La salida de una neurona esta

determinada por la suma ponderada con
las salida de las neuronas de la capa
anterior y una función de activación.