10 de Enero de 2011

INTRODUCCIÓN
A LAS REDES
NEURONALES
ARTIFICIALES
(Parte 1)
Postgrado de Investigación de Operaciones
Facultad de Ingeniería
Universidad Central de Venezuela
Análisis y Procesamiento de Patrones José Luis Quintero 1
 Puntos a tratar

1.Neurona biológica
2.Inteligencia artificial
3.Redes neuronales artificiales
4.El perceptrón

Análisis y Procesamiento de Patrones José Luis Quintero 2

 Cerebro Humano

• 1011 Neuronas
(procesadores)
• Poder desconocido
• 1000 – 10000
conexiones por
neurona
• Capacidad basada
en las conexiones.
• Cada neurona es
muy compleja.
• Almacenamiento
redundante.
• No binario, no
estable y no
síncrono.

Análisis y Procesamiento de Patrones José Luis Quintero

 Imágenes neurocerebrales

Análisis y Procesamiento de Patrones José Luis Quintero

 ¿Cómo funciona?

Neuronas

Sonido
información
Conexiones
Sabor

Olor

Color

Tersura

acciones

Análisis y Procesamiento de Patrones José Luis Quintero

 Unidad de procesamiento: la neurona

Dendritas
Axon

Señal
(Información)
Cuerpo

Sinapsis

Análisis y Procesamiento de Patrones José Luis Quintero

 Sinapsis

Los impulsos son transmitidos desde el axón de

una neurona hacia las dentritas de otra neurona.

Efecto excitatorio: estimula la acción de la

neurona.

Efecto inhibitorio: efecto contrario

axón dendrita

Análisis y Procesamiento de Patrones José Luis Quintero

 Conexiones del Sistema Nervioso

GENÉTICO
• El niño nace con un conjunto de conexiones
por defecto (definidas genéticamente)

EXPERIENCIA
• Nuevas conexiones se crean en el proceso de
aprendizaje.
• Las conexiones se refuerzan con la repetición.
• Las conexiones se refuerzan cuando se crean
redes de resonancia.

Análisis y Procesamiento de Patrones José Luis Quintero

 Puntos a tratar

1.Neurona biológica
2.Inteligencia artificial
3.Redes neuronales artificiales
4.El perceptrón

Análisis y Procesamiento de Patrones José Luis Quintero 9

 Inteligencia Artificial

• Es una ciencia que intenta la creación de

programas para máquinas que imiten el
comportamiento y la comprensión humana, que
sea capaz de aprender, reconocer y pensar.

• Se orienta a la
construcción de
entidades
inteligentes como a
su comprensión.
• Usa una serie de
técnicas.

Análisis y Procesamiento de Patrones José Luis Quintero

 Técnicas de la Inteligencia Artificial

• Sistemas Basados en Conocimiento.

• Visión Computacional
• Procesamiento de Voz y Lenguaje Natural
• Lógica Difusa
• Redes Neuronales
• Computación Evolutiva
• Sistemas Multiagente
• Robótica
• Aprendizaje Mecánico.
• Técnicas Heurísticas (recocido simulado)

Análisis y Procesamiento de Patrones José Luis Quintero

 Modelos inspirados en la naturaleza

• Neuronas
Red Neuronal

• Evolución Natural
Algoritmo genético

• Experiencia
Sistema Experto

• Razonamiento
Lógica Difusa

• Enfriamiento de metales
Recocido Simulado

• Hormigas
Colonia de Hormigas

Análisis y Procesamiento de Patrones José Luis Quintero

 Un poco de Biología
La unidad funcional más importante del Cerebro – una celula llamada –
NEURONA

Dendritas
Cuerpo
celular
Axón

Sinapsis

Celula Neuronal
Esquema

• Dendritas – Reciben información • Cuerpo celular – Procesa información

• Axón – Transporta informacion procesada a otras Neuronas
• Sinapsis – Union Axón – Dendritas de otras Neuronas

Análisis y Procesamiento de Patrones José Luis Quintero

 Una neurona artificial

Dendritas Cuerpo Celula Axón

X1 Dirección flujo información

w1
X2 w2
I f V = f(I)
..
.
wp I = w1X1 + w2X2
Xp + w3X3 +… + wpXp

• Recibe entradas X1 X2 … Xp de otras Neuronas o el ambiente.

• Entradas se alimentan a traves de conexiones con peso.
• Entrada Total = Suma ponderada de las entradas de otras fuentes.
• Funcion de transferencia (funcion Activacion) convierte entradas a
en salidas.
• La salida va a las entradas de otras Neuronas.

Análisis y Procesamiento de Patrones José Luis Quintero

 Funciones de transferencia
Hay varios tipos de opciones para seleccionar la función de
transferencia o función de activación

1 1 1

0.5

-1 0 0

Tanh Logistica Umbral

f(x) = f(x) = ex / (1 + ex) 0 if x< 0
(ex – e-x) / (ex + e-x) f(x) =
1 if x >= 1

Análisis y Procesamiento de Patrones José Luis Quintero

 Esquema general
Una colección de Neuronas conforma una ‘ Capa’

X1 X2 X3 X4
Capa de Conexión
- Cada Neurona adquiere SOLO
Dirección de flujo información

una entrada directamente del medio

Capa de Entrada / Intermedia

- Conecta la capa de Conexión
con las unidades de
procesamiento

Capa de Salida
- La salida de cada Neurona
va directamente hacia afuera de
y1 y2 la Neurona.

Análisis y Procesamiento de Patrones José Luis Quintero

 Esquema general
El número de capas ocultas puede ser

Ninguna Muchas
Una

Análisis y Procesamiento de Patrones José Luis Quintero

 Esquema general
Un par de cosas que se debe decir

X1 X2 X3 X4
• Dentro de la Red, no todas las
Neuronas están interconectadas
unas con otras.
• Las Neuronas de una capa
solamente se conectan con las de
la capa superior. (Feed-forward)

• No se permite el salto de
Neuronas.

y1 y2

Análisis y Procesamiento de Patrones José Luis Quintero

 Puntos a tratar

1.Neurona biológica
2.Inteligencia artificial
3.Redes neuronales artificiales
4.El perceptrón

Análisis y Procesamiento de Patrones José Luis Quintero 19

 Redes neuronales artificiales

“… son un paradigma de aprendizaje

de máquina (machine learning)
inspirado en la forma en que funciona el
sistema nervioso”

Análisis y Procesamiento de Patrones José Luis Quintero

 Redes neuronales artificiales

• Intento de producir sistemas de aprendizaje

inspirados en la naturaleza (basado en modelos
abstractos de cómo pensamos y cómo funciona
el cerebro)
• Modelo matemático inspirado en el
funcionamiento de las neuronas biológicas
• Conformado por varias unidades de
procesamiento (neuronas) interligadas por
conexiones (sinapsis)
• Eficiente donde los métodos tradicionales son
considerados inadecuados.
• El aprendizaje se logra en la actualización de
esos pesos.

Análisis y Procesamiento de Patrones José Luis Quintero

 Arquitectura

Neuronas intermedias

Neuronas de Neuronas de
entrada salida

Conexiones
Análisis y Procesamiento de Patrones José Luis Quintero
 Elemento procesador

Entrada / Función de Transferencia / Salida

elemento
Entrada procesador Salida

Señal

Análisis y Procesamiento de Patrones José Luis Quintero

 Elemento procesador
Entrada / Función de Transferencia / Salida

Análisis y Procesamiento de Patrones José Luis Quintero

 Elemento procesador

y=f( ∑ Xi Wiu )
i =1

p
Entrada Neta u = ∑ Xi Wiu
i =1

Análisis y Procesamiento de Patrones José Luis Quintero

 Metodología

Definir la
Parámetros
arquitectura

Pre-
Train Entrenamiento
procesamiento

Recolección de
W
datos Pesos

Test Prueba error

Análisis y Procesamiento de Patrones José Luis Quintero

 Problemas de interés

• Modelado de funciones
– Regresión
– Pronóstico Clasificación
supervisada
• Clasificación
c
– Clasificación no supervisada
Pronóstico
– Clasificación supervisada PIB (US$)

• Procesamiento de señales/imágenes
– Filtrado dinámico de señales
– Compresión de datos

Regresión

Análisis y Procesamiento de Patrones José Luis Quintero

 Puntos a tratar

1.Neurona biológica
2.Inteligencia artificial
3.Redes neuronales artificiales
4.El perceptrón

Análisis y Procesamiento de Patrones José Luis Quintero 28

 El Perceptrón

Análisis y Procesamiento de Patrones José Luis Quintero

 El Perceptrón

Análisis y Procesamiento de Patrones José Luis Quintero

 El Perceptrón

Análisis y Procesamiento de Patrones José Luis Quintero

 Separabilidad lineal

Análisis y Procesamiento de Patrones José Luis Quintero

 Separabilidad lineal

Análisis y Procesamiento de Patrones José Luis Quintero

 No separabilidad lineal

Análisis y Procesamiento de Patrones José Luis Quintero

 ¿Son separables linealmente?

VER ARTICULO OLVI MANGASARIAN

Análisis y Procesamiento de Patrones José Luis Quintero

 ¿Son separables linealmente?

Análisis y Procesamiento de Patrones José Luis Quintero

 El Perceptrón

El perceptrón no puede aprender un XOR

Análisis y Procesamiento de Patrones José Luis Quintero

 El Perceptrón

Análisis y Procesamiento de Patrones José Luis Quintero

 El Perceptrón

Análisis y Procesamiento de Patrones José Luis Quintero

 El Perceptrón

Análisis y Procesamiento de Patrones José Luis Quintero

 El Perceptrón

Análisis y Procesamiento de Patrones José Luis Quintero

 El Perceptrón

• Desarrolle una red neuronal – perceptrón simple - para

aprender el siguiente patrón de comportamiento
8
X1 X2 clase 7
3 2 0
6
5 2 0
5
6 3 0
4
5 1 0
3
2 5 1
2
4 4 1
1
4 7 1
0
2 7 1
1 3 5 7

• Pruebe la red entrenada y diga a que clase pertenecen

los siguientes registros. X1 X2 clase
4 2
3 4
2 6
6 5
6 1

Análisis y Procesamiento de Patrones José Luis Quintero

 El Perceptrón

CONFIGURACIÓN APLICACIONES

FUNCIÓN DE
RECURRENTE MULTICAPA FORTALEZAS PROBLEMAS DE INTERÉS
ACTIVACIÓN

Tareas de clasificación, así como también

representación de funciones booleanas, esto es,
Clasificación
NO NO supervisada
permite diferenciar entre dos clases sólo cuando
son linealmente separables, lo que limita su
aplicación

Análisis y Procesamiento de Patrones José Luis Quintero

 Algoritmo de bolsillo (pocket)

Análisis y Procesamiento de Patrones

Redes neuronales artificiales José Luis Quintero
 Pensamiento de hoy

“Nada es permanente
excepto el cambio”.
Heráclito

Análisis y Procesamiento de Patrones José Luis Quintero 45