INTELIGENCIA

ARTIFICIAL
REDES NEURONALES¨
¨REDES NEURONALES

Ing. Mg. BRUNO ELIO VARGAS TAMANI

 SISTEMA NEURONAL BIOLOGICO
Receptores Efectores
• Ojos Redes • Músculos
Estímulo Respuesta
• Nariz Neuronales • Órganos
g
• Oidos Biológicas •Generado-
• Lengua res de voz
 CEREBRO
- ¨ Conceptos ¨
fundamentales se
encuentran
t distribuídos.
di t ib íd
- Zonas muy localizadas con
funciones bien definidas :
visión, habla, movimiento,
etc
etc.
01/12/2011 BRUNO VARGAS TAMANI 3
 NEURONA BIOLOGICA

01/12/2011 BRUNO VARGAS TAMANI 4

 NEURONA BIOLOGICA

01/12/2011 BRUNO VARGAS TAMANI 5

 TIPOS DE NEURONAS
. Interneuronas
I t : envían
í
información a otras neuronas
neuronas.
. Motoras : envían información
directamente a los músculos.
. Receptoras
R t o sensoras :
reciben la información
desde el medio externo.
 NEURONA BIOLOGICA
. Voltaje de reposo : -70mv.
. Función
F ió del
d l soma
o núcleo : integra las
excitaciones que
recibe
ib d
desde
d llas
dendritas.
dendritas
j de acción :
. Voltaje
hasta 100mv.
 NEURONAS BIOLOGICAS
- Las dendritas
reciben
ib
información de
otras neuronas
en forma de
señales eléctricas
que se envían al
cuerpo de la
célula
célula.
01/12/2011 BRUNO VARGAS TAMANI 8
 NEURONAS BIOLOGICAS
- El axón es una fibra larga que
lleva la señal desde el cuerpo de
l célula
la él l hhacía
í otras
t neuronas.
- Lo hace enviando breves
impulsos eléctricos llamados
potencial de acción
acción.
- El punto de contacto entre un
axón
ó d de una célula
él l y lla d
dendrita
d it
de otra célula es llamado
sinapsis.
01/12/2011 BRUNO VARGAS TAMANI 9
 CONTACTO ENTRE
NEURONAS (SINAPSIS)

01/12/2011 BRUNO VARGAS TAMANI 10

NEURONAS BIOLOGICAS
- La forma de conducir
i f
información
ió en lla estructuras
t t
p es la
neuronales siempre
misma (durante toda nuestra
vida).
vida)
- ¿ Qué
Q es lo que
q cambia
entonces en las estructuras
neuronales ??.
01/12/2011 BRUNO VARGAS TAMANI 11
 NEURONAS BIOLOGICAS
- Nacemos con estructuras
neuronales (formas de conexión)
determinadas.
- Durante
D t ell ttranscurso de
d nuestra
t
vida se crean nuevas conexiones
y otras se pierden.
- Esas nuevas conexiones son
resultado de un proceso de
aprendizaje
aprendizaje.
01/12/2011 BRUNO VARGAS TAMANI 12
 NEURONAS BIOLOGICAS
- Estas nuevas conexiones
resultado de un proceso de
aprendizaje, consisten en el
refuerzo o debilitamiento de
las uniones sinápticas.

01/12/2011 BRUNO VARGAS TAMANI 13

 NEURONAS BIOLOGICAS
- P
Por ejemplo
j l cuandod conocemos
a una nueva persona, en
nuestra memoria se produce la
variación de la intensidad de un
grupo de sinapsis.
- Estas nuevas conexiones
resultado de un proceso de
aprendizaje consisten en el
aprendizaje,
refuerzo o debilitamiento de las
uniones
i sinápticas.
01/12/2011
i á ti
BRUNO VARGAS TAMANI 14
 NEURONAS BIOLOGICAS
- Se estima que el
cerebro h
humano
mano
contiene 26,000
millones de neuronas.
- En un área de un
milímetro cuadrado se
encuentran 50,000
neuronas
neuronas.
01/12/2011 BRUNO VARGAS TAMANI 15
 NEURONAS BIOLOGICAS
- L
La neurona recibe
ib iinformación
f ió
mediante señales impulsivas
eléctricas de otras neuronas a
través de sus dendritas.
- La neurona transmite
información mediante señales
impulsivas eléctricas a otras
neuronas a través del axón y
sus terminales axónicos.
01/12/2011 BRUNO VARGAS TAMANI 16
 NEURONAS BIOLOGICAS
- L
Las ddendritas
d it reciben
ib
información mediante impulsos
eléctricos de otras neuronas.
- Esas señales deben llegar al
cuerpo celular o soma o núcleo.

01/12/2011 BRUNO VARGAS TAMANI 17

 NEURONAS BIOLOGICAS
• A
Antes
t ded llegar
ll llas
señales que llegan a las
dendritas al cuerpo celular
o soma,, estas pasan
p por
p
las sinapsis que mediante
funciones químicas
ponderan la información
llegada de tal manera que
serán atenuadas o
amplificadas
amplificadas.
01/12/2011 BRUNO VARGAS TAMANI 18
 NEURONAS BIOLOGICAS
• Si llas sinapsis
i i amplifican
lifi llas
señales se dice que son sinapsis
excitadoras.
• Si las sinapsis amplifican las
señales se dice que son sinapsis
atenuadoras.
atenuadoras

01/12/2011 BRUNO VARGAS TAMANI 19

 NEURONAS BIOLOGICAS
• L
Las señales
ñ l que llllegan dde llas
sinapsis al cuerpo celular o
núcleo son combinadas por el
núcleo qquien se encarga
g en
función de ello en emitir señales
de salida
salida.

01/12/2011 BRUNO VARGAS TAMANI 20

 NEURONAS BIOLOGICAS
• El núcleo
ú l presenta t entre
t su capa
externa e interna un p
potencial de
-60mv.
• El núcleo tiene un valor umbral
de -50mV, si la acumulación de
las señales que llegan al núcleo
son mayores que el valor umbral
se dice
di que lla neurona se activa
ti
y es capaz
p de enviar un impulso
p
01/12/2011 BRUNO VARGAS TAMANI 21
NEURONAS BIOLOGICAS
eléctrico a través del axón que
viaja por él y llega a sus
terminales axónicos y envía
información de activación a otras
neuronas.

01/12/2011 BRUNO VARGAS TAMANI 22

 NEURONAS BIOLOGICAS
• Si lla acumulación
l ió dde llas señales
ñ l
que llegan al núcleo son
menores que el valor umbral se
dice q que la neurona se mantiene
en reposo y no es capaz de
enviar un impulso eléctrico a
través del axón para las otras
neuronas.
neuronas

01/12/2011 BRUNO VARGAS TAMANI 23

 NEURONAS BIOLOGICAS
• L
La neurona ttrabaja
b j dde manera
binaria o de todo o nada : esta
activa (envía
( señales de
activación a otras neuronas)) o
está en reposo (envía señales
de estado de reposo a otras
neuronas).

01/12/2011 BRUNO VARGAS TAMANI 24

 REDES NEURONALES
ARTIFICIALES
Se asemeja al Cerebro en dos
aspectos
t :
- El conocimiento es adquirido
q por
p
la red mediante un proceso de
aprendizaje.
aprendizaje
- Las fuerzas de las conexiones
interneurales conocidas como
pesos sinápticos son usadas
para guardar
01/12/2011
d ell conocimiento.
i i t
BRUNO VARGAS TAMANI 25
DE LA NEURONA BASICA A
LA NEURONA ARTIFICIAL

01/12/2011 BRUNO VARGAS TAMANI 26

DE LA NEURONA BASICA A
LA NEURONA ARTIFICIAL
1.- Lectura de
1 ⎡ x1 ⎤
⎢x ⎥
datos de ⎢ 2⎥
entrada : ⎢ x3 ⎥
x=⎢ ⎥
x1,x2,x3,……. ⎢ ⎥.
..….,xxn : ⎢ . ⎥
⎢ ⎥
⎢⎣ x n ⎥⎦
01/12/2011 BRUNO VARGAS TAMANI 27
DE LA NEURONA BASICA A
LA NEURONA ARTIFICIAL
2.- Los pesos para cada
2
entrada son :
ω1, ω2,ω
ω3,…….,ωωn :

ω = [ω1 ω2 ω3 . . ωn ]
01/12/2011 BRUNO VARGAS TAMANI 28
DE LA NEURONA BASICA A
LA NEURONA ARTIFICIAL
3.- Calcular la suma neta :
⎡ x1 ⎤
⎢x ⎥
⎢ 2⎥
⎢ x3 ⎥
net = ω x = [ω1 ω 2 ω 3 . . ω n ]⎢ ⎥
⎢ . ⎥
⎢ . ⎥
⎢ ⎥
⎢⎣ x n ⎥⎦
net = ω x = ω1 x1 BRUNO
01/12/2011 + ω VARGAS
2 x2 + ω 3 x 3 + ....... + ω n 29x n
TAMANI
 DE LA NEURONA BASICA A
LA NEURONA ARTIFICIAL
3 - Calcular la suma neta :
3.-
net = ω x = ω1 x1 + ω 2 x2 + ω3 x3 + ....... + ω n xn

n
net = ω x = ∑ ωi xi
i =1

01/12/2011 BRUNO VARGAS TAMANI 30

 DE LA NEURONA BASICA A
LA NEURONA ARTIFICIAL
4.- Calculamos
4
la salida
aplicando la
función de
activación :

01/12/2011 BRUNO VARGAS TAMANI 31

DE LA NEURONA BASICA A
LA NEURONA ARTIFICIAL
4.- Calculamos la salida
4.
aplicando la función de
activación :
⎧1 net ≥ θ
⎪
y = f ( net ) = ⎨
⎪0 net < θ
01/12/2011 ⎩
BRUNO VARGAS TAMANI 32
DE LA NEURONA BASICA A
LA NEURONA ARTIFICIAL

01/12/2011 BRUNO VARGAS TAMANI 33

 NEURONA ARTIFICIAL
BASICA

01/12/2011 BRUNO VARGAS TAMANI 34

 REDES NEURONALES

01/12/2011 BRUNO VARGAS TAMANI 35

 REDES NEURONALES

01/12/2011 BRUNO VARGAS TAMANI 36

 NEURONA ARTIFICIAL
BASICA

n
Net j = ∑ xiω ji
1 aj (t +1) = y j (t + 1) =
[
F a j (t), Netj ] [
f a j (t + 1) ]

01/12/2011 BRUNO VARGAS TAMANI 37

 NEURONA BASICA
SIMPLIFICADA

01/12/2011 BRUNO VARGAS TAMANI 38

 NEURONA BASICA
SIMPLIFICADA

01/12/2011 BRUNO VARGAS TAMANI 39

FUNCIONES DE ACTIVACION

01/12/2011 BRUNO VARGAS TAMANI 40

FUNCIONES DE ACTIVACION

fid (x) fh(x) ft (x) fs(x)

1 1 1

x θ x 1 x −σ σ x

01/12/2011 BRUNO VARGAS TAMANI 41

 EL PERCEPTRON

01/12/2011 BRUNO VARGAS TAMANI 42

 INCORPORACION DEL
UMBRAL COMO UN PESO

01/12/2011 BRUNO VARGAS TAMANI 43

 INCORPORACION DEL
UMBRAL
1.- Lectura de
1 ⎡1⎤
⎢x ⎥
datos de ⎢ 1⎥
entrada : ⎢ x2 ⎥
x=⎢ ⎥
x0=1,x1,x2,x3, x
⎢ ⎥ 3 .
……...….,xxn : ⎢ . ⎥
⎢ ⎥
⎢⎣ x n ⎥⎦
01/12/2011 BRUNO VARGAS TAMANI 44
 INCORPORACION DEL
UMBRAL
2.- Los pesos para cada
2
entrada son :
ω0, ω1, ω2,ω
ω3,…….,ω ωn :

ω = [ω0 ω1 ω2 ω3 . ωn ]
01/12/2011 BRUNO VARGAS TAMANI 45
 DE LA NEURONA BASICA A
LA NEURONA ARTIFICIAL
3.- Calcular la suma neta :
⎡1⎤
⎢x ⎥
⎢ 1⎥
⎢ x2 ⎥
net = ω x = [ω 0 ω1 ω 2 ω 3 . ω n ]⎢ ⎥
⎢ x3 ⎥
⎢ . ⎥
⎢ ⎥
⎢⎣ x n ⎦⎥
= ω x = ω 0 + ω1BRUNO
net 01/12/2011 ω 2 xTAMANI
x1 +VARGAS 2 + ω 3 x 3 + ....... + ω 46 n x n
 DE LA NEURONA BASICA A
LA NEURONA ARTIFICIAL
3 - Calcular la suma neta :
3.-
net = ω x = ω0 + ω1x1 + ω2 x2 + ω3 x3 + .......+ ωn xn

n
net = ω x = ∑ωi xi
i =0

01/12/2011 BRUNO VARGAS TAMANI 47

 DE LA NEURONA BASICA A
LA NEURONA ARTIFICIAL
4.- Calculamos
4
la salida
aplicando la
función de
activación :

01/12/2011 BRUNO VARGAS TAMANI 48

DE LA NEURONA BASICA A
LA NEURONA ARTIFICIAL
4.- Calculamos la salida
4.
aplicando la función de
activación :
⎧1 net ≥ 0
⎪
y = f (net
( )=⎨
⎪0 net < 0
01/12/2011 ⎩ BRUNO VARGAS TAMANI 49
 CONJUNTOS LINEALMENTE
SEPARABLES

01/12/2011 BRUNO VARGAS TAMANI 50

 CONJUNTOS LINEALMENTE
SEPARABLES

ω0
ω1

ω2

01/12/2011 BRUNO VARGAS TAMANI 51

 CONJUNTOS LINEALMENTE
SEPARABLES

01/12/2011 BRUNO VARGAS TAMANI 52

 ENTRENAMIENTO DEL
PERCEPTRON

01/12/2011 BRUNO VARGAS TAMANI 53

 ENTRENAMIENTO DEL
PERCEPTRON

ω0
ω1

ω2

01/12/2011 BRUNO VARGAS TAMANI 54

 DATOS LINEALMENTE
SEPARABLES (FUNCION AND)

01/12/2011 BRUNO VARGAS TAMANI 55

 DATOS LINEALMENTE
SEPARABLES (FUNCION AND)

01/12/2011 BRUNO VARGAS TAMANI 56

 INCORPORACION DEL
UMBRAL (FUNCION AND)

ω0 = −0.5
ω 1 = 0 .4

ω2 = 0.4
01/12/2011 BRUNO VARGAS TAMANI 57
 ENTRENAMIENTO DE UN
PERCEPTRON
ALGORITMO DE APRENDIZAJE
1) Se toman pesos aleatorios,
agrupados
d en un vector
t .

W = [ω0 ω1 ω2 . . ωn ]

01/12/2011 BRUNO VARGAS TAMANI 58

 ENTRENAMIENTO DE UN
PERCEPTRON
ALGORITMO DE APRENDIZAJE
2) Se toma el primer ⎡ x0 ⎤
patrón y se halla la ⎢x ⎥
suma neta, en forma ⎢ 1⎥
de producto escalar ⎢ x2 ⎥
luego de agrupar las X =⎢ ⎥
entradas en un vector ⎢.⎥
X. ⎢.⎥
⎢ ⎥
01/12/2011 BRUNO VARGAS TAMANI
⎢⎣ x n ⎥⎦
59
 ENTRENAMIENTO DE UN
PERCEPTRON
ALGORITMO DE APRENDIZAJE
2) La suma neta será:
⎡ x0 ⎤
⎢x ⎥
⎢ 1⎥
⎢ x2 ⎥ n
net = W . X = [ω 0 ω1 ω2 . . ω n ]⎢ ⎥ = ∑ω x i i
⎢ . ⎥ i=0
⎢ . ⎥
⎢ ⎥
⎢⎣ x n ⎥⎦
01/12/2011 BRUNO VARGAS TAMANI 60
 ENTRENAMIENTO DE UN
PERCEPTRON
ALGORITMO DE APRENDIZAJE
3) La
L suma neta t se aplica
li a ffunción
ió
de salida ƒ, y se halla la salida y
d lla neurona.
de
4) Se calcula el error producido e,
como la diferencia de la salida
deseada d menos la salida
obtenida y, es decir :

01/12/2011
e= d − y
BRUNO VARGAS TAMANI 61
 ENTRENAMIENTO DE UN
PERCEPTRON
ALGORITMO DE APRENDIZAJE
5) Se modifican los pesos de
ac erdo a la e
acuerdo expresión:
presión

W (t + 1) = W (t ) + αeX
6) Se toma el siguiente patrón y
se repiten los pasos 2 al 5
5.
01/12/2011 BRUNO VARGAS TAMANI 62
 ENTRENAMIENTO DE UN
PERCEPTRON
ALGORITMO DE APRENDIZAJE
7) Se repite paso 6 hasta
obtener error cero para
todos los patrones, con el
mismo vector de pesos W.
Ese juego de pesos es la
solución del perceptrón.
01/12/2011 BRUNO VARGAS TAMANI 63
DESCENSO DEL GRADIENTE

01/12/2011 BRUNO VARGAS TAMANI 64

 IMPLEMENTACION DE
APLICACION
- Diseño: Se elige la arquitectura o
topología de la red a usar.
- Entrenamiento: Se presentan datos
de entrada y salida, para que a partir de
ellos la red aprenda.
- Uso: Se aplica a la red entradas y esta
genera las salidas que aprendió en el
entrenamiento.
01/12/2011 BRUNO VARGAS TAMANI 65