PROYECTO DE SISTEMAS INTELIGENTES

Universidad Cesar Vallejo

Lima Este

Facultad de Ingenier´
Ingenier ıa
ı́a y Arquitectura
Arquite ctura
Escuela de Ingenier´
Ingenier ıa
ı́a de Sistemas
Sistema s

RECONOCIMIENTO DE PATRONES CON UN

ENFOQUE DE REDES NEURONALES

Curso: Sistemas Inteligentes

Autor(s)

Felipe
Garro Tolentino, Jesus 
Murillo, George 
Meza Hinostroza, Kevin 
Ochoa Goizueta, Omar 
Ruelas Rojas, Leo

Lima Este-20
Este-2014
14
.

1
 

PROYECTO DE SISTEMAS INTELIGENTES

´
Índice
Indice

1. Re
Res´
sú
ummen 3
2. Introduccion 3

3. Antecedentes 4

4. Ob jetivos 5

5. Problema 5

6. Ma
Marcorco T
Te´ eó
orrico 6
6.1.
6.1. ¿Q
¿Quu´eé es reco
recono
nocicimi
mien
ento
to de pa
patrtron
ones
es?? . . . . . . . . . . . . . . 6
6.2.
6.2. En
Enfo
foq ques
ues del
del reco
recono
noci
cimi
mien
ento
to de Patatro
rone
ness . . . . . . . . . . . . 6
6.3.. Proce
6.3 Procesamisamient
entoo Digi
Digital
tal de Im´
Imáaggenes . . . . . . . . . . . . . . . 7
6.4..
6.4 Rede
Redess Neur
Neuronal onales
es Bio
Biol´
lóoggicas . . . . . . . . . . . . . . . . . . 8
6.5. Redes neuronales artificales . . . . . . . . . . . . . . . . . . . 9
6.6. Caract
racter
er´ı́ıssticas de un
unaa RNA . . . . . . . . . . . . . . . . . . . 10
6.7. Proc
roceso de Aprend rendiizaj
zaje de una RNA . . . . . . . . . . . . . . 10
6.7.1. Sin entrenamiento . . . . . . . . . . . . . . . . . . . . . 10
6.7.2. Entrena renammient
ento Sup uper
erv
visado . . . . . . . . . . . . . . . 10
6.7.3. Entrena renammient
ento No Superv perviisad
adoo . . . . . . . . . . . . . 10
6.8. Arquitectura de una RNA . . . . . . . . . . . . . . . . . . . . 11
6.8.1. Capa Feed-Forward . . . . . . . . . . . . . . . . . . . . 11
6.8.2. Multi-Capa Feed ed--Forw rwar
ard
d . . . . . . . . . . . . . . . . 11
6.8.3. Red Recurrente . . . . . . . . . . . . . . . . . . . . . . 12
6.9. Tipo
poss de Redes Neuronales: . . . . . . . . . . . . . . . . . . . 12
6.9.1. Red Perceptron . . . . . . . . . . . . . . . . . . . . . . 12
6.9.2. Red Hopfield . . . . . . . . . . . . . . . . . . . . . . . 13
6.9.3. Red backpropagation . . . . . . . . . . . . . . . . . . . 14

7. Metodolog´ı́ıa
a 16
7.1.. Repr
7.1 Represen
esentaci
taci´óon
n Te´
Teóorrica . . . . . . . . . . . . . . . . . . . . . 16
7.2.. Repr
7.2 Represen
esentaci
taci´óon
n en Mathlab . . . . . . . . . . . . . . . . . . . . 22
7.3.. Repr
7.3 Represen
esentaci
taci´óon
n en Java . . . . . . . . . . . . . . . . . . . . . . 24
7.4.. Repr
7.4 Represen
esentaci
taci´óon
n en Prolog . . . . . . . . . . . . . . . . . . . . . 27

8. Res
Result
ultado
adoss y discu
discusi´
sió
onn 29

9. Conclusiones 29

2
 

PROYECTO DE SISTEMAS INTELIGENTES

1. Resú
umen
´ men

Nuestro trabajo consiste

redes neuronales en reconocer
como Perceptron, los patrones haciendo
Backpropagation el uso
y Hopfield paradeella
reconocimiento de siluetas de letras ingresadas p por
or el usuario v´
vı́a
ıa interfaz
las cuales serán
ser´an comparadas con las que el sistema ya conoce, dicho y hecho
se debe entrenar al agente para reconocer los patrones como determinado
objeto
obj eto p
para
ara aass´ı́ı p
poder
oder determinar a cu´
cuál
al de los patrones se asemeja m´más
as y
darnos como respuesta que ha que letra se asemeja más. m´as.

2. In
Intr
trodu
oducc
ccio
ion
n
Gracias a la inteligencia artificial se han dado avances tecnológicos
tecnol´ogicos im-
portantes que ayudan a resolver problemas, es interesante ver cómo
c´omo funcion
funcionaa
el ser humano frente a diversas situaciones con las que se encuentra, relacio-
nando hechos en forma de patrones, además
adem´as de la forma en cómo
c´omo se adapta
al realizar esas actividades.

Podemos incluso reconocer imágenes

im´agenes y letras aun cuando la información
informaci´on
no está
est´a completa o se encuentre distorsionada. Esto es posible gracias al co-
nocimiento y la experiencia que se tiene, no solo con la pura percepción,
percepci´on,
esto puede ser llevado hacia las computadoras orientándolo
orient´andolo a resolver ciertos
problemas relacionados al manejo de conocimiento, dotando de esta maneara
un comportamiento similar al del ser humano frente a situaciones dadas. Ac-
tualmente más
m´as del 50 % de las apl
aplicac
icacion
iones
es de la indust
industria
ria de la intel
intelige
igenci
nciaa
artificial es de Reconocimiento de Patrones. Clasificando un patrón patr´on u obje-
to de prueba en una determinada categor
categor´ı́ıa,
a, a fin de determinar la clase del
objeto con la información
informaci´on que se tiene sobre un conjunto conocido de objetos.

Para esto se debe entender los conceptos teóricos

te´oricos implicados en la inte-
ligencia artificial, búsqueda
b´
usqueda de solucio
soluciones,
nes, sistemas expertos, reconocimient
reconocimientoo
de patrones y redes neuronales.

3
 

PROYECTO DE SISTEMAS INTELIGENTES

3. An
Ante
tece
cede
den
nte
tess

Según
Seg´
Matlab un deRoldan Rueda,
un Sistema deManuel, en su proyecto:
Reconocimiento “Implementación
“Implementaci´
de Patrones on Neurona-
por Redes Mediante
les para la Inspección
Inspecci´on Visual de gajos de mandarina.” Madrid, España. Espa˜na. Nos
cuenta sobre el reconocimiento de patrones usando el software MatLab. Los
patrones se utiliz
utilizaran
aran a trav
trav´es
és de una cámara
c´amara que detectara los gajos de
mandarina donde el objetivo es hacer una distinción distinci´on y comparación
comparaci´on de ellos.
Tambi´
ambién
en nos habla de una clasificaci´
clasificación
on con ´ı́ndices
ındices de calida
calidad
d en los gajos
para as´
asıı́ obten
o btener
er una emulaci´
emulación
on de un sistema multievaluado de l´ lógica
ogica difusa.
Esta aplicac
aplicaci´ ión
on ser´
seráa ú
unicamente
´ nicamente para reconocimiento de patrones. Se ha rea-
lizado una comparación
comparaci´on de distintos tipos redes neuronales entre el número n´umero
de nodos,
no dos, capa
capas,s, salidas y las funciones de activaciones pa pasando
sando también
tambi´en ppor
or
los algoritmos de minimización
minimizaci´on de error. Se especulara y ejecutara su aplica-
ción
ci´
on en tiempo real.

Seg´
Según
un Huerta, Hugo Vega - Cortez Vasquez, Augusto - Huayna, Ana
Maria - Alarcón
Alarc´on Loayza, Luis & Rome Romero ro Naupa
Naupari,
ri, Pablo, en su art
art´ıculo:
ı́culo: “Re-
“R e-
conocimiento de patrones mediante redes neuronales artificiale.” Nos habla
sobre la importancia del reconocimiento de patrones en la identificación
identificaci´on de
materias
mater ias rrefere
eferentes
ntes a algun
algunaa esp
especie.
ecie. Nos h
habla
abla tambi´
también
en so
sobre
bre la met
metodo
odolog
log´ıa
ı́a
implementada para modelar una RNA para reconocer patrones, para ello se
debe establecer cuantas neuronas en total se identifican en la capa de salida.
Sin embargo sus funcionalidad
funcionalidades,
es, aplicaciones al entorno
entorno sistemát
sistem´atic
icoo m´
méd
edicico,
o,
nos dice que tenemos que seguir pasos muy estrictos ya que si lo llevamos al
campo tendremos que analizar las salidas en cada red neuronal establecida
por lo cual pasan los datos y las funcionalidades.

4
 

PROYECTO DE SISTEMAS INTELIGENTES

4. Obje
bjettivos

Proporcionar
rando una base deundiseño
esquema
no parapara
dise˜ una el reconocimiento
futura deon.
implementaci´imágenes
im´agenes
implementación. conside-
Implementar el
caso de reconocimiento de letras considerando una red neuronal que apren-
da a reconocer si silueta mediante su comparación
comparaci´on con el patrón
patr´on ingresado
mediante probabilidades. Para un rendimiento aceptable la red es entrenada
cada vez que se presente un nuevo patrón.
patr´on.

5. Problema
El reconocimiento
rec onocimiento de Patrones a trav´
través
es de Redes Neur
Neuronales
onales Art
Artificiales,
ificiales,
es un tema de estudio amplio que demanda saber los principios básicos b´asicos de
cómo
c´omo funciona una neurona biol´
biológica
ogica y como esta se implementa de manera
artificial (RNA), de los cuáles
cu´ales muchos de sus componentes que se relacio-
nan son representados bajo diferentes t´ términos
erminos y funciones matem´
matemáticas.
aticas. La
solución
soluci´
on no se da de forma f´ fácil,
acil, es por ello que se tiene que elegir un tipo
de red neuronal, la que más
m´as se adecue al objetivo buscado. En el presente
trabajo se presentara las alternativas que encontramos de la cuales logramos
implementar tanto de forma teórica
te´orica como pr´práctica.
actica.

5
 

PROYECTO DE SISTEMAS INTELIGENTES

6. Marco Te´
ó
orico
rico

6.1. ¿Qu
¿Qu´
e
é es reconocimiento
reconocimiento de patrone
patrones?
s?
Es la ciencia que se ocupa de los proprocesos
cesos sobre ingenie
ingenierr´ı́ıa,
a, computaci´
computación
on
y matemáticas
matem´aticas relacionadas con obj objetos
etos f´ı́ısicos
sicos y ma
matem´
temáticas
aticas relacionados
con objetos f´ı́ısicos
sicos y/o abstracto
abstractos,
s, con el prop´
propósito
osito de extraer informaci´
información
on
que permita establecer propiedades de o entre conjuntos de dichos objetos.

Es la rama del conocimiento, de carácter

car´acter multidisciplinario, cuyo objeto
de estudio son los procesos de identificación,
identificaci´on, caracterizaci´
caracterización, on, clasificación
clasificaci´on y
reconstrucción
reconstrucci´ on sobre conjuntos de objetos o fen´
fenómeno
omenos,s, as
as´ıı́ como
c omo el desar
desarrollo
rollo
de teorı́as,
teor´ıas, tecn
tecnolog´
ologı́as
ıas y meto
metodolog´
dologı́as
ıas relac
relacionad
ionadas
as de dichos pro procesos
cesos..

6.2..
6.2 Enf
Enfoques
oques del rec
reconoci
onocimie
mien
nto de Pa
Patro
trones
nes
Est adı́st
Estad´ıstico
ico o Teor
Teor´ıa
ı́a de la decdecisi´
isión:
on:
Usa probabilidad
prob abilidad y estad
estad´ı́ıstica,
stica, sup
supone
one la existenc
existencia
ia de distribuci´
distribución
on de
probabilidad a partir de ellas se hace el reconocimiento.

Sint´
Sintáctico
actico o estructural:
Encuentra relaciones
r elaciones estructurales, utilizando teor
teor´ıa
ı́a de lengua
lenguajes
jes fformales,
ormales,
construyendo una gramática
gram´atica que describa al objeto.

Redes Neuronal
Neuronales:
es:
Se utiliza la arquitectura para que la red aprenda a reconocer ciertos
valores y pueda dar un respuesta.

L´ogico combinatorio:
Lógico
Se modela el problema lo más m´as cercana a la realidad del mismo, se estudian
sus caracter
caracter´ı́ısticas
sticas cuidadosamente, para no hacer suposiciones.

6
 

PROYECTO DE SISTEMAS INTELIGENTES

6.3.
6.3. Proce
Procesa
sami
mien
ento
to D
Dig
igit
ital
al de
de Im
Im´
á
agenes
genes
Es un área
´area de permanen
permanente
te importancia tecnol´
tecnológica.
ogica. Su obobjetiv
jetivoo van desde
procesar datos adquiridos satelitalmente para mejorar la percepción,
percepci´on, detec-
ción
ci´
on o interpretaci´
interpretación
on de alg´
algún
un patr´
patrón
on es
espec´
pecı́fico
ıfico o apl
aplicar
icar filtra
filtrados
dos a im´
imágenes
agenes
fotográficos
fotogr´aficos para reconstruir o reretocar
tocar sus car
caracter
acter´ısticas
ı́sticas visuales.

Entre sus áreas

´areas podemos mencionar al reconocimiento de patrones y vi-
sión
si´
on rob´
robótica,
otica, en las cuales se requier
requieree el uso combinado de t´
técnicas
ecnicas de todo
tipo, desde las puramente num´
numéricas
ericas hasta las m´
más
as cercanas a la inteligencia
artificial.

Arquitectura:
Se necesita un leguaje de bajo nivel y uno de alto nivel para lograr el recono-
cimiento de la imagen por lo tanto la solución
soluci´on es construir una arquitectura
de software que integre a la vez procesamiento e bajo nivel como lengua-
 jes(C++,java,Delphi)
 jes(C++,jav a,Delphi) son la implementaci´
implementaciónon de algoritmos de inteligencia
artificial implementados en los lengua
lenguajes
jes espec
espec´ı́ıficamente
ficamente de
desarrollados.
sarrollados.

Pro cesami
Proces amiento
ento nu
num´ méri
erico:
co:
Actualmente la mayor parte de las t´ técnicas
ecnicas av
avanzadas
anzadas utilizadas en eell recono-
recon o-
cimiento de patrones se basa en un procesamiento num´ numérico,
erico, do
donde
nde mediante
un tratamiento
trat amiento heur
heur´ı́ıstico
stico se busca co
conjugar
njugar los resultados de ciert
ciertos
os estima-
dores con val
valores
ores espec
espec´ı́ıficos
ficos de una distribuci´
distribución.
on.

Mejora de la imagen o filtrado:

Operaciones que requieren algoritmos simples pero de gran insumo de ope-
raciones num´
numéricas
ericas en su ejecuci´
ejecución,
on, entre los que se destacan conversi´
conversión
on a
escala de grises, filtrado, umbrali
umbralizaci´
zación,
on, escalamiento, extracci´
extracción
on de regiones
de inte
inter´
rés,
es, etc
etc..

Segmentaci´on:
Segmentación:
Se busca simpli
simplificar
ficar la imagen reduci
reduci´éendola
ndola a un subconjun
subconjunto
to predetermi-
predetermi-
nado de objetos básicos
b´asicos (puntos, segmentos u otras primitivas geométricas
geom´etricas
sencillas),
sencillas), facili
facilitando
tando su procesamien
procesamiento
to

Descripci´on de la imagen:
Descripción
Se genera una representación
representaci´on ú
util
´til para el problema de interpretaci´
interpretación
on de in-
terés
ter´
es a partir de la informaci´
información
on proveniente de las operaciones de filtrado y
segmentación.
segmentaci´on.

7
 

PROYECTO DE SISTEMAS INTELIGENTES

Figuraa 1: Fases del pro

Figur procesam
cesamiento
iento num´
numérico
erico

6.4.
6.4. Rede
Redess Ne
Neur
urona
onale
less Bi
Biol
ol´
ogicas
ógicas
El sistema nervioso humano está
est´a constituido por c´
células
elulas llamadas neuro-
nas las cuales representan una estructura muy compleja, se llega a estimar
que el número
n´ c´elulas es de 1011 y sus interconexiones son de 1015.
umero de estas células
Las redes neuronales biológicas
biol´ogicas tienen propiedades especiales para recibir,
procesar y transmitir señales
se˜
nales electroqu´
electroquı́micas
ımicas a trav´
través
es de todas las interco-
nexiones de sistema de comunicación
comunicaci´on del cerebro. [4]

Figura 2: Ejemplo de Redes Neuronales Biológicas

Biol´ogicas

8
 

PROYECTO DE SISTEMAS INTELIGENTES

6.5..
6.5 Red
Redes
es neu
neuron
ronale
aless artific
artificale
aless
Son modelos matemáticos
matem´aticos construidos bas´
basándose
andose en el funcionamiento
de las redes neuronales biológicas
biol´ogicas (sistema nervioso), por consiguiente, las
unidades de procesamiento fundamental de una RNA, ser´ serán
an las neuronas
artificiales.

Figura 3: Modelo RNA

Este tipo
t ipo de rredes
edes tr
tratan
atan de emular las caracter
caracter´ı́ısticas
sticas del funcionamiento
básico
b´asico de una red neuronal biol´
biológica,
ogica, la cual aplica un conjunto de entradas
a la neurona las cuales representan la salida de otra neurona. Cada entrada
se multiplica por su peso el cual representa el grado de conexión
conexi´on de la sinap-
sis. Al sumarse todas las entradas se determina el nivel de activación
activaci´on de la
neurona [4]. Una representación
representaci´on vectorial de la una neurona artificial seria:

NET= X*W

Donde NET es la salida, X el vector de entrada y W el vector de pesos.

Figura 4: Representacion de la formula

9
 

PROYECTO DE SISTEMAS INTELIGENTES

6.6. Caracter
Caracter´ısticas
ı́sticas de una RNA
“Entre las princip
principales
ales caracter
caracter´ı́ısticas
sticas de toda red neuronal artificial, se
tiene:

a) Aprendizaje: porque aprende de la experiencia.

b) Asociación:
Asociaci´on: debido a que asocia padrones diferentes.

c) Generalizaci´
Generalización:
on: generaliza de ejemplos anteriores.

d) Robustez:
Robuste z: la p´
pérdida
erdida de algunas neuro
neuronas,
nas, no deteriora eell buen funcio-
namiento de la red neuronal.

e) Búsqueda
B´usqueda Paral
Paralela:
ela: basado en la b´
búsqueda
usqueda por contenido y no en forma
paralela.”
paralela.” [1]

6.7.
6.7. Proce
Proceso
so d
de
e Apre
Aprend
ndiz
izaje
aje de u
una
na R
RNA
NA
6.7.1.
6.7.1. Sin en
entre
trenam
namien
iento
to
En este tipo de entrenamiento los pesos de la red neuronal no se entrenan
sino que se calculan. Es el caso de la red Hopfield. [1]

6.7.2. En
Entrena
trenamien
miento
to Supervi
Supervisado
sado
Esto se da cuando hay la supervisión
supervisi´on de un tutor. Se compara el vector
de salida total y un vector de salida deseado. Esto se da por ejemplo con la
red neuronal Perceptron. [1]

6.7.3.
6.7.3. En
Entre
trenam
namien
iento
to No S
Super
upervis
visado
ado
Este tipo de redes se hace sin la presencia de un tutor, un ejemplo claro lo
encontramos en la redes neuronales competitivas. Se da mayormente cuando
la información
informaci´on disponible est´
estáa en correlación
correlaci´on con los datos de entrada, y en
base a esta eentrada
ntrada la red fo
forme
rme cate
categor
gor´ı́ıas
as de entrada. [5]

10
 

PROYECTO DE SISTEMAS INTELIGENTES

6.8.
6.8. Arqu
Arquit
itec
ectu
tura
ra de una
una R
RNA
NA
6.8.1. Capa Feed-F
eed-Forw
orward
ard
Esta arquitectura de red consta de una capa neuronas, los datos que van
a trav´
través
es de este sistem
sistemaa es de izq
izquie
uierda
rda a dere
derecha
cha,, es deci
decirr del ve
vector
ctor de
entrada al vector de salida de toda la red.

Figura 5: Representacion de la Capa Feed-Forward

6.8.2. Mult
Multi-Cap
i-Capa
a Feed-
eed-F
Forw
orward
ard
Arquitectura de red m´
Arquitectura más
as compleja, consta de m´
múltiples
ultiples capas de neuronas,
donde los datos viajan de capa en capa hasta llegar a la ´última.
ultima.

Figura 6: Represen
Representacion
tacion de la Multi-
Multi-Capa
Capa Feed-F
eed-Forward
orwardd
d

11
 

PROYECTO DE SISTEMAS INTELIGENTES

6.8.3.
6.8.3. Re
Red
d Re
Recur
curren
rente
te
Arquitectura conformada por uno o varias capas de neuronas, donde hay
una realimentación
realimentaci´on de las salidas totales hacia las entradas tal como se puede
apreciar en esta imagen.

Figura 7: Representacion de la Red Recurrente

6.9.
6.9. Tipos
Tipos d
de
e R
Red
edes
es Ne
Neur
uron
onal
ales
es::
6.9.1.
6.9.1. Re
Red
d Pe
Perce
rceptr
ptron
on
Fue diseñada
dise˜
nada por primera vez en 1958 por Frank Rosenblatt para la neu-
rona McCulloch
1962 publico y Pitts, utilizando
los resultados las ideas de para
de sus investigaciones aprendizaje declases
llevar sus Hebb.deEn
la
asignatura Theory of Brain Mechanisms. Esto más m´as tarde se vio opacada por
la publicación
publicaci´on de Marvin Minsky y Seymour Papert en su libro Perceptrons
(1969). Investigaciones en los 80 demostraron que la teorAa ˜ a realizada por el
Ã
libro estuvo incorrecta. [3]

El Perceptrón
Perceptr´on es la representaci´
representación
on más
m´as simple de un RNA. Se usa para
la clasificaci´
clasificaciónon de patrones linealmente separables. Dentro de sus principales
caracter´ı́ısticas
caracter sticas denota que requiere un aprendiz
aprendizaje
aje supervisa
supervisado,
do, funci´
función
on de
transferencia escalón
escal´on adem´
además
as de poder recibir valores de entrada reales y
salidas binarias o bipolares. [1]

12
 

PROYECTO DE SISTEMAS INTELIGENTES

Figura 8: Representacion de la red Perceptron

6.9.
6.9.2.
2. Re
Red
d Ho
Hopfi
pfiel
eld
d
Fue diseñada
dise˜
nada por primera vez en 1982, producto de investigaciones recu-
rrentes en el tema de Backpropagation, este tipo de red es favorable en temas
de procesado de voz, procesamiento de imágenes,
im´agenes, memorias con tolerancia a
fallos y clasifi
clasificaci´
cación
on de patrones. [3] La red de Hopfield es una red dinámica,
din´amica,
que al haber una nueva entrada, la salida es calculada y realimentada para
modificar la nueva entrada. Dicha recurrencia asegura la estabilidad al rea-
lizarlo de manera iterativa produciendo cambios en las salidas cada vez más
m´as
pequeños
peque˜ nos hasta lograr que las salidas sean constantes. [1]

Otros lo definen como una red de aprendizaje no supervisado que no rea-

liza ningún
ning´
un balanceo de carga de pesos, lo que hace al entrenar la red nos
dé
d´e un resultad
resultadoo no muy optimo p
por
or lo que to
toca
ca entren
entrenar
ar varias veces. [2]

Son redes de adaptación

adaptaci´on probabil
probabil´ı́ıstica
stica y recurrente. Aprenden a recons-
truir los patrones de entrada que memorizan durante el entrenamiento.

Son modo capa con interconexión

interconexi´on total y en la que el valor de salida
de cada unidad es binario (0 y 1) y siguen una regla de aprendizaje no
supervisado.

13
 

PROYECTO DE SISTEMAS INTELIGENTES

Figura 9: Modelo Hopfield

6.9.3.
6.9.3. Re
Red
d bac
backpr
kpropa
opagat
gation
ion
Seg´
Según
un (Bernacki & Wlodarczyk, 2004), se muestra una red neuronal con
una capa de neuronas de entrada, una capa intermedia u oculta y una capa
de salida. Todas las neuronas de cada capa deben estar conectadas a todas
las neuronas de la siguiente capa.

Al haber la limitación
limitaci´on de trabajar en una sola capa de la red neuronal
hubo unas limi
limitaciones
taciones por varios a˜
años
nos por lo que se dej´
dejóo de investigar en este
campo. El diseño
dise˜
no Ba
Backpropagation
ckpropagation ttra
rajo
jo cconsigo
onsigo el inter´
interés
es de seguir investi-
gando sobre las redes neuronal
neuronales
es artifici
artificiales.
ales. Este tipo de red es un métodom´etodo
de entrenamiento de rredes
edes multicapa. Su pr principal
incipal cara
caracter
cter´ıstica
ı́stica es su ca
capa-
pa-
cidad de entrenar capas ocultas. [4]

El termino Backpropagation fue mencionado por primera vez en 1974 por

Paul Werbos y rreinven
einventado
tado por David Parker en 1982, y ttambi´
ambién
en estudiado
por Rumelhart, Hilton y Willians en 1986. Todos estos esfuerzos dieron re-
sultados exitosos en este campo de aplicación.
aplicaci´on. [4]

Backpropagation utiliza tres o más

m´as capas de unidades procesadoras. En
el ejemplo que se muestra a continuación
continuaci´on se ve como la capa de entrada

14
 

PROYECTO DE SISTEMAS INTELIGENTES

recibe unidades de desde el exterior. La segunda capa es oculta la cual esta

interconectadas con la capa inferior y superior. Por ´ultimo
último la capa de salida
que representa la respuesta de la red. [4]

Figura 10: Modelo Back propagation

15
 

PROYECTO DE SISTEMAS INTELIGENTES

7. Meto
Metodolog
dolog´ı́ıa
a

7.1.
7.1. Repr
Repres
esen
enta
taci
ci´
on
ón Teórica
Te´
orica
a) Para comprobar lo que nos dice la teor teor´ı́ıaa haremos uso de la Red Hopfield.
Primeramente
Primeram ente hay que tener en cuent
cuentaa algunas caracter
caracter´ı́ısticas
sticas claves de
cómo
c´omo funciona la red. Una es que cada neurona de la red se encuentra
conectada con otra neurona menos consigo misma lo que origina pesos
sim
si m´ıtri
ı́t rico
cos.
s.

La función
funci´on de activaci´
activación
on de esta red es del tipo escal´
escalón,
on, donde f(x) adopta
los siguientes valores:

16
 

PROYECTO DE SISTEMAS INTELIGENTES

b) Ahora pasamos a la etapa de aprendizaje de la red neuronal artificial.

Aqu´ıı́ pod
Aqu podemos
emos aplicar la siguiente formula:

n´umero de patrones a aprender,   E kt   es la traspuesta de

Donde M es el número
la matriz Ek, e I la matriz identidad de dimensiones NxN que anula los
pesos de las conexiones autorrecurentes (wii).

c) Represe
Representa
ntamos
mos los patr
patrones
ones a apre
aprender
nder en este caso ser´
seráa la letra T y la
X, las que se dar´
darán
an de la sigu
siguiente
iente forma:

Figura 11: E1= (1 1 1 -1 1 -1 -1 1 -1) E2= (1 -1 1 -1 1 -1 1 -1 1)

17
 

PROYECTO DE SISTEMAS INTELIGENTES

d) Pa
Parara obtener el apre
aprendiz
ndizaje
aje de las dos vect
vectores
ores a ing
ingresa
resarr se aplica
aplicara
ra la
f´
fórmula
ormula que se menciona en la parte de arriba.

Figura 12: Representación

Representaci´on del Primer Patr´
Patrón
on

Figura 13: Representación

Representaci´on del Segundo Patr´
Patrón
on

18
 

PROYECTO DE SISTEMAS INTELIGENTES

Figura 14: Sumatoria de los dos Patrones

e) Una vez finalizada

finalizada la fase de aprendizaje, se puede ingresar nuev
nuevos
os val
valores
ores
de entradas los cuales serán
ser´an comparados con los valores ya aprendidos y
ver si hay una similitud entre estos. Para ello nos vamos a la primera
iteración
iteraci´
on donde ingresamos un nuevo valor.

Figura 15: Nuevo Patrón

Patr´on E= (1 1 1 -1 1 -1 1 1 1)

19
 

PROYECTO DE SISTEMAS INTELIGENTES

f) Ahora mul
multipli
tiplicamos
camos el vecto
vectorr de entrada por la matriz de pesos hallada:

Figura 16: Primera Iteración

Iteraci´on

g) Reempla
Reemplazamos
zamos en f(x) cada valor de la mult
multiplica
iplicaci´
ción
on seg´
según
un la funci´
función
on de

activación
activaci´
on mencionada antes:

Figura 17: funcion de activación

activaci´on

h) h. Ahora realiz
realizamos
amos la segunda iter
iteraci´
ación:
on:

Figura 18: Segunda Iteración

Iteraci´on

20
 

PROYECTO DE SISTEMAS INTELIGENTES

i) Reempla
Reemplazamos
zamos el resu
resultado
ltado seg´
según
un la funci´
función
on de activaci´
activación
on ya demostrada
anteriormente:

Figura 19: funcion de activación

activaci´on

 j) Vemos si el resultado de la primera iteraci´

iteración
on es igual al de la segunda
podemos afirmar que se ha llegado a una estabilidad en la red y que por
lo tanto este nuevo patrón
patr´on responde al patrón
patr´on inicial T.

Figura 20: Resultado Final

21
 

PROYECTO DE SISTEMAS INTELIGENTES

7.2.
7.2. Repr
Repres
esen
enta
taci
ci´
on
ón en Mathlab
a) tipos de val
valores
ores ingresa
ingresados
dos

b) En
Entren
trenami
amien
ento
to de la Red

22
 

PROYECTO DE SISTEMAS INTELIGENTES

c) Ingreso
Ingreso de un nu
nuev
evoo Patr´
Patrón
on

23
 

PROYECTO DE SISTEMAS INTELIGENTES

7.3.
7.3. Repr
Repres
esen
enta
taci
ci´
on
ón en Java

24
 

PROYECTO DE SISTEMAS INTELIGENTES

25
 

PROYECTO DE SISTEMAS INTELIGENTES

26
 

PROYECTO DE SISTEMAS INTELIGENTES

7.4.
7.4. Repr
Repres
esen
enta
taci
ci´
on
ón en Prolog

27
 

PROYECTO DE SISTEMAS INTELIGENTES

28
 

PROYECTO DE SISTEMAS INTELIGENTES

8. Re
Resu
sult
ltad
ados
os y di
disc
scus
usi´
ión
on

Como se ve en la metodologia, se desarrollo la red Perceptron y Hopfield

tanto de manera teórica
te´orica como pr´
práctica
actica en diversas aplicaciones, las cuales
dieron los resultados esperados, logrando entrenar la red neuronal artificial
y ponerla a aprueba con un nuevo patrón
patr´on el cual dio una repuesta a cual de
los patrones aprendidos se asemeja. Si bien hay distintos tipos de redes, la
seleccion de esta llevo un proceso largo de investigación
investigaci´on puesto que cada una
tiene sus ventajas y desventajas, otro factor importante es la representacion
matemática
matem´ atica de estos modelos de red los cuales tienen un grado de dificultad
los cuales llevarlos al area de programación
programaci´on nos llevaria a un tiempo que
supera al de la entrega del proyecto del curso.

9. Co
Conc
nclu
lusi
sion
ones
es
En el trabajo realizado se estudió
estudi´o los distintos tipos de redes neuro-
nales y los m´
métodos
etodos utilizados en cada caso, identificando cierto grado
de complejidad en algunos casos. Las redes neuronales estas compues-
tas por unidades interconectadas con pesos asociados, para que la red
alcance un estado estable existen funciones de activación.
activaci´on.

Las redes mostradas se basan en las redes Hopfield y Perceptron según

seg´un
su arquitectura, simples, multicapa y recurrentes.

Actualmente existen muc

Actualmente muchas
has aplicac
aplicaciones
iones como alternati
alternativva de soluci´
solucióon
n
para las redes neuronales como la agrupación,
agrupaci´on, an´
análisis
alisis de datos, reco-
nocimiento facial y de voz, etc.

Para
tradaun
enprocesamiento o reconocimiento
general es importante ´óptimo
optimo
realizar al de una carácter
car´
entrenamiento acter
de o en-
la red o
brindar más
m´as data si se trata de una red recurrente.

29
 

PROYECTO DE SISTEMAS INTELIGENTES

Referencias

[1] HUAMANI Nav Navarrete,

arrete, Pedro. Simulaci´
Simulación
on de Redes Neuronales con
Matlab
Matla b [en
[ en l´ı́ınea].
nea]. Lima, Per´
Perú:
u: Univ
Universidad
ersidad Pontifici
Pontificiaa Cat´
Católica
olica del
Perú
Per´
u [fecha de consulta: 22 noviembre 2014].
Disponible en:http://congreso.pucp.edu.pe/mecatronica/wp-
content/uploads/sites/2/2013/07/Manual RedesNeuronales URP 02.pdf 

[2] FEIJO, Lui

Luis.
s. Aplicaci
Aplicaci´óon
n Para Reconocimiento De Caracteres A Trav´
ravés
es
De Redes
Rede s Neuron
Neuronales.
ales. Lo ja, Ecua
Ecuador:
dor: Universidad T´
Técnica
ecnica Particular de
Loja [fecha de consulta: 21 de noviembre 2014].
Disponible en: http://es.slideshare.net/luisfe/reconocimiento-de-
caracteres-atravez-de-redes-neuronales

[3] BAND
BANDA A Gamboa, Hugo. Inte
Inteligenci
ligenciaa Artific
Artificial
ial Principios y
Aplicaciones. Quito, Ecuador: Departamento de Informática
Inform´atica y Ciencias
de Computación
Computaci´on [fecha de consulta: 21 de noviembre 2014].
Disponible en:
http://www.academia.edu/4232917/INTELIGENCIA ARTIFICIAL
PRINCIPIOS Y APLICACIONESInformacion del Autor

[4] BASOG
BASOGAINAIN Olabe, Xabier. Redes Neuronal
Neuronales
es Artificial
Artificiales
es y sus
Aplicaciones
Aplicaciones.. Bilba
Bilbao,
o, Espa˜
España:
na: Escuela Superior de Ingenier´
Ingenierıa
ı́a de Bilbao
[fecha de consulta: 10 noviembre 2014]
Disponible en:
http://www.ciberesquina.una.edu.ve:8080/2014 2/350 E.pdf 
´ SQUEZ Corte
[5] VASQUEZ
Á Cortez,
z, A
August
ugusto,
o, HUERT
HUERTA
A Vega, Hugo, HUAYNA Mar
Mar´ıa,
ı́a,
´ N Loayza, Luis, ROMERO Naupari, Pablo.
Ana, ALARCON
Ó
Reconocimiento
Perú:
Per´ deMayor
u: Universidad patrones mediante
Nacional redesMarcos.
de San neuronales artificiales.
[fecha Lima,
de consulta: 20
noviembre 2014].
Disponible en:
http://sisbib.unmsm.edu.pe/bibvirtual/publicaciones/risi/2009 n2/v6n2/a03v6n2.pdf 

[6] Reconocimi
Reconocimiento
ento de Patrones j.Kittler.
j.Kittler.2002
2002 [fecha de consult
consulta:
a: 10
noviembre 2014]
Disponible en:http://www.fing.edu.uy/iie/ense/asign/recpat
material/sistemas rec patrones.pdf 

[7] Sistemas H
H´ı́ıbridos
bridos para el Recon
Reconocimiento
ocimiento de Patrones Rom´
Román
an Katz y
Claudio Delrieux. Universidad Nacional del Sur. [fecha de consulta: 22
noviembre 2014]

30
 

PROYECTO DE SISTEMAS INTELIGENTES

Disponible en: http://sedici.unlp.edu.ar/bitstream/handle/10915/21827

/Documento
/Documen to completo
completo.pdf?sequence=1
.pdf?sequence=1

31