Redes Neuronales

INDICE
1 Introduccin.......................................................................................................................................2 1.1 Acerca de las redes neuronales...................................................................................................2 2 Resea Histrica...............................................................................................................................4 2.1 Historia de las redes neuronales.................................................................................................4 3 Generalidades....................................................................................................................................6 3.1 Definiciones de una red neuronal...............................................................................................6 3.2 Ventajas que ofrecen las red neuronal........................................................................................ 3.2.1 A!rendi"aje Ada!tati#o....................................................................................................... 3.2.2 Auto$or%ani"acin...............................................................................................................& 3.2.3 'olerancia a fallos...............................................................................................................( 3.2.4 )!eracin en tie*!o real.....................................................................................................( 3.2.+ ,-cil insercin dentro de la tecnolo%.a e/istente...............................................................10 3.3 Redes neuronales 1 co*!utadoras di%itales.............................................................................10 4. 232425')6 7A6I8)6..............................................................................................................11 4.1 2le*entos 9-sicos que co*!onen una red neuronal................................................................11 4.1.1 ,uncin de entrada :in!ut function;..................................................................................12 4.1.2 ,uncin de acti#acin :acti#ation function;......................................................................13 4.1.3 ,uncin de salida :out!ut function;...................................................................................16 + A!rendi"aje de una Red 5euronal ..................................................................................................16 +.1 5i#eles o ca!as de una red neuronal........................................................................................16 +.2 'i!os de neuronas artificiales...............................................................................................1 +.3 4ecanis*os de A!rendi"aje.....................................................................................................1& +.4 A!rendi"aje su!er#isado......................................................................................................1( +.4.1 A!rendi"aje !or correccin de error..................................................................................1( +.4.2 A!rendi"aje !or refuer"o...................................................................................................21 6 <rinci!ales 'o!olo%.as....................................................................................................................2( 6.1 'o!olo%.a de las redes neuronales............................................................................................2( 6.& Asociaciones entre la infor*acin de entrada 1 salida............................................................36 6.&.1 Redes =eteroasociati#as.....................................................................................................3& 6.&.2 Redes autoasociati#as........................................................................................................3& . A!licaciones...................................................................................................................................3( .1 A!licaciones de las Redes 5euronales.........................................................................................3( .1.1 Asociacin 1 clasificacin.................................................................................................40 .1.2 Re%eneracin de !atrones..................................................................................................41 .1.3 Re%eneracin 1 %enerali"acin..............................................................................................42 .1.4 )!ti*i"acin.........................................................................................................................42 .2 8asos concretos de a!licacin..................................................................................................42 .2.1 <lanificacin del staff :cuer!o; de e*!leados...................................................................43 .2.2 <lanificacin de la de*anda de *ateriales............................................................................4+ .2.3 <untuacin !ara la solicitud de un cr>dito.............................................................................4& &.$ 6),'?AR2 8)42R8IA326....................................................................................................+1
Redes 5euronales 1 Al%orit*os de <ri*er )rden
1 Introduccin 1.1 Acerca de las redes neuronales. El hombre se ha caracterizado siempre por su bsqueda constante de nuevas vas para mejorar sus condiciones de vida. Estos esfuerzos le han servido para reducir el trabajo en aquellas operaciones en las que la fuerza juega un papel primordial. os progresos obtenidos han permitido dirigir estos esfuerzos a otros campos! como por ejemplo! a la construcci"n de m#quinas calculadoras que a$uden a resolver de forma autom#tica $ r#pida determinadas operaciones que resultan tediosas cuando se realizan a mano. %no de los primeros en acometer esta empresa fue Charles &abbage! quien trat" infructuosamente de construir una m#quina capaz de resolver problemas matem#ticos. 'osteriormente otros tantos intentaron construir m#quinas similares! pero no fue hasta la (egunda )uerra *undial! cuando $a se dispona de instrumentos electr"nicos! que se empezaron a recoger los primeros frutos. En +,-. se constru$" la primera computadora electr"nica! ENI/C. Desde entonces los desarrollos en este campo han tenido un auge espectacular. Estas m#quinas permiten implementar f#cilmente algoritmos para resolver multitud de problemas que antes resultaban engorrosos de resolver. (in embargo! se observa una limitaci"n importante0 1qu2 ocurre cuando el problema que se quiere resolver no admite un tratamiento algortmico! como es el caso! por ejemplo! de la clasificaci"n de objetos por rasgos comunes3 Este ejemplo demuestra que la construcci"n de nuevas m#quinas m#s vers#tiles requiere un enfoque del problema desde otro punto de vista. os desarrollos actuales de los cientficos se dirigen al estudio de las capacidades humanas como una fuente de nuevas ideas para el dise4o de las nuevas m#quinas. /s! la inteligencia artificial es un intento por descubrir $ describir aspectos de la inteligencia humana que pueden ser simulados mediante m#quinas. Esta disciplina se ha desarrollado fuertemente en los ltimos a4os teniendo aplicaci"n en algunos campos como visi"n artificial! demostraci"n de teoremas! procesamiento de informaci"n e5presada mediante lenguajes humanos... etc. as redes neuronales son m#s que otra forma de emular ciertas caractersticas propias de los humanos! como la capacidad de
'ra9ajo de In#esti%acin
Redes 5euronales 1 Al%orit*os de <ri*er )rden memorizar $ de asociar hechos. (i se e5aminan con atenci"n aquellos problemas que no pueden e5presarse a trav2s de un algoritmo! se observar# que todos ellos tienen una caracterstica en comn0 la e5periencia. El hombre es capaz de resolver estas situaciones acudiendo a la e5periencia acumulada. /s! parece claro que una forma de apro5imarse al problema consista en la construcci"n de sistemas que sean capaces de reproducir esta caracterstica humana. En definitiva! las redes neuronales no son m#s que un modelo artificial $ simplificado del cerebro humano! que es el ejemplo m#s perfecto del que disponemos para un sistema que es capaz de adquirir conocimiento a trav2s de la e5periencia. %na red neuronal es 6un nuevo sistema para el tratamiento de la informaci"n! cu$a unidad b#sica de procesamiento est# inspirada en la c2lula fundamental del sistema nervioso humano0 la neurona7. 8odos los procesos del cuerpo humano se relacionan en alguna u otra forma con la 9in:actividad de estas neuronas. as mismas son un componente relativamente simple del ser humano! pero cuando millares de ellas se conectan en forma conjunta se hacen mu$ poderosas. o que b#sicamente ocurre en una neurona biol"gica es lo siguiente0 la neurona es estimulada o e5citada a trav2s de sus entradas 9inputs: $ cuando se alcanza un cierto umbral! la neurona se dispara o activa! pasando una se4al hacia el axon. 'osteriores investigaciones condujeron al descubrimiento de que estos procesos son el resultado de eventos electroqumicos. Como $a se sabe! el pensamiento tiene lugar en el cerebro! que consta de billones de neuronas interconectadas. /s! el secreto de la 6inteligencia7 sin importar como se defina se sita dentro de estas neuronas interconectadas $ de su interacci"n. 8ambi2n! es bien conocido que los humanos son capaces de aprender. /prendizaje significa que aquellos problemas que inicialmente no pueden resolverse! pueden ser resueltos despu2s de obtener m#s informaci"n acerca del problema. 'or lo tanto! las ;edes Neuronales... Consisten de unidades de procesamiento que intercambian datos o informaci"n. (e utilizan para reconocer patrones! inclu$endo im#genes! manuscritos $ secuencias de tiempo 9por ejemplo0 tendencias financieras:. 8ienen capacidad de aprender $ mejorar su funcionamiento.
Redes 5euronales 1 Al%orit*os de <ri*er )rden %na primera clasificaci"n de los modelos de redes neuronales podra ser! atendiendo a su similitud con la realidad biol"gica0 El modelo de tipo biol"gico. Este comprende las redes que tratan de simular
los sistemas neuronales biol"gicos! as como las funciones auditivas o algunas funciones b#sicas de la visi"n. El modelo dirigido a aplicaci"n. Este modelo no tiene por qu2 guardar similitud con los sistemas biol"gicos. (u arquitectura est# fuertemente ligada a las necesidades de las aplicaciones para la que es dise4ada. 2 Resea Histrica 2.1 Historia de las redes neuronales. +,<. = /lan 8uring. >ue el primero en estudiar el cerebro como una forma de ver el mundo de la computaci"n. (in embargo! los primeros te"ricos que concibieron los fundamentos de la computaci"n neuronal fueron ?arren *cCulloch! un neurofisi"logo! $ ?alter 'itts! un matem#tico! quienes! en +,-<! lanzaron una teora acerca de la forma de trabajar de las neuronas 9%n C#lculo "gico de la Inminente Idea de la /ctividad Nerviosa = &oletn de *atem#tica &iofsica @0 ++@= +<<:. Ellos modelaron una red neuronal simple mediante circuitos el2ctricos. +,-, = Donald Aebb. >ue el primero en e5plicar los procesos del aprendizaje 9que es el elemento b#sico de la inteligencia humana: desde un punto de vista psicol"gico! desarrollando una regla de como el aprendizaje ocurra. /un ho$! este es el fundamento de la ma$ora de las funciones de aprendizaje que pueden hallarse en una red neuronal. (u idea fue que el aprendizaje ocurra cuando ciertos cambios en una neurona eran activados. 8ambi2n intent" encontrar semejanzas entre el aprendizaje $ la actividad nerviosa. bases de la 8eora de las ;edes Neuronales. +,@B = Carl ashle$. En sus series de ensa$os! encontr" que la informaci"n no era almacenada en forma centralizada en el cerebro sino que era distribuida encima de 2l. 'ra9ajo de In#esti%acin 4 os trabajos de Aebb formaron las
Redes 5euronales 1 Al%orit*os de <ri*er )rden +,@. = Congreso de Dartmouth. Este Congreso frecuentemente se menciona para indicar el nacimiento de la inteligencia artificial. +,@D = >ranE ;osenblatt. Comenz" el desarrollo del 'erceptron. Esta es la red neuronal m#s antiguaF utiliz#ndose ho$ en da para aplicaci"n como identificador de patrones. Este modelo era capaz de generalizar! es decir! despu2s de haber aprendido una serie de patrones poda reconocer otros similares! aunque no se le hubiesen presentado en el entrenamiento. (in embargo! tena una serie de limitaciones! por ejemplo! su incapacidad para resolver el problema de la funci"n G;=e5clusiva $! en general! era incapaz de clasificar clases no separables linealmente. +,@, = >ranE ;osenblatt0 'rincipios de Neurodin#mica. En este libro confirm" que! bajo ciertas condiciones! el aprendizaje del 'erceptron converga hacia un estado finito 98eorema de Convergencia del 'erceptron:. +,.B = &ernard ?idroffH*arcian Aoff. Desarrollaron el modelo /daline 9/D/ptative INear Elements:. Esta fue la primera red neuronal aplicada a un problema real 9filtros adaptativos para eliminar ecos en las lneas telef"nicas: que se ha utilizado comercialmente durante varias d2cadas. +,.+ = Carl (teinbecE0 Die ernmatri5. ;ed neuronal para simples realizaciones t2cnicas 9memoria asociativa:. +,., = *arvin *insE$H(e$mour 'apert. En este a4o casi se produjo la 6muerte abrupta7 de las ;edes NeuronalesF $a que *insE$ $ 'apert probaron 9matem#ticamente: que el 'erceptrons no era capaz de resolver problemas relativamente f#ciles! tales como el aprendizaje de una funci"n no=lineal. Esto demostr" que el 'erceptron era mu$ d2bil! dado que las funciones no=lineales son e5tensamente empleadas en computaci"n $ en los problemas del mundo real. +,D- = 'aul ?erbos. Desarroll" la idea b#sica del algoritmo de aprendizaje de propagacin hacia atrs 9bacEpropagation:F cu$o significado qued" definitivamente aclarado en +,I@. +,DD = (tephen )rossberg0 8eora de ;esonancia /daptada 98;/:. a 8eora de ;esonancia /daptada es una arquitectura de red que se diferencia de todas las
Redes 5euronales 1 Al%orit*os de <ri*er )rden dem#s previamente inventadas. memoria a largo $ corto plazo. +,I@ = John Aopfield. 'rovoc" el renacimiento de las redes neuronales con su libro0 6Computaci"n neuronal de decisiones en problemas de optimizaci"n.7 +,I. = David ;umelhartH). Ainton. ;edescubrieron el algoritmo de aprendizaje de propagaci"n hacia atr#s 9bacEpropagation:. / partir de +,I.! el panorama fue alentador con respecto a las investigaciones $ el desarrollo de las redes neuronales. En la actualidad! son numerosos los trabajos que se realizan $ publican cada a4o! las aplicaciones nuevas que surgen 9sobretodo en el #rea de control: $ las empresas que lanzan al mercado productos nuevos! tanto hardKare como softKare 9sobre todo para simulaci"n:. 3 Generalidades 3.1 Definiciones de una red neuronal. E5isten numerosas formas de definir a las redes neuronalesF desde las definiciones cortas $ gen2ricas hasta las que intentan e5plicar m#s detalladamente qu2 son las redes neuronales. 'or ejemplo0 %na nueva forma de computaci"n! inspirada en modelos biol"gicos. %n modelo matem#tico compuesto por un gran nmero de elementos procesales organizados en niveles. %n sistema de computaci"n compuesto por un gran nmero de elementos simples! elementos de procesos mu$ interconectados! los cuales procesan informaci"n por medio de su estado din#mico como respuesta a entradas e5ternas. ;edes neuronales artificiales son redes interconectadas masivamente en paralelo de elementos simples 9usualmente adaptativos: $ con organizaci"n jer#rquica! las cuales intentan interactuar con los objetos del mundo real del mismo modo que lo hace el sistema nervioso biol"gico. a misma simula otras habilidades del cerebro0
3.2 Ventajas que ofrecen las red neuronal. Debido a su constituci"n $ a sus fundamentos! las redes neuronales artificiales presentan un gran nmero de caractersticas semejantes a las del cerebro. 'or ejemplo! son capaces de aprender de la e5periencia! de generalizar de casos anteriores a nuevos casos! de abstraer caractersticas esenciales a partir de entradas que representan informaci"n irrelevante! etc. Esto hace que ofrezcan numerosas ventajas $ que este tipo de tecnologa se est2 aplicando en mltiples #reas. Entre las ventajas se inclu$en0 /prendizaje /daptativo. Capacidad de aprender a realizar tareas basadas en un entrenamiento o en una e5periencia inicial. /uto=organizaci"n. %na red neuronal puede crear su propia organizaci"n o representaci"n de la informaci"n que recibe mediante una etapa de aprendizaje. 8olerancia a fallos. a destrucci"n parcial de una red conduce a una degradaci"n de su estructuraF sin embargo! algunas capacidades de la red se pueden retener! incluso sufriendo un gran da4o. Gperaci"n en tiempo real. obtener esta capacidad. >#cil inserci"n dentro de la tecnologa e5istente. (e pueden obtener chips especializados para redes neuronales que mejoran su capacidad en ciertas tareas. Ello facilitar# la integraci"n modular en los sistemas e5istentes. 3.2.1 Aprendizaje Adaptati o. a capacidad de aprendizaje adaptativo es una de las caractersticas m#s atractivas de redes neuronales. Esto es! aprenden a llevar a cabo ciertas tareas mediante un entrenamiento con ejemplos ilustrativos. Como las redes neuronales pueden aprender a diferenciar patrones mediante ejemplos $ entrenamientos! no es necesario elaborar modelos a priori ni necesidad de especificar funciones de distribuci"n de probabilidad. as redes neuronales son sistemas din#micos autoadaptativos. (on adaptables debido a la 'ra9ajo de In#esti%acin os c"mputos neuronales pueden ser realizados en paraleloF para esto se dise4an $ fabrican m#quinas con hardKare especial para
Redes 5euronales 1 Al%orit*os de <ri*er )rden capacidad de autoajuste de los elementos procesales 9neuronas: que componen el sistema. (on din#micos! pues son capaces de estar constantemente cambiando para adaptarse a las nuevas condiciones. En el proceso de aprendizaje! los enlaces ponderados de las neuronas se ajustan de manera que se obtengan ciertos resultados especficos. %na red neuronal no necesita un algoritmo para resolver un problema! $a que ella puede generar su propia distribuci"n de pesos en los enlaces mediante el aprendizaje. 8ambi2n e5isten redes que continan aprendiendo a lo largo de su vida! despu2s de completado su perodo de entrenamiento. a funci"n del dise4ador es nicamente la obtenci"n de la arquitectura apropiada. No es problema del dise4ador el c"mo la red aprender# a discriminar. (in embargo! s es necesario que desarrolle un buen algoritmo de aprendizaje que le proporcione a la red la capacidad de discriminar! mediante un entrenamiento con patrones. 3.2.2 Auto!or"anizacin. as redes neuronales emplean su capacidad de aprendizaje adaptativo para autoorganizar la informaci"n que reciben durante el aprendizaje $Ho la operaci"n. *ientras que el aprendizaje es la modificaci"n de cada elemento procesal! la autoorganizaci"n consiste en la modificaci"n de la red neuronal completa para llevar a cabo un objetivo especfico. Cuando las redes neuronales se usan para reconocer ciertas clases de patrones! ellas autoorganizan la informaci"n usada. 'or ejemplo! la red llamada bacEpropagation! crear# su propia representaci"n caracterstica! mediante la cual puede reconocer ciertos patrones. Esta autoorganizaci"n provoca la generalizaci"n0 facultad de las redes neuronales de responder apropiadamente cuando se les presentan datos o situaciones a las que no haba sido e5puesta anteriormente. El sistema puede generalizar la entrada para obtener una respuesta. Esta caracterstica es mu$ importante cuando se tiene que solucionar problemas en los cuales la informaci"n de entrada no es mu$ claraF adem#s permite que el sistema d2 una soluci"n! incluso cuando la informaci"n de entrada est# especificada de forma incompleta.
&
3.2.3 #olerancia a fallos. as redes neuronales fueron los primeros m2todos computacionales con la capacidad inherente de tolerancia a fallos. Comparados con los sistemas computacionales tradicionales! los cuales pierden su funcionalidad cuando sufren un peque4o error de memoria! en las redes neuronales! si se produce un fallo en un nmero no mu$ grande de neuronas $ aunque el comportamiento del sistema se ve influenciado! no sufre una cada repentina. Aa$ dos aspectos distintos respecto a la tolerancia a fallos0 a: b: as redes pueden aprender a reconocer patrones con ruido! distorsionados o incompletos. Esta es una tolerancia a fallos respecto a los datos. as redes pueden seguir realizando su funci"n 9con cierta degradaci"n: aunque se destru$a parte de la red. a raz"n por la que las redes neuronales son tolerantes a los fallos es que tienen su informaci"n distribuida en las cone5iones entre neuronas! e5istiendo cierto grado de redundancia en este tipo de almacenamiento. a ma$ora de los ordenadores algortmicos $ sistemas de recuperaci"n de datos almacenan cada pieza de informaci"n en un espacio nico! localizado $ direccionable. En cambio! las redes neuronales almacenan informaci"n no localizada. 'or lo tanto! la ma$ora de las intercone5iones entre los nodos de la red tendr#n sus valores en funci"n de los estmulos recibidos! $ se generar# un patr"n de salida que represente la informaci"n almacenada. 3.2.$ %peracin en tie&po real. %na de las ma$ores prioridades! casi en la totalidad de las #reas de aplicaci"n! es la necesidad de realizar procesos con datos de forma mu$ r#pida. as redes neuronales se adaptan bien a esto debido a su implementaci"n paralela. 'ara que la ma$ora de las redes puedan operar en un entorno de tiempo real! la necesidad de cambio en los pesos de las cone5iones o entrenamiento es mnimo.
3.2.' ()cil insercin dentro de la tecnolo"*a e+istente. %na red individual puede ser entrenada para desarrollar una nica $ bien definida tarea 9tareas complejas! que hagan mltiples selecciones de patrones! requerir#n sistemas de redes interconectadas:. Con las herramientas computacionales e5istentes 9no del tipo 'C:! una red puede ser r#pidamente entrenada! comprobada! verificada $ trasladada a una implementaci"n hardKare de bajo coste. 'or lo tanto! no se presentan dificultades para la inserci"n de redes neuronales en aplicaciones especficas! por ejemplo de control! dentro de los sistemas e5istentes. De esta manera! las redes neuronales se pueden utilizar para mejorar sistemas en forma incremental $ cada paso puede ser evaluado antes de acometer un desarrollo m#s amplio. 3.3 Redes neuronales , co&putadoras di"itales. 'ara entender el potencial de la computaci"n neuronal! sera necesario hacer una breve distinci"n entre sistemas de computaci"n neuronal $ digital0 los sistemas neurolgicos no aplican principios de circuitos lgicos o digitales. %n sistema de computaci"n digital debe ser sncrono o asncrono. (i fuera asncrono! la duraci"n de los impulsos neuronales debera ser variable para mantener uno de los valores binarios por periodos de tiempo indefinido! lo cual no es el caso. (i el principio fuera sncrono! se necesitara un reloj global o maestro con el cual los pulsos est2n sincronizados! este tampoco es el caso. as neuronas no pueden ser circuitos de umbral l"gico! porque ha$ miles de entradas variables en la ma$ora de las neuronas $ el umbral es variable con el tiempo! siendo afectado por la estimulaci"n! atenuaci"n! etc. a precisi"n $ estabilidad de tales circuitos no es suficiente para definir ninguna funci"n &ooleana. os procesos colectivos que son importantes en computaci"n neuronal no pueden implementarse por computaci"n digital. 'or todo ello! el cerebro debe ser un computador anal"gico. Ni las neuronas ni las sinapsis son elementos de memoria biestable. 8odos los hechos fisiol"gicos hablan a favor de las acciones de las neuronas como integradores anal"gicos! $ la eficiencia de la sinapsis cambia de forma gradual! lo cual no es caracterstico de
10
Redes 5euronales 1 Al%orit*os de <ri*er )rden sistemas biestables. os circuitos del cerebro no implementan computacin recursiva $ por lo tanto no son algortmicos. Debido a los problemas de estabilidad! los circuitos neuronales no son suficientemente estables para definiciones recursivas de funciones como en computaci"n digital. %n algoritmo! por definici"n! define una funci"n recursiva.
$. -.-/-0#%1 2A1I3%1 $.1 -le&entos 4)sicos que co&ponen una red neuronal. / continuaci"n se puede ver un esquema de una red neuronal0
a misma est# constituida por neuronas interconectadas $ arregladas en tres capas 9esto ltimo puede variar:. os datos ingresan por medio de la 6capa de entrada7! pasan a trav2s de la 6capa oculta7 $ salen por la 6capa de salida7. Cabe mencionar que la capa oculta puede estar constituida por varias capas. /ntes de comenzar el estudio sobre las redes neuronales! se debe aprender algo sobre las neuronas $ de c"mo ellas son utilizadas por una red neuronal. En la siguiente figura se compara una neurona biol"gica con una neurona artificial. En la misma se 11
Redes 5euronales 1 Al%orit*os de <ri*er )rden pueden observar las similitudes entre ambas 9tienen entradas! utilizan pesos $ generan salidas:.
4ientras una neurona es *u1 !equea en s. *is*a@ cuando se co*9inan cientos@ *iles o *illones de ellas !ueden resol#er !ro9le*as *u1 co*!lejos. <or eje*!lo el cere9ro =u*ano se co*!one de 9illones de tales neuronas.
4.1.1 Funcin de entrada (input function).

a neurona trata a muchos valores de entrada como si fueran uno soloF esto recibe el nombre de entrada global. 'or lo tanto! ahora nos enfrentamos al problema de c"mo se pueden combinar estas simples entradas 9in i+! iniL! ...: dentro de la entrada global! gini. Esto se logra a trav2s de la funci"n de entrada! la cual se calcula a partir del vector entrada. a funci"n de entrada puede describirse como sigue0
donde0 M representa al operador apropiado 9por ejemplo0 m#5imo! sumatoria! productoria! etc.:! n al nmero de entradas a la neurona Ni $ Ki al peso. 3os #alores de entrada se *ulti!lican !or los !esos anterior*ente in%resados a la neurona. <or consi%uiente@ los !esos que %eneral*ente no est-n restrin%idos ca*9ian la *edida de influencia que 'ra9ajo de In#esti%acin 12
Redes 5euronales 1 Al%orit*os de <ri*er )rden tienen los #alores de entrada. 2s decir@ que !er*iten que un %ran #alor de entrada ten%a sola*ente una !equea influencia@ si estos son lo suficiente*ente !equeos.
a nomenclatura utilizada en la figura es la siguiente0 ini+ N entrada nmero + a la neurona NiF Ki+ N peso correspondiente a ini+F iniL N entrada nmero L a la neurona NiF KiL N peso correspondiente a iniLF $ outi N salida de la neurona Ni. El conjunto de todas las n entradas ini N 9ini+! iniL! ...! ini n: es comnmente llamado 6vector entrada7. %na de las funciones de entrada m#s comnmente utilizadas $ conocidas es0 1u&atoria de las entradas pesadas0 Es la suma de todos los valores de entrada a la neurona! multiplicados por sus correspondientes pesos.
$.1.2 (uncin de acti acin 5acti ation function6.
13
Redes 5euronales 1 Al%orit*os de <ri*er )rden %na neurona biol"gica puede estar activa 9e5citada: o inactiva 9no E5citada:F es decir! que tiene un 6estado de activaci"n7. as neuronas artificiales tambi2n tienen diferentes estados de activaci"nF algunas de ellas solamente dos! al igual que las biol"gicas! pero otras pueden tomar cualquier valor dentro de un conjunto determinado. a funci"n activaci"n calcula el estado de actividad de una neuronaF transformando la entrada global 9menos el umbral! _i: en un valor 9estado: de activaci"n! cu$o rango normalmente va de 9B a +: o de 9O+ a +:. Esto es as! porque una neurona puede estar totalmente inactiva 9B o O+: o activa 9+:. a funci"n activaci"n! es una funci"n de la entrada global 9gin i: menos el umbral 9_i:. as funciones de activaci"n m#s comnmente utilizadas se detallan a continuaci"n0 (uncin .ineal7
os valores de salida obtenidos por medio de esta funci"n de activaci"n ser#n0 9gini = i:! cuando el argumento de 9gini = i: est2 comprendido dentro del rango 9=+Ha! +Ha:. 'or encima o por debajo de esta zona se fija la salida en + o O+! respectivamente. Cuando a N + 9siendo que la misma afecta la pendiente de la gr#fica:! la salida es igual a la entrada.
14
(uncin 1i"&oidea7
os valores de salida que proporciona esta funci"n est#n comprendidos dentro de un rango que va de B a +. /l modificar el valor de g se ve afectada la pendiente de la funci"n de activaci"n.
(uncin #an"ente Hiper4lica7
1+
Redes 5euronales 1 Al%orit*os de <ri*er )rden os valores de salida de la funci"n tangente hiperb"lica est#n comprendidos dentro de un rango que va de =+ a +. /l modificar el valor de g se ve afectada la pendiente de la funci"n de activaci"n.
$.1.3 (uncin de salida 5output function6. El ltimo componente que una neurona necesita es la funci"n de salida. El valor resultante de esta funci"n es la salida de la neurona i 9out i:F por ende! la funci"n de salida determina que valor se transfiere a las neuronas vinculadas. (i la funci"n de activaci"n est# por debajo de un umbral determinado! ninguna salida se pasa a la neurona subsiguiente. Normalmente! no cualquier valor es permitido como una entrada para una neurona! por lo tanto! los valores de salida est#n comprendidos en el rango PB! +Q o P=+! +Q. 8ambi2n pueden ser binarios RB! +S o R=+! +S. Dos de las funciones de salida m#s comunes son0 0in"una0 este es el tipo de funci"n m#s sencillo! tal que la salida es la misma que la entrada. Es tambi2n llamada funci"n identidad. 2inaria7
' Aprendizaje de una Red 0euronal '.1 0i eles o capas de una red neuronal.
16
Redes 5euronales 1 Al%orit*os de <ri*er )rden a distribuci"n de neuronas dentro de la red se realiza formando niveles o capas! con un nmero determinado de dichas neuronas en cada una de ellas. / partir de su situaci"n dentro de la red! se pueden distinguir tres tipos de capas0 -ntrada0 Es la capa que recibe directamente la informaci"n proveniente de las fuentes e5ternas de la red. %cultas0 (on internas a la red $ no tienen contacto directo con el entorno e5terior. El nmero de niveles ocultos puede estar entre cero $ un nmero elevado. as neuronas de las capas ocultas pueden estar interconectadas de distintas maneras! lo que determina! junto con su nmero! las distintas topologas de redes neuronales. 1alidas0 8ransfieren informaci"n de la red hacia el e5terior.
'.2 #ipos de neuronas artificiales. as neuronas artificiales se pueden clasificar de acuerdo a los valores que pueden tomar. 'or ahora es suficiente distinguir entre dos tipos principales0 0euronas 4inarias. 0euronas reales. as neuronas 4inarias solamente pueden tomar valores dentro del intervalo RB! +S o R=+! +S! mientras que las neuronas reales pueden hacerlo dentro del rango PB! +Q o P=+! +Q. os pesos normalmente no est#n restringidos a un cierto intervalo! aunque para aplicaciones especficas puede ser esto necesario.
'.3 /ecanis&os de Aprendizaje. El aprendizaje es el proceso por el cual una red neuronal modifica sus pesos en respuesta a una informaci"n de entrada. os cambios que se producen durante el mismo se reducen a la destrucci"n! modificaci"n $ creaci"n de cone5iones entre las neuronas . %na red neuronal debe aprender a calcular la salida correcta para cada constelaci"n 9arreglo o vector: de entrada en el conjunto de ejemplos. Este proceso de aprendizaje se denomina0 8roceso de -ntrena&iento o Acondiciona&iento . El conjunto de datos 9o conjunto de ejemplos: sobre el cual este proceso se basa es! por ende! llamado0 3onjunto de datos de -ntrena&iento. Durante el proceso de aprendizaje! los pesos de las cone5iones de la red sufren modificaciones! por lo tanto! se puede afirmar que este proceso ha terminado 9la red ha aprendido: cuando los valores de los pesos permanecen estables 9dK ijHdt N B! lo cual es la primera derivada o primer orden:! si los pesos cambian $ sus valores son iguales a B! se dice que la cone5i"n de la red se ha destruido. De esta manera! se dice que los pesos se han adaptado! $a que sus valores son distintos de B $ su derivada es igual a B. 2n otras !ala9ras el a!rendi"aje es el !roceso !or el cual una red neuronal *odifica sus !esos en res!uesta a una infor*acin de entrada. 3os ca*9ios que se !roducen durante el *is*o se reducen a la destruccin@ *odificacin 1 creacin de cone/iones entre las neuronas. %n aspecto importante respecto al aprendizaje de las redes neuronales es el conocer c"mo se modifican los valores de los pesos! es decir! cu#les son los criterios que se siguen para cambiar el valor asignado a las cone5iones cuando se pretende que la red aprenda una nueva informaci"n. Aa$ dos m2todos de aprendizaje importantes que pueden distinguirse0
1&
Aprendizaje super isado. Aprendizaje no super isado.
'.$ Aprendizaje super isado. 2l a!rendi"aje su!er#isado se caracteri"a !orque el !roceso de a!rendi"aje se reali"a *ediante un entrena*iento controlado !or un a%ente e/terno :su!er#isor@ *aestro; que deter*ina la res!uesta que de9er.a %enerar la red a !artir de una entrada deter*inada. 2l su!er#isor controla la salida de la red 1 en caso de que >sta no coincida con la deseada@ se !roceder- a *odificar los !esos de las cone/iones@ con el fin de conse%uir que la salida o9tenida se a!ro/i*e a la deseada. En este tipo de aprendizaje se suelen considerar! a su vez! tres formas de llevarlo a cabo! que dan lugar a los siguientes aprendizajes supervisados0 Aprendizaje por correccin de error. Aprendizaje por refuerzo. Aprendizaje estoc)stico.
'.$.1 Aprendizaje por correccin de error. Consiste en ajustar los pesos de las cone5iones de la red en funci"n de la diferencia entre los valores deseados $ los obtenidos a la salida de la red! es decir! en funci"n del error cometido en la salida. %n ejemplo de este tipo de algoritmos lo constitu$e la regla de aprendizaje del 'erceptron! utilizada en el entrenamiento de la red del mismo nombre que desarroll" ;osenblatt en +,@I .Esta es una regla mu$ simple! para cada neurona en la capa de salida se le calcula la desviaci"n a la salida objetivo como el error.
1(
Redes 5euronales 1 Al%orit*os de <ri*er )rden El cual luego se utiliza para cambiar los pesos sobre la cone5i"n de la neurona precedente. El cambio de los pesos por medio de la regla de aprendizaje del 'erceptron se realiza segn la siguiente regla0
donde0 aqi es la salida deseadaHobjetivo de la neurona de salida N i! desviaci"n objetivo de la neurona N i $ el aprendizaje.
N 9aqi O outi: la
a salida de la neurona Nj 9outj: se utiliza! porque este valor influ$e en la entrada global $! por ende! en la activaci"n $ luego en la salida de la neurona N i. Esto es semejante a un 6efecto en cadena7.
)tro al%orit*o *u1 conocido 1 que !ertenece a esta clasificacin es la re%la de a!rendi"aje Delta o re%la del *.ni*o error cuadrado :346 2rrorA 3east 4ean 6quared 2rror;@ que ta*9i>n utili"a la des#iacin a la salida o9jeti#o@ !ero to*a en consideracin a todas las neuronas !redecesoras que tiene la neurona de salida. 2sto !er*ite cuantificar el error %lo9al co*etido en cualquier *o*ento durante el !roceso de entrena*iento de la red@ lo cual es i*!ortante@ 1a que cuanto *-s infor*acin se ten%a so9re el error co*etido@ *-s r-!ido se !uede a!render. 3ue%o el error calculado :; es i%ual*ente re!artido entre las cone/iones de las neuronas !redecesoras. 'or ltimo se debe mencionar la regla de aprendizaje de propagaci"n hacia atr#s o de 4ac9propa"ation! tambi2n conocido como regla *( multicapa! la cual es una generalizaci"n de la regla de aprendizaje Delta. Esta es la primera regla de aprendizaje que permiti" realizar cambios sobre los pesos en las cone5iones de la capa oculta.
20
Redes 5euronales 1 Al%orit*os de <ri*er )rden '.$.2 Aprendizaje por refuerzo. 6e trata de un a!rendi"aje su!er#isado@ *-s lento que el anterior@ que se 9asa en la idea de no dis!oner de un eje*!lo co*!leto del co*!orta*iento deseado@ es decir@ de no indicar durante el entrena*iento e/acta*ente la salida que se desea que !ro!orcione la red ante una deter*inada entrada. En el aprendizaje por refuerzo la funci"n del supervisor se reduce a indicar mediante una se4al de refuerzo si la salida obtenida en la red se ajusta a la deseada 925ito N T+ o fracaso N =+:! $ en funci"n de ello se ajustan los pesos bas#ndose en un mecanismo de probabilidades. (e podra decir que en este tipo de aprendizaje la funci"n del supervisor se asemeja m#s a la de un crtico 9que opina sobre la respuesta de la red: que a la de un maestro 9que indica a la red la respuesta concreta que debe generar:! como ocurra en el caso de supervisi"n por correcci"n del error. '.$.3 Aprendizaje estoc)stico. Consiste b#sicamente en realizar cambios aleatorios en los valores de los pesos de las cone5iones de la red $ evaluar su efecto a partir del objetivo deseado $ de distribuciones de probabilidad. En pocas palabras el aprendizaje consistira en realizar un cambio aleatorio de los valores de los pesos $ determinar la energa de la red 9habitualmente la funci"n energa es una funci"n de iapunov:. (i la energa es menor despu2s del cambio! es decir! si el comportamiento de la red se acerca al deseado! se acepta el cambioF si! por el contrario! la energa no es menor! se aceptara el cambio en funci"n de una determinada $ preestablecida distribuci"n de probabilidades.
'.' Aprendizaje no 1uper isado.
21
Redes 5euronales 1 Al%orit*os de <ri*er )rden as redes con aprendizaje no supervisado 9tambi2n conocido como
autosupervisado: no requieren influencia e5terna para ajustar los pesos de las cone5iones entre sus neuronas. a red no recibe ninguna informaci"n por parte del entorno que le indique si la salida generada en respuesta a una determinada entrada es o no correcta. Estas redes deben encontrar las caractersticas! regularidades! correlaciones o categoras que se puedan establecer entre los datos que se presenten en su entrada. E5isten varias posibilidades en cuanto a la interpretaci"n de la salida de estas redes! que dependen de su estructura $ del algoritmo de aprendizaje empleado. En cuanto a los algoritmos de aprendizaje no supervisado! en general se suelen considerar dos tipos! que dan lugar a los siguientes aprendizajes0 /prendizaje hebbiano. /prendizaje competitivo $ comparativo.
'.'.1 Aprendizaje He44iano. Esta regla de aprendizaje es la base de muchas otras! la cual pretende medir la familiaridad o e5traer caractersticas de los datos de entrada. El fundamento es una suposici"n bastante simple0 si dos neuronas Ni $ Nj toman el mismo estado simult#neamente 9ambas activas o ambas inactivas:! el peso de la cone5i"n entre ambas se incrementa. as entradas $ salidas permitidas a la neurona son0 R=+! +S o RB! +S 9neuronas binarias:. Esto puede e5plicarse porque la regla de aprendizaje de Aebb se origin" a partir de la neurona biol"gica cl#sica! que solamente puede tener dos estados0 activa o inactiva. '.'.2 Aprendizaje co&petiti o , co&parati o.
22
Redes 5euronales 1 Al%orit*os de <ri*er )rden (e orienta a la clusterizaci"n o clasificaci"n de los datos de entrada. Como caracterstica principal del aprendizaje competitivo se puede decir que! si un patr"n nuevo se determina que pertenece a una clase reconocida previamente! entonces la inclusi"n de este nuevo patr"n a esta clase matizar# la representaci"n de la misma. (i el patr"n de entrada se determin" que no pertenece a ninguna de las clases reconocidas anteriormente! entonces la estructura $ los pesos de la red neuronal ser#n ajustados para reconocer la nueva clase.
'.: -leccin del conjunto inicial de pesos. /ntes de comenzar el proceso de entrenamiento se debe determinar un estado inicial! lo que significa0 escoger un conjunto inicial de pesos para las diversas cone5iones entre las neuronas de la red neuronal. )eneralmente un intervalo del tipo P= n! nQ! donde n es un nmero natural positivo. Cabe mencionar que durante el transcurso del entrenamiento los pesos no se encuentran restringidos a dicho intervalo. '.; Detencin del proceso de aprendizaje. 'ara determinar cu#ndo se detendr# el proceso de aprendizaje! es necesario establecer una condicin de detencin. Normalmente el entrenamiento se detiene cuando para cada uno de los ejemplos dados! el error observado est# por debajo de un determinado rango. Gtra condici"n de detenci"n del aprendizaje puede ser cuando un cierto nmero de ciclos $Ho pasos de entrenamiento ha$an sido completamente corridos.
23
Redes 5euronales 1 Al%orit*os de <ri*er )rden uego de alcanzarse la condici"n de detenci"n! los pesos no se volver#n a cambiar. Entonces podemos decir que la transformaci"n de los datos de entrada a los de salida est# resuelta. Esto se puede interpretar como una funcin f oculta en el conjunto de la red neuronal. Esta funci"n es e5actamente la 6instrucci"n7 de c"mo la salida ser# calculada a partir de una constelaci"n 9vector: de entrada. El orden en que los ejemplos de entrenamiento se presentan a la red neuronal es otro tema importanteF en la ma$ora de los casos es beneficioso realizarlo en forma aleatoria. '.< 3odificacin de los datos de entrada. (i se observa nuevamente el ejemplo del problema0 puntaje para un cr2dito 9apartado @.-:! se ve que no ha$ ningn valor num2rico en la base de datos. 'or lo tanto la pregunta es 1c"mo puede entonces una red neuronal calcular una salida3 a respuesta es sencillaF los datos tienen que ser codificados! o sea! deben hallarse valores apropiados para representar las caractersticas simb"licas 9alto! bajo! adecuado! etc.:. (e distinguen dos tipo de variables a ser codificadas0 Uariables o atributos num2ricos 9frecuentemente llamadas continuas:.
Uariables o atributos simb"licos 9frecuentemente llamados discretos:. %n atri4uto nu&=rico es aquel que puede tomar cualquier valor dentro de un
cierto intervalo Pa! bQF donde a puede ser =VW9menos infinito: $ b! VW9infinito:. /hora si los pesos son dados por un cierto nmero de t2rminos! semejantes a0 alto o bajoF entonces el atributo se denomina si&4lico. '.<.1 3odificacin de los atri4utos nu&=ricos.
24
os datos son codificados dentro de un intervalo! PB.B T buffer de baja! +.B O buffer de altaQ! por medio de una funcin lineal. os buffer 9amortiguadores: son necesarios! especialmente cuando se trabaja con series de tiempo! porque a menudo puede observarse que una variable num2rica cae por debajo del valor mnimo presenciado hasta el momento! o por encima del m#5imo.
'or ejemplo! para esta figura se debe encontrar la ecuaci"n que describa la funci"n de transformaci"nF a la cual llamaremos 6t $ se escribe como sigue0 t0 datos originales 9x: datos codificados 9xnuevos:F t9x: N xnuevos N a M x T bF donde0 a N pendiente $! b N ordenada al origen. De esta manera! para el ejemplo de la figura se tiene que a N B.,=B.+ W <+=+, De forma gen2rica0 'ra9ajo de In#esti%acin 2+ $ b N B.+ O a M +,.
a N m#5. en el intervalo de codificaci"n O min. En el intervalo de codificaci"n m#5. de los datos originales O min. de los datos originales b N 9min. de los datos codificados: O aM 9mn. de los datos originales:
'.<.2 3odificacin de los atri4utos si&4licos. Cada atributo simb"lico que se codifica! se adjunta a una neurona en la capa de entrada. (i ha$ n valores simb"licos! n neuronas ser#n necesarias! cada una de ellas con un conjunto de entradas permitido0 RB! +S 9o R=+! +S:. 'or este motivo! se utilizan neuronas binarias.
Gbservando la figura! la edad s"lo puede tomar un valor en el ejemplo dado. En consecuencia! si se tiene el valor de entrada viejo! solamente la neurona est#tica para viejo recibe una entrada de + 9en el ejemplo0 N1:! mientras que todas las dem#s tendr#n una entrada igual a B. 'or supuesto! tambi2n es posible codificar atributos simb"licos utilizando s"lo una neurona 6real7 9recordar que los valores permitidos para este tipo de neuronas est#n comprendidos en el rango PB! +Q o P+! +Q:. a ma$or desventaja de una codificaci"n binaria es que puede conducir a una gran capa de entrada.
26
'.<.3 Resu&en de los procedi&ientos de codificacin.
'.> Validacin de la red neuronal. Despu2s del proceso de entrenamiento los pesos de las cone5iones en la red neuronal quedan fijos. Como paso siguiente se debe comprobar si la red neuronal puede resolver nuevos problemas! del tipo general! para los que ha sido entrenada. 'or lo tanto! con el prop"sito de validar la red neuronal se requiere de otro conjunto de datos! denominado conjunto de alidacin o testeo. Cada ejemplo del conjunto de evaluaci"n contiene los valores de las variables de entrada! con su correspondiente soluci"n tomadaF pero ahora esta soluci"n no se le es otorgada a la red neuronal. uego se compara la soluci"n calculada para cada ejemplo de
Redes 5euronales 1 Al%orit*os de <ri*er )rden validaci"n con la soluci"n conocida. /hora el problema es que ha$ que decidir cuando la salida de la red neuronal ha de considerarse como correcta.
'.1? 3uestiones a resol er al tra4ajar con una red neuronal. *uchos problemas aparecen cuando se trabaja con redes neuronales.
'rimeramente se debe analizar el dominio del problema $ decidir a que clase pertenece. uego debe decidirse si una red neuronal es adecuada para resolver dicho problema. Esto es lo que se llama0 etapa preliminar. Concluida esta etapa! las siguientes preguntas han de responderse0 a! %ri"en de los datos. X 1Yu2 datos son de importancia para la situaci"n del problema definido3 X 1Yu2 variables son relevantes3 X 1De d"nde pueden obtenerse los datos3 4! 8reparacin , codificacin de los datos. X 1C"mo preparar $ codificar los datos3 c! #opolo"*a de la red 5dependiendo parcial&ente del *te& 4!6. X 1Yu2 tipo de red debe escogerse3 X 1Cu#ntas capas ocultas $ con cu#ntas neuronas son necesarias3 X 1Cu#ntas neuronas en la capa de salida 9segn la codificaci"n escogida:3 X 1Yu2 tipos de neuronas deben escogerse3 X 1Yu2 regla de aprendizaje escoger3
2&
Redes 5euronales 1 Al%orit*os de <ri*er )rden d! Decisiones concernientes al proceso de aprendizaje. X 1Cu#ntos ciclos de aprendizaje3 X 1Yu2 inicializaci"n para los pesos3
: 8rincipales #opolo"*as :.1 #opolo"*a de las redes neuronales. a topologa o arquitectura de una red neuronal consiste en la organizaci"n $ disposici"n de las neuronas en la misma! formando capas o agrupaciones de neuronas m#s o menos alejadas de la entrada $ salida de dicha red. En este sentido! los par#metros fundamentales de la red son0 el nmero de capas! el nmero de neuronas por capa! el grado de conectividad $ el tipo de cone5iones entre neuronas. :.2 Redes /onocapa. (e establecen cone5iones entre las neuronas que pertenecen a la nica capa que constitu$e la red. as redes monocapas se utilizan generalmente en tareas relacionadas con lo que se conoce como autoasociaci"n 9regenerar informaci"n de entrada que se presenta a la red de forma incompleta o distorsionada:. :.3 Redes &ulticapa. (on aquellas que disponen de un conjunto de neuronas agrupadas en varios niveles o capas. En estos casos! una forma para distinguir la capa a la que pertenece una neurona! consistira en fijarse en el origen de las se4ales que recibe a la entrada $ el destino de la se4al de salida. Normalmente! todas las neuronas de una capa reciben
2(
Redes 5euronales 1 Al%orit*os de <ri*er )rden se4ales de entrada desde otra capa anterior 9la cual est# m#s cerca a la entrada de la red:! $ envan se4ales de salida a una capa posterior 9que est# m#s cerca a la salida de la red:. / estas cone5iones se las denomina cone+iones @acia adelante o feedforAard. (in embargo! en un gran nmero de estas redes tambi2n e5iste la posibilidad de conectar la salida de las neuronas de capas posteriores a la entrada de capas anterioresF a estas cone5iones se las denomina cone+iones @acia atr)s o feed4ac9.
:.$ 3one+in entre neuronas. a conectividad entre los nodos de una red neuronal est# relacionada con la forma en que las salidas de las neuronas est#n canalizadas para convertirse en entradas de otras neuronas. a se4al de salida de un nodo puede ser una entrada de otro elemento de proceso! o incluso ser una entrada de s mismo 9cone+in autorrecurrente6. Cuando ninguna salida de las neuronas es entrada de neuronas del mismo nivel o de niveles precedentes! la red se describe como de cone+in @acia delante. Cuando las salidas pueden ser conectadas como entradas de neuronas de niveles previos o del mismo nivel! inclu$2ndose ellas mismas! la red es de cone+in @acia atr)s. as redes de propagaci"n hacia atr#s que tienen lazos cerrados son llamadas0 siste&as recurrentes. :.' Redes de propa"acin @acia atr)s 5backpropagation6. El nombre de bacEpropagation resulta de la forma en que el error es propagado hacia atr#s a trav2s de la red neuronal! en otras palabras el error se propaga hacia atr#s desde la capa de salida. Esto permite que los pesos sobre las cone5iones de las neuronas ubicadas en las capas ocultas cambien durante el entrenamiento.
30
Redes 5euronales 1 Al%orit*os de <ri*er )rden :.'.1 -je&plo. %na temperatura de LBZC provoca que el tiempo de operaci"n de una m#quina sea de ,B segundos $ un incremento de dicha temperatura hasta los <BZC causa un tiempo de operaci"n de +BB segundos. 1C"mo influ$" el incremento de la temperatura en el tiempo de trabajo de la m#quina3 'or supuesto! hizo m#s lenta la operaci"n. 'ero! 1por cu#nto3
[ Esto significa que se produce un incremento de tiempo de apro5imadamente + segundo! cuando la temperatura se eleva +ZC. /l mirar la figura la misma muestra una constelaci"n donde la salida real para una neurona es B.,@ $ la deseada es de +.B
Dado que la derivada de la funci"n activaci"n es relativamente baja en esta regi"n 9cuando la funci"n activaci"n est# pr"5ima a +:! el producto 6 deri ada por des iacin 'ra9ajo de In#esti%acin 31
Redes 5euronales 1 Al%orit*os de <ri*er )rden o4jeti o! igual al error! no se torna mu$ grande. Esto es lo que se llama sinton*a fina de los pesos. De esta manera! la diferencia en el c"mputo del error para las neuronas de salida al utilizar el algoritmo de bacEpropagation! en lugar de las reglas simples de aprendizaje del 'erceptron! es justamente el factor deri ada de la funcin acti acin.
:.: -structura de la Red Hopfield. a ;ed Aopfield es recurrente $ completamente interconectada. >unciona como una memoria asociativa no lineal! que puede almacenar internamente patrones presentados de forma incompleta o con ruido. De esta forma puede ser usada como una herramienta de optimizaci"nF tambi2n se han utilizado en aplicaciones de segmentaci"n $ restauraci"n de im#genes $ optimizaci"n combinatoria. Esto significa que si e5iste una cone5i"n desde la neurona Ni a la neurona Nj! tambi2n e5iste la cone5i"n desde Nj a Ni ambas e5hibendo el mismo peso 9 wij N wji:. Uale aclarar que la cone5i"n de una neurona con s misma no est# permitida. El conjunto permitido de valores de entrada $ salida es RB! +S 9o en alguna oportunidad R=+! +S:F o sea! es un conjunto binario. De esta manera todas las neuronas en una ;ed Aopfield son binarias! tomando solamente uno de los dos estados posibles0 activo 9+: o inactivo 9=+ o B:. a clave del aprendizaje Aopfield es que si un patr"n que tiene que ser aprendido se conoce! los pesos sobre cada cone5i"n de la red neuronal pueden ser calculados. En esta circunstancia! solamente el estado de las neuronas cambia durante el proceso de aprendizaje. Este c#lculo garantiza que cada patr"n aprendido corresponda a un mnimo de la funci"n energa.
32
Redes 5euronales 1 Al%orit*os de <ri*er )rden Es importante entender que para este tipo de redes la definici"n de aprendizaje es diferente al dado anteriormente! donde aprendizaje significaba simplemente la adaptaci"n de los pesos. En una ;ed Aopfield los pesos se pueden calcular $ se mantienen fijos durante el aprendizaje de los patrones. (olamente cambia el estado de las neuronas. 'ara calcular el peso de una cone5i"n cualquiera! wij 9$ por simetra para la cone5i"n wji:! en una ;ed Aopfield se utiliza la siguiente ecuaci"n0
siendo Q el nmero de patrones $ e i la entrada a la neurona Ni. )eneralmente es aconsejable trabajar con esta ecuaci"n cuando los patrones que se han de aprender no son mu$ semejantes unos a otros! $ si el nmero de ceros $ unos son similares para todos los patrones. Con respecto al nmero de ceros $ unos! el umbral de cada neurona puede utilizarse para regular esto! distingui2ndose as dos casos posibles0 (i ha$ m#s Bs que +s el umbral tiene que disminuirse! porque que las neuronas tienen una probabilidad m#s alta para hacerse inactivas que para hacerse activas. (i ha$ mas +s que Bs el umbral tiene que incrementarse! porque las neuronas tienen una probabilidad m#s alta para hacerse activas que para hacerse inactivas.
:.; 1i&ulated Annealin" aplicada a una Red Hopfield. En muchos problemas! la tarea no es justamente encontrar cualquier mnimo local! sino la de encontrar el "ptimo global. o que significa que para una entrada determinada se debe encontrar una salida que resulte en un mnimo de la funci"n energa. %tilizando
33
Redes 5euronales 1 Al%orit*os de <ri*er )rden una ;ed Aopfield! se encuentra que un mnimo $ace cerca del vector de entrada dado! porque la energa decrece paso a paso. El cual puede ser un mnimo local. / grandes rasgos se describe que una (imulated /nnealing trabaja de esta manera0
El algoritmo se detiene cuando se alcanza algn criterio de detenci"nF por ejemplo si la temperatura llega a su lmite inferior o si el nmero de ciclos alcanza su lmite superior. a premisa fundamental de este m2todo es que el problema de optimizaci"n puede formularse como una funci"n energ2tica. 'or lo tanto hallar el "ptimo global implica encontrar el mnimo de dicha funci"n energ2tica. a misma tiene un aspecto gen2rico de esta forma0
(e han logrado e5itosas aplicaciones de (imulated /nnealing! principalmente concernientes a los problemas de optimizaci"n combinatoria! semejantes al problema del
34
Redes 5euronales 1 Al%orit*os de <ri*er )rden iajante. El cual no puede resolverse f#cilmente por m2todos estadsticos o analticos. 'or ejemplo! imagine que un viajante tiene que visitar +, ciudades. 1Yu2 ruta suministra el camino m#s corto entre todas las ciudades! o sea! en qu2 orden deber#n visitarse todas las ciudades3 'or ltimo una diferenciaci"n mu$ importante es que en una (imulated /nnealing la energa puede disminuir en un paso $ crecer en el otro! pero en una ;ed Aopfield la energa solamente puede disminuir paso a paso.
3+
:.< Asociaciones entre la infor&acin de entrada , salida \a se sabe que las redes neuronales son sistemas que almacenan cierta informaci"n aprendida. Esta informaci"n se registra de forma distribuida en los pesos asociados a las cone5iones entre neuronas. 'or tanto! puede imaginarse una red como cierto tipo de memoria que almacena datos de forma estable! datos que se grabar#n en dicha memoria como consecuencia del aprendizaje de la red $ que podr#n ser ledos a la salida como respuesta a cierta informaci"n de entrada! comport#ndose entonces la red como lo que habitualmente se conoce por memoria asociativa0 cuando se aplica un estmulo 9dato de entrada: la red responde con una salida asociada a dicha informaci"n de entrada.
36
Redes 5euronales 1 Al%orit*os de <ri*er )rden E5isten dos formas primarias de realizar esta asociaci"n entre entradasHsalidas que se corresponden con la naturaleza de la informaci"n almacenada en la red0 %na primera sera la denominada heteroasociacin! que se refiere al caso en el que la red aprende parejas de datos P9 "1!#1$! %"&! #&$!... %"N!#N$Q! de tal forma que cuando se presente cierta informaci"n de entrada /i! deber# responder generando la correspondiente salida asociada &i. a segunda se conoce como autoasociacin! donde la red aprende ciertas informaciones "1! "&! ...! "NF de tal forma que cuando se le presenta una informaci"n de entrada realizar# una autocorrelaci"n! respondiendo con uno de los datos almacenados! el m#s parecido al de entrada. Estos dos mecanismos de asociaci"n dan lugar a dos tipos de redes neuronales0 las redes @eteroasociati as $ las autoasociati as. %na red heteroasociativa podra considerarse como aquella que computa cierta funci"n! que en la ma$ora de los casos no podra e5presarse analticamente! entre un conjunto de entradas $ un conjunto de salidas! correspondiendo a cada posible entrada una determinada salida. 'or otra parte! una red autoasociativa es una red cu$a principal misi"n es reconstruir una determinada informaci"n de entrada que se presente incompleta o distorsionada 9le asocia el dato almacenado m#s parecido:. En realidad estos dos tipos de modelos de redes no son diferentes en principio! porque una red heteroasociativa puede siempre ser reducida a una asociativa mediante la concatenaci"n de una informaci"n de entrada $ su salida 9respuesta: asociada! para obtener la informaci"n de entrada de la red autoasociativa equivalente. 8ambi2n puede conseguirse que una red autoasociativa se comporte como heteroasociativa! simplemente presentando! como entrada parcial de la autoasociativa! la informaci"n de entrada para la
Redes 5euronales 1 Al%orit*os de <ri*er )rden heteroasociativa $ haciendo que la red complete la informaci"n para producir lo que sera la salida de la red heteroasociativa equivalente. :.<.1 Redes @eteroasociati as as redes heteroasociativas! al asociar informaciones de entrada con diferentes informaciones de salida! precisan al menos de dos capas! una para captar $ retener la informaci"n de entrada $ otra para mantener la salida con la informaci"n asociada. (i esto no fuese as! se perdera la informaci"n inicial al obtenerse el dato asociado R<S! lo cual no debe ocurrir! $a que en el proceso de obtenci"n de la salida se puede necesitar acceder varias veces a esta informaci"n que! por tanto! deber# permanecer en la capa de entrada. En cuanto a su conectividad! pueden ser del tipo con cone5i"n hacia adelante 9 o feedforward: o con cone5i"n hacia atr#s 9 feddforward'feedbac(:! o bien con cone5iones laterales.
:.<.2 Redes autoasociati as %na red autoasociativa asocia una informaci"n de entrada con el ejemplar m#s parecido de los almacenados conocidos por la red. Estos tipos de redes pueden implementarse con una sola capa de neuronas. Esta capa comenzar# reteniendo la informaci"n inicial a la entrada! $ terminar# representando la informaci"n autoasociada. (i se quiere mantener la informaci"n de entrada $ salida! se deberan a4adir capas adicionales! sin embargo! la funcionalidad de la red puede conseguirse en una sola capa. En cuanto a su conectividad! e5isten de cone5iones laterales $! en algunos casos! cone5iones autorrecurrentes.
3&
Redes 5euronales 1 Al%orit*os de <ri*er )rden ;. Aplicaciones ;.1 Aplicaciones de las Redes 0euronales as redes neuronales pueden utilizarse en un gran nmero $ variedad de aplicaciones! tanto comerciales como militares. Aa$ muchos tipos diferentes de redes neuronalesF cada uno de los cuales tiene una aplicaci"n particular m#s apropiada. /lgunas aplicaciones comerciales son0 2iolo"*a7 /prender m#s acerca del cerebro $ otros sistemas. Gbtenci"n de modelos de la retina. -&presa7 Evaluaci"n de probabilidad de formaciones geol"gicas $ petrolferas. Identificaci"n de candidatos para posiciones especficas. E5plotaci"n de bases de datos. Gptimizaci"n de plazas $ horarios en lneas de vuelo. ;econocimiento de caracteres escritos. *odelado de sistemas para automatizaci"n $ control. /edio a&4iente7 /nalizar tendencias $ patrones. 'revisi"n del tiempo. (inanzas7 'revisi"n de la evoluci"n de los precios. Ualoraci"n del riesgo de los cr2ditos. Identificaci"n de falsificaciones. Interpretaci"n de firmas. /anufacturacin7 'ra9ajo de In#esti%acin 3(
Redes 5euronales 1 Al%orit*os de <ri*er )rden ;obots automatizados $ sistemas de control 9visi"n artificial $ censores de presi"n! temperatura! gas! etc.:. Control de producci"n en lneas de procesos. Inspecci"n de la calidad. /edicina7 /nalizadores del habla para a$udar en la audici"n de sordos profundos. Diagn"stico $ tratamiento a partir de sntomas $Ho de datos analticos9electrocardiograma! encefalogramas! an#lisis sanguneo..:. *onitorizaci"n en cirugas. 'redicci"n de reacciones adversas en los medicamentos. Entendimiento de la causa de los ataques cardacos. /ilitares7 Clasificaci"n de las se4ales de radar. Creaci"n de armas inteligentes. Gptimizaci"n del uso de recursos escasos. ;econocimiento $ seguimiento en el tiro al blanco. Desde el punto de vista de los casos de aplicaci"n! la ventaja de las redes neuronales reside en el procesado paralelo! adaptativo $ no lineal. El dominio de aplicaci"n de las redes neuronales tambi2n se lo puede clasificar de la siguiente forma0 asociacin , clasificacinB re"eneracin de patronesB re"resin , "eneralizacinB , opti&izacin. ;.1.1 Asociacin , clasificacin
40
Redes 5euronales 1 Al%orit*os de <ri*er )rden En esta aplicaci"n! los patrones de entrada est#ticos o se4ales temporales deben ser clasificados o reconocidos. Idealmente! un clasificador debera ser entrenado para que cuando se le presente una versi"n distorsionada ligeramente del patr"n! pueda ser reconocida correctamente sin problemas. De la misma forma! la red debera presentar cierta inmunidad contra el ruido! esto es! debera ser capaz de recuperar una se4al ]limpia] de ambientes o canales ruidosos. Esto es fundamental en las aplicaciones hologr#ficas! asociativas o regenerativas. Asociacin7 de especial inter2s son las dos clases de asociaci"n0 autoasociaci"n $ heteroasociaci"n. El problema de la autoasociaci"n es recuperar un patr"n enteramente! dada una informaci"n parcial del patr"n deseado. a heteroasociaci"n es recuperar un conjunto de patrones #! dado un patr"n de ese conjunto. Normalmente! la autocorrelaci"n del conjunto de patrones almacenado determina los pesos en las redes autoasociativas. 'or otro lado! la correlaci"n cruzada de muchas parejas de patrones se usa para determinar los pesos de la red de heteroasociaci"n. 3lasificacin no 1uper isada7 para esta aplicaci"n! los pesos sin#pticos de la red son entrenados por la regla de aprendizaje no supervisado! esto es! la red adapta los pesos $ verifica el resultado bas#ndose nicamente en los patrones de entrada. 3lasificacin 1uper isada7 esta clasificaci"n adopta algunas formas del criterio de interpolaci"n o apro5imaci"n. En muchas aplicaciones de clasificaci"n! por ejemplo! reconocimiento de voz! los datos de entrenamiento consisten de pares de patrones de entrada $ salida. Este tipo de redes son apropiadas para las aplicaciones que tienen una gran cantidad de clases con lmites de separaci"n complejos. ;.1.2 Re"eneracin de patrones
41
Redes 5euronales 1 Al%orit*os de <ri*er )rden En muchos problemas de clasificaci"n! una cuesti"n a solucionar es la recuperaci"n de informaci"n! esto es! recuperar el patr"n original dada solamente una informaci"n parcial. Aa$ dos clases de problemas0 temporales $ est#ticos. El uso apropiado de la informaci"n conte5tual es la llave para tener 25ito en el reconocimiento. ;.1.3 Re"eneracin , "eneralizacin El objetivo de la generalizaci"n es dar una respuesta correcta a la salida para un estmulo de entrada que no ha sido entrenado con anterioridad. El sistema debe inducir la caracterstica saliente del estmulo a la entrada $ detectar la regularidad. 8al habilidad para el descubrimiento de esa regularidad es crtica en muchas aplicaciones. Esto hace que el sistema funcione eficazmente en todo el espacio! incluso cuando ha sido entrenado por un conjunto limitado de ejemplos. ;.1.$ %pti&izacin as ;edes Neuronales son herramientas interesantes para la optimizaci"n de aplicaciones! que normalmente implican la bsqueda del mnimo absoluto de una funci"n de energa. 'ara algunas aplicaciones! la funci"n de energa es f#cilmente deducibleF pero en otras! sin embargo! se obtiene de ciertos criterios de coste $ limitaciones especiales. ;.2 3asos concretos de aplicacin / continuaci"n se detallan los siguientes casos concretos de aplicaci"n de redes neuronales0 'lanificaci"n del staff de empleados. 'lanificaci"n de la demanda de materiales. 'untuaci"n para la solicitud de un cr2dito.
42
Redes 5euronales 1 Al%orit*os de <ri*er )rden ;.2.1 8lanificacin del staff 5cuerpo6 de e&pleados Ao$ m#s que nunca! las empresas est#n sujetas a la presi"n de los elevados costos. Esto puede verse en diferentes sectores corporativos! tales como la planificaci"n del staff de empleados. Desde el punto de vista de las empresas! un empleado que falla al ejecutar la ma$or parte de las tareas asignadas! evidencia una baja productividad. 'or el otro lado! esta situaci"n es frustrante para el empleado. /mbos efectos causan costos! los cuales podran evitarse realizando antes una prueba de aptitud. En este pro$ecto de investigaci"n se e5amin" hasta donde la predicci"n de aptitudes puede llevarse a cabo por una red neuronal! cu$a topologa suministre una tarea satisfactoria $ as lograr una predicci"n m#s e5itosa. Base de datos y codificacin: a base de datos inicial contena informaci"n resultante de una investigaci"n que realizaron por medio de un cuestionario. as respuestas obtenidas a trav2s del mismo las utilizaron para acumular informaci"n acerca de las cualidades especficas $ habilidades t2cnicas de cada individuo del personal indagado. 'ara cada pregunta! les fue posible categorizar la respuesta en un intervalo que va de + a @F constitu$endo as la entrada que presentaron a la red neuronal. /l entrevistado! posteriormente! lo e5aminaron en el orden de obtener una cifra representativa de sus aptitudes. De esta manera el conjunto de datos de entrenamiento qued" formado de la siguiente forma0 Respuesta obtenidas a travs del cuestionario = datos de entrada Cifra representativa de la aptitud de la persona encuestada = salida deseada El primer problema que se les present" fue c"mo codificar los datos obtenidos! decidiendo transformarlos dentro del intervalo PB.+! +.BQ.
43
Redes 5euronales 1 Al%orit*os de <ri*er )rden C3&o codificar la salida o4jeti o fue la pr+i&a pre"unta que consideraronD Normalmente la compa4a s"lo quiere conocer si una persona ejecutar# bien o mal a tarea determinada! o si su desempe4o ser# mu$ bueno! bueno! promedio! malo o mu$ malo. Consecuentemente! 9a: asignaron la salida dada dentro de varias clases $ 9 b: transformaron las cifras representativas dentro del intervalo PB! +Q! utilizando en parte una funci"n lineal. Algoritmo de aprendiza e: Ensa$aron diferentes algoritmos de aprendizaje! de los cuales dos fueron escogidos como los m#s apropiados0 8ropa"acin R)pida 5Euic9propa"ation6 , 8ropa"acin -l)stica 5Resilient 8ropa"ation6 . Euic9propa"ation7 es una modificaci"n del algoritmo est#ndar de
bacEpropagation. / diferencia de 2ste! la adaptaci"n de los pesos no es solamente influenciada por la sensibilidad actual! sino tambi2n por la inclusi"n del error previo calculado. Resilient 8ropa"ation7 es otra modificaci"n del algoritmo est#ndar de bacEpropagation. En oposici"n a 2ste! la adaptaci"n de los pesos es influenciada por el signo de la sensibilidad actual $ antecesora! $ no por su cantidad. !opolog"a de la red: Evaluaron diferentes topologas de redes. a pregunta fue0 9 a: 1cu#ntas capas ocultas son necesarias3! 9b: 1cu#ntas neuronas en cada una de ellas3 a primera prueba que hicieron mostr" que para este prop"sito la red deba contener L capas ocultas! con la primera formada por tantas neuronas como la capa de entrada $ la segunda por un nmero menor que la primera 9e5actamente la mitad como mucho:. Resultados obtenidos a partir de los ensayos:
44
Redes 5euronales 1 Al%orit*os de <ri*er )rden El primer resultado que consiguieron al intentar predecir la cifra representativa correcta fue relativamente mala. /sumieron que esto fue causado por el hecho de que el nmero de neuronas de entrada en proporci"n al nmero de ejemplos dados en el conjunto de datos de entrenamiento fue elevado. a peque4a base de datos! conforme con la gran capa de entrada! fue suficiente para realizar una tosca predicci"n! pero no para dar la correcta cifra representativa. o mencionado en el p#rrafo anterior hizo que enfocaran toda la atenci"n en reducir el nmero de neuronas de entradas en forma apropiada. Entonces! reduciendo el nmero de neuronas de entrada $ formando nuevas redes! consiguieron un resultado bastante bueno para la predicci"n de las clases $ an para la predicci"n de la cifra representativa correcta. En otra serie de test! e5aminaron los resultados que podran favorecer a un mejoramiento por agrupaci"n de las neuronas de entrada para las preguntas interdependientes. Cada grupo! que representaba una habilidad especial! fue conectado e5actamente a una neurona en la primera capa oculta. a raz"n para esto fue que haciendo ciertas cone5iones se reduce beneficiosamente el espacio de bsqueda! si $ solo si! las cone5iones representan la estructura correcta! pero puede reducir el espacio de bsqueda inapropiadamente por prohibici"n de otras cone5iones.
;.2.2 8lanificacin de la de&anda de &ateriales a tarea de planificar la demanda de materiales es justamente predecir en forma segura la necesidad de los mismos! o m#s e5actamente! de los factores de consumo. Esto involucra tener una correcta informaci"n de los volmenes apro5imados de producci"n! as como de los factores de tiempo. 'rincipalmente para resolver esta tarea pueden distinguirse los siguientes procedimientos0 'rogramaci"n orientada 9program=oriented:. Consumo orientado 9consumption=oriented:.
4+
Redes 5euronales 1 Al%orit*os de <ri*er )rden En el m2todo de programaci"n orientada! la predicci"n de la cantidad demandada se basa sobre los resultados del planeamiento de producci"n. *ientras que el m2todo de consumo orientado toma en cuenta el consumo observado en perodos anteriores $ sobre la base de dicha informaci"n intenta predecir las futuras demandas. Base de datos y codificacin: En la )igura se muestran las series de tiempo que utilizaron para la planificaci"n de la demanda de materiales.
Cada serie de tiempo inclu$e datos desde +,,L a +,,- 9semanalmente:.
as
series! pedido $ stocE! fueron codificados dentro del intervalo PB.B! B.,Q! para lo cual utilizaron una funci"n de transformaci"n lineal. *ientras que al consumo lo codificaron en dos pasos! porque esta serie de tiempo vara! en partes! de manera mu$ brusca. 'ara el primer paso emplearon la f"rmula0
46
Redes 5euronales 1 Al%orit*os de <ri*er )rden Donde mx es el promedio de las series de tiempo $ std9x: la desviaci"n est#ndar de las series de tiempo. \ para el segundo aplicaron una transformaci"n lineal a la nueva serie de tiempos. !opolog"a de la red: (obre el ensa$o de diferentes redes neuronales observaron que! sin importar la predicci"n que se haga 9mensualmente! semanalmente:! m#s de dos capas ocultas desfavoreca el ;esultado obtenido. 'rimero e5perimentaron solamente con la serie de tiempo del consumo! $ con una red neuronal constituida por nueve neuronas de entrada $ una neurona m#s para la estaci"nF empleando IB patrones para el entrenamientos $ @< para la validaci"n. a e5actitud que lograron luego de varias corridas de la red neuronal! empleando diferentes topologas! se muestran en la (iguiente *abla 9error permitido0 LB^! ciclos de aprendizaje0 'ropagation:. +BBBB! algoritmos de aprendizaje0 YuicEpropagation o ;esilient
Como se puede observar! dando solo el consumo como una entrada no es suficiente para predecir la demanda. uego! utilizaron todas las series de tiempo descriptas en la )igura "nterior como entradas a la red neuronal $ adem#s! asignaron tres neuronas de entrada para cada serie de tiempo! lo que result" en una capa de entrada de nueve neuronasF logrando para las diferentes topologas una e5actitud como la que e5hibe en la (iguiente 8abla0
os resultados citados no parecen ser suficientemente buenos para la aplicaci"n de una red neuronal real en el campo del planeamiento de la demanda de materialesF no obstante! est# claro que las t2cnicas de las redes neuronales son prometedoras para la tarea. /ctualmente se est#n ensa$ando otros escenarios diferentes para mejorar las predicciones as obtenidas. ;.2.3 8untuacin para la solicitud de un cr=dito a puntuaci"n para un cr2dito representa una tarea de gran riesgo para las instituciones crediticias. Estas instituciones tienen un fuerte inter2s en evitar tales situaciones! rechazando los candidatos que parecen ser un riesgo malo. \a que un candidato rechazado! que de hecho era un buen riesgo crediticio! no impone costos realesF mientras que! un candidato que es incapaz de restituir el pago del cr2dito e5tendido puede causar p2rdidas sustanciales. Diferentes m2todos son aplicados en este campo. *u$ a menudo la decisi"n tomada! aprobaci"n o rechazo! se basa sobre los siguientes factores0 car#cter! capacidad $ capitalF siendo esta solamente humana $ naturalmente subjetiva. Gtro m2todo es la utilizaci"n de un sistema de puntuaci"n num2rico. El mismo utiliza rasgos comunes que resultan ser importantes para la evaluaci"n de los candidatos para un cr2dito. a importancia especfica de cada simple caracterstica est# e5presada por pesos. Cada candidato al cr2dito se pondera con una cierta cifra indicativa 9suma integral de los rasgos: $ si se sita por encima de un umbral determinado se considera como una persona digna de cr2dito. Debido a que ambos m2todos tienen aspectos negativos =subjetivamente por un lado $ una simple dependencia lineal entre caracterstica por el otro! los esfuerzos apuntan a la aplicaci"n de t2cnicas de inteligencia artificial! tales como (istemas E5pertos 9_'(: $ ;edes Neuronales! en el campo de la puntuaci"n para la solicitud de un cr2dito.
4&
Redes 5euronales 1 Al%orit*os de <ri*er )rden 'or lo tanto la tarea a ser consumada por medio de una red neuronal es tratar de predecir una correcta clasificaci"n de los clientes. #scenario de los datos: 'ara recaudar informaci"n acerca de candidatos aprobados $ desaprobados recurrieron a diferentes instituciones crediticias! pero solamente unas pocas de ellas cooperaron. 'uesto que la informaci"n de la que disponan era insuficiente! utilizaron un conjunto de datos pblicos! caracterizado como sigue en la (iguiente 8abla0
*abla +scenario de ,atos 3odificacin7
Codificaron los atributos continuos simplemente por una transformaci"n lineal dentro del intervalo PB.+! B.,Q! utilizando para esto solamente una neurona 9real:. atributos binarios tambi2n fueron codificados por medio de una neurona 9binaria:. 'ensaron en la utilizaci"n de dos neuronas binarias! pero los ensa$os no mostraron ninguna diferencia entre ambos tipos de codificaci"n. En consecuencia utilizaron solamente una neurona para los atributos binarios. / los atributos ordenados los trataron como sigueF $a que dependiendo de los diferentes valores que los mismos podan tomar! el nmero de neuronas utilizadas en la capa de entrada variaba. Codificaron cada posible valor en una neuronaF por ejemplo si haba tres valores posibles! se necesitaba de tres neuronas. El procedimiento de codificaci"n fue como el mostrado en la (iguiente 8abla0 os
4(
a capa de salida estaba formada por una simple neurona binaria que daba una clasificaci"n buenoHmalo. %tilizando el procedimiento de codificaci"n de la *abla "nterior! al menos <L neuronas les fueron necesarias en la capa de entrada. Resultados: 'ara el entrenamiento $ validaci"n! dividieron el conjunto de datos de la *abla +scenario de ,atos en dos subconjuntos. El nmero de ejemplos en cada subconjunto! se puede ver en la (iguiente 8abla! en donde intentaron mantener una distribuci"n similar de candidatos buenos $ malos.
El mejor resultado que obtuvieron! es el presentado en la (iguiente 8abla 9(tandard &acEpropagation! tasa de aprendizaje0 B.L:0
Cuando emplearon dos capas ocultas el resultado no mejor"! a pesar de tomar m#s tiempo de C'%. 8ambi2n modificaron el grado de aprendizaje! fij#ndolo en B.@ $ B.D e iniciando diferentes series de tiempo! pero los resultados tampoco mejoraron.
+0
<.! 1%(#FAR- 3%/-R3IA.-1 <.1.! Aplicaciones del 0eur%n!.ine7 os procesos industriales han instalado e5tensamente! durante el transcurso de los ltimos a4os! bases de datos hist"ricas en tiempo real con gran capacidad de almacenaje. os especialistas en 8ecnologas de Informaci"n! hacen referencia a la metodologa general para obtener informaci"n valiosa desde una gran base de datos como -data mining7 9minera de datos:. %na de tales metodologas son las ;edes Neuronales 9NNs:. El artculo describe la aplicaci"n de un paquete de programas de NNs comercial a varios problemas de refineras $ petroqumicas. (e muestra como el moderno softKare es capaz de manejar apropiadamente la selecci"n de la estructura de la NNs $ la apropiada metodologa de entrenamiento 9es decir! minimizando la funci"n objetivo adecuada! generalmente el problema del menor cuadrado:. (e dan ejemplos sobre la utilizaci"n de NNs como analizadores virtuales! optimizadores $ para la reducci"n de modelos. )eneralmente! las bases de datos est#n disponibles en lnea por muchos a4os e inclu$en tambi2n los resultados de los an#lisis rutinarios de laboratorio. En una refinera tpica! es normal recolectar miles de variables %tags:! inclu$endo variables de proceso $ set=point! salidas de v#lvula $ modo 9por ejemplo0 autom#tico! manual! local! remoto!etc.: de los controladores. Estos historiadores en tiempo real est#n produciendo bases de datos mu$ grandes donde! aunque no siempre f#cil de encontrar! puede e5traerse una mu$ rica informaci"n relacionada al proceso. Debido a t2cnicas especiales de compresi"n! tales bases de datos tienen una tremenda capacidad de almacenamiento.
+1
Redes 5euronales 1 Al%orit*os de <ri*er )rden as NNs! para e5plotar correctamente las vetas del material rico que se hallan en las grandes bases de datos! no necesita solamente ser alimentada con el dato apropiado de entrada $ salida! sino tambi2n cumplimentar los siguientes L requisitos importantes0 a NN debe tener una estructura capaz de representar adecuadamente el problema. a NN debe ser entrenada con un algoritmo robusto $ confiable! apto para converger a una soluci"n aceptable. No sorprendentemente! muchos de los artculos disponibles en este campo no abundan en las aplicaciones industriales de las NNs! pero si sobre los detalles matem#ticos $ caractersticas especiales de cada tipo de topologa de NN 9esto es0 tipo de red! funci"n de transferencia! nmero de capas: $Ho algoritmo de entrenamiento 9esto es0 t2cnicas de minimizaci"n! temas de convergencia! detalles de programaci"n! etc.:. *uchas veces puede gastarse mucho esfuerzo luchando con la mejor topologa de NN $ perderse muchas horas de C'% intentando obtener un ajuste $ convergencia razonable. No fue hasta hace poco que los paquetes comerciales fueron capaces de prestar atenci"n a los dos requisitos mencionados anteriormente. Este artculo presenta la e5periencia recogida con la aplicaci"n de uno de tales paquetes comerciales0 R#$#% &#'R(&A)#%. Descripcin de la ter&inolo"*a usual , del softAare7 *u$ buenas descripciones te"ricas $ pr#cticas de la tecnologa de las NNs pueden encontrarse en varias publicaciones! pero la colecci"n de artculos editados por eonides 9+,,I: puede mencionarse como una buena fuente de informaci"n sobre la teora $ pr#ctica de las mismas. Esta secci"n solamente pretende dar una breve
+2
Redes 5euronales 1 Al%orit*os de <ri*er )rden introducci"n a las capacidades del softKare NeurGn= ine (tudio. El NeurGn= ine (tudio puede utilizarse off=line u on=line! siendo una herramienta para el an#lisis de procesos. 8picamente la fuente de datos es un historiador de datos u otro archivo de datos. El NeurGn= ine (tudio provee una gua paso a paso a trav2s del proceso de preprocesamiento de datos! configuraci"n del modelo! entrenamiento! validaci"n $ puesta en lnea. 'ara ma5imizar la productividad! muchas t2cnicas de decisi"n! tales como selecci"n de las entradas relevantes! tiempos de retraso $ arquitectura de la red! est#n automatizadas o convenientemente asistidas. %na vez que un modelo se ha construido! es posible utilizar el NeurGn= ine (tudio para descubrir formas m#s ventajosas para correr el proceso a trav2s de la simulaci"n $ de la optimizaci"n. (obre la base de una funci"n objetivo! que e5presa rentabilidad en t2rminos de variables de proceso predichas $ medidas! el NeurGn= ine (tudio aplica el modelo de red neuronal para determinar las condiciones de operaci"n "ptima! dentro de las restricciones del caso. Aplicacin de Redes &euronales a la industria de procesos . Como se ha mencionado! las ;edes Neuronales permiten al ingeniero crear modelos para procesos utilizando datos hist"ricos del mismo proceso. condiciones de trabajo. os modelos pronostican c"mo el proceso responder# a los cambios de entradas $ diferentes as condiciones de operaci"n "ptima! sujeta a restricciones! os modelos pueden tambi2n determinarse con las NNs correctamente formuladas.
identificados empleando NNs pueden utilizarse en estudios de proceso off=line o ser instalados on=line para suministrar una detecci"n precoz de los problemas de proceso $ determinar los set=point que continuamente optimicen el proceso para ma5imizar las ganancias. as NNs traen a la vida los datos hist"ricos! revelando los factores m#s
+3
Redes 5euronales 1 Al%orit*os de <ri*er )rden importantes que afectan la calidad $ el rendimiento de los productos. Este conocimiento puede a menudo detectar mejoras sin ninguna inversi"n de capital. as #reas generales de utilizaci"n potencial de las NNs son las siguientes0 Control de Calidad* %ensores +nferenciales y Reduccin de ,odelos- En la economa globalizada de ho$ en da! el gerenciamiento de la calidad en tiempo real es una aplicaci"n de vital importancia! pero los ensa$os de calidad raramente est#n disponibles sin retardos $ usualmente son onerosos. os modelos basados en redes neuronales proporcionan medidas 6virtuales7 en tiempo real! permitiendo acciones de control r#pidas para mantener la calidad en el objetivo deseado. os modelos pueden ser obtenidos no s"lo a partir de los datos de planta $ aboratorio! sino de datos generados con corridas de modelos de simulaci"n rigurosos 9desarrollados! por ejemplo! en A\(\(:. Este ltimo procedimiento se conoce como 6reducci"n de modelos7. (ptimizacin de .rocesos. El valor de la optimizaci"n basada en modelos est# bien probado pero! en general! los modelos analticos de un proceso pueden ser mu$ difciles de obtener. /l emplear redes neuronales en conjunto con su capacidad de optimizaci"n en lnea $ en tiempo real! puede ser posible obtener el ma$or potencial econ"mico de un proceso.
,antenimiento .redictivo y %eguridad.. os modelos basados en redes neuronales pueden ser empleados para
monitorear la performance de m#quinas $ equipos. Con ellos se pueden detectar tempranamente corrimientos o errores en los modelos operativos o sensores! permitiendo a los ingenieros corregir los problemas antes que devengan en incidentes ma$ores.
+4
Redes 5euronales 1 Al%orit*os de <ri*er )rden (e puede mejorar! en consecuencia! la disponibilidad de plantas $ equipos. El monitoreo continuo del contenido de emisiones %/+0! /ontinuous +missions 0onitoring: de NG5! CGL! (GL en los gases de escape de hornos $ calderas es una aplicaci"n tpica en esta #rea. /alidacin de %ensores. a deriva progresiva $Ho falla abrupta de las se4ales de sensores son la fuente principal de paradas de planta no planeadas $ producci"n de productos fuera de especificaci"n. Con los modelos basados en redes neuronales es posible seguir los valores de los sensores $ generar alarmas cuando las medidas provenientes de los sensores fsicos no est#n de acuerdo con los valores inferidos para los mismos. El valor inferido puede ser empleado tambi2n como lnea de base en los casos en que el instrumento es recalibrado o reparado. .rediccin y #stimacin: El futuro puede ser predicho dentro de la precisi"n que dan los modelos basados en comportamientos. as redes neuronales pueden aprender los modelos os "ptimos! adaptados continuamente con el empleo de los ltimos datos medidos.
ingenieros pueden emplear estas predicciones para estimar la demanda de mercados de corto plazo! predecir estados futuros del proceso o an condiciones meteorol"gicas que afecten a las emisiones e impacten sobre la vecindad de la planta. >inalmente! podriamos mencionar que la tecnologa de la NN ha demostrado ser una forma mu$ poderosa de obtener correlaciones buenas $ confiables para ejecutar la aplicaci"n de analizadores virtuales $ para instalar en lnea herramientas de optimizaci"n de proceso. El softKare! NeurGn= ine (tudio! para desarrollar $ poner en lnea tal tecnologa $ cubrir las necesidades del personal de ingeniera! de tal manera que ningn profesionalismo se necesite poseer sobre las NNs! pero s sobre el proceso $ las relaciones causa=efecto.
++
+6

Redes Neuronales

Cargado por

Información del documento

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Redes Neuronales

Cargado por

Copyright:

Formatos disponibles

INDICE

Redes 5euronales 1 Al%orit*os de <ri*er )rden

Redes 5euronales 1 Al%orit*os de <ri*er )rden

Redes 5euronales 1 Al%orit*os de <ri*er )rden

Redes 5euronales 1 Al%orit*os de <ri*er )rden

4.1.1 Funcin de entrada (input function).

$.1.2 (uncin de acti acin 5acti ation function6.

Redes 5euronales 1 Al%orit*os de <ri*er )rden

(uncin #an"ente Hiper4lica7

Redes 5euronales 1 Al%orit*os de <ri*er )rden

Redes 5euronales 1 Al%orit*os de <ri*er )rden

Aprendizaje super isado. Aprendizaje no super isado.

'.' Aprendizaje no 1uper isado.

Redes 5euronales 1 Al%orit*os de <ri*er )rden

Redes 5euronales 1 Al%orit*os de <ri*er )rden

Redes 5euronales 1 Al%orit*os de <ri*er )rden

'.<.3 Resu&en de los procedi&ientos de codificacin.

Redes 5euronales 1 Al%orit*os de <ri*er )rden

Cada serie de tiempo inclu$e datos desde +,,L a +,,- 9semanalmente:.

Redes 5euronales 1 Al%orit*os de <ri*er )rden

*abla +scenario de ,atos 3odificacin7

Redes 5euronales 1 Al%orit*os de <ri*er )rden

Redes 5euronales 1 Al%orit*os de <ri*er )rden

Redes 5euronales 1 Al%orit*os de <ri*er )rden

También podría gustarte

Redes 5euronales 1 Al%oritos de <rier )rden

Redes 5euronales 1 Al%oritos de <rier )rden

Redes 5euronales 1 Al%oritos de <rier )rden

Redes 5euronales 1 Al%oritos de <rier )rden

Redes 5euronales 1 Al%oritos de <rier )rden

Redes 5euronales 1 Al%oritos de <rier )rden

Redes 5euronales 1 Al%oritos de <rier )rden

Redes 5euronales 1 Al%oritos de <rier )rden

Redes 5euronales 1 Al%oritos de <rier )rden

Redes 5euronales 1 Al%oritos de <rier )rden

Redes 5euronales 1 Al%oritos de <rier )rden

Redes 5euronales 1 Al%oritos de <rier )rden

Redes 5euronales 1 Al%oritos de <rier )rden

Redes 5euronales 1 Al%oritos de <rier )rden

Redes 5euronales 1 Al%oritos de <rier )rden