Documentos de Académico
Documentos de Profesional
Documentos de Cultura
1. Introduccin
2. Caractersticas generales del enfoque conexionista
3. Implementacin de las redes neuronales
4. Campos de aplicacin de las redes neuronales
5. Diferencias entre el conexionismo y los modelos cognitivos tradicionales
5.1. Inspiracin neuro-fisiolgica
5.2. El procesamiento es paralelo, no serial
5.3. Procesamiento y representacin de la informacin distribuido, no localista
5.4. Computacin sin reglas
5.5. Degradacin elegante. Tolerancia a fallos
6. Breve historia del conexionismo
6.1. Hasta la primera mitad de nuestro siglo
6.2. Aos cincuenta y sesenta
6.2.1. La memoria asociativa
6.2.2. El reconocimiento de patrones
6.2.3. Limitaciones de perceptrones y adalines elementales
6.3. Aos setenta y ochenta
7. Elementos de las arquitecturas conexionistas
7.1. Conceptos y elementos de la estructura conexionista
7.1.1. Las unidades
7.1.2. Las conexiones entre las unidades (las sinapsis)
7.1.3. Peso sinptico
7.1.4. El patrn de conexin
7.2. Conceptos y mecanismos bsicos para el procesamiento en las redes
conexionistas
7.2.1. Notacin utilizada para representar los elementos y mecanismos de
las redes conexionistas
7.2.2. La entrada (input) total. la regla de propagacin
7.2.3. El estado de activacin
7.2.4. La regla o funcin de activacin
7.2.4.1. Concepto y frmula general
-1-
-2-
1. INTRODUCCIN
pensamiento, el lenguaje, temas que parecen irrenunciables para toda psicologa que
quiera ser completa y que el conductismo a duras penas pudo incluir en sus
investigaciones. Y como compendio de todas estas capacidades y actividades, la mente.
De nuevo la mente entra en la psicologa, y, adems, explicada con mtodos que
heredan del conductismo la pretensin de objetividad: la psicologa cognitiva rechaza
tambin la introspeccin como acceso privilegiado a lo psquico favoreciendo los
informes objetivos obtenidos en laboratorio. Simplificando, el mentalismo tradicional
quiere estudiar la mente mirando a la mente, la psicologa cognitiva quiere estudiar la
mente mirando la conducta. Considera irrenunciable la referencia a la mente como
causa de la conducta, pero tambin considera irrenunciable la observacin objetiva de la
conducta para el descubrimiento de las estructuras y procesos mentales supuestamente
elicitadores de la conducta.
Pero la diferencia con otros mentalismos no est slo del lado del mtodo (el
conductismo metodolgico del cognitivismo frente a la introspeccin del mentalismo
tradicional), sino, ms importante an, de los conceptos y categoras fundamentales con
los que intenta comprender la mente: la diferencia esencial est en la idea de mente.
La categora explicativa bsica que utiliza el paradigma cognitivo es la de
informacin: la mente es una entidad capaz de recibir, almacenar y procesar de
diversos modos la informacin, y de generar una conducta en virtud de dichas
actividades. Esta tesis primordial tiene importantsimas consecuencias en la idea de
mente y de psicologa propuesta por este paradigma. Por ejemplo, parece claro que las
actividades mentales que no son cogniciones, las actividades mentales que no consisten
en informar o describir el mundo, slo con enormes dificultades pueden entrar en el
programa de investigacin cognitivo: aqu hay que incluir fundamentalmente el mundo
de las emociones y el de la motivacin: estar triste no es tener un estado informativo
determinado, desear no es tener una representacin del mundo, aunque, evidentemente,
la informacin manejada por el sujeto tiene clara influencia tanto en la emocin y el
sentimiento como en el deseo y la voluntad. En trminos clsicos, la psicologa
cognitiva estudia la dimensin intelectual de la psque, pero no la emotiva y la volitiva.
En la forma de entender la informacin y el modo de procesar la informacin
fueron importantes tanto ciertas ideas filosficas como los avances tecnolgicos en
informtica. Por parte de la filosofa, la influencia ms clara tiene que ver con tesis
-4-
-5-
-6-
el
conexionismo,
sin
embargo
utiliza
herramientas
-7-
el
nombre
de
conexionismo
(aunque
otros
prefieren
el
trmino
construye se comporta del mismo modo que los seres humanos cuando realizan la
misma tarea. No hay que olvidar que el conexionismo participa de una idea comn con
la psicologa cognitiva clsica: para la psicologa cognitiva (tanto la clsica como el
conexionismo) la mente es un sistema capaz de procesar informacin, un sistema
capaz de recibir seales de entrada, almacenar informacin y provocar informacin de
salida a partir la informacin de entrada, la informacin almacenada y los mecanismos
de cmputo. Dada esta suposicin de que los fenmenos mentales y la conducta son
consecuencia de elementos internos al sujeto, el conexionismo considera adecuada la
explicacin cuando la red que construye es capaz de realizar, a partir del vector de
entrada, los distintos cmputos que provocan el vector de salida deseado.
Los elementos caractersticos presentes en la mayora de los modelos
conexionistas son los siguientes:
1.
-9-
9.
- 10 -
integrados
especficos.
Soportan
menos
neuronas
que
los
- 12 -
A su vez, del cerebro parte la informacin por los nervios motores hasta los msculos u
otros rganos y constituye la respuesta del organismo al medio.
En las neuronas cabe destacar las siguientes partes fundamentales:
El cuerpo celular o soma, cuya funcin principal es procesar las seales que
recibe la unidad y enviar la informacin de salida hacia otras unidades;
El axn: es la fibra ms gruesa y larga de todas las que se originan en el cuerpo
celular; mediante los axones las neuronas se conectan unas con otras; su funcin
es transmitir la informacin generada en el cuerpo celular a las otras clulas;
Las dendritas: son pequeas extensiones del soma y su funcin es recibir la
informacin.
De este modo, las dendritas son los canales receptores de la informacin, el soma
es la unidad de procesamiento y el axn el canal transmisor de la informacin.
La informacin se traslada a travs del axn y las dendritas en la forma de seales
elctricas. Sin embargo, el paso de la informacin de una unidad a otra no tiene la forma
de cambios elctricos sino qumicos. La conexin entre el axn de una neurona y las
dendritas de otra recibe el nombre de sinapsis. Las neuronas no estn en contacto fsico
completo pues existe un pequeo espacio en la sinapsis (el espacio intersinptico).
Cuando el impulso elctrico llega al final del axn, se produce la liberacin de unas
sustancias qumicas denominadas neurotransmisores. Los neurotransmisores se
difunden en el espacio intersinptico y se unen a los extremos de las dendritas en ciertos
lugares denominados receptores. En estos receptores se producen cambios qumicos que
provocan modificaciones elctricas en la neurona y el flujo elctrico o impulso
nervioso.
Por su importancia en las redes neuronales conexionistas, es importante recordar
tambin dos hechos ms que se dan en las redes neuronales biolgicas:
Los efectos de los neurotransmisores sobre las dendritas pueden ser excitadores o
inhibidores de forma que para calcular la influencia final del conjunto de
entradas sobre una neurona es preciso sumar y restar sus estmulos excitadores e
inhibidores, respectivamente.
- 14 -
Para que la neurona responda enviando una seal elctrica a lo largo del axn (el
impulso nervioso) es necesario que los estmulos que recibe de otras unidades
alcancen un cierto nivel elctrico (el umbral del impulso elctrico o intensidad
mnima del estimulo que es suficiente para provocar el impulso nervioso); de este
modo, la respuesta de la clula ante los estmulos tiene la forma de todo o nada.
Cuando se habla de la inspiracin biolgica de los modelos conexionistas se
quiere sealar que estos modelos intentan reproducir gran parte de los aspectos
existentes en las redes neurolgicas biolgicas y descritas ms arriba. Sin embargo hay
otros aspectos del sistema nervioso que no se intentan reproducir. Citemos algunos:
- 16 -
- 17 -
las matrices nos pueden servir de ejemplo para mostrar cmo un conjunto de
elementos puede procesar distintos conjuntos de datos (distintos vectores de
entrada) para producir cada uno de ellos la salida correspondiente (distintos
vectores de salida). Por ejemplo, la matriz:
1 0
0 1
Nos permite emparejar los vectores de entrada (1,1) y (1,-1) con los vectores de
salida (-1,1) y (-1,-1):
La entrada +1 +1 produce: 1x -1 + 1x 0
1x 0 + 1x 1 = -1 1
1x 0 + -1x 1 = -1 -1
Por cierto que sta es precisamente una de las curiosas eficacias de las redes
conexionistas: un mismo patrn de pesos (que se puede representar mediante matrices)
- 18 -
autoadaptativos porque ellas mismas, sin que exista una unidad central rectora,
son capaces de ajustar sus unidades de procesamiento o neuronas de modo
conveniente para producir el vector de salida requerido;
- 20 -
cerebro; frente a estas doctrinas defendieron una concepcin distribuida de los sistemas
de procesamiento y memoria del cerebro. Sus investigaciones demostraron que la
especializacin poda darse en relacin a grandes regiones del cerebro, pero en absoluto
en las neuronas singulares. Lashley llev tan lejos la hiptesis distribuida que postul el
carcter equipotente del cerebro (cualquier regin del cerebro puede realizar cualquier
tarea determinada).
De los tres autores citados es sin duda Donald Hebb el ms importante en
relacin con desarrollo del conexionismo, particularmente a partir de su libro publicado
en 1949 La organizacin de la conducta. Hebb defendi la conexin entre psicologa y
fisiologa, propuso la tesis del carcter distribuido de la informacin en unidades
informativas y formul uno de los primeros procedimientos de aprendizaje
(procedimiento que algunos autores creen que ya haba sugerido Santiago Ramn y
Cajal): si un conjunto de neuronas conectadas entre s se activan repetidamente, sus
sinapsis aumentan su conductividad, o de otro modo: conjuntos de neuronas
sincrnicamente
activadas
tienden
organizarse
en
conjuntos
conectados.
de
la
corteza
cerebral
el
tlamo
contenan
esas
redes.
de
alimentar,
su
posible
pareja
para
la
reproduccin,...
de
y el aprendizaje consista en la modificacin de los pesos de tal forma que dada una
entrada se consiguiese la salida deseada. Rosenblatt encontr un sencillo procedimiento
de entrenamiento con el cual la red poda dar con los pesos requeridos para tal tarea. El
Perceptrn era capaz de reconocer patrones sencillos y de generalizar similitudes entre
patrones. Pero a pesar de las esperanzas que muchos investigadores en este tipo de red,
pronto se vio que tena serias limitaciones, que se ejemplificaron en la imposibilidad de
la red para resolver una tarea lgica aparentemente sencilla: la del problema de la
disyuncin exclusiva. En trminos ms tcnicos, se vio que era incapaz de clasificar
clases o patrones no separables linealmente.
En este breve recorrido de la historia del conexionismo es preciso referirse a la
trayectoria de Marvin Minsky, compaero de Rosenblatt en el instituto. En sus
primeros escritos mantuvo algunas tesis que, claramente, son un antecedente del
conexionismo:
carcter relativamente indiferenciado del cerebro pues aunque se dae una parte
otras pueden realizar su funcin, particularmente si el dao es en una poca
temprana;
importancia del estudio del cerebro y del comportamiento de las neuronas para
la construccin de una mquina que reproduzca aspectos sustanciales de la
mente humana.
Fue l precisamente uno de los primeros en afirmar que el cerebro no es otra cosa
que una mquina de carne. Estas tesis pertenecen a sus primeras investigaciones
(con las que consigui el grado de doctor). Sin embargo, pronto abandon este
planteamiento conexionista defendiendo la idea de que es posible comprender la mente
humana prescindiendo del estudio del cerebro y atendiendo exclusivamente a sus
mecanismos o comportamiento. Como se sabe, esta tesis es uno de los principios
fundamentales de la psicologa cognitiva tradicional, por lo que, en resumen, se podra
decir que las primeras propuestas de Minsky favorecieron las tesis conexionistas y las
segundas (por las que es clebre) las tesis de la psicologa cognitiva clsica.
Otra importante y curiosa aportacin fue la de O. Selfridge con su obra de 1959
Pandemonium: A paradigm for learning, en donde llam Pandemonium a su modelo
de procesamiento distribuido y paralelo de la informacin. Su propuesta es importante
- 26 -
de
la
investigacin
en
los
modelos
de
computacin
conexionista.
arquitectura conexionista
Las unidades
El estado de activacin
(las sinapsis)
El peso sinptico
El patrn de conexin
- 30 -
- 31 -
La informacin que puede recibir una red, la que puede ser almacenada y la que
puede emitir, est determinada en gran medida por lo que se llama el abanico de
entrada (fan-in) y el abanico de salida (fan-out). El abanico de entrada es el nmero
de elementos que excitan o inhiben una unidad dada. El abanico de salida de una unidad
es el nmero de unidades que son afectadas directamente por dicha unidad.
Se llama capa o nivel o estrato al conjunto de neuronas que reciben informacin
de la misma fuente (informacin externa, otra capa de neuronas) y ofrecen informacin
al mismo destino (al usuario, a sistemas motores, a otra capa de neuronas).
Tipos de sinapsis:
a) sinapsis inhibidora: en este tipo de conexin el impulso transmitido por una neurona
inhibe la activacin de la neurona con la que est conectada: si la neurona j le
transmite a la neurona i un impulso que inhibe a sta, el nivel de activacin de la
neurona i decrecer, y decrecer en funcin del peso establecido para dicha conexin
- 32 -
- 33 -
informacin que la neurona j emite: por ejemplo, Wij (del ingls weight, peso), pero
tambin wij y wij (a veces no se utilizan subndices y se pone simplemente wij
entendindose que tanto i como j son elementos distintos que operan como subndices).
Obsrvese tambin que, normalmente, el primer subndice denota al nodo receptor y el
segundo al nodo emisor de activacin (aunque advertimos al estudiante que estas
convenciones terminolgicas pueden cambiar en funcin del texto que se consulte).
Dado que en ocasiones es importante representar mediante un nico vector la
totalidad de los pesos correspondientes a las conexiones de varias neuronas con una
salida, se suele reservar para dicho vector correspondiente al peso la W mayscula
mientras que cuando nos referimos al peso correspondiente a una nica conexin parece
ms adecuado utilizar la w minscula.
- 34 -
wj1: 1
wi2: 0.3
wj2: 0.2
wi3: -1
wj3: 0
wi4: 0.6
wj4: -0.3
uj
u1
-0.5
u2
0.3
0.2
u3
-1
u4
0.6
-0.3
- 35 -
el peso asociado a cada una de las conexiones, wij (del ingls weight,
peso)
- 36 -
- 37 -
Los valores que transmite una neurona a las neuronas con las que est conectada
se representan como o (oj sera el valor que transmite la neurona j). Pongamos que los
valores que transmite las neuronas de la capa de entrada, y los pesos correspondientes a
sus conexiones con la neurona i son los siguientes:
Valores: o(t)
oj: 0.5
ok: 0.3
ot: 0.5
ou: -1
Pesos: (wij)
wil: -0.5
wik: 1
wit: 0.5
wiu: -0.3
- 38 -
- 39 -
los pesos de las conexiones por las que recibe las seales;
Se llama ciclo a cada una de las veces que la red toma los vectores de entrada
(conjunto de valores de entrada) para realizar los cmputos correspondientes; pues bien,
dado que en cada ciclo la activacin de las neuronas puede ser distinta, es preciso
caracterizar dicha activacin en cada pasada de la informacin o ciclo, por ello es
necesario referirse al tiempo; as, es habitual representar como Ai(t) (o tambin, con
minscula, como ai(t)), el nivel de activacin de la neurona i en el tiempo t.
Lo que la red representa en cada momento depende del conjunto o patrn de
activacin de la totalidad de las unidades que la componen, por ello es conveniente
tambin especificar dicho patrn. Para reflejar el patrn de activacin se suele utilizar
un vector de N nmeros reales a(t), vector que representa el estado de activacin de
todas las unidades de la red en el tiempo t; en el vector, cada uno de los elementos
representa la activacin de cada unidad en el tiempo t:
b) o cerrados; los modelos que utilizan este tipo reciben el nombre de modelos
acotados (o modelos con lmites): pueden tomar cualquier valor real
comprendido en un intervalo con un valor mnimo y un valor mximo, por
ejemplo, el intervalo (0, 1) o el intervalo (-1, 1) generalmente siguiendo una
funcin sigmoidal.
Todas las entradas que recibe dicha unidad de las otras unidades;
- 41 -
los pesos de las conexiones que la unidad en cuestin tiene con las unidades de
todas las entradas oj recibidas por la unidad i desde las neuronas j de la capa
anterior en el tiempo t;
los pesos de conexin wij correspondientes a las distintas sinapsis por los que
cada seal oj llega a la neurona i en el tiempo t.
De este modo, podemos representar la funcin de activacin para el clculo del
Funcin identidad.
- 42 -
Se trata de una funcin muy simple que no tiene en cuenta el anterior estado de
activacin de la unidad. Se puede expresar con la siguiente frmula:
ai(t+1) = wij oj(t)
Segn esta funcin de activacin, el estado de activacin que le corresponde a la
unidad i (ai(t+1)) tras recibir las seales desde las unidades a las que est conectada es
el resultado de sumar todas las seales recibidas (oj), ponderadas cada una de ellas por
el peso sinptico (wij) asociado a la sinapsis por la que se transmite la seal.
Podemos representar el conjunto de estmulos de entrada que le llegan a una
unidad desde la capa anterior como un vector, y los pesos sinpticos correspondientes
mediante una matriz; en esta circunstancia, el clculo del nuevo estado de activacin de
todas las neuronas se obtiene simplemente mediante el producto de matrices.
En algunas redes se incluye en la funcin de activacin un factor que representa
una fraccin del valor de activacin anterior, por ejemplo:
ai(t+1) = ai(t) + wij oj(t)
Con esta variante conseguimos que la unidad o neurona mantenga cierto estado
de activacin durante varios ciclos, incluso en el caso de que las entradas sean cero, en
esta ltima circunstancia en cada perodo de tiempo su estado de activacin
corresponder a la mitad del valor de activacin anterior. Con este tipo de funciones de
activacin se garantiza que cada neurona no vare en su estado y en su respuesta
demasiado bruscamente (recordamos que la respuesta de la red depende en gran medida
de los estados de activacin de las unidades que la componen).
- 43 -
ai(t+1)
su grado de activacin;
- 44 -
- 45 -
oi(t+1) =
1 si ai(t+1) umbral
0 si ai(t+1) < umbral
si el umbral es 0 tendramos
- 46 -
oi(t+1) =
1 si ai(t+1) 0
0 si ai(t+1) < 0
y, en representacin grfica:
Funcin mixta.
Con esta funcin, si la activacin es menor que un lmite inferior, la salida es 0 (
f(x) =
0 si x < -C
1 si x C
x/ (2 C) + en otro caso
f(x) =
-1 si x < - C
1 si x C
a x en otro caso
y, en representacin grfica
- 47 -
Funciones de saturacin.
Son las funciones en las que los incrementos o disminuciones de la intensidad de
Sigmoide
Tangencial Hiperblica
- 48 -
Neuronas lineales
- 49 -
Neuronas no lineales
- 50 -
- 51 -
- 52 -
deseadas precisas por lo que no es posible computar el error para cada una de
las unidades de salida; el supervisor valora el comportamiento global de la red
mediante un criterio y en funcin de l modifica los pesos mediante un
mecanismo de probabilidades. Para ilustrar la diferencia entre este tipo de
aprendizaje y el supervisado se suele indicar que en el reforzado el supervisor se
comporta como un crtico (que opina sobre la respuesta de la red) y no como un
maestro (que indica a la red la respuesta concreta que debe generar), mientras
que en el supervisado el supervisor se comporta como un maestro. En el
aprendizaje reforzado los algoritmos son ms complejos que en el supervisado y
el tamao de las muestras superior. Uno de los algoritmos ms conocidos para
este tipo de aprendizaje es el algoritmo asociativo con recompensa y
penalizacin presentado en 1985 por Barto y Anandan.
- 53 -
- 54 -
entre ambos vectores, los pesos se cambian para reducir la diferencia. Cuando existe
diferencia entre las salidas efectivas y las deseadas la modificacin afecta a todos los
pesos de las neuronas que colaboran en el error, y se modifican en proporcin a su
influencia en el error. Se sigue el procedimiento citado de minimizar el error y, en los
mejores casos, convertirlo en cero. En la literatura sobre el tema existen varias
formulaciones; presentamos dos de las ms sencillas:
wij = [Ti(t+1) ai(t+1)] oj(t)
En esta primera frmula intervienen los valores de los estados de activacin (el
que realmente tiene la unidad y el deseado), por lo que para averiguar si la salida final
de la red es la correcta es preciso tener en cuenta la funcin de transferencia.
Otra formulacin es la siguiente:
wij = [Ti(t+1) oi(t+1)] aj(t)
- 55 -
- 56 -
no es capaz de determinar la direccin en la que se debe mover los pesos para que, con
un incremento mayor, el error vuelva a decrecer.
- 57 -
- 58 -
Pero tambin podemos utilizar los siguientes grficos para representar las
neuronas McCulloch- Pitts, grficos que seguramente resultan ms intuitivos (tomado de
Estructura, dinmica y aplicaciones de las redes de neuronas artificiales, VVAA,
Editorial Centro de Estudios Ramn Areces, p. 103); el nmero en el interior de la
neurona indica el umbral
8.2. Perceptrones.
En 1958 Frank Rosenblatt escribi The Perceptron, a Probabilistc Model for
Information Storage and Organization in the Brain. Rosenblatt rechaz el uso que
McCulloch y Pitts hicieron de la lgica simblica aplicada a las redes y defendi
mtodos probabilsticos. En esta obra llam perceptrones a unas redes McCullochPitts capaces de modificar los pesos de sus conexiones si las respuestas de la red no eran
las correctas y demostr que estas redes se podan entrenar para clasificar ciertos
patrones en iguales o distintos, por tanto que eran capaces del reconocimiento de
formas sencillas.
- 59 -
- 60 -
los efectos el Perceptrn puede considerarse como una red de dos capas, sin unidades
ocultas.
El Perceptrn era una red capaz de aprendizaje. En su configuracin inicial a los
pesos de las conexiones se les da valores arbitrarios, por lo que ante la presencia de
estmulos la red genera respuestas arbitrarias, respuestas que no coinciden con las
deseadas. Se considera que la red ha conseguido aprender cuando los pesos se han
ajustado de tal modo que la respuesta que emite es la deseada. El procedimiento
propuesto por Rosenblatt para este entrenamiento era sencillo: se le presenta a la red un
patrn cuya seal se transmite hasta la capa de salida, provocando la activacin de
alguna de sus unidades; si se activan las unidades de respuesta correcta, no se hace
ningn ajuste de sus pesos; si la respuesta es incorrecta se procede de la manera
siguiente: si la unidad deba estar activada y no lo est, aumentar todos los pesos de sus
conexiones; si la unidad deba estar desactivada y est activada, disminuir los pesos de
sus conexiones. Se repite este procedimiento con todos los patrones deseados de
estmulo-respuesta. Rosenblatt crey que era posible hacer que los pesos converjan en
un conjunto de valores, a partir de los cuales le es posible a la red computar cada uno de
los patrones de entrada para producir los correspondientes patrones de salida.
En el prrafo anterior se ha descrito de modo cualitativo y poco preciso la
modificacin que han de sufrir los pesos cuando la red produce errores; existen varios
algoritmos que se pueden utilizar para detallar con exactitud el modo de modificar los
pesos de las conexiones, por ejemplo:
donde:
wij : es el peso correspondiente a la conexin de la unidad i con la unidad j.
oi : es la salida de la unidad i
: es la tasa de aprendizaje que controla la velocidad de adaptacin
- 61 -
- 62 -
que las tablas de verdad de los funtores son tambin correspondencias entre pares de
valores de verdad y el valor del enunciado molecular compuesto por el funtor
correspondiente, parece que podemos utilizar los perceptrones para decidir los valores
de verdad de los enunciados moleculares; por ejemplo, la tabla de verdad de la funcin
AND (la conjuncin) y de la funcin OR (la disyuncin inclusiva) son las siguientes
x1
x2
x1 AND x2
x1
x2
x1 OR x2
La tarea que tiene que realizar el Perceptrn es, en el primer caso, aprender a
asociar la entrada (1,1) con la salida 1, y las entradas restantes con la salida 0; en el
segundo caso debe aprender a asociar la entrada (0,0) con la salida 1, y las entradas
restantes con la salida 1. La red que se ha de utilizar para realizar la computacin debe
constar de dos unidades de entrada y una unidad de salida: cada unidad de entrada
recoge uno de los elementos del patrn de entrada y la unidad de salida produce una
salida, que es la que corresponde a la solucin.
- 63 -
Para el caso de la disyuncin inclusiva, el umbral puede ser cero o superior, sin
embargo, para la conjuncin el umbral ha de ser mayor que cero. Es posible entrenar a
la red para que modifique sus pesos de modo que converjan en los adecuados para
producir el patrn de salida adecuado. Expresado en trminos de hiperplanos, la red
resuelve los problemas lgicos anteriores si existe un hiperplano capaz de distribuir el
- 64 -
plano en dos regiones: en el caso de la funcin AND (la conjuncin), en una regin
quedaran los patrones de entrada (0,0), (0,1), (1,0) y en la otra regin el patrn (1,1); en
el caso de la funcin OR (la disyuncin inclusiva), en una regin quedara el patrn
(0,0) y en la otra los patrones de entrada (0,1), (1,0), (1,1); estos patrones corresponden
a los valores de verdad posibles de los enunciados que componen el enunciado
molecular. Veamos cmo se puede utilizar este mtodo:
- 65 -
x2
x1 XOR x2
- 66 -
- 67 -
Red multicapa con unidades ocultas que resuelve correctamente el problema XOR. Si el
umbral de la unidad c = 0.4, de la d = 1.2, de la e = 0.5 y los pesos wca = 1, wcb = 1,
wda = 1, wdb = 1, wec = 0.6, wed = -0.4, la red da lugar a la representacin grfica
inferior. Se aprecia que las dos lneas crean una regin en donde se sita el conjunto
formado por 1 y 1 y dos regiones en donde se sitan los otros dos valores; por lo tanto,
la red resuelve el problema XOR
- 68 -
En todos ellos reconocemos sin dificultad la letra "E", y todos ellos pueden
interpretarse como variaciones del mismo patrn, el correspondiente a dicha letra.
Podemos llamar reconocimiento de patrones al hecho de identificar distintos
estmulos como perteneciendo a la misma clase, como siendo del mismo tipo. Los
psiclogos han presentado diversas teoras para comprender el modo en que nuestra
mente es capaz de reconocer patrones; una de las primeras y ms sencillas es la de
comparacin de plantillas. Segn esta teora en nuestra memoria debe haber un
modelo o plantilla correspondiente a cada forma que podamos reconocer. Cuando
vemos un objeto, la imagen que se produce en la retina se la compara con las plantillas
almacenadas en nuestra memoria y aquella que mejor se ajusta a la imagen retiniana es
la que identifica al objeto visto. Fcilmente se ve que esta teora no es satisfactoria: un
cambio en la posicin, tamao u orientacin del objeto provocara un desajuste que
hara imposible el reconocimiento. Adems no podramos reconocer formas
deterioradas
pues
tampoco
coincidiran
con
las
plantillas.
- 69 -
lista de sus caractersticas geomtricas y (al menos en las versiones ms elaboradas) sus
correspondientes pesos. As, la letra "A" podra representarse mediante la siguiente lista
de caractersticas: pesos altos: dos lneas inclinadas, una hacia la derecha y otra hacia la
izquierda, una lnea horizontal, un ngulo apuntando hacia arriba; pesos bajos o nulos:
lneas verticales, lneas curvas discontinuas, ngulos rectos, etc. El patrn estimular
activa los detectores de caractersticas, y la configuracin de la activacin resultante se
comparara con la de los patrones almacenados en la memoria; la configuracin que
mejor se ajuste determinara la interpretacin perceptual del sistema.
8.3.2. El Pandemonium: rasgos principales
El Pandemonium propuesto por O. Selfridge en su escrito de 1959
Pandemonium: A paradigm for learning es precisamente uno de los primeros y ms
conocidos modelos de reconocimiento de patrones basados en el anlisis de
caractersticas. Originariamente el Pandemonium se concibi como un programa de
ordenador para reconocer seales del cdigo Morse, pero posteriormente se le dio una
interpretacin psicolgica como modelo de reconocimiento alfanumrico. La exposicin
y comentarios que siguen se refiere precisamente a la versin ms conocida del
Pandemonium (la de Lindsay y Norman en su obra Introduccin a la psicologa
cognitiva) y cuyo objetivo es el reconocimiento de letras. El Pandemonium consiste en
varios conjuntos de unidades a las que Selfrigde dio el nombre de demonios, unidades
que realizan distintas tareas y provocan la informacin de salida (la identificacin de la
forma presentada al sistema). El dibujo siguiente es una representacin habitual del
Pandemonium (tomado de Linsay y Norman, Introduccin a la psicologa cognitiva).
- 70 -
Los tipos de demonios de los que consta el modelo son los siguientes:
Demonios de la imagen: su tarea es registrar la imagen del signo externo.
Demonios de caractersticas: la tarea de las unidades de este tipo es analizar la
imagen registrada; cada demonio de caractersticas est especializado en un aspecto
particular de la forma (unos detectan lneas, otros ngulos, otros curvas, ...) por lo que
el procesa- miento en este nivel consiste en la descomposicin de la forma en sus
caractersticas relevantes; cada demonio de caractersticas detecta la presencia de alguno
de los rasgos para los que ha sido definido (por ejemplo el demonio correspondiente a
las lneas verticales detecta la presencia y nmero de lneas verticales en la figura).
- 71 -
Lneas
1
1
rectos
Curvas
C
D
Curvas
2
1
- 72 -
1
2
1
O
P
1
1
Q
R
3
1
1
2
2
1
Y
Z
1
2
- 73 -
Existen ciertas tcnicas que nos permiten preparar el ojo de tal modo que la
imagen visual en la retina sea la misma aunque el ojo cambie de posicin; en
estos casos se observa (y quiz por la fatiga de los receptores retinianos) que la
imagen empieza a desaparecer, pero lo hace perdiendo partes significativas, no
al azar (la imagen detenida va perdiendo lneas rectas, curvas, segmentos
significativos,...). Estos estudios de fragmentacin perceptual parecen avalar la
teora del anlisis de caractersticas.
- 74 -
- 75 -
- 78 -
- 79 -
De las 29 neuronas que consta cada grupo de la capa sensorial, 26 codifican una
letra del alfabeto ingls y las otras tres restantes la puntuacin y los lmites entre
palabras. Puesto que las unidades de entrada se distribuyen en siete grupos, el patrn de
entrada que la red es capaz de reconocer ha de ser de 7 caracteres como mximo. Las
unidades de salida o motoras codifican las dimensiones fundamentales del habla:
fonemas, acentos y hiatos entre slabas.
La red transformaba los datos de entrada (las letras) en fonemas o sonidos. Dado
que los pesos originales se establecieron al azar, los primeros resultados no eran buenos;
el entrenamiento consisti en presentar cerca de 1000 palabras del habla corriente de un
nio; un maestro o supervisor controlaba la correccin de la respuesta de la red y
modificaba los pesos mediante la regla delta generalizada (entrenamiento con
propagacin hacia atrs). Tras casi 50.000 presentaciones y las modificaciones
correspondientes de sus pesos, la red era capaz de leer y hablar con una exactitud del 95
por ciento.
Resultan sorprendentes algunas semejanzas entre NETtalk y la capacidad
lingstica humana:
- 80 -
la progresiva eficacia de la red guarda cierta semejanza con la de los nios: las
primeras respuestas se parecen a los balbuceos sin sentido de un beb, pero el
sucesivo ajuste de los pesos mejora la calidad de los balbuceos lentamente, hasta
culminar en unas respuestas coherentes e inteligibles ante cualquier texto en
ingls;
- 81 -
- 82 -
- 83 -
propiedades invariantes del mismo patrn, que las redes neuronales del colculo
superior (involucrado en el control del movimiento de los ojo) podan generar el
patrn a partir de ejemplos de dicho patrn, y presentaron una descripcin
abstracta de dichas redes;
Taylor propuso las redes que llevan su nombre para explicar la memoria
asociativa y afirm que las reas de asociacin de la corteza cerebral y el tlamo
contenan dichas redes;
y en este mismo contexto hay que situar las teoras del cerebelo, del hipocampo
y del neocortex defendidas por Marr a finales de los sesenta y principios de los
aos setenta:
o
por
contenido
(ACAMs),
gracias
dicho
- 84 -
clulas granulares (g); son las nicas clulas excitatorias, el resto son inhibitorias;
clulas de Golgi (Go) controlan los umbrales de las clulas granulares;
clulas de cesta (Ba): controlan los umbrales de las clulas de Purkinje (Pu)
clulas estrelladas (S): controlan los umbrales de las clulas de Purkinje (Pu)
La red se comporta como una red ACAM y asocia los patrones de las fibras musgosas
(MF) y de las clulas en pendiente (CF).
- 85 -
- 86 -
Delaware,
USA:
copublicado
por
Addison-Wesley
(1988):
Computacin
conocimiento.
Hacia
una
The MIT
Press.
Traduccin
castellana: (1992).
- 88 -
- 89 -