LOS MAPAS AUTO-ORGANIZADOS DE KOHONEN Introduccin En 1982, Teuvo Kohonen present un modelo de red denominado mapas autoorganizados o SOM

(SelfOrganizing Maps), basado en ciertas evidencias descubiertas a nivel cerebral. Los mapas autoorganizados de Kohonen es un tipo de red neuronal de aprendizaje no supervisado competitivo, de gran utilidad en el campo del anlisis exploratorio de datos, debido a que son sistemas capaces de realizar anlisis de clusters, representar densidades de probabilidad y proyectar un espacio de alta dimensin sobre otro de dimensin mucho menor. Las neuronas deben autoorganizarse en funcin de los estmulos (datos) procedentes del exterior.

Qu es un mapa Autorganizado? Un mapa autoorganizado es un tipo de red neuronal artificial que es entrenada usando aprendizaje no supervisado para producir una representacin discreta del espacio de entrada de las muestras entrenantes, llamado mapa. Los mapas auto-organizados son diferentes de otras redes neurales artificiales, en el sentido que estos usan una funcin de vecindad para preservar las propiedadestopolgicas del espacio de entrada. SOMs son tiles para visualizar vistas de baja dimensin de datos de alta dimensin, semejante a un escalado multidimensional. El modelo fue descrito por primera vez como una red neural artificial por el profesor finlands Teuvo Kohonen, debido a lo cual en ocasiones son llamadas redes o mapas de Kohonen. Como la mayora de las redes neuronales artificiales, SOMs operan en dos modos: entrenamiento y mapeo. En el entrenamiento construye el mapa usando ejemplos entrenantes, mientras el mapeo clasifica una nueva entrada. Un mapa auto-organizado consiste en componentes llamadas nodos o neuronas. Asociado con cada neurona hay un vector de pesos, de la misma dimensin de los vectores de entrada, y una posicin en el mapa. La configuracin usual de las neuronas es un espacio regular de dos dimensiones, en una rejilla hexagonal o rectangular. Los mapas autoorganizados describen un mapeo de un espacio de mayor dimensin a uno de menor dimensin. El procedimiento para ubicar un vector del espacio de los datos en el mapa es encontrar la neurona con el vector de pesos ms cercano (menor distancia mtrica) al vector del espacio de los datos.

Mientras que es tpico considerar este tipo de estructura de la red de la misma familia que las redes con retro-alimentacin, donde los nodos son visualizados como si estuvieran adheridos, este tipo de arquitectura es diferente en configuracin y motivacin. tiles extensiones incluyen el uso de rejillas toroidales donde los ejes opuestos son conectados y usan un gran nmero de neuronas. "Ha sido mostrado que mientras los SOMs con un pequeo nmero de neuronas tienen un comportamiento similar a Kmedias, grandes mapas auto-organizados reconfiguran los datos de forma fundamentalmente topolgica en carcter. Es tambin comn el uso de matrices U.3 El valor de la matriz U de una neurona en particular es la distancia promedio entre la neurona y sus vecinos mas cercanos. 4 Por ejemplo en una rejilla cuadrada se deben considerar cercanos 4 o 8 neuronas,segn las vecindades de Von Neumann y Moore respectivamente. En grandes SOMs aparecen propiedades emergentes. En mapas compuestos por cientos de neuronas es posible desarrollar operaciones de agrupamiento en el propio mapa.

Arquitectura

Arquitectura de la Red Mapas Autoorganizados (SOM) de Kohonen Las conexiones entre las dos capas que forman la red son siempre hacia adelante, cada neurona de entrada i est conectada con cada una de las neuronas de salida j mediante un peso wji.

Algoritmo de aprendizaje El objetivo del aprendizaje en los mapas auto-organizados es provocar que diferentes partes de la red respondan similarmente a ciertos patrones de la entrada. Esto es parcialmente motivado por el manejo en partes separadas de la corteza cerebral del cerebro humano de la informacin sensorial, como la visual y la auditiva. Los pesos de las neuronas son inicializados con un pequeo valor aleatorio o muestreados uniformemente de un subespacio generado por los dos mayores vectores propios. Con la segunda alternativa el aprendizaje es mucho ms rpido puesto que los pesos iniciales ya dan una buena aproximacin de los pesos reales.7 La red debe ser alimentada con un gran nmero de ejemplos entrenantes que representen, tan bien como sea posible, la naturaleza de los vectores esperados durante el mapeo. Los ejemplos usualmente son administrados varias veces de forma iterativa. El entrenamiento utiliza aprendizaje competitivo. Cuando un ejemplo entrenante es presentado a la red, su distancia euclidiana a todos los vectores de pesos es calculada. La neurona que cuyo vector de pesos es ms similar a la entrada es llamada unidad de mejor correspondencia (BMU por sus siglas en ingles). Los pesos de BMU y las neuronas cercanas a l en la cuadrcula del SOM son ajustados hacia el vector de entrada. La magnitud de los cambios se decrementan con el tiempo y con la distancia desde el BMU. La frmula para actualizar una neurona con vector de peso Wv(s) es Wv(s + 1) = Wv(s) + (u, v, s) (s)(D(t) - Wv(s)), donde s es el ndice del paso, t es el ndice dentro del conjunto entrenante, u es el ndice de BMU para D(t), (s) es el coeficiente montonamente decreciente de aprendizaje y D(t) es el vector de entrada; se asume que v visite todas las neuronas para cada valor de s y t.8 Dependiendo de la implementacin, t puede barrer el conjunto de entrenamiento sistemticamente, puede ser escogido aleatoriamente del conjunto de entrenamiento (bootstrap sampling), o mediante otro mtodo de muestreo (como jackknife). La funcin de vecindad (u, v, s) depende en de la distancia de cuadriculas entre la BMU (neurona u) y la neurona v. De forma simple se le da el valor de 1 a todas las neuronas suficientemente cerca a BMU y 0 a las otras, pero es ms comn elegir una funcin gaussiana. Independientemente de la forma funcional, la funcin de vecindad se contrae con el tiempo.6 Al inicio, cuando la vecindad es completa, la auto-organizacin toma lugar a escala global. Cuando la vecindad ha sido ajustada a solo unas cuantas neuronas, los pesos irn convergiendo a estimaciones locales. En algunas implementaciones, el coeficiente de aprendizaje y la funcin de vecindad decrecen de manera constante con el incremento de s, en otras (en particular aquellas donde t explora rpidamente el conjunto de entrenamiento) el decrecimiento ocurre ms lentamente. Este proceso es repetido para cada vector de entrada por una, usualmente larga, cantidad de ciclos . La red va asociando las neuronas de salida con grupos o patrones en el

conjunto de entrenamiento. Si estos patrones son nombrados, los nombres pueden ser anexados con las neuronas asociadas en la red de entrenamiento. Durante el mapeo, solo existir una neurona ganadora, la neurona cuyo vector de pesos se encuentre ms cerca del vector de entrada. Esto pude ser determinado de forma simple calculando la distancia euclidiana entre el vector de entrada y los vectores de pesos. Mientras que la representacin de los datos de entrada como vectores ha sido enfatizado en este artculo, se debe notar que cualquier clase de objeto puede ser representado digitalmente, definiendo una medida de distancia apropiada y las operaciones necesarias para que sea posible el entrenamiento usado para la construccin del mapa autoorganizado. Esto incluye matrices, funciones continuas, incluso otros mapas autoorganizadas.

Algoritmo de aprendizaje: 1 Se inician los pesos (wij) con valores aleatorios pequeos y se fija la zona inicial de vecindad entre las neuronas de salida. 2 Luego se presenta a la red una informacin de entrada (la que debe aprender) en forma de vector, donde xpi sern valores continuos. 3 Debido al aprendizaje competitivo, se determina la neurona gana dora de la capa de salida. Esta ser la neurona j cuyo vector de pesos Wj sea el ms parecido a la informacin de entrada (patrn o vector de entrada). Un criterio de similitud muy utilizado es la distancia eucldea que viene dado por la siguiente expresin:

De acuerdo con este criterio, dos vectores sern ms similares cuanto menor sea su distancia. 4 Una vez localizada la neurona ganadora (j*), se actualizan los pesos de las conexiones entre las neuronas de entrada y dicha neurona, as como los de las conexiones entre las de entrada y las neuronas vecinas de la ganadora, segn la regla de aprendizaje:

donde n hace referencia al nmero de ciclos o iteraciones, esto es, el nmero de veces que ha sido presentado y procesado todo el juego de patrones de entrenamiento. a(n) es la tasa de aprendizaje que, con un valor inicial entre 0 y 1, decrece con el nmero de iteraciones (n) del proceso de aprendizaje. Zona j*(n) es la zona de vecindad alrededor de la neurona vencedora j* en la que se encuentran las neuronas cuyos pesos son actualizados.

ZONA DE VENCIDAD En general, Zona j*(n) decrece a medida que avanza el aprendizaje y depende de un parmetro denominado radio de vecindad R(n). La funcin de vecindad ms simple es la de tipo escaln. En este caso, una neurona j pertenece a la vecindad de la ganadora j* solamente si su distancia es inferior o igual a R(n). Con este tipo de funcin, las vecindades adquieren una forma (cuadrada, circular, hexagonal, etc.) de bordes ntidos, en torno a la vencedora (figura 2.3); por lo que en cada iteracin nicamente se actualizan las neuronas que distan de la vencedora menos o igual a R(n).

Posible Evolucin de la Zona de Vecindad

Tambin se utilizan funciones gaussianas o en forma de sombrero mejicano (figura 2.4). Con esta funcin, una neurona central emite seales excitatorias a una pequea vecindad situada a su alrededor. A medida que aumenta la distancia lateral desde la neurona central, el grado de excitacin disminuye hasta convertirse en una seal inhibitoria. Por su parte, la funcin escaln supone una simplificacin de la funcin en forma de sombrero mejicano y, define de forma discreta la vecindad de neuronas que participan en el aprendizaje.

Formas de la Funcin de Vecindad

El coeficiente de aprendizaje (t) con un valor entre 0 y 1, decrece con el nmero de iteraciones (t) del proceso de entrenamiento. El coeficiente de aprendizaje ( Hilera y Martnez,1995):

Donde 1 toma un valor de 0.1 0.2 y 2 un valor prximo al nmero total de iteraciones del aprendizaje, suele tomarse 2 =10000. 5 El proceso se debe repetir, volviendo a presentar todo el juego de patrones de aprendizaje X1, X2,..., un mnimo de 500 veces (t500).

No existe un criterio objetivo acerca del nmero total de iteraciones necesarias para realizar un buen entrenamiento del modelo. De 50 a 100 suelen ser suficientes (Kohonen 1990, citado en Palmer et al. 2002).