Inteligencia Artificial

Enrique Pelez Ph.D.

Redes Neuronales

FUNCIONAMIENTO DE UNA NEURONA BIOLGICA

El cerebro consta de un gran nmero (~ 1011) de elementos altamente interconectados (~ 104 conexiones por elemento), llamados neuronas. Estas neuronas tienen tres componentes principales, las dendritas, el cuerpo de la clula o soma, y el axn.

Las dendritas, son el rbol receptor de la red, son como fibras nerviosas que cargan de seales elctricas el cuerpo de la clula. El cuerpo de la clula, realiza la suma de esas seales de entrada. El axn es una fibra larga que lleva la seal desde el cuerpo de la clula hacia otras neuronas.

El punto de contacto entre un axn de una clula y una dendrita de otra clula es llamado sinpsis, la longitud de la sinpsis es determinada por la complejidad del proceso qumico que estabiliza la funcin de la red neuronal

Redes Neuronales

Redes Neuronales

Redes Neuronales

Redes Neuronales

De la observacin del proceso biolgico se han hallado las siguientes analogas con el sistema artificial:

Las entradas Xi representan las seales que provienen de otras neuronas y que son capturadas por las dendritas. Los pesos Wi son la intensidad de la sinpsis que conecta dos neuronas; tanto Xi como Wi son valores reales. es la funcin umbral que la neurona debe sobrepasar para activarse; este proceso ocurre biolgicamente en el cuerpo de la clula.

Redes Neuronales
DENDRITAS

Redes Neuronales

Este modelo se conoce como perceptrn de McCulloch-Pitts, y es la base de la mayor parte de las arquitecturas de las Redes Neuronales, que se interconectan entre s. Las neuronas emplean funciones de activacin diferentes segn la aplicacin, algunas veces son funciones lineales, otras funciones sigmoidales, y otras funciones de umbral. La eficiencia sinptica se representa por factores de peso de interconeccin wij, desde la neurona i, hasta la neurona j.

Redes Neuronales

Los pesos pueden ser positivos (excitacin) o negativos (inhibicin). Los pesos junto con las funciones f(z) dictan la operacin de la red neuronal. Normalmente las funciones no se modifican de tal forma que el estado de la red neuronal depende del valor de los factores de peso (sinpsis) que se aplica a los estmulos de la neurona. En un perceptrn, cada entrada es multiplicada por el peso W correspondiente, y los resultados son sumados, siendo evaluados contra el valor de umbral, si el resultado es mayor al mismo, el perceptrn se activa

Redes Neuronales

Perceptron

En 1943, Warren McCulloc y Walter Pitts originaron el primer modelo de operacin neuronal, el cual fue mejorado en sus aspectos biolgicos por Donald Hebb en 1948. En 1962 Bernard Widrow propuso la regla de aprendizaje Widrow-Hoff, y Frank Rosenblatt desarroll una prueba de convergencia, y defini el rango de problemas para los que su algoritmo aseguraba una solucin. l propuso los 'Perceptrons' como herramienta computacional

Redes Neuronales

Redes Neuronales
Funciones de Transferencia:

Redes Neuronales

Las entradas a la red estn representadas en el vector p, que para el caso de una sola neurona contiene solo un elemento W representa los pesos y la entrada b es una ganancia que refuerza la salida del sumador n, la cual es la salida neta de la red La salida total a, est determinada por la funcin de transferencia, la cual puede ser una funcin lineal o no lineal de n, y que es escogida dependiendo de las especificaciones del problema que la neurona tenga que resolver Aunque las redes neuronales se inspiran en modelos biolgicos, no existen limitaciones en las funciones de salida.

Redes Neuronales

Funcin de Transferencia - Hardlim: Esta funcin de transferencia acerca la salida de la red a cero, si el argumento de la funcin es menor que cero y la lleva a uno si este argumento es mayor que uno. Esta funcin crea neuronas que clasifican las entradas en dos categoras diferentes, caracterstica que le permite ser empleada en la red tipo Perceptrn

Redes Neuronales

Redes Neuronales
Nombre Limitador Fuerte Limitador Fuerte Simtrico Lineal Positiva Lineal Relacin Entrada /Salida Icono Funcin hardlim hardlims poslin purelin

Lineal Saturado

satlin

Lineal Saturado Simtrico

satlins

Sigmoidal Logartmico Tangente Sigmoidal Hiperblica Competitiva

logsig

tansig

compet

Redes Neuronales

Topologa de una Red: Tpicamente una neurona tiene ms de una entrada Las entradas individuales p1,p2,...,pR son multiplicadas por los pesos correspondientes w1,1, w1,2,...w1,R pertenecientes a la matriz de pesos W

Redes Neuronales

La neurona tiene una ganancia b, la cual llega al mismo sumador al que llegan las entradas multiplicadas por los pesos, para formar la salida n

Los subndices de la matriz de pesos representan los trminos involucrados en la conexin, el primer subndice representa la neurona destino y el segundo, representa la fuente de la seal que alimenta a la neurona. Por ejemplo, los ndices de w1,2 indican que este peso es la conexin desde la segunda entrada a la primera neurona. Esta convencin se hace ms til cuando hay ms de una neurona, o cuando se tiene una neurona con demasiados parmetros

Redes Neuronales

El vector de entrada p es representado por la barra slida vertical. Las dimensiones de p en la parte inferior de la variable como Rx1, indicando que el vector de entrada es un vector fila de R elementos. Las entradas van a la matriz de pesos W, la cual tiene R columnas y solo una fila para el caso de una sola neurona. La constante 1 entra a la neurona multiplicada por la ganancia escalar b. La salida de la red a, es en este caso un escalar, si la red tuviera ms de una neurona a sera un vector.

Redes Neuronales

Dentro de una red neuronal, los elementos de procesamiento se encuentran agrupados por capas, una capa es una coleccin de neuronas; de acuerdo a la ubicacin de la capa, sta recibe diferentes nombres Capa de entrada: Recibe las seales de la entrada de la red, algunos autores no consideran el vector de entrada como una capa pues all no se lleva a cabo ningn proceso. Capas ocultas: Estas capas son aquellas que no tienen contacto con el medio exterior, sus elementos pueden tener diferentes conexiones y son stas las que determinan las diferentes topologas de la red Capa de salida: Recibe la informacin de la capa oculta y transmite la respuesta al medio externo

Redes Neuronales

Red de una sola capa con S neuronas, cada una de las R entradas es conectada a cada una de las neuronas, la matriz de pesos tiene ahora S filas.

Redes Neuronales

Redes Neuronales

Redes Neuronales

Pesos

Las Redes Neuronales pueden tener pesos fijos o adaptables. Las que tienen pesos adaptables emplean leyes de aprendizaje para ajustar el valor de su interconexin con otras neuronas. Las que utilizan pesos fijos, su tarea esta previamente definida. Los pesos son determinados a partir de una descripcin completa del problema. Los pesos adaptables son esenciales si no se conoce previamente cual ser su valor correcto.

Redes Neuronales

Tipos de aprendizaje: Existen dos tipo de aprendizaje: supervisado y no supervisado.

Supervisado: Cuando se le proporciona la entrada y la salida correcta, y la red ajusta sus pesos tratando de minimizar el error de su salida calculada.

Este tipo de entrenamiento se aplica por ejemplo, en el reconocimiento de patrones.

Redes Neuronales

No supervisado: Cuando se le proporcionan nicamente los estmulos, y la red ajusta sus interconexiones basndose nicamente es sus estmulos y la salida de la propia red.

Las leyes de aprendizaje determinan como la red ajustar sus pesos utilizando una funcin de error. La ley de aprendizaje adecuada se determina en base a la naturaleza del problema a resolver.

Redes Neuronales

Entrenamiento El entrenamiento de un perceptrn es por medio de una regla de aprendizaje, conocida como delta:

Para cada peso W se realiza un ajuste W, segn la regla:

Wjji = Yi ( Tj - Yj ) Donde: es el factor de aprendizaje, (0 < 1) regula la velocidad de aprendizaje Yi valor de salida obtenido en la neurona i Tj valor de salida deseado para la neurona j, Yj valor de salida obtenido en la neurona j,

Redes Neuronales

Fases de operacin: Las redes adaptables tienen dos fases en su operacin.

1.

2.

Entrenamiento de la red. El usuario proporciona a la red un nmero "adecuado" de estmulos de entrada, y de salida, la red entonces ajusta su pesos de interconexin o sinpsis hasta que la salida de la red esta "lo suficientemente cerca" de la salida correcta. Recuperacin de lo aprendido. A la red se le presenta un conjunto de estmulos de entrada y sta calcula su salida. Cuando la red emplea entrenamiento no supervisado, algunas veces ser necesario que reajuste su sinpsis durante la fase de recuperacin.

Redes Neuronales

No son algortmicas

La gran diferencia del empleo de las redes neuronales, en relacin con otras aplicaciones, radica en que no son algortmicas; esto es, no se programan hacindoles seguir una secuencia predefinida de instrucciones. Las Redes Neuronales generan ellas mismas sus propias "reglas", para asociar la respuesta a su entrada; es decir, aprende por ejemplos y de sus propios errores. El conocimiento de una Red Neuronal se encuentra en la funcin de activacin utilizada y en los valores de sus pesos

Redes Neuronales

Las Redes Neuronales se han utilizado con gran xito para:

reconocer retornos de sonar bajo el agua, escritura a mano, voz, topografa de terrenos, controlar brazos de robots, evaluar datos personales, modelar fenmenos cognitivos, predecir tendencias financieras, entre otros

Redes Neuronales

La clase de problemas que mejor se resuelven con las redes neuronales son los mismos que el ser humano resuelve mejor:

Asociacin, evaluacin, y reconocimiento de patrones. Problemas que son difciles de calcular pero que no requieren de respuestas perfectas, slo respuestas rpidas y buenas, como:

Escenarios burstiles en el que se quiere saber compro?, vendo?, mantengo?, Reconocimiento cuando se desea saber se parece? es el mismo pero tienen una ligera modificacin?

Redes Neuronales

Las redes neuronales son muy malas para clculos precisos, procesamiento en serie, y no son capaces de reconocer nada que no tenga inherentemente algn tipo de patrn. Existen varias formas de hacer las conexiones en una Red Neuronal, as como existen varias formas de conectar neuronas biolgicas en el cerebro. Cada tipo sirve para diferentes procesos, el elegir la correcta topologa y sus caractersticas, es imprescindible para lograr fcilmente la solucin del problema

Redes Neuronales

Redes Neuronales

Redes Neuronales