HISTORIA

1936 - Alan Turing, Warren McCulloch y Walter Pitts. 1949 - Donald Hebb. 1957 - Frank Rosenblatt. Perceptrn. 1960 - Bernard Widrow/Marcial Hoff. Modelo Adaline Adaptative Linear Elements. 1969 - Marvin Minsky/Seymour Papert. FRENASO.

1973- James Anderson

1985 - John Hopfield 1986 - David Rumelhart/G. Hinton

REDES NEURONALES ARTIFICIALES

VS

Qu es una RED NEURONAL ARTIFICIAL (ANN)?

Redes neuronales artificiales son redes interconectadas masivamente en paralelo de elementos simples (usualmente adaptativos) y con organizacin jerrquica, las cuales intentan interactuar con los objetos del mundo real del mismo modo que lo hace el sistema nervioso biolgico.

VENTAJAS
Aprendizaje Adaptativo Auto-organizacin. Tolerancia a fallos. Operacin en tiempo real. Fcil insercin dentro de la tecnologa existente.

DESVENTAJAS
Complejidad de aprendizaje Tiempo de aprendizaje elevado.

No permite interpretar el resultado final

Elevada cantidad de datos para el entrenamiento.

Neurona
Unidad de una red neuronal artificial. Procesador elemental. Realiza una suma ponderada de sus entradas, aplica una funcin de activacin para obtener una seal que ser transmitida a la prxima neurona.

 Cada seal de entrada se multiplica por un peso asociado (depender del tipo de neurona) formando un vector de entrada.

La salida de la neurona depender de su nivel de activacin y de las entradas:

 Se agrupan en capas o niveles. Poseen un alto grado de conectividad entre ellas. Supervisadas o no, las ANN ajustan su arquitectura y parmetros de manera de poder minimizar alguna funcin de error de algn proceso.

Funcin de activacin:

Bibliografa:
http://www.uaeh.edu.mx/docencia/P_Presentaciones/huejutla/sistemas/redes_neuronales/introduccion. pdf http://www.frro.utn.edu.ar/repositorio/catedras/quimica/5_anio/orientadora1/monograias/matichredesneuronales.pdf Introduction to Artificial Neural Systems. Jacek M. Zurada - West Publishing Company.

NEURAL NETWORK DESIGN Martin T. Hagan. Howard B. Demuth, Mark Beale, publishing company.

REDES NEURONALES ARTIFICIALES

TIPOS DE REDES NEURONALES

Redes Feedback y feedforward

Redes feedback
Se caracterizan por la conexin existente entre la salida de una neurona con su entrada y la entrada del resto de las neuronas del sistema. De esta forma, la entrada de una neurona en un instante de tiempo depende de los valores que ha tomado anteriormente. Las redes de este grupo se dividen en construidas y entrenadas.

Redes feedback
Construidas
Lo componen aquellas redes en las que la matriz de pesos inicial se construye a partir de los patrones utilizados para definirla. Dentro de esta clase se pueden destacar las memorias asociativas, entre las que se encuentran los modelos de Hopfield.

Entrenadas
Incluye redes que para su definicin necesitan un proceso de entrenamiento. Dentro de este grupo se encuentran los modelos ART, que son ms complejos debido a que el ajuste de los pesos afecta a las seales de entrada durante el proceso de entrenamiento.

Redes feedforward
En este modelo, las nicas conexiones apropiadas estn entre las salidas de cada capa y las entradas de la siguiente capa. Por lo tanto, no existe ninguna conexin entre las salidas de una capa y las entradas de ya sea la misma capa o capas anteriores.

Redes feedforward
Monocapa
Ejemplos:
Perceptrn Adaline

Multicapa
Ejemplos
Perceptrn multicapa

Redes de aprendizaje supervisadas y no supervisadas

Redes de aprendizaje supervisadas

Necesitan un conjunto de datos de entrada previamente clasificado o cuya respuesta objetivo se conoce.

Ejemplos de este tipo de redes son:

Perceptrn simple Red adaline Perceptrn multicapa Red backpropagation Memoria asociativa bidireccional

Redes de aprendizaje no supervisado

No necesitan un conjunto de datos de entrada previamente clasificado.

Ejemplos de este tipo de redes son:

Memorias asociativas Redes de Hopfield Mquina de Boltzmann Mquina de Cauchy Redes de Kohonen Redes de resonancia adaptativa

Modelos Neuronales Aplicaciones ms importantes Inventada/ desarrollada por Stephen Grossberg.

Nombre de la red

Ao

Comentarios

Limitaciones No es fcil alterar la velocidad o interpolar el movimiento.

Avalancha

1967

Reconocimiento Ninguna red de habla continua. sencilla puede Control brazos hacer todo esto. robot.

Teora Resonancia Adaptativa (ART)

ADALINE / MADALINE

Back Propagation

Reconocimiento Sensible a la Gail Carpenter, Sofisticada. P 1986 de patrones (radar, translacin, Stephen oco utilizada. sonar, etc.) distorsin y escala. Grossberg. Rpida, fcil de Filtrado de seales. Slo es posible implementar Ecualizador clasificar espacios 1960 con circuitos Bernard Widrow. adaptativo. linealmente analgicos o Modems. separados. VLSI. Red ms Sntesis de voz popular. desde texto. Numerosas Necesita mucho Paul Werbos, Control de robots. aplicaciones tiempo para el 1974-85 David Parker, Prediccin. con xito. aprendizaje y David Rumelhart. Reconocimiento Facilidad de muchos ejemplos. de patrones. aprendizaje. Potente. Baja capacidad Memoria Aprendizaje y de

Reconocimiento Redes simples. de patrones Capacidad de Mquinas de Boltzmann y 1985-86 (imgenes, sonar representacin Cauchy y radar). ptima de Optimizacin. patrones.
Extraccin de conocimiento de bases de datos. Posiblemente mejor realizacin que las redes de Hopfield.

La mquina de Boltzmann Jeffrey Hinton, necesita un Terry Sejnowski, tiempo muy largo Harold Szu. de aprendizaje.
Realizacin y potenciales aplicados no estudiadas totalmente. Requiere complicadas entradas de control.

Brain-Estate in-a-Box

1977

James Anderson

Cerebellatron

1969

Control de movimiento de Semejante a los brazos de un Avalancha. robot.

David Marr, James Albus, Andres Pellionez.

Robert HechtNielsen.

Counter- propagation

1986

Combinacin Numerosas Comprensin de de Perceptron y neuronas y imgenes. TPM conexiones.

Hopfield

1982

Reconstruccin de patrones y optimizacin.

Puede implementarse Capacidad y en VLSI. Fcil de estabilidad. conceptualizar. Requiere muchos elementos de proceso, niveles y conexiones. No puede reconocer caracteres complejos.

John Hopfield.

Neocognitron

Insensible a la Reconocimiento translacin, 1978-84 de caracteres rotacin y manuscritos. escala. La red ms Reconocimiento antigua. de caracteres Construida en impresos. HW.

K. Fukushima.

Perceptron

1957

Frank Rosenblatt.

Self-Organizing-Map (SOM). TopologyPreserving- Map (TPM)

Reconocimiento de patrones, 1980-84 codificacin de datos, optimizacin.

Realiza mapas de caractersticas Requiere mucho comunes de los entrenamiento. datos aprendidos.

Teuvo Kohonen.

Mecanismos de aprendizaje

El aprendizaje es el proceso por el cual una red neuronal modifica sus pesos en respuesta a una informacin de entrada.

Los cambios que se producen durante el proceso de aprendizaje son la destruccin, modificacin y creacin de conexiones entre neuronas

Peso = 0 destruccin Peso > 0 creacin

Clasificacin
A la red se le proporciona un conjunto de ejemplos del comportamiento propio de la red Inputs/targets Las entradas son las nicas disponibles para el aprendizaje, el algoritmo de la red aprende a categorizar las entradas. clustering

Aprendizaje Supervisado

Aprendizaje No supervisado

Aprendizaje por Reforzamiento

A la red se proporciona un grado de desempeo de la misma.

Aprendizaje Supervisado
El proceso de aprendizaje se realiza mediante un entrenamiento controlado por un agente externo (supervisor, maestro) que determina la respuesta que debera generar la red a partir de una entrada determinada.
Aprendizaje por correccin de error: Consiste en ajustar los pesos de las conexiones de la red en funcin de la diferencia entre los valores deseados y los obtenidos a la salida de la red, es decir, en funcin del error cometido en la salida.

Aprendizaje por refuerzo En el aprendizaje por refuerzo la funcin del supervisor se reduce a indicar mediante una seal de refuerzo si la salida obtenida en la red se ajusta a la deseada (xito = +1 o fracaso = -1), y en funcin de ello se ajustan los pesos basndose en un mecanismo de probabilidades.

Aprendizaje estocstico Consiste bsicamente en realizar cambios aleatorios en los valores de los pesos de las conexiones de la red y evaluar su efecto a partir del objetivo deseado y de distribuciones de probabilidad.

Aprendizaje no supervisado
Las redes con aprendizaje no supervisado (tambin conocido como autosupervisado) no requieren influencia externa para ajustar los pesos de las conexiones entre sus neuronas. La red no recibe ninguna informacin por parte del entorno que le indique si la salida generada en respuesta a una determinada entrada es o no correcta.

Aprendizaje hebbiano

Esta regla de aprendizaje es la base de muchas otras, la cual pretende medir la familiaridad o extraer caractersticas de los datos de entrada. El fundamento es una suposicin bastante simple: si dos neuronas Ni y Nj toman el mismo estado simultneamente (ambas activas o ambas inactivas), el peso de la conexin entre ambas se incrementa.

Aprendizaje competitivo y comparativo

Se orienta a la clusterizacin o clasificacin de los datos de entrada. Las informaciones similares son clasificadas formando parte de la misma categora, activando por tanto la misma neurona de salida. La variacin del peso de una conexin entre una unidad i y otra j ser nula si la neurona j no recibe excitacin por parte de la neurona i y se modificar si es excitada por dicha neurona i

Red Neuronal Artificial de Respuesta a Impulso Finito (FIRANN)

MFANN

FIRANN
TDANN

Red Neuronal Artificial Multicapa

Propagacin hacia adelante

MFANN
Salidas pueden combinarse para obtener unas salidas de la red o alimentar otro grupo de neuronas Informacin de las entradas procesadas paralelame nte

Red Neuronal Artificial Multicapa (MFANN)

Red Neuronal Artificial con Retardo de Tiempo

Similar a MFANN, se diferencia en que se organiza los datos de entrada

TDANN
Se aaden unos valores iguales a los retardos del tiempo en la entrada

Entradas multiplexadas para ser una funcin de unidades del retardo del tiempo

Red Neuronal Artificial de Retardo de Tiempo (TDANN) con tres capas y tres unidades de retardo de tiempo en los nudos de entrada

Red Neuronal Artificial de Respuesta a Impulso Finito

Forma compleja de la MFANN

FIRAN N

Cada neurona depende de la salida actual y de los valores previos de las neuronas de la capa anterior

Red neuronal artificial de respuesta a impulso finito (FIRANN)

2 neuronas en cada capa y n entradas

Nmero de registros igual a las unidades de retardo de tiempo

Cada entrada tiene 3 unidades de retardo de tiempo

Cada neuronaceldas de memoria (registros FIFO)

Cada capapropio retardo de tiempo (como en entradas) pero todas la capa-mismos retardos de tiempo

Error Backpropagation
Backpropagation(ejemplos, , nin, nout, nhidden) Caso particular de una red con una capa escondida, con conexiones completas hacia adelante. Inicializar todos los pesos en valores aleatorios pequen os. Repita hasta que haya convergencia: Para cada ejemplo: 1 Procese el ejemplo a traves de la red y calcule la salida. 2 Para cada unidad k de salida: 3 Para cada unidad escondida h 4. Actualizar los pesos wj,i:

Que podemos Representar?

Funciones booleanas: Cualquier funci on booleana es representable por una red con una capa escondida. El nu mero de nodos en la capa escondida puede crecer exponencialmente en el nu mero de entradas. Funciones continuas: Cualquier funci on continua acotada puede representarse con una red con una capa escondida de unidades sigmoidales y una capa de salida de unidades lineales (sin umbral). Funciones Arbitrarias: Cualquier funci on puede aproximarse con una red con dos capas escondidas de unidades sigmoidales y una capa de salida de unidades lineales (sin umbral).

El control neuronal consiste en disear un sistema que modifique el comportamiento natural de la planta de tal forma que se aproxime a la respuesta que tiene un modelo de referencia establecido Las redes neuronales han sido utilizadas en control por su capacidad de aproximar cualquier funcin no lineal.

Se puede entrenar a una red neuronal para que se comporte como un controlador no lineal. Es as que nacen los Neurocontroladores. Que es la aproximacin de un controlador no lineal, por lo que su anlisis es muy similar a los sistemas de control no lineales

Red Neuronal Como Controlador

 Con modelo de Referencia.

Con red neuronal inversa. Con identificacin de un controlador.

 Consiste en aproximar mediante una red neuronal la dinmica inversa de la planta.

a)
E st a d o Identificacin De la Planta E st a d o Dt em p Dt em p

b)
Controlador Con red neuronal Inversa

u
Planta

Dt em p

u
+

Estado Inicial

M od el o I n v er s o R N A x
G(s)

Pl an t a y
G(s)
Neurocontrolador Red Neuronal Inversa

E st a d o

Es una estructura de estado estable, la cual puede ser usada para control siempre que el proceso sea montono

 Ajusta la seal de control de una forma estable para que la salida de la planta tienda a la salida del modelo de referencia. El error entre la salida del modelo y la respuesta de la planta es usado como seal de retroalimentacin para el Seal de controlador Entrada Modelo de
Referencia LRM

Controlado con RNAs

Modelo de la Planta con RNAs

-+

Aspectos Importantes: Pesos sinpticos de la planta Fijos Pesos sinpticos del Controlador Modifican Se ajustan por retropropagacin del error.
Modelo de Referencia Lineal

 Consiste en usar una red controlador existente Diferencia de Temp Ctrl

PID

neuronal
u
c

para

identificar

un

un

Identificacin Ctrl PID RNAs

Si se tratase de modelar un controlador PID, la red neuronal requiere a parte del error instantneo entre el punto de operacin y la salida del proceso, la integral y la derivada del error. Alternativamente, se puede entrenar una red neuronal con los

 Aplicado por ejemplo en control de la trayectoria del brazo de un robot. La entrada total que entra a la planta es la suma entre el re-alimentador y la salida de la RNA, el cual es el modelo dinmico inverso de la planta. El modelo usa la trayectoria deseada como la entrada y el realimentador como una seal de error. A medida que el entrenamiento de la RNA avanza, la entrada puede converger a cero

Sin control neuronal

Con neuronal

control

EJEMPLO REDES NEURONALES

Sistema MULTITANK laboratorio servo mecanismos. ESPE

DEFINICIN DEL PROBLEMA. 1

El controlador neuronal MR utiliza como referencia a un modelo matemtico lineal, el cual describe el comportamiento ideal que debe tener la seal controlada. Es decir el modelo de referencia lineal emula el comportamiento que tiene el sistema controlado (controlador con la planta).

DEFINICIN DEL PROBLEMA. 2

En la Figura 5.2 se muestra la estructura del controlador neuronal MR que se utiliza para encontrar la red neuronal de control. Antes de encontrar la red neuronal de control primero se realiza la identificacin de la planta mediante una red neuronal (Red de Identificacin o red neuronal del modelo) que posteriormente formar parte de la red total para encontrar la red neuronal control.

DEFINICIN DEL PROBLEMA. 3

OBTENCIN DE LA RED NEURONAL DE IDENTIFICACIN. 1

La Red neuronal del Identificacin es la encargada de realizar la identificacin del comportamiento de la planta (Tanque 1) en lazo abierto. Siguiendo la estructura del controlador neuronal MR la red de identificacin tiene como entradas la variable de estado 1, la seal de control de la electrovlvula u y la seal de control de la bomba DC ub. La red de identificacin nos entrega la variacin de los estados 1, como se indica en la Figura 5.3.

OBTENCIN DE LA RED NEURONAL DE IDENTIFICACIN. 2

OBTENCIN DE LA RED NEURONAL DE CONTROL. 1

El controlador neuronal mediante modelo de referencia para el sistema Multitanque es una red tansig, purelin, que tiene ocho neuronas en la capa oculta y una salida. El algoritmo de entrenamiento es de tipo trainlm.

ENTRENAMIENTO DE LA RED NEURONAL. 1

El mtodo para el entrenamiento de la Red de Control se lo hace mediante una Red Total que est compuesta por la Red del Modelo y la Red de control. La Figura 5.6 se muestra como est formada la red Total tnet en simulink.

ENTRENAMIENTO DE LA RED NEURONAL. 2

SIMULACIN DEL CONTROLADOR NEURONAL. 1

Una vez creada la red control se debe comprobar su funcionamiento, siguiendo el lazo de control propuesto para este controlador neuronal la Figura 5.7 muestra como el lazo implementado en simulink.

SIMULACIN DEL CONTROLADOR NEURONAL. 2

Prueba 1: 1
La primera prueba consiste en probar la simulacin del controlador con un valor de referencia bajo, medio, alto en 1 (nivel deseado) manteniendo el mismo tiempo de muestreo de simulacin y de red neuronal Tm = 5 [s]. La Figura 5.8 muestra el comportamiento del sistema para un valor de referencia bajo adems de las seales de control de la electrovlvula y el motor DC.

PRUEBA 1: 2

Figura 5.8. Simulacin CN MR a) H1 deseado=0.07 [m] b) Seal de control electrovlvula c) Seal de control Motor DC

PRUEBA 1: 3

 S. Baruc.h, J.M. Flores, F. Nava, I.R. Ramirez y B. Nenkova, An Adavanced Neutral Network Topology and Learning Applied for Identification and Control of a D. C. Motor", Septiembre 2002. Pg. 289-295 Neuro-Fuzzy and soft computing", J.S. Roger Jang, C. Tsai Sun, Eiji Mizutami, Prentice Hall, 1997 . Learning and soft computing: support vector machines, neural networks, and fuzzy logic models" Vojislav Kecman. MIT Press, 2001.