Control inteligente

ADALINE The Adaptive Linear

Element

Agenda

Estructura de la Adaline
Aproximacion lineal de una funcion
Regla de aprendizaje Widrow-Hoff
Adaline como un filtro lineal adaptativo
Identificacion de sistemas adaptativo
Cancelacion adaptativa de ruido

Nov 2005

Estructura de la
Adaline

Estructura de la Adaline
x0

w0

x1
.
.

w1
.
.

xn

wn

y
+

y
-

Algoritmo
Adaptivo

Nov 2005

sgn(s)

Aqu no se considera
la salida s
d

e = d w Tx

Estructura de la Adaline
x1
x2

w1
w2

.
.
.

xn

Nov 2005

wn

w x

1
un peso mas, b=0

y wT x

funcion de activacion lineal

Salida de la Adaline

La salida de la neurona es la suma pesada de

sus entradas
Vector de
pesos

y wi xi w T x
i

Estimado de la neurona
de la salida deseada

vector de entrada

El proposito del aprendizaje es minimizar la discrepancia

entre la salida deseada y la salida de la neurona
Nov 2005

Una posible
implementacion
Una posible implementacion con ADALINE
v1

G1

Input:

voltages

current
vn

Gn

output w i x i w 0
i 1

Nov 2005

Output:

Comparacion del perceptron y

la Adaline

Nov 2005

Perceptron

Adaline

Architecture

Single-layer

Single-layer

Neuron
model
Learning
algorithm

Non-linear

linear

Minimze
number of
misclassified
examples

Minimize total
error

Application

Linear
classification

10

Linear classification and

regression

Aproximacion
lineal de una
funcion

12

El problema

Sea una funcion de

p variables, y una salida

y = f(x)

La funcion a ser aproximada linealmente se conoce

en N puntos (patrones de entrenamiento).

Nov 2005

X x 1 L

x n L

x N

p N matrix

D d 1 L

d n L

d N

1 N matrix

13

Solucion con Adaline

Para aproximar la funcion consideremos una

Adaline de

p entradas y una salida

Caracterizada por un vector de pesos

y w x
T

p1 weight vector
Nov 2005

w, p1,

14

Salida de la Adaline

Para cada vector de entrada,

calcula la salida real

x(n), la Adaline

y n w x n
T

Nov 2005

N puntos (patrones de entrenamiento)

X x 1 L

x n L

x N

p N matrix

D d 1 L

d n L

d N

1 N matrix

15

Salida de la Adaline

El conjunto completo de salida 1, .., N puede

ser calculada matricialmente:

Y w X
T

Y y 1 L

y n L

y N

1 N matrix

Como medir las discrepancias?

Nov 2005

El indice de desempeo

Definimos el error

n d n y n

El indice de desempeo, puede ser el error

cuadratico medio para los N valores de
entrenamiento:

1
J w
2N
Nov 2005

n
n 1

16

El indice de desempeo

El indice de desempeo puede expresarse

como:

1 T
J w
e e
2N
donde e es el vector N 1 de todos los errores

e D Y
T

Nov 2005

17

18

Un problema de
optimizacion
El problema de la aproximacion es el de
minimizar el indice de desempeo

Diferentes metodos

LMS (Least Mean Squares)

Performance Index: J(w1, w2)

Algoritmos basados en el
gradiente

0.8
0.6
0.4
0.2
0
2
1
0
-1
w2

Nov 2005

-2

-2

-1
w1

Solucion por minimos

cuadrados
La solucion, si existe, puede encontrarse
facilmente, y es igual a:

w q R
T

DX

X es la matriz de N
datos de entrada
T

XX

T 1

El modelo Adaline puede encontrarse usando el metodo

de los minimos cuadrados

Nov 2005

23

24

Ejemplo

Aproximar una pequea seccion de la

superficie no lineal 2-D

y f x x1e

x12 x22

con un plano, el cual es especificado por un

vector de pesos de una neurona lineal.

Nov 2005

25

Ejemplo

Ver adln1.m

funcion
Nov 2005

Adaline

Regla de
aprendizaje
Widrow-Hof

Aprendizaje Widrow-Hof

Sin embargo, el metodo MLS puede ser lento

(requiere de demasiados calculos!) si p es
grande, por lo tanto Widrow & Hoff propone
el descenso por el gradiente

new

old

Para minimizar f , se esoge

Nov 2005

w = J

27

El indice de desempeo

El indice de desempeo puede expresarse

como:

1
J w
2N

n
n 1

donde e es el vector N 1 de todos los errores

1 T
J w
e e
2N
Nov 2005

e D Y
T

n d n y n

28

El indice de desempeo

El indice de desempeo puede expresarse

como:
2

J w n

donde es el error cometido en la muestra n

n d n y n
Nov 2005

29

30

Descenso por el gradiente

Calculando el gradiente de la funcion de costo (por muestra)
2 n

2 n
n

2 n
wi
wi

d n wT x

wi
wi

wi
wi

i 1,L , p

d n w j x j n
j 1

n
xi n
wi
T

J 2 n x n
Nov 2005

Aprendizaje Widrow-Hof

El algoritmo del descenso por el gradiente es

w n x

Conocido tambien como

Nov 2005

Ley de aprendizaje de Widrow-Hoff

Regla Delta

31

Adaline como un
filtro lineal
adaptativo

Vectores de seales

En el procesamiento de seales en tiempo

real una seal analoga pasa por un conversor
A/D, el cual produce muestras de la seal

Estas muestras pueden agruparse en un

vector de p elementos de la seal de entrada,
X n x n

Nov 2005

x n 1 L

x n p 1

33

Vectores de seales

Este vector, de la muestra actual y las p-1

pasadas, es creado por una linea de retardo

Nov 2005

34

La Adaline como un filtro

adaptativo FIR

Si conectamos las salidas de los elementos de

retardo a las sinapsis de una Adaline,

resultra en una estructura de procesamiento

de seales conocida como

Filtro digital lineal de orden p FIR (FiniteImpulse-esponse)

Nov 2005

35

La Adaline como un filtro

adaptativo FIR

Diagrama de bloques

La salida del filtro, y(n) seguira la salida deseada, d(n).

Nov 2005

36

37

Ejemplo

En este ejemplo se configura una Adaline

para predecir una seal 1-D (serie de tiempo)
target and predicted signals

1.5

0.5

Ver adlpr.m

-0.5

-1

-1.5

Nov 2005

4
time [sec]

Identificacion de
sistemas
adaptativo

Sistema MA desconocido

Considere una seal de tiempo-discreto x(n),

la cual es procesada por un sistema MovingAverage (MA) desconocido

Nov 2005

Tal sistema tiene la misma estructura de una Adaline

con parametros (pesos) desconocidos, siendo b un
vector de p elementos

39

Identificacion de sistemas
adaptativo
Es posible usar otra Adaline para observar las
entradas y salidas del sistemas y adaptar sus
pesos

Nov 2005

40

41

Ejemplo
Input Signal, x(t)

1
0.5
0
-0.5
-1

Target d(t) and predicted y(t) signals

1

Ver adsid.m

0.5
0
-0.5
-1
0

Nov 2005

3
time [sec]

Cancelacion
adaptativa de
ruido

La situacion

Una seal util, u(n), es perturbada por un ruido, x(n).

Por ejemplo, la voz de un piloto en un avion

perturbada por el ruido originado por
ejemplo desde el motor

El ruido es coloreado por un filtro FIR desconocido

El problema consiste en filtrar el ruido con el fin

de obtener un estimado de la seal original

Nov 2005

43

Cancelacion adaptativa de
ruido
Considere el sistema

Nov 2005

44

45

Resultados
Input signal u(t) and estimated signal uh(t)

2
1
0
-1
-2

0.4

4
5
time -- msec
estimation error

4
5
time --[msec]

Ver adlnc.m

0.2
0
-0.2
-0.4
Nov 2005

Aplicaciones

Nov 2005

46

Cancelacin de Ruido

Nov 2005

47

Potencia de ruido de salida

Cancelacin de Ruido

Numero de adaptaciones (cientos)

Nov 2005

48

Cancelacin de la interferencia de 60hz

en un ECG

Nov 2005

49

Cancelacin de la interferencia de 60hz

en un ECG

Nov 2005

50

Cancelacin del ECG Materno durante

un ECG Fetal

Nov 2005

51

Cancelacin del ECG Materno durante

un ECG Fetal

Nov 2005

52

Cancelacin del ECG Materno durante

un ECG Fetal

Nov 2005

53

Fuentes

Andrew P. Paplinski, CSE5301 Neuro-Fuzzy Computing

(Neural Networks and Fuzzy Systems). Lecture Notes.
Monash University, Australia. 1 June 2005.

Martin Hagan, Neural Network Design Demonstrations. PWS

Publishing Company. 1994
Heikki Koivo, Neuro-Fuzzy Computing in Automation, course
material. Control Engineering Laboratory. Helsinki University
of Technology. Spring 2002.
Jeen-Shing Wang, Course: Introduction to Neural Networks.
Lecture notes. Department of Electrical Engineering.
National Cheng Kung University. Fall, 2005
Wen Yu, Advanced Fuzzy neural networks. Lecture notes.
Departamento de Control Automatico. CINVESTAV-IPN.
2005

Nov 2005

54

Sources

J-Shing Roger Jang, Chuen-Tsai Sun and Eiji Mizutani,

Slides for Ch. 5 of Neuro-Fuzzy and Soft Computing: A
Computational Approach to Learning and Machine
Intelligence, First Edition, Prentice Hall, 1997.
Djamel Bouchaffra. Soft Computing. Course materials.
Oakland University. Fall 2005
Lucidi delle lezioni, Soft Computing. Materiale Didattico.
Dipartimento di Elettronica e Informazione. Politecnico di
Milano. 2004
Handbook of Neural Computation. release 97/1. IOP
Publishing Ltd and Oxford University Press. 1997
A. S. Hodel, Neural Networks, notes of ELEC 6240 course.
Dept. ECE, Auburn University. November 19, 2003.

Nov 2005

55