Open Class 4 IA CRDM v2

Introducción
Algoritmos LMS
Fundamentos de Teoría Wavelet
Fundamentos de Redes Neuronales
Redes Neuronales Wavelets Adaptables (Wavenets)
Resultados de Simulación
Comentarios
Solución de Problemas y Búsqueda
Carlos Roberto Domínguez Mayorga
UTEL
University
29 de septiembre de 2019/ Semana 4
Domínguez Mayorga Inteligencia Artificial

Introducción
Algoritmos LMS
Fundamentos de Redes Neuronales Proyecto
Comentarios
Objetivos
Definir los diferentes métodos de búsqueda.

Emplear un método de búsqueda para la solución de un
problema.

Introducción
Algoritmos LMS
Comentarios
Objetivo de la Clase
Ejemplo del Diseño e implementación de algoritmos

búsqueda heurística y clasica de un controlador PID
multiresolución adaptable empleando redes neuronales
wavalets (wavenets)
Establecer las ideas básicas sobre Wavenets
Aproximación de funciones
Comparación entre Wavenets y Wavenets IIR

Introducción
Algoritmos LMS
Comentarios
Cuestionario Open Class
Da la definición de busqueda y de sus elementos

¿Qué es el estado objetivo y el estado inicial?
¿Comó se aplican las redes neuronales a los problemas
de busqueda?

Introducción
Algoritmos LMS
Comentarios
Algoritmos de Búsqueda y Aplicación

Introducción
Algoritmos LMS
Fundamentos de Teoría Wavelet Estructura LMS
Fundamentos de Redes Neuronales Algoritmos LMS
Comentarios
Estructura LMS
Estructura básica de un filtro adaptable:

Introducción
Algoritmos LMS
Comentarios
Estructura LMS
Algoritmo LMS
fn+1 = fn + µe(n)xn
e(n) = d(n) − y (n)
y (n) = fnT xn

Introducción
Algoritmos LMS
Comentarios
Algoritmos LMS
LMS Normalizado
LMS Loco (con Variable Flotante)
LMS Promediado
LMS Mediano
LMS Función Signo

Introducción
Algoritmos LMS
Fundamentos de Teoría Wavelet Wavelets
Fundamentos de Redes Neuronales Transformada Wavelet
Redes Neuronales Wavelets Adaptables (Wavenets) Filtros Wavelets
Comentarios
Wavelets
Wavelets (onda pequeña) 1

Wavelet POLYWOG3
0.8
Características 0.6
0.4
Un mínimo de
Amplitud
0.2
oscilación 0
Un rápido declive −0.2
−0.4
a cero −0.6
−0.8
−10 −8 −6 −4 −2 0 2 4 6 8 10
Tiempo t

Introducción
Algoritmos LMS
Comentarios
Wavelets
Aplicaciones
Procesamiento de imágenes y señales
Aproximación de señales
Control automático
Eliminación de ruido en audio e imágenes
Compresión de señales
Reconocimiento de voz y de imágenes

Introducción
Algoritmos LMS
Comentarios
Wavelet Madre y Wavelets Hijas

Dada una wavelet madre h(t), se definen las wavelets hijas:
(a) a=1, b=0 (b) a=3, b=0

1 0.6
0.4
0.5
Amplitud
Amplitud
0.2
1 0
ha,b(t) = √ h(τ ) 0
a −0.5
−10 −5 0
Tiempo, t (seg.)
5 10
−0.2
−10 −5 0 5
Tiempo, t (seg.)
10
(c) a=0.5, b=0 (d) a=05, b=5

t−b 1.5 1.5
donde τ = a con a > 0. 1 1

Amplitud
Amplitud
0.5 0.5
0 0
−0.5 −0.5
−10 −5 0 5 10 −10 −5 0 5 10
Tiempo, t (seg.) Tiempo, t (seg.)

Introducción
Algoritmos LMS
Comentarios
Transformada Wavelet
La Transformada Wavelet de f ∈ L2 (R)

Z ∞
∗
Wf (a, b) = f (t)ha,b (t)dt
−∞
donde
ha,b (t) = √1 h( t−b )
a a

Introducción
Algoritmos LMS
Comentarios
Transformada Wavelet
Condición de admisibilidad de h(t)

∞
|H(ω)|2
Z
ch = dω < ∞
−∞ |ω|
donde H(ω) es la transformada de Fourier de h(t)

Introducción
Algoritmos LMS
Comentarios
Wavelet Morlet
1 2 1 2
h(t) = ejω0 t e− 2 t = e− 2 t (cosω0 t + j senω0 t)
Wavelet Morlet Espectro de Fourier de

Cos−Gaussiano, h(t) una Wavelet Morlet, H(w)
1 1.4
0.8
1.2
0.6
1
0.4
Amplitud
0.2 0.8
0 0.6
−0.2
0.4
−0.4
0.2
−0.6
−0.8 0
−5 0 5 −10 −5 0 5 10
Tiempo t Frecuencia w

Introducción
Algoritmos LMS
Comentarios
Wavelet RASP
RASP1 RASP2 RASP3

k1 t k2 t cos(t) k3 t sen(πt)
(t 2 +1)2 t 2 +1 t 2 −1
0.5
RASP1
0
-0.5
-1
-10 -5 0 5 10
0.5
RASP2
0
-0.5
-1
-10 -5 0 5 10
0.5
0
RASP3
-0.5
-1
-10 -5 0 5 10

Introducción
Algoritmos LMS
Comentarios
Wavelet SLOG
1 1 1 1
hslog1 (t) = − − +
1 + e−t+1 1 + e−t+3 1 + e−t−3 1 + e−t−1
Wavelet SLOG1
0.5
0.4
0.3
0.2
0.1
Amplitud
−0.1
−0.2
−0.3
−0.4
−0.5
−10 −8 −6 −4 −2 0 2 4 6 8 10
Tiempo t

Introducción
Algoritmos LMS
Comentarios
Wavelets POLYWOG
√ t2 1
Wavlet POLYWOG1
hPOLYWOG1 (t) = e t e− 2 0.8
t2
0.6
hPOLYWOG2 (t) = (0,7246)(t 3 − 3t)e− 2 0.4
0.2
1 4 t2
Amplitud
hPOLYWOG3 (t) = (t − 6t 2 + 3)e− 2 0
3 −0.2
−0.4
t2
hPOLYWOG4 (t) = (1 − t 2 )e− 2 −0.6
−0.8
2
2 4 − t2 −1
hPOLYWOG5 (t) = 0,8244(3t − t )e −10 −8 −6 −4 −2 0
Tiempo t
2 4 6 8 10

Introducción
Algoritmos LMS
Comentarios
Wavelet Shannon
sen2πt − senπt
hshannon (t) =
πt
Wavelet Shannon
1
0.8
0.6
0.4
0.2
Amplitud
−0.2
−0.4
−0.6
−0.8
−1
−10 −8 −6 −4 −2 0 2 4 6 8 10

Introducción
Algoritmos LMS
Fundamentos de Teoría Wavelet Redes Neuronales
Fundamentos de Redes Neuronales Modelo Neuronal
Redes Neuronales Wavelets Adaptables (Wavenets) Redes con Función de Base Radial
Comentarios
Redes Neuronales
Originalmente el termino redes neuronales fue inspirado

en las redes neuronales biológicas, por generalización de
una cantidad limitada de datos de entrenamiento
Se trata de un sistema de interconexión de neuronas
artificiales en una red que colabora para producir un
estímulo de salida

Introducción
Algoritmos LMS
Comentarios
Características
Aprendizaje Adaptativo
Autoorganización
Tolerancia a fallos
Procesado no lineal
Operación en tiempo real

Introducción
Algoritmos LMS
Comentarios
Aplicaciones
Clasificación de señales (de radar y sonar)

Conversión de un texto a un discurso
Reconocimiento de caracteres
Protección de virus
Inversión y comercio
Control de procesos

Introducción
Algoritmos LMS
Comentarios
Neurona Artificial
XN
y (t) = f ( xi ωki + vk )
i=1

Introducción
Algoritmos LMS
Comentarios
Redes con Función de Base Radial
N
X
yi (t) = ωki ϕ(xk )
k =1

Introducción
Algoritmos LMS
Fundamentos de Teoría Wavelet Wavenets
Fundamentos de Redes Neuronales Wavenetscon Estructura de Bloque IIR
Comentarios
Wavenets
K
X
ŷ (t) = u(t) ωk h(τk )
k =1
Introducción
Algoritmos LMS
Comentarios
Función de Energía
Se define la función de energía como:

T
1X 2
E= e (t)
2
t=1
donde e(t) representa el error con respecto a una función

objetivo y (t) y la salida de la red ŷ (t), definido como:
e(t) = y (t) − ŷ (t)

Introducción
Algoritmos LMS
Comentarios
Minimización de E
El objetivo es minimizar E(ωk , ak , bk ), variando los
parámetros ωk , ak y bk , donde k = 1, 2, . . . , K
Para ello se calculan:
T
∂E X
= − e(t)u(t)h(τ )
∂ωk
t=1
T
∂E X ∂h(τ )
= − e(t)u(t)ωk
∂bk ∂bk
t=1
T
∂E X ∂h(τ ) ∂E
= − e(t)u(t)ωk τ =τ
∂ak ∂bk ∂bk
t=1
Introducción
Algoritmos LMS
Comentarios
Algoritmo Wavenet
Se define la variación de cada parámetro como:
∂E ∂E ∂E
∆ω = − , ∆a = − , ∆b = −
∂ω ∂a ∂b
Actualizaciones de los parámetros
ω(n + 1) = ω(n) + µω ∆ω
a(n + 1) = a(n) + µa ∆a
b(n + 1) = b(n) + µb ∆b

Introducción
Algoritmos LMS
Comentarios
Wavenets con Estructura de Bloque IIR
M
X N
X
ŷ (t) = ci z(t − i)u(t) + dj ŷ (t − j)v (t)
i=0 j=1
Introducción
Algoritmos LMS
Comentarios
Modelo IIR
donde
K
X
z(t) = ωk h(τk )
k =0

Introducción
Algoritmos LMS
Comentarios
Función de Energía
De la misma manera que antes, se define la función de energía

como:
T
1X 2
E= e (t)
2
t=1
donde e(t) representa el error con respecto a una función

objetivo y (t) y la salida de la red ŷ (t), definido como:
e(t) = y (t) − ŷ (t)

Introducción
Algoritmos LMS
Comentarios
Minimización de E
Para minimizar E(ωk , ak , bk , ci , dj ), donde k = 1, 2, . . . , K ,

i = 1, 2, . . . , M y j = 1, 2, . . . , N se calculan:
T M
∂E X X
= − e(t)u(t) h(τ − i)
∂ωk
t=1 i=0
T M
∂E X X ∂h(τ − i)
= − e(t)u(t)ωk ci
∂bk ∂bk
t=1 i=0
∂E ∂E
= τ
∂ak ∂bk

Introducción
Algoritmos LMS
Comentarios
Minimización de E
T
∂E X
= − e(t)u(t)z(τ − i)
∂ci
t=1
T
∂E X
= − e(t)u(t)ŷ (τ − j)
∂dj
t=1
y se definen los incrementos de los parámetros:
∂E ∂E ∂E ∂E ∂E
∆w = − , ∆a = − , ∆b = − , ∆c = − , ∆d = −
∂w ∂a ∂b ∂c ∂d

Introducción
Algoritmos LMS
Comentarios
Algoritmo Wavenet IIR
Actualizaciones de los parámetros
ω(n + 1) = ω(n) + µω ∆ω
a(n + 1) = a(n) + µa ∆a
b(n + 1) = b(n) + µb ∆b
c(n + 1) = c(n) + µc ∆c
d(n + 1) = d(n) + µd ∆d

Introducción
Algoritmos LMS
Fundamentos de Teoría Wavelet Aproximación de Señales mediante una Wavenet
Fundamentos de Redes Neuronales Aplicaciones a Sistemas de Control PID
Comentarios
u(t) = sen(t/20) + r , 5 Neuronas, Wavelet Morlet
2
u(t) y su Aproximación
u(t)
1 Aprx. WN
−1
−2
0 10 20 30 40 50 60 70 80 90 100
0.5
Energia del Error
0.4
0.3
0.2
0.1
0
0 50 100 150 200 250 300
Iteraciones

Introducción
Algoritmos LMS
Comentarios

Pesos w Escalamientos a Traslaciones b
1.4 10.007 100
1.2 10.006 90
80
1 10.005
70
0.8 10.004
60
0.6 10.003
50
0.4 10.002
40
0.2 10.001 30
0 10 20
0 200 400 0 200 400 0 200 400

Introducción
Algoritmos LMS
Comentarios
2
u(t)
1 Aprx. WN
−1
−2
0 10 20 30 40 50 60 70 80 90 100
Tiempo t
0.8
Energia del Error
0.6
0.4
0.2
0
0 10 20 30 40 50 60 70 80
Iteraciones

Introducción
Algoritmos LMS
Comentarios

0.5 10.0002 120
0.45
10.0001 100
0.4
0.35
10.0001 80
0.3
0.25 10 60
0.2
10 40
0.15
0.1
9.9999 20
0.05
0 9.9999 0
0 50 100 0 50 100 0 50 100

Introducción
Algoritmos LMS
Comentarios
u(t) = sen(t/20) + r , 20 Neuronas, Wavelet RASP1
2
u(t)
1 Aprx. WN
−1
−2
0 10 20 30 40 50 60 70 80 90 100
Tiempo t
Energia del Error
0.4
0.3
0.2
0.1
0
0 50 100 150 200 250 300
Iteraciones

Introducción
Algoritmos LMS
Comentarios
u(t) = sen(t/20) + r , 20 Neuronas, Wavelet RASP1

3 10.0035 120
10.003
2 100
10.0025
1 80
10.002
0 10.0015 60
10.001
−1 40
10.0005
−2 20
10
−3 9.9995 0
0 200 400 0 200 400 0 200 400

Introducción
Algoritmos LMS
Comentarios
20 Neuronas, Wavelet Morlet
2
u(t)
1 Aprx. WN
−1
−2
0 20 40 60 80 100 120 140 160 180 200
Tiempo t
0.8
Energia del Error
0.6
0.4
0.2
0
0 20 40 60 80 100 120 140 160 180 200
Iteraciones

Introducción
Algoritmos LMS
Comentarios
20 Neuronas, Wavelet Morlet

1.4 10.0035 200
180
1.2 10.003
160
10.0025
1 140
10.002
120
0.8
10.0015 100
0.6
80
10.001
0.4 60
10.0005
40
0.2 10
20
0 9.9995 0
0 100 200 0 100 200 0 100 200

Introducción
Algoritmos LMS
Comentarios
¿Que es un PID?
Controlador PID
Parte Proporcional P
Parte Derivativa D
Parte Integrativa I
Z
de(t)
u(t) = Pe(t) + I e(t)dt + D
dt

Introducción
Algoritmos LMS
Comentarios
Sistema Dinámico SISO
Las ecuaciones de estado:
x(k + 1) = f (x(k ), u(k ), k )

y (k ) = g(x(k ), k )
donde x(k ) ∈ Rn , u(k ), y (k ) ∈ R y las funciones f , g ∈ C.

Bajo ciertas condiciones
y (k + 1) = Φ(y (k )) + Γ(y (k )) · u(k )

Introducción
Algoritmos LMS
Comentarios
Aproximación con Wavenets IIR

ŷ (k + 1) = Φ̂(y (k ), ΘΦ ) + Γ̂(y (k ), ΘΓ )u(k )
Aproximando con una Wavenet IIR
N
X
Φ̂(y (k ), ΘΦ ) = dj ŷ (k − j)v (k ) K
X k − bI
j=1 z(k ) = wI h( )
M
aI
X I=1
Γ̂(y (k ), ΘΓ ) = ci z(k − i)
i=0

Introducción
Algoritmos LMS
Comentarios
PID Discreto
El Controlador PID puede ser expresado de manera discreta:

PID Discreto
u(k ) = u(k − 1) + P[ε(k ) − ε(k − 1)] + Iε(k ) +

D[ε(k ) − 2ε(k − 1) + ε(k − 2)]
donde P, I y D son las ganancias proporcional, integral y

derivativa, u(k ) es una entrada a la planta en kT

Introducción
Algoritmos LMS
Comentarios
Controlador PID Autosintonizable Neuro Adaptable

Introducción
Algoritmos LMS
Comentarios
Controlador PID Autosintonizable Neuro Adaptable
Los parámetros P,I,D son pueden ser optimizados y

actualizados
Actualización de los parámetros del PID
P(k ) = P(k − 1) + µP e(k )Γ(k )[ε(k ) − ε(k − 1)]

I(k ) = I(k − 1) + µI e(k )Γ(k )ε(k )
D(k ) = D(k − 1) + µD e(k )Γ(k )[ε(k ) − 2ε(k − 1) + ε(k − 3)]
donde e(k ) = y (k ) − ŷ (k ) y los µ las velocidades fijas de

aprendizaje

Introducción
Algoritmos LMS
Comentarios
Sistema Ball-Beam

Introducción
Algoritmos LMS
Comentarios
Cuestionario de participación de Open Class
Da la definición de búsqueda
¿Cuales son los elemntos de búsqueda?
¿Qué es eñ espacio de estados?

Introducción
Algoritmos LMS
Comentarios
Comentarios
Se puede concluir que las Wavenets son una buena alternativa

tanto en la representación de señales, como en la
sintonización de un controlador PID

Open Class 4 IA CRDM v2

Cargado por

Información del documento

Descripción original:

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Open Class 4 IA CRDM v2

Cargado por

Copyright:

Formatos disponibles

Introducción

Solución de Problemas y Búsqueda

Carlos Roberto Domínguez Mayorga

29 de septiembre de 2019/ Semana 4

Domínguez Mayorga Inteligencia Artificial

Definir los diferentes métodos de búsqueda.

Domínguez Mayorga Inteligencia Artificial

Ejemplo del Diseño e implementación de algoritmos

Domínguez Mayorga Inteligencia Artificial

Cuestionario Open Class

Da la definición de busqueda y de sus elementos

Domínguez Mayorga Inteligencia Artificial

Algoritmos de Búsqueda y Aplicación

Domínguez Mayorga Inteligencia Artificial

Estructura básica de un filtro adaptable:

Domínguez Mayorga Inteligencia Artificial

Domínguez Mayorga Inteligencia Artificial

Domínguez Mayorga Inteligencia Artificial

Wavelets (onda pequeña) 1

Un rápido declive −0.2

Domínguez Mayorga Inteligencia Artificial

Domínguez Mayorga Inteligencia Artificial

Wavelet Madre y Wavelets Hijas

(a) a=1, b=0 (b) a=3, b=0

(c) a=0.5, b=0 (d) a=05, b=5

donde τ = a con a > 0. 1 1

Domínguez Mayorga Inteligencia Artificial

La Transformada Wavelet de f ∈ L2 (R)

Domínguez Mayorga Inteligencia Artificial

Condición de admisibilidad de h(t)

donde H(ω) es la transformada de Fourier de h(t)

Domínguez Mayorga Inteligencia Artificial

Wavelet Morlet Espectro de Fourier de

Domínguez Mayorga Inteligencia Artificial

RASP1 RASP2 RASP3

Domínguez Mayorga Inteligencia Artificial

Domínguez Mayorga Inteligencia Artificial

hPOLYWOG1 (t) = e t e− 2 0.8

hPOLYWOG2 (t) = (0,7246)(t 3 − 3t)e− 2 0.4

Domínguez Mayorga Inteligencia Artificial

Domínguez Mayorga Inteligencia Artificial

Originalmente el termino redes neuronales fue inspirado

Domínguez Mayorga Inteligencia Artificial

Domínguez Mayorga Inteligencia Artificial

Clasificación de señales (de radar y sonar)

Domínguez Mayorga Inteligencia Artificial

Domínguez Mayorga Inteligencia Artificial

Redes con Función de Base Radial

Domínguez Mayorga Inteligencia Artificial

Se define la función de energía como:

donde e(t) representa el error con respecto a una función

e(t) = y (t) − ŷ (t)

Domínguez Mayorga Inteligencia Artificial

Se define la variación de cada parámetro como:

Actualizaciones de los parámetros

Domínguez Mayorga Inteligencia Artificial

Wavenets con Estructura de Bloque IIR

Domínguez Mayorga Inteligencia Artificial

De la misma manera que antes, se define la función de energía

donde e(t) representa el error con respecto a una función

e(t) = y (t) − ŷ (t)

Domínguez Mayorga Inteligencia Artificial

Para minimizar E(ωk , ak , bk , ci , dj ), donde k = 1, 2, . . . , K ,