Control óptimo LQG

Recordemos que el problema LQR considera el sistema de espacio de estado

ẋ = Ax + Bu; x ∈ Rn ; u ∈ Rp
y = Cx; y ∈ Rq

y el criterio de desempeño J = xT (t)Qx(t) + uT (t)Ru(t)dt; donde Q es no

R∞
0
negativa definida y R es definida positiva. Entonces el control que minimiza J está
dado por la ley de realimentación lineal

u(t) = −Kx(t) con K = R−1 B T P

y donde P es la única solución definida positiva a la EAR

AT P + P A − P BR−1 B T P + Q = 0

Realización– p. 1/18
 Estimación de estado óptima LQE

Recordemos que el problema dual esti-

mador óptimo LQ lleva al filtro de Kalman,
el cual es el mejor estimador posible para w(t)
la planta corrupta con ruidos w y v u(t) R x(t) y(t)
B C
ator v(t)
ẋ = Ax + Bu + w
v A
y = Cx + v
Observer

donde w y v son procesos Gaussianos es- B

tocásticos de media cero no correlaciona- ^
x(t) R
dos en el tiempo y el uno al otro, con co- L

varianzas E(ww T ) = W y E(vv stochastic

T
) = V. A − LC
La ganancia del estimador óptimo es time
L=
P C T V −1 donde P es la solución de la
EAR

AP + P AT − P C T V −1 CP + W = 0

Realización– p. 2/18
 Control lineal cuadrático Gaussiano (LQG)

El control LQG es el controlador óptimo obtenido como la combinación de una

ganancia de realimentación de estado LQR con realimentación desde los
estimados a partir
ande un estimador
optimal de estado óptimo LQE.
LQE state estimator.
w(t)
r u(t) R x(t) y(t)
N B C
−
A v(t)

Kalman Filter (LQE)

B
LQR
^
x(t) R
K L

A − LC

El principio de separación nos permite diseñar una ganancia de realimentación

LQR y el LQE independientemente.

Realización– p. 3/18
 Control LQG

El principio de separación dice que si tenemos una planta dada por

ẋ = Ax + Bu + w
y = Cx + v

y deseamos diseñar un controlador para minimizar

T T

J = lı́m E x (t)Qx(t) + u (t)Ru(t)dt
T →∞

entonces la solución óptima se obtiene combinando la ganancia de realimentación

óptima LQ y el observador LQ observer dados arriba. Recuerde también de la
asignación de polos que los polos de lazo cerrado se obtienen en los autovalores
de A − BK y A − LC.

Realización– p. 4/18
 Control LQG

El controlador combinado incluyendo un LQR (regulador óptimo lineal

cuadrático) y un LQE (estimador óptimo lineal cuadrático) se denomina
usualmente controlador lineal cuadrático gaussiano (LQG).

LQG se puede usar como una herramienta simple para obtener un

controlador ball-park con un desempeño razonable. Como con la asignación
de polos, la planta debe aumentarse si se desean características como
acción integral.

Existen también estrategias sofisticadas basadas en LQG. Estas resuelven

no solo dinámicas intrincadas (ej. sistemas resonantes o interacciones en
sistemas multivariables), sino también aseguran que el diseño tenga
propiedades adecuadas de robustez. Tales estrategias van más allá del
alcance de este curso, y se recomienda el libro ”Multivariable Feedback
control:Analysis and design” de Skogestad y Postlethwaite.

Realización– p. 5/18
 Rechazo a disturbios con LQG

Como ejemplo de control LQG, consideremos una aplicación para rechazo a

disturbios, por el principio de modelo interno .
Considere la planta
bd(t) b v(t)
   
−10 −50 1 ? ? y(t)
ẋ = x+ u b - j - 2 20 - j -b
1 0 0 s +10s+50

y = [20 0]x

Donde se sabe que la salida de la planta es afectada por ruido blanco aditivo de
media cero y covarianza 0,005.
También se sabe que, en operación, el vector de estado de esta planta es
afectado por una señal ruidosa de banda estrecha de aproximadamente 1Hz. La
meta del problema de control es rechazar este disturbio de 1Hz.

Realización– p. 6/18
 Rechazo a disturbios con LQG

Un principio básico es que para ser capaces de rechazar un disturbio, o seguir

una referencia, necesitamos incorporar un modelo del disturbio en el controlador.
Esto se conoce como principio del modelo interno.
El principio del modelo interno establece que para rechazar un disturbio, el sis-
tema debe incluir un modelo del disturbio , si éste está disponible.
Un ejemplo familiar de rechazo a disturbio (y seguimiento de referencia) basado
en el principio del modelo interno es la acción integral en la realimentación de
estados: Para rechazar disturbios constantes aumentamos su modelo (un
integrador) a la planta.

Realización– p. 7/18
 Rechazo a disturbios con LQG

Para el ruido aditivo a la salida, lo modelamos como una señal de ruido v con
varianza V = 0,005. En el caso del disturbio de 1Hz, lo modelamos por una
ecuación de estado auxiliar, donde w es ruido blanco de media cero con
covarianza W = 0,01.
15

10
   
0 2π 0
ẋ = xd + w 5

−2π 0 1

d(t)
0
yd = [100 0]xd
−5

Este ruido excita al sistema para pro-

ducir una señal de 1 Hz, escalada por −10

un factor de 100.
−15
0 10 20 30 40 50 60 70 80 90 100
time [s]

Realización– p. 8/18
 Rechazo a disturbios con LQG

Trataremos la salida ruidosa como un disturbio de ruido en la entrada del sistema

original,
   
−10 −50 1
ẋ = x+ (u + d) = Ax + B(u + d)
1 0 0
y = [20 0]x + v = Cx + v

Diseñaremos un filtro de Kalman para rechazar este disturbio. Para el diseño

combinaremos planta y disturbio en la planta aumentada (A a ; Ba ; Ca ; Da ):
        
ẋ A B x B 0
= + u+ w
ẋd 0 An xd 0 Bn
 
x
y = [C 0] +v
xd

Realización– p. 9/18
 Rechazo a disturbios con LQG

Ahora diseñamos la ganancia L de nuestro filtro de Kalman

x̂˙ = (Aa − LCa )x̂ + Ba u + Ly

usando nuestro modelo hipotético de la planta (la planta aumentada) y las

propiedades estadísticas de los ruidos v y w,

V = E{v 2 (t)} = 0,005; W = E{w 2 (t)} = 0,01.

En MATLAB podemos usar la función lqe L = lqe(Aa,[0*B;Bn],Ca,W,V);

obteniendo,
0,9037
 
8,1671
L= 1,4021 .


0,1848

Realización– p. 10/18
 Rechazo a disturbios con LQG

En otras palabras, hemos modelado el disturbio como la salida de una planta

hipotética, y lo incorporamos al modelo de la planta real para obtener el modelo
aumentado

ẋa = Aa xa + Ba u + Ew
ya = Ca xa + vy

Ahora, para controlar este sistema, calculamos una ganancia de realimentación

u = −Kxa para minimizar el criterio de desempeño

1 0 0 0
   
∞
Z
0
T 0 0 0 xa (t) + uT (t)Ru(t) dt

J= xa (t) 0
 
0 0 0 0 
0 0 0 0

Note que esta forma de Q penaliza solamente la salida del sistema real, no se
penalizan ”los estados” del disturbio.
Realización– p. 11/18
 Rechazo a disturbios con LQG

La razón es que tales ”estados” son hipotéticos y no controlables de todas

maneras. Usaremos dos valores diferentes de R > 0 para ver el efecto de cada
uno.
El truco para rechazar el disturbio de banda estrecha no es tratar de controlarlo,
ya que no es controlable por definición, pero sí filtrarlo usando su modelo en el
filtro de Kalman.
ẋa = (Aa − LCa )xa + Ba u + Ly
Plant with
narrow−band disturbance

0 In1 Out1
Constant Scope

La ganancia del estimador L se calcula

Ba* u
4
para minimizar óptimamente el efecto
K* u 4 1
4
de los ruidos w y v utilizando las co-
2
varianzas del ruido W y V .
Demux L* u
4 s 4 4
Matrix 2
Manual Gain3
Switch
4
Aa−L*Ca* u
0 4
Constant1
2
Terminator

Realización– p. 12/18
 Rechazo a disturbios con LQG

El diagrama de SIMULINK de abajo muestra el detalle de implementación de la

planta aumentada.
plant implementation.
0 In1 Out1
Constant Scope
Subsystem

4
K*u

Matrix
4
Gain
K*u 4 1
2
Demux L* u
4 s 4 4
Matrix 2
Gain3 Integrator 4
Manual Matrix
Switch Gain1
4
Aa−L*Ca* u
0 4
Constant1 Matrix

Out1
2 Gain2
Terminator

w(t)

Disturbance Band−Limited
White Noise

d(t)
K*u
Plant Model 2

Gn

u(t) y(t)
2 2 2 1 2 1
1 K*u K*u
s 2 Out1
In1 2
B C

2
K*u
2

Realización– p. 13/18
 Rechazo a disturbios con LQG

Este diagrama de SIMULINK muestra como implementar el modelo de disturbio

denarrow-band
entrada de banda estrecha.
input disturbance model.
0 In1 Out1

Constant
Scope
Subsystem

4
K*u

Matrix
4
Gain
K*u
2 4 1
Demux L* u
4 s 4 4
Matrix 2
Gain3 Integrator 4
Manual Matrix
Switch Gain1
4
Aa−L*Ca* u
0 4
Constant1 Matrix

Out1
2 Gain2
Terminator

w(t)

Disturbance Band−Limited
White Noise

d(t)
K*u
Plant Model 2

Gn

u(t) y(t)
2 2 2 1 2 1
1 K*u K*u
s 2 Out1
In1 2
B C

2
K*u
2

2
K*u 2 1 2
K*u 1
2
s 2
Band−Limited Bn Out1
White Noise
Cn

2
K*u
2
Disturbance Model
An

Realización– p. 14/18
 Rechazo a disturbios con LQG

Se muestra la salida del sistema en lazo abierto (K = 0) y en lazo cerrado para

diferentes valores de R.
1.5

Closed loop
1 R=1e−6

0.5

−0.5

−1

Open loop

−1.5
0 2 4 6 8 10 12 14 16 18 20

Realización– p. 15/18
 Rechazo a disturbios con LQG

Para valores del peso de contrlo R < 10−4 no hay mejora significante en la
respuesta, porque el sistema tiene un nivel de ruido de ”base” debido al ruido
medido v (el cual no podemos remover de la salida).

No obstante, podemos efectivamente mejorar la respuesta al remover el

disturbio de banda estrecha.
Esta es una forma de tratar con disturbios en el observador en lugar que en
el control realimentado, como se hizo en el esquema de acción integral
estudiado previamente.

Realización– p. 16/18
 Rechazo a disturbios con LQG

Bode Diagram
50
Open Loop
R=10−2
−4
R=10
0 R=10
−6

La gráfica muestra el diagrama de

Magnitude (dB)
−50
Bode de amplitud de la función de
transferencia de lazo cerrado desde el
disturbio d a la salida, para los difer- −100

entes valores de R, y en lazo abierto.

−150

−200
−1 0 1 2 3 4
10 10 10 10 10 10
Frequency (rad/sec)

Podemos ver como el control LQG produce un sistema de lazo cerrado con un
”notch” en la frecuencia del disturbio (1Hz).

Realización– p. 17/18
 Observaciones finales acerca de LQG

De hecho, podemos incorporar en nuestro diseño LQG una acción integral,

aumentando a la planta la integral del error de seguimiento. En ese caso
deberíamos ser cuidadosos en seleccionar Q para que penalicemos el error
de seguimiento y no el estado que se supone debe seguir a la referencia.

Ya que LQG es un controlador por realimentación de estado en combinación

con un estimador de estado, pueden incorporarse fácilmente esquemas
”antiwindup” en realimentación de estado con acción integral.

LQG es una de las herramientas más básicas e importantes en ingeniería de

control. Para modelos de espacio de estados, constituye en la mayoría de los
casos, la mejor opción para diseño de control.

LQG no es robusto, pero casi siempre dará buenos resultados cuando el

modelo del sistema es razonablemente preciso.

Realización– p. 18/18