Ingeniería en Control y Automatización

Introducción al Control Óptimo

Aplicación a sistemas de control moderno

TEORÍA DEL CONTROL III

12 de diciembre de 2016
Autor: M. en C. Rubén Velázquez Cuevas

Escuela Superior de Ingeniería Mecánica y Eléctrica

 Introducción al Control Óptimo
Aplicación a sistemas de control moderno

Como se observó en el apartado anterior, el diseño de un compensador (regulador o seguidor) mediante la

observación y retroalimentación de estados conlleva a la problemática de establecer la “mejor” configuración de
polos para las especificaciones de diseño establecidas por el objetivo de control. Esto implica que la matriz de
ganancias calculada para la retroalimentación de estados no es única y que además no se tiene un criterio asertivo
sobre la asignación de polos del observador que proporcione la “mejor” estimación de estados. Por tal motivo resulta
imprescindible analizar (de forma básica) un método que permita establecer las condiciones necesarias y suficientes
para el cálculo de la “mejor” opción disponible. Ese método lo proporciona la Teoría de Control Óptimo.

La teoría de control óptimo es un método de optimización matemática para generar leyes de control y que se
desarrolla como una extensión del cálculo de variaciones. Se aplica para todo tipo de sistemas de control descritos
mediante ecuaciones matemáticas (lineales, no lineales, discretas, estocásticas, etc.) y en consecuencia, su estudio es
muy extenso. Por tal motivo, los métodos y problemas de control óptimo planteados en este curso tendrán un énfasis
particular en los sistemas LTI.

El planteamiento matemático general para el problema de control óptimo consiste en:

1. Describir la naturaleza del sistema que se desea controlar

2. Establecer las capacidades y restricciones

3. Definir el objetivo de control y sus detalles

4. Especificar el criterio con que se juzgará el desempeño óptimo

Usualmente, las restricciones existen sobre valores permitidos en las variables de estado o sobre las señales de
entrada de control. Es decir, tanto los instrumentos de medición como los controladores presentan intervalos de
Introducción al Control Óptimo | 12 de diciembre de 2016

operación (valor mínimo y valor máximo). En particular, para los sistemas LTI el problema de diseñar un control
regulador óptimo se conoce también como el problema del Regulador Cuadrático Lineal (LQR), donde el objetivo
principal es la aplicación de un método sistemático para calcular las matrices de ganancias por retroalimentación de
estados y del observador óptimas

Para ello considérese primeramente el sistema LTI descrito por las ecuaciones:

xɺ = Ax + Bu

Donde u ∈U es la señal de control que pertenece al conjunto de valores admisibles en la entrada. Si la señal de
control se define mediante u = −Kx , el problema de optimización consiste en determinar la matriz de ganancias
K op tal que la relación descrita entre la efectividad y el costo con que se satisface un objetivo de control sea
mínima. Lo anterior también es conocido como índice de desempeño o criterio de optimización y se denota
mediante la función escalar J ( x, u ) .

1
Algunos de los criterios de desempeño suelen ser: el tiempo mínimo con que se desea alcanzar un estado final; el
error mínimo al analizar el estado final deseado en un tiempo especificado; el área bajo la curva de la norma
cuadrada del estado para seleccionar aquellas trayectorias que producen los transitorios más pequeños y finalmente el
área bajo la curva de la norma cuadrada de la señal de entrada para seleccionar la señal de control que requiera
menor esfuerzo. Para el caso particular de los sistemas LTI se debe tomar en cuenta que para cada u admisible (es
decir, que realiza la tarea y satisface las restricciones del sistema) se asocia a una trayectoria x única y cualquier
cambio o variación en la señal de entrada o en el valor inicial del estado tendrá como consecuencia la obtención de
una trayectoria diferente. Finalmente, la función escalar (o funcional) que combina los criterios antes mencionados
para los sistemas LTI se define mediante el criterio de desempeño cuadrático:

∞
J ( x, u ) = xT Sx + ∫ ( xT Qx + uT Ru )dt
0

Donde la matriz S está relacionada con los problemas del tiempo mínimo final y el error mínimo final; la matriz Q
está relacionada con la efectividad con que se realiza la tarea del control (regulación o seguimiento) y la matriz R
está relacionada con el costo o cantidad de energía necesaria para alcanzar el objetivo de control.

op
Por lo tanto, el problema de control óptimo consiste en determinar la señal de control óptima u que genera el
op
vector de trayectorias de estados óptimos x con respecto al índice de desempeño J . Es decir:

min { J ( x, u )} = J ( x op , uop ) ⇒ u op = −K op x op

Lo anterior también se puede aplicar cuando se desea maximizar el índice de desempeño, en cuyo caso se puede
replantear mediante el índice de desempeño negativo. Es decir:

max { J ( x, u )} = min {− J ( x, u )}

Por otro lado, es fundamental que el control óptimo resultante también garantice la estabilidad. Sin embargo, en

Introducción al Control Óptimo | 12 de diciembre de 2016

problemas de control óptimo usualmente se utiliza el criterio de estabilidad de Lyapunov, que considera el análisis de
funciones escalares cuadráticas (como las que se utilizan en los índices de desempeño) de modo tal que la funcional:

 p11 p12 ⋯ p1n   x1 

p p22 ⋯ p2 n   x2 
V ( x ) = xT Px = [ x1 x2 ⋯ xn ]  12  
 ⋮ ⋮ ⋱ ⋮  ⋮ 
  
 p1n p2 n ⋯ pnn   xn 

Sea definida positiva; es decir, V ( x) > 0 para todo t > 0 y V ( x) = 0 solo para x = x0

Así mismo, también se puede decir que V (x) es definida positiva si la matriz P es no singular, simétrica (o en
general Hermítica) y todos sus menores principales sucesivos son positivos. Es decir:

2
 p11 p12 ⋯ p1n
p11 p12 p12 p22 ⋯ p2 n
p11 > 0; > 0; ⋯ ; >0
p12 p22 ⋮ ⋮ ⋱ ⋮
p1n p2 n ⋯ pnn

Por lo tanto, es correcto decir también que P es definida positiva.

Por otro lado, se dice que V (x) es semidefinida positiva si V (x) ≥ 0 para todo t ≥ 0 ; o bien si la matriz P es
singular, simétrica y por lo tanto algunos de sus menores principales pueden ser cero y el resto (al menos uno) mayor
a cero. Finalmente, una función V (x) es definida negativa o semidefinida negativa si −V (x) es definida positiva o
semidefinida positiva respectivamente.

Ejemplos:

1 0   x1 
1. V (x) = [ x1 x2 ]     = x12 + 2 x22 ; es definida positiva
0 2   x2 

1 0   x1 
2. V (x) = [ x1 x2 ]     = x12 ; es semidefinida positiva
0 0   x2 

1 0   x1 
3. V (x) = [ x1 x2 ]    x  = x1 − 2 x2 ; es indefinida
2 2

 0 −2  2

Estabilidad en el sentido de Lyapunov

Para entender el concepto general de estabilidad en sentido de Lyapunov, considérese la región esférica S (δ )
Introducción al Control Óptimo | 12 de diciembre de 2016

definida mediante la norma euclidiana entre el estado inicial x0 y el estado de equilibro xeq ; es decir:

x0 − x eq ≤ δ

1
= ( x01 − x1eq ) + ( x02 − x2eq ) + ⋯ + ( x0 n − xneq ) 
2 2 2 2
Donde: x0 − x eq
 

Así mismo, considerando como solución las trayectorias descritas por Φ(t , x) , se define también la región esférica
S ( ε ) para todo t ≥ 0 mediante:

Φ(t , x) − xeq ≤ ε

3
Se dice que un estado de equilibrio x eq es estable en sentido de Lyapunov si existe una región S ( δ ) tal que todas
las trayectorias solución Φ(t , x) que inician en x 0 ∈ S ( δ ) no se alejan de S ( ε ) conforme el tiempo se
incrementa indefinidamente; es decir, Φ(t , x) ∈ S ( ε ) para todo t ≥ 0

Adicionalmente, si todas las trayectorias que empiezan en S ( δ ) convergen al punto de equilibrio sin apartarse de
S ( ε ) entonces se dice que x eq es asintóticamente estable en sentido de Lyapunov. Este concepto de estabilidad es
local, ya que si se consideran todas las soluciones posibles originadas por cualquier condición inicial x0 en el
espacio de estados, la estabilidad asintótica global se establece cuando todas las trayectorias convergen al estado de
equilibrio y en consecuencia solo existe un estado de equilibrio. En la figura 7.1 se muestran ejemplos de trayectorias
características para un sistema estable, estable en sentido asintótico e inestable en sentido de Lyapunov.

Figura 7.1. Ejemplos de trayectorias características para un sistema estable, asintóticamente estable e inestable
en sentido de Lyapunov

Cabe mencionar que la estabilidad bajo este criterio es local, debido a que se restringe únicamente a los estados
iniciales dentro de la esfera S (δ ) ; sin embargo, cuando esta condición se cumple para todo estado inicial posible

Introducción al Control Óptimo | 12 de diciembre de 2016

dentro del espacio de estados, en ese caso la estabilidad (o estabilidad asintótica) se considera global.

Estabilidad de Lyapunov en sistemas LTI

Considérese el sistema LTI descrito mediante la ODE autónoma:

xɺ = Ax

Donde se asume que A es no singular y por lo tanto su estado de equilibrio es el origen x = 0

Analizando la función escalar cuadrática (candidata de Lyapunov):

V (x) = xT Px

Donde P es una matriz definida positiva. Por lo tanto, de la derivada de la función V (x) se tiene que:

Vɺ (x) = xɺ T Px + xT Pxɺ = ( Ax ) Px + xT P ( Ax ) = xT ( AT P + PA ) x
T

4
 Una condición necesaria y suficiente para garantizar la estabilidad asintótica mediante la función V ( x) definida
positiva es que Vɺ (x) sea definida negativa y en consecuencia decreciente. Es decir:

Vɺ (x) = −xT Qx

Donde: Q = − ( AT P + PA ) es una matriz definida positiva.

En general el método de Lyapunov consiste en especificar primero la matriz Q definida positiva y posteriormente si
existe la matriz simétrica P definida positiva, entonces el sistema es asintóticamente estable. Nota: en ocasiones
también se suele definir la matriz Q como semidefinida positiva para garantizar al menos la estabilidad en sentido
de Lyapunov.

Regulador Lineal Cuadrático (LQR)

Considérese el sistema no autónomo descrito mediante las ecuaciones de estado:

xɺ = Ax + Bu
y = Cx

Si se desea obtener la ley de control que minimiza el índice de desempeño:

∞
J ( x, u ) = ∫ ( xT Qx + uT Ru )dt
0

Donde se observa que la matriz S = 0 ; es decir, J no depende del problema del tiempo mínimo final y además la
integral está definida de cero a infinito. Por lo tanto, a éste problema de control óptimo le conoce como de horizonte
infinito. Suponiendo que se define la función candidata de Lyapunov V (x) = xT Px , se tiene entonces que:
Introducción al Control Óptimo | 12 de diciembre de 2016

Vɺ (x) = xɺ T Px + xT Pxɺ = ( Ax + Bu ) Px + xT P ( Ax + Bu ) = xT ( AT P + PA ) x + uT BT Px + xT PBu

T

Tomando en cuenta la Ecuación Algebraica de Riccati (ARE):

AT P + PA = −Q + PBR −1BT P

Se tiene que:

Vɺ (x) = − xT Qx + xT PBR −1BT Px + uT BT Px + xT PBu + uT Ru − uT Ru

Vɺ (x) = −  xT Qx + uT Ru  + ( BT Px + Ru ) R −1 ( BT Px + Ru )
T

Por lo tanto:

∞ ∞ ∞

∫ Vɺ (x)dt = − ∫ x Qx + u Ru  dt + ∫ ( B Px + Ru ) R ( B Px + Ru ) dt
T T T T −1 T

0 0 0

5
 ∞
V (∞) − V (0) = − J + ∫ ( BT Px + Ru ) R −1 ( BT Px + Ru ) dt
0 T

∞
⇒ J = xT (0)Px(0) + ∫ ( BT Px + Ru ) R −1 ( BT Px + Ru ) dt
T

Donde se observa que el segundo término del lado derecho de la igualdad es no negativo y en consecuencia, el
mínimo se obtiene cuando:

u = − R −1BT Px = −Kx

Es decir: K op = R −1BT Px ; donde P es la solución única de la ecuación algebraica de Riccati (ARE) y K op

proporciona la ley óptima de retroalimentación de estados que minimiza el índice de desempeño J .

Finalmente, una condición necesaria y suficiente para que la ley de control óptima de regulación por
retroalimentación de estado sea asintóticamente estable en sentido de Lyapunov es que la matriz R sea definida
positiva y que la matriz Q sea definida o semidefinida positiva.

Ejemplo 1: Considérese un sistema electromecánico descrito por las ecuaciones de estado

 xɺ1  0 1   x1  0 
 xɺ  0 −1  x  + 1  u
 2  2  
x 
y = [1 0]  1 
 x2 

Determinar la ley de control óptimo que minimice el índice de desempeño de horizonte infinito

Introducción al Control Óptimo | 12 de diciembre de 2016

∞
J = ∫ u 2 + x12 + x22  dt
0

Solución:

Nótese que las matrices Q = I y R = 1 ; por lo tanto se requiere determinar P tal que se satisface:
T
0 1   p11 p12   p11 p12  0 1  1 0   p11 p12  0  p p12  0 0 
0 −1  p + + − [ 0 1]  11 =
   12 p22   p12 p22  0 −1 0 1   p12   
p22  1   p12 p22  0 0 

De donde se obtienen las ecuaciones simultáneas:

p122 − 1 = 0 ; 2 ( p12 − p22 ) − p22

2
+1 = 0 ; p11 = p12 + p12 p22

6
 Las posibles soluciones que satisfacen la ARE son:

 0 −1  −2 1   2 1
P= ; P= ; P= 
 −1 1   1 −3 1 1
De donde se observa que la última matriz solución es definida positiva, por lo tanto:

 2 1
K = R −1BT Px = [ 0 1]   = [1 1]
1 1

0 1  0 0 1  0 0  0 1 
Finalmente: A − BK =   −   [1 1] =  − = 
0 −1 1  0 −1 1 1   −1 −2 

det [ sI − A + BK ] = s 2 + 2s + 1 = ( s + 1) 2 = 0

Obsérvese que las matrices Q ∈ ℝ n×n y R ∈ ℝ m×m son en realidad los parámetros de sintonía del problema de
control óptimo, por lo que definiendo Q = C C y R = α I con α >0
T
se pretende obtener un equilibrio entre la
energía de la planta y la entrada; obteniéndose:

∞
J = ∫  y (t ) + α u (t )  dt
2 2
 
0

De ese modo, se tiene que para α pequeña, la convergencia de y → 0 es más rápida pero con señales de control
grandes (controlador de alta ganancia) y cuando α es grande la convergencia no es tan rápida pero con señales de
control más pequeños.
Introducción al Control Óptimo | 12 de diciembre de 2016

Ejemplo 2. Considérese el sistema barra esfera descrito por las ecuaciones:

 xɺ1  0 1   x1  0 
 xɺ  = 0 0   x  + 7  u
 2   2  

x 
y = [1 0]  1 
 x2 

Calcular la matriz de ganancias por retro de estado tal que se minimice la funcional de costo:

∞
J = ∫  x12 + α u 2  dt
0

Considere diferentes valores del parámetro α = {1, 0.1, 0.01}

7
Solución:

1 0
Nótese que las matrices Q=  y R = α ; por lo tanto se requiere determinar P tal que se satisface:
0 0

AT P + PA + Q − PBR −1BT P = 0

Utilizando el comando LQR en MATLAB se obtienen:

 0.5345 0.1429 
P=  ; para α = 1
 0.1429 0.0764 

0.3006 0.0452 
P=  ; para α = 0.1
0.0452 0.0136 

0.1690 0.0143
P=  ; para α = 0.01
 0.0143 0.0024 

De donde se calcula la matriz de retro de estados para cada caso. Es decir: K = R −1BT Px

K = [1 0.5345] ; para α = 1

K = [3.1623 0.9505] ; para α = 0.1

K = [10 1.6903] ; para α = 0.01

En la figura 7.2 se comparan las diferentes respuestas para cada caso, así como también se comparan las diferentes

Introducción al Control Óptimo | 12 de diciembre de 2016

señales de control para cada caso.

Figura 7.2. Comparación entre diferentes señales de entrada y salida

con distintos valores del parámetro α

8
 Estimador Cuadrático Lineal (LQE)

El problema del observador óptimo es el dual del problema del regulador óptimo. Sin embargo, los observadores
óptimos presentan un comportamiento estocástico debido a que se consideran óptimos para la estimación de estados
en presencia de ruidos Gaussianos que corrompen las medidas de las salidas y el estado. En la figura 7.3 se muestra
un esquema de un sistema con observador de estado y señales de ruido en las mediciones de los estados y de la
salida.

Figura 7.3. Sistema en espacio de estados con observador de estado

y ruido en las mediciones del estado y la salida
Introducción al Control Óptimo | 12 de diciembre de 2016

Donde las señales η y ν son procesos Gaussianos estocásticos de media cero no correlacionados en el tiempo ni
entre sí y que además poseen las siguientes covarianzas respectivamente:

E ( ηηT ) = QO ; E (νν T ) = R O

En este caso, es posible diseñar un observador óptimo cuadrático lineal (LQE) de la forma:

e ( y − Cx )
xɺɶ = Axɶ + Bu + K op ɶ

−1
e = PC R O y P es la solución de la ARE:
K op T
Donde:

AP + PAT + QO − PCT R O−1CP = 0

Es usual definir QO y R O como parámetros de diseño, de modo que es común asignar QO = BBT y R O = β I

9
En consecuencia, para valores de β ≫ 1 se obtienen dinámicas del observador retroalimentado lentas y para valores
relativamente pequeños de β se tiene mayor peso en la señal de salida, lo que lleva consigo una mayor velocidad de
convergencia pero a un mayor costo de error (lo que implica un mayor esfuerzo en el observador de estados). El LQE
en régimen permanente también es conocido como filtro de Kalman.

Ejemplo 3.

Diseñar el filtro de Kalman que minimice el índice de desempeño:

∞
J = ∫ 100e32 + β ye2  dt
0

Para el sistema descrito por las ecuaciones:

 xɺ1  0 1 0   x1   0 
 xɺ  = 0 −1 200   x  +  0  u
 2   2  
 xɺ3  0 −5 −100   x3  10 
 x1 
y = [ −0.21 0 0]  x2 
 
 x3 

Donde: e3 = x3 − xɶ3 ; ye = y − yɶ

Solución:

Introducción al Control Óptimo | 12 de diciembre de 2016

Nótese que las matrices para la ARE son

0 0 0 
QO = 0 0 0 
0 0 100 

RO = β

Por lo tanto se determina la matriz definida positiva P tal que se satisface la ARE:

AP + PAT + QO − PCT R O−1CP = 0

10
 Utilizando el comando LQR en MATLAB para calcular el LQE se obtiene:

 8.526 1.603 −0.079 

P =  1.603 17.99 0.09  ; para β = 1
 −0.079 0.09 0.495 

 2.6143 1.507 −0.073

P =  1.507 17.96 0.092  ; para β = 0.1
 −0.073 0.092 0.495 

 0.7608 1.2763 −0.0607 

P =  1.2763 17.701 0.1065  ; para β = 0.01
 −0.0607 0.1065 0.4946 

De donde se calcula la matriz de ganancias del filtro de Kalman para cada caso mediante:

K e = PCT R O−1

Es decir:

 −1.7906 
K e =  −0.3367  ; para β = 1
 0.0166 

 −5.49 
K e =  −3.1647  ; para β = 0.1
Introducción al Control Óptimo | 12 de diciembre de 2016

 0.1545 

 −15.977 
K e =  −26.8028 ; para β = 0.01
 1.275 

En la figura 7.3 se comparan las diferentes estimaciones de β para cada estado cuando las condiciones iniciales son:

 − π2 
 
x0 =  0 
0
 

11
 Introducción al Control Óptimo | 12 de diciembre de 2016

Figura 7.3. Comparación entre diferentes estimaciones de los estados

con distintos valores del parámetro β

12
 Como se observa, entre más pequeño es el parámetro β más rápida se obtiene la convergencia de estimación pero a
su vez eso también aumenta la amplitud del error, lo que se traduce en un mayor esfuerzo para la estimación de
estados. En conclusión se debe encontrar un balance entre rapidez de estimación y el error máximo de estimación.

Problemas propuestos

Considérese el sistema del péndulo invertido de la figura 15

Figura 15. Esquema de un péndulo invertido

Donde las ecuaciones de movimiento linealizadas alrededor del punto de equilibrio inestable θ eq = 0 son:

mc ℓθɺɺ = ( mc + m p ) gθ − u
Introducción al Control Óptimo | 12 de diciembre de 2016

xc = u − m p gθ
mc ɺɺ

I. Diseñar un compensador regulador óptimo considerando condiciones iniciales diferentes de cero en θ

II. Diseñar un compensador seguidor óptimo tipo 1 para la posición del carro xc ; manteniendo regulada la
posición del péndulo invertido. Simular su respuesta para diferentes valores de referencia rxc .

III. Diseñar un filtro de Kalman completo para el sistema de control regulador y simular sus resultados. Obtener
las gráficas comparativas entre los estados reales y sus estimados.

IV. Diseñar un filtro de Kalman completo para el sistema de control seguidor tipo 1 y simular sus resultados.
Obtener las gráficas comparativas entre los estados reales y sus estimados.

V. Diseñar un filtro de Kalman de orden mínimo considerando que se pueden medir tanto la posición angular del
péndulo como la posición traslacional del carro. Validar sus resultados mediante simulación.

Nota: g = 9.8  m/seg 2  ; ℓ = 0.5 [ m ] ; m p = 0.16 [ Kg ] ; mc = 0.48 [ Kg ] ;

13