UNIVERSIDAD AUTÓNOMA DE NUEVO LEÓN

FACULTAD DE INGENIERÍA MECÁNICA Y ELÉCTRICA

DEPARTAMENTO DE ELECTRÓNICA Y AUTOMATIZACIÓN

CLASE DE CONTROL ÓPTIMO

PROGRAMA DEL CURSO: BIBLIOGRAFÍA:

1. Introducción  Kirk, D.E. (1998), Optimal Control Theory, USA:

2. Solución general al problema de control
óptimo
3. Regulación óptima de sistemas lineales
utilizando criterios cuadráticos
4. Consideraciones particulares en regulación
óptima
5. Control óptimo de seguimiento en sistemas
lineales utilizando criterios cuadráticos
6. Ejemplos de aplicación
CONOCIMIENTOS BASE REQUERIDOS:
*Álgebra lineal: Operaciones y propiedades con
vectores y matrices.
*Cálculo diferencial, derivadas parciales.
*Programación en Scilab, Python u otros
lenguajes.
*Implementación de circuitos electrónicos.
Prentice Hall.
 Anderson, B.O., Moore, J.B. (1971), Linear Optimal
Control, USA: Prentice Hall.
 Kinder, J.M., Nelson, P. (2015), A student’s guide to
Python for physical modeling, USA: Princeton press.
 Geering, H.O (2007), Optimal Control with
Engineering Applications, USA: Springer.
 Sussman, H.P., Willems, J.C. (1997), 300 years of
optimal control: From the brachistochrone to the
Maximum Principle, IEEE Control Systems
Magazine, 17(3), pp. 32-44.
 Savov, I. (2017), Linear Algebra explained in 4
pages, recuperado de
https://minireference.com/blog/linear-algebra-tutorial

EVALUACIÓN DEL CURSO:

*Evaluación en ordinario =
Actividades formativas 30%
Examen de medio curso 30%
PIA 40%

*Evaluación extraordinaria = Examen 100%

Reglamento de evaluaciones U. A. N. L.
Artículo 81.- El estudiante que no apruebe la
primera oportunidad, solo podrá participar en el
proceso de evaluación de segunda oportunidad si
cumple con al menos el 70% de las actividades
establecidas en el programa analítico de la unidad
de aprendizaje correspondiente, en caso contrario
se asentará en la minuta de segunda oportunidad
las siglas NC, que significa “No Cumplió”, lo que
equivale a una calificación no aprobatoria.

Dr. Juan Ángel Rodríguez Liñán

FIME-UANL 2022
linan.fime@yahoo.com
http://pandora.fime.uanl.mx/~linan/
 Apuntes de Control Óptimo Dr. Juan Ángel Rodríguez Liñán

APUNTES DE CONTROL ÓPTIMO

Autor: Dr. Juan Ángel Rodríguez Liñán

CAPÍTULO 1 - Introducción
1.1 El problema de control óptimo

El diseño en los sistemas de control clásico es generalmente un proceso de prueba y error, en el cual
varios métodos de análisis son utilizados iterativamente para determinar los parámetros de diseño de
un sistema “aceptable”. El desempeño aceptable puede ser definido en términos de criterios en el
dominio del tiempo y de la frecuencia, tales como, tiempo característico, pico de sobrepaso, margen de
ganancia y de fase, ancho de banda, etcétera. Sin embargo, criterios de desempeño diferentes pueden
ser satisfechos utilizando técnicas de control moderno.

Fig. 1. En un sistema de control, ¿cuál ganancia es óptima?

1
Departamento de Electrónica y Automatización, FIME, UANL.
 Apuntes de Control Óptimo Dr. Juan Ángel Rodríguez Liñán

Objetivo del control óptimo:

Determinar la señal de control que provocará que un proceso satisfaga las restricciones físicas, y a la
vez minimice (o maximice) algún criterio de desempeño.

La formulación del problema de control óptimo requiere:

 Una descripción matemática del proceso a controlar.
 Enunciados matemáticos de las restricciones físicas.
 Especificaciones de un criterio de desempeño.

Fig. 2. Paraboloide dado por f(x,y)=-(x²+y²)+4. El máximo global en (0,0,4) está indicado por un punto rojo.

1.2 Modelo en espacio de estados

El objetivo es obtener la más simple descripción que prediga “adecuadamente” la respuesta del
sistema físico para toda entrada anticipadamente. Se utilizan sistemas descritos por ecuaciones
diferenciales ordinarias en Espacio de Estados.
x1(t),x2(t),…,xn(t) son las variables de estado del proceso en t, y u1(t),u2(t),…,um(t) las entradas de
control al proceso en t, y el sistema es descrito por n ecuaciones diferenciales:
x1 (t )  f1 ( x1 (t ), x2 (t ),..., xn (t ), u1 (t ), u2 (t ),..., um (t ), t )
x2 (t )  f 2 ( x1 (t ), x2 (t ),..., xn (t ), u1 (t ), u2 (t ),..., um (t ), t )

xn (t )  f n ( x1 (t ), x2 (t ),..., xn (t ), u1 (t ), u2 (t ),..., um (t ), t )

dx
donde x  . Definamos
dt

2
Departamento de Electrónica y Automatización, FIME, UANL.
 Apuntes de Control Óptimo Dr. Juan Ángel Rodríguez Liñán

 x1 (t )  u1 (t ) 
 x (t )  u (t ) 
x(t )   2  como el vector de estados, y u (t )   2  como el vector de control.
   
   
 xn (t )  um (t ) 
Las ecuaciones de estado pueden ser escritas como una función f  , x  f ( x (t ), u (t ), t ) .
n

*El estado del sistema es un conjunto de cantidades x1(t), x2(t),..., xn(t), que si son conocidas en
t=t0, están definidas para t  t0 por las entradas especificadas para el sistema para t  t0 .

CLASIFICACION DE SISTEMAS

Los sistemas son clasificados como:

-Sistemas no lineales y variantes en el tiempo.
x (t )  f ( x(t ), u (t ), t )
-Sistemas no lineales e invariantes en el tiempo.
x (t )  f ( x (t ), u (t ))
-Sistemas lineales y variantes en el tiempo.
x (t )  A(t ) x (t )  B (t )u (t ) , donde A(t), y B(t) son matrices con elementos variantes en el tiempo.
-Sistemas lineales e invariantes en el tiempo.
x (t )  Ax(t )  Bu (t ) , donde A y B son matrices de parámetros independientes del tiempo.

Ecuación de salida.
Las cantidades físicas que pueden ser medidas son denotadas por y1(t),y2(t),…,yq(t). Ejem. Salida
lineal y (t )  Cx(t )  Du (t ) .

Ejemplo. Se tiene un vehículo estacionado en O, se quiere que recorra la distancia d(t) a partir
de O, utilizando el acelerador y el freno, y que se detenga en e.

O d e

Modelo, d( t )   ( t )   (t ) , si x1 ( t )  d ( t ) y x2 (t )  d (t ) , y u1 (t )   ( t ) y u 2 ( t )   ( t ) .
0 1  0 0 
Entonces, x (t )    x(t )    u (t ) es el modelo en espacio de estados.
0 0 1 1 

Restricciones:
x1 (t0 )  0 x2 (t0 )  0 0  u1 (t )  M 1
x1 (t f )  e x2 (t f )  0  M 2  u 2 (t )  0
tf

  k u (t )  k x (t ) dt  G
1 1 2 2 3
Departamento de Electrónica y Automatización, FIME,t0 UANL.
 Apuntes de Control Óptimo Dr. Juan Ángel Rodríguez Liñán

*Un historial de los valores de la entrada de control durante el intervalo [t0,tf] es denotado por u,
y es llamado historial de control, o simplemente control.
*Un historial de los valores del estado en el intervalo [t0,tf] es llamado trayectoria de estado y es
denotado por x.
*Un historial de control que satisface las restricciones durante todo el intervalo [t0,tf] es llamado
control admisible.
*Una trayectoria de estado que satisface las restricciones de las variables de estado durante todo
el intervalo [t0,tf] es llamada trayectoria de estado admisible.
* El estado final de un sistema se situará en una región (n+1)-dimensional del espacio estado-
tiempo llamada Conjunto objetivo S.

1.3 Criterios de desempeño

Con la finalidad de evaluar el desempeño de un sistema cuantitativamente, se elige un índice de

desempeño, el cual asigna un valor único a cada trayectoria del sistema. Un control óptimo está
definido como uno que minimiza (o maximiza) el índice de desempeño. En ciertos casos el
planteamiento del problema puede indicar claramente que índice seleccionar, mientras en otros
problemas la selección es algo subjetivo.

Problema de tiempo mínimo

tf
J  t f  t0  t t f   dt
t
0 t0

Con tf como el primer instante de tiempo cuando x(t) interseca a S.

Problemas de Control de seguimiento

Minimizar la desviación del estado x(t) del sistema de su valor deseado r(t) en todo tiempo, esto es
minimizar el error e= x(t) - r(t), mediante el criterio dado por
tf
J   e(t )dt .
t0

Sin embargo, un sistema con respuesta subamortiguada podría dar lugar a una cancelación de áreas
bajo la curva del error e, y así aparentar buen desempeño. Para evitar este problema, sólo se
consideran variables positivas, para lo cual son comunes índices de desempeño que consideran el
módulo del error
tf
J   e(t ) dt ,
t0
tf
o los criterios de desempeño cuadráticos J  t0
e 2 (t ) dt .
n

[ x (t )  r (t )]
2
Para errores en forma de vector, y puesto que e (t ) 
2
i i , entonces podemos escribir
i 1

 
tf  n 
J    [ xi (t )  ri (t )]2  dt   [ x(t )  r (t )]T [ x(t )  r (t )]dt   [ x(t )  r (t )] dt .
tf tf 2
t0
 i 1  t0 t0

4
Departamento de Electrónica y Automatización, FIME, UANL.
 Apuntes de Control Óptimo Dr. Juan Ángel Rodríguez Liñán

En general, es posible agregar factores de peso mediante una matriz Q semidefinida positiva1:
[ x(t )  r (t )] Q[ x(t )  r (t )]dt    [ x(t )  r (t )] dt
tf tf
J  T 2
Q
(0.1)
t0 t0

Problemas de Control terminal

Minimizar la desviación del estado x(tf) del sistema de su valor deseado r(tf) en tiempo final tf, esto es
minimizar el error e(tf )= x(tf) - r(tf), mediante el criterio dado por
n
J   [ xi (t f )  ri (t f )]2  [ x(t f )  r (t f )]T [ x(t f )  r (t f )]  [ x(t f )  r (t f )]
2

i 1

y en forma general ponderada mediante una matriz H semidefinida positiva, esto es

2
J  [ x(t f )  r(t f )]T H[ x(t f )  r (t f )]  [ x(t f )  r (t f )] .
H

Problema de minimización del esfuerzo de control

Transferir los estados de un sistema, desde un estado inicial arbitrario x(t0) a un conjunto objetivo S
con un mínimo de gasto de la “energía” del control. El criterio de desempeño podría seleccionarse
como
tf
J   u (t ) dt
t0

tf m 
Si hay varios controles, J      i ui (t )  dt .
t0
 i 1 
tf
También se utiliza el criterio cuadrático J  t0
u 2 (t ) dt , o para varias entradas,

u (t ) Ru (t )dt    u(t ) dt

tf tf
J 
2
T
R
(0.2)
t0 t0

donde R es una matriz definida positiva2 de peso.

Si el historial de control u(t) no están acotados, minimizar (0.1) resultará en impulsos en las señales de
control ui(t) y sus derivadas. Para evitar este problema, se utiliza el criterio de desempeño

 [ x(t )  r (t )] dt ,
tf
J 
2 2
Q
 u (t ) R
t0

y si además es muy importante que los estados estén muy cerca de su valor deseado en el tiempo
final, entonces,

 [ x(t )  r (t )] dt
2 tf

2 2
J  [ x(t f )  r (t f )] Q
 u (t ) R
(0.3)
H t0

El problema de regulación en el origen es un caso particular del problema de seguimiento, ya que es el

caso en que la referencia r(t) es cero.

Un video que ilustra los conceptos del control óptimo está en: https://youtu.be/E_RDCFOlJx4=

1
Una matriz simétrica M es semidefinida positiva si zTMz≥0 para todo z≠0. Ejemplo, matriz diagonal con elem.
diag. no negativos.
2
Una matriz simétrica M es definida positiva si zTMz>0 para todo z≠0. Ejemplo, matriz diagonal con elem. diag.
positivos.
5
Departamento de Electrónica y Automatización, FIME, UANL.
 Apuntes de Control Óptimo Dr. Juan Ángel Rodríguez Liñán

CAPÍTULO 2 - Solución general al problema de control óptimo

.
2.1 Objetivo

El objetivo es encontrar un control admisible u* que logre que el sistema x (t )  f ( x(t ), u (t ), t )

siga una trayectoria admisible x* que minimice el índice de desempeño
tf
J  h( x(t f ), t f )   g ( x (t ), u (t ), t )dt
t0

Cuando decimos que u* minimiza el criterio de desempeño, significa que

tf tf
J *  h( x *(t f ), t f )   g ( x *(t ), u * (t ), t )dt  h ( x (t f ), t f )   g ( x (t ), u (t ), t )dt
t0 t0

La desigualdad significa que un control óptimo, y su trayectoria, provocan que el criterio de

desempeño tenga un valor menor o igual al criterio de desempeño evaluado por cualquier otro
control admisible y trayectoria resultante.

Se busca el mínimo global, no sólo un mínimo local, para obtener el mínimo global se
determinan todos los mínimos locales y se toma el que produce el valor más pequeño para J.

Si puede encontrarse una relación de la forma u*(t)=k(x(t),t) para el control óptimo en tiempo t,
entonces la función k es llamada la ley de control óptimo.

Esto implica que k(·) es una regla que determina el control óptimo en tiempo t para cualquier
valor de estado (admisible) en tiempo t. Una técnica para calcular el control óptimo es la
siguiente.

2.2 Optimización con restricciones algebraicas y criterios de costo estáticos aplicando

multiplicadores de Lagrange

Ejemplo: ¿Cuál es el punto de la recta 𝑥 + 𝑦 = 5 más cercano al origen?

6
Departamento de Electrónica y Automatización, FIME, UANL.
 Apuntes de Control Óptimo Dr. Juan Ángel Rodríguez Liñán

|𝑂𝐴| = |𝐴 − 𝑂|
|𝑂𝐴| = (𝑥 − 0) + (𝑦 − 0)
|𝑂𝐴| = 𝑥 + 𝑦

𝐽(𝑥, 𝑦) = 𝑥 + 𝑦 = |𝑂𝐴|

¿Cuáles son los valores (𝑥 ∗ ,𝑦 ∗ ) tales que J(x*,y*)=min(J(x,y))?

Para resolver el problema de cuál es el punto de la recta 𝑥 + 𝑦 = 5 más cercano al origen, se puede
buscar una solución calculando los extremos de la función de costo:

𝜕𝐽 𝜕𝐽
𝑑𝐽 = 𝑑𝑥 + 𝑑𝑦 = 0
𝜕𝑥 𝜕𝑦
𝜕𝐽
= 2𝑥 = 0
𝜕𝑥
𝜕𝐽
= 2𝑦 = 0
𝜕𝑦
Pero esto, da una solución trivial {x=0, y=0} que no considera la restricción 𝑥 + 𝑦 = 5.

Por ello, se procede de la siguiente manera incluyendo la restricción 𝑓(𝑥, 𝑦) = 0:

𝐽 (𝑥, 𝑦, 𝑝) = 𝐽(𝑥, 𝑦) + 𝑝[0]

𝐽 (𝑥, 𝑦, 𝑝) = 𝐽(𝑥, 𝑦) + 𝑝[𝑓(𝑥, 𝑦)]
𝐽 (𝑥, 𝑦, 𝑝) = 𝑥 + 𝑦 + 𝑝[𝑥 + 𝑦 − 5]
𝐽 (𝑥, 𝑦, 𝑝) = 𝑥 + 𝑦 + 𝑝𝑥 + 𝑝𝑦 − 5𝑝

𝜕𝐽 𝜕𝐽 𝜕𝐽
𝑑𝐽 = 𝑑𝑥 + 𝑑𝑦 + 𝑑𝑝 = 0
𝜕𝑥 𝜕𝑦 𝜕𝑝
𝜕𝐽
= 2𝑥 + 𝑝 = 0
𝜕𝑥
𝜕𝐽
= 2𝑦 + 𝑝 = 0
𝜕𝑦
𝜕𝐽
=𝑥+𝑦−5=0
𝜕𝑝
Resolviendo las 3 ecuaciones lineales simultáneas, se obtiene la solución mínima que además
satisface a la restricción:
𝑥 ∗ = 2.5
𝑦 ∗ = 2.5
𝑝∗ = −5
Que produce 𝐽(𝑥, 𝑦) = 2.5 + 2.5 = 12.5 y la distancia |𝑂𝐴| = 3.535534.

De manera general, el problema consiste en encontrar los valores de (n+m) variables w1,w2,...,wn+m que
optimicen un funcional J, considerando que hay n restricciones de la forma

7
Departamento de Electrónica y Automatización, FIME, UANL.
 Apuntes de Control Óptimo Dr. Juan Ángel Rodríguez Liñán

f1 ( w1 , w2 ,..., wn  m )  0
f 2 ( w1 , w2 ,..., wn  m )  0

f n ( w1 , w2 ,..., wn  m )  0
entonces, sólo (n+m)-n=m de las variables son independientes. Primero, se forma el funcional
aumentado
J a ( w1 , w2 ,..., wn  m , p1 , p2 ,..., yn )  J ( w1 , w2 ,..., wn  m )  pT [ f1 ( w1 , w2 ,..., wn  m )... f n ( w1 , w2 ,..., wn m )]
 J ( w1 , w2 ,..., wn  m )
 p1[ f1 ( w1 , w2 ,..., wn  m )]  ...  pn [ f n ( w1 , w2 ,..., wn  m )]
donde pi son llamados multiplicadores de Lagrange. El diferencial de Ja es
J a J a J J
dJ a  w1  ...  wn  m  a p1  ...  a pn
w1 wn  m p1 pn
J a J a
 w1  ...  wn  m  f1p1  ...  f n pn
w1 wn  m
Si se satisfacen las restricciones, los coeficientes de p1 ,..., pn son cero, entonces para obtener los
extremos de Ja, se requiere que los coeficientes de todos los términos de dJa sean cero:
fi ( w *1 ,..., w *n m )  0, i  1, 2,..., n
J a
( w *1 ,..., w *n m , p *1 ,..., p *n )  0, j  1, 2,..., n  m
y j
resolviendo 2n+m ecuaciones.

Un ejemplo es el caso analizado de la línea recta.

2.2.1 Restricciones tipo algebraicas y criterios de costo acumulativos

Extendiendo el resultado anterior, determinar un conjunto de condiciones necesarias para que una
función w* sea un extremo de un funcional de la forma
tf
J ( w)   g ( w(t ), w (t ), t )dt ,
t0

donde w es un vector de funciones de dimensión (n+m). Se requiere satisfacer n relaciones algebraicas

fi (w(t ), t )  0, i  1,2,..., n .

Para abordar este problema pueden utilizarse los multiplicadores de Lagrange. El primer paso es
formar el funcional aumentado agregando las restricciones en J, lo cual produce
 g (w(t ), w (t ), t )  p (t )  f (w(t ), t )  p (t )  f ( w(t ), t )   ...  pn (t )  f n ( w(t ), t ) dt
tf
J a ( w, p )   1 1 2 2
t0

g (w(t ), w (t ), t )  p (t )  f ( w(t ), t )dt

tf
 T
t0

Nótese que, si las restricciones son satisfechas, Ja=J para cualquier función p, la variación del funcional
Ja es
8
Departamento de Electrónica y Automatización, FIME, UANL.
 Apuntes de Control Óptimo Dr. Juan Ángel Rodríguez Liñán

tf   g  f 
 J a ( w,  w, p,  p)     ( w(t ), w (t ), t )  pT (t )  ( w(t ), t )    w(t )
  w  w 
t 0

 g  
  ( w(t ), w (t ), t )   w (t )   f T ( w(t ), t )   p(t )  dt
 w  

Integrando por partes el término que contiene  w y reteniendo sólo los términos dentro de la integral,
obtenemos
tf   g  f  d  g 
 J a ( w,  w, p,  p )     ( w(t ), w (t ), t )  p T (t )  ( w(t ), t )    ( w(t ), w (t ), t )    w(t )
0t
  w  w 
 dt  w  (0.4)

  f T ( w(t ), t )   p (t ) dt
En un extremo la variación debe ser cero, esto es,  J a (w*, p)  0 . Puesto que las n restricciones deben
ser satisfechas, entonces los coeficientes de  p (t ) en la ecuación (0.4) son cero:
f ( w * ( t ), t )  0, t  [t0 , t f ] (0.5)
Entonces se eligen los multiplicadores de Lagrange p’s tales que los coeficientes de las n componentes
de  w sean cero. La conclusión es que debe ser satisfecha la ecuación
g  f  d  g 
( w *(t ), w *(t ), t )  p *T (t )  ( w *(t ), t )    ( w *(t ), w *(t ), t )   0
w  w  dt  w 
Si definimos el integrando aumentado como
g a (w(t ), w (t ), p(t ), t )  g ( w(t ), w (t ), t )  pT (t )  f (w(t ), t ) ,
entonces podemos escribir
g a d  g 
(w *(t ), w *(t ), p *(t ), t )   a ( w *(t ), w *(t ), p *(t ), t )   0 (0.6)
w dt  w 
Las n+m ecuaciones (0.6) junto con las restricciones (0.5) constituyen un conjunto de 2n+m
condiciones necesarias para que w* sea un extremo.

2.2.2 Restricciones tipo diferenciales y criterios de costo acumulativos

Determinar un conjunto de condiciones necesarias para que una función w* sea un extremo de un
funcional de la forma
tf
J ( w)   g ( w(t ), w (t ), t )dt
t0

donde w es un vector de funciones con dimensión (n+m), se requiere satisfacer n ecuaciones

diferenciales
fi (w(t ), w (t ), t )  0 i  1,2,..., n .

Se forma el funcional aumentado

9
Departamento de Electrónica y Automatización, FIME, UANL.
 Apuntes de Control Óptimo Dr. Juan Ángel Rodríguez Liñán

 g (w(t ), w (t ), t )  p (t )  f (w(t ), w (t ), t )  p (t )  f ( w(t ), w (t ), t )  ...  pn (t )  f n ( w(t ), w (t ), t ) dt

tf
J a ( w, p)   1 1 2 2
t0

 g ( w(t ), w (t ), t )  p (t )  f ( w(t ), w (t ), t ) dt

tf
 T
t0

Nótese que si las restricciones son satisfechas, Ja=J para cualquier función p(t), la variación del
funcional Ja es
tf   g  f 
 J a ( w,  w, p,  p )     ( w(t ), w (t ), t )  pT (t )  ( w(t ), w (t ), t )    w(t )
  w  w 
t 0

 g  f  
  ( w(t ), w (t ), t )  pT (t )  ( w(t ), w (t ), t )    w (t )   f T ( w(t ), w (t ), t )   p (t )  dt
 w  w  

Integrando por partes el término que contiene  w  y reteniendo sólo los términos dentro de la integral,
obtenemos
t f   g  f  d  g
 J a ( w,  w, p,  p)     ( w(t ), w (t ), t )  pT (t )  (w(t ), w (t ), t )    ( w(t ), w (t ), t )
t0
  w  w  dt  w
(0.7)
 f 
 pT (t )  ( w(t ), w (t ), t )     w(t )   f T ( w(t ), w (t ), t )   p (t ) dt
 w 

En un extremo la variación debe ser cero, esto es,  Ja (w*, p)  0 . Puesto que las n restricciones en
forma de ecuaciones diferenciales
f ( w * (t ), w * (t ), t )  0, (0.8)
deben ser satisfechas, entonces los coeficientes de  p (t ) en la ecuación (0.7) son cero. Entonces, se
eligen los multiplicadores de Lagrange p’s tales que los coeficientes de las n componentes de  w sean
cero. El resultado es que en adición a la ecuación (0.8), debe satisfacerse la ecuación
g  f 
( w * (t ), w * (t ), t )  p *T (t )  ( w * (t ), w * (t ), t ) 
w  w  (0.9)
d  g  f 
 ( w * (t ), w * (t ), t )  p * (t )  ( w * (t ), w * (t ), t )    0
T

dt  w  w 
Si definimos el integrando aumentado como
g a ( w(t ), w (t ), p(t ), t )  g (w(t ), w (t ), t )  pT (t )  f ( w(t ), w (t ), t ) ,
entonces podemos reescribir la ecuación (0.9) como
g a d  g 
(w *(t ), w *(t ), p *(t ), t )   a ( w *(t ), w *(t ), p *(t ), t )   0 (0.10)
w 
dt  w 
Las n+m ecuaciones (0.10) junto con las n restricciones (0.8) constituyen un conjunto de 2n+m
condiciones necesarias para que w* sea un extremo.

Ejemplo: Dado el sistema en espacio de estados:

𝑥̇ = 𝑥 − 𝑥
𝑥̇ = −2𝑥 − 3𝑥 + 𝑢

10
Departamento de Electrónica y Automatización, FIME, UANL.
 Apuntes de Control Óptimo Dr. Juan Ángel Rodríguez Liñán

y el siguiente índice de desempeño

1
𝐽(𝑥, 𝑢) =(𝑥 + 𝑥 + 𝑢 ) 𝑑𝑡
2
obtenga las condiciones necesarias para minimizar J.

Solución: El integrando está dado por

1
𝑔(𝑥, 𝑢) = (𝑥 +𝑥 +𝑢 )
2
Haciendo cambio de variables
𝒙𝟏 = 𝒘 𝟏 , 𝒙 𝟐 = 𝒘 𝟐 , 𝒖 = 𝒘 𝟑
Las restricciones corresponden al sistema de espacios de estados:
𝑓 = 𝑤 − 𝑤 − 𝑤̇ = 0
𝑓 = −2𝑤 − 3𝑤 + 𝑤 − 𝑤̇ = 0

El integrando 𝑔 aumentado es
1 𝑤 − 𝑤 − 𝑤̇
𝑔 = (𝑤 + 𝑤 + 𝑤 ) + [𝑃 𝑃 ]
2 −2𝑤 − 3𝑤 + 𝑤 − 𝑤̇
1 1 1
= 𝑤 + 𝑤 + 𝑤 + 𝑃 𝑤 − 𝑃 𝑤 − 𝑃 𝑤̇ − 2𝑃 𝑤 − 3𝑃 𝑤 + 𝑃 𝑤 − 𝑃 𝑤̇
2 2 2
1 1 1
= 𝑤 − 𝑃 𝑤 − 2𝑃 𝑤 + 𝑤 + 𝑃 𝑤 − 3𝑃 𝑤 + 𝑤 + 𝑃 𝑤 − 𝑃 𝑤̇ − 𝑃 𝑤̇
2 2 2

Se deriva 𝑔 con respecto a cada una de sus variables

𝜕𝑔
= 𝑤 − 𝑃 − 2𝑃
𝜕𝑤
𝜕𝑔
= 𝑤 + 𝑃 − 3𝑃
𝜕𝑤
𝜕𝑔
= 𝑤 +𝑃
𝜕𝑤

𝜕𝑔
= −𝑃
𝜕𝑤̇
𝜕𝑔
= −𝑃
𝜕𝑤̇
𝜕𝑔
= 0
𝜕𝑤̇

𝑑 𝜕𝑔
= −𝑃̇
𝑑𝑡 𝜕𝑤̇
𝑑 𝜕𝑔
= −𝑃̇
𝑑𝑡 𝜕𝑤̇
𝑑 𝜕𝑔
( )= 0
𝑑𝑡 𝜕𝑤̇

Las 2n+m condiciones necesarias para obtener un extremo de J son:

−𝑤 + 𝑃 + 2𝑃 = 𝑃̇
−𝑤 − 𝑃 + 3𝑃 = 𝑃̇

11
Departamento de Electrónica y Automatización, FIME, UANL.
 Apuntes de Control Óptimo Dr. Juan Ángel Rodríguez Liñán

−𝑃 =𝑤

𝑤 −𝑤 = 𝑤̇
−2𝑤 − 3𝑤 + 𝑤 = 𝑤̇

2.2.3 Inclusión de restricciones integrales y con criterios de costo acumulativos

Supóngase que se desea encontrar las condiciones necesarias para que w* sea un extremo de
tf
J ( w)   g ( w(t ), w (t ), t )dt
t0

donde w es un vector de funciones con dimensión (n+m), se requiere satisfacer n restricciones

diferenciales de la forma f ( w * (t ), w * (t ), t )  0 y r restricciones integrales de la forma
tf
 ei ( w(t ), w (t ), t )dt  ci (0.11)
t0

donde ci son constantes.

Estas restricciones pueden ponerse en la forma de ecuaciones diferenciales definiendo nuevas

variables
t
zi (t )   ei ( w(t ), w (t ), t )dt (0.12)
t0

Donde las condiciones de frontera para estas variables son z(t0 )  0 y zi (t f )  ci . Diferenciando
(0.12) con respecto al tiempo obtenemos
zi (t )  ei ( w (t ), w (t ), t ) (0.13)
entonces lo tratamos como un problema con r restricciones de tipo diferenciales. Formando el
integrando aumentado
 f ( w(t ), w (t ), t ) 
g a ( w(t ), w (t ), p(t ), z (t ), t )  g ( w(t ), w (t ), t )  pT (t )  
 e( w(t ), w (t ), t )  z(t ) 
tenemos un conjunto de (n+m)+r ecuaciones
g a d  g 
( w *(t ), w *(t ), p *(t ), z *(t ), t )   a ( w *(t ), w *(t ), p *(t ), z *(t ), t )   0 (0.14)
w dt  w 
g a d  g 
( w *(t ), w *(t ), p *(t ), z *(t ), t )   a ( w *(t ), w *(t ), p *(t ), z *(t ), t )   0 (0.15)
z dt  z 
g a g
Nótese que ga no contiene z(t), así que  0 . Además, a   p * (t ) , entonces la ecuación (0.15)
z z
siempre es
p nk *(t )  0 (0.16)

con k=1,…, r. Las (n+m) ecuaciones (0.14), las n restricciones diferenciales y las r ecuaciones (0.13),
además de las r ecuaciones (0.16), obteniendo así un conjunto de 2n+m+2r condiciones necesarias para
que w* sea un extremo del funcional J.

12
Departamento de Electrónica y Automatización, FIME, UANL.
 Apuntes de Control Óptimo Dr. Juan Ángel Rodríguez Liñán

Ejemplo: Dado el sistema de n estados, criterio de desempeño J y r integrales:

x1  x2 (t )  x1 (t )  u (t ) tf 1 2 tf

x2  2 x1 (t )  3 x2 (t )  u (t )
J ( x, u )  
t0 2
 x1 (t )  x22 (t ) dt t0
u 2 (t )dt  c

obtenga las condiciones necesarias para minimizar J.

Solución: La restricción integral se pasa a forma diferencial:

𝑧(𝑡) = 𝑢 𝑑𝑡 , 𝑧 𝑡 =𝐶

𝑧̇ (𝑡) = 𝑢

Si w1=x1, w2=x2, w3=u, el integrando aumentado queda como:

𝑤 − 𝑤 + 𝑤 − 𝑤̇
1
𝑔 = [𝑤 ]
+ 𝑤 + [𝑃 𝑃 𝑃 ] −2𝑤 − 3𝑤 + 𝑤 − 𝑤̇
2
𝑤 − 𝑧̇
1 1
𝑔 = 𝑤 + 𝑤 + 𝑃 (𝑤 − 𝑤 + 𝑤 − 𝑤̇ ) + 𝑃 (−2𝑤 − 3𝑤 + 𝑤 − 𝑤̇ ) + 𝑃 (𝑤 − 𝑧̇ )
2 2

derivando:
𝜕𝑔 𝜕𝑔 𝑑 𝜕𝑔
= 𝑤 − 𝑃 − 2𝑃 = −𝑃 = −𝑃̇
𝜕𝑤 𝜕𝑤̇ 𝑑𝑡 𝜕𝑤̇
𝜕𝑔 𝜕𝑔 𝑑 𝜕𝑔
= 𝑤 + 𝑃 − 3𝑃 = −𝑃 = −𝑃̇
𝜕𝑤 𝜕𝑤̇ 𝑑𝑡 𝜕𝑤̇
𝜕𝑔 𝜕𝑔 𝑑 𝜕𝑔
= 𝑃 + 𝑃 + 2𝑃 𝑤 =0 =0
𝜕𝑤 𝜕𝑤̇ 𝑑𝑡 𝜕𝑤̇

se obtienen las 2n+m+2r condiciones de optimalidad:

𝑃̇ = −𝑤 + 𝑃 + 2𝑃
𝑃̇ = −𝑤 − 𝑃 + 3𝑃
𝑃̇3=0
−𝑃 − 𝑃
𝑤 =
2𝑃
𝑤̇ = 𝑤 − 𝑤 + 𝑤
𝑤̇ = −2𝑤 − 3𝑤 + 𝑤
𝑧̇ = 𝑤
con 𝑧(𝑡 ) = 0 y 𝑧 𝑡 = 𝐶.

2.3 Ecuación de Hamilton-Jacobi-Bellman

13
Departamento de Electrónica y Automatización, FIME, UANL.
 Apuntes de Control Óptimo Dr. Juan Ángel Rodríguez Liñán

Principio de optimalidad de Bellman: Una ley óptima tiene la propiedad que, para cualquier estado
inicial y decisión inicial, las decisiones posteriores deben seguir constituir una ley óptima en
consideración del estado resultante de la primera decisión.

Para una ruta óptima de un proceso de decisión multi-etapas, suponga que la primera decisión (en a)
resulta en el segmento a-b con un costo Jab, y. Que las decisiones posteriores producen el segmento b-e con
un costo Jbe. El costo mínimo J*ae de a a e es entonces: J*ae= Jab + Jbe.

Por otro lado, un proceso sea descrito por la ecuación de estado

x  f ( x (t ), u (t ), t )
Éste es controlado por una ley de control u(t) de tal manera que se quiere minimizar el índice de
desempeño
tf
J  h( x (t f ), t f )   g ( x ( ), u ( ), )d
t0

donde h y g son funcionales específicos, t0 y tf son fijos, y τ es una variable auxiliar de integración.

Este problema puede verse como una clase de problemas al considerar el criterio de desempeño:
tf
J ( x (t ), t , u ( ))  h ( x (t f ), t f )   g ( x ( ), u ( ), )d (0.17)
t   t f t

donde t puede ser cualquier valor menor o igual a tf, y x(t) puede ser cualquier valor de estado
admisible. Nótese que el índice de desempeño dependerá de valores numéricos para x(t) y t, y del
historial del control optimo en el intervalo [t0,tf].
Ahora, determinaremos los controles que minimizan (0.17) para todas las trayectorias admisibles, y
para todo t  t f . El funcional de costo mínimo es definido como

 tf
J * ( x(t ), t )  min h( x(t f ), t f )   g ( x ( ), u ( ), )d
u ( )
t  t f
t 
Subdividiendo el intervalo, obtenemos

u ( )
t  t f

J * ( x(t ), t )  min h( x (t f ), t f )  
t t

t
gd  
tf

t t
gd 
El principio de optimalidad requiere que
J *( x(t ), t )  min
u ( )
t  t t

t
t t
gd  J * ( x(t  t ), t  t ) , 
donde J * ( x (t  t ), t  t ) es el costo mínimo del proceso para el intervalo t   t    t f con estado
inicial x(t+Δt).
Suponiendo que existe la segunda derivada parcial de J* y que es acotada, podemos expandir
J * ( x (t  t ), t  t ) en una serie de Taylor alrededor del punto (x(t),t).para obtener
 t t 
T
 J *   J * 
J *( x(t ), t )  min   gd  J *( x(t ), t )   ( x(t ), t )  t   ( x(t ), t )   x(t  t )  x(t )  T .O.S .
u ( )
t  t t 
t
 t   x  
Ahora, para un t pequeño

14
Departamento de Electrónica y Automatización, FIME, UANL.
 Apuntes de Control Óptimo Dr. Juan Ángel Rodríguez Liñán

 
T
 J *   J * 
J *( x(t ), t )  min  g ( x(t ), u (t ), t )t  J *( x(t ), t )   ( x(t ), t )  t   ( x(t ), t )   f ( x(t ), u (t ), t )  t  o(t ) 
u ( )
  t   x  
donde o( t ) contiene los términos de orden superior de t que surgen al truncar la serie de Taylor y
de la aproximación de la integral. Ya que los términos J*(x(t),t) y J*t(x(t),t) no dependen de u(t),
podemos sacarlos de la minimización
 J *    J * 
T

0 ( x(t ), t )  t  min  g ( x(t ), u (t ), t )t   ( x(t ), t )   f ( x (t ), u (t ), t )  t  o(t ) 
 t  u ( )
  x  
Dividiendo todo por t y tomando el límite cuando t  0 obtenemos
 J *    J * 
T

0 ( x(t ), t )   min  g ( x(t ), u (t ), t )   ( x(t ), t )   f ( x(t ), u (t ), t )
 t  u ( )   x  
La condición de frontera de esta ecuación diferencial parcial se obtiene de (0.17), cuando t=tf.
J * ( x (t f ), t f )  h ( x (t f ), t f )

Definimos el Hamiltoniano como3

T
 J * 
H ( x(t ), u (t ), J *x , t )  g ( x (t ), u (t ), t )   ( x(t ), t )   f ( x(t ), u (t ), t ) 
 x 
El Hamiltoniano mínimo será entonces,
H ( x(t ), u *( x(t ), J *x , t ), J *x , t )  min H ( x(t ), u (t ), J *x , t )
u (t )
T
 J * 
 g ( x(t ), u *(t ), t )   ( x(t ), t )   f ( x(t ), u *(t ), t )
 x 
Puesto que la minimización del control dependerá de x, J*x, y t. Utilizando estas definiciones
obtenemos la ecuación de Hamilton-Jacobi-Bellman.
J *
0 ( x(t ), t )  H ( x(t ), u *( x(t ), J *x , t ), J *x , t ) .
t

Entonces un funcional de costo óptimo J* deberá satisfacer la ecuación de H-J-B.

 J * 
3
Denotando J x*   ( x (t ), t ) 
 x 
15
Departamento de Electrónica y Automatización, FIME, UANL.
 Apuntes de Control Óptimo Dr. Juan Ángel Rodríguez Liñán

ACTIVIDAD FUNDAMENTAL 1.- Optimalidad y control de procesos dinámicos en general

Suba a NEXUS un ÚNICO archivo PDF en que muestre:

a) Línea del tiempo4 de los conceptos y momentos claves del C.O.
b) Mapa conceptual5 acerca de la optimalidad en procesos dinámicos con que está familiarizado.
c) Tabla de factibilidad y restricciones para aplicar el C.O.
d) Procedimiento para solución de los siguientes problemas aplicando multiplicadores de Lagrange:

1. Un satélite artificial está orbitando alrededor de la Tierra, en una órbita elíptica dada por
x2 y2
  1,
a2 b2
considerando a la Tierra en el origen, con a=20,000 km y b=10,000 km.
a) Encuentre el(los) punto(s) (x*,y*) de la órbita de aproximación más cercano(s) a la Tierra.
b) Verifique que la solución (x*,y*) produce una distancia mínima.

2. Considere el sistema

 x1 (t )  x2 (t )

 x2 (t )   x1 (t )  [1  x1 (t )]x2 (t )  u (t )
2

y el funcional de costo dado por

tf
J ( x, u , t )    x12 (t )  12 x22 (t )  12 u 2 (t ) dt
t0
Determine las condiciones necesarias para calcular una ley de control óptima u*.

3. Considere el sistema

 x1  x2

 x2  x1  x2  u
el funcional de costo dado por
tf
J ( x, u , t )   1
2
 x12 (t )  x22 (t ) dt
t0

4
Una definición y ejemplo de línea del tiempo está en: https://www.ecured.cu/L%C3%ADnea_del_Tiempo
5
Los mapas conceptuales están definidos en fuentes como:
https://es.wikipedia.org/wiki/Mapa_conceptual

Un video de ejemplo de cómo hacer un mapa conceptual está en:

https://youtu.be/q8fvXaUX5f4

Puede utilizar herramientas online gratuitas para hacer su mapa conceptual como:
https://www.canva.com/es_mx/graficas/mapas-conceptuales/ o https://cmap.ihmc.us
16
Departamento de Electrónica y Automatización, FIME, UANL.
 Apuntes de Control Óptimo Dr. Juan Ángel Rodríguez Liñán

y que la energía total consumida es

tf
t0
u 2 dt  C
Determine las condiciones necesarias para calcular una ley de control óptima u*.

Este único archivo PDF entregable, debe tener portada con nombre de la unidad de aprendizaje,
número y nombre de actividad, nombre y número de matrícula de estudiante, hora de clase, nombre
de profesor, fecha de entrega.
Se acepta SÓLO por NEXUS sin excepción, por lo que debe subirlo antes de la fecha y hora de
vencimiento para evitarse contratiempos o fallas de la plataforma.

17
Departamento de Electrónica y Automatización, FIME, UANL.