1

Universidad Nacional de Ingeniería

Informe Previo 4: Espacios de Estados
Grupo N°6
Facultad de Ingeniería Eléctrica y Electrónica (FIEE)
Informe Previo, Sistemas de Control II (EE 648 S)
Alumnos: Gamarra Bautista José - 20181419C
jose.gamarra.b@uni.pe
Ferrua Rua Jhon - 20181307K
jhon.ferrua.r@uni.pe
Medina Palacin Gean Pierre - 20181316J
 gean.medina.p@uni.pe
Lima, Perú

Rebollo, Escuela Politécnica Superior

Resumen.
En el presente informe, analizaremos el modelo
matemático en el dominio del tiempo en los espacios de
estados , de acuerdo a este modelo obtener sus polos que
dominan la dinámica del sistema mediante una ec
característica , y de acuerdo al excitación de la planta
diseñar un vector de ganancias para obtener una nueva
dinámica deseada con nuevos polos dominantes para
nuestro sistema en el dominio del tiempo.
I. OBJETIVOS
- Estudiar en el espacio de estado, el análisis
temporal, la observabilidad y controlabilidad.
- Comprenderá la aplicación del espacio de
estado, aplicará los conocimientos de
controlabilidad y observabilidad.
- Habrá adquirido conocimientos de software
para validar conocimientos teóricos acerca de
los espacios de estado.
- Aplicará los conceptos para hallar los
diagramas temporales.
II. PREGUNTAS Y SOLUCIONES
1. Estado del arte de los espacios de estados.
● “Aprendizaje por refuerzo en espacios de
estados continuos”, Fernando Fernández
Universidad Carlos III de Madrid, PH. D. 1 de
abril de 2003. [1]
RESUMEN: El aprendizaje por refuerzo es un
modelo de aprendizaje que permite implementar
comportamientos inteligentes de forma
automática, sin que el diseñador tenga que
incorporar conocimiento o modelos del dominio
en el que está trabajando. La mayor parte de la
teoría del aprendizaje por refuerzo tiene su
fundamento en la programación dinámica, y, por
tanto, en lo que se denominan funciones de
valor. Estas funciones dan información sobre lo
valioso que es para el desarrollo de una tarea, el
encontrarse en una determinada situación o
estado, e incluso lo valioso que es ejecutar una
determinada acción, dando por hecho que el
sistema se encuentra en un determinado estado.
Estas funciones, generalmente implementadas
como tablas, son utilizadas para obtener de
forma directa la política de acción que debe
guiar el comportamiento del sistema. Sin
embargo, la implementación tradicional de estas
funciones en forma tabular no es práctica
cuando el espacio de estados es muy grande, o
incluso infinito. Cuando se produce esta
situación, se deben aplicar métodos de
generalización que permitan extrapolar la
experiencia adquirida para un conjunto limitado
de estados, a la totalidad del espacio, de forma
que se consigan comportamientos óptimos en
cualquier situación, aunque ésta no hubiera sido
explorada con anterioridad. En la actualidad,
 2
existen dos aproximaciones básicas para respuesta a un escalón unitario y represente
resolver este problema. Por un lado, están la curva de la salida y(t) respecto de t.26
aquellas técnicas que se basan en obtener una
discretización adecuada del espacio de estados,
de forma que el espacio de estados continuo es
traducido a un espacio de estados finito y más
reducido. Por otro lado, están los métodos
basados en implementar las funciones de valor
con algún método supervisado de aproximación
de funciones, como, por ejemplo, una red de
neuronas. En esta tesis doctoral se pretende
desarrollar métodos de aprendizaje por refuerzo - Sabemos que la estructura para el modelo
que sean aplicables en dominios con espacios de sistema usando un vector de estado y de salida
estados continuos, partiendo de las dos usando las matrices dadas:
aproximaciones planteadas anteriormente. Para -
ello, se trata de fundir las ventajas de una y otra
en un método eficaz y eficiente que permita que
el aprendizaje sea un proceso totalmente
automático en el que el diseñador tenga que
incluir la menor cantidad posible de información
sobre la tarea a desarrollar. - Analizamos el servosistema de tipo y de
acuerdo a la señal de excitación ( ley de
● “Programación de espacios de estados con control), tendremos:
Java en asignaturas de inteligencia artificial”,
Lawrence Mandow, Departamento de Lenguajes
y Ciencias de la Computación, Universidad de
Málaga, 4 de septiembre de 2015. [2]

RESUMEN: La representación mediante donde:

espacios de estados es un elemento central en
El vector de ganancias
los cursos sobre inteligencia artificial simbólica.
Las prácticas de programación resultan muy 𝑘 = [𝑘1 𝑘2 𝑘3 ]
importantes para la asimilación de este
concepto. En este trabajo presentamos un En este problema usaremos la estrategia de reubicación
software orientado a objetos en Java diseñado de polos dominantes , ya que deseamos nuevas
para facilitar la asimilación del concepto de ubicaciones de los polos dominantes , antes de ello
espacio de estados y lo comparamos con las verificamos la controlabilidad:
clases proporcionadas para la misma tarea en el
software aima-java. A continuación, se resumen
las ventajas e inconvenientes de ambas 𝑀 = [𝐴 𝐴𝐵 𝐴 𝐵]
2

propuestas, así como la evaluación realizada

sobre un grupo de alumnos.

2. Sea el servosistema de tipo 1 que se

muestra en la Figura 1. Las matrices A, B y - Dado que es una matriz cuadrada y su det ≠ 0 ,
C de la Figura 1 vienen dadas por: ya que los vectores de la matriz son li.
Ahora determinamos los polos que tenemos en el
sistema mediante la ecuación característica, y
hallamos los coeficientes usando la ecuación
característica general:

Determine las constantes de las ganancias

de realimentación k1, k2 y k3, tales que los
polos en lazo cerrado se localicen en
s=-2+j4, s= -2-j4, s=-10. Obtenga la
 3

Finalmente reemplazamos estos valores en (β):

:
Dado que deseamos cambiar la dinámica del sistema ,
hallamos la nueva ecuación característica , tomaremos
sus coeficientes:
(𝑠 + 2 + 𝑗4)(𝑠 + 2 − 𝑗4)(𝑠 + 10) =
3 2
(𝑠 − 𝑝1)(𝑠 − 𝑝2)(𝑠 − 𝑝3) = 𝑠 + 14𝑠 + 60𝑠 + 200
Si la ec característica general es:
3 2
𝑠 + α1𝑠 + α2𝑠 + α3

Entonces tendremos para los coeficientes:

De acuerdo a la ubicación de los nuevos polos
α1=14 , α2=60 , α3=200 dominantes , nuestro sistema de tercer orden se
comportará como de segundo orden ya que los polos
sabemos que nuestro vector de ganancia : conjugados están más cerca al eje imaginario.
−1
𝐾 = 𝐾𝑐𝑐. 𝑇 La nueva respuesta temporal :
−1
𝐾 =[α3 − 𝑎3 , α2 − 𝑎2 , α1 − 𝑎1]𝑇

𝐾 =[200 − 0 , 60 − 5 , 14 − 6 ]𝐼
𝐾 = [200 55 8]

Nuestro modelo del sistema en el dominio del tiempo

(espacio de estados):
·
𝑥 = 𝐴𝑥 + 𝐵𝑢
y = Cx
además para el servosistema sabiamos :
𝑢 =− 𝑘𝑥 + 𝑘1𝑟

·
⇒ 𝑥 = 𝐴𝑥 + 𝐵(− 𝑘𝑥 + 𝑘1𝑟) Figura .(Gráfica de la curva de salida y(t) vs t)

·
⇒ 𝑥 = (𝐴 − 𝐵𝑘)𝑥 + 𝐵𝑟𝑘1 ... (β)

reemplazamos los valores hallados de las matrices:

III. OBSERVACIONES

● En el análisis en el espacio de estados se centra

la atención en los tres tipos de variables que
aparecen en el modelado de los sistemas
dinámicos; las variables de entrada, las variables
Operando tenemos:
de salida y las variables de estado, como fue el
caso para modelar la pregunta 2.
 4
● Debemos tener en cuenta que para el sistema
debemos considerar condiciones iniciales igual
a 0 en t=0 .

IV. REFERENCIAS BIBLIOGRÁFICAS

[1] F. Fernández Rebollo, “Aprendizaje por

refuerzo en espacios de estados continuos”,
Escuela Politécnica Superior Universidad Carlos
III de Madrid, PH. D. 1 de abril de 2003

[2] L. Mandow, “Programación de espacios de

estados con Java en asignaturas de inteligencia
artificial”, Departamento de Lenguajes y Ciencias
de la Computación, Universidad de Málaga, 4 de
septiembre de 2015.

[3] Ing Marco Antonio Vera Gonzales. 2011.

Implementación de aterrizajes para vehículos
aéreos no tripulados en zonas de vuelo no lineal,
(Tesis de maestría). Instituto tecnológico y de
estudios superiores de Monterrey, México.

[4] Lucas Alpi. 2019. Control PID: rompiendo la

barrera del tiempo, Colombia, pp 1-2.

[5] K. Ogata, Ingeniería de control moderna, 5th

ed, Madrid 2010, pp. 365.

[6] C.Chen, Analog and digital control system

design, 3rd ed., New York:McGraw-Hill Book
Company, 1993, pp.116.

[7] Dorf, R. C., and R. H. Bishop, Modern

Control Systems, 9th ed. Upper
Saddle River, NJ: Prentice Hall,2001., pp.
209-223.

V. AGRADECIMIENTOS

Al Ing. Vıctor Cordova Bernuy, un gran maestro

para nosotros.