Validacin de modelos

Prof. Cesar de Prada

ISA-UVA
prada@autom.uva.es
Indice
Modelado
Estimacin de parmetros
Validacin de modelos
Modelos
Representacin aproximada de la realidad
Abstraccin: Incluimos solo aquellos aspectos y
relaciones que son de inters.
Usos de los modelos: diseo, entrenamiento, que
pasa si., decisiones,...
Distintos modelos de un proceso para distintas
aplicaciones
Como generarlos, resolverlos, utilizarlos, validarlos?
Depende del proceso, de la aplicacin, de las herramientas y
datos disponibles,
 Qu es un modelo matemtico?

Conjunto de ecuaciones que relacionan las variables de

inters del proceso y representan adecuadamente su
comportamiento
Distintas formulaciones para distintos objetivos y tipos
de procesos
Obtenidas a partir de un conjunto de hiptesis y
suposiciones
Compromiso entre facilidad de uso en una aplicacin y
la exactitud de la representacin del mundo real
 Representacin adecuada

Proceso
u tiempo

ym

tiempo Modelo

tiempo
+ adecuacin y facilidad de uso en la
aplicacin
Como obtener modelos?

Mediante razonamientos, Mediante experimentacin

usando leyes fsicas, y anlisis de datos
qumicas, etc
Modelos de conocimiento

Se obtienen mediante razonamientos y la

aplicacin de principios de conservacin de
masa, energa, momento, etc. y otras leyes
particulares del dominio de aplicacin
Basados en un conjunto de hiptesis
Tienen validez general si se cumplen las
hiptesis de partida
Requieren conocimiento profundo del proceso
y de las leyes fisico-qumicas
 Identificacin

El modelo se obtiene a partir de

datos experimentales de
entrada-salida del proceso
U
Y
U Y
t Proceso
t

Modelo
 Modelos

Un modelo siempre es una mezcla de conocimiento y

de experimentacin
 Modelos
Conocimiento
Condiciones de Hiptesis
uso

Objetivos,
precisin,.. del Modelado
modelo
Experimentacin
Parametrizacin

Formulacin para Lenguaje de

Codificacin simulacin
un fin

Se resuelve Todas las etapas

adecuadamente? Experimentacin deben ser
validadas
Hiptesis
ci
q q

c h h

F F
Mezcla perfecta Flujo pistn
d Vc h Ah V
= qc i Fc c( t ) = c i ( t ) = c i ( t ) = ci (t )
dt v Av F
 Ejemplo: Depsito
q Conservacin de masa

Acumulacin=
flujo entrada q - flujo salida F
h
dm
= q F
dt
F m = Ah F=k h
dh
Parmetros A = qk h V = Ah
dt
m masa en el depsito
Ecuacin
A seccin del depsito Ecuacin diferencial
algebraica
densidad, k constante no-lineal
 Modelos en variables de estado

d x(t)
= f ( x ( t ), u ( t ), p, t )
dt
y( t ) = g ( x , u ( t ), t )

u y Respuestas
Variables x observables
manipuladas y
perturbaciones
x Estados
p parmetros
 Modelado

d x(t) Determinacin de la estructura

= f ( x ( t ), u ( t ), p, t ) del modelo
dt
Determinacin del valor de sus
y( t ) = g ( x , u ( t ), t ) parmetros

Normalmente siempre aparecen alternativas en la formulacin del

modelo y es necesario escoger entre distintas estructuras
En la etapa de validacin pueden aplicarse distintos test para
elegir que eleccin fue mas adecuada
 Parametrizacin
d x(t)
= f ( x ( t ), u ( t ), p, t )
dt
y( t ) = g ( x , u ( t ), t )

Los parmetros p del modelo pueden obtenerse

mediante bibliografa, documentacin, etc. pero
siempre hay parmetros cuyo valor no se puede
determinar de forma sencilla y precisa y que deben
ser estimados
 Ejemplo: reactor qumico
TT
A
AB Refrigerante
Reactor
d cA E RT
V = Fc Ai Fc A Vke cA AT
dt
Producto
d cB E
V = Fc B + Vke RT
cA
dt
dT E RT
Vc e = Fc e Ti Fc e T + Vke c A H UA ( T Tr )
dt
d Tr
Vr r c er = Fr r c er Tri Fr r c er Tr + UA ( T Tr )
dt
 Parametrizacin (calibracin)
TT
A
u
Refrigerante
Reactor

AT

t Producto

y
pa y
u
Modelo
pb
La respuesta del
modelo ante las
p
mismas entradas
depende del valor
de los parmetros
 Parametrizacin (calibracin)
Si hay N valores experimentales de
u la salida se puede definir una
funcin de error como:

1 N 1 N
J = e( t ) = [y( t ) y m (u , p, t )]
2 2

N t =1 N t =1

y(p)
u y
Modelo

p
t
Tambin pueden usarse otras
expresiones para J
 Parametrizacin (calibracin)
1 N 1 N
min J = min e( t ) = min [y( t ) y m (u , p, t )]
2 2
p p N t =1 p N t =1
v
u y
Proceso
e(t)
Optimizacin
Modelo
ym(p)
p

V es normalmente una funcin no-lineal en los parmetros.

Puede resolverse por minimizacin numrica
 Parametrizacin por optimizacin
N
min J = min [y(t ) y ( p, u , t ) ]
2
m
p
p t =1

x ( t ) = f ( x ( t ), u ( t )) y m (t) = g(x(t), u(t))

ppp

Problema de optimizacin dinmica con restricciones

Entre los parmetros a estimar pueden incluirse tambin, junto

a los parmetros del modelo, estados iniciales desconocidos o
entradas no medidas (constantes o parametrizables)
 Parametrizacin
N
1 N
min J = min e( t ) 2 = min [y( t ) y m (u , p, t )]
1 2
p p N t =1 p N t =1

y Si hay varias salidas a

Proceso ajustar:

1 N
min 1 [y1 ( t ) y m1 (p, t )] + 2 [y 2 ( t ) y m 2 (p, t )] + 3 [y 2 ( t ) y m 3 (p, t )]
2 2 2
p N t =1

Problemas de unidades y pesos relativos. Normalizacin

 Qu parmetros estimar
u
Es posible que, para un
mismo experimento, la
respuesta del modelo con
dos valores diferentes p1 y p2
de un parmetro, sea muy o
poco diferente
y
p1
Solo debera escogerse un
parmetro p para la
p2 optimizacin si la salida
presenta una sensibilidad
razonable ante cambios en p
 Sensibilidad de las salidas
Sensibilidad del ndice J
N
J = [ y ( t ) y m ( p, u , t ) ]
2

t =1

x ( t ) = f ( x ( t ), u ( t )) y m (t) = g(x(t), u(t))

y mi ( t )
Sij ( t ) =
p j
Sensibilidad de la salida i del
modelo respecto al parmetro j
en relacin a un experimento
dado. Es funcin del tiempo
J
p j
Sensibilidad del ndice J respecto
al parmetro j en relacin a un
experimento dado.
Resume el efecto durante todo
el tiempo del experimento
 Sensibilidades

y i ( t ) Dificultad para comparar

Sij ( t ) =
p j sensibilidades debido a la
diferencia de unidades de cada
Sij. Deben usarse factores de
p j y i ( t ) escala
s ij ( t ) =
y i p j
s11 s12 s1d La norma de cada columna j de la
s s 22 s 2d matriz de sensibilidades da una
21
idea de la importancia del
parmetro pj en el valor de las
s s md
m1 s m 2 salidas
 Clculo de las sensibilidades
N
Pueden obtenerse mediante
J = [y ( t ) y m ( p , u , t ) ] cocientes de incrementos o
2
analticamente
t =1

x ( t ) = f ( x ( t ), u ( t )) y m (t) = g(x(t), u(t))

J N
y m
= 2 [y( t ) y m (p, u , t )]
p t =1 p
x d x f x f Integrando esta ecuacin junto a
= = + las del modelo, es posible obtener
p dt p x p p
la evolucin de x/p y por tanto
y m g x g las sensibilidades
= +
p x p p
 Clculo de las sensibilidades
Mediante cociente de incrementos, realizando
simulaciones del modelo

y i ( t ) y i (p + p, t ) y i (p, t )
Sij ( t ) =
p j p

Las sensibilidades dependen, lgicamente, del punto p en que

son evaluadas, y del experimento (a travs de las entradas)
que se considera
Identificabilidad
Independientemente del valor de la sensibilidad,
puede ocurrir que el efecto sobre la salida de un
cambio en un parmetro se anule por un cambio en
otro parmetro hecho simultneamente. Se dice
entonces que hay un grado de co-linealidad en las
sensibilidades frente a los parmetros, lo que
dificulta la identificacin
La identificabilidad es una propiedad estructural que
depende de cmo los parmetros aparecen en el
modelo, pero tambin de las medidas disponibles
Identificabilidad
Ejemplo: En un reactor, sin medida de temperatura,
los parmetros k y E, no pueden ser estimados
independientemente
Si E y R fueran desconocidas,
d cB E con medida de temperatura se
V = Fc B + Vke RT
cA
dt podra identificar el cociente
E/R pero no los trminos
individuales

ms En el modelo de Monod, con datos limitados a

sustratos s pequeos, no es posible identificar
K+s sino el cociente m/K
 Identificabilidad
Examinando la matriz de sensibilidades, puede verse si
hay un cierto grado de co-linealidad a travs del rango
de (sub-bloques) de la misma

s11 s12 s1d sij

s s 22 s 2d
21
sik
s s md
m1 s m 2 t

La co-linealidad dificulta la identificacin

Re-parametrizacin
A veces solo es posible identificar combinaciones de
parmetros, o se pueden hacer cambios de variables para
obtener una estructura mas sencilla de identificar.
Si se ha hecho una transformacin de los parmetros a estimar,
o se han hecho cambios de variable para facilitar la
identificabilidad o linealidad del modelo, debe tenerse en
cuenta que:
Las caractersticas estadsticas de las nuevas variables son
diferentes a las de los datos
Las regiones de confianza de los nuevos parmetros son
diferentes de las de los originales
 Experimentos

u2
TT

u1 Tr Reactante
Ti T
Reactor
Refrigerante
AT
Producto
Si hay varias entradas, los cambios en las mismas deben de
estar incorrelacionados para que el algoritmo de optimizacin
pueda distinguir los efectos de cada entrada en las salidas
 Experimentos
Si se aplican seales proporcionales a las entradas, u1=u2,
simultaneamente, hay muchas combinaciones de los modelos
M1 y M2 que se ajustan a las mismas parejas de entradas y
salidas
y ( t ) = M 1u 1 ( t ) + M 2 u 2 ( t ) = ( M 1 + M 2 ) u 2 ( t )

Por otro lado, los experimentos deben cubrir el rango en

amplitud y frecuencia adecuado para excitar las dinmicas
fundamentales del proceso, y los valores de las sensibilidades
de J antes los parmetros a estimar deben presentar unos
valores razonables.
En caso contrario debe repetirse el experimento
 Experimentos

u2
TT

u1 Tr Reactante
Ti T
Reactor
Refrigerante
AT
Producto
Excitar solo una entrada manteniendo las otras constantes y
luego hacer lo mismo con las otras, no es una buena poltica:
alarga el tiempo del experimento y no proporciona datos en
condiciones realistas de funcionamiento
 Diseo de experimentos
Cabe preguntarse cual es el experimento que mejor facilita la
estimacin de los parmetros de un modelo
Contexto
N
J = [y( t ) y m (p, u , t )]' Q[y( t ) y m (p, u , t )]
t =1
Multivariable

Si se hace un desarrollo de 2 orden de J en torno al valor ptimo

p* de los parmetros (para cuyo valor J/p=0)
y m ( t ) y m ( t )
'

E{J(p + p)} p'

N N
*
Q p + tr(CQ)
t =1 p p t =1

Con C la matriz de covarianza del ruido de las medidas.

Se suele escoger Q=C-1
 Diseo de experimentos
Para facilitar la estimacin, interesa que J(p*+p) sea lo
mayor posible, de modo que unos parmetros distintos del
ptimo den un valor de J significativamente mayor

'

E{J(p + p)} p' m Q m p + tr(CQ)
N N
* y ( t ) y ( t )
t =1 p p t =1

Para ello puede disearse un experimento que maximice la

matriz de Informacin de Fisher (o alguna norma o funcin
asociada): N '

y m ( t ) y m ( t )
Q
t =1 p p
FIM
Si no hay dependencia lineal entre las sensibilidades, la
matriz de informacin de Fisher debe ser de rango completo.
El cociente entre el mximo y mnimo valor propio de la FIM
de por tanto una medida de la identificabilidad de los
parmetros de un modelo con un experimento dado.

N y m ( t ) ' y m ( t )
Q
t =1 p p
Parametrizacin por optimizacin
N
min J = [y( t ) y m (p, u , t )]
2

p t =1

x ( t ) = f ( x ( t ), u ( t )) y m (t) = g(x(t), u(t))

ppp
Eleccin del tipo de ndice J
Problemas de resolucin numrica
Simulacin
Resolucin directa
Problemas de estimacin de estados
 Otras funciones objetivo J
Maximum Likelihood (ML)
Para un valor de los parmetros p, cual es la probabilidad de
que los resultados del modelo coincidan con los datos
experimentales? Se plantea la estimacin como encontrar p de
modo que se maximice esa probabilidad

max P( y m (0) = y(0), y m (1) = y(1),...., y m ( N) = y( N) | p)

p

Se suele formular como

min ln( P( y m (0) = y(0), y m (1) = y(1),...., y m ( N) = y( N) | p))

p
 Mnimos cuadrados
ponderados (WLS)
Si los datos experimentales estn distribuidos de forma
normal en torno a las predicciones del modelo y son
independientes, la probabilidad de obtener como salida del
modelo los datos experimentales es:

L( y m (1) = y(1),..., y m ( N) = y( N) | p) =
N
1 1 y( t ) y m ( y, p)
N 2

= exp

2( t ) 2 ( t )
t =1 t =1
Tomando neperianos, maximizar esta funcin equivale a
N
1 2 varianza del
min ( ) 2
y ( t ) y ( t , p ) error de medida
2 m
p
t =1 ( t )
 WLS
N
1
J (p) = min ( ) 2
y ( t ) y ( t , p )
2 m
p
t =1 ( t )

Si los errores son independientes y estn de verdad distribuidos

normalmente, J(p) debe seguir una distribucin 2 con N-d grados
de libertad
Puede usarse como un test de las hiptesis anteriores o de la
bondad del modelo
Otras funciones objetivo
N
min
p
y( t ) y
t =1
m ( t , p) Norma 1
Pesa por igual todos los
errores

min max y( t ) y m ( t , p) Norma

p t
minimiza el mayor de los
errores
Resolucin con simulacin
N
min J = [y( t ) y m ( p, u , t )]
2

p t =1

( t ) = f ( x ( t ), u ( t ))
x y m (t) = g(x(t), u(t))
ppp
Optimizador

p J

Simulacin desde 1 a N u(t), y(t)

para calcular J(p)
 Minimizacin de funciones
2
dk
J()

1
1
k+1= k+dk

Mtodos iterativos
2 d direccin de bsqueda
longitud del paso
Restricciones en p
 Resolucin por Discretizacin
N
min J = [y( t ) y m ( p, u , t ) ]
2

p, x j=1

x ( t + 1) = f ( x ( t ), u ( t )) y(t) = g(x(t), u(t)

x ( t + 2) = f ( x ( t + 1), u ( t + 1)) y(t + 1) = g(x(t + 1), u(t + 1))
x ( t + 3) = f ( x ( t + 2), u ( t + 2)) y(t + 2) = g(x(t + 2), u(t + 1)))))
.....
ppp

Se incrementa el nmero de variables de decisin con los estados

Es posible imponer restricciones sobre el estado
Resolucin con SQP / IP
La discretizacin puede ser difcil
 Optimizacin local / global
Muchos mtodos de
optimizacin
conducen a
soluciones locales que
no proporcionan los
mejores valores de
los parmetros

Conviene utilizar mtodos globales:

Estocasticos (algoritmos genticos, etc.)
Deterministas (-BB)
 Varianza de las estimas
Una vez que se ha aplicado un procedimiento de optimizacin y se
han obtenido unos parmetros ptimos p* , es importante
determinar el grado de confianza en los mismos.
Matriz de covarianza
Regiones de confianza de los parmetros
Isodistancias
En el caso de estimacin no lineal muchas de las medidas de la
imprecisin son aproximadas
 Covarianza del error
N y m ( t ) ' y m ( t )
F = Q
t =1 p p

La matriz de informacin de Fisher es la inversa de la matriz de

covarianza del error de estimacin de los parmetros, calculados con
el mejor estimador lineal no sesgado.
Esta medida supone que los errores son solo de medida. Una
expresin de la matriz de covarianza de los errores de estimacin
(para el caso de una sola salida en el ajuste) mas ajustada viene dada
por: *
J (p ) 1
V= F
Nd
Regiones de confianza
Conocida la matriz de Fisher, la expresin:

y m ( t ) y m ( t )
'

E{J(p + p)} p'

N N
*
Q p + tr(CQ)
t =1 p p t =1

Permite el clculo aproximado de regiones de confianza de los

parmetros estimados que pueden dibujarse como elipses
cuyos ejes coinciden on los vectores propios de la FIM
 Intervalos de confianza
Estimada V, es posible determinar intervalos de confianza para
cada parmetro, para un determinado nivel de confianza:

p 2.147 Vii 90%

p 3.035 Vii 99%

Aunque en un entorno multiparamtrico deben tomarse con cierta

reserva, pues la regin de confianza conjunta no equivale a la caja
resultante de la individual de cada parmetro
 Conjuntos de parmetros
factibles Zona de
busqueda Conjunto
Limites p2 factible
y
Respuesta
admisible
Datos
experimentales
p1
Se define una respuesta aceptable del modelo (por ejemplo con
bandas de error, o un valor mximo aceptable de J.
Se generan aleatoriamente valores de p dentro de un rango y se
hace la simulacin del modelo con los mismos.
Se incorporan al conjunto de parmetros aceptables los que
cumplen el criterio, definiendo la regin buscada
 Identificacin Global
Criterio de minimizacin del error :Dado un conjunto de
datos experimentales u(t), y(t), buscar los parmetros
que minimizan la funcin de coste J :
1 N N
J = e( t ) 2 = [( y( t ) y m ( t , )]
1 2

N t =1 N t =1
v
y
u
Proceso

e(t)

Modelo
y
m
m
 Identificacin global
1 N
J = [( y( t ) M ()u ( t )] f () = J = cte.
2

N t =1
2 Isodistancia:
Lugar geomtrico de los
puntos del espacio
paramtrico con igual
valor de J

Todos los modelos sobre una isodistancia tienen la misma

validez respecto al criterio de suma de cuadrados de errores
 Identificacin global
Isodistancia experimento 2
2
Modelos que explican
ambos experimentos
Isodistancia experimento 1

Las isodistancias dependen de los datos experimentales y

del nivel de exactitud J elegido
 Isodistancias
Exp 1
2 2

Exp 2

1 1
Informan sobre la calidad de Nivel de calidad no
los parmetros, y el rediseo de compatible con los
experimentos experimentos
 Clculo de Isodistancias

Ejemplo con un modelo
x sencillo de primer orden

x Para cada valor de a

se resuelve una ecuacin
a de segundo grado para
obtener el correspondiente
1 2
1 N
Kq valor de K
J = ( y ( t ) 1
u ( t )
N t =1 1 + aq
 Regiones de confianza
En un caso mas general, la construccin de isodistancias es
compleja. Una forma de construir las curvas de un criterio
dado, p.e. con un nivel de confianza del 100(1-) %, o sea,
los puntos para los que

d F: distribucin F con d
J = J (p )(1 +
*
F , d , N d ) y N-d grados de
Nd libertad y nivel

es establecer una regin

amplia y partiendo de puntos
del contorno, optimizar hasta
que J alcanza ese valor
Parametrizacin / Metodologa
Toma de datos experimentales (separar los de
calibracin y validacin)
Anlisis y depuracin de los datos
Seleccin de los parmetros a estimar
Identificabilidad estructural
Clculo de Sensibilidades
Posible reparametrizacin del modelo para linealizar
la estimacin
Estimas iniciales y rangos
Elegir la funcin de costo
Estimar los parmetros por optimizacin
Estimar los residuos y la regin de confianza de los
parmetros
Ejemplo en EcosimPro:
Reactor de Van der Vusse
Reactor altamente no
lineal y difcil de
controlar

ABC
2A D

Parmetros a estimar:
Volumen 10 l
Masa de refrigerante 5 Kg
Resolucin con simulacin
N
min J = [y( t ) y m (p, u , t )]
2

p j=1

x ( t ) = f ( x ( t ), u ( t )) y m (t) = g(x(t), u(t))

ppp resultado
Optimizador Proceso simulado
p*

p J

Simulacin desde 1 a N u(t), y(t)

para calcular J(p)
Reactor Van der Vusse
Validacin
Validar un modelo es obtener un grado de
confianza en el mismo para el fin al que se
destina
No hay una demostracin de la validez de
un modelo, sino unos resultados positivos en
un conjunto de test que nos dan esa
confianza
La validez de un modelo puede perderse por
un solo test negativo
Validacin
El conjunto de test positivos y negativos
permiten establecer el rango de validez del
modelo
Distintas situaciones implican distintas
tcnicas:
El proceso existe y se trata de construir un modelo
que reproduzca la realidad
El proceso no existe an y se trata de construir un
modelo para predecir su comportamiento y
optimizarlo cara al diseo
Validacin
Conjunto de pruebas de diferente naturaleza
que ayudan a validar el modelo
La validacin ha de hacerse a todos los
niveles de construccin del modelo:
Hiptesis
Formulacin
Codificacin
Resolucin numrica (verificacin)
Aplicacin
 Niveles de validacin
Las condiciones de
Rango de validez Hiptesis uso son las previstas?
Toma de datos Refleja bien los
/reconciliacin Modelado fenmenos de
inters?
Cmo es de
sensible la Los datos son
solucin frente a Parametrizacin correctos e
cambios en los informativos?
parmetros?
Codificacin Est bien
Es un cdigo codificado?
robusto, rpido,..?
Los resultados
Se resuelve Experimentacin corresponden a la
adecuadamente?
realidad?
Distintos problemas asociados
a un modelo
d x(t)
= f ( x ( t ), u ( t ), p, t )
dt
y( t ) = g ( x , u ( t ), t )

Que se supone conocido para estimar el resto?

Reconciliacin de datos
Estimacin de estados y perturbaciones
Estimacin de parmetros
Verificacin
Validacin
 Reconciliacin de datos
d x(t)
= f ( x ( t ), u ( t ), p, t ) Suele plantearse en
dt estado estacionario
y( t ) = g ( x , u ( t ), t )

El modelo se supone perfecto y se trata de estimar

las modificaciones en los datos experimentales que
hacen que estos se ajusten exactamente al modelo

Puede combinarse con estimacin de parmetros

 Estimacin de estados con
horizonte deslizante
x
N
min
xtN ,v
[y ( t i ) y m ( t i ) ]2
+ v( t i) 2 v
i
i =0
t-N t
x ( t + 1) = f ( x ( t ), u ( t ), v( t ))
y( t ) = g ( x ( t ), u ( t ))
L v v( t i) L V y

u t

Con modelo perfecto t-N

Qu estado inicial pasado en t-N y que mnimas perturbaciones

v(t-i) haran evolucionar el sistema de la forma mas prxima a
la que lo ha hecho al aplicarle los controles que le han sido
aplicados?
Verificacin
El modelo de simulacin representa
adecuadamente al modelo conceptual?
Codificacin
Errores tipo divisin por cero, etc.
Mtodos numricos de solucin
Precisin
Formulacin
ci
q d (Vc)
= qc i Fc
dt Vc
c =
dV V
= qF
dt
c h
dc dV
V +c = qc i Fc
dt dt
F dc
V + c(q F) = qc i Fc
dt
Mezcla perfecta dc
V = q (c i c)
dt
constante
 Causalidad
dh
q A = qF
dt
F=k h

h Causalidad
computacional

F
Causalidad fsica q h F

Qu pasa si?
Qu debo hacer para? La causalidad fija el uso
del modelo
Computabilidad
q1 q2

h1 h2

F1
F2
dh dh Leyes +
A1 1 = q 1 F1 A 2 2 = q 2 + F1 F2
dt dt restricciones
F1 = k 1 h 1 h 2 h 1 < h 2 ? F2 = k 2 h 2
F1 = k 1 sgn( h 1 h 2 ) h 1 h 2 0 h i h max qi 0
Validacin
Respuestas cualitativas del modelo
Comprobacin con datos
experimentales
Test estadsticos
Anlisis de sensibilidad
Capacidad de prediccin del modelo
Distorsin de parmetros
Respuestas cualitativas
Respuestas cualitativas del modelo a entradas tipo

u y
Model

Discusin y evaluacin
de respuestas tipo del
modelo con expertos en
el proceso
Respuestas cualitativas
Respuestas cualitativas del modelo a entradas tipo
Respuestas cualitativas
Test de Turing: Se puede discriminar
una respuesta del modelo y de la
realidad si se presentan en el mismo
formato?
Trazas de la evolucin de variables tipo
flujo, etc. a travs de los distintos
componentes
 Comprobacin con datos
experimentales
v
Comparacin de las
y
u
respuestas del modelo y Proceso

datos experimentales
distintos a los usados en Modelo(p)
la parametrizacin ym

y
1 N
( ) 2
y ( t ) y m ( t ) modelo
N t =1
experimental

condiciones iniciales t

perturbaciones
 Indices de error
Medida numrica de las discrepancias entre la respuesta del
modelo y los datos experimentales
Pueden usarse para comparar varios modelos de un proceso y
decidir sobre cual es mas adecuado
ym

y
1 N
( ) 2
y ( t ) y m ( t ) modelo
N t =1
experimental

t
 Indices de error
Muchos ndices ponderan la Akaike Information
suma de los errores y el nmero Criterion AIC
de parmetros d en el modelo
2d N
(1 + ) ( y( t ) y m ( t )) 2
Final Prediction Error FPE N t =1

1 1+ d N N N
) ( y( t ) y m ( t )) 2 2
(
N 1 d N t =1 ( y ( t ) y m ( t ))
N log t =1 + 2d
Estima de la varianza del error de N
prediccin con los datos nuevos

 Indices de error
Bayesian Information Rissamens Minimal
Criterion BIC Description lenght
2
N
2d
(1 + log N) ( y( t ) y m ( t )) 2
N
( y( t ) y m ( t )) N t =1
N log t =1 + d log( N)
N Penaliza mas la complejidad del
modelo

Es consistente: La probabilidad de
seleccionar un modelo erroneo tiende
a cero con N
 Indices de error
Test F para ver si el modelo j (con mas parmetros) es
significativamente mejor que el modelo i, con un nivel de
confianza

N 2 N
2

( y( t ) y m ( t )) ( y ( t ) y ( t )) /(d j d i )

t =1 m
mod i t =1 mod j
N 2
( y( t ) y m ( t )) /( N d j )
t =1 mod j
Debe compararse con la distribucin F(dj-di, N-dj) con el nivel de
confianza
Errores
Los errores de la estimacin provienen de:
Errores de medida de los datos. Idealmente se
suelen suponer independientes, de media cero y
varianza constante. Para caracterizarlos pueden
usarse datos de las salidas con entradas
constantes.
Errores del modelo o la estima de parmetros. Si
el modelo fuera perfecto, los residuos deberan
tener las mismas caractersticas estadsticas que
los errores de medida.
 Test estadisticos
v
u y
Proceso

e
Modelo
ym

Si el modelo es correcto los residuos no deben presentar

una estructura sistemtica, sino ser el resultado de las
perturbaciones aleatorias que actuan sobre el proceso

Residuos e(t) = y(t) - ym(t)

 Test estadsticos
Inspeccin visual de los residuos

e e

t t

n de cambios de signo de los residuos (ncs)

Se ajustan a un modelo AR?
N
ncs Puede compararse con una distribucin N(0,1)
Test: 2 para ver si hay un sesgo en los signos
N/2
Test estadsticos

No correlacin entre la entrada y los residuos: Los errores

deben ser independientes de un experimento particular

Rue(k) Re(k)

2
k k

Blancura de los residuos Lazo abierto, lazo cerrado

 Varianza de los parmetros

Las regiones de confianza de los parmetros dan una medida de

la calidad de la calibracin y, por tanto, de la bondad el modelo.

v11 v12
V = v 21 v 22

Los trminos cruzados de la matriz de covarianza dan una

idea de la independencia de los parmetros, pues deben
estar incorrelacionados
Sensibilidad
Cuanto varia J ante un cambio unidad en p ?
N
min J = [y( t ) y m ( p, u , t )]
2

p j=1

x ( t ) = f ( x ( t ), u ( t )) y m (t) = g(x(t), u(t))

ppp

Puede obtenerse a partir del problema dual de

optimizacin en ciertos casos
Validacin

Capacidad de prediccin del modelo

Distorsiones de los parmetros

Coherencia de las distintas representaciones

Varianza de las estimaciones

n v ( w)
{
var G (e jwt }
, )
N u ( w)
Capacidad de prediccin

y( t + j)
y(t+j)

u(t+j)
t

En ciertos casos, se utilizan frmulas de prediccin de

controladores predictivos tales como el DMC, GPC, etc.
Distorsin de parmetros
d x(t)
= f ( x ( t ), u ( t ), p, t )
dt
y m ( t ) = g ( x , u ( t ), t )

Tras la estimacin de parmetros se obtiene un

valor de los mismos p* (constante) que ajusta lo
mejor posible la respuesta del modelo a los datos
experimentales
e* ( t ) = y ( t ) y m ( p * , t )
 Distorsin de parmetros
Butterfield 1986
Supongamos que ahora los parmetros p pueden variar a lo
largo del tiempo,
Como habra que modificar el valor de los parmetros
del modelo para que sus respuestas coincidieran
exactamente con las del proceso?

p El valor de la distorsin da
una medida de la credibilidad
del modelo
t

min y m ( t , p* + p( t )) = y( t ) t = 1,..., n
p
Distorsin de parmetros
d x p (t)
= f ( x p ( t ), u ( t ), p* + p( t ), t )
dt
y p ( t ) = y( t ) = g ( x p , u ( t ), t ) Problema de ndice

y
p
modelo

experimental

t t
 Mtodos de solucin (1)
1 Calcular xp a partir de
y( t ) = g ( x p , u ( t ), t )
2 Calcular dxp /dt a partir de xp

3 Calcular p(t) a partir de

d x p (t)
= f ( x p ( t ), u ( t ), p* + p( t ), t )
dt
Imprecisin en el clculo de la derivada
 Mtodos de solucin (2)
Aproximacin lineal sobre la respuesta base p*

d x p (t)
= f ( x p ( t ), u ( t ), p* + p( t ), t )
dt
y p ( t ) = g ( x p , u ( t ), t ) = y( t )
d x p (t) f f
= f ( x ( t ), u ( t ), p* , t ) + (x p x) + p
dt x p x , p*
p x ,p*

g
y p ( t ) = g ( x , u ( t ), t ) + (x p x)
x p x , p*
 Linealizacin sobre una
trayectoria
x ( t )
x

x base
tiempo

p p( t )

t
 Mtodos de solucin (2)
d x p (t) d x(t)
= f ( x p ( t ), u ( t ), p* + p( t ), t ) = f ( x ( t ), u ( t ), p , t )
dt dt
y( t ) = g ( x p , u ( t ), t )
ym ( t ) = g ( x , u ( t ), t )
d dx p dx
= xp x = =
dt dt dt
f f
f ( x ( t ), u ( t ), p , t ) +
*
(x p x) + p f ( x ( t ), u ( t ), p* , t )
x p x , p*
p x ,p*

d f f
= + p
dt x p x , p*
p x ,p*
Metodos de solucin (2)
y p ( t ) y m ( t ) = g ( x p , u ( t ), t ) g ( x , u ( t ), t ) =
g
= g ( x , u ( t ), t ) + ( x p x ) g ( x , u ( t ), t )
x p x , p*

g
y p ( t ) y m ( t ) = y( t ) y m ( t ) =
x p x , p*
Metodos de solucin (2)
e* p yp-ym
+
- R

= xp x
Si p es correcto:
d f f
= + p y p ( t ) y m ( t ) = y ( t ) y m ( t ) = e*
dt x p x , p*
p x ,p*

g Resolucin como un
yp (t) ym (t) =
x p problema de control
x , p*
 Mtodos de solucin (3)
Puede plantearse tambin como un problema de
optimizacin
N
min ( x p ( t ) x ( t )) 2 + p 2 + ( y( t ) y p ( t ))
p
t =1

Multiplicador de
d x p (t) Lagrange
= f ( x p ( t ), u ( t ), p* + p( t ), t )
dt
Problema de optimizacin dinmica
Se calculan las menores distorsiones de parmetros y estados compatibles
con la restriccin de igualdad de las salidas del modelo distorsionado y del
proceso
Distorsin de parmetros
Los valores de p(t), que suelen tener significado
fsico, pueden compararse con tolerancias esperadas
de variacin
Tambin puede compararse con un indicador funcin
de V(p)
V