Problemas Inversos Ricardo Coronado Leija

4
Examen Parcial I.1 - Ricardo
Coronado Leija 26 de Febrero de 2013
4.1. Problema 1
Elije tres tiempos t
0
, t
1
, t
2
, tal que t
1
t
0
= t
2
t
1
. Demuestra que
p(t) =
ap
0
bp
0
+ (a bp
0
)e
a(tt0)
, p
0
= p(t
0
) (4.1)
determina de manera unica a, b en termino de t
i
, p(t
i
), i = 1, 2, 3.
4.1.1. Solucion Problema 1
Lo que se hizo aqu fue despejar a y b en (4.1) de tal modo que dependan unicamente de t
i
, p(t
i
). Como
primer paso se eval uan t
1
y t
2
en (4.1). Para t
1
se tiene
p(t
1
) =
ap
0
bp
0
+ (a bp
0
)e
a(t1t0)
(4.2)
y usando el hecho de que t
2
= t
1
+ t
1
t
0
= 2t
1
t
0
, al evaluar t
2
se tiene
p(t
2
) =
ap
0
bp
0
+ (a bp
0
)e
a(t2t0)
=
ap
0
bp
0
+ (a bp
0
)e
a(2t1t0t0)
=
ap
0
bp
0
+ (a bp
0
)e
2a(t1t0)
(4.3)
Deniendo
x = e
a(t1t0)
x
2
= e
2a(t1t0)
(4.4)
las ecuaciones (4.2) y (4.3) quedan
p(t
1
) = p
1
=
ap
0
bp
0
+ (a bp
0
)x
(4.5)
y
p(t
2
) = p
2
=
ap
0
bp
0
+ (a bp
0
)x
2
(4.6)
despejando x de (4.5)
p
1
(bp
0
+ (a bp
0
)x) = ap
0
b
_
p
1
p
0
+ p
1
_
a
b
p
0
_
x
_
= ap
0
p
1
_
a
b
p
0
_
x =
_
a
b
_
p
0
p
1
p
0
x =
p
0
(
a
b
p
1
)
p
1
(
a
b
p
0
)
x =
p
0
(M p
1
)
p
1
(M p
0
)
(4.7)
39
Ricardo Coronado Leija Problemas Inversos
donde se creo una nueva variable M =
a
b
y despejando x
2
de (4.6) de una manera muy similar a la anterior
se obtiene
x
2
=
p
0
(
a
b
p
2
)
p
2
(
a
b
p
0
)
x
2
=
p
0
(M p
2
)
p
2
(M p
0
)
(4.8)
igualando las expresiones (x)
2
= x
2
de (4.7) y (4.8) se tiene
p
0
(M p
2
)
p
2
(M p
0
)
=
_
p
0
(M p
1
)
p
1
(M p
0
)
_
2
p
0
(M p
2
)
p
2
(M p
0
)
=
p
2
0
(M p
1
)
2
p
2
1
(M p
0
)
2
(p
2
1
(M p
0
)
2
)(p
0
(M p
2
)) = (p
2
0
(M p
1
)
2
)(p
2
(M p
0
))
p
2
1

p
0
(M p
0
)

2
(M p
2
) = p

2
0
p
2
(M p
1
)
2

(M p
0
)
p
2
1
(M p
0
)(M p
2
) = p
0
p
2
(M p
1
)
2
p
2
1
(M
2
p
0
M p
2
M + p
0
p
2
) = p
0
p
2
(M
2
2Mp
1
+ p
2
1
)
p
2
1
M
2
p
2
1
p
0
M p
2
1
p
2
M +

p
0
p
2
1
p
2
= p
0
p
2
M
2
2Mp
0
p
2
p
1
+

p
0
p
2
1
p
2
p
2
1
M
2
p
0
p
2
M
2
p
2
1
p
0
M p
2
1
p
2
M + 2Mp
0
p
2
p
1
= 0
(p
2
1
M p
0
p
2
M p
2
1
p
0
p
2
1
p
2
+ 2p
0
p
2
p
1
)M = 0
((p
2
1
p
0
p
2
)M p
2
1
p
0
p
2
1
p
2
+ 2p
0
p
2
p
1
)

0
M = 0
(p
2
1
p
0
p
2
)M = p
2
1
p
0
+ p
2
1
p
2
2p
0
p
2
p
1
M =
p
2
1
p
0
+ p
2
1
p
2
2p
0
p
2
p
1
p
2
1
p
0
p
2
M =
p
1
(p
1
p
0
+p
1
p
2
2p
0
p
2
)
p
2
1
p
0
p
2
(4.9)
Se ignora la solucion M = 0, ya que no proporciona informacion util.
Entonces se tiene una M =
a
b
que depende solamente de p
i
, por lo que se puede utilizar esta para encontrar
a. De las ecuaciones (4.4) y (4.7) se tiene
x = e
a(t1t0)
=
p
0
(M p
1
)
p
1
(M p
0
)
(4.10)
de donde se puede despejar a en dependencia de M (M solo depende de p
i
)
log
e
_
e
a(t1t0)
_
= log
e
_
p
0
(M p
1
)
p
1
(M p
0
)
_
a(t
1
t
0
) = log
e
_
p
0
(M p
1
)
p
1
(M p
0
)
_
a =
1
(t
1
t
0
)
log
e
_
p
0
(M p
1
)
p
1
(M p
0
)
_
(4.11)
Entonces en (4.11) se tiene a en terminos de M. Pero seg un (4.9) M se puede encontrar usando solamente
40
Problemas Inversos Ricardo Coronado Leija
p
0
, p
1
y p
2
, por lo cual se puede sustituir en la expresion dentro del logaritmo
_
p
0
(M p
1
)
p
1
(M p
0
)
_
=
_
_
p
0
(
_
p1(p1p0+p1p22p0p2)
p
2
1
p0p2
_
p
1
)
p
1
(
_
p1(p1p0+p1p22p0p2)
p
2
1
p0p2
_
p
0
)
_
_
=
_
_
p
0
_
p1(p1p0+p1p22p0p2)p1(p
2
1
p0p2)

p
2
1
p0p2
_
p
1
_
p1(p1p0+p1p22p0p2)p0(p
2
1
p0p2)

p
2
1
p0p2
_
_
_
=
_
p
0

p
1
(p
1
p
0
+ p
1
p
2

2p
0
p
2
p
2
1
+

p
0
p
2
)

p
1
(p
1
(p
1
p
0
+ p
1
p
2
2p
0
p
2
) p
0
(p
2
1
p
0
p
2
))
_
=
_
p
0
(p
1
p
0
+ p
1
p
2
p
0
p
2
p
2
1
)
p
1
(p
1
p
0
+ p
1
p
2
2p
0
p
2
) p
0
(p
2
1
p
0
p
2
)
_
=
_
p
0
(p
1
p
0
+ p
1
p
2
p
0
p
2
p
2
1
)

p
2
1
p
0
+ p
2
1
p
2
2p
0
p
1
p
2

p
0
p
2
1
+ p
2
0
p
2
_
=
_
p
0
(p
1
p
0
+ p
1
p
2
p
0
p
2
p
2
1
)
p
2
(p
2
1
2p
0
p
1
+ p
2
0
)
_
=
_
p
0

(p
1
p
0
)(p
2
p
1
)
p
2
(p
1
p
0
)
2
_
_
p
0
(M p
1
)
p
1
(M p
0
)
_
=
_
p
0
(p
2
p
1
)
p
2
(p
1
p
0
)
_
por lo que nalmente a queda
a =
1
(t
1
t
0
)
log
e
_
p
0
(p
2
p
1
)
p
2
(p
1
p
0
)
_
(4.12)
Ya que tanto M (4.9) como A (4.12) dependen solamente de t
i
y de p
i
, se puede encontrar b simplemente
dividiendo a sobre M
M =
a
b
Mb = a b =
a
M
(4.13)
Con (4.9), (4.12) y (4.13) se demuestra que a, b estan determinados unicamente en termino de t
i
, p(t
i
),
i = 1, 2, 3.
4.2. Problema 2
Considera el modelo
P = G(a, b) + (4.14)
donde N(0,
2
I), P
i
son los datos de una poblacion en el tiempo t
i
que evoluciona de acuerdo a la
ecuacion logistica
dp
dt
= ap bp
2
(4.15)
Usando el gradiente conjugado no lineal aproxima el MAP de los parametros a, b. Considera distribuciones
apriori como una Gamma
f(x; , ) =

()
x
1
e
x
(4.16)
La esperanza y varianza son respectivamente E
,
(X) =

, V ar
,
(X) =

2
. Usa alg un censo, datos sinteti-
cos y los datos del ejemplo del libro de Ecuaciones Diferenciales Ordinarias de M. Braun
41
Ricardo Coronado Leija Problemas Inversos
4.2.1. Soluci on Problema 2
Maximum A posteriori Estimator
El maximum a posteriori estimator (MAP) esta denido como
arg max
x
p
X|Y
(x|y) (4.17)
es decir al maximizador de p
X|Y
(X|Y ) con respecto a x, donde
p
X|Y
(x|y) =
p
Y |X
(y|x)p
X
(x)
p
Y
(y)
(4.18)
donde X y Y son vectores aleatorios distribuidos conjuntamente. X representa la variable de interes y Y
representa una cantidad observable que depende de X. Para el caso de la Ecuacion logistica se desean
encontrar los parametros (a, b) que maximicen (4.17) dado que se conocen los datos P que se modelan como
(4.14). Entonces de (4.18) se tiene (cambiando un poco la notacion y se quita el dividendo a que se busca
maximizar y debido a esto no es muy necesario) que
p(a, b|P) p(P|(a, b))p((a, b)) (4.19)
Entonces se necesitan conocer dos distribuciones: una distribucion para P dado que se conocen a y b y una
distribucion para (a, b). Suponiendo que a y b se distribuyen de manera independiente entonces
p((a, b)) = p(a)p(b) (4.20)
cada una de las cuales se distribuira como una funcion Gamma dada por (4.16) de los cuales los parametros
y deben proponerse para cada parametro. Entonces solo resta encontrar una manera de proponer p(P|(a, b)).
Para esto se usa el modelo (4.14) del cual se obtiene que
= P G(a, b) (4.21)
donde se sabe que N(0,
2
I). Entonces se puede proponer que p(P|(a, b)) = p() = p(P G(a, b)).
Entonces reescribiendo (4.19) se tiene
p(a, b|P) p(P|(a, b))p((a, b))
p(P|(a, b))p(a)p(b)
p(P G(a, b))p(a)p(b) (4.22)
Finalmente se tiene que el MAP se encuentra de la siguiente manera
(a

, b

) = arg max
(a,b)
p(P G(a, b))p(a)p(b) (4.23)
Se puede transformar lo anterior en un problema de minimizacion haciendo J = p(P G(a, b))p(a)p(b)
(a

, b

) = arg min
(a,b)
J(a, b) (4.24)
donde J tiene la forma
J(a, b) =
1

2
e

1
2
2
|PG(a,b)|
2
f(a;
a
,
a
)f(b;
b
,
b
) (4.25)
donde f(a;
a
,
a
) y f(b;
b
,
b
) son distribuciones Gamma. P son datos de la poblacion a distintos tiempos,
y G es la evaluacion de alg un par a y b para los mismos tiempos en que esta dado P. El parametro sigma se
puede proponer como un porcentaje de la norma de los datos.
=
( %error) P

N
Usando las ecuaciones (4.9), (4.12), y (4.13) y tres datos de P a tiempos equidistantes se pueden obte-
ner estimaciones iniciales para a
ini
y b
ini
y se pueden proponer que: E
a,a
[a] = a
ini
, E

b
,
b
[b] = b
ini
,
V ar
a,a
[a] = (val)a
ini
y V ar

b
,
b
[b] = (val)b
ini
, con val < 1 un numero peque no. Teniendo estos cuatro
valores se pueden despejar
a
,
a
,
b
y
b
. En este trabajo se usaron %error = 0.02 y val = 0.1. Solo resta
minimizar J para a y b.
42
Problemas Inversos Ricardo Coronado Leija
Gradiente Conjugado No Lineal
Para resolver el problema de minimizacion (4.24) y encontrar el MAP, se utilizo el Gradiente Conjugado
en su version No Lineal, debido a la naturaleza no lineal del problema. Para minimizar alg un funcional
f(x), f : R
n
R el algoritmo del Gradiente Conjugado es (Fletcher and Reeves)
k = 0
x
0
= estimacion inicial
g
0
= f(x
0
) %gradiente inicial
p
0
= g
0
%direccion inicial de b usqueda

0
= g
0

2
Comenzar iteraciones del CGNL k = 1, 2, ...

k
= arg min
>0
f(x
k
+ p
k
) % b usqueda en linea
x
k+1
= x
k
+
k
p
k
% actualizar la direccion de b usqueda
g
k+1
= f(x
k+1
) % actualizar el gradiente

k+1
= g
k+1

k
=

k+1

k
p
k+1
= g
k+1
+
k
p
k+1
% actualizar la direccion de b usqueda
k = k + 1
n de las iteraciones del CGNL
Una variacion (Hestenes-Stiefel) consiste en

k
=
g
k+1
g
k
, g
k+1

g
k+1
g
k
, p
k

Para la eleccion de en la b usqueda en linea, se usan las condiciones de Wolfe:

f(x
k
+
k
p
k
) f(x
k
) + c
1

k
f(x
k
)
T
p
k

f(x
k
+
k
p)
T
p
k

c
2

f(x
k
)
T
p
k

(4.26)
con 0 < c
1
< c
2
<
1
2
. Donde si no se cumplen entonces
k
= 0.5
k
hasta que se cumplan o sea muy
peque no.
Resultados Ejemplo 1
a no poblacion
1790 3929000
1800 5308000
1810 7240000
1820 9638000
1830 12866000
1840 17069000
1850 23192000
1860 31443000
1870 38558000
1880 50156000
1890 62948000
1900 75995000
1910 91972000
1920 105711000
1930 122775000
1940 131669000
1950 150697000
Cuadro 4.1: Crecimiento de la poblacion de Estados Unidos entre los a nos 1790 a 1950.
43
Ricardo Coronado Leija Problemas Inversos
Usando los datos del ejemplo del libro de Ecuaciones Diferenciales Ordinarias de M. Braun escritos en la
Tabla 4.1 (en el algoritmo los valores se re-escalan a millones, es decir la poblacion se divide entre 1000000)
se pueden estimar a
ini
y b
ini
usando tres muestras y las ecuaciones (4.9), (4.12), y (4.13). Por ejemplo usando
los pares de valores (1790, 3.929), (1870, 38.558) y (1950, 150.697) se encuentra que a = 0.030897982072844 y
b = 1.500455549485249e 004. Usando estas como punto inicial del gradiente conjugado, ademas de usarlas
para proponer la Esperanza y la Varianza para cada parametro tal como se menciono antes se puede usar el
Gradiente Conjugado No Lineal para minimizar la funcion (4.25) y estimar el MAP.
Figura 4.1: Dos vistas de la funcion J(a,b) para el ejemplo 1, donde se puede apreciar la vecindad donde
existe el maximo.
Al usar el algoritmo de Gradiente Conjugado No Lineal con los datos de la Tabla 4.1 y los parametros de
inicio antes dichos, se tiene como resultado que el MAP o los valores a y b que maximizan 4.23 estan dados
por
Grad Conj No Lineal:
J* = -0.00019679
a* = 0.03121446
b* = 0.00015808
Haciendo una b usqueda exhaustiva se encuentra que los valores optimos de a y b son (se usa -J para hallar
el maximo en este caso, por ello diferira en el signo):
Busqueda Exahustiva:
J_max = 0.00019691
a_max = 0.03121036
b_max = 0.00015802
44
Problemas Inversos Ricardo Coronado Leija
En la Figura 4.1 se muestran dos vistas de la funcion J(a, b) y se puede apreciar que solo existe un maximo
dado por el J
max
(las legendas de la Figura no se pudo acercar mucho al verdadero valor maximo, pero se
aprecia mas o menos por donde anda) y se observa que el valor estimado por el Gradiente Conjugado si
anda muy cercano al optimo. Tambien en la Figura 4.2 se puede ver el uso de la funcion logistica con los
parametros estimados (a, b) y (a
max
, b
max
) comparados con los datos reales y se observa que estan muy
apegados a lo real. La curva correspondiente a (a
max
, b
max
) no se puede apreciar bien, debido a que la curva
(a, b) la tapa, por lo que se observa que son casi la misma.
Figura 4.2: Gracas del crecimiento de poblacion para EEUU usando: (azul) funcion logistica con parametros
(a
max
, b
max
) (BE), (negro) (CG) funcion logistica con parametros (a, b) y (rojo) los datos de poblacion
reales.
Resultados Ejemplo 2
a no poblacion
2000 100349800
2001 101879200
2002 103400200
2003 104908000
2004 104959600
2005 106202900
2006 107449500
2007 108700900
2008 109955400
2009 111211800
2010 112468900
2011 113724200
2012 114975400
Cuadro 4.2: Crecimiento de la poblacion de Mexico entre los a nos 2000 a 2012.
45
Ricardo Coronado Leija Problemas Inversos
Usando datos de obtenidos de internet acerca de la poblacion en Mexico en el siglo XXI mostrados en Tabla
4.2 (nuevamente en el algoritmo los valores se re-escalan a millones, se divide entre 1000000) se pueden es-
timar a
ini
y b
ini
usando tres muestras y las ecuaciones (4.9), (4.12), y (4.13). Por ejemplo usando los pares
de valores (2000, 100.3498), (2006, 107.4495) y (2012, 114.9754) se encuentra que a = 0.012959705840405 y b
= 1.508266874583199e 005. Usando estas como punto inicial del gradiente conjugado, ademas de usarlas
para proponer la Esperanza y la Varianza para cada parametro tal como se menciono antes se puede usar el
Gradiente Conjugado No Lineal para minimizar la funcion (4.25) y estimar el MAP.
Al usar el algoritmo de Gradiente Conjugado No Lineal con los datos de la Tabla 4.2 y los parametros de
inicio antes dichos, se tiene como resultado que el MAP o los valores a y b que maximizan 4.23 estan dados
por
Grad Conj No Lineal:
J* = -133.34582706
a* = 0.01295599
b* = 0.00001370
Haciendo una b usqueda exhaustiva se encuentra que los valores optimos de a y b son (se usa -J para hallar
el maximo en este caso, por ello diferira en el signo):
Busqueda Exahustiva:
J_max = 137.17312433
a_max = 0.01287538
b_max = 0.00001357
Figura 4.3: Dos vistas de la funcion J(a,b) para el ejemplo 2, donde se puede apreciar la vecindad donde
existe el maximo.
46
Problemas Inversos Ricardo Coronado Leija
se observa que si hay algo de diferencia considerable entre el resultado usando b usqueda exhaustiva y el
resultado del Gradiente Conjugado y esto es debido a que el principal criterio de paro para el Gradiente
Conjugado es que el gradiente sea igual a cero, lo cual es cierto para un gran n umero de valores segun se ve
en la graca de la Figura 4.3, sin embargo a un as el resultado es muy aproximado al optimo.
En la Figura 4.3 se muestran dos vistas de la funcion J(a, b) y se puede apreciar mas o menos por donde se
encuentra el maximo dado por el J
max
se observa que el valor estimado por el Gradiente Conjugado esta muy
cercano al optimo. Tambien en la Figura 4.4 se puede ver el uso de la funcion logistica con los parametros
estimados (a, b) y (a
max
, b
max
) comparados con los datos reales y se observa que estan muy apegados a
lo real. La curva correspondiente a (a
max
, b
max
) ahora si se puede apreciar bien, sobre todo en los a nos mas
recientes, sin embargo e su gran mayora se comportan igual.
Figura 4.4: Gracas del crecimiento de poblacion para Mexico usando: (azul) funcion logistica con parametros
(a
max
, b
max
) (BE), (negro) (CG) funcion logistica con parametros (a, b) y (rojo) los datos de poblacion
reales.
47