Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Distribucion
Gaussiana
Procesos
Gaussianos
Procesos Gaussianos
Eduardo Morales
INAOE
(INAOE)
1 / 54
Contenido
Introduccion
Distribucion
Gaussiana
Procesos
Gaussianos
1 Introduccion
Gaussiana
2 Distribucion
3 Procesos Gaussianos
(INAOE)
2 / 54
Introduccion
Procesos Gaussianos
Introduccion
Distribucion
Gaussiana
Procesos
Gaussianos
posterior sobre
cambio podemos buscar la distribucion
los modelos.
Estas distribuciones nos cuantifican nuestra
(INAOE)
3 / 54
Introduccion
Procesos Gaussianos
Introduccion
Distribucion
Gaussiana
Procesos
Gaussianos
(INAOE)
4 / 54
Introduccion
Procesos Gaussianos
Introduccion
Distribucion
Gaussiana
Procesos
Gaussianos
5 / 54
Gaussiana
Distribucion
Gaussiana
Distribucion
Introduccion
Distribucion
Gaussiana
Procesos
Gaussianos
Gaussiana es la mas
conocida y utilizada en
La distribucion
probabilidad:
(INAOE)
6 / 54
Gaussiana
Distribucion
Gaussiana
Distribucion
Introduccion
Distribucion
Gaussiana
Procesos
Gaussianos
2
)
p(y |, 2 ) = 1 2 exp( (x)
2 2
2
2
= N (y |, )
El valor esperado es: E{x} =
La varianza es: Var (x) = 2
La desviacion
estandar es:
(INAOE)
7 / 54
Gaussiana
Distribucion
Propiedades
Introduccion
Distribucion
Gaussiana
Procesos
Gaussianos
yi N (, 2 )
n
X
i=1
yi N (
n
X
i=1
i ,
n
X
i2 )
i=1
(INAOE)
8 / 54
Gaussiana
Distribucion
Propiedades
Introduccion
Distribucion
Gaussiana
Procesos
Gaussianos
yi N (, 2 )
wy N (w, w 2 2 )
La distribucion
gaussiana se puede extender hacia
gaussianas multivariables.
Ahora se tiene un vector media Rn y matriz de
(INAOE)
9 / 54
Gaussiana
Distribucion
Gaussianas Multivariables
Introduccion
Distribucion
Gaussiana
Procesos
Gaussianos
p(x; , ) =
(INAOE)
1
(2)n/2 ||1/2
1
exp( (x )T 1 (x ))
2
10 / 54
Gaussiana
Distribucion
Gaussianas Multivariables
Introduccion
Distribucion
Gaussiana
Procesos
Gaussianos
1
1
q
p(w, h) =
exp(
2
2 12 22
(INAOE)
w
h
w
h
1
2
1
2
T
12
0
0
22
1
11 / 54
Gaussiana
Distribucion
Gaussiana Multivariable
Distribucion
Introduccion
Distribucion
Gaussiana
Procesos
Gaussianos
En general, la definicion
de una distribucion
gaussiana
multivariable es:
p(X |, ) =
1
(2)n/2 ||1/2
1
exp( (X )T 1 (X ))
2
(INAOE)
12 / 54
Procesos Gaussianos
Procesos Gaussianos
Introduccion
Distribucion
Gaussiana
Procesos
Gaussianos
(INAOE)
13 / 54
Procesos Gaussianos
Procesos Gaussianos
Introduccion
Distribucion
Gaussiana
Procesos
Gaussianos
(INAOE)
14 / 54
Procesos Gaussianos
Procesos Gaussianos
Introduccion
Distribucion
Gaussiana
y su vector ~h, ~h = N (~
la funcion
, 2 I) (y asumiendo
i.i.d):
Procesos
Gaussianos
P(h) =
m
Y
1
1
exp( 2 (h(xi ) i )2 )
2
2
i=1
(INAOE)
15 / 54
Procesos Gaussianos
Procesos Gaussianos
Introduccion
Distribucion
Gaussiana
Procesos
Gaussianos
(INAOE)
16 / 54
Procesos Gaussianos
Procesos Gaussianos
Introduccion
Distribucion
Gaussiana
Procesos
Gaussianos
tal
ditribucion
(INAOE)
17 / 54
Procesos Gaussianos
Procesos Gaussianos
Introduccion
Distribucion
Gaussiana
Procesos
Gaussianos
h(x1 )
m(x1 )
k(x1 , x1 ) . . . k (x1 , xm )
..
..
..
..
..
N
,
.
.
.
.
.
h(xm )
m(xm )
k (xm , x1 ) . . . k(xm , xm )
Esto lo denotamos como: h() GP(m(), k(, ))
(INAOE)
18 / 54
Procesos Gaussianos
Procesos Gaussianos
Introduccion
Distribucion
Gaussiana
Procesos
Gaussianos
Cada dimension
de la gaussiana corresponde a un
(INAOE)
19 / 54
Procesos Gaussianos
Procesos Gaussianos
Introduccion
Distribucion
Gaussiana
Procesos
Gaussianos
k (x1 , x1 ) . . . k(x1 , xm )
..
..
..
K =
.
.
.
k(xm , x1 ) . . . k (xm , xm )
gaussiana multivariable
sea valida
para una distribucion
(positiva semidefinitiva), lo cual son las mismas condiciones
que para los Kernels (Mercers condition), por lo que
kernel se puede usar como funcion
de
cualquier funcion
covarianza.
(INAOE)
20 / 54
Procesos Gaussianos
Procesos Gaussianos
Introduccion
Distribucion
Gaussiana
Procesos
Gaussianos
(INAOE)
21 / 54
Procesos Gaussianos
Procesos Gaussianos
Introduccion
Distribucion
Gaussiana
Procesos
Gaussianos
(INAOE)
22 / 54
Procesos Gaussianos
Procesos Gaussianos
Introduccion
Distribucion
Gaussiana
Procesos
Gaussianos
El modelo de regresion
de un proceso gaussiano:
(INAOE)
23 / 54
Procesos Gaussianos
Procesos Gaussianos
Introduccion
Distribucion
Gaussiana
Procesos
Gaussianos
(i)
(INAOE)
24 / 54
Procesos Gaussianos
Procesos Gaussianos
Introduccion
Distribucion
Gaussiana
Procesos
Gaussianos
"
p
(INAOE)
~h
h~
!
|X , X
k(X , X ) k(X , X )
~
N 0,
k(X , X ) k(X , X )
25 / 54
Procesos Gaussianos
Procesos Gaussianos
Introduccion
Distribucion
Gaussiana
donde:
Procesos
Gaussianos
(j)
(INAOE)
26 / 54
Procesos Gaussianos
Procesos Gaussianos
Introduccion
Distribucion
Gaussiana
Procesos
Gaussianos
Para el ruido:
p
(INAOE)
~
~
"
N
~0,
2 I ~0
~0T 2 I
#!
27 / 54
Procesos Gaussianos
Procesos Gaussianos
Introduccion
Distribucion
Gaussiana
Procesos
Gaussianos
lo es:
suma tambien
"
#
~h
~y
~
|X , X = ~
+
y~
~
h
k (X , X ) + 2 I k (X , X )
~
N 0,
k (X , X )
k (X , X ) + 2 I
(INAOE)
28 / 54
Procesos Gaussianos
Procesos Gaussianos
Introduccion
Distribucion
Gaussiana
Procesos
Gaussianos
sigue que:
~y |~y , X , X N ( , )
donde:
= K (X , X )(K (X , X ) + 2 I)1~y
= K (X , X )+ 2 IK (X , X )(K (X , X )+ 2 I)1 K (X , X )
(INAOE)
29 / 54
Procesos Gaussianos
Gaussianas Multivariables
Introduccion
Distribucion
Gaussiana
Procesos
Gaussianos
(INAOE)
30 / 54
Procesos Gaussianos
Gaussianas Multivariables
Introduccion
Distribucion
Gaussiana
Procesos
Gaussianos
y la matrz de covarianza :
=
a,a a,b
b,a b,b
simetricas
y que b,a = Ta,b
(INAOE)
31 / 54
Procesos Gaussianos
Gaussianas Multivariables
Introduccion
Distribucion
Gaussiana
Procesos
Gaussianos
(INAOE)
32 / 54
Procesos Gaussianos
Gaussianas Multivariables
Introduccion
Distribucion
Gaussiana
Procesos
Gaussianos
gaussiana:
12 (xa
12 (xb
(INAOE)
12 (x )T 1 (x ) =
T
a ) a,a (xa a ) 21 (xa a )T a,b (xb
b )T b,a (xa a ) 12 (xb b )T b,b (xb
b )
b )
33 / 54
Procesos Gaussianos
Gaussianas Multivariables
Introduccion
Distribucion
Gaussiana
Procesos
Gaussianos
expresar como:
1
1
(x )T 1 (x ) = x T 1 x +x T 1 + const
2
2
(INAOE)
34 / 54
Procesos Gaussianos
Gaussianas Multivariables
Introduccion
Distribucion
Gaussiana
Procesos
Gaussianos
En esta expresion,
el termino
de segundo orden se
expresion
de
1
xaT a,a xa
2
De donde podemos concluir que la covarianza (inverso
de p(xa |xb ) esta dado por:
de precision)
a|b = 1
a,a
(INAOE)
35 / 54
Procesos Gaussianos
Gaussianas Multivariables
Introduccion
Distribucion
Gaussiana
Procesos
Gaussianos
en xa :
xaT {a,a a a,b (xb b )}
donde aprovechamos que: Tb,a = a,b . Como esto
debe de ser igual a: 1
a|b a|b , entonces (y usando
a|b = 1
a,a ):
a|b = a|b {a,a a a,b (xb b )} = a 1
a,a a,b (xb b )
(INAOE)
36 / 54
Procesos Gaussianos
Gaussianas Multivariables
Introduccion
Distribucion
Gaussiana
Procesos
Gaussianos
de matrices partidas:
de invesion
A B
C D
1
=
MBD 1
1
1
D CM D + D 1 CMBD 1
M
(INAOE)
37 / 54
Procesos Gaussianos
Gaussianas Multivariables
Introduccion
Distribucion
Gaussiana
Procesos
Gaussianos
=
a,a a,b
b,a b,b
1
==
a,a a,b
b,a b,b
y
1
a,a = (a,a a,b 1
b,b b,a )
1
1
a,b = (a,a a,b 1
b,b b,a ) a,b b,b
a|b = a a,b 1
b,b (xb b )
a|b = a,a a,b 1
b,b b,a
(INAOE)
38 / 54
Procesos Gaussianos
Introduccion
Distribucion
Gaussiana
Procesos
Gaussianos
(INAOE)
39 / 54
Procesos Gaussianos
Introduccion
Distribucion
Gaussiana
Procesos
Gaussianos
(INAOE)
40 / 54
Procesos Gaussianos
Introduccion
Distribucion
Gaussiana
Procesos
Gaussianos
(INAOE)
41 / 54
Procesos Gaussianos
Calculo
de los Hiperparametros
Introduccion
Distribucion
Gaussiana
Procesos
Gaussianos
Recordando la definicion
de una distribucion
gaussiana
multivariable:
p(x|, ) =
1
(2)n/2 ||1/2
1
exp( (x )T 1 (x ))
2
(INAOE)
42 / 54
Procesos Gaussianos
Hiperparametros
Introduccion
Los hiperparametros
Distribucion
Gaussiana
Procesos
Gaussianos
distribuciones
Para obtener los hiperparametros
donde K
es una matriz con las derivadas de sus
elementos.
K
log|K | = tr (K 1
)
43 / 54
Procesos Gaussianos
Hiperparametros
Introduccion
Distribucion
Gaussiana
Entonces:
1
K 1
1
K
p(y|x, ) = y T K 1
K y tr (K 1
)
j
2
j
2
i
Procesos
Gaussianos
K
1
tr ((T K 1 )
)
2
i
donde = K 1 y
Para obtener entonces los hiperparametros
se sigue un
(INAOE)
44 / 54
Procesos Gaussianos
Procesos Gaussianos
Introduccion
Distribucion
Gaussiana
Procesos
Gaussianos
Limitaciones:
La complejidad de la inferencia es O(n3 ) por la
de la matriz.
inversion
No son capaces de lidear con discontinuidades
(INAOE)
45 / 54
Procesos Gaussianos
Procesos Gaussianos
Introduccion
Distribucion
Gaussiana
Procesos
Gaussianos
En terminos
practicos,
para programar GPs necesitamos:
Calcular la matriz de covarianza.
Invertirla
de
Esto se realiza normalmente usando la factorizacion
Cholesky.
Basicamente
toma una matriz simetrica
y la
descompone un el producto de una matriz triangular
inferior L (el factor de Cholesky) y su traspuesta:
LLT = K
(INAOE)
46 / 54
Procesos Gaussianos
Procesos Gaussianos
Introduccion
Distribucion
Gaussiana
Procesos
Gaussianos
(proceso
de optimizacion).
a posteriori de ocurre cuando
Nuestra estimacion
p(|x, y ) es maximo,
lo que corresponde a maximizar
log(p(y |x, ) dado por:
1
n
1
logp(y |x, ) = y T K 1 log|K | log2
2
2
2
Lo cual se puede resolver usando un algoritmo de
multivariable como gradiente conjugado,
optimizacion
Nelder-Mead simplex, etc.
(INAOE)
47 / 54
Procesos Gaussianos
PILCO
Introduccion
Distribucion
Gaussiana
Procesos
Gaussianos
(INAOE)
48 / 54
Procesos Gaussianos
PILCO
Introduccion
Distribucion
Gaussiana
Procesos
Gaussianos
(INAOE)
49 / 54
Procesos Gaussianos
QL-PILCO
Introduccion
Distribucion
Gaussiana
Procesos
Gaussianos
se puede
(gua cualitativa de la
de transicion)
forma de la funcion
Inicial con la ultima
poltica y actualizar los
hiper-parametros
gradualmente:
i = i1 + (1 )pi , i > 0
p(|pk ) N (k , k2 )
k2 =
(INAOE)
p2 k21
p2 +k21
; k = k2
k 1
k21
p
p2
50 / 54
Procesos Gaussianos
Procesos Gaussianos
Introduccion
Distribucion
Gaussiana
Procesos
Gaussianos
(INAOE)
51 / 54
Procesos Gaussianos
Procesos Gaussianos
Introduccion
Distribucion
Gaussiana
40
Procesos
Gaussianos
PILCO ( = 0)
Hyperparameters transfer ( = 0.9)
QTLPILCO ( = 0.9)
QTLPILCO ( = 0.5)
QTLPILCO ( = 1)
QTLPILCO (Bayesian)
Policy transfer
35
Total reward
30
25
20
15
10
10
12
14
16
18
20
22
24
Episodes
(INAOE)
52 / 54
Procesos Gaussianos
Procesos Gaussianos
Introduccion
Distribucion
Gaussiana
200
Procesos
Gaussianos
PILCO
VREP Autopilot (Reference)
QTLPILCO (Bayesian)
180
160
Total reward
140
120
100
80
60
40
20
0
10
15
20
25
30
Episodes
(INAOE)
53 / 54
Procesos Gaussianos
Procesos Gaussianos
Introduccion
Distribucion
Gaussiana
Procesos
Gaussianos
[activate=onclick,width=0.5]
PoleSwing-up.mp4
(INAOE)
54 / 54