Inteligencia Articial ICI-612

Inteligencia Articial ICI-612

Sergio Hernandez
PhD computer science
Universidad Catolica del Maule.
shernandez@ucm.cl
Inteligencia Articial ICI-612
Redes Bayesianas
Introduccion
Dado que los sistemas expertos basados en reglas netamente logicas
tienen problemas para representar el conocimiento imperfecto, los
investigadores centraron la atencion en una interpretacion
probabilistica de los niveles de certeza.
Sin embargo, la complejidad de analizar todas las posibles relaciones
entre un grupo de n variables se vuelve impractico para n grande.
p(x
1
, x
2
, . . . , x
n
) = p(x
1
|x
2
, . . . , x
n
)p(x
2
, . . . , x
n
)
= p(x
1
|x
2
, . . . , x
n
)p(x
2
|x
3
, . . . , x
n
) p(x
n1
, . . . , x
n
)p(x
n
)
=
n

i =1
p(x
i
|x
i +1
, . . . , x
n
)
En el caso de las variables binarias el calculo de la distribucion
conjunta tiene complejidad del orden O(2
n
).
En general, cada permutacion x
ij
con 1 < j < n genera un DAG
distinto pero que representan la misma distribucion.
p(x
1
, . . . , x
n
) = p(x
i 1
|x
i 2
, . . . , x
in
)p(x
i 2
|x
i 3
, . . . , x
in
) p(x
in
)
Inteligencia Articial ICI-612
Redes Bayesianas
Introduccion
Dado que los sistemas expertos basados en reglas netamente logicas
tienen problemas para representar el conocimiento imperfecto, los
investigadores centraron la atencion en una interpretacion
probabilistica de los niveles de certeza.
Sin embargo, la complejidad de analizar todas las posibles relaciones
entre un grupo de n variables se vuelve impractico para n grande.
p(x
1
, x
2
, . . . , x
n
) = p(x
1
|x
2
, . . . , x
n
)p(x
2
, . . . , x
n
)
= p(x
1
|x
2
, . . . , x
n
)p(x
2
|x
3
, . . . , x
n
) p(x
n1
, . . . , x
n
)p(x
n
)
=
n

i =1
p(x
i
|x
i +1
, . . . , x
n
)
En el caso de las variables binarias el calculo de la distribucion
conjunta tiene complejidad del orden O(2
n
).
En general, cada permutacion x
ij
con 1 < j < n genera un DAG
distinto pero que representan la misma distribucion.
p(x
1
, . . . , x
n
) = p(x
i 1
|x
i 2
, . . . , x
in
)p(x
i 2
|x
i 3
, . . . , x
in
) p(x
in
)
Inteligencia Articial ICI-612
Redes Bayesianas
Introduccion
Dado que los sistemas expertos basados en reglas netamente logicas
tienen problemas para representar el conocimiento imperfecto, los
investigadores centraron la atencion en una interpretacion
probabilistica de los niveles de certeza.
Sin embargo, la complejidad de analizar todas las posibles relaciones
entre un grupo de n variables se vuelve impractico para n grande.
p(x
1
, x
2
, . . . , x
n
) = p(x
1
|x
2
, . . . , x
n
)p(x
2
, . . . , x
n
)
= p(x
1
|x
2
, . . . , x
n
)p(x
2
|x
3
, . . . , x
n
) p(x
n1
, . . . , x
n
)p(x
n
)
=
n

i =1
p(x
i
|x
i +1
, . . . , x
n
)
En el caso de las variables binarias el calculo de la distribucion
conjunta tiene complejidad del orden O(2
n
).
En general, cada permutacion x
ij
con 1 < j < n genera un DAG
distinto pero que representan la misma distribucion.
p(x
1
, . . . , x
n
) = p(x
i 1
|x
i 2
, . . . , x
in
)p(x
i 2
|x
i 3
, . . . , x
in
) p(x
in
)
Inteligencia Articial ICI-612
Redes Bayesianas
Introduccion
Dado que los sistemas expertos basados en reglas netamente logicas
tienen problemas para representar el conocimiento imperfecto, los
investigadores centraron la atencion en una interpretacion
probabilistica de los niveles de certeza.
Sin embargo, la complejidad de analizar todas las posibles relaciones
entre un grupo de n variables se vuelve impractico para n grande.
p(x
1
, x
2
, . . . , x
n
) = p(x
1
|x
2
, . . . , x
n
)p(x
2
, . . . , x
n
)
= p(x
1
|x
2
, . . . , x
n
)p(x
2
|x
3
, . . . , x
n
) p(x
n1
, . . . , x
n
)p(x
n
)
=
n

i =1
p(x
i
|x
i +1
, . . . , x
n
)
En el caso de las variables binarias el calculo de la distribucion
conjunta tiene complejidad del orden O(2
n
).
En general, cada permutacion x
ij
con 1 < j < n genera un DAG
distinto pero que representan la misma distribuci on.
p(x
1
, . . . , x
n
) = p(x
i 1
|x
i 2
, . . . , x
in
)p(x
i 2
|x
i 3
, . . . , x
in
) p(x
in
)
Inteligencia Articial ICI-612
Redes Bayesianas
Ejemplo
Tracy despierta una ma nana y descubre el pasto mojado T {0, 1}.
Esto puede explicarse porque dejo el sistema de regado encendido
S {0, 1} o porque llovio R {0, 1}. Despues se percata que el
pasto de su vecino Jack tambien esta mojado J {0, 1}.
R
J T
S
Si consideramos la distribucion marginal de T tenemos que evaluar
O(2
3
) realizaciones:
p(T = 1) = p(T = 1|J, R, S)
=

j {0,1}

r {0,1}

s{0,1}
p(T = 1|J = j , R = r , S = s)
Inteligencia Articial ICI-612
Redes Bayesianas
Ejemplo
Tracy despierta una ma nana y descubre el pasto mojado T {0, 1}.
Esto puede explicarse porque dejo el sistema de regado encendido
S {0, 1} o porque llovio R {0, 1}. Despues se percata que el
pasto de su vecino Jack tambien esta mojado J {0, 1}.
R
J T
S
Si consideramos la distribucion marginal de T tenemos que evaluar
O(2
3
) realizaciones:
p(T = 1) = p(T = 1|J, R, S)
=

j {0,1}

r {0,1}

s{0,1}
p(T = 1|J = j , R = r , S = s)
Inteligencia Articial ICI-612
Redes Bayesianas
Ejemplo
Sin embargo, el hecho que Tracy haya dejado encendido su sistema
de riego no nos dice nada respecto del pasto de Jack ni tampoco
causa inuencia sobre el clima.
P(T|J, R, S) = P(T|R, S)
p(J|R, S) = P(J|R)
p(R|S) = P(R)
Lo cual simplica la distribucion conjunta:
p(T, J, R, S) = p(T|R, S)P(J|R)P(R)
Inteligencia Articial ICI-612
Redes Bayesianas
Ejemplo
Sin embargo, el hecho que Tracy haya dejado encendido su sistema
de riego no nos dice nada respecto del pasto de Jack ni tampoco
causa inuencia sobre el clima.
P(T|J, R, S) = P(T|R, S)
p(J|R, S) = P(J|R)
p(R|S) = P(R)
Lo cual simplica la distribucion conjunta:
p(T, J, R, S) = p(T|R, S)P(J|R)P(R)
Inteligencia Articial ICI-612
Redes Bayesianas
Redes Bayesianas
Las redes Bayesianas (Kim & Pearl 1983, Pearl 1988) pueden ser
descritas como un grafo acclico dirigido (DAG) que dene la
factorizacion sobre la distribucion conjunta p(x
1
, x
2
, . . . , x
n
).
Esta factorizacion indica la independencia condicional entre las
variables as como tambien la relacion entre la evidencia y los hechos.
Las redes Bayesianas expresan independencia entre las variables
(variables causales y efectos), sin embargo esto no debe confundirse
con el concepto mas general de causalidad.
Inteligencia Articial ICI-612
Redes Bayesianas
Redes Bayesianas
Las redes Bayesianas (Kim & Pearl 1983, Pearl 1988) pueden ser
descritas como un grafo acclico dirigido (DAG) que dene la
factorizacion sobre la distribucion conjunta p(x
1
, x
2
, . . . , x
n
).
Esta factorizacion indica la independencia condicional entre las
variables as como tambien la relacion entre la evidencia y los hechos.
Las redes Bayesianas expresan independencia entre las variables
(variables causales y efectos), sin embargo esto no debe confundirse
con el concepto mas general de causalidad.
Inteligencia Articial ICI-612
Redes Bayesianas
Redes Bayesianas
Las redes Bayesianas (Kim & Pearl 1983, Pearl 1988) pueden ser
descritas como un grafo acclico dirigido (DAG) que dene la
factorizacion sobre la distribucion conjunta p(x
1
, x
2
, . . . , x
n
).
Esta factorizacion indica la independencia condicional entre las
variables as como tambien la relacion entre la evidencia y los hechos.
Las redes Bayesianas expresan independencia entre las variables
(variables causales y efectos), sin embargo esto no debe confundirse
con el concepto mas general de causalidad.
Inteligencia Articial ICI-612
Redes Bayesianas
Redes Bayesianas
Una red Bayesiana es una distribucion de la forma:
p(x
1
, . . . , x
n
) =
n

i =1
p(x
i
|pa(x
i
))
con pa() representado a las variables padre de x
i
y cuya representacion
es un DAG.
Las redes Bayesianas sirven para expresar independencia condicional pero
no relaciones de dependencia!.
Inteligencia Articial ICI-612
Redes Bayesianas
Causa com un
A
C
B A
C
B
Figure : Dado que A y B comparten una misma causa C, ambos son
condicionalmente dependientes con respecto a C. Dado que no existe ning un
nodo activo, el segundo grafo representa la misma relaci on de (in)dependencia
condicional.
P(A, B|C) = P(A|C)P(B|C)
Inteligencia Articial ICI-612
Redes Bayesianas
Efecto com un
A
C
B
A
C
B
D
Figure : Aunque las causas A y B son independientes dado C y su descendiente
D. En este caso, al nodo C se le llama colisionador. , Sin embargo, el hecho de
conocer C nos dice algo sobre como las causas conspiran en torno al efecto
observado, o sea que ambas determinan el efecto C.
En general tenemos:
P(A, B, C) = P(C|A)P(C|B)P(A)P(B)
P(A, B, C, D) = p(D|C, A, B)P(C|A)P(C|B)P(A)P(B)
Inteligencia Articial ICI-612
Redes Bayesianas
Separaci on directa
De acuerdo al principio de independencia condicional A B | C, conocer
el valor de B bloquea la informacion de A respecto de C (y viceversa).
De manera mas general, consideramos 3 conjuntos disjuntos A, B y C de
nodos. Para estos conjuntos necesitamos vericar que para cualquier
nodo se cumple la relacion A C | B.
Bloqueo
Una ruta U entre A y C se dice bloqueada por B si existe un nodo W en
U, tal que:
W no es un colisionador y W B .
W es un colisionador y W / B as como tambien sus descendientes
d-separacion
Si todos las rutas posibles U entre cualquier nodo en A y otro en C estan
bloqueadas, entonces A y C estan d-separados por B.
Inteligencia Articial ICI-612
Redes Bayesianas
Separaci on directa
De acuerdo al principio de independencia condicional A B | C, conocer
el valor de B bloquea la informacion de A respecto de C (y viceversa).
De manera mas general, consideramos 3 conjuntos disjuntos A, B y C de
nodos. Para estos conjuntos necesitamos vericar que para cualquier
nodo se cumple la relacion A C | B.
Bloqueo
Una ruta U entre A y C se dice bloqueada por B si existe un nodo W en
U, tal que:
W no es un colisionador y W B .
W es un colisionador y W / B as como tambien sus descendientes
d-separacion
Si todos las rutas posibles U entre cualquier nodo en A y otro en C estan
bloqueadas, entonces A y C estan d-separados por B.
Inteligencia Articial ICI-612
Redes Bayesianas
Separaci on directa
De acuerdo al principio de independencia condicional A B | C, conocer
el valor de B bloquea la informacion de A respecto de C (y viceversa).
De manera mas general, consideramos 3 conjuntos disjuntos A, B y C de
nodos. Para estos conjuntos necesitamos vericar que para cualquier
nodo se cumple la relacion A C | B.
Bloqueo
Una ruta U entre A y C se dice bloqueada por B si existe un nodo W en
U, tal que:
W no es un colisionador y W B .
W es un colisionador y W / B as como tambien sus descendientes
d-separacion
Si todos las rutas posibles U entre cualquier nodo en A y otro en C estan
bloqueadas, entonces A y C estan d-separados por B.
Inteligencia Articial ICI-612
Redes Bayesianas
Separaci on directa
A B C
Figure : Tripleta activa. Todas las variables son condicionalmente dependientes
A C B
Figure : Tripleta inactiva. La variable en rojo bloquea la informaci on de las
otras variables y por lo tanto se convierten en condicionalmente independientes,
es decir : A C|B.