Está en la página 1de 207

Una Introduccin a las Redes Bayesianas

Serafn Moral
Departamento de Ciencias de la Computacin
Universidad de Granada

Una Introduccin a las Redes Bayesianas p.1/??

Redes Bayesianas

Sistemas Expertos Probabilsticos


Representar conocimiento con incertidumbre.
Despus se puede manipular para razonamiento y toma de
decisiones.
Se pueden tratar muchas variables.
Las reglas (probabilidades) se pueden estimar a partir de
datos.
Los modelos tienen una interpretacin clara y bien definida.
Actualmente estn teniendo un gran desarrollo.

Una Introduccin a las Redes Bayesianas p.2/??

Indicios de importancia
En 1999 J. Pearl uno de los pioneros en Inteligencia Artificial recibi el IJCAI
Award for Research Excellence (El sptimo de estos premios bianuales). Esta
es la distincin ms importante en Inteligencia Artificial.
Evolucin de publicaciones en JCR (base de datos de publicaciones) bajo la
bsqueda Bayesian Networks:
1990-1999: 118 publicaciones
2000-2006: 587 publicacione
Algunos artculos altamente citados en scholar.google.com:
Aprendizaje de Hecherman y col. (1995): 1249 citas
Clasificacin supervisada de Friedman y col. (1997): 880 cirtas
Anlisis de datos de expresin gentica de Friedman y col. (2000): 906
citas
Filtrado de clientes de Breese y col. (1998) 1129 citas
Libro de Judea Pearl: 8027 citas
Una Introduccin a las Redes Bayesianas p.3/??

Referencias
E. Castillo, J.M. Gutirrez, A.S. Hadi (1996) Sistemas Expertos y Modelos de
Redes Probabilsticas. Monografas de la Academia de Ingeniera. Academia
de Ingeniera, Madrid.
R.G. Cowell, A.P. Dawid, S.L. Lauritzen, D.J. Spiegelhalter (1999)
Probabilistic Networks and Expert Systems. Springer-Verlag, Nueva York.
F.V. Jensen (1996) An Introduction to Bayesian Networks. UCL Press,
Londres.
F.V. Jensen (2001) Bayesian Networks and Decision Graphs. Springer-Verlag,
Nueva York.
F.V. Jensen, T.D. Nielsen (2007) Bayesian Networks and Decision Graphs
(2nd Edition). Springer-Verlag, Nueva York.
U. Kjaerulff, A.L. Madsen (2007) Bayesian Networks and Influence Diagrams:
A Guide to Construction and Analysis. Springer-Verlag.
J. Pearl (1988) Probabilistic Reasoning in Intelligent Systems: Networks of
Introduccin a las Redes Bayesianas p.4/??
CA.
Plausible Inference. Morgan Kaufmann, San Mateo, Una

Contenido
Problemas para manejar conocimiento incierto
Teora de la Probabilidad
Independencia
Redes Bayesianas, D-separacin
Construccin de redes Bayesianas
Algoritmo de borrado o de eliminacin de variables
El programa Elvira
Otros temas: configuracin de mxima probabilidad,
diagramas de influencia, aprendizaje

Una Introduccin a las Redes Bayesianas p.5/??

Sistemas Basados en Reglas


SI es un animal con pelo ENTONCES es un mamfero
Incertidumbre:
SI tiene fiebre y dolor de cabeza, entonces tiene gripe (certeza
0.7)
MYCIN fue diseado para determinar tratamientos en
infecciones de la sangre con 300 reglas.
Si una conclusin se obtiene por varias vas, los valores de
certeza se combinan.
Las certezas no eran probabilidades: stas imponen unas
reglas de clculo muy estrictas.
Su correcto funcionamiento se basa en un cuidadoso
diseo de las reglas en funcin del uso que se hace de
ellas.

Una Introduccin a las Redes Bayesianas p.6/??

Problemas
La validez de una regla depende del contexto.
Si conozco el nivel de estudios de una persona, obtengo informacin
sobre su nivel de ingresos. Esta informacin puede ser equivocada y
ponerse de manifiesto si conozco el puesto de trabajo concreto que
esta persona desarrolla
Si al salir de casa vemos el csped mojado podemos sospechar que ha
llovido. Si descubrimos que nos hemos dejado la manguera abierta,
dejamos de sospechar que ha llovido.

Una Introduccin a las Redes Bayesianas p.7/??

Problemas
La validez de una regla depende del contexto.
Si conozco el nivel de estudios de una persona, obtengo informacin
sobre su nivel de ingresos. Esta informacin puede ser equivocada y
ponerse de manifiesto si conozco el puesto de trabajo concreto que
esta persona desarrolla
Si al salir de casa vemos el csped mojado podemos sospechar que ha
llovido. Si descubrimos que nos hemos dejado la manguera abierta,
dejamos de sospechar que ha llovido.
Las reglas con incertidumbre deberan de poder usarse en ambas
direcciones.
Si hay fuego debe de haber humo
Si vemos humo sospechamos la existencia de fuego

Una Introduccin a las Redes Bayesianas p.7/??

Problemas
La validez de una regla depende del contexto.
Si conozco el nivel de estudios de una persona, obtengo informacin
sobre su nivel de ingresos. Esta informacin puede ser equivocada y
ponerse de manifiesto si conozco el puesto de trabajo concreto que
esta persona desarrolla
Si al salir de casa vemos el csped mojado podemos sospechar que ha
llovido. Si descubrimos que nos hemos dejado la manguera abierta,
dejamos de sospechar que ha llovido.
Las reglas con incertidumbre deberan de poder usarse en ambas
direcciones.
Si hay fuego debe de haber humo
Si vemos humo sospechamos la existencia de fuego
Correlacin entre las informaciones. Si una misma informacin se repite
Una Introduccin a las Redes Bayesianas p.7/??
muchas veces no debe de aumentar nuestra certidumbre.

Probabilidad
La probabilidad como medida de certeza, no presenta ninguno
de estos problemas.
Puedo tener P(Gripe|Fiebre) =0.9, P(Gripe|Fiebre, Otitis) =0.1.
Presenta otro: necesito una distribucin de probabilidad conjunta.
Si tengo 30 variables, X1 , . . . , Xn y cada una de ellas, Xi ,
toma dos posibles valores {ai , ai }, entonces necesitamos
partir de las probabilidades de todas las combinaciones
(x1 , x2 , . . . , xn ),

xi {ai , ai }

Si n = 30, necesitamos 230 valores, pero inicialmente


solemos disponer de unas cuantas probabilidades
condicionadas.
Una Introduccin a las Redes Bayesianas p.8/??

Probabilidad
Slo vamos a considerar la probabilidad sobre conjuntos finitos.
Vamos a suponer un conjunto U finito de sucesos elementales y una familia
de conjuntos o sucesos B (si U es finito esta familia suele ser el conjunto de
las partes de U).
Una medida de probabilidad sobre (U, B) es una aplicacin P : B [0, 1],
que verifica:
P(U) = 1
Si A y C son disjuntos P(A C) = P(A) + P(C)

Una Introduccin a las Redes Bayesianas p.9/??

Probabilidad Condicional
P(A B)
,
P(A|B) =
P(B)

P(B) 6= 0

Aunque tiene sentido hablar de probabilidad condicionada a


sucesos de probabilidad 0, y en ese caso se debe de verificar:
P(A B) = P(A|B).P(B)
La probabilidad P(A|B) es la probabilidad de A cuando
conocemos que B y slo B es cierto.

Una Introduccin a las Redes Bayesianas p.10/??

El Teorema de la Probabilidad Total


Si un paciente tiene la enfermedad E, entonces un test T resulta
positivo con probabilidad 0.95. Si la enfermedad no est
presente el test es positivo con probabilidad 0.03. Si la
probabilidad de sufrir la enfermedad es 0.01, Cual es la
probabilidad de que un paciente cualquiera presente un test
positivo?
Queremos la probabilidad de T +, pero slo conocemos la
probabilidad de T + condicionado a la enferemedad y a que no
se tenga la enfermedad, y adems conocemos las
probabilidades de tener y no tener las enfermedad.
Si {Hi }iI es una coleccin finita de sucesos disjuntos dos
a dos y cuya unin es el suceso seguro (U).
P(B) = iI P(B|Hi )P(Hi )
Una Introduccin a las Redes Bayesianas p.11/??

El Teorema de la Probabilidad Total


Si {Hi }iI es una coleccin finita de sucesos disjuntos dos
a dos y cuya unin es el suceso seguro (U).
P(B) = iI P(B|Hi )P(Hi )
S

Demostracin: P(B) = P(B U) = P(B ( iI Hi )) =


S
P( iI (B Hi )) = iI P(B Hi ) = iI P(B|Hi )P(Hi )
P(T +) = P(T + |E).P(E) + P(T + |E).P(E) =
0.95 0.01 + 0.03 0.99 = 0.0392

Una Introduccin a las Redes Bayesianas p.12/??

El Teorema de Bayes
Si un paciente tiene la enfermedad E, entonces un test T resulta
positivo con probabilidad 0.95. Si la enfermedad no est
presente el test es positivo con probabilidad 0.03. Si la
probabilidad de sufrir la enfermedad es 0.01, Cual es la
probabilidad de que un paciente con un test positivo sufra la
enfermedad?
Conocemos P(T + |E) y las probabilidades P(T + |E), P(E) y
queremos la probabilidad P(E|T +). Es como invertir la
probabilidad condicionada.
Si {Hi }iI es una coleccin de sucesos disjuntos dos a
dos y cuya unin es el suceso seguro (U).
P(H j |B) =

P(H j B)
P(B)

P(B|H j ).P(H j )
P(B)

P(B|H j ).P(H j )
iI P(B|Hi )P(Hi )
Una Introduccin a las Redes Bayesianas p.13/??

El Teorema de Bayes
Si un paciente tiene la enfermedad E, entonces un test T resulta
positivo con probabilidad 0.95. Si la enfermedad no est
presente el test es positivo con probabilidad 0.03. Si la
probabilidad de sufrir la enfermedad es 0.01, Cual es la
probabilidad de que un paciente con un test positivo sufra la
enfermedad?
Si {Hi }iI es una coleccin de sucesos disjuntos dos a
dos y cuya unin es el suceso seguro (U).
P(H j |B) =

P(B|H j ).P(H j )
iI P(B|Hi )P(Hi )

En el caso del ejemplo,


P(T +|E).P(E)
P(E|T +) = P(T +|E).P(E)+P(T +|E).P(E) =
0.0095/0.0392 = 0.2423

0.950.01
0.950.01+0.030.99

Una Introduccin a las Redes Bayesianas p.14/??

Variables Inciertas
Una variable es una magnitud medible en un determinado
problema. Es incierta cuando su resultado no puede ser
determinado con exactitud.
Vamos a hablar en trminos de variables inciertas. Las
variables aleatorias las representaremos por X,Y, Z, . . .
Temperatura con valores en
{ 36, 36.5, 37, 37.5, 38, 38.5, 39, 39.5, 40}
Hepatitis con valores en {Presente, Ausente}
N. de Hijos con valores en {0, 1, 2, 3, > 3}
Un valor genrico de la variable X se representar por x
Un conjunto de variables se representar por X
Un valor genrico de X se representar por x

Una Introduccin a las Redes Bayesianas p.15/??

Variables Discretas y Continuas


Una variable es discreta si el conjunto de valores posibles
es finito (Presencia de una enfermedad, Nmero de
asignaturas matriculadas, Sexo, Estudios realizados)
Una variable es continua si toma valores en un intervalo de
los nmeros reales (Altura, Peso, Luminosidad ).
Nosotros vamos a considerar variables discretas
Si hay continuas las discretizamos dividindolas en un
conjunto finito de intervalos

Una Introduccin a las Redes Bayesianas p.16/??

Distribuciones de probabilidad
Una distribucin de probabilidad p sobre X es la funcin que
asigna a cada valor x, la probabilidad con que X toma dicho
valor. Se notar como p(x).
Ejemplo: Variable N. de hijos con valores {0, 1, 2, 3, > 3} y la
distribucin de probabilidad:
p
0
1
2
3
>3
0.1 0.3 0.4 0.15 0.05
Sus valores deben de sumar 1.
0.4
0.3
0.2
0.1

>3

Una Introduccin a las Redes Bayesianas p.17/??

Distribuciones Conjuntas
Si tenemos un conjunto de variables X una distribucin de
probabilidad conjunta asocia a cada posible valor de estas x, su
probabilidad p(x).
Ejemplo: Tenemos las variables X(Color de los ojos) e Y
(Color del pelo), una distribucin conjunta sobre estas variables
puede ser
Y
Moreno Rubio
X

Marrones
Azules

0.5
0.05

0.15
0.3

Tambin podemos tener distribuciones que dependan de ms


de dos variables, p.e. p(x, y, z).
Una Introduccin a las Redes Bayesianas p.18/??

Distribuciones Condicionadas
Si tenemos dos variables, X,Y , la distribucin de probabilidad
de Y dado X, es una funcin de los conjuntos dnde Y y X
toman sus valores en [0,1], dada por
p(y|x) = P(Y = y|X = x)
Es evidente que x, y p(y|x) = 1
Caso de los test y de las enfermedades p(t|e)
t+
e

0.95 0.05

e 0.03 0.97
Una Introduccin a las Redes Bayesianas p.19/??

Distribuciones Condicionadas
Si condicionamos a varias variables, tenemos que dar el valor
de probabilidad de la variable para cada combinacin de valores
de las variables condicionadas.
Ejemplo:
Sean X Cncer de Pulmn, Y Fumador y Z Sexo. Supongamos
que tenemos que una probabilidad condicionada de X dadas las
variables Y y Z, tenemos que dar una tabla de valores como la
siguiente:
Y= Si
Y = Si
Y = No
Y = No
Z= Hombre Z= Mujer Z = Hombre Z = Mujer
X=Si

0.5

0.4

0.2

0.1

X=No 0.5

0.6

0.8

0.9
Una Introduccin a las Redes Bayesianas p.20/??

Muchas Variables
Qu pasa si el nmero de variables es elevado?
Supongamos que en el problema de la enfermedad que se
detecta con un test, en vez de un slo test tenemos 10
(T1 , . . . , T10 ).
Ahora para especificar el problema y despus poder aplicar el
teorema de Bayes, deberemos indicar todos los valores
p(t1 , . . . ,t10 |e),
ti {+, }, e {pres,aus}
Esto constituye un nmero importante de valores y crece
exponencialmente en funcin del nmero de tests.

Una Introduccin a las Redes Bayesianas p.21/??

Independencia Condicional
Una hiptesis que permite simplificar el problema: Los tests son
condicionalmente independientes dada la enfermedad.
Entonces, podemos expresar
10

p(t1 , . . . ,t10 |e) = p(ti |e)


i=1

La independencia ser definida formalmente ms adelante,


pero se puede interpretar como que los tests tienen distintos
mecanismos de medicin, se fijan en distintos factores, no se
equivocan siempre en los mismos casos.

Una Introduccin a las Redes Bayesianas p.22/??

Bayes Nave
En problemas de clasificacin de una variable Y en funcin de
otras variables X1 , . . . , Xn la hiptesis de independencia
condicional da lugar al mtodo Nave Bayes.
Fue usado por primera vez en 1.961 y es extremadamente
competitivo an en casos en los que la hiptesis no sea
aplicable.
La razn: Los modelos son ms sencillos y se pueden estimar
mejor.

Una Introduccin a las Redes Bayesianas p.23/??

Potenciales
Si X es un conjunto de variables y X es el conjunto de todos los
valores posibles de X, un potencial sobre X es una aplicacin f :
f : X R
donde R representa el conjunto de los nmeros reales.
Un potencial asigna un valor numrico a cada combinacin
posible de valores de las variables en X.
Una distribucin de probabilidad conjunta o una distribucin
condicionada son ejemplos de potenciales.
Un potencial se puede representar en un programa como una
tabla con tantos ndices como variables y donde cada ndice
puede tomar tantos valores como casos posibles tiene la
variable correspondiente.
Una Introduccin a las Redes Bayesianas p.24/??

Operaciones Bsicas con Potenciales


Marginalizacin.- Si tenemos un potencial f definido sobre
las variables (X, Y) la marginalizacin de f sobre

Una Introduccin a las Redes Bayesianas p.25/??

Marginalizacin
Si tenemos un conjunto de variables Y = (X, Z), entonces la
marginalizacin permite obtener la distribucin de probabilidad
sobre X (distribucin marginal) a partir de la de Y.
Si p(x, z) es una distribucin sobre (X, Z) entonces su
marginalizacin sobre X es la distribucin que se obtiene de la
forma:
p(x) = p(x, z)
z

La marginalizacin sobre X se llama tambin borrado de las


variables en Z.
Por ejemplo, si tengo una distribucin p(x, y, z) sobre (X,Y, Z) , la
marginalizacin sobre (X,Y ) se obtiene como
p(x, y) = z p(x, y, z)
Una Introduccin a las Redes Bayesianas p.26/??

Marginalizacin
Si tenemos un conjunto de variables Y = (X, Z), entonces la
marginalizacin permite obtener la distribucin de probabilidad
sobre X (distribucin marginal) a partir de la de Y.
Si p(x, z) es una distribucin sobre (X, Z) entonces su
marginalizacin sobre X es la distribucin que se obtiene de la
forma:
p(x) = p(x, z)
z

La marginalizacin sobre X se llama tambin borrado de las


variables en Z.
Por ejemplo, si tengo una distribucin p(x, y, z) sobre (X,Y, Z) , la
marginalizacin sobre (X,Y ) se obtiene como
p(x, y) = z p(x, y, z)
Una Introduccin a las Redes Bayesianas p.27/??

Ejemplo
Sean X Cncer de Pulmn, Y Fumador y Z Sexo. Supongamos
que tenemos la siguiente distribucin de probabilidad conjunta
Y= Si
Y = Si
Y = No
Y = No
Z= Hombre Z= Mujer Z = Hombre Z = Mujer
X=Si

0.14

0.168

0.024

0.018

X=No 0.14

0.252

0.096

0.162

Una Introduccin a las Redes Bayesianas p.28/??

Ejemplo
Sean X Cncer de Pulmn, Y Fumador y Z Sexo. Supongamos
que tenemos la siguiente distribucin de probabilidad conjunta
Y= Si
Y = Si
Y = No
Y = No
Z= Hombre Z= Mujer Z = Hombre Z = Mujer
X=Si

0.14

0.168

0.024

0.018

X=No 0.14
0.252
0.096
0.162
La marginalizacin sobre (Y, Z) viene dada por la distribucin de
probabilidad:
Y= Si
Y = Si
Y = No
Y = No
Z= Hombre Z= Mujer Z = Hombre Z = Mujer
0.28

0.42

0.12

0.18
Una Introduccin a las Redes Bayesianas p.28/??

Ejemplo
La distribucin sobre (Y, Z) la podemos marginalizar sobre
cualquiera de sus variables.
Y= Si
Y = Si
Y = No
Y = No
Z= Hombre Z= Mujer Z = Hombre Z = Mujer
0.28
0.42
Sobre Y obtenemos
Y = Si Y = No

0.12

0.18

0.7
0.3
Sobre Z obtenemos
Z = Hombre Z = Mujer
0.4
0.6
El resultado de borrar dos variables consecutivas es el mismo
que si dichas variables se borran en un solo paso.

Una Introduccin a las Redes Bayesianas p.29/??

Independencia
Las variables X e Y son independientes si y solo si la
distribucin de probabilidad verifica
pX,Y (x, y) = pX (x).pY (y),

x, y

donde pX , pY son las distribuciones de probabilidad marginales


sobre las variables X e Y respectivamente.
Una definicin alternativa:
p(y|x) = p(y), x, y
o, equivalentemente,
p(x|y) = p(x), x, y

Una Introduccin a las Redes Bayesianas p.30/??

Ejemplo
Sean dos urnas con 10 bolas: una con 3 rojas y 7 blancas y otra
con 8 rojas y 2 blancas.
Se eligen dos bolas aleatoriamente, una de cada urna, sin
ninguna relacin entre las extracciones.
Tabla de Probabilidades:
R1

B1

R2 0.24 0.56 0.80


B2 0.06 0.14 0.20
0.30 0.70 1.00

Una Introduccin a las Redes Bayesianas p.31/??

Independencia Condicional
Dadas las variables X, Y y Z decimos que X e Y son
condicionalmente independientes Z si y solo si
PX,Y,Z (x, y, z) = (PX,Z (x, z).PY,Z (y, z))/PZ (z),

x, y, z con PZ (z) > 0

donde pX,Z , pY,Z , pZ son las distribuciones de probabilidad


marginales sobre las variables (X, Z), (Y, Z) y Z,
respectivamente.
Anlogamente se define para conjuntos de variables

Una Introduccin a las Redes Bayesianas p.32/??

Definiciones alternativas
PY |X,Z (y|x, z) = PY |Z (y|z),

x, y, z

PX|Y,Z (x|y, z) = PX|Z (x|z),

x, y, z

PX,Y |Z (x, y|z) = PX|Z (x|z).PY |Z (y|z),


PX,Y,Z (x, y, z) = f 1 (x, z). f 2 (y, z),

x, y, z

x, y, z

Una Introduccin a las Redes Bayesianas p.33/??

Ejemplo
Supongamos dos urnas con bolas blancas (b) y rojas ( r). La
primera tiene 99 rojas y 1 blanca; la segunda tiene 1 roja y 99
blancas.
Supongamos el siguiente experimento: elegimos aleatoriamente
una urna, las dos con la misma probabilidad (0.5).
Sea Z el resultado de la seleccin: con valores u1 (primera
urna), u2 (segunda).
Entonces elegimos dos bolas con reemplazamiento de la urna
elegida. Sean los colores de las bolas X e Y .
X e Y no son independientes: el color de una bola nos informa
sobre el color de la otra.

Una Introduccin a las Redes Bayesianas p.34/??

Ejemplo
Z: u1 (99 rojas y 1 blanca), u2 (1 roja y 99 blancas)
X, Y colores de las bolas.
La probabilidad de que X = b es
p(u1).pX (b|u1) + p(u2).pX (b|u2) = 0.5 0.01 + 0,5 0.99 = 0.5
Anlogamente, la probabilidad de que Y = b es 0.5. Sin
embargo, la probabilidad de que X = b,Y = b es
p(u1).pX (b|u1)pY (b|u1) + p(u2).pX (b|u2).pY (b|u2) =
0.5 0.01 0.01 + 0.5 0.99 0.99 = 0.4901
Por tanto, PX,Y (b, b) 6= PX (b).PY (b)

Una Introduccin a las Redes Bayesianas p.35/??

Ejemplo
Z: u1 (99 rojas y 1 blanca), u2 (1 roja y 99 blancas)
X, Y colores de las bolas.
La probabilidad de que X = b es
p(u1).pX (b|u1) + p(u2).pX (b|u2) = 0.5 0.01 + 0,5 0.99 = 0.5
Anlogamente, la probabilidad de que Y = b es 0.5. Sin
embargo, la probabilidad de que X = b,Y = b es
p(u1).pX (b|u1)pY (b|u1) + p(u2).pX (b|u2).pY (b|u2) =
0.5 0.01 0.01 + 0.5 0.99 0.99 = 0.4901
Por tanto, PX,Y (b, b) 6= PX (b).PY (b)
Sin embargo, X e Y son independientes dada Z, ya que las
extracciones se hacen con reemplazamiento de la misma urna.
Por ejemplo,
pX,Y (b, r|u1 ) = pX (b|u1 ).pY (r|u1 ) = 0.01 0.99 = 0.0099
Una Introduccin a las Redes Bayesianas p.35/??

Dificultades de la independencia
Si tenemos una conjunto de variable, tendramos que
considerar todas las relaciones de independencia

I(X,Y |Z)
Variables Independ.

Variables Observadas

Esta relacin se lee X es independiente de Y dadas (o


conocidas) Z
Dado un conjunto de n variables, estas son n (n 1)2n2 .
Una Introduccin a las Redes Bayesianas p.36/??

Cambios en las Observaciones


Consideremos las variables:
A Alarma
R Robo
S Seismo
La Alarma puede sonar por un Robo o un Seismo.
Tenemos que R y S son independientes sin saber nada
/
(I(R, S|0)).
Sin embargo, si conocemos que son la alarma, estas variables
se vuelven dependientes (I(R, S|A))
Al conocer ms pasamos de independencia a dependencia.

Una Introduccin a las Redes Bayesianas p.37/??

Cambios en las Observaciones


M1

Transm. 1

M2

Transm. 2

M3

Se manda un mensaje (M1 ) por un transmisor. El mensaje que


se recibe (M2 ) se enva por un segundo transmisor. M3 es el
mensaje que se recible al final. Los transmisores tienen ruido y
pueden modificar los mensajes
Tenemos que M1 y M3 son dependientes sin conocer nada
/ Sin embargo, conocido (M2 ) los mensajes M1 y
(I(M1 , M3 |0)).
M3 son independientes (I(M1 , M3 |M2 ))
En este ejemplo, conocer ms pasamos de dependencia a independencia.
Una Introduccin a las Redes Bayesianas p.38/??

Redes Bayesianas
Una red bayesiana consta de dos partes:
Una cualitativa: un grafo dirigido acclico
Un nodo por cada variable del problema
Un conjunto de enlaces dirigidos sin crear ciclos
dirigidos

SI

NO

Una cuantitativa: una serie de probabilidades


condicionadas que determinan una nica distribucin de
probabilidad conjunta.
Una Introduccin a las Redes Bayesianas p.39/??

Redes Bayesianas. Nodo X


Nodo referencia
Padres
Ascendientes
Hijos

Descendientes
Otros

Una Introduccin a las Redes Bayesianas p.40/??

Representacin de Independencias
Una red bayesiana representa un conjunto de independencias.
De ellas podemos distinguir:
Independencias Bsicas.- Son aquellas que hay que tener
cuidado que se verifiquen cuando se construye la red.
Independencias Totales.- Son todas las que se deducen de
las bsicas aplicando las propiedades de las relaciones de
independencia. Se puede comprobar mediante el llamado
criterio de D-separacin.

Una Introduccin a las Redes Bayesianas p.41/??

Independencias Bsicas
Nodo referencia
Padres
No descendientes
Descendientes

Cada nodo es independiente


de sus no-descendientes dados sus padres.
Una Introduccin a las Redes Bayesianas p.42/??

Ejemplos
R

M1

M2

/
I(R, S|0)
M3
I(M1 , M3 |M2 )

Una Introduccin a las Redes Bayesianas p.43/??

Otras independencias: D-separacin


X es independiente de Y dado Z1 , . . . , Zk si todo camino (usando
los arcos en ambas direcciones) entre X e Y est bloqueado en
algn nodo por las observaciones Z1 , . . . , Zk .
Un camino entre X e Y est bloqueado en un nodo Z por un
conjunto de observaciones Z1 , . . . , Zk cuando se da una de las
siguientes condiciones:
El camino pasa por el nodo Z con flechas no
cabeza-cabeza y el nodo est observado.
El camino pasa por el nodo Z con flechas cabeza-cabeza y
ni el nodo ni ninguno de sus descendientes est observado.

Una Introduccin a las Redes Bayesianas p.44/??

Dos formas de bloqueo


Dos formas bsicas de bloqueo en un nodo:
X

No Cabeza-Cabeza

Cabeza-Cabeza

Nodos estudiados
Nodos observados

Nodos no observados

Nodo y descendientes
no observados

Nodo que bloquea (observado o no)

Una Introduccin a las Redes Bayesianas p.45/??

Cabeza-Cabeza
Cabeza-Cabeza

No Cabeza-Cabeza

X
X

X
X

Una Introduccin a las Redes Bayesianas p.46/??

Ejemplos de Independencia

Resto Variables
Variables examinadas
Nodo Observado
Una Introduccin a las Redes Bayesianas p.47/??

Ejemplos de Independencia

Resto Variables

Variables examinadas
Nodo Observado

Primer Camino Bloqueado


Una Introduccin a las Redes Bayesianas p.47/??

Ejemplos de Independencia

Resto Variables

Variables examinadas
Nodo Observado

Segundo Camino Bloqueado


Una Introduccin a las Redes Bayesianas p.47/??

Ejemplos de Independencia

Resto Variables
Variables examinadas
Nodo Observado

Tercer Camino Bloqueado


Una Introduccin a las Redes Bayesianas p.47/??

Ejemplos de Independencia

Resto Variables

Variables examinadas
Nodo Observado

Cuarto Camino Bloqueado


Una Introduccin a las Redes Bayesianas p.47/??

Ejemplos de Independencia

Resto Variables
Variables examinadas
Nodo Observado Variables Independientes (sin obs.)
Una Introduccin a las Redes Bayesianas p.47/??

Ejemplos de Independencia

Resto Variables
Variables examinadas
Nodo Observado
Una Introduccin a las Redes Bayesianas p.48/??

Ejemplos de Independencia

Resto Variables
Variables examinadas
Nodo Observado

Primer Camino NO Bloqueado


Una Introduccin a las Redes Bayesianas p.48/??

Ejemplos de Independencia

Resto Variables
Variables examinadas
Nodo Observado Variables Dependientes (rojas obs.)
Una Introduccin a las Redes Bayesianas p.48/??

Ejemplos de Independencia

Resto Variables
Variables examinadas
Nodo Observado
Una Introduccin a las Redes Bayesianas p.49/??

Ejemplos de Independencia

Resto Variables
Variables examinadas
Nodo Observado

Primer Camino Bloqueado


Una Introduccin a las Redes Bayesianas p.49/??

Ejemplos de Independencia

Resto Variables
Variables examinadas
Nodo Observado

Segundo Camino Bloqueado


Una Introduccin a las Redes Bayesianas p.49/??

Ejemplos de Independencia

Resto Variables
Variables examinadas
Nodo Observado

Tercer Camino Bloqueado


Una Introduccin a las Redes Bayesianas p.49/??

Ejemplos de Independencia

Resto Variables
Variables examinadas
Nodo Observado

Cuarto Camino Bloqueado


Una Introduccin a las Redes Bayesianas p.49/??

Ejemplos de Independencia

Resto Variables
Variables examinadas
Nodo Observado Variables Independientes (rojas obs.)
Una Introduccin a las Redes Bayesianas p.49/??

Ejemplos de Independencia

Resto Variables
Variables examinadas
Nodo Observado
Una Introduccin a las Redes Bayesianas p.50/??

Ejemplos de Independencia

Resto Variables
Variables examinadas
Nodo Observado

Primer Camino NO Bloqueado


Una Introduccin a las Redes Bayesianas p.50/??

Ejemplos de Independencia

Resto Variables
Variables examinadas
Nodo Observado Variables Dependientes (rojas obs.)
Una Introduccin a las Redes Bayesianas p.50/??

Ejemplos de Independencia

Resto Variables
Variables examinadas
Nodo Observado
Una Introduccin a las Redes Bayesianas p.51/??

Ejemplos de Independencia

Resto Variables
Variables examinadas
Nodo Observado

Primer Camino Bloqueado


Una Introduccin a las Redes Bayesianas p.51/??

Ejemplos de Independencia

Resto Variables
Variables examinadas
Nodo Observado Segundo Camino NO Bloqueado
Una Introduccin a las Redes Bayesianas p.51/??

Ejemplos de Independencia

Resto Variables
Variables examinadas
Nodo Observado Variables Dependientes (rojas obs.)
Una Introduccin a las Redes Bayesianas p.51/??

Ejemplos de Independencia

Resto Variables
Variables examinadas
Nodo Observado
Una Introduccin a las Redes Bayesianas p.52/??

Ejemplos de Independencia

Resto Variables
Variables examinadas
Nodo Observado

Primer Camino Bloqueado


Una Introduccin a las Redes Bayesianas p.52/??

Ejemplos de Independencia

Resto Variables
Variables examinadas
Nodo Observado Segundo Camino Bloqueado
Una Introduccin a las Redes Bayesianas p.52/??

Ejemplos de Independencia

Resto Variables
Variables examinadas
Nodo Observado Tercer Camino Bloqueado
Una Introduccin a las Redes Bayesianas p.52/??

Ejemplos de Independencia

Resto Variables
Variables examinadas
Nodo Observado Variables Independientes (rojas obs.)
Una Introduccin a las Redes Bayesianas p.52/??

La Red Asia
Asia

Fumador

Tuberculosis

Cncer Pulmn

Tuberc.
Cnc. Pulmn
Rayos X

Tos

Bronquitis

Asma
Una Introduccin a las Redes Bayesianas p.53/??

Ejemplos 3 Variables
Edad

Edad

Ingresos

Ingresos

Restaurante

Coche

Edad

Sexo

Ingresos

Una Introduccin a las Redes Bayesianas p.54/??

Ejemplo con tres variables


Edad

Edad

Ingresos

Conocimientos

Sexo

Edad

Sexo

Color
ojos

Conocimiento

Una Introduccin a las Redes Bayesianas p.55/??

Independencias y Causalidad
Edad

Ingresos

Ingresos

Edad

Coche

Conocimiento

En ambos casos las variables superior e inferior son


condicionalmente independientes dada la variable central, pero la
estructura causal es distinta.
Una Introduccin a las Redes Bayesianas p.56/??

Representacin de Independencias
Hay problemas con independencias que no pueden representarse de forma exacta
mediante redes Bayesinas.
Ejemplo: Tenemos dos interruptores con dos posiciones cada uno (0 y 1). Sean X
e Y las posiciones de estos interruptores. Tenemos una luz que est encendida si
los dos interruptores estn en la misma posicin y apagada si estn en posicin
distinta. Sea Z el estado de la luz. Supongamos que los interruptores son
independientes y que tienen la misma probabilidad (0.5) de estar en cualquiera de
los dos estados.
Tenemos que:
/ I(X, Z|0),
/ I(Y, Z|0).
/
Se verifica I(X,Y |0),
Pero las independencias condicionadas no se verifican:
I(X,Y |Z), I(X, Z|Y ), I(Y, Z|X).

Una Introduccin a las Redes Bayesianas p.57/??

Representacin
Esto se puede representar mediante la red
X

Y
Z

/ , pero no
El problema es que representamos I(X,Y |0)
/ I(Y, Z|0).
/
I(X, Z|0),
Si quitamos cualquiera de los enlaces, ya estamos
representando alguna de las independencias condicionadas
que no se verificaban.

Una Introduccin a las Redes Bayesianas p.58/??

Mapas de Independencias Minimales


Un mapa de independencias minimal para un problema es un
grafo dirigido acclico tal que todas las independencias del grafo
estn en el problema, pero que si al grafo le quitamos alguna
arista, entonces aparecen independencias que no estn en el
problema.
En general, nuestro objetivo ante un problema es construir un
mapa de independencias minimal. Si es posible, debera de
representar todas las independencias del problema.

Una Introduccin a las Redes Bayesianas p.59/??

Construccin de mapas de independencias


Supongamos que X es el conjunto de variables de partida.
Sea Y1 ,Y2 , . . . ,Yn un orden cualquiera de estas variables (no
deben de invertirse relaciones causales conocidas: Si A es
causa de B, entonces A debe de preceder a B)
El mapa de indepencias minimal, se construye
comenzando por el grafo vaco e introduciendo las
variables en el orden dado.

Una Introduccin a las Redes Bayesianas p.60/??

Construccin de mapas de independencias


Si vamos a introducir Y j y Aj = {Y1 , . . . ,Y j1 }, entonces se
determina un conjunto minimal de variables Bj (las variables de
las que Y j tiene una dependencia directa) que es un conjunto
minimal tal que I(Y j , Aj Bj |Bj )
El grafo se construye haciendo que los padres de Y j sean los
nodos de Bj .

Una Introduccin a las Redes Bayesianas p.61/??

Construccin de mapas de independencias


Si vamos a introducir Y j y Aj = {Y1 , . . . ,Y j1 }, entonces se
determina un conjunto minimal de variables Bj (las variables de
las que Y j tiene una dependencia directa) que es un conjunto
minimal tal que I(Y j , Aj Bj |Bj )
El grafo se construye haciendo que los padres de Y j sean los
nodos de Bj .
A

B
D

C
E

Una Introduccin a las Redes Bayesianas p.61/??

Construccin de mapas de independencias


Si vamos a introducir Y j y Aj = {Y1 , . . . ,Y j1 }, entonces se
determina un conjunto minimal de variables Bj (las variables de
las que Y j tiene una dependencia directa) que es un conjunto
minimal tal que I(Y j , Aj Bj |Bj )
El grafo se construye haciendo que los padres de Y j sean los
nodos de Bj .
A

B
D

C
E

F
Una Introduccin a las Redes Bayesianas p.61/??

Construccin de mapas de independencias


Si vamos a introducir Y j y Aj = {Y1 , . . . ,Y j1 }, entonces se
determina un conjunto minimal de variables Bj (las variables de
las que Y j tiene una dependencia directa) que es un conjunto
minimal tal que I(Y j , Aj Bj |Bj )
El grafo se construye haciendo que los padres de Y j sean los
nodos de Bj .
A

B
D

C
E

I(F,{A,C}|B,D,E)
{B,D,E} minimal

F
Una Introduccin a las Redes Bayesianas p.61/??

Construccin de mapas de independencias


Si vamos a introducir Y j y Aj = {Y1 , . . . ,Y j1 }, entonces se
determina un conjunto minimal de variables Bj (las variables de
las que Y j tiene una dependencia directa) que es un conjunto
minimal tal que I(Y j , Aj Bj |Bj )
El grafo se construye haciendo que los padres de Y j sean los
nodos de Bj .
A

B
D

C
E

I(F,{A,C}|B,D,E)
{B,D,E} minimal

F
Una Introduccin a las Redes Bayesianas p.61/??

Construccin de mapas de independencias


Si vamos a introducir Y j y Aj = {Y1 , . . . ,Y j1 }, entonces se
determina un conjunto minimal de variables Bj (las variables de
las que Y j tiene una dependencia directa) que es un conjunto
minimal tal que I(Y j , Aj Bj |Bj )
El grafo se construye haciendo que los padres de Y j sean los
nodos de Bj .
A

B
D

C
E

I(F,{A,C}|B,D,E)
{B,D,E} minimal

F
El Problema:

Determinar un orden entre las variables.

Una Introduccin a las Redes Bayesianas p.61/??

Septiembre 2002
Tenemos un canal de informacin con dos transmisores. La entrada a los dos es la
misma: variable E con valores 0 1. Las salidas de los transmisores (S1 y S2 ) sern
el mismo valor de entrada si funcionan correctamente o, en el caso de que no
funcionen la salida ser aleatoria ( 0 1 con probabilidad 1/2 cada uno). Las
variables C1 y C2 representan el comportamiento de estos dos transmisores,
respectivamente (con valor 0 si es aleatorio y 1 si es correcto). El comportamiento
de los dos transmisores depende del estado de la fuente de alimentacin (F). Esta
puede estar en dos situaciones: calidad alta (1) y calidad baja (0). En el caso de
calidad baja, hay una mayor probabilidad de comportamiento incorrecto en ambos
casos. No hay ninguna otra influencia comn sobre las variables C1 y C2 . Existe un
dispositivo que mira las salidas de ambos transmisores y produce un valor S f .
Cuando S1 = S2 , entonces S f coincide con ambos valores. Cuando S1 6= S2 ,
entonces S f toma el valor e. Finalmente, existe una variable (T ) que comprueba el
funcionamiento del sistema. Si S f = E, entonces T = 1 (funcion correctamente). Si
S f = e, entoces T = 2 (error detectado). Si S f 6= e y S j 6= E, entonces T = 0 (error no
detectado).
Una Introduccin a las Redes Bayesianas p.62/??

Septiembre 2002: Preguntas


1.

Determinar una red bayesiana que sea compatible con las


relaciones entre las variables del sistema-

2.

Escribir una tabla de probabilidad para S1 dados sus padres


que sea compatible con los datos anteriores.

3.

Para los siguientes pares de variables determinar un


conjunto lo ms pequeo posible, tal que si observamos
dicho conjunto de variables, entonces el par es
independiente:
a)
b)
c)

EyF
T y S1
E y Sf
Una Introduccin a las Redes Bayesianas p.63/??

Red
Orden: F, E,C1 ,C2 , S1 , S2 , S f , T

Una Introduccin a las Redes Bayesianas p.64/??

Red
F

Orden: F, E,C1 ,C2 , S1 , S2 , S f , T

Una Introduccin a las Redes Bayesianas p.64/??

Red
F

Orden: F, E,C1 ,C2 , S1 , S2 , S f , T

Una Introduccin a las Redes Bayesianas p.64/??

Red
F

Orden: F, E,C1 ,C2 , S1 , S2 , S f , T

Una Introduccin a las Redes Bayesianas p.64/??

Red
F
C1

Orden: F, E,C1 ,C2 , S1 , S2 , S f , T

Una Introduccin a las Redes Bayesianas p.64/??

Red
F
C1

Orden: F, E,C1 ,C2 , S1 , S2 , S f , T

Una Introduccin a las Redes Bayesianas p.64/??

Red
F
C1

Orden: F, E,C1 ,C2 , S1 , S2 , S f , T

Una Introduccin a las Redes Bayesianas p.64/??

Red
F
C1

Orden: F, E,C1 ,C2 , S1 , S2 , S f , T

C2

Una Introduccin a las Redes Bayesianas p.64/??

Red
F
C1

Orden: F, E,C1 ,C2 , S1 , S2 , S f , T

C2

Una Introduccin a las Redes Bayesianas p.64/??

Red
F
C1

Orden: F, E,C1 ,C2 , S1 , S2 , S f , T

C2

Una Introduccin a las Redes Bayesianas p.64/??

Red
F
C1

Orden: F, E,C1 ,C2 , S1 , S2 , S f , T

C2

S1

Una Introduccin a las Redes Bayesianas p.64/??

Red
F
C1

Orden: F, E,C1 ,C2 , S1 , S2 , S f , T

C2

S1

Una Introduccin a las Redes Bayesianas p.64/??

Red
F
C1

Orden: F, E,C1 ,C2 , S1 , S2 , S f , T

C2

S1

Una Introduccin a las Redes Bayesianas p.64/??

Red
F
C1
S1

Orden: F, E,C1 ,C2 , S1 , S2 , S f , T

C2
S2

Una Introduccin a las Redes Bayesianas p.64/??

Red
F
C1
S1

Orden: F, E,C1 ,C2 , S1 , S2 , S f , T

C2
S2

Una Introduccin a las Redes Bayesianas p.64/??

Red
F
C1
S1

Orden: F, E,C1 ,C2 , S1 , S2 , S f , T

C2
S2

Una Introduccin a las Redes Bayesianas p.64/??

Red
F
C1

S1

Orden: F, E,C1 ,C2 , S1 , S2 , S f , T

C2
S2

Sf

Una Introduccin a las Redes Bayesianas p.64/??

Red
F
C1

S1

Orden: F, E,C1 ,C2 , S1 , S2 , S f , T

C2
S2

Sf

Una Introduccin a las Redes Bayesianas p.64/??

Red
F
C1

S1

Orden: F, E,C1 ,C2 , S1 , S2 , S f , T

C2
S2

Sf

Una Introduccin a las Redes Bayesianas p.64/??

Red
F

Orden: F, E,C1 ,C2 , S1 , S2 , S f , T

C1

C2

S1

S2

Sf

Una Introduccin a las Redes Bayesianas p.64/??

Red
F

Orden: F, E,C1 ,C2 , S1 , S2 , S f , T

C1

C2

S1

S2

Sf

Una Introduccin a las Redes Bayesianas p.64/??

Red
F

Orden: F, E,C1 ,C2 , S1 , S2 , S f , T

C1

C2

S1

S2

Sf

Una Introduccin a las Redes Bayesianas p.64/??

Red
F

Orden: F, E,C1 ,C2 , S1 , S2 , S f , T

C1

C2

S1

S2

E y F:
T y S1 :
E y Sf:

E =0

Sf

E =0

E =1

E =1

C1 = 0 C1 = 1 C1 = 0 C1 = 1
S1 = 0

0.5

1.0

0.5

0.0

S1 = 1

0.5

0.0

0.5

1.0

Una Introduccin a las Redes Bayesianas p.64/??

Red
F

Orden: F, E,C1 ,C2 , S1 , S2 , S f , T

C1

C2

S1

S2

E y F: 0/
T y S1 :
E y Sf:

E =0

Sf

E =0

E =1

E =1

C1 = 0 C1 = 1 C1 = 0 C1 = 1
S1 = 0

0.5

1.0

0.5

0.0

S1 = 1

0.5

0.0

0.5

1.0

Una Introduccin a las Redes Bayesianas p.64/??

Red
F

Orden: F, E,C1 ,C2 , S1 , S2 , S f , T

C1

C2

S1

S2

E y F: 0/
T y S1 : {E, S f }
E y Sf:

E =0

Sf

E =0

E =1

E =1

C1 = 0 C1 = 1 C1 = 0 C1 = 1
S1 = 0

0.5

1.0

0.5

0.0

S1 = 1

0.5

0.0

0.5

1.0

Una Introduccin a las Redes Bayesianas p.64/??

Red
F

Orden: F, E,C1 ,C2 , S1 , S2 , S f , T

C1

C2

S1

S2

E y F: 0/
T y S1 : {E, S f }
E y S f : {S1 , S2 }

E =0

Sf

E =0

E =1

E =1

C1 = 0 C1 = 1 C1 = 0 C1 = 1
S1 = 0

0.5

1.0

0.5

0.0

S1 = 1

0.5

0.0

0.5

1.0

Una Introduccin a las Redes Bayesianas p.64/??

La Importancia de la Causalidad
Fumar

Cncer
Pulmn

Dedos
Amarillos

Una Introduccin a las Redes Bayesianas p.65/??

La Importancia de la Causalidad
Dedos
Amarillos

Fumar

Cncer
Pulmn

Dedos
Amarillos

Cncer
Pulmn

Una Introduccin a las Redes Bayesianas p.65/??

La Importancia de la Causalidad
Dedos
Amarillos

Fumar

Cncer
Pulmn

Dedos
Amarillos

Cncer
Pulmn

P(Cancer Pulmon | Dedos Amarillos ) P(Cancer Pulmon)


P(Cancer Pulmon | a(Dedos Amarillos))?
donde a(Dedos Amarillos) es la accin de poner los dedos amarillos,
Una Introduccin a las Redes Bayesianas p.65/??
en lugar de observar los dedos amarillos.

El Teorema de Descomposicin
Dada una red bayesiana con variables X entonces la
distribucin de probabilidad conjunta de estas variables se
puede descomponer de la forma:
p(x) = p(y|pa(y))
yx

donde pa(Y ) es el conjunto de padres de la variable Y .


Consecuencia: Para especificar una red bayesiana solo hay que
dar, para cada variable, una distribucin de probabilidad
condicionada dada sus padres.
Si la variable es raz, la distribucin ser la distribucin marginal
(sin condicionar ya que no tiene padres).
Una Introduccin a las Redes Bayesianas p.66/??

Ejemplo
A

p(a, b, c, d, e, f , g, h, i) =
p(a).p(b).p(c).p(d).p(e|a).p( f |b, c).p(g|c, d).p(h|b, e).p(i|c, d, f )
Una Introduccin a las Redes Bayesianas p.67/??

Redes Bayesianas: Nmeros


La parte cuantitativa de una red bayesiana es:
Para cada variable de la red, una distribucin de probabilidad
condicionada a sus padres
Si la red tiene n variables hay que especificar o calcular n
distribuciones condicionadas.
Estas distribuciones, por el teorema de descomposicn,
determinan una nica distribucin de probabilidad conjunta.

Una Introduccin a las Redes Bayesianas p.68/??

Clculo de Probabilidades
Tenemos una red bayesiana asociada a un conjunto de
probabilidades el problema fundamental de las redes es: dado
un conjunto O de variables observadas: O = o y una variable
objetivo Z, queremos calcular p(z|o), para todos los valores de
la variable Z.
Podramos calcular la distribucin conjunta, marginalizarla en
las variables O {Z} y entonces calcular la distribucin de
probabilidad condicionada deseada, pero esto tiene complejidad
exponencial en el nmero de variables.
Gran reto: Calcular la probabilidad condicionada sin tener que
calcular la conjunta (usando las distribuciones de cada variable
condicionadas a sus padres).
Una Introduccin a las Redes Bayesianas p.69/??

La Operacin de Combinacin
Si p(x, y) y q(y, z) son dos potenciales, entonces su combinacin
es el potencial p.q(x, y, z) dado por
p.q(x, y, z) = p(x, y).q(y, z)
La distribucin conjunta es la combinacin de todas las distribuciones condicionadas a sus padres de las variables de la red.

Una Introduccin a las Redes Bayesianas p.70/??

Ejemplo
Y= Si

Y = Si

Y = No

Y = No

Z= Hombre Z= Mujer Z = Hombre Z = Mujer


X=Si

0.5

0.4

0.2

0.1

X=No 0.5

0.6

0.8

0.9

q Y= Si

Y = Si

Y = No

Y = No

Z= Hombre Z= Mujer Z = Hombre Z = Mujer


0.3
p.q

0.4
Y= Si

0.2
Y = Si

0.1
Y = No

Y = No

Z= Hombre Z= Mujer Z = Hombre Z = Mujer


X=Si

0.15

0.16

0.04

0.01

X=No 0.15

0.24

0.16

0.09
Una Introduccin a las Redes Bayesianas p.71/??

Ejemplo
p X= 0 X=0

X=1 X=1

Y= 0 Y=1

Y=0 Y=1

0.96

0.04 0.1

0.9

q Y= 0 Y=0

Y=1 Y=1

Z= 0 Z=1

Z=0 Z=1

0.97

0.03 0.2
p.q

Resultado:

0.8

X= 0

X=0

X=1

X=1

Y= 0

Y=1

Y=0

Y=1

Z=0 0.9312 0.008 0.097 0.18


Z=1 0.0288 0.032 0.003 0.72
Una Introduccin a las Redes Bayesianas p.72/??

Clculo sin Observaciones


Tenemos un conjunto de variables X y queremos calcular las
probabilidades sobre Z sin observaciones: p(z).
Supongamos que X = Y {Z}
Tenemos que:
p(z) = p(y, z)
y

Donde p(y, z) es la distribucin conjunta. Es decir, es la


marginalizacin sobre Z de la distribucin conjunta.
La forma ms evidente de hacerlo es:
Combinar todas las distribuciones condicionadas para
calcular la conjunta
Marginalizar sobre Y
Una Introduccin a las Redes Bayesianas p.73/??

Ejemplo
A

Objetivo: Calcular las probabilidades sobre H.


p(h) =
p(a, b, c, d, e, f , g, h, i) =

a,b,c,d,e, f ,g,i

p(a).p(b).p(c).p(d).p(e|a).p( f |b, c).p(g|c, d).p(h|b, e).p(i|c, d, f )

b,c,d,e, f ,g,i
Una Introduccin a las Redes Bayesianas p.74/??

Algoritmo de Borrado. Bases

p(a).p(b).p(c).p(d).p(e|a).p( f |b, c).p(g|c, d).p(h|b, e).p(i|c, d, f )

a,b,c,d,e, f ,g,i

Una Introduccin a las Redes Bayesianas p.75/??

Algoritmo de Borrado. Bases

p(a).p(b).p(c).p(d).p(e|a).p( f |b, c).p(g|c, d).p(h|b, e).p(i|c, d, f )

a,b,c,d,e, f ,g,i

p(a).p(b).p(c).p(d).p(e|a).p( f |b, c).p(g|c, d).p(h|b, e).p(i|c, d, f )

b,c,d,e, f ,g,i a

Una Introduccin a las Redes Bayesianas p.75/??

Algoritmo de Borrado. Bases

p(a).p(b).p(c).p(d).p(e|a).p( f |b, c).p(g|c, d).p(h|b, e).p(i|c, d, f )

a,b,c,d,e, f ,g,i

p(a).p(b).p(c).p(d).p(e|a).p( f |b, c).p(g|c, d).p(h|b, e).p(i|c, d, f )

b,c,d,e, f ,g,i a

b,c,d,e, f ,g,i

p(b).p(c).p(d).p( f |b, c).p(g|c, d).p(h|b, e).p(i|c, d, f ) a p(a).p(e|a)

Una Introduccin a las Redes Bayesianas p.75/??

Algoritmo de Borrado. Bases

p(a).p(b).p(c).p(d).p(e|a).p( f |b, c).p(g|c, d).p(h|b, e).p(i|c, d, f )

a,b,c,d,e, f ,g,i

p(a).p(b).p(c).p(d).p(e|a).p( f |b, c).p(g|c, d).p(h|b, e).p(i|c, d, f )

b,c,d,e, f ,g,i a

b,c,d,e, f ,g,i

p(b).p(c).p(d).p( f |b, c).p(g|c, d).p(h|b, e).p(i|c, d, f ) a p(a).p(e|a)

r(e) = a p(a).p(e|a)
p(b).p(c).p(d).p( f |b, c).p(g|c, d).p(h|b, e).p(i|c, d, f )r(e)

b,c,d,e, f ,g,i

Tenemos un problema similar, pero con una variable menos

Una Introduccin a las Redes Bayesianas p.75/??

Algoritmo de Borrado
T : Conjunto de potenciales (inicialmente probabilidades
condicionadas)
X: variables iniciales
H: variable objetivo
Y: variables iniciales, excepto H
Algoritmo:
1. Para cada variable Z Y
2. Sea TZ el conjunto de los potenciales
en T que contienen la variable Z
3. Sea q el potencial combinacin de todos los
potenciales en TZ
4. Sea r el resultado de borrar Z en q
5. Hacer T igual a (T TZ ) {r}
6. p(h) es la combinacin de todos los potenciales en T
Una Introduccin a las Redes Bayesianas p.76/??

Algoritmo de Borrado: Ejemplo


T=
{p(a), p(b), p(c), p(d), p(e|a), p( f |b, c), p(g|c, d), p(h|b, e), p(i|c, d, f )}
Elegimos variable: A.
Calculamos:

r(e) = p(a).p(e|a)
a

Calculamos el nuevo conjunto:


T = {p(b), p(c), p(d), p( f |b, c), p(g|c, d), p(h|b, e), p(i|c, d, f ), r(e)}

Una Introduccin a las Redes Bayesianas p.77/??

Algoritmo de Borrado: Ejemplo


T = {p(b), p(c), p(d), p( f |b, c), p(g|c, d), p(h|b, e), p(i|c, d, f ), r(e)}
Elegimos variable: I.
Calculamos:

s(c, d, f ) = p(i|c, d, f )
i

Calculamos el nuevo conjunto:


T = {p(b), p(c), p(d), p( f |b, c), p(g|c, d), p(h|b, e), s(c, d, f ), r(e)}

Una Introduccin a las Redes Bayesianas p.78/??

Algoritmo de Borrado: Ejemplo


T = {p(b), p(c), p(d), p( f |b, c), p(g|c, d), p(h|b, e), s(c, d, f ), r(e)}
Elegimos variable: B.
Calculamos:
q(c, e, f , h) = p(b).p( f |b, c).p(h|b, e)
b

Calculamos el nuevo conjunto:


T = {p(c), p(d), p(g|c, d), s(c, d, f ), r(e), q(c, e, f , h)}

Una Introduccin a las Redes Bayesianas p.79/??

Algoritmo de Borrado: Ejemplo


T = {p(c), p(d), p(g|c, d), s(c, d, f ), r(e), q(c, e, f , h)}
Elegimos variable: D.
Calculamos:
t(c, f , g) = p(d).s(c, d, f ).p(g|c, d)
d

Calculamos el nuevo conjunto:


T = {p(c), r(e), q(c, e, f , h),t(c, f , g)}

Una Introduccin a las Redes Bayesianas p.80/??

Algoritmo de Borrado: Ejemplo


T = {p(c), r(e), q(c, e, f , h),t(c, f , g)}
Elegimos variable: F.
Calculamos:
w(c, e, g, h) = q(c, e, f , h).t(c, f , g)
f

Calculamos el nuevo conjunto:


T = {p(c), r(e), w(c, e, g, h)}

Una Introduccin a las Redes Bayesianas p.81/??

Algoritmo de Borrado: Ejemplo


T = {p(c), r(e), w(c, e, g, h)}
Elegimos variable: E.
Calculamos:

m(c, g, h) = r(e).w(c, e, g, h)
e

Calculamos el nuevo conjunto:


T = {p(c), m(c, g, h)}

Una Introduccin a las Redes Bayesianas p.82/??

Algoritmo de Borrado: Ejemplo


T = {p(c), m(c, g, h)}
Elegimos variable: G.
Calculamos:

n(c, h) = m(c, g, h)
g

Calculamos el nuevo conjunto:


T = {p(c), n(c, h)}

Una Introduccin a las Redes Bayesianas p.83/??

Algoritmo de Borrado: Ejemplo


T = {p(c), n(c, h)}
Elegimos variable: C.
Calculamos:

v(h) = p(c).n(c, h)
c

Calculamos el nuevo conjunto:


T = {v(h)}

La probabilidad buscada es: p(h) = v(h)

Una Introduccin a las Redes Bayesianas p.84/??

Notas
Calculamos la probabilidad deseada sin calcular la
probabilidad conjunta
En nuestro caso el nmero mximo de variables en un
potencial es 5
Las variables se pueden elegir en cualquier orden. El
resultado es siempre correcto
Distintos rdenes pueden producir distinto nmero de
operaciones
Una buena heurstica: elegir la variables ms fcil de borrar
en cada momento
El problema es NP-duro, pero dependiendo de los grafos se
pueden resolver problemas con miles de variables
Una Introduccin a las Redes Bayesianas p.85/??

Variables Obervadas
Hemos obervado O = o y queremos calcular p(z|o) para una
variable Z.
El algoritmo de borrado calcula: p(z, o) para todos los valores de
Z
Despus, del valor deseado p(z|o) se obtiene dividiendo cada
valor p(z, o) por z0 p(z0 , o) (normalizando).
Para calcular p(z, o) se aplica el mismo algoritmo de antes, pero
transformando los potenciales iniciales. El proceso consiste en
hacer iguales a cero los valores correspondientes a los valores
no obervados de las variables O.

Una Introduccin a las Redes Bayesianas p.86/??

Ejemplo. Variables Observadas


Supongamos el potencial p:
p
Y= Si
Y = Si

Y = No

Y = No

Z= Hombre Z= Mujer Z = Hombre Z = Mujer


X=Si

0.14

0.168

0.024

0.018

X=No 0.14
0.252
0.096
0.162
Y que hemos observado, Y = Si. Antes del algoritmo tendramos
que transformar p en el potencial:
Y= Si
Y = Si
Y = No
Y = No
Z= Hombre Z= Mujer Z = Hombre Z = Mujer
X=Si

0.14

0.168

0.0

0.0

X=No 0.14

0.252

0.0

0.0
Una Introduccin a las Redes Bayesianas p.87/??

Ejemplo 2. Variables Observadas


Supongamos el potencial p:
p
Y= Si
Y = Si

Y = No

Y = No

Z= Hombre Z= Mujer Z = Hombre Z = Mujer


X=Si

0.14

0.168

0.024

0.018

X=No 0.14
0.252
0.096
0.162
Y que hemos observado, Y = Si, Z=Hombre. Antes del algoritmo
tendramos que transformar p en el potencial:
Y= Si
Y = Si
Y = No
Y = No
Z= Hombre Z= Mujer Z = Hombre Z = Mujer
X=Si

0.14

0.0

0.0

0.0

X=No 0.14

0.0

0.0

0.0
Una Introduccin a las Redes Bayesianas p.88/??

Ejemplo: normalizacin
Si Z tiene tres valores {z1 , z2 , z3 }, y al final del algoritmo hemos
obtenido el potencial:
q Z = z1 Z = z2 Z = z3
0.2
0.2
0.1
Entonces, las probabilidades condicionadas se obtienen
dividiendo estos valores por su suma:
p(z1 |o) p(z2 |o) p(z3 |o)
0.4

0.4

0.2

Una Introduccin a las Redes Bayesianas p.89/??

La Configuracin de Mxima Probabilidad


Tenemos un conjunto de variables X, y un conjunto de
observaciones O = o.
Objetivo: Calcular una configuracin (un valor para cada
variable) no observada Y = a, donde Y = X O tal que
P(a|o) = max P(y|o)
y

E1

E2

S1

S2

S3
Una Introduccin a las Redes Bayesianas p.90/??

Problemas de Decisin - Diagramas de Influenc


Existen dos nuevos tipos de nodos: nodos de decisin y nodos
de utilidad.
Un arco desde un nodo de azar a uno de decisin supone
que dicho nodo se conoce antes de tomar la decisin
Debe de existir un camino dirigido en el que aparezcan las
variables de decisin
Las observaciones no se olvidan
Howard y Matheson(1981), Olmsted (1983)
Shachter (1986), Cooper (1988), Shenoy (1992)

Una Introduccin a las Redes Bayesianas p.91/??

Diagrama de Influencia
Utilidad

Enfermedad
Sntomas

N. Hormonal
Resultado

Tratamiento

Test?

Costo

Una Introduccin a las Redes Bayesianas p.92/??

Diagrama de Influencia
Plantacin

Costo

Cosecha

Tratamiento
Mildeu 2
Mildeu

Utilidad

Una Introduccin a las Redes Bayesianas p.93/??

Construccin de Redes Bayesianas


A partir de expertos
Aprendizaje automtico a partir de bases de datos
Estimacin de los parmetros
Aprendizaje de la estructura
Modelos mixtos
Parmetros: A partir de una base de datos, determinando un
estimador de P(X = a|Y = b) contando el nmero de casos en
que X toma el valor a entre los que Y = b.
Mucho ms comn el uso de modelos Bayesianos,
principalmente basados en la distribucind e Dirichlet.
Una Introduccin a las Redes Bayesianas p.94/??

Aprendizaje Estructural
Dos Enfoques Bsicos:
Comprobacin de Independencias
Independencia de X e Y dado Z.
Mtodos de Ajuste
Mtrica que mide el ajuste (tratan de ajustar los datos,
pero penalizan la complejidad del modelo)
Algoritmo de bsqueda

Una Introduccin a las Redes Bayesianas p.95/??

Febrero 2002
Un determinado defecto gentico (variable G) puede producir dos enfermedades
(variables E1 , E2 ). En presencia de dicho defecto, las enfermedades se manifiestan
con una determinada probabilidad, pero no existe ninguna relacin entre los
mecanismos que dan lugar a las enfermedades: el hecho de que una se manifieste
no hace a la otra ms o menos probable. Existen tres posibles sntomas asociados
a las enfermedades (S1 , S2 , S3 ). Los sntomas S1 y S2 se asocian a la enfermedad E1
y los sntomas S2 , S3 a la enfermedad E2 . En la enfermedad E1 la presencia del
sntoma S1 hace al sntoma S2 ms probable. En la enfermedad E2 la presencia de
uno de los sntomas no cambia la probabilidad de aparicin del otro sntoma. Existe
una prueba de laboratorio (P), cuyo resultado depende de forma conjunta de la
presencia o ausencia de ambas enfermedades, pero tiene comportamiento distinto
en hombres y mujeres (variable T ). Se supone que T no tiene relacin directa con
ninguna otra variable del problema.

Una Introduccin a las Redes Bayesianas p.96/??

Febrero 2002 (Cont.)


Determinar un grafo dirigido con las variables anteriores que represente unas
relaciones de independencia entre las variables que sean compatibles con las
especificaciones anteriores. En el caso de incluir hiptesis adicionales,
indicarlas de forma precisa.
Indicar las independencias bsicas representadas en el grafo.
Indicar las distribuciones de probabilidad condicionadas que habra que
especificar para determinar la distribucin de probabilidad conjunta asociada al
grafo construido.

Una Introduccin a las Redes Bayesianas p.97/??

Respuesta
G
E1
S1

E2
S2

S3

P
Una Introduccin a las Redes Bayesianas p.98/??

Pregunta, Septiembre 2001


Dar ejemplos reales en las que para tres variables aleatorias X, Y , Z,
tenga sentido suponer las relaciones de independencia de cada una
de las siguientes situaciones:
1.

X e Y son dependientes, pero condicionalmente independientes


conocida Z.

2.

X e Y son independientes, pero son dependientes conocida la


variable Z.

3.

X e Y son independientes y X y Z son independientes dada la


variable Y .

4.

No se verifica ninguna relacin de independencia (condicional o


no) entre estas variables.

Expresar, en cada caso, las relaciones de independencia existentes


mediante un grafo dirigido acclico.
Una Introduccin a las Redes Bayesianas p.99/??

Respuestas
X e Y son independientes, pero son dependientes
conocida la variable Z
X: Nmero de lotera que compro
Y : Nmero de lotera que es premiado
Z: Soy rico
N. Compro

N. Toca

Rico
Una Introduccin a las Redes Bayesianas p.100/??

Febrero 2001
Dado el siguiente grafo dirigido acclico, determinar qu independencias
condicionadas de la siguiente lista se representan en el grafo, usando el criterio de
D-separacin.
1

10

11

12

Una Introduccin a las Redes Bayesianas p.101/??

Febrero 2001 (Continuacin)


Lista de independencias que hay que comprobar:
/
e) I(1, 3|5, 10) h) I(2, 4|9, 12)
a)I(2, 4|0)
b) I(1, 3|2, 9, 10) f) I(2, 7|6)
i) I(4, 12|10, 11)
c) I(3, 4|10)
g) I(2, 10|7, 9) j) I(3, 4|11, 12)
d) I(1, 12|9)

Una Introduccin a las Redes Bayesianas p.102/??

Febrero 2003
He instalado una alarma en mi casa que puede activarse (variable A)
porque un intruso entre para robar (variable R) o haya un seismo
(variable S), que son bastante frecuentes en la zona en la que vivo. Si
suena la alarma un vecino que suele avisar a mi telfono mvil
(variable L), pero hay veces que mi vecino no est (variable P) y no
me llama aunque suene la alarma. Tambin es un vecino un poco
bromista y puede llamar sin que haya sonado la alarma (sea B la
variable que determina si el vecino es serio o est bromeando). En
caso de que haya un seismo existe una probabilidad alta de que sea
anunciado en la emisora de radio local (variable N). No siempre
escucho dicha emisora (la variable E representa si la estoy
escuchando), pero si me llama mi vecino, trato de escucharla para
descartar que haya habido un seismo. Sea C la variable que
representa que conozco que hay un seismo por escucharlo en la
radio.
Una Introduccin a las Redes Bayesianas p.103/??

Febrero 2003 (Cont.)


1.

Determinar un grafo dirigido acclico compatible con las


relaciones entre las variables del problema.

2.

Determinar las probabilidades condicionadas que hay que


especificar como datos.

3.

Aplicar el algoritmo de borrado para determinar las


operaciones necesarias para calcular la probabilidad
marginal sobre la variable C.

Una Introduccin a las Redes Bayesianas p.104/??

Solucin
R

C
Una Introduccin a las Redes Bayesianas p.105/??

Septiembre 2003
Determinar la estructura de una red bayesiana para el siguiente
problema: un granjero quiere determinar si una vaca est
preada (variable P) despus de una inseminacin artificial.
Para ello dispone de tres tests. El primero de ellos es una
ecografa (variable E) y los otros dos son un test de sangre
(variable S) y uno de orina (variable O). Se supone que los dos
ltimos tests se basan en el nivel hormonal de la vaca (variable
H) que puede ser alto o bajo y que, a su vez, depende de si la
vaca est realmente preada. Existe un tipo raro de sangre
(variable T ) que hace que el resultado del test de sangre sea
siempre positivo con independencia de si la vaca est preada
o no. Para descartar esta situacin, el granjero tambin realiza
un test para comprobar el tipo de sangre (variable T T ).
Una Introduccin a las Redes Bayesianas p.106/??

Septiembre 2003 (Cont.)


En caso de duda sobre la red, especificar las relaciones de
independencia que se han supuesto.
Especificar distribuciones de probabilidad condicionadas dados
sus padres para las variables S, E, T que sean compatibles con
la informacin del problema.
Podemos considerar que si se conoce el resultado del test del
nivel hormonal en la sangre, entonces el resultado del test de
tipo de sangre es independiente de que la vaca est preada?

Una Introduccin a las Redes Bayesianas p.107/??

Diciembre 2003
Considerar el problema de transmitir palabras de longitud cinco del alfabeto
A = {a, b} sobre un canal de transmisin. Las palabras se transmiten smbolo a
smbolo. La transmisin tiene ruido y algunas veces no se recibe el smbolo
emitido. Si se emite una a se recibe una a con probabilidad 0.8 y una b con
probabilidad 0.2. Si se emite una b se recibe una b con probabilidad 0.9 y una a con
probabilidad 0.1. La probabilidad de error solo depende del smbolo emitido y no de
la presencia de error en cualquier otro smbolo. Las palabras emitidas no son
completamente aleatorias y el valor de un smbolo determinado depende de los
smbolos que lo preceden, pero slo del ltimo de ellos.
1.

Establecer una red bayesiana que relacione los smbolos emitidos y recibidos.

2.

Indicar las probabilidades condicionadas que hay que especificar.

3.

Indicar qu clculos habra que realizar en el algoritmo de borrado para


calcular la probabilidad del primer smbolo emitido, dado que se conocen los
cinco smbolos recibidos.

Una Introduccin a las Redes Bayesianas p.108/??

Febrero 2004
Consideremos un estudio sobre las familias en el que vamos a considerar
las siguientes variables: A (nivel de estudios de la madre), B (nivel de
estudios del padre), C (ingresos del padre), D (ingresos de la madre), T
(ingresos totales en la familia), E (presencia internet en casa), F (coche), G
(gastos de la familia en ocio), H (nmero de hijos), I (presencia de televisin
de pago).
1.

Disear una red que exprese unas independencias compatibles con el


signigicado de estas variables. Especificar las suposiciones que se
hacen.

2.

Realizar una red obtenida a partir de la anterior, pero eliminando las


variables A y B (slo debe de representar las independencias entre las
restantes variables que se verifiquen en la red del punto anterior),

3.

En cada una de las redes, determinar un conjunto con un nmero de


variables tan pequeo como sea posible, para que conocidas las
variables de este conjunto, las variables E y F sean independientes.

Una Introduccin a las Redes Bayesianas p.109/??

Septiembre 2004
La probabilidad de que una vaca sufra mastitis un da (variable M) depende
de varios factores: si sufra mastitis el da anterior (D), nmero de das de la
enfermedad (I) y das en que ha recibido tratamiento (T ). El ganadero
diagnostica la enfermedad en funcin del aspecto general (A) y de un test
que se realiza en la leche (L). Sin embargo, el test puede no ser fiable si la
vaca ha estado sometida a tratamiento durante ms de tres das.
1.

Describir un grafo de dependencias compatible con la situacin


descrita.

2.

Determinar una tabla de probabilidad condicionada para la variable L


en el grafo anterior.

3.

Si la vaca no tuvo enfermedad el da anterior, y no ha sido tratada, y


sabiendo que en estas condiciones la probabilidad de sufrir la
enfermedad es de 0.01, determinar la probabilidad de que tenga la
enfermedad si el test L ha resultado positivo.
Una Introduccin a las Redes Bayesianas p.110/??

Septiembre 2004 (bis)


Supongamos tres variables con dos valores cada una:
X: He hecho un viaje a Asia recientemente
Y : Tengo tuberculosis
Z: Radiografa positiva
Realizar una red bayesiana basada en el siguiente orden de las
variables; X,Y, Z. Especificar probabilidades condicionadas para
las 3 variables, de acuerdo con la red construida. Calcular la
probabilidad marginal con la que Z toma sus valores, aplicando
el algoritmo de borrado y eliminando primero la variable X y
despus la variable Y . Nota: es necesario calcular los valores
numricos de las probabilidades, no siendo suficiente con
indicar las operaciones con los potenciales.
Una Introduccin a las Redes Bayesianas p.111/??

Febrero 2005
En una granja hay dos yeguas y un caballo sin ningn parentesco entre ellos y van
a nacer dos potros, uno de cada una de las yeguas. El caballo es el padre de
ambos potros. Existe una grave enfermedad que est ligada a la presencia de un
gen recesivo a. El gen normal se nota por A. Esto quiere decir que la carga
gentica de cada individuo puede ser aa, aA, AA y la enfermedad slo se manifiesta
cuando un individuo tiene carga gentica aa. Si un individuo tiene aA no manifiesta
la enfermedad, pero es portador de ella.
1.

Determinar una red Bayesiana que exprese las dependencias entre la carga
gentica de cada uno de los caballos de la granja, incluyendo los dos potros
que van a nacer.

2.

Si en la poblacin general la probabilidad de ser portador es de 0.01 para los


caballos, de 0.02 para las yeguas, y los potros heredan un gen de cada uno
de los padres (se elige aletoriamente entre los dos posibles de cada padre),
detallar las distribuciones de probabilidad condicionadas asociadas a la red.

3.

Si se observa que el primer potro que nace manifiesta la enfermedad (tiene


aa), calcular mediante el algoritmo de borrado la probabilidad de que el otro
potro tambin tenga la enfermedad y la probabilidad de que sea portador.
Una Introduccin a las Redes Bayesianas p.112/??

Solucin
Las variables que se van a considerar son:
C: Carga gentica del caballo
Y1 : Carga gentica de la primera yegua
Y2 : Carga gentica de la segunda yegua
P1 : Carga gentica del primer potro
P2 : Carga gentica del segundo potro

Una Introduccin a las Redes Bayesianas p.113/??

Solucin
Una red bayesiana que exprese las relaciones de dependencia
entre estas variables es:
Y1

Y2

P1

P2

Una Introduccin a las Redes Bayesianas p.114/??

Solucin
En el problema se supone que las yeguas y el caballo no pueden
tener aa ya que esto supone que se desarrola la enfermedad y
entonces no se consideraran para la procreacin (esto se indic en
el examen).
Entonces las tablas de probabilidad son las siguientes (a cada
potencial le vamos a dar un nombre qi para poder hacer referencia a
l):
Para el caballo, un potencial q1 que depende de C:
q1 C = AA C = Aa
0.99
0.01
Para la primera yegua, un potencial q2 que depende de Y1 :
q2 Y1 = AA Y1 = Aa
0.98
0.02
Una Introduccin a las Redes Bayesianas p.115/??

Solucin
Para la segunda yegua, un potencial q3 que depende de Y2 :
q3 Y2 = AA Y2 = Aa
0.98
0.02
Para el primer potro, un potencial q4 que depende de P1 ,Y1 ,C,
que expresa la probabilidad condicionada de P1 dados sus
padres Y1 ,C
q4
Y1 = AA Y1 = AA Y1 = Aa Y1 = Aa
C = AA C = Aa C = AA C = Aa
P1 = AA 1
0.5
0.5
0.25
P1 = Aa 0
0.5
0.5
0.5
P1 = aa 0
0
0
0.25

Una Introduccin a las Redes Bayesianas p.116/??

Solucin
Para el segundo potro, un potencial q5 que depende de P2 ,Y2 ,C,
que expresa la probabilidad condicionada de P2 dados sus
padres Y2 ,C, y que es idntica a la anterior en estructura y
valores:
q5
Y2 = AA Y2 = AA Y2 = Aa Y2 = Aa
C = AA C = Aa C = AA C = Aa
P2 = AA 1
0.5
0.5
0.25
P2 = Aa 0
0.5
0.5
0.5
P2 = aa 0
0
0
0.25

Una Introduccin a las Redes Bayesianas p.117/??

Solucin
Observamos que P1 = aa y queremos calcular la
probabilidades condicionadas de los distintos valores de la
variable P2 .
Para ello primero se restringen los potenciales a las
observaciones y despus aplicamos el algoritmo de
borrado.
Restringir un potencial que contiene P1 a P1 = aa, es hacer
0.0 todas las casillas que correspondan a valores de P1
distintos del observado.
Slo hay un potencial que depende de P1 y es q4 .

Una Introduccin a las Redes Bayesianas p.118/??

Solucin
Al resultado de restringir q4 a P1 = aa le llamamos q04 y es
como sigue:
q04
Y1 = AA Y1 = AA Y1 = Aa Y1 = Aa
C = AA

C = Aa

C = AA C = Aa

P1 = AA 0

P1 = Aa

P1 = aa

0.25

Ahora aplicamos el algoritmo de borrado a la lista de


potenciales q1 , q2 , q3 , q04 , q5 .

Una Introduccin a las Redes Bayesianas p.119/??

Solucin
Borramos P1 . Slo hay un pontencial que contiene esta variable, q04 :
q04

Y1 = AA Y1 = AA Y1 = Aa Y1 = Aa
C = AA

C = Aa

C = AA

C = Aa

P1 = AA

P1 = Aa

P1 = aa 0
0
0
0.25
No hay que hacer multiplicaciones, slo marginalizar sobre Y1 ,C
obteniendo el potencial q6 :
q6 Y1 = AA Y1 = AA Y1 = Aa Y1 = Aa
C = AA

C = Aa

C = AA

C = Aa

0.25
Una Introduccin a las Redes Bayesianas p.120/??

Solucin
Se elimina q04 de la lista y se aade q6 , quedando q1 , q2 , q3 , q5 , q6 .
Ahora se borra Y1 . Para ello se multiplican los dos potenciales que
contienen esta variable: q2 y q6 .
q2 Y1 = AA Y1 = Aa
0.98

0.02

q6 Y1 = AA Y1 = AA Y1 = Aa Y1 = Aa
y

C = AA

C = Aa

C = AA

C = Aa

0.25

obtenindose q7 :
q7 Y1 = AA Y1 = AA Y1 = Aa Y1 = Aa
C = AA

C = Aa

C = AA

C = Aa

0.005

Una Introduccin a las Redes Bayesianas p.121/??

Solucin
En q7 se marginaliza sobre C, borrndose Y1 y obtenindose el
potencial q8 :
q8 C = AA C = Aa
0

0.005

Se eliminan q2 y q6 y se aade q8 a la lista, quedando


q1 , q 3 , q 5 , q 8 .

Una Introduccin a las Redes Bayesianas p.122/??

Solucin
En la lista q1 , q3 , q5 , q8 se elimina la variable C.
Se multiplican los potenciales que contienen esta variable q1 , q5 y q8 :
q1 C = AA C = Aa
0.99
q5

0.01

Y2 = AA Y2 = AA Y2 = Aa Y2 = Aa
C = AA

C = Aa

C = AA

C = Aa

P2 = AA

0.5

0.5

0.25

P2 = Aa

0.5

0.5

0.5

P2 = aa

0.25

q8 C = AA C = Aa
0

0.005
Una Introduccin a las Redes Bayesianas p.123/??

Solucin
El resultado de la multiplicacin es el potencial q9 :
q5

Y2 = AA Y2 = AA

Y2 = Aa Y2 = Aa

C = AA

C = Aa

C = AA

C = Aa

P2 = AA

0.000025

0.0000125

P2 = Aa

0.000025

0.000025

P2 = aa 0
0
0
0.0000125
Se marginaliza sobre P2 ,Y2 borrando C, obtenindose q10 :
q10

Y2 = AA

Y2 = Aa

P2 = AA

0.000025

0.0000125

P2 = Aa

0.000025

0.000025

P2 = aa

0.0000125
Una Introduccin a las Redes Bayesianas p.124/??

Solucin
Se eliminan de la lista los potenciales combinados q1 , q5 y q8 , y se aade el
resultado q10 .
La lista queda con los potenciales q3 , q10 .
Se elimina ahora la variable Y2 .
Para ello se multiplican los potenciales que contienen esta variable, q3 y q10 :
q3

Y2 = AA

Y2 = Aa

0.98

0.02

q10

Y2 = AA

Y2 = Aa

P2 = AA

0.000025

0.0000125

P2 = Aa

0.000025

0.000025

P2 = aa

0.0000125

obtenindose q11 :
q11

Y2 = AA

Y2 = Aa

P2 = AA

0.0000245

0.00000025

P2 = Aa

0.0000245

0.0000005

P2 = aa

0.00000025
Una Introduccin a las Redes Bayesianas p.125/??

Solucin
Se marginaliza q11 sobre P2 , obtenindose q12 :
q12
P2 = AA

0.00002475

P2 = Aa

0.000025

P2 = aa

0.00000025

Se eliminan q3 y q10 de la lista y se aade q12 .


La lista queda: q12 .
Ya se han borrado todas las variables, excepto la variable en la que
estamos interesados. Ahora hay que multiplicar todos los potenciales
que quedan. Como slo queda q12 , el resultado es l mismo: q12 .

Una Introduccin a las Redes Bayesianas p.126/??

Solucin
Finalmente las probabilidades deseadas, se obtienen
normalizando este potencial, es decir dividiendo cada nmero
por la suma de todos los valores
0.00002475 + 0.000025 + 0.00000025
q12
q012
De

P2 = AA 0.00002475
P2 = Aa

0.000025

se pasa a

P2 = AA 0.495
P2 = Aa

0.5

P2 = aa 0.00000025
P2 = aa 0.005
En esta tabla tenemos la probabilidad de que el segundo potro
sea portador (P2 = Aa) y que es de 0.5 y la probabilidad de que
est enfermo (P2 = aa) que es igual a 0.005. La de estar
completamente sano sin ser portador es de 0.495.
Una Introduccin a las Redes Bayesianas p.127/??

Septiembre 2005
Dar un ejemplo de red bayesiana con 4 variables (X1 , X2 , X3 , X4 ) para
cada uno de los siguientes conjuntos de condiciones:
1.

I(X1 , X4 |X2 , X3 ), I(X2 , X3 |X1 )

2.

/ I(X4 , X3 |X2 ), I(X4 , X1 |X2 )


I(X1 , X2 |0),

Las relaciones de independencia entre variables que no estn


incluidas en las condiciones anteriores no deben de verificarse (por
ejemplo, en el caso primero, X1 y X2 deben de ser dependientes).
Dar nombres a las variables que correspondan con un ejemplo
real y en el que estas relaciones se verifiquen.
Para la red del primer conjunto de restricciones, dar ejemplos de
tablas de probabilidad condicionadas (todas las necesarias para
una distribucin de probabilidad conjunta).
Una Introduccin a las Redes Bayesianas p.128/??

Febrero 2006
Un estudiante realiza un examen con 5 preguntas que se califican
cada una con los valores 0,1,2. Si el alumno obtiene ms de cinco
puntos, aprueba la asignatura. Realizar una red bayesiana que
incluya los resultados de cada una de las preguntas (una variable
para cada pregunta) y el hecho de que el estudiante supere o no el
examen (variable A).
Construir una nueva red en la que aparezcan cuatro variables
adems de las anteriores: formacin bsica del estudiante (F),
esfuerzo dedicado a la asignatura (E), asistencia a clase (C) y estado
anmico (N). Cada una de estas variables puede tener 3 valores:
bueno, malo, regular.

Una Introduccin a las Redes Bayesianas p.129/??

Febrero 2006 (Cont.)


Construir una tercera red en la que slo aparezcan la variable F y las
dos primeras preguntas, suponiendo que los resultados de estas preguntas son condicionalmente independientes dada F. Introducir valores numricos que permitan determinar una distribucn conjunta. Calcular la probabilidad de que la formacin bsica de un estudiante sea
buena si ha obtenido 2 en ambas preguntas.

Una Introduccin a las Redes Bayesianas p.130/??

Septiembre 2006
Tenemos una enfermedad que queremos diagnosticar y tres tests
que se pueden aplicar que pueden ser positivos o negativos. Se sabe
que las probabilidades de que los tests den positivos segn se tenga
o no la enfermedad son las de la siguiente tabla:
Test 1 positivo Test 2 positivo Test 3 positivo
Enfermo
0.9
0.8
0.75
No enfermo
0.2
0.05
0.06
Si se supone que los resultados de los tests son condicionalmente
independientes conocido si se tiene o no se tiene la enfermedad,
determinar una red bayesiana con sus tablas de probabilidad que
represente el problema. Si hay algn dato que falta, aadir un valor
arbitrario.
Calcular la probabilidad de que se tenga la enfermedad una vez que
los dos primeros tests han dado positivos y el tercero negativo.
Una Introduccin a las Redes Bayesianas p.131/??

Septiembre 2006 - Solucin

Enfermedad

Test 1

Enf.

SI

NO

0.01 0.99

Test 3

Test 2

Enf.

SI

NO

Enf.

SI

NO

Enf.

Test1 +
Test1 -

0.9

0.2

0.8

0.05

0.1

0.8

Test2 +
Test2 -

0.2

0.95

Test3 +
Test3 -

SI

NO

0.75

0.06

0.25

0.94

Una Introduccin a las Redes Bayesianas p.132/??

Solucin (cont.)
Para calcular la probabilidad condicionada de tener la
enfermedad dado que los tests 1 y 2 son potivos y el 3
negativo podemos aplicar el algoritmo de borrado a la lista
de potenciales despus de transformarlos de acuerdo con
las observaciones.
Aqu vamos a aplicar directamente el teorema de Bayes.
Llamemos T1 , T2 , T3 a los tests con valores +, y E con
valores SI, NO.
Sea O nuestro conjunto de observaciones
T1 = +, T2 = +, T3 = .

Una Introduccin a las Redes Bayesianas p.133/??

Solucin (cont.)
Aplicamos el teorema de Bayes:
P(O|E = SI).P(E = SI)
P(E = SI|O) =
P(O|E = SI).P(E = SI) + P(O|E = NO).P(E = NO)
Como los resultados de los tests son condicionalemente
independientes conocido si se tiene la enfermedad:
P(O|E = SI) = P(T1 = +, T2 = +, T3 = |E = SI) =
P(T1 = +|E = SI).P(T2 = +|E = SI).P(T3 = |E = SI) = 0.9 0.8 0.25 = 0.18
P(O|E = NO) = P(T1 = +, T2 = +, T3 = |E = NO) =
P(T1 = +|E = NO).P(T2 = +|E = NO).P(T3 = |E = NO) = 0.20.050.94 = 0.0094
Una Introduccin a las Redes Bayesianas p.134/??

Solucin (Cont.)
Sustituimos, junto con P(E = SI) = 0,01, P(E = NO) = 0,99,
obteniendo
0.18 0.01
= 0.162
P(E = SI|O) =
0.18 0.01 + 0.0094 0.99
Nuestro resultado final es 0.162.
Este depender de la probabilidad a priori de la
enfermedad que hayamos puesto.

Una Introduccin a las Redes Bayesianas p.135/??

Febrero 2007
Consideremos un modelo de la intereraccin entre tres factores (hierba, herbvoros,
carnvoros) en un sistema ecolgico. Para ello se considerarn tres instantes de
tiempo y, en cada uno de ellos, los valores de estas tres variables (hay que hacer
tres versiones de cada una de las variables, una en cada instante de tiempo). Cada
variable tiene tres valores posibles (escaso,normal,abundante).
1.

Determinar una red bayesiana que represente el modelo, describiendo la


parte cualitativa y cuantitativa. En la primera etapa se puede suponer que las
variables son independientes. Para las probabilidades se deben de
determinar valores numricos que sean compatibles con la intuicin (por
ejemplo, si hay pocos carnvoros y muchos herbvoros en un momento dado,
en el instante siguiente lo ms probable es que el nmero de carnvoros sea
normal).

2.

Describir slo la red que incluya las variables hierba y herbvoros en el


instante 1 e hierba en el instante 2. Calcular la probabilidad marginal de la
variable hierba en el instante 2, aplicando el algoritmo de borrado.

Una Introduccin a las Redes Bayesianas p.136/??

Febrero 2007 (solucin)


Consideremos las variables:
Hierba en el instante i: Hii
Herbvoros en el instante i: Hei
Carnvoros en el instante i: Ci
La red puede ser:
Hi1

Hi2

Hi3

He1

He2

He3

C1

C2

C3

Una Introduccin a las Redes Bayesianas p.137/??

Febrero 2007 (solucin)


Si notamos: Escaso (E), Normal (N), Abundante (A).
Para las variables Hi1 , He1 , C1 , podemos considerar la mista
tabla de probabilidad. Por ejemplo:
E

0.3 0.4 0.3


Para la Hii+1 condicionado a Hii y Hei :
Hii = E

Hii = N

Hii = A

Hei = E

Hei = N

Hei = A

Hei = E

Hei = N

Hei = A

Hei = E

Hei = N

Hei = A

Hii+1 = E

0.4

0.5

0.9

0.15

0.2

0.3

0.0

0.05

0.2

Hii+1 = N

0.5

0.45

0.09

0.6

0.6

0.6

0.2

0.25

0.3

Hii+1 = A

0.1

0.05

0.01

0.25

0.2

0.1

0.8

0.7

0.5

Una Introduccin a las Redes Bayesianas p.138/??

Febrero 2007 (solucin)


Para la Hei+1 condicionado a Hii , Hei y Ca, la tabla es ms
complicada. En tres partes puede ser:
Hii = E
Hei = E

Hei = N

Hei = A

Ci = E

Ci = N

Ci = A

Ci = E

Ci = N

Ci = A

Ci = E

Ci = N

Ci = A

Hei+1 = E

0.5

0.7

0.95

0.35

0.3

0.4

0.1

0.15

0.3

Hei+1 = N

0.5

0.3

0.05

0.5

0.6

0.55

0.2

0.25

0.3

Hei+1 = A

0.0

0.00

0.00

0.15

0.1

0.05

0.7

0.6

0.4

Hii = N
Hei = E

Hei = N

Hei = A

Ci = E

Ci = N

Ci = A

Ci = E

Ci = N

Ci = A

Ci = E

Ci = N

Ci = A

Hei+1 = E

0.4

0.5

0.9

0.15

0.2

0.3

0.0

0.05

0.2

Hei+1 = N

0.5

0.45

0.09

0.6

0.6

0.6

0.2

0.25

0.3

Hei+1 = A

0.1

0.05

0.01

0.25

0.2

0.1

0.8

0.7

0.5

Una Introduccin a las Redes Bayesianas p.139/??

Febrero 2007 (solucin)


Para la Hei+1 condicionado a Hii , Hei y Ca, la tabla es ms
complicada. La tercera parte de la tabla:
Hii = A
Hei = E

Hei = N

Hei = A

Ci = E

Ci = N

Ci = A

Ci = E

Ci = N

Ci = A

Ci = E

Ci = N

Ci = A

Hei+1 = E

0.3

0.4

0.8

0.05

0.1

0.2

0.0

0.01

0.1

Hei+1 = N

0.5

0.45

0.09

0.6

0.6

0.6

0.1

0.14

0.3

Hei+1 = A

0.2

0.15

0.11

0.35

0.3

0.2

0.9

0.85

0.6

Una Introduccin a las Redes Bayesianas p.140/??

Febrero 2007 (solucin)


Para la Ci+1 condicionado a Hei y Ci :
Hei = E

Hei = N

Hei = A

Ci = E

Ci = N

Ci = A

Ci = E

Ci = N

Ci = A

Ci = E

Ci = N

Ci = A

Ci+1 = E

0.9

0.7

0.3

0.35

0.2

0.1

0.1

0.05

0.0

Ci+1 = N

0.1

0.2

0.6

0.6

0.6

0.5

0.4

0.25

0.2

Ci+1 = A

0.0

0.1

0.1

0.05

0.2

0.4

0.5

0.7

0.8

Una Introduccin a las Redes Bayesianas p.141/??

Febrero 2007 (solucin)


Describir slo la red que incluya las variables hierba y herbvoros en el instante 1 e
hierba en el instante 2. Calcular la probabilidad marginal de la variable hierba en el
instante 2, aplicando el algoritmo de borrado.
Hi1

Hi2
Para Hi1 tabla:

He1

Para He1 tabla:

Hi1
He1

0.3

0.4

0.3

0.3

0.4

0.3

Hi2 condicionado a Hi1 y He1 :


Hi2 |Hi1 , He1

Hii = E

Hii = N

Hii = A

Hei = E

Hei = N

Hei = A

Hei = E

Hei = N

Hei = A

Hei = E

Hei = N

Hei = A

Hii+1 = E

0.4

0.5

0.9

0.15

0.2

0.3

0.0

0.05

0.2

Hii+1 = N

0.5

0.45

0.09

0.6

0.6

0.6

0.2

0.25

0.3

Hii+1 = A

0.1

0.05

0.01

0.25

0.2

0.1

0.8

0.7

0.5

Una Introduccin a las Redes Bayesianas p.142/??

Solucin
Aplicamos el algoritmo de borrado, eliminando las variables
Hi1 , He1 para obtener la marginal sobre He2 .
Primero borramos Hi1 . Para ello multiplicamos la tabla de Hi1
por la de Hi2 condicionado a Hi1 , He1 , obteniendo la tabla:
Hi1 = E

Hi1 = N

Hi1 = A

He1 = E

He1 = N

He1 = A

He1 = E

He1 = N

He1 = A

He1 = E

He1 = N

He1 = A

Hi2 = E

0.12

0.15

0.27

0.06

0.08

0.12

0.0

0.015

0.06

Hi2 = N

0.15

0.135

0.027

0.24

0.24

0.24

0.06

0.075

0.09

Hi2 = A

0.03

0.015

0.003

0.1

0.08

0.04

0.24

0.21

0.15

Una Introduccin a las Redes Bayesianas p.143/??

Solucin (Febr. 2007)


Ahora marginalizamos la tabla anterior, sumando en Hi1 y
obteniendo:
Hi2 , He1

He1 = E

He1 = N

He1 = A

Hi2 = E

0.18

0.245

0.45

Hi2 = N

0.45

0.45

0.357

Hi2 = A

0.37

0.305

0.193

Una Introduccin a las Redes Bayesianas p.144/??

Solucin (Febr. 2007)


Ahora borramos la variable He1 , multiplicando la tabla anterior:
Hi2 , He1

He1 = E

He1 = N

He1 = A

Hi2 = E

0.18

0.245

0.45

Hi2 = N

0.45

0.45

0.357

Hi2 = A

0.37

0.305

0.193

por la de He1

He1

0.3

0.4

0.3

Hi2 , He1

He1 = E

He1 = N

He1 = A

Hi2 = E

0.054

0.0980

0.135

Hi2 = N

0.135

0.18

0.1071

Hi2 = A

0.111

0.1220

0.0579

obteniendo:

Una Introduccin a las Redes Bayesianas p.145/??

Solucin (Febr. 2007)


En la tabla anterior marginalizamos sumando en He1 ,
obteniendo:
Hi2
E
N
A
0.287 0.4221 0.2909
La normalizacin no cambia esta tabla (la suma de los valores
es 1.0) y representa la probabilidad marginal sobre Hi2 que se
peda.

Una Introduccin a las Redes Bayesianas p.146/??

Septiembre (2007)
Dibujar una red bayesiana con 5 variables (X1 , X2 , X3 , X4 , X5 ) en la se
verifiquen las siguientes independencias:
/
I(X1 , X2 |0)
I(X4 , X1 |X3 ), I(X4 , X2 |X3 )
I(X5 , X1 |X3 ), I(X5 , X2 |X3 ), I(X5 , X4 |X3 )
y no se verifique ninguna otra independencia aparte de las que se
deduzcan de las anteriores por las propiedades de las
independencias representadas en grafos dirigidos accilicos.
Si todas las variables pueden tomar dos valores ( 0, 1), dar ejemplos
de tablas de probabilidad condicionadas para la red anterior.
Si consideramos la red con slo las 4 primeras variables, calcular con
el algoritmo de borrado la probabilidad P(X3 = 0|X1 = 1, X4 = 0).

Una Introduccin a las Redes Bayesianas p.147/??