Universidad Central del Ecuador

Nombre: Alexis Anchala Curso: SI-003

Materia: Fundamentos de Sistemas de Información

Consulta:

Entropía Conjunta:

Definición:

Es una medida utilizada en teoría de la información y teoría de la probabilidad para

describir el nivel de incertidumbre o aleatoriedad conjunta de dos o más variables
aleatorias. Se denota comúnmente como H (X, Y), donde X e Y son las variables
aleatorias consideradas.

Características:

1.- No negatividad: No siempre es negativa, lo que significa que su valor es igual o

mayor que cero.

2.- Valor máximo: Alcanza su valor máximo cuando X e Y son completamente

independientes y su probabilidad conjunta se puede factorizar en las probabilidades
marginales de X e Y.

3.- Desigualdad de la información conjunta: Satisface la desigualdad de la información

conjunta, que establece que H (X, Y) es mayor o igual que las entropías individuales de
X e Y.

Entropía marginal:

Definición:

Es una medida de incertidumbre o aleatoriedad asociada a una variable aleatoria

individual en un sistema probabilístico. Representa cuánta información se necesita para
describir la variable aleatoria por sí sola, sin tener en cuenta ninguna otra variable.

Características:

1.- No siempre es negativa, lo que significa que su valor es igual o mayor que cero.
 Universidad Central del Ecuador
2.- Alcanza su valor máximo cuando X es una variable aleatoria equi-probable, es decir,
cuando todos los posibles valores de X tienen la misma probabilidad.

3.- Está relacionada con la entropía conjunta de varias variables aleatorias. La entropía
conjunta de un conjunto de variables aleatorias es igual a la suma de las entropías
marginales de cada variable por separado, más la información mutua entre ellas.

Entropía Condicional de Distribuciones de Probabilidad.

Definición:

Es una medida de la probabilidad para describir la cantidad promedio de información

adicional requerida para describir una variable aleatoria, dada una información parcial o
condicional. Se denota comúnmente como H(X|Y), donde X e Y son variables aleatorias
y se lee como "la entropía de X condicionada a Y".

Características:

1.- No siempre es negativa, lo que significa que su valor es igual o mayor que cero.

2.- Está relacionada con la entropía conjunta y la entropía marginal. Se puede expresar
como la diferencia entre la entropía conjunta de X e Y, y la entropía marginal de Y:

H(X|Y) = H (X, Y) - H(Y)

 Universidad Central del Ecuador
Fuentes Bibliográficas:

Anónimo. (2021). Planetcalc. Entropía condicional. Rescatado de:

https://es.planetcalc.com/8414/#:~:text=La%20entrop%C3%ADa%20condicional%20H(Y,de
%20otra%20variable%20aleatoria%20X.&text=Tenga%20en%20cuenta%20que%20puede,ver
%20los%20detalles%20del%20c%C3%A1lculo.

Jorge Ramió Aguirre. (2022). Wikipedia. Entropía. Rescatado de:

https://es.wikipedia.org/wiki/Entrop%C3%ADa_(informaci%C3%B3n)

Elvis.E. (2022). Scribd. Exposición entropía conjunta. Rescatado de:

https://es.scribd.com/document/331598517/exposicion-entropia-conjunta#