PROBABILIDAD E

INFORMACIÓN
MUTUA
Melesio García Manuel
Escalona Velázquez Kareem Manuel
García Del Valle Aldo
Olvera González Miguel
Rangel Rico Víctor
Domínguez Ramos Noé
Definición de
información mutua
Comprender la incertidumbre 🔍: La
información mutua mide cuánta información
se comparte entre dos fuentes de datos.
Cuanta más información mutua haya, menos
incertidumbre habrá.
No es asimétrica ↔️La información mutua
entre dos fuentes de datos es la misma
independientemente del orden de las
fuentes.
Medida de la dependencia 🤝 La información
mutua es una medida de la dependencia
entre dos fuentes de información. Cuanto
mayor sea la información mutua, mayor será
la dependencia.
Relación entre probabilidad e información mutua

Probabilidad Teoría de la información Análisis de datos

La probabilidad es la medida de
incertidumbre de un evento. La
información mutua está
relacionada con la probabilidad
de dos eventos.
La información mutua se basa en
la teoría de la información,
que estudia la transmisión y el
procesamiento de la
información.
El análisis de datos puede
utilizarse para calcular la
información mutua entre dos
fuentes de datos, ayudando a
comprender su relación y
dependencia.
Probabilidad de fuentes de información continua
y discreta

Fuente de información continua. Tiene

un número infinito y no numerable de
valores posibles. Se utiliza la
densidad de probabilidad para
describir la incertidumbre de la
fuente.

Fuente de información discreta. Tiene

un número finito y numerable de
valores posibles. Se utiliza una
función de probabilidad discreta para
describir la incertidumbre de la
fuente.
Información mutua de fuentes de información
continua y discreta
Información mutua en
fuentes de información
discreta
La información mutua entre dos
fuentes de información discreta
se calcula sumando las
probabilidades de pares de
eventos y la probabilidad
conjunta.
Aplicaciones de la
información mutua
La información mutua se utiliza
en la teoría de la
Información mutua en comunicación, la teoría de la
red y la inteligencia
fuentes de información
artificial para analizar y
continua extraer conocimientos útiles de
grandes conjuntos de datos.
La información mutua entre dos
fuentes de información continua
se calcula integrando las
densidades de probabilidad de
los eventos y la densidad de
probabilidad conjunta.
Cálculo de la información mutua

Cálculo de la información mutua en

fuentes de información discreta. La
fórmula para calcular la información
mutua en fuentes de información discreta
es:
∈ ∈
I(A;B)=∑a A​∑b B​
p(a,b)log(p(a,b)​
/p(a)p(b))

Cálculo de la información mutua en

fuentes de información continua. La
fórmula para calcular la información
mutua en fuentes de información continua
es:

I(A;B)=∫∫p(a,b)log(p(a,b)​
/p(a)p(b))da db
 Ejercicio:

Considere una fuente

Y las probabilidades

Demostrar que la suma de las probabilidades debe ser la unidad

Aplicaciones prácticas de la
información mutua
Redes neuronales:
Teoría de la comunicación:
La información mutua se
La información mutua se utiliza
utiliza en la inteligencia
para optimizar la comunicación
artificial para la selección
entre dos puntos, como la
de características y la
transmisión de datos entre dos
identificación de patrones en
dispositivos.
un gran conjunto de datos.

Estadística:

La información mutua se
utiliza en la estadística para
el análisis de datos en el que
se necesite medir la relación
y dependencia entre variables.
Ejemplos de cálculo de información mutua en
problemas reales
Clasificación de
imágenes
La información mutua se utiliza
para determinar la importancia
de los píxeles de una imagen
para la clasificación de
imágenes.
Clasificación de Detección de fraudes
dígitos escritos a mano financieros
La información mutua se utiliza
La información mutua se utiliza
para encontrar patrones y
para determinar qué
detectar fraudes financieros a
características de la imagen
través del análisis de grandes
son más importantes para
conjuntos de datos.
clasificar un número.
Usos de la información mutua
Invaluable en el análisis de datos
01 La información mutua es una herramienta poderosa
en el análisis de datos y el aprendizaje
automático, que puede ayudar a descubrir
patrones y obtener información valiosa de
grandes conjuntos de datos.

Complemento de otras herramientas estadísticas

02 La información mutua se puede utilizar junto
con otras herramientas estadísticas para
mejorar la precisión y efectividad de los
resultados finales.

Fácil de aplicar
03 La información mutua es fácil de entender y
aplicar con las fórmulas necesarias básicas. No
dudemos en utilizarla en proyectos de análisis
de datos.