ACTIVIDAD EJE 2

Entropía Binaria

Facultad de ingeniería de sistemas, fundación universitaria Areandina

011 – Teoría de la información

Profesor: Gustavo Enrique Tabares Parra

04 de marzo de 2024
 Tabla de contenido

Introducción..........................................................................................................................................3
Objetivo principal.................................................................................................................................4
Objetivos específicos............................................................................................................................4
Desarrollo actividad.............................................................................................................................5
Solución de Carlos Ramírez.................................................................................................................5
Solución Yuliana Amaya Marín...........................................................................................................6
Conclusiones........................................................................................................................................8
Lista de referencias...............................................................................................................................9
 Introducción

La entropía binaria es un concepto fundamental en el campo de la teoría de la información y la

codificación de datos, que encuentra aplicación en una amplia variedad de disciplinas, desde la

informática hasta la física y la biología. Esta medida de incertidumbre o desorden en sistemas

binarios ha sido objeto de estudio y aplicación en numerosos contextos debido a su relevancia en la

compresión de información y la transmisión de señales. En este trabajo, exploraremos en detalle el

concepto de entropía binaria, su significado teórico y práctico, así como sus diversas aplicaciones

en la resolución de problemas y la optimización de sistemas.

La comprensión de la entropía binaria es esencial para abordar eficazmente una variedad de

desafíos en el procesamiento de información y la comunicación de datos. Desde su formulación

inicial por Claude Shannon en la década de 1940, la entropía binaria ha evolucionado hasta

convertirse en un pilar fundamental en campos como la compresión de archivos, la criptografía y la

teoría de la comunicación. En este trabajo, exploraremos cómo la entropía binaria proporciona una

medida cuantitativa de la información contenida en sistemas binarios, así como su papel en la

optimización de algoritmos y la mejora de la eficiencia en la transmisión y almacenamiento de

datos digitales.
 Objetivo principal

Hallar la extensión de una fuente de memoria nula

Objetivos específicos

 Determinar la extensión total de la fuente de memoria nula durante el proceso de análisis.

 Recopilar información y definir la metodología para hallar un pronóstico.

 Documentar los resultados y establecer las conclusiones de los resultados en equipo.

 Desarrollo actividad

Hallar la extensión de una fuente de memoria nula.

Partiendo del siguiente alfabeto:

S= { M 1 , M 2 , M 3 } , con P { M 1 }=P {M 2 }=1/5 y P {M 3}=1 /3

Solución de Carlos Ramírez

Símbolo M σ1 σ2 σ3 σ4 σ5 σ6 σ7 σ8 σ9
Secuencia de M1M M1M M2M M2M M1M M2M M3M M3M M3M
símbolos 1 3 1 3 2 2 1 2 3
Probabilidad 1/25 1/15 1/25 1/15 1/25 1/25 1/15 1/15 1/9

Hallar la probabilidad de secuencia de cada símbolo.

1
∗1
5 1
σ 1=M 1 M 1= =
5 25

1
∗1
5 1
σ 2=M 1 M 3= =
3 15

1
∗1
5 1
σ 3=M 2 M 1= =
5 25

1
∗1
5 1
σ 4=M 2 M 3= =
3 15

1
∗1
5 1
σ 5=M 1 M 2= =
5 25
 1
∗1
5 1
σ 6=M 2 M 2= =
5 25

1
∗1
3 1
σ 7=M 3 M 1= =
5 15

1
∗1
3 1
σ 8=M 3 M 2= =
5 15

1
∗1
3 1
σ 9=M 3 M 3= =
3 9

Hallar la entropía binaria aplicando la fórmula:

−1
H ( S 2 )=∑ P (¿ σi)log ¿
S
1 P ( σi )

1 1 1
log 9+ 4 log 25+ ¿ 4 log 15 ¿
9 25 15

¿−2.392 bits/ simbolo

Para hallar la entropía se ha tomado los valores distintos de probabilidad (1/9, 1/25, 1/15),

agrupando las probabilidades repetidas y calculando su logaritmo en base 2. Todo este cálculo

indico que la entropía binaria equivale a -2.132 bits/símbolo.

Solución Yuliana Amaya Marín

Símbolo M σ1 σ2 σ3 σ4 σ5 σ6 σ7 σ8 σ9

Secuencia de M1M M1M M2M M2M M1M M2M M3M M3M M3M

símbolos 1 3 1 3 2 2 1 2 3

Probabilidad 1/25 1/15 1/25 1/15 1/25 1/25 1/15 1/15 1/9
Para encontrar la probabilidad, multiplicamos las probabilidades de cada símbolo.

1
∗1
5 1
{ } { } { }
σ 1=P M 1 M 1 =P M 1 × P M 1 = =
5 25

1
∗1
5 1
σ 2=M 1 M 3= =
3 15

1
∗1
5 1
σ 3=M 2 M 1= =
5 25

1
∗1
5 1
σ 4=M 2 M 3= =
3 15

1
∗1
5 1
σ 5=M 1 M 2= =
5 25

1
∗1
5 1
σ 6=M 2 M 2= =
5 25

1
∗1
3 1
σ 7=M 3 M 1= =
5 15

1
∗1
3 1
σ 8=M 3 M 2= =
5 15

1
∗1
3 1
σ 9=M 3 M 3= =
3 9
Hallar la entropía binaria aplicando la fórmula:

−1
H ( S 2 )=∑ P (¿ σi)log ¿
S
1 P ( σi )

H ( S 2 )=−¿

1 1 1 1 +1 1 1
H ( X )= ∗(−4,643 ) + ∗(−3,906 )+ ∗(−4,643 ) + ∗(−3,906 )+ ∗(−4,643 ) + ∗(−4,643 ) + ∗(−3,9
25 15 25 15 25 25 15

H ( X )=0,185−0,260−0,185−0,260−0,185−0,185−0,260−0,260−03,352

¿−2.132 bits/ simbolo

Conclusiones

En el desarrollo de este trabajo, se aplicaron los conceptos y técnicas aprendidas durante el eje 2,

centrándose especialmente en la entropía binaria y sus aplicaciones. Cada integrante del equipo

abordó el ejercicio propuesto, utilizando los conocimientos adquiridos para resolverlo de manera

individual. Posteriormente, se compararon las respuestas obtenidas, y se encontró una notable

coincidencia en los resultados entre todos los participantes.

Este resultado uniforme es un claro indicador del dominio que cada miembro del equipo tiene sobre

el tema, así como de la efectividad del aprendizaje durante el desarrollo del eje. Sin embargo, más

allá de la coincidencia en los resultados, el proceso no se limitó simplemente a una verificación de

respuestas idénticas. En lugar de ello, se promovió un intercambio de puntos de vista y discusiones

sobre el tema, enriqueciendo así la comprensión colectiva.

Este ejercicio no solo permitió validar el dominio individual de cada integrante del equipo en

relación con la entropía binaria, sino que también fomentó un ambiente colaborativo donde el

intercambio de ideas y conocimientos fortaleció la comprensión colectiva del tema. Así, se

evidenció cómo la combinación de la aplicación práctica y la discusión constructiva puede

potenciar el aprendizaje y la comprensión de conceptos complejos en un entorno académico o

laboral.
 Lista de referencias

Abramson, N. información y Codificación.

Costa, C. I. (1995). La teoría de la información en bibliotecología. Information. Revista del Instituto

de Información de la Facultad de Información y Comunicación, 1(1), 13-17.

Gutiérrez, M. P. (1999). Teoría matemática de la comunicación y teoría semántica de la

información. Teorema: Revista internacional de filosofía, 77-100.

Villa, M. C. (2008). Fundamentos de la teoría de la información. ITM.