Fuente Discreta sin memoria y Fuente Discreta con memoria

Miguel Alejandro Callejas Pastor Universidad Catlica Boliviana San Pablo Diplomado de Televisin Digital ISDBTb miguel.callejas.pastor@hotmail.com Una fuente de informacin es un objeto, que produce a su salida un evento; dicha salida es seleccionada aleatoriamente de acuerdo a una probabilidad de distribucin. En un sistema de comunicacin, es un elemento que produce mensajes, y stos pueden ser anlogos o discretos. Una fuente discreta est formada por un conjunto finito de smbolos. Las fuentes de informacin pueden clasificarse en fuentes con memoria y fuentes sin memoria. Una fuente sin memoria pude especificarse por: la lista de smbolos, la probabilidad de ocurrencia de los smbolos, y la rata de generacin de los smbolos de la fuente.

Fuente Discreta Sin Memoria La cantidad de informacin de un mensaje, es inversamente proporcional a la probabilidad de ocurrencia. Si un evento es conocido, la informacin aportada es cero, de hecho su probabilidad de ocurrencia es uno. La probabilidad de un mensaje siempre estar en un valor entre cero y uno. La informacin contenida en eventos independientes debera sumarse.

I ( x i ) =Log 2

1 P ( x1 )

bits

Si existe un mensaje x1, con una probabilidad de ocurrencia P(x1), el contenido de informacin puede expresarse segn
1

I x

( i)

tendr como unidad el bit, si empleamos logaritmos binarios.

Tendr como unidad el HARTLEY, si empleamos logaritmos decimales. Tendr como unidad el NAT, si empleamos logaritmos naturales. La conversin de unidades podr realizarse de acuerdo a la siguiente expresin:

Log a=ln a /ln 2=log a /log2 2

Fuente Discreta Con Memoria Sea una fuente capaz de generar lenguaje en castellano. sta emitir secuencias de letras bajo unas determinadas reglas sintcticas, que hacen que aparezcan situaciones como las siguientes: - Si la ltima letra generada es, por ejemplo, una m, la probabilidad de que la siguiente sea, pongamos por caso, una r es casi nula, mientras que la de una a es bastante mayor: la combinacin ma es, desde luego, mucho ms frecuente en castellano que la mr. - Supongamos ahora que la letra generada es una a. En este caso, la probabilidad de que se emita a continuacin una r es mucho mayor que la de que se emita una a, que es casi nula (la combinacin aa en castellano es, cuando menos, muy rara). Se tiene, entonces, que la probabilidad de emitir un smbolo depende de el/los anteriormente generados. Es inmediato observar como el modelo de fuente de memoria nula, basado en la generacin de smbolos estadsticamente independientes, no es capaz de adaptarse a situaciones como la descrita, es un modelo muy limitado. Se hace, por lo tanto, necesaria la introduccin de un nuevo tipo de fuente de carcter ms general. Este nuevo tipo de fuente de informacin se la denomina de Markov, y se caracteriza porque la probabilidad de aparicin de un determinado smbolo si , depende de cuales hayan sido los m anteriormente emitidos, donde m es el orden de la fuente. Una fuente de este tipo viene descrita, entonces, por Fuentes de Markov: Son aquellas en las que la probabilidad de un smbolo cualquiera viene determinada por los m smbolos precedentes. Al existir q smbolos existirn qm estados posibles. m es el orden de la fuente.

H(s) = p(sj1 , sj2 ,..., sjm ,si)logr [1/p(si /sj1 , sj2 ,..., sjm ) Sm+1

 Redundancia: Diferencia entre la entropia mxima y la entropia de la fuente con memoria Interpretacin de informacin: Cantidad de incertidumbre(Tcnica de cifrado) Nmero mnimo de digitos que se requiere para codificar un mensaje. Velocidades en la transmisin de datos Velocidad de smbolo r = 1/ |Smb./seg.| Velocidad Binaria vd = 1/ |bit/seg.| Velocidad en Pulso vp = 1/Tp |pulsos/s| Velocidad de modulacin RBd = 1/Tpmin |Baud| Velocidad de Transmisin o razn de entropia Rh = rH |Unidades de informacin/seg.| Velocidad real de transmisin vt =d*vd 0.6<=d<=0.8