TEORA DE LA INFORMACIN

El objetivo de un sistema de comunicacin en su sentido amplio es la transmisin eficiente de informacin de un punto denominado ORIGEN, a otro punto denomInado DESTINO.

Los anlisis de seales

y circuitos nos permiten presentar una serie de

elementos y sistemas elctronicos que realizan dicho objetivo con eficiencia y se uridad!

La teor"a de la informacin nos proporciona una serie de conceptos y formulaciones desde el punto de vista matemtico, que permiten en #ltima instancia plantear alternativas para el manejo inteli ente del proceso de comunicacin!

La teor"a de la informacin nos resuelve desde el punto de vista de la in enier"a situaciones como$ a% &ul es el contenido real de informacin de un mensaje' b% Entre varias formas de e(presar un mensaje cul es la ptima cuando se trata de optimizar parmetros como$ tiempo invertido para transmitirlo,

ancho de banda, cantidad de s"mbolos o seales para representarlo'

c% )i los mensajes se codifican para su almacenamiento y transmisin, cmo selecciono o diseo un cdi o ptimo para ello'

d% &ul es la capacidad m(ima, que un medio canal espec"fico de comunicacin tiene para transmitir informacin' e% &mo acoplo el canal de comunicacin con la fuente de informacin a fin de lo rar la m(ima transferencia de informacin por el canal, con m"nima probabilidad de prdida de informacin' f% &mo puede el receptor de la informacin, procurar que la posibilidad de error sea m"nima' &mo puede darse cuenta de que hay un error y cmo lo rar corre irlo' % &mo lo ro introducir cambios a la estructura de una informacin para a% *acilitar su inmunidad a perturbaciones naturales o artificiales +ruido%! b% ,escatar la informacin ante eventuales errores en la transmisin! c% Encriptarla para m"nima posibilidad de captura por receptores no autorizados! d% -inimizar el n#mero de elementos de cdi o necesarios para representar una informacin$ &ompresin! .uede definirse alternativamente la teror"a de la informacin, como el campo de la ciberntica que se ocupa de la descripcin y evaluacin matemtica de los mtodos de transmisin, conservacin, e(traccin, clasificacin y medida de la infromacin!

El estudio de la teoria de la informacin debe permitir$ conocer las tcnicas de cifrado, correccin y deteccin de errores y procesos de eliminacin de redundancia en una informacin,

CONCEPTOS BSICOS DE LA TEORA DE LA INFORMACIN

-edida de la Informacin$ 1.1 Fuentes de Infor !"#$n% 1na fuente de informacin es un objeto, que produce a su salida un evento2 dicha salida es seleccionada aleatoriamente de acuerdo a una probabilidad de distribucin! En un sistema de comunicacin, es un elemento que produce mensajes, y stos pueden ser anlo os o discretos! 1na fuente discreta est formada por un conjunto finito de s"mbolos! Las fuentes de informacin pueden clasificarse en fuentes con memoria y fuentes sin memoria! 1na fuente sin memoria pude especificarse por$ la lista de s"mbolos, la probabilidad de ocurrencia de los s"mbolos, y la rata de eneracin de los s"mbolos de la fuente! 1.& Conten#do de Infor !"#$n de Fuentes d#s"ret!s s#n e or#!.

La cantidad de informacin de un mensaje, es inversamente proporcional a la probabilidad de ocurrencia! )i un evento es conocido, la informacin aportada es cero, de hecho su probabilidad de ocurrencia es uno! La probabilidad de un mensaje siempre estar en un valor entre cero y uno! La informacin contenida en eventos independientes deber"a sumarse!

I ( x i ) = Log 2 1

P ( x1 )

bits

)i e(iste un mensaje x1, con una probabilidad de ocurrencia P(x1), el contenido de informacin puede e(presarse se #n
3

I ( x i ) tendr como unidad el bit, si empleamos lo aritmos binarios!

5endr como unidad el 67,5LE8, si empleamos lo aritmos decimales! 5endr como unidad el 975, si empleamos lo aritmos naturales! La conversin de unidades podr realizarse de acuerdo a la si uiente e(presin$
Log 2 a = ln a / ln 2 = log a / log 2

1.' Entro()! de un! Fuente de Infor !"#$n% * Es un parmetro que nos permite determinar el contenido promedio de informacin de una fuente o un mensaje en particular! En un proceso de comunicacin, transmitimos usualmente secuencias lar as de s"mbolos, y estamos mas interesados en el contenido promedio de informacin que la fuente produce, que en la informacin contenida en cada s"mbolo! Lue o$

H ( X ) = E [ I ( x i ) ] = P ( x i ) I ( x i ) = P ( x i ) log 2 P ( x i )bit / simbolo

i =1 i =1

1.+ R!t! de Infor !"#$n% )i la fuente emite s"mbolos a una rata r +s"mbolos:se undo%, la rata o velocidad de emisin de informacin de la fuente puede e(presarse como$

R = r * H ......r = rata _ de _ smbolos _ en _ Simbolos / Segundo, H = entropia _ en _ Bit / Smbolo.

.or lo anterior podemos decir que el contenido de informacin de cualquier mensaje es i ual al m"nimo n#mero de di itos que se requieren para codificarlo! La entrop"a es i ual al m"nimo n#mero de di itos por mensaje o s"mbolo, en (ro ed#o, necesarios para codificarlo!

EL CANAL DE COM-NICACIN Es la trayectoria o medio a travs del que fluyen los s"mbolos del ori en al destino! 1n canal discreto sin memor"a, +<-&%, es un modelo estad"stico, con una entrada =, y una salida 8! <urante cada unidad de tiempo, o intervalo de sealizacin, el canal acepta un s"mbolo de entrada de =, y en respuesta enera un s"mbolo de salida de 8! El canal es discreto, cundo los alfabetos =, 8, son finitos! Es >sin memoria? , cuando el s"mbolo de salida corriente, depende solamente del s"mbolo corriente a la entrada, y no de nin #n s"mbolo previo! La fi ura muestra un canal DMC, con m entradas y n salidas! (3 (/ (0

y3 y/

.0 /123# %
(i (m

y0 yj yn

La entrada =, consiste de los s"mbolos de entrada ( 3, (/, (i,!!! (m! )us probabilidades a priori se conocen$ .+( i%! La salida 8, consiste de los s"mbolos y 3, y/, yj,!!!!yn! &ada posible trayectoria de entrada @ salida, se e(presa con una probabilidad condicional .+yi:(j%, donde . +(i:yj% .+ y 3:(3 % .+ y3:(3 %, es la

probabilidad condicional de obtener la salida yj, dada la entrada (i, y es llamada la (ro4!4#5#d!d de tr!ns"#"#$n de5 "!n!5! M!tr#3 de5 C!n!5. 1n canal pude especificarse por el conjunto completo de probabilidades de transcicin! )e enera la matri( B.+8:=%C , conocida como matriz del canal!

.+ y3:(3 % .+ y/:(3 % !!!!!!!!!!!!!!!! .+ yn:(3 % .+ y3:(/ % .+ y/:(/ %!!!! B . + 8:= % C D !!!!!! .+ yn:(/ % .+ y3:(0 % .+ y/:(0 % !!!!!!!!!!!!!!!!! !.+ yn:(0 % .+ y3:(m % .+ y/:(m % !!!!!!!!!!!!!!!! .+ yn:(m %

P( yj / xi ) = 1para todo i
j =1

j =n

)i las probabilidades de entrada se representan por la matr( fila$ B.+=% D B.+( 3% .+(/% !!!!!.+(m% C 2 las probabilidades de salida se representan por la matri( fila$ B.+8% D B.+y3% .+y/% !!!!!.+ym% C lue o$ B.+8%C D B.+=%C E B.+8:=%C!

&apacidad del &anal$

Es un parmetro que nos indica cual es la cantidad m(ima de bits, que un canal puede soportar! 7s" por ejemplo para un canal perturbado por ruido Gaussiano, la capacidad de canal puede calcularse como$
S C = Bw.Log 2 1 + N bit seg

donde se undo!

& D &apacidad m(ima de transporte del canal en bits por

HI D Es el ancho de banda del canal en 6ertz!

S D Es la relacin de potencia de seal a potencia de ruido N

que

soporta el canal!

CODIFICACIN DE LA F-ENTE ! Es el proceso por el cul, la salida de una fuente de informacin, se convierte en una secuencia binaria! El elemento que realiza ste proceso se conoce como >codificador fuente ? +&odec%! 7lternativamente es la accin de asi nar d" itos binarios a secuencias de s"mbolos que conllevan la informacin!

Fuente de Infor !"#$n

Cod#f#"!dor

Fuente s!5#d! 4#n!r#!

. 0s) 4o5os6

1no de los objetivos es el de minimizar la rata promedio de bits, necesarios para la representacin de la informacin, reduciendo la redundancia de la fuente! E(iste una lon itud de cdi o, y una eficiencia de cdi o! La eficiencia de la codificacin

procura en apro(imar la lon itud promedio de las palabras de cdi o +n#mero promedio de d" itos binarios %, a la entrop"a de la fuente! CODIFICACIN DEL CANAL )u propsito$ es el de disear cdi os que permitan una ptima transmisin de informacin di ital sobre el canal! En #ltima instancia permite desarrollar tcnicas eficientes para la deteccin y correccin de errores! La seal puede provenir de un codificador fuente de una fuente binaria directamente!

Fuente de Infor !"#$n

Cod#f#"!dor

de C!n!5

secuencia de bits

secuencia modificada

Fuente de Infor !"#$n

Cod#f#"!dor

Cod#f#"!dor

Fuente

de C!n!5

= +s"mbolos%

salida binaria

secuencia modificada

5EL,E-7$ <ada una fuente discreta, sin memoria, B=C, con una entrop"a 6+(%, y un canal con capacidad &, si 6+=% M : D &, e(iste un esquema de codificacin, para el que la salida de la fuente, pude transmitirse por el canal, con una arbitrariamente pequea probabilidad de error! I ualmente, si 6+(% N &, no es posible la transmisin libre de errores! Es posible el &di o, pero no se nos dice cul es! )i denominamos ) D O s3, s/, !!!sj P al conjunto de s"mbolos de un alfabeto, )2 definimos un cdi o, como la correspondencia de todas las secuencias posibles de s"mbolos de ), a secuencias de s"mbolos de al #n otro alfabeto = D O (3,

(/, !!!!(j P , ) recibe el nombre de alfabeto fuente, y = alfabeto cdi o!

Estos procesos de codificacin, implican la adicin de bits, al paquete ori inal de transmisin +redundancia%2 enerando al oritmos para que le receptor detecte y corrija posibles errores sobre el mismo bloque recibido! 6ay incremento de ancho de banda y de recursos para manipularlos! E(isten bsicamente dos procesos$ &L<IGL) <E HLLQ1E), en los cules entran R s"mbolos al codificador, y salen n s"mbolos! El codificador no pose memoria, n N R! El mensaje binario, o la secuencia de datos se divide en bloques secuenciales, cada uno de R bits de lar o, y cada R @ bits bloque, se convierte en un bloque de n bits, n N R, el bloque resultante es llamado un +n,R% , cdi o bloque! E(isten los cdi os lineales y los c"clicos! 7c estn por ejemplo entre los c"clicos$ &odificacin 6ammin , H&6, ,eed @ )olomon, ,eed @ -iller y Golay! )iempre se asi nan bloques adicionales de una manera fija a las secuencias de entrada! El otro proceso, lo constituyen los &S<IGL) &L9TLL1&IL97LE), que constituyen un proceso de codificacin con memoria! Entran R s"mbolos y salen n s"mbolos2 n s"mbolos de salida se ven afectados por vER s"mbolos de entrada +v ! 3U

U%! 6ay memoria, porque la secuencia de salida depende de un numero definido de entradas previas 7utomatic ,equest +7,Q%, es simple, eficiente en manejo de ancho de banda, y presupone la e(istencia de bidireccionalidad en el canal! +7&V, 97& %! *orIard Error &orrection +*E&%, es #til en canales simples, en canales con altos retardos de transmisin, y permite altas velocidades en la comunicacin! COMPRESIN DE DATOS. Es el arte o ciencia de representar la informacin en forma compacta! )e crean estas, identificando y usando estructuras que e(isten en los datos mismos! Los datos obedecen a cualquier representacin binaria de una seal de informacin! El cdi o -orse es un prototipo de la compresin$ procura reducir el tiempo promedio de transmisin, asi nando palabras de cdi o cortas, a las letras mas frecuentes$ O e D W , a D ! W P! El Hraille, es otro ejemplo de cdi o con compresin! )e puede trabajar a nivel de estructuras estad"sticas como un alfabeto, aprovecha la limitacin de respuesta del receptor$ caso del video! )iempre ser justificable la compresin, pues las necesidades para o

estructuras f"sicas como la voz, donde e(iste un proceso de s"ntesis! En otros se

almacenamiento y transmisin crecen al doble de la disponibilidad de los recursos para los mismos! +Ley de .arRinson%! El proceso presenta una entrada de s"mbolos =, al cul aplicamos un al oritmo espec"fico y obtenemos una secuencia de salida 8 , tal que 8 M =! <ecimos que hay un orden o relacin de compresin n D =:8, nN3!

33

Co (res#$n s#n (7rd#d!s. + Lossless &ompresin%! Implica no prdida de informacin! Los datos ori inales se recuperan e(actamente del modelo comprimido! Es usado para te(tos, datos de computadoras y otros formatos que e(i en inte ridad de la informacin! Los "ndices de compresin son a#n bajos! Ej!$ si env"as$ X <o not send money > , y recibes ><o noI send money >, pude ser fatal! En manejo de cantidades numricas, im enes radiol icas, im enes satelitales! Co (res#$n "on (7rd#d!s. + Lossy &ompresin % $ implica prdidas de

informacin! La informacin compactada eneralmente no puede reproducirse en forma e(acta! )e lo ran altos "ndices de compresin! Ej!$ la voz, el audio, el video, foto raf"as! )e opera con fundamento en medidas de satisfaccin! La informacin anlo a eneralmente admite ste tipo de compresin! El al oritmo de compresin se eval#a se #n$ )u complejidad! La cantidad de memoria requerida para su implementacin! Telocidad de realizacin del proceso! ,elacin de compresin obtenida! &alidad de la seal reconstruida!

El proceso consiste en un paso de modelado, donde se e(trae cualquier relacin e(istente entre los datos a comprimir + eneracin del al oritmo%, y lue o una codificacin espec"fica que satisfa a el al oritmo! Ej! )ecuencia K, 33, 33, 33, 34, 30, 30, 3;, 3F, 3A, 3F, /U, /3 1na codificacin simple e(i e cinco bits por carcter! )i analizamos la estructura podemos definir

3/

 D nYJ ! en D (n W

nD 3, /, 0, !!!!

D K, 3U, 33, 3/, 30, 34 3;, (n D K, 33, 33, 33, 34, 30, 3;, en D U, 3, U, W3, 3, W3, U,

)lo se necesitarn dos bits por carcter, para codificar la nueva secuencia$

UU D U2 U3 a @32

3U a @3!

30