AJRA TTS-22.

1
- Para eliminar errores de transmisin se puede introducir
redundancia, en contraste con el objetivo anterior
- Transmite informacin, no la genera
- Definicin de canal
- Alfabeto de entrada A = { a
1
, a
2
, ..., a
r
)
- Alfabeto de salida B = { b
1
, b
2
, ..., b
s
)
- Probabilidades condicionales P
ij
= P(b
j
fa
i
)
- Representacin matricial
-
Canales de informacin
P
P P P
P P P
s
r r rs
=

11 12 1
1 2
...
...

P
if
f
s
=
=

1
1
AJRA TTS-22.2
Otros conjuntos de probabilidades
- Probabilidades de los simbolos de entrada P(a
i
)
- Probabilidades de los simbolos de salida P(b
j
)
-
- No siempre se puede calcular al contrario
- Ejemplo: Un BSC con p=1f2, da P(b)=1f2, P(a)
- Probabilidades hacia atras P(a{b)
- Son las que interesan
-
- Probabilidad conjunta P(a,b) = P(b{a) P(a) = P(a{b) P(b)
P b P a P a b
A
( ) ( ) ( , ) =

P a b
P b a P a
P b
P b a P a
P b a P a
A
( , )
( , ) ( )
( )
( , ) ( )
( , ) ( )
= =

AJRA TTS-22.3
Ejemplo
- A = B = { 0, 1 )
-
- P(a=0) = 3f+
- P(a=1) = 1f+
- Calculando:
- P(b=0) = 21f+0 P(b=1) = 19f+0
- P(0{0) = 20f21 P(0{1) = 10f19 ...
- P(0,0) = 1f2 ...
- Ejercicio: Calcular el resto de probabilidades
P =

2 3 1 3
1 10 9 10
/ /
/ /
AJRA TTS-22.+
Entropias a priori y a posteriori
- Las probabilidades P(a) (a priori) cambian a P(a{b) al conocer la
salida del canal
- La incertidumbre inicial (Entropia a priori) cambia tambin:
- Ejemplo: Canal simtrico anterior
- H(A) = 0.811 bits
- H(Af0) = 0.276 bits
- H(Af1) = 0.998 bits
H A P a
P a
A
( ) ( ) log
( )
=

1
A priori
H Ab P a b
P a b
A
( , ) ( , ) log
( , )
=

1
A posteriori
AJRA TTS-22.5
Equivocacin de un canal
- Equivocacin de A respecto de B
- !nformacin mutua !(A;B) = H(A) - H(A{B)
-
- !(A;B) 0 [ igualdad para P(a,b) = P(a) P(b) |
- No se pierde informacin por observar la salida de un canal
H A B P b H Ab
B
( , ) ( ) ( , ) =

=

P b P a b
P a b
A B
( ) ( , ) log
( , )
1
=

P a b
P a b
A B
( , ) log
( , )
,
1
I A B P a b
P a b
P a P b
A B
( ; ) ( , ) log
( , )
( ) ( )
,
=

AJRA TTS-22.6
Tipos de canales
- Canal sin ruido: un solo elemento distinto de cero por columna
- P(a{b) es 0 1
- H(A;B) = 0 !(A;B) = H(A)
- El canal no introduce equivocacin
P =

1 2 1 2 0 0 0 0
0 0 3 5 3 10 1 10 0
0 0 0 0 0 1
/ /
/ / /
H A B P b P a b
P a b
A B
( ; ) ( ) ( , ) log
( , )
=

1
AJRA TTS-22.7
- Canal determinante: un solo elemento distinto de cero por fila
P =

1 0 0
1 0 0
0 1 0
0 1 0
0 1 0
0 0 1
I A B H B ( ; ) ( ) =
H A B H A H B ( , ) ( ) ( ) =
AJRA TTS-22.8
Canales en serie
- H(A{C) H(A{B)
- Los canales tienden a perder informacin
- Excepto si P(a{b) = P(a{c)
- Por ejemplo, si el segundo canal es sin ruido
- O en otros casos:
AJRA TTS-22.9
Capacidad de un canal
- !(A;B) = H(A) - H(A{B) depende de P(a), del uso del canal
- El minimo de !(A;B) es 0 y ocurre cuando H(A) = 0
- Capacidad del canal
C I A B
P a
= max ( ; )
( )
AJRA TTS-22.10
Error del canal
- Sea el canal
- cQu simbolo de entrada debe
reconocerse cuando se recibe uno
de salida determinado?
- Regla de decisin d(b)
- Probabilidad de error del canal
- Debe ser d(b) = a
*
, tal que P(a
*
{b) sea maximo
- (Regla de maxima posibilidad condicional)
- Regla de Bayes: maximo de P(b{a
*
) P(a
*
)
- Si se desconoce P(a): regla de maxima posibilidad
P =

05 03 0 2
0 2 05 03
03 03 0 4
. . .
. . .
. . .
P P E b P b P d b b P b
E
B B
= =

( / ) ( ) | ( ( ), )| ( ) 1
AJRA TTS-22.11
Ejemplo
- Sea P(a) = (0.1 0.2 0.7)
- Calculando, P(b) = (0.25 0.33 0.37)
- Regla de decisin correcta:
d(b
1
) = a
3
d(b
2
) = a
3
d(b
3
) = a
3
P =

05 03 0 2
0 2 05 03
03 03 0 4
. . .
. . .
. . .
Salidas
P b a P a ( , ) ( )
. . .
. . .
. . .
=

0 05 0 06 014
0 02 010 0 21
0 03 0 06 028