Probabilidad, Variables Aleatorias y Ruido

Sistemas de comunicaciones

Daniel Jaramillo Ramírez, Ph.D.

d-jaramillo@javeriana.edu.co
Contexto
El proceso de las comunicaciones, de forma abstracta, puede verse como una “guerra” entre la
información y el ruido.

La información y el ruido en sistemas de comunicaciones son ambas señales aleatorias:

- Si la información no fuera aleatoria, el receptor podría predecirla y no habría que comunicarla.
- Si el ruido (omnipresente en cualquier sistema de comunicaciones) fuera predecible, lo
predeciríamos y luego lo eliminaríamos.

No obstante su naturaleza aleatoria, estas señales tienen propiedades que pueden ser medidas y
analizadas.

A continuación veremos un repaso (o el “debut”) de algunas herramientas matemáticas de vital

importancia para el análisis de sistemas de comunicaciones.

2
Probabilidad
• Podemos discutir filosóficamente la naturaleza causal/aleatoria de las cosas…

• Podemos interpretar intuitivamente la probabilidad:

– Asociar un número (acotado tácitamente en una escala) a un evento cualquiera. Ej: “Apuesto que va a llover”, puede
decirse también “Hay una probabilidad de lluvia del 80%”.

• Podemos intentar medir la probabilidad con la frecuencia de ocurrencia de un evento. El evento

A ocurre nA veces en un total de n intentos. Luego la frecuencia relativa (relacionada con la
probabilidad) es:

• Si pudiéramos hacer infinitos experimentos, podríamos definir la probabilidad del evento A

como:

3
Axiomas de Probabilidad
• Podemos entonces hacer una definición formal de un Sistema de Probabilidad:

Un sistema de probabilidad se compone de:

1. Un espacio muestral S, compuesto por eventos elementales (resultados).
2. Un tipo de eventos ε que sean subconjuntos de S.
3. Una medida de probabilidad P[A] asignada a un evento A, con las siguientes propiedades:

I. P[S] = 1
II. 0 ≤ P[A] ≤ 1
III. Si A ⋃ B es la unión de dos eventos mutuamente excluyentes, luego P[A ⋃ B] = P[A] + P[B]

4
Probabilidad: ejemplos…

• Se lanza una moneda dos veces, ¿cuál sería el espacio muestral?

S = {CC, CS, SC, SS}

• El subconjunto del evento de que la moneda caiga por el mismo lado las dos veces sería:
εx = {CC, SS}

• El lanzamiento de un dado tiene el espacio muestral:

S = {1, … 6}

5
Probabilidad Condicional
• Supongamos que tenemos dos experimentos (variables aleatorias) X y Y que no son
independientes.
• La probabilidad de una, depende de la ocurrencia de la otra. Ejemplo, dos dados.

• Definimos la probabilidad condicional de Y dado X como:

Probabilidad conjunta
Ejercicio: Demuestre que

*Bayes

Si decimos que X y Y son estadísticamente independientes. Es decir, saber algo

sobre una variable, no nos ayuda en nada para conocer la otra.

6
Probabilidad: ejercicios…
• Un experimento consiste en sacar una bola de una urna que contiene 4 bolas rojas numeradas 1,
2, 3, 4 y tres bolas negras numeradas 1, 2, 3. Se definen los siguientes eventos:
– E1: El número en la bola es par.
– E2: El color de la bola es rojo y su número es mayor a 1.
– E3: El número en la bola es menor a 3.
– E 4: E 1⋃ E 3.
– E5: E1⋃ (E2⋂E3).

• Encontrar:
1. P(E2)
2. ¿Cuál es la probabilidad de que el número sea menor a 3 dado que el color de la bola es rojo y su número mayor a
uno?
3. P(E2|E4⋂E3)
4. ¿Son E3 y E5 independientes?

7
Ejemplo BSC
Ejercicio: Canal* Binario Simétrico
¿Cuál es el canal de comunicaciones más sencillo
que podemos describir matemáticamente?
• Es un canal discreto, sin memoria, pero con ruido.

• Conocemos sus probabilidades a priori. Diagrama de probabilidad

de transiciones

• Conocemos su probabilidad condicional de error.

Variable aleatoria Variable aleatoria

Símbolo recibido Símbolo transmitido

• Ejercicio: Calcular sus probabilidades a posteriori.

E.g. ¿cuál es la probabilidad de error si se recibe un 0?

8
Juego de dados
El Chevalier de Méré...

... de Méré calculó la probabilidad de obtener un seis en 4 lanzamientos como 4/6 = 2/3.
Entonces vamos a jugar a los dados...

Luego de hacer mucho dinero, la gente se cansó de su juego, y de Méré quiso atraer más jugadores con otra apuesta:
lanzando dos dados.
Adivinen qué calculó de Méré:
La probabilidad de obtener un doble seis en 24 lanzamientos de dos dados como 24/36 = 2/3.
Entonces vamos otra vez a jugar a los dados...

Ejercicio:
¿Cuál es el mejor juego que pudo haber propuesto de Méré para atraer jugadores con dos dados?

... se dice que la consulta que de Méré formuló a Pascal, resuelta entre Pascal y Fermat, dio origen a la Teoría de
Probabilidad!
9
Variable Aleatoria
• A veces los eventos de un espacio muestral no son aptos para ser tratados matemáticamente.
Por ejemplo, los eventos {1… 6} son mucho más aptos que los eventos “cara” o “sello”.

• Cuando a un experimento aleatorio le asignamos un número, este proceso se conoce como

variable aleatoria.

11
Variable Aleatoria
• Hagamos un ejercicio: La estatura como variable aleatoria

Un histograma, es una aproximación gráfica a la

distribución probabilística de unos datos.
12
Variable Aleatoria
Las variables aleatorias pueden ser continuas o discretas según los valores que puedan tomar.
Ejemplos: El voltaje del ruido, los símbolos de una modulación BPSK.
Las variables aleatorias se representan según funciones de distribución:
 Función de densidad de probabilidad (pdf, Propiedades:
puede ser pmf para variables discretas)
fX(x) = P[X = x]
𝑏
P[a ≤ X ≤ b] = ‫ 𝑎׬‬fX(x) dx

 Función de distribución acumulativa (CDF, en

Haykin: PDF)
FX(x) = P[X ≤ x]

Estas distribuciones se relacionan como

13
Distribuciones importantes
- Distribución de Bernoulli: Variable que puede tomar dos valores: Éxito con probabilidad p y fracaso
... con qué probabilidad? ____________.
Ejercicio: ¿Qué distribución de probabilidad nos sirve para representar una variable de Bernoulli?

- Distribución Uniforme: Una variable que toma igual valor probabilidad en cualquiera de sus infinitos
resultados.
Ejercicio: Dibuje la pdf y la CDF de:

- Distribución Binomial: El número de éxitos que resultan en varios intentos.

Ejercicio: Obtener la pmf de variable binomial.

Tarea: Dibujar la pmf y la CDF.

- Distribución Gaussiana*:
14
Variable Aleatoria
• Algunos ejemplos donde las V.A. que son (muy) útiles:

- Si voy a vender camisetas...

¿Cuántas hago de cada talla?
- Si voy a investigar una vacuna para una enfermedad...
- Si voy invertir dinero en acciones...
- Si voy a medir el tiempo de vida de un lote de productos...
- Si voy a controlar los semáforos...
- Si voy construir una autopista...

- Si voy a transmitir información digital...

¿Cuál es la distribución de la señal transmitida y la distribución de la señal recibida?

15
Esperanza y Momentos
Las distribuciones describen completamente una variable aleatoria. Para simplificar dicha descripción
tomamos los momentos de la distribución:

En particular, los más útiles, son los primeros momentos: la media y la varianza.

Media:
(o valor esperado) Estimador

Varianza:
Estimador

Ejercicio: Calcular la media y la varianza de una v.a. tipo Bernoulli

16
Covarianza
Otra medida importante es la covarianza: Qué tanto varía una variable respecto a otra.

• La covarianza de variables independientes es cero.

• Pero cero covarianza, no implica independencia!*

Ejercicio: Demuestre que

17
Variable aleatoria Gaussiana
Una variable aleatoria Gaussiana o Normal, es una de las más encontradas en la naturaleza diferentes
fenómenos y se caracteriza por la distribución de densidad (pdf):
Media

Varianza

Propiedades (diferentes de otras distribuciones):

- Al sumarle una constante a una variable Gaussiana obtenemos otra Gaussiana con la media corrida por la
constante.

- Al multiplicar una constante a una Guassiana obtenemos con la media multiplicada por la constante y la
varianza multiplicada por la constante^2.

- La suma ponderada de N variables Guassianas es también Gaussiana.

- Si dos variables Gaussianas tienen covarianza = 0, luego son independientes. * Ver diapositiva anterior.

18
Variable aleatoria Gaussiana
Función acumulativa (CDF) normalizada (N(0,1), media = 0, varianza = 1):

No tiene forma cerrada

Y está relacionada con la llamada función de error erf(x) o función Q, Q(x).

19
Variable aleatoria Gaussiana
Ejemplo: Y = A + N, con N un ruido Gaussiano.
¿Cuál es la probabilidad de error?

0 A

Demostrar:
Error tipo I
Ayuda

22
Procesos aleatorios (estocásticos)
Ahora vamos a combinar el concepto de variable aleatoria con el concepto de función en el tiempo*.

De un espacio muestral, ahora cada muestra entregará una función del tiempo.

t para tiempo y s para muestra.

A cada muestra la llamaremos realización y usaremos la notación:

Si fijamos la observación del proceso aleatorio a un instante de tiempo obtenemos una variable aleatoria:

El conjunto de todos los posibles variables aleatorias en función del tiempo

lo llamaremos entonces un proceso aleatorio y usaremos por simplicidad la notación:

(con mayúscula)

*En realidad puede ser función de cualquier variable, pero se usa casi siempre el tiempo.

25
Procesos aleatorios (estocásticos)
Gráficamente
Variable Proceso
aleatoria aleatorio

Entonces: Un proceso aleatorio es un conjunto de funciones asociadas a un espacio muestral S, en donde:

• Para una observación fija del experimento, se tiene una función del tiempo.
• Para un valor fijo de t, se tiene una v.a. del espacio muestral S.
• Para una observación fija del experimento y un valor fijo de t, se tiene un valor.
26
Procesos aleatorios (estocásticos)
Ejemplos:

• Supongan que se desea determinar el comportamiento de la temperatura de una ciudad en el transcurso

del día y para ello se hacen mediciones durante 10 días entre las 8 am y las 8pm. Se tendrá un proceso
aleatorio que nos entregará información sobre el comportamiento de la temperatura en ese intervalo de
tiempo y variables aleatorias para cada instante de tiempo.

• El mismo ejemplo anterior puede ser modificado con la diferencia que ahora no se tendrán las mediciones
durante 10 días sino que se hará la medición simultánea, con 10 termómetros idénticos, de la temperatura
en un solo día. En este caso podría verse como un estudio del comportamiento de los termómetros, más
que de la temperatura misma.

27
Procesos aleatorios (estocásticos)
Autocorrelación

Si antes definimos la covarianza entre dos variables aleatorias, entonces podemos calcular
Autocorrelación

como la covarianza entre dos variables aleatorias del mismo proceso estocástico.
Esta expresión la llamamos: autocorrelación del proceso en los instantes t1 y t2.

Definimos entonces la forma general de la autocorrelación como:

t y s dos instantes de tiempo

Y decimos que si un proceso estocásticos tiene:

• Una media que no cambia en el tiempo; para todo t.
• Una autocorrelación que solo depende de la diferencia de tiempo;

Luego es un proceso estacionario en sentido amplio; como lo son los procesos estocásticos analizados en este
curso.
28
Procesos aleatorios (estocásticos)
Un ejemplo de un proceso estocástico Gaussiano (?) para el instante t = Fecha de examen 1.

Histograma de las notas del examen

Espero que este proceso no sea estacionario en ningún sentido y su media se corra notablemente a la
derecha de la gráfica….

29
Procesos aleatorios (estocásticos)
Autocorrelación y PSD
Algunas propiedades
Proceso E. que
varía lentamente
Proceso E. que
varía rápidamente

De la misma manera que vimos la autocorrelación para señales (presentación 3), esta nos sirve para analizar el
comportamiento espectral de los procesos estocásticos a través de la densidad espectral de potencia,
nuestra querida PSD! Algunas propiedades

30
Ruido en sistemas de comunicaciones
El ruido en sistemas de comunicaciones se refiere a todas las señales eléctricas indeseadas que esconden la
señal deseada o dificultan su recuperación.

El ruido puede ser generado por el hombre: como picos de corriente de inicio, “transientes” de
interruptores, inducción de señales electromagnéticas… o por fuentes naturales: efectos atmosféricos, el sol
u otras fuentes externas.

Un buen diseño de un sistema de comunicaciones puede eliminar casi por completo todos los efectos de los
ruidos mencionados por medio de filtros, apantallamiento, selección de una buena modulación etc, no
obstante, hay un ruido de fuente natural que nunca puede ser eliminado: el ruido térmico.

El ruido térmico es el producido por el movimiento de los electrones en cualquier elemento eléctrico (cables,
resistencias etc.). Los mismos electrones que producen la corriente eléctrica de las señales de comunicaciones,
son los responsables de ese ruido.

31
Ruido en sistemas de comunicaciones
La buena noticia es que el ruido térmico podemos modelarlo como un proceso estocástico Gaussiano de
media cero!
t
t

Además, su principal característica es que su PSD es constante en todas las frecuencias de interés en
comunicaciones (desde 0 hasta 1012 Hz) por lo tanto, se conoce como Ruido blanco y es fácil de modelar
matemáticamente como:

Donde el factor 1/2 se incluye para asociar la mitad de la potencia a las frecuencias negativas y la otra mitad a
las frecuencias positivas.

PSD Autocorrelación
32
Ruido en sistemas de comunicaciones
¿Cómo podemos interpretar la función de autocorrelación?
QUIZ
Rta:/ El valor del ruido no tiene correlación en dos instantes de tiempo diferentes, y como son v.a. Gaussianas,
eso implica independencia.

Este modelo de ruido compone el modelo más importante de un canal de comunicaciones (la piedra
fundamental de teoría de comunicaciones), se conoce como el canal AWGN, al canal cuya respuesta Y = X + W,
donde W es un ruido AWGN:

Additive: Porque se suma

White: Porque como la luz blanca, tiene componentes en todas las frecuencias.
Gaussian: Porque su distribución probabilística es Gaussiana.
Noise…

Y está caracterizado por un solo valor: como tiene media cero, su varianza lo determina completamente.

Se puede demostrar que σ2 = N0/2.

33
BER Bit Error Ratio
Ahora que conocemos la forma básica del ruido en los canales de comunicaciones, necesitamos una medida del
desempeño de las diferentes técnicas de transmisión/recepción.

Definimos la proporción promedio de errores de bit como

donde N es el total de bits transmitidos y n es el total de errores.

Las diferentes aplicaciones que carga un sistema requieren diferentes tasas de error. Veamos algunos ejemplos:
• Para voz codificada se requiere 10-2 > BER > 10-3.
• Para datos en canales inalámbricos 10-5 > BER > 10-6.
• Para transmisión de vídeo 10-7 > BER > 10-12, dependiendo de la calidad.
• Para datos financieros BER < 10-11.

La variable que se usa en modulaciones digitales para observar el comportamiento del BER es:

Que está estrechamente relacionada con la relación señal a ruido SNR.

Energía de un bit
Densidad espectral del ruido

35
Probabilidad de error
Ahora vamos a retomar el ejemplo anterior, en el que transmitimos un símbolo en un canal con ruido
Gaussiano.

El ejemplo completo podemos llamarlo propiamente: Probabilidad de error de B-ASK (PAM binaria) en un
canal AWGN.
Solo dos posibles hipótesis sobre el bit transmitido

Luego, la probabilidad condicional de error usando Bayes queda

36
Probabilidad de error
Probabilidad de error de PAM binaria en un canal AWGN

Luego, la probabilidad condicional de error usando Bayes queda

Si ambos símbolos son equiprobables entonces tenemos:

Si el umbral de decisión es ,
la probabilidad de error es minimizada y es igual a

Prob. de error promedio para

BASK (2-PAM) en canal AWGN

37
Probabilidad de error
Probabilidad de error de PAM binaria (o B-ASK) en un canal AWGN
¿Cómo podemos convertir en una función de Eb/N0?
1) La varianza del ruido en un tiempo de símbolo es*
2) La energía del símbolo transmitido es
3) Mientras que la energía del bit Eb y la amplitud de la señal A están relacionadas de la siguiente manera:

Señal modulada 2-PAM on-off

Luego:
BASK

Ahora, si cambiamos [0, A] por [-A/2, A/2],

tendremos y por ende

BPSK
* Demostración completa en Haykin 10.2 ¿Cuál es mejor?
Probabilidad de error
De la misma manera podemos demostrar los siguientes resultados:

En términos de energía por bit, QPSK tiene el

mismo desempeño que BPSK pero enviando el
doble de bits! (doble de energía también)

Se aumenta el número de bits por

símbolo (β) pero se requiere mucha
más energía por bit (ρ) para
obtener la misma Prob. de error.
BER Bit Error Ratio
Comparación

40
BER Bit Error Ratio
Una última observación importante:
En las modulaciones M arias, la probabilidad de error de símbolo no es exactamente la tasa de errores
BER, pues en cada símbolo hay varios bits.

Hay una forma óptima para hacer que cada error de símbolo equivalga solo a un error de bit y no a varios bits:
poniendo los símbolos vecinos a que difieran en solo un bit.
Así, solo en el caso muy improbable de un canal con mucho ruido, si el receptor no detecta un símbolo vecino,
un error de símbolo traerá varios errores de bit.

Esto se llama codificación gray de los símbolos de una modulación.

41