El texto audiovisual: factores semióticos y traducción

Patrick Zabalbeascoa

Universitat Pompeu Fabra

Un texto multidimensional

Vamos a explorar en este capítulo la naturaleza del texto audiovisual para poder ver con mayor claridad
cuál es la problemática específica de la traducción de este tipo de textos. El típico texto audiovisual se
caracteriza por la presencia simultánea y combinada de dos códigos de signos, el verbal y el no verbal, y
dos canales de comunicación, el acústico y el óptico (audio y visual, desde la perspectiva perceptiva). Dirk
Delabastita (1989: 199), entre otros, nos ofrece un cuadro explicativo (adaptado aquí en la fig. 2) del
resultado de la combinatoria de los canales con los códigos, entendiéndose que a lo largo de un típico
texto audiovisual estarán todos presentes en mayor o menor medida. Podríamos caracterizar los textos
audiovisuales, pues, según la proporción e importancia de los distintos elementos verbales, no verbales,
acústicos y gráficos (signos visuales), y, después, situarlos respecto a otros textos audiovisuales en un
doble eje (fig. 1): el eje vertical, que mide la presencia (valoración cuantitativa) e importancia (valoración
cualitativa) de elementos verbales y no verbales en todo el texto, y el eje horizontal, que ayuda a situar la
importancia relativa (cualitativa) de los elementos acústicos (audio) respecto de los ópticos (visual).

Figura 1

Los dos ejes del texto audiovisual

Dado que el audio y el visual se transmiten por dos canales diferentes no cabe pensar en una
distribución cuantitativa ya que la presencia de unos sonidos no «desplaza» a las imágenes, y si hay
«silencios» no es para dar cabida a unas imágenes (probablemente sea más preciso pensar en los silencios
como otro tipo de sonido, es decir, significativo en un contexto en el que hay todo tipo de sonidos). Aunque
se pudiera pensar que un elemento verbal escrito no tiene por qué desplazar a uno oral sí que cambia la
proporción final, la cantidad relativa. En la intersección central de estos dos ejes (fig. 1) se encontraría un
texto audiovisual en el que los elementos del audio y del visual tienen exactamente la misma importancia
comunicativa y en el que los signos verbales y no verbales están repartidos en un 50% tanto cualitativa
como cuantitativamente. Lo que queremos plantear aquí es que no todos los textos audiovisuales están
tan equilibrados -cualitativa y cuantitativamente- en cuanto a la explotación de los canales y códigos, y si
estamos en lo cierto, ello supondría una distribución de los textos audiovisuales por toda la zona marcada
por estos dos ejes, o en el mismo sentido, la posibilidad de dibujar una parrilla (cuadro 3b, que sintetiza
las figuras 1-7 y el cuadro 3a) de distribución o clasificación, entendiéndose que en ningún momento se
trata de compartimentos estancos sino de ilustración de tendencias.

Todos los distintos elementos susceptibles de aparecer en un texto audiovisual se pueden

distribuir en las cuatro celdas del cuadro de la figura 2, pero conviene recordar que muchos textos
audiovisuales sólo requieren la presencia de dos o tres tipos de signos y no los cuatro, y que si sólo son
dos, uno deberá ser audio y el otro visual. En la figura 3 se ve cómo se podrían utilizar los parámetros
audio, visual, verbal y no verbal, ya no para distribuir a los posibles elementos del texto audiovisual sino
para clasificar a otros tipos de textos que sólo manifiestan un tipo de signo (al menos de manera
predominante).

Figura 2

Los cuatro tipos de signo del texto audiovisual

Figura 3

Cuatro tipos de texto según canal y código

 Figura 4

Texto visual «estático»

Texto visual «estático» y texto visual «dinámico»

Dentro del parámetro «sólo visual» (fig. 3) parece interesante distinguir entre textos que podríamos llamar
«estáticos» (fig. 4) ya que están totalmente inmóviles y permiten que el lector progrese a la velocidad de
lectura que más le convenga de forma lineal, a diferencia de otros textos, que llamaremos «dinámicos»,
dado que obligan a una velocidad de lectura igual para todos los lectores porque las letras se mueven o
aparecen y desaparecen, en el caso de que sean «dinámicos en el tiempo». Un texto se podría considerar
«dinámico en el espacio» si el lector puede o debe mover, cambiar o esconder letras u otros elementos
textuales; algunos ejemplos aparecen en figura 4 y figura 5.

En la figura 6 se ilustran ejemplos de textos que no son audiovisuales porque se considera

inexistente o de mínima importancia el componente visual.

Figura 5

Texto visual «dinámico»

 Figura 6

Sólo canal acústico

Tipos de cine y televisión según la importancia de lo audio y lo verbal

Quizás valga la pena resaltar que el cine que no utiliza el canal acústico para nada no pertenece
estrictamente a la categoría audiovisual; sería, sin embargo el mejor ejemplo de texto visual «dinámico».
Es muy poco frecuente este tipo de texto de «cine mudo total» si admitimos que muchas películas eran
mudas porque no se disponía de la tecnología de la banda sonora, pero que su proyección siempre iba
acompañada de un «explicador» y a veces un músico. Incluso el cine de producción doméstica, que
empezó con una ausencia total de sonido, ha evolucionado tanto que los más aficionados pueden
incorporar todo tipo de efectos visuales y sonoros. El cine mudo «no verbal» es el que no tiene intertítulos
ni subtítulos, es decir, está totalmente ausente el signo visual verbal además del audio verbal. Más
frecuente hoy en día es un tipo de texto fílmico en el que prima su valor «fotográfico», las imágenes, muy
por encima de los otros elementos audiovisuales (fig. 2). Es el equivalente «dinámico» al fotorreportaje o
incluso a la fotografía «pura»; hay que recordar que el cine es una sucesión de fotogramas. Ejemplos de
este fenómeno posiblemente sean más frecuentes en la televisión que en el cine. A menudo se trata de
cortometrajes o programas breves: se incluirían algunos tipos de documentales sobre la naturaleza, la
publicidad audiovisual no verbal, y programas de imágenes impactantes o curiosas (fig. 7).

Dentro de lo que es el cine hablado se puede detectar una escala de más a menos verbales según
el valor cuantitativo y cualitativo de las palabras. Desde este punto de vista, el cine de acción y el de efectos
especiales está bastante separado del cine «de guionista» en el que prima mucho más la dimensión verbal.
Un género como la comedia se puede subdividir en comedia de humor verbal, comedia de humor no
verbal, y la que requiere la combinación de dos tipos de código.
 Figura 7

Géneros de TV según proporción verbal / no verbal

Los elementos no verbales son icónicos en tanto que «significan» o son «significativos», pero es posible
que algunos elementos visuales sean un simple soporte contextual y no sean muy significativos. El código
no verbal acústico (música, etc.) también puede «significar» aunque sea de manera simbólica o alusiva. El
término «icónico-verbal» es una propuesta del prestigioso estudioso de la traducción audiovisual, Frederic
Chaume47 (2000), y a su tesis doctoral debo gran parte de la reflexión que hago aquí.

El factor paralingüístico: entre lo verbal y lo no verbal

En este estudio utilizamos el término verbal para referirnos a las palabras de un texto y a la gramática que
las ordena para que formen una comunicación lingüística reconocible. Sin embargo, no es posible la
transmisión de las palabras «en estado puro»: requieren de una vehiculación en soporte físico, sea
fonético o grafémico. Por lo tanto, no se puede pensar en modos de comunicación verbal sin elementos
paralingüísticos, tanto en la transmisión verbal escrita como en la oral y audiovisual. El problema estriba
en que los gestos de todo tipo y otros componentes paralingüísticos también pueden tener un valor
semiótico no lingüístico. Un ejemplo puede ser el del volumen de voz. Para poder hablar se necesita
alcanzar un mínimo de volumen: a partir de ese mínimo se pueden acompañar diferentes palabras de
diferentes volúmenes para modular su sentido. Pero también se puede chillar como un animal (tanto si se
tiene capacidad de habla como si no, siempre que se tenga voz) sin decir nada, al menos desde el punto
de vista lingüístico y verbal, y, por ejemplo, modular el volumen y el tono en función del sentido que se
quiera transmitir. El color nos puede servir de ejemplo para la comunicación visual. Popularmente se
puede usar la expresión «poner negro sobre blanco» para referirse a la acción de poner algo por escrito.
Pero también se puede escribir poniendo blanco sobre negro o recurrir a otro par de colores o incluso toda
una gama cromática. A veces, los colores pueden cumplir una función paralingüística, pero también
pueden ser simbólicos o semióticos en un sentido no lingüístico. Los logotipos son un ejemplo de
explotación paralingüística del color y de otros parámetros de las letras (tamaño, tipo, etc.) y las artes
gráficas cruzan muchas veces la frontera entre lo paralingüístico y lo puramente icónico. El azul
característico de IBM es parte de su logotipo y es el color de la compañía (p.e. Coca-cola se reconoce por
escribirse con blanco sobre rojo y con un tipo de letra muy característico; muy representativo es el caso
de su versión para el público árabe). Sin embargo, el azul se usa a menudo para otro caso totalmente
distinto: el de los hipertextos, para indicar que se puede «clicar» sobre el azul para trasladarse a otra parte
del hipertexto, pero a diferencia del caso de IBM, por ejemplo, no es paralingüístico porque no sirve para
la interpretación del signo lingüístico donde se halla: no se interpreta una palabra de manera diferente
por ir o dejar de ir resaltado en azul (aunque esto podría ser el caso en otras circunstancias). Los elementos
paralingüísticos siempre acompañan cualquier comunicación verbal, igual que los factores contextuales y
situacionales. Esto nos impide utilizar el término «verbal» en un sentido que excluyera de manera tajante
todo el necesario soporte paralingüístico, así que los ejemplos de la figura 8, conversación telefónica
tradicional y leyes escritas, así como todos los ejemplos de la columna D del cuadro 3b intentan mostrar
tipos de comunicación en los que la proporción cuantitativa y la importancia cualitativa de las palabras son
muchísimo más altas que en todos los demás casos. En cambio, para el mismo ejemplo de la comunicación
telefónica tradicional está mucho más claro que estamos ante una comunicación 100% audio y 0% visual
(aunque esta circunstancia no reprime la natural tendencia a gesticular con las manos y la cara). A
continuación (cuadro 1) aparecen ejemplos de elementos paralingüísticos orales y escritos. Todos son de
gran importancia para la traducción audiovisual. Quiero destacar que el uso semiótico del color tanto del
fondo como de las letras tiene algún paralelismo interesante con las diferencias entre el cine en blanco y
negro con respecto al cine en color. Uno es la necesidad de saber -para la interpretación o el análisis
semiótico- si la utilización del blanco y negro responde una determinada intencionalidad o función
comunicativa, o si por el contrario, se debe exclusivamente a una limitación técnica, histórica o económica
(Carmona, 1996; Chaume, 2000).

Cuadro 1

Elementos paralingüísticos orales y escritos

Elementos paralingüísticos
Orales Escritos
Entonación, ritmo Tipos de letra
Velocidad de habla Tamaños de letra
Tipo de voz Colores de letra y fondo
Volumen de voz Variedad de formas
Pausas, anacolutos Disposición del texto
Acento Puntuación
El cuadro 2 se presenta a modo de resumen esquemático de los elementos textuales de valor comunicativo
y semiótico.

Cuadro 2

Elementos textuales de valor comunicativo y semiótico

• Verbales, lingüísticos y paralingüísticos (las palabras y las formas de su vehiculación).

• Estilísticos, discursivos, retóricos (las palabras y su valor discursivo y estético).

• No verbales visuales (icónicos o contextuales)

• No verbales por el canal acústico: orales (toser, reír, chillar, imitar sonidos naturales o industriales) y no
orales (sonidos musicales o de otro tipo, p.e. truenos, chapoteos).

La noción de «separabilidad»: combinaciones y ejemplos

Con la noción de «separabilidad» queremos incidir en la observación de que los distintos tipos de signo
(verbal y no verbal) dentro de un texto audiovisual tienen formas muy diversas de combinación e
interrelación. Admitimos que el texto audiovisual prototípico es el que emplea todos sus signos de tal
manera que forman un entramado que es el que da coherencia al texto, y se hace imposible, desde este
punto de vista, analizar ningún elemento separado de los demás componentes textuales. Por eso decimos,
por ejemplo, que es una temeridad traducir una película (su componente verbal) sin tener acceso a una
copia en vídeo. Sin embargo, ahora nos interesa otro tipo de reflexión: la que constata que hay casos en
los que uno «se puede llevar a casa» sólo el canal acústico, o parte de él, y seguir teniendo algo de valor
textual (piénsese, por ejemplo, en la venta de bandas sonoras de películas o de programas de televisión),
aunque inevitablemente no será el mismo texto que cuando iba acompañado de otros signos. Podemos
especular sobre la posibilidad de que la separabilidad se dé en el plano de los códigos, el verbal separable
del no verbal, en el plano de los canales, audio separable del visual; y cualquier combinación de factores
de ambos planos, como se indica en el cuadro 3a (lo cual explica la presencia de la separabilidad en ambos
ejes del cuadro 3b), para el cual la numeración 1-4 corresponde a las celdas 2B, 2D, 1B, y 2A
respectivamente del cuadro 3b.

Es muy importante resaltar que los elementos -componentes- de un texto no tienen una vida
autónoma «a priori», ni durante la realización del producto audiovisual, ni durante su proyección, de ahí
el término «separable», queriendo decir con ello que se podría separar una dimensión del texto que en
principio está integrado en ella. Pensemos, por ejemplo, en los componentes de un automóvil, algunos de
los cuales son extraibles, separables, y otros no, pero en cualquier caso, todos fueron diseñados y
concebidos para funcionar en el vehículo. Hay casos en los que el vehículo puede seguir funcionando sin
algunos componentes (quizás con menores prestaciones) aunque ello no nos dice si esos componentes
pueden o no pueden funcionar fuera del automóvil (p.e. sistema de música, aire acondicionado,
ventanillas, espejos retrovisores, airbags, etc.), que es una cuestión que se ha de mirar por separado.

Cuadro 3a

Algunas combinaciones de separabilidad

- Audio verbal separable de visual no verbal (hablado separable de imágenes no verbales), p.e.
narración documental biográfico TV de imágenes «ilustrativas».
- Audio verbal de visual verbal (hablado de escrito), p.e. locutor TV de títulos TV, especialmente en el
caso de la redundancia entre una cosa.
- Audio verbal de audio no verbal (hablado/cantado de música) p.e. la melodía de un himno nacional
de su letra.
- Audio no verbal de visual no verbal (música de imágenes no verbales), p.e. música en cine de dibujos
animados.

Cuando me refiero a «separable», por lo tanto, me refiero a la posibilidad de que al menos una de las
partes resultantes de la separación pueda funcionar de manera autónoma, o en otro medio, aunque será
frecuente el caso en el que la otra parte se caracterice por ser un texto (si puede seguir llamándose así)
«mutilado» o incompleto. Esto nos lleva a la siguiente conclusión sobre las relaciones posibles entre los
distintos elementos que componen un texto: existen varias relaciones diferentes que pueden establecerse
entre los signos de diferentes canales y códigos. Presento a continuación una breve lista de relaciones,
ampliable sin duda: Complementariedad, Redundancia, Contradicción, Incoherencia, Separabilidad. Si dos
elementos (o dos planos enteros) son muy complementarios será muy difícil separarlos y que una o las
dos partes siga transmitiendo el mismo mensaje. Es previsible que, en ocasiones, ninguna de las dos partes
resultantes pueda funcionar autónomamente. La «contradicción» es una relación que se puede explotar
para conseguir un efecto cómico, como en el caso de mezclar imágenes de personajes masculinos con
voces femeninas, etc. Por el contrario, reservamos la relación de «incoherencia» para resultados poco
afortunados en la realización original de un producto audiovisual o en su traducción, adaptación, doblaje,
subtitulado, etc. En el fondo, la «contradicción» tal como la hemos presentado (en un sentido funcional e
intencionado) da lugar a una «complementariedad» de otro tipo. Un ejemplo de un texto que combina
signos audio verbales con signos visuales no verbales sería un tipo de noticiario televisivo bastante
frecuente hoy en día, con un alto grado de «redundancia» entre imagen y palabra. Cabría preguntarse si
en determinados tipos de cine la «redundancia» entre imagen y palabra no es hasta cierto punto criticable
desde un punto de vista de dominio de la dirección cinematográfica, aunque, desde el punto de vista de
la traducción, facilita mucho la tarea del traductor. El Karaoke (véase cuadro 3b) es un ejemplo de signos
visuales verbales (escrito, visual dinámico) complementados (no redundantes) con signos, musicales,
audio no verbales e ilustrados con imágenes no verbales fácilmente «superables». La retransmisión de un
evento deportivo, por ejemplo un partido de fútbol, como texto audiovisual tiene los dos elementos
separables: se puede mirar el partido sin oír los comentarios y se puede oírlo por la radio sin posibilidad
de ver la acción, pero no siempre se puede separar (y disfrutar de) los comentarios orales de la televisión
si el locutor es realmente sensible al medio televisivo y ofrece un comentario o narración más
complementario a las imágenes, es decir menos redundante, menos «radiofónico». Es curioso constatar
que hay televidentes que apoyan las imágenes televisivas en comentaristas de la radio y que éstos han
adaptado sus comentarios hasta ser menos separables de las imágenes de televisión (sin contar que a
menudo los locutores radiofónicos dependen totalmente de las imágenes televisadas para su narración
verbal).

Conclusiones para la traducción

El código verbal del canal acústico no siempre está «subordinado» a la imagen, sobre todo si es muy
«separable» de ella, cuando, más que «dominarlo», la imagen «acompaña» (ilustra) al componente verbal
del texto. Lo necesario es conocer la importancia relativa del código verbal respecto del no verbal y el tipo
de relación que se establece en cada momento y en el conjunto del texto audiovisual. Por otro lado, hay
que tener en cuenta casos como las retransmisiones deportivas de EUROSPORT, que emiten
comunicaciones verbales muy diferentes en lenguas también diferentes aunque todos comparten las
mismas imágenes (el desarrollo de cada competición). Este caso y el de las parodias (p.e. los doblajes del
programa televisivo El Informal) ilustran cómo las palabras que hay que encajar en algunos doblajes (con
traducción o con pura «invención») efectivamente están subordinadas -aunque sería más preciso hablar
de complementadas, siguiendo la terminología que aquí proponemos- a las imágenes, pero no tanto a las
palabras (el componente verbal) del texto de partida, de la grabación original. Esto nos lleva a pensar que
a veces, la traducción audiovisual puede llegar a ser más satisfactoria en algunos casos si el traductor / la
traductora se «separa» del componente verbal original e intenta crear elementos verbales en la lengua de
llegada complementarios con las imágenes originales; en cualquier caso el resultante siempre será un
nuevo texto por mucho que se mantengan inamovibles los elementos visuales del texto de partida.

El ejemplo que se presenta más arriba, sobre la utilización del azul y su interpretación, es muy
importante para la traducción, porque no es lo mismo que el signo semiótico sea una combinación
conjunta de un color con unas letras (IBM, Coca-cola) o que dos signos semióticos de orden muy diferente
se hayan superpuesto en un mismo segmento del texto (el caso del azul del hipertexto); es decir, son
perfectamente «separables» en su interpretación. En el primer caso, un cambio de color en la traducción
puede dificultar la identificación del referente, pero en el segundo puede ser un inofensivo cambio de
convención.

Una complicación añadida es la existencia de elementos icónicos, aparentemente no verbales,

pero que en realidad sólo se pueden comprender con un conocimiento lingüístico suficiente para su
interpretación. Es el caso de la traducción de muchas escenas del típico mimo de Harpo Marx cuando
utiliza este medio de expresión para representar una palabra o un mensaje sílaba por sílaba (a diferencia
del sentido que le he dado a mimo en el resto del capítulo pensado para un mimo más conceptual y
simbólico). Otro ejemplo se puede encontrar en la representación gráfica de un cuadrado para acabar el
modismo metafórico «Don't be (square)», (no seas antiguo), con predicado nominal elíptico en el código
verbal (y complementado con el dibujo), en la película Pulp Fiction. Este fenómeno está mucho más
extendido en los dibujos animados, dadas las posibilidades del medio (Aladdin, por ejemplo, está lleno de
transformaciones del genio para representar giros idiomáticos de manera icónica). En La Máscara, el
protagonista se congela literalmente ante nuestros ojos (con estalactitas incluidas) para cumplir con la
orden de «Freeze!» (alto) que le da la policía. Por otra parte, el público que asiste a los partidos de fútbol
americano a menudo muestra carteles mostrando una D junto a una valla para animar a su equipo a jugar
más fuerte en defensa (D+valla, D+fence = defense).