ALED 6, Santiago, Chile, septiembre de 2005, p.

¿A QUÉ LE LLAMAMOS DISCURSO EN UNA PERSPECTIVA

MULTIMODAL? LOS DESAFÍOS DE UNA NUEVA SEMIÓTICA.

WILLIAMSON, Rodney
Universidad de Ottawa
rwilliamson_ca@yahoo.com

“Todos los textos son multimodales” afirman Gunther Kress y Theo van Leeuwen en
1998, iniciando una línea de reflexión teórica que los llevará a plantear nuevas
perspectivas sobre texto, lectura y competencia comunicativa, estableciendo los
fundamentos de una nueva semiótica que pone en tela de juicio la primacía de la
expresión verbal. El cambio teórico es desde “una teoría que sólo dio cuenta del lenguaje
hacia una teoría que pueda dar cuenta de la gestualidad, el habla, las imágenes, la
escritura, objetos tridimensionales, colores, música, entre otros modos de expresión”
(Kress 2003). Desde 1996 y el renovado interés por la lectura de imágenes y mensajes
visuales con la publicación de obras como Reading images de Kress & van Leeuwen, ha
ido creciendo el interés por leer mensajes, ya no en función de códigos discretos para
cada vía de comunicación (verbal o visual o auditiva) sino de las conexiones e
intersecciones que se dan entre estas varias vías o modos de comunicación. Esta
preocupación por la intersección, sobre todo, de elementos verbales y visuales en los
mensajes ha cundido en cuatro o cinco distintas corrientes de teoría multimodal a través
del mundo. Entre otras, cabe mencionar las iniciativas de Bunt, Beun, Granström y
Allwood en el norte de Europa, la colaboración de cuatro universidades italianas en el
proyecto de Anthony Baldry con el apoyo de Paul Thibault, el constante interés por la
multimodalidad en Australia (en relación, sobre todo, con la lingüística sistémica
funcional de Halliday), y las investigaciones multimodales de la conversación en Estados
Unidos por Charles Goodwin y Sigrid Norris. Pero es a la corriente británica (Kress, van
Leeuwen, Jewitt) que queremos referirnos ahora, por un importante modelo de estratos
formulado por Kress & van Leeuwen 2001 que nos servirá de guía en nuestras
reflexiones presentes (Fig. 1)

DISCURSO
formas de conocimiento socialmente “situadas”(¿quién, qué,
dónde, cuándo, cómo?)
+ evaluaciones, propósitos, interpretaciones, legitimaciones
DISEÑO
conceptualización de la forma del producto semiótico
Se diseña: 1) una configuración de discursos
2) una determinada (inter)acción
3) una determinada combinación de modos
PRODUCCIÓN
 2

articulación material del diseño sea como prototipo, sea como

producto final
DISTRIBUCIÓN
‘recodificación’ técnica del producto para fines de grabación o difusión
Fig. 1 Estratos analíticos de Kress & van Leeuwen (2001)

Un aspecto básico de la semiótica de Kress & van Leeuwen es su insistencia en los

recursos semióticos ( a diferencia de los códigos) de los que dispone el emisor de un
mensaje. El primero de estos recursos es el acceso a determinado discurso o serie de
discursos (entendiendo discursos a la manera de Michel Foucault como saberes
socialmente construidos: “socially constructed knowledges of some aspect of reality”
(van Leeuwen 2005:94). Sabiendo el emisor qué discursos quiere utilizar, puede proceder
luego a integrar sus discursos en un acto comunicativo gracias a un diseño particular,
apropiado para la situación. El diseño es un concepto complejo que tiene un lado ideativo
(social y conceptual) y un lado material:
El diseño se encuentra a medio camino entre el contenido y la expresión. Es el lado
conceptual de la expresión y el lado expresivo de la concepción. Los diseños son
(usos de) recursos semióticos, en todos los modos semióticos y combinaciones de
modos semióticos. Los diseños tienen la finalidad de realizar discursos en el contexto
de una situación comunicativa determinada. (Kress & van Leeuwen 2001:5).1

Por un lado, el emisor se forma una idea de lo que quiere comunicar y lo hace gracias a
los discursos a su disposición; por otro lado, busca en su contexto inmediato los medios
físicos y técnicos que puede aprovechar como vías de expresión de su mensaje. Un medio
explotado conscientemente para fines comunicativos se llama modo. El diseño, como una
configuración particular de discursos y modos, es el objeto central del estudio
multimodal. Pero el estudio de diseños en sí no basta para apreciar la naturaleza de los
actos comunicativos, y mucho menos su significación social. El análisis de los procesos
de producción y de distribución (o difusión) del mensaje nos ayuda a apreciar éste en su
materialidad y su sentido real.

En otras palabras, la teoría multimodal nos propone un enfoque sobre el discurso en el

que éste no se ve como un objeto de estudio aislado, sino como parte de un proceso. La
teoría multimodal nos habla de discursos en plural porque su única existencia real es a
través de actos de comunicación, en los que cada discurso entra en combinación con
otros. Foucault nos enseña que el discurso es una construcción social, pero la
significación social del discurso sólo se puede apreciar enfocando todo el proceso
comunicativo, desde su concepción hasta las condiciones materiales y técnicas de su
distribución. La naturaleza histórica y evolutiva de los discursos se aprecia viéndolos
como parte de un proceso de difusión a partir de un emisor o emisores hacia uno o varios
1
Traducción nuestra del texto original: “Design stands midway between content and expression. It is
the conceptual side of expression, and the expression side of conception. Designs are (uses of) semiotic
resources, in all semiotic modes and combinations of semiotic modes. Designs are means to realise
discourses in the context of a given communication situation.”
 3

públicos, a través de determinadas situaciones comunicativas, es decir, determinados

sitios y tiempos. Lo anterior parece obvio, y coincide esencialmente con un enfoque que,
entre otros, Norman Fairclough puso en práctica hace décadas. Pero en términos
multimodales, tiene consecuencias no tan obvias.

A partir del modelo esbozado, podemos concluir que un discurso tiene una presencia en
el tiempo y el espacio:

por una parte, gracias al conjunto de modos disponibles para su expresión.

por otra, gracias a los otros discursos con los que entra en contacto y se combina.

El primer factor es sobre todo una cuestión de técnica, de los recursos técnicos a la
disposición del emisor. Por ejemplo, diferentes períodos de la historia cultural han sido
marcados por un carácter relativamente multimodal (una serie de modos con funciones
diferenciadas contribuyen a la construcción de un todo) o monomodal (predomina un
modo relegando otros a un nivel secundario o imperceptible, o asimilando sus funciones)
y esto siempre refleja o tiene como consecuencia el uso de determinados recursos
técnicos de producción o distribución.

La monomodalidad delata una tendencia hacia la especialización, la ejecución de un

género por profesionales. Un ejemplo es el paso de la Edad Media tardía (notablemente
multimodal) hacia el Renacimiento (monomodal). Podemos ilustrar el hecho a través de
un género artístico pictórico, la Anunciación. El arte eclesiástico o monástico emplea
elementos tanto pictóricos como verbales, con fines didácticos. En el cuadro de Simone
Martini (1333; Fig.2), vemos una cadena de palabras que sale de la boca del ángel
Gabriel y que se dirige hacia el oído de María. Los iconos del ramo y del florero con
lirios se incluyen por sus valores simbólicos asociados con Gabriel y María,
respectivamente. La misma cadena de habla que sale de la boca del ángel se ve un siglo
más tarde en el cuadro de Fra Angélico (1432; Fig 3). Pero ya fuera del ambiente
monástico en el que vive Fra Angélico, todo va cambiando. Las escuelas de arte,
arquitectura y escultura del Renacimiento van dando lugar a una práctica artística más
profesional. El pintor de carrera debe ahora poder expresarlo todo por modos pictóricos
(formas, cromatismo). Representación natural y valor icónico se funden en una sola
categoría; los elementos verbales desaparecen. El resultado del proceso se aprecia en el
cuadro de Francesco Salviati (1534; Fig.4).
 4

Fig. 2 Anunciación, Simone Martini, 1333 Fig. 3 Anunciación, Fra Angelico,

1432

Fig. 4 Anunciación, Francesco Salviati, 1534 Fig. 5 Libro de horas, Flandes,

siglo XV

La evolución del libro representa un caso paralelo. Todos hemos admirado en museos los
libros de horas de los siglos 14 y 15, suntuosamente ilustrados siguiendo la tradición de
los manuscritos iluminados de la Edad Media (Fig.5). Los primeros libros impresos por
Gutenberg, Caxton y otros se destacan por sus finos grabados e ilustraciones (Fig.6).
 5

Fig. 6. Ilustraciones de la primera edición de Los cuentos de Canterbury de Chaucer

(Caxton)

Pero la re-organización de la página en términos de una coherencia puramente verbal

comienza a aflorar desde el siglo 16 (Fig. 7).

Fig.7 Dos portadas de ediciones del siglo XVI, de Gabrieli y Galileo

Y el proceso llega a su apogeo en los siglos 18-19 (Fig.8).

 6

Fig. 8 Portadas de ediciones de Newton (1730) y de Jane Austen (1811)

Aquí triunfa el poder de la palabra escrita. El grado de integración de otros modos de

comunicación al arte verbal, el predominio y el poder de la escritura, se puede ilustrar con
el siguiente fragmento de un poema de Dante Gabriel Rossetti, típico exponente del arte
victoriano en Inglaterra (Fig.9).

Fig..9 Fragmento del poema “The blessed damozel” de Dante Gabriel Rossetti (1870)
 7

En el marco de la escritura poética se inserta el lenguaje hablado en forma de una

conversación, de una manera que hoy día sería muy poco habitual. Poco importa que se
trate de una conversación más imaginada que real, entre la damisela y los ángeles. Los
tonos de la voz, las posturas del cuerpo, las expresiones de la cara, se representan a través
del yo poético, quien actúa como observador, audiencia real de la escena. De esta manera,
una serie de modos de expresión pertenecientes a la situación comunicativa material se
subsumen en la expresión escrita: el yo “ve” la sonrisa de la damisela (modo visual) y
“oye” su llanto (modo sonoro).

Ahora las cosas han cambiado. ¿El lector del siglo 21 compraría un libro de cocina o una
novela de Corín Tellado con una presentación al estilo de las portadas de la Figura 10?

Fig. 10 Siglo XIX: portadas de un libro de cocina y de una novela de amor (romance)

Probablemente no, porque el proceso inverso, el paso de la monomodalidad a la

multimodalidad, se ha producido (según Kress & van Leeuwen 2001) en el paso del siglo
19 hacia el 20. Y así como la invención de la imprenta resaltó la importancia de la letra
impresa, las nuevas técnicas electrónicas, con las que los contenidos y formatos visuales
se pueden manejar y difundir con enorme facilidad, ahora vuelven a dar prominencia a la
imagen. Vuelven a aparecer los iconos, esta vez no con significado filosófico o sagrado,
sino comercial: se trata de logotipos, textos-imágenes de marcas registradas, etc.
Comentaremos luego más ejemplos de tendencias contemporáneas en el manejo de
modos visuales.
 8

Habíamos apuntado antes que el discurso revela su carácter histórico, no sólo a través de
la serie de modos que en determinado momento sirven para expresarlo, sino también a
través de su combinación con otros discursos. El ejemplo del poema de Rossetti nos pone
en escena un discurso amoroso y otro religioso que, individualmente y como tales, se
encuentran en cualquier sociedad en cualquier época. Pero su particular combinación,
junto con el discurso poético descriptivo (arte verbal escrito) y el habla de la protagonista,
los sitúa en el siglo 19 en Inglaterra, y en la tradición de la balada romántica.

Más familiar, quizá, nos resulta hoy día la combinación discursiva del anuncio del
champú Pantene (Fig. 11). La intersección del discurso científico con el comercial es una
técnica establecida para vendernos productos apelando a la autoridad de “expertos”. Los
“expertos” en este caso son tanto los estilistas del pelo y los “artistas” de la cosmética,
como científicos del laboratorio Pantene y médicos. El discurso científico que está en
juego en el texto citado es el discurso médico. El tono de consejo reconfortante del
médico paternal se funde con las exhortaciones del discurso comercial y los “tips” de los
expertos en estética corporal.

Pasemos, finalmente, a casos discursivos más problemáticos, generados tanto por la

enorme rapidez con la que géneros discursivos y diseños se transforman en el contexto
contemporáneo, como por la flexibilidad de los medios empleados. Cuando la
combinación de discursos se realiza en el contexto de una fusión de géneros discursivos,
se produce un caso de verdadera hibridación discursiva, que puede dar lugar a un
mensaje bifurcado, diferente para cada tipo distinto de audiencia contemplado. El
emplear el mismo texto para comunicar mensajes diferentes a distintos públicos es una
práctica establecida en muchos escenarios comunicativos en el mundo moderno (en
escenarios políticos, por ejemplo). Pero hay casos que se pueden calificar de siniestros. El
siguiente ejemplo es un video promocional del ejército estadounidense (por razones
prácticas no nos es posible reproducir el video digital aquí). Combina escenas realistas
(como si fueran de noticiero) con otras de realidad virtual propias de los videojuegos, y el
mensaje propagandístico militar se combina con un género que acostumbramos ver en el
cine, los avances de estrenos de películas, como si se estuviera promocionando en este
caso una película de acción, y no el ejército. De hecho, éste es un anuncio no del ejército
en sí, sino del videojuego que han confeccionado para “informar” al joven de catorce o
quince años, potencial recluta futuro, sobre la vida militar. Este tipo de hibridaciones en
nuestros medios contemporáneos, que señalamos como un problema para el análisis
crítico del discurso, se caracteriza por propagar mensajes dobles, combinaciones
discursivas disparejas, que parecen coherentes debido a un hábil manejo de recursos
multimodales.
 9

We're all aware the sun's rays can be harmful, but they
are also a boundless source of physical & psychological
benefits. With a good sun protection cream and a little
bit of common sense we can all shine like a goddess this
summer.

Click on the experts below to see what they have to say

about taking care of your beautiful self this summer!

Fig. 11 Página web de Pantene

 10

Vivimos en un mundo de constantes transformaciones de discursos visuales, en gran parte

porque las nuevas tecnologías electrónicas e informáticas nos ofrecen un potencial nunca
antes visto para el manejo de los modos visuales. De la misma manera que en los medios
se ven casos de fusiones discursivas particularmente modernas, también se producen
casos de fusión de distintos modos de expresión. En los mensajes publicitarios, por
ejemplo, las letras del lenguaje escrito se explotan en su plena potencialidad visual. De
esta manera, una letra o morfema se puede convertir en icono, objeto visual, objeto
tridimensional con cara delantera y trasera, en una especie de ventana para visualizar
otros objetos y referentes, un espacio cromático, etcétera, como en un ejemplo de la
marca X (Fig. 12).

Fig. 12 Anuncio de la marca X Fig. 13 Anuncio de la marca

OXOXO

En la Figura 13, ¿OXOXO es una palabra o un conjunto de iconos (incluyendo el icono

del corazón)? Se trata de un recurso lingüístico o de un objeto visual? Sólo un cuidadoso
análisis multimodal nos puede ayudar a comprender casos de modos fusionados o
superpuestos. La superposición de modos, formas, estructuras en el espacio virtual,
creando efectos de aparente instantaneidad o simultaneidad en el tiempo, es un rasgo de
los nuevos contextos de comunicación electrónica en el mundo moderno.

Los medios contemporáneos también transforman las estructuras discursivas. Un caso es

la narración, que acostumbramos concebir en términos verbales, pero que tiene un
evidente potencial multimodal. En un ejemplo interesante del sitio web de la revista
Vogue (Fig. 14) que me fue proporcionado por mi alumna doctoral Karla Zúñiga, vemos
como la estructura narrativa se propone como una especie de plantilla que el usuario
puede llenar de manera individual, empleando la técnica de “collage” electrónico tan
frecuente en Internet, enhilando en este caso, no palabras ni frases sino imágenes a
primera vista disparejas, pero potencialmente combinables por su carga de tiempo y
espacio. El sitio de la revista Vogue invita a sus lectoras a conocer la “historia completa”
(“the whole story”), pero haciendo clic en este vínculo sólo se llega a una serie de
pantallas llamadas “style notes” (apuntes de estilo) con diferentes imágenes y textos
 11

breves. La intención es que cada lectora o usuaria formule su propia historia de estilo, a
través de una temática, temporalidad y topografía vagamente trazadas (en forma de
“apuntes”). La historia completa sólo la conocerán las lectoras de Vogue a través de las
construcciones que ellas mismas hacen.

Fig. 14 Página web de la revista Vogue

Conclusiones
Para resumir lo que podemos aprender de este veloz recorrido de ejemplos:
1) la teoría multimodal plantea el discurso como una realidad cambiante, evolutiva,
histórica, que sólo se puede captar a través de un diseño y un contexto
comunicativo. En esto, los ejemplos de la historia pasada son útiles para
comprender la historia de actos comunicativos “actuales” o recientes.
2) los detalles materiales y técnicos de la producción y distribución de discursos
cobran una nueva y especial importancia.
3) para comprender la naturaleza de los discursos, hay que examinar las audiencias
que los reciben. El papel creativo del receptor es cada vez más importante en el
sofisticado manejo de múltiples modos en la comunicación contemporánea.
4) los aportes de la teoría multimodal son esenciales para un análisis verdaderamente
crítico del discurso.
 12

Referencias
Bunt, Harry & Robbert-Jan Beun (eds.) 2001. Cooperative multimodal communication.
Berlin: Springer
Granström, Björn, David House & Inger Karlsson (eds.), 2002. Multimodality in
language and speech systems. Dordrecht: Kluwer
Iedema, Rick, 2001, “Analyzing film and television” en T. van Leeuwen & C. Jewitt
(eds.) Handbook of visual analysis. Londres: Sage.
Jewitt, Carey & Gunther Kress, 2003. Multimodal literacy. N.York: Peter Lang.
Kress, Gunther, 2003. Literacy in the new media age. Londres: Routledge.
Kress, Gunther & Theo van Leeuwen, 1996. Reading images. Londres: Routledge.
Kress, Gunther & Theo van Leeuwen, 1998. Front pages: (The critical) analysis of
newspaper layout. En: Allan Bell & Peter Garrett (eds.), Approaches to media discourse.
Oxford: Blackwell.
Kress, Gunther & Theo van Leeuwen, 2001. Multimodal discourse. The modes and media
of contemporary communication. Londres: Arnold.
van Leeuwen, Theo 2005. Introducing social semiotics. Londres: Routledge.
Thibault, Paul, 2000, “The multimodal transcription of a television advertisement” en:
Anthony Baldry (ed.) Multimodality and multimediality in the distance learning age.
Campobasso: Palladino Editore.