Discurso, multimodalidad y plurilingismo.

Interrelaciones,
interpretaciones y ejemplos1

Llus Payrat
Departamento de Filologa Catalana Centre Universitari
de Sociolingstica i Comunicaci (CUSC-UB),
Universitat de Barcelona
payrato@ub.edu

1. Introduccin

El propsito de este texto es presentar una introduccin terica y panormica de un

conjunto de relaciones que se pueden establecer entre los tres trminos y conceptos
representados en su ttulo. La primera parte de la exposicin resume de manera muy
sinttica e introductoria algunas caractersticas fundamentales de la confluencia entre el
estudio del discurso, de la multimodalidad comunicativa y del plurilingismo; la
segunda ejemplifica algunos de los puntos de contacto y de las repercusiones que se
derivan de tener en cuenta nuevos factores en el anlisis de determinados hechos
comunicativos.

De los tres trminos escogidos como palabras clave, parece evidente que el segundo, es
decir multimodalidad, es el que exige de entrada una aclaracin ms detallada. En
efecto, su uso es relativamente reciente, al menos en comparacin con los dos restantes,
y no muy difano, tambin en contraste con ellos. Sin embargo, su xito no es
discutible, y para muestra atengmonos a publicaciones tan recientes y miscelneas
como LeVine y Scollon (ed.) (2004) y Ventola et al. (ed.) (2004), cuyas aportaciones

1
Este trabajo se ha llevado a cabo en el marco del proyecto HUM2005-01936. Quisiera agradecer en
especial al Dr. Jos Luis Blas su inters y su amabilidad a lo largo de todo el proceso que ha desembocado
en este texto.

1
adems son suficientemente amplias y diversificadas para no provocar dudas sobre la
utilidad del trmino y sobre la relevancia del campo de estudio que sugiere.

No costara demasiado encontrar races de lo que representa el concepto de

multimodalidad si buscramos en la retrica, pero las acepciones actuales del trmino
parecen ms bien el fruto de dos tradiciones que, vistas en conjunto, no se excluyen
aunque a menudo han vivido separadas: primero, la de la pragmtica y el anlisis del
discurso, en el mbito ms lingstico o de las ciencias del lenguaje; y, segundo, la de la
llamada tan a menudo comunicacin no verbal, en el mbito de la semitica y la teora
de la comunicacin. En las dos tradiciones nos encontramos, y no por casualidad, con el
intento ms o menos explcito de solucionar ausencias muy explcitas: en el primer
caso, la del anlisis de elementos paralelos al uso lingstico (o integrados en l); y, en
el segundo, la del anlisis de un conjunto de datos no definidos por su carcter negativo
(no verbal) sino por su vertiente positiva (multimodalidad).

Con un trmino como discurso afirmamos un componente productivo, procesual,

relativo a la creacin de productos comunicativos; con el de plurilingismo designamos
una capacidad mltiple, que refleja una realidad en la que el monolinguismo queda
como un reducto excepcional. De la misma manera, con multimodalidad destacamos de
entrada el poliglotismo comunicativo al que se refiere Poggi (2006): somos polglotas
comunicativamente hablando, si se admite el juego verbal. Se diga lo que se diga, lo
decimos multimodalmente; se escriba lo que se escriba, lo escribimos multimodalmente.
Tanto en el mbito productivo (como origen) como en el mbito en que se materializa o
canaliza, la multiplicidad es tambin la norma y no la excepcin. Lo mismo cabra decir
de la recepcin e interpretacin de los productos, procesos que centrarn los
comentarios de la segunda parte de este texto (v. el apartado 6).

2. Modos y medios

En concepciones estrictas, la multimodalidad suele hacer referencia a la diversidad de

modos comunicativos de produccin, reservndose el termino multimedialidad para los

2
modos de canalizacin o reproduccin (de acuerdo tambin con el uso corriente de un
trmino como multimedia). En algunas concepciones muy particulares, por ejemplo la
de Theo Van Leeuwen (cf. Scollon y Levine 2004: 2), su significado puede relacionarse
incluso con el concepto de modalidad gramatical (y pragmtica), precisamente otro
representante destacado de la nmina de vocablos lingsticos conflictivos o, por lo
menos, polismicos.

En concepciones ms amplias, es decir ms generosas pero tambin inevitablemente

ms vagas, la multimodalidad se refiere tanto a modos como a medios, y ese parece hoy
el uso mayoritario del trmino. As, la multimodalidad se puede definir como una
diversidad combinada o sincronizada de cdigos, modos, fuentes, medios y canales
comunicativos.

En la comunicacin humana, entre las posibles combinaciones de modos (no) verbales y

(no) vocales destacan, en principio, como fundamentales, la modalidad verbal
(oral/escrita), la vocal y la gestual. Fernando Poyatos, a lo largo de su extenssima obra
(v., entre otros trabajos, Poyatos 1983, 1994, 2002, 2004), se ha referido muy a menudo
a esta triloga o triparticin, y la ha concebido como un rasgo esencial de los sistemas
comunicativos humanos, de su unidad (o coordinacin) y de su diversidad
(tridimensional).

3. Al lado del lenguaje, ms all de la verbalidad

La modalidad comunicativa que nos proporciona el lenguaje verbal es absolutamente

nica, en mltipless sentidos, en el reino de todas las especies animales, por mucho que
en algunos casos se plantee un salto ms cuantitativo que cualitativo entre los primates.
El lenguaje verbal humano se estructura de una manera ms que conocida como un
enlace que transmite significados mediante sonidos y que permite descodificar sonidos
como significados, tal como queda representado en el cuadro siguiente:

3
 Cuadro 1

SONIDO

Representacin fontica

Sistema morfolgico

Cadena sintctica

Estructura textual

Intencin pragmtica

SIGNIFICADO

La relacin entre sonidos y significados se da en los dos sentidos, con unas

proyecciones en muchos aspectos absolutamente automatizadas, pero al mismo tiempo
tambin con componentes claramente inferenciales, es decir no estrictamente
codificados, y dependientes adems siempre de aspectos contextuales.

Dando un paso ms en esta lnea argumentativa, 2 la linguisticidad a que se refera Lyons

(1972) incluye aspectos necesariamente no verbales (verbal en el sentido de palabra):
son aspectos prosdicos o suprasegmentales (tono, acento y cantidad). Esta es la
frontera ms all de la cual se suele hablar de paralenguaje o paralingstica: la
vocalidad (no verbal, y ya no lingstica). Entre sus aspectos fundamentales, y aunque
son susceptibles de ser presentados de distintas maneras, podemos hablar del ritmo de la
elocucin, de la intensidad y de las vocalizaciones.

Por otra parte, ms all de la verbalidad, pero ahora dentro del campo no vocal, nos
encontramos con el fenmeno de la gestualidad, cuyas submodalidades pueden
presentarse tambin de varias maneras. Se suelen distinguir, ya en detalle, la

2
Algunos de estos aspectos se comentan o analizan de manera ms detallada en Payrat (2006, en
prensa). Para todo lo referente al paralenguaje, v. Poyatos (2002), en especial el segundo volumen.

4
gesticulacin manual, la gesticulacin facial, la expresin de emociones (bsicamente
facial, tambin), la mirada o el contacto ocular, los movimientos de las cejas, los
movimientos de la cabeza, las posturas y maneras (en el sentido de Poyatos), la
proxmica y otros medios y canales como el tacto y el olfato.

4. Categoras gestuales

Ekman & Friesen (1969) establecieron una clasificacin de los actos no verbales en
cinco categoras, segn los criterios de uso, origen y codificacin: emblemas,
adaptadores, ilustradores, reguladores y manifestaciones de estado de nimo. McNeill
(1992, 2000) ha establecido el continuum de Kendon, tal como lo ha bautizado en
homenaje a este analista, como una gradacin de seales que van desde las que son ms
independientes del lenguaje verbal hasta las ms dependientes:

(a) Signos manuales (propios de las lenguas de signos),

(b) Emblemas (o gestos emblemticos, los gestos ms lingsticos de todos los que se
producen, por ejemplo los de saludo o insulto),
(c) Pantomimas, como imitacin de acciones de distinto tipo (por ejemplo tocar el violn
o conducir una moto),
(d) Gestos parecidos al lenguaje (en el sentido de que pueden ocupar un lugar o casilla
paralelo al de una pieza de la cadena lingstica), y
(e) Gesticulacin, o conjunto de gestos coverbales, que a diferencia de los emblemticos
o de las pantomimas no se dan en ausencia de habla paralela. Estos seran los menos
lingsticos, en principio, pero tanto McNeill (1985, 1992) como otros especialistas han
defendido su carcter verbal con pruebas muy convincentes. Adems, estos gestos
tienen una funcin muy relevante en relacin con la cohesin discursiva (cf. McNeill y
Levy 1993, Contento 1998, McClave 2000).

Aunque estamos lejos del establecimiento de categoras aceptadas unnimemente, las

clasificaciones ms habituales en la actualidad (v. Payrat 2003 b) incluyen y analizan
sobre todo los gestos emblemticos (decticos, icnicos, simblicos), los gestos

5
coverbales (icnicos o metafricos), los gestos interactivos (reguladores) y la expresin
de estados de nimo o emociones. La concrecin de estas ltimas, por ejemplo, nos
llevara a hablar, con el debate de fondo de su posible universalidad, de alegra,
repugnancia/asco, tristeza, inters, rabia/odio, sorpresa y temor/miedo. Las
denominadas caras hablantes (talking faces) han de incorporarlas para dar similitud a
las simulaciones de la conducta humana.

En todos los casos anteriores la investigacin sobre la gestualidad se presenta enraizada

cada vez ms con la de muchos aspectos lingsticos o verbales, lo que justificara el
enfoque multimodal, pero tambin con una notable diversidad de perspectivas, tal como
se apunta en el apartado siguiente.

5. Lneas y enfoques de la investigacin actual. Metodologa y tcnicas

Los mltiples enfoques y marcos tericos que hoy abordan la temtica de la

multimodalidad se pueden agrupar, con el evidente riesgo de la simplificacin excesiva
o del encasillamiento algo gratuito, en los cinco mbitos siguientes:

(1) En el psicolingstico, con el consiguiente estudio de los procesos de produccin

y de recepcin de seales multimodales (cf. Kendon 1972, 2000, 2004; McNeill
1992).
(2) En el cognitivo, relacionado obviamente con el precedente y centrado en la
capacidad mental humana para comunicarnos multimodalmente (sirvan como
ejemplos especficos Levinson 1992 o Alturo y Payrat 2002, 2003 y Alturo
2004; v. en conjunto McNeill (ed) 2000).
(3) En el pragmtico, en el que tenemos en cuenta la dimensin de estos fenmenos
en relacin con los usuarios o interlocutores (valgan como ejemplos, entre otros
muchos, Goodwin et al. 2002, Mora 2004; como planteamientos generales, v.
Arndt y Janney 1987 y Kress y Van Leeuwen 2001).

6
 (4) En el antropolgico, como manifestacin de la diversidad cultural humana,
paralela, en el campo multimodal, de la diversidad lingstica (v. Haviland 2000,
Kendon 2004).
(5) En el computacional, prestando una atencin especial a las posibilidades de
simulacin y automatizacin de las conductas multimodales, que en muchos
casos ya son una realidad ms avanzada de lo que solemos imaginar (v. Cassell
et al. (ed.) 2000, como resumen, y el caso en particular ya citado ms arriba de
las caras o cabezas hablantes; cf. Massaro 2001).

La investigacin en estas lneas debe sustentarse lgicamente en bases de datos,

archivos o corpus multimodales, cada vez de ms fcil acceso. Tambin se han
simplificado mucho las tcnicas de grabacin, pero no puede decirse lo mismo de las de
transcripcin. Seguramente aqu nos encontramos con uno de los escollos ms difciles
de sortear en la actualidad: extender en el seno de la comunidad cientfica tcnicas de
transcripcin y anotacin que acten como estndares, y que en la medida de lo posible
se emparejen con programas y sistemas de anlisis a su vez tambin tan sencillos de
manejar como sea factible: a ello se dedican programas como Elan, EXMARaLDA,
Anvil o Transana, de los que se puede obtener rpida y clara informacin a travs de
internet. Lamentablemente, no contamos con manuales dedicados a la metodologa del
anlisis multimodal que cumplan una funcin anloga a la que en su momento cumpli
la excelente recopilacin de estudios de Scherer y Eckman (ed.) (1982) (cf. Goodwin
1993, Payrat 2003 b).

6. Anlisis de datos multimodales: muestra de interrelaciones, interpretaciones y

ejemplos

Hasta qu punto una fotografa puede hacernos cambiar una interpretacin inicial de un
texto? Hasta qu punto nuestra expresin facial acta como un contexto o como
verdadera parte del texto (o cotexto) verbal y comunicativo? Nuestras citas verbales
directas van acompaadas de citas multimodales tambin directas? Nuestras
capacidades gestuales o, en conjunto, todos los aspectos multimodales no verbales, son

7
transversales a lo largo de las distintas lenguas que, como hablantes plurilinges,
podemos utilizar? Son interpretables los gestos propios de una cultura (y lengua)
vistos desde otra lengua y cultura?

La concepcin multimodal de la actividad lingstica en particular y de la comunicativa

en general nos lleva a preguntas como las anteriores, o a muchas ms que se podran
desglosar de las explicitadas o que resultaran complementarias. Por desgracia y, por
ahora, parece mucho ms fcil formular las preguntas que ensayar las respuestas, y no
se trata de ningn tpico discursivo: muy buena parte de la investigacin que
necesitamos para contestarlas est por hacer. Sin duda tenemos pistas para avanzar
respuestas provisionales, pero nos falta muchsima informacin para que estas
respuestas puedan tener una base estadstica e intercultural slida. Basta para
fundamentar esta afirmacin una comparacin transversal de varias de las obras bsicas
y ms recientes sobre esta temtica (cf. Kress y Van Leeuwen 2001, LeVine y Scollon
(ed.) 2004, Ventola et al. (ed.) 2004), de las recopilaciones de estudios sobre las
relaciones entre oralidad y gestualidad (Santi et al. (ed.) 1998, Cav et al. (ed.) 2001) o
de las que plantean la posibilidad de analizar especficamente una modalidad, que luego
se contrasta o compara con las restantes (v. por ejemplo Poggi 2002, 2004, 2006).3

A las dificultades intrnsecas de obtener respuestas de una conducta poco analizada se

aaden las que provienen de tpicos ms bien infundados o por lo menos discutibles.
Para empezar, se suele tender a pensar que el lenguaje verbal es mucho menos ambiguo
que el no verbal, de manera que casi cualquier gesto simblico, por ejemplo el de
encogerse de hombros, puede asociarse a significados muy diversos: desconocimiento
neutro (paralelo a un enunciado como No lo s, sin una modalizacin aadida),
desconocimiento con desinters (No lo s ni me importa..., Yo que s!), simplemente
desgana (Y a mi qu ms me da!), etc. O bien, un gesto tan simple como el ndice
3
De hecho, se pueden rastrear numerosos caminos que plantean, ya desde hace bastante tiempo, las
interrelaciones y transversalidades que solo resultan evidentes cuando el anlisis es multimodal. Son
perfectos ejemplos de todo ello Bolinger (1983), sobre la relacin entre entonacin y gesto (cf. Pay
2004), Beattie (1981), que ya planteaba una sntesis entre los estudios lingsticos y los de comunicacin
no verbal (cf. en el caso espaol Torrego 1971, un artculo casi olvidado o muy poco citado) y Arndt y
Janney (1987), uno de los primeros intentos explcitos de anlisis verbal, prosdico y cinsico de las
opciones que seguimos en el habla (cf. Payrat 2006, donde se recogen algunos de sus ejemplos).
Schegloff (1984) planteaba ya tambin las relaciones entre el gesto, el habla y el desarrollo de la
conversacin, en su caso desde la perspectiva etnometodolgica, y Slama-Cazacu entre gesto y sintaxis.

8
levantndose por encima del resto del puo cerrado puede ser una llamada de atencin,
puede marcar una demanda o solicitud de turno de habla, indicar una direccin o lugar
(como dectico), representar el nmero uno (y el adjunto concepto de victoria), etc.

Aparentemente, siguiendo el tpico, los elementos verbales no se veran afectados por

esta polisemia, en trminos semnticos, o por la multifuncionalidad, en trminos
pragmticos, con el consiguiente riesgo de ambigedad o mala interpretacin. En
realidad, si bien es cierto que las seales no verbales apuntadas no son monosmicas ni
unifuncionales, debe recordarse que la interpretacin de los actos comunicativos es
siempre contextual, de manera que muchas interpretaciones se descartan
inmediatamente por su irrelevancia mientras que otra(s) se prioriza(n). En las
interacciones habituales, es una en particular la interpretacin que se toma como
prioritaria, y justamente por lo contrario que en el descarte anterior, es decir por su
relevancia o pertinencia (entendido el concepto en los conocidos trminos de la teora
de Sperber y Wilson 1986).

Este mismo razonamiento es aplicable a los elementos verbales, que de hecho a menudo
resultan, a su vez, igualmente polismicos: como primer ejemplo (vase Payrat 2003),
la palabra diligencia, fuera de contexto, o en enunciados en apariencia tan simples como
La diligencia era vital, admite interpretaciones acontextuales muy distintas (como
documento, como virtud opuesta a la pereza, como vehculo de transporte...). Incluso el
insulto ms soez u ofensivo puede convertirse, como ya apuntara Leech (1983) gracias
al principio pragmtico de burla, en un elogio: hijo de puta es interpretable como
alabanza cuando, en el contexto adecuado, alguien ha sobresalido por su ingenio,
destreza, inteligencia por ejemplo obteniendo una calificacin muy alta en un
examen, tras una jugada maestra, etc. En el caso inverso, magnfico (igual que el gesto
emblemtico de aplaudir) puede ser un calificativo para transmitir una desaprobacin,
una irona o un sarcasmo, y nadie lo interpretara en sentido literal en cualquier
situacin tpica de un fiasco.

Si el uso lingstico, oral o escrito, es ya de por s multimodal, indefectiblemente, por

contigidad con otros cdigos (vocales, gestuales, tipogrficos), su combinacin con

9
otras modalidades en principio ms lejanas aportar, como es lgico, numerosas y
nuevas interpretaciones. Los fenmenos que nos encontramos son, bsicamente, de
confluencia o refuerzo (la situacin esperable o no marcada, si nos atenemos a la
coordinacin de nuestra actividad comunicativa), o bien, como excepcin, de
contradiccin o ambigedad. En el primer caso nos sabemos que la danza gestual est
sincronizada entre sus componentes (movimientos de la cabeza, de las cejas, de las
manos, del cuerpo y expresiones faciales) y adems casi siempre va acorde con el canal
verbal. Pero a veces la oposicin es manifiesta, como en el tpico ejemplo de la mentira
mal disimulada (en especial en los nios). Sea el caso que sea, la relevancia o
pertinencia contextualizada, concebida en solitario o bien junto a principios de
comunicabilidad e informatividad, es la base o el principio que nos permite llegar, a
travs de inferencias, a una interpretacin adecuada (o al menos, a sabiendas que nunca
podemos conocer con exactitud los propsitos o las motivaciones ltimas del emisor o
enunciador, a la que nos parece la ms adecuada).

Cualquier proceso de interpretacin multimodal de este tipo no est exento de posibles

errores o desaciertos interpretativos, que son el equivalente en esta dimensin
multimodal de los tradicionales y conocidos actos de habla infelices, si se admite el
calco, o desafortunados. Como nuevo ejemplo, una foto de un avin que sobrevuela
aparentemente a muy poca altura las cabezas de unos espectadores (v. ilustracin 1) nos
puede llevar a una interpretacin ms bien literal de un titular de prensa, en este caso el
recogido bajo la foto en la edicin del 17 de julio del 2006 del peridico El Punt: Al
Airbus le cuesta coger el vuelo puesto que, en una posible y primera hiptesis,
necesita una pista muy larga, o tiene problemas para el despegue, etc. En realidad, el
titular es metafrico y la fotografa es solo ilustrativa del aparato: la compaa que lo
construye tiene problemas econmicos, coger el vuelo (o despegar el vuelo, o
simplemente despegar) es metafrico, se fundamenta en que el arriba econmico es
tambin lo deseable y positivo, y la fotografa no simboliza nada en particular sino que
es puramente indexical.

10
Ilustracin 1 (El Punt, 17/07/2006)

11
Cambiando la modalidad de los ejemplos, muchos gestos emblemticos crean
problemas de comprensin interlingstica e intercultural. 4 Nuestras traducciones suelen
ser solo verbales, pero no gestuales, y de ah que ya hace tiempo que se ha planteado en
el dominio de la enseanza de segundas lenguas la necesidad de aadir contenidos
multimodales a los procesos de enseanza y aprendizaje del cdigo verbal. Incluso
gestos tan aparentemente universales como los de afirmar o negar con la cabeza difieren
en realidad en reas como la europea; no digamos ya otros casos como los de emblemas
tan particulares como los gestos de insulto (sexual, normalmente) o de apreciacin (de
la comida, de la actitud o conducta de otras personas, etc.). Morris et al. (1989) hicieron
explcitas por primera vez, en el contexto europeo, muchas de estas aparentes paradojas
cuando se parte del supuesto, todava muy extendido en mbitos corrientes, de la
universalidad de las conductas no verbales y, en particular, de las gestuales.

Un ltimo ejemplo, el de la polifona multimodal (vase Payrat y Alturo 2003, Alturo

2004), permite hacerse cargo de la complejidad de las interrelaciones multimodales que
pueden deparar actuaciones comunicativas tambin en apariencia, como en los ejemplos
anteriores, muy sencillas. En este caso particular, que desvela una casustica muy
compleja, tal como muestra Camargo (2004, 2006), encontramos diferentes
combinaciones entre estilos de citacin verbal y estilos de citacin gestual. En concreto,
por ejemplo, un estilo verbal directo o indirecto puede combinarse con un estilo gestual
centrado en el narrador (que acta como un observador externo) o centrado en los
personajes (cuyos gestos reproduce, incorporndolos). Por tanto cuatro combinaciones
son posibles, cuyas repercusiones en lo que se refiere a los procesos interpretativos no
estn todava muy claras, si bien McNeill (1992) ya apuntaba que las citas gestuales que
podramos llamar de estilo directo, por analoga con las lingsticas, es decir aquellas en
las que el locutor adopta la perspectiva (y el cuerpo!) del personaje se suelen
corresponder con elementos bsicos de la estructura narrativa y con construcciones
gramaticales transitivas (mientras que en los casos de citacin de estilo indirecto la
correspondencia se dara predominantemente con elementos secundarios y con

4
V. sobre estos gestos y su relacin con mltiples aspectos pragmticos Payrat (1993, 2003 a, 2004), y
Kendon (1995, 1996, 1997) para cuestiones ms generales. Meo-Zilio y Meja (1980-83) recopilan un
amplio repertorio de emblemas espaoles e hispanoamericanos.

12
construcciones gramaticales de otros tipos). Como ejemplo final, en los proyectos
Varcom y Pragmaestil,5 concebidos a partir de un corpus a la vez multimodal (verbal y
audiovisual, es decir con transcripcin verbal, sonido e imagen) y plurilinge (cataln,
castellano e ingls), los anlisis iniciales (y provisionales) parecen apuntar a ciertos
estilos discursivos y gestuales distintos, al menos en las frecuencias de uso, entre una
seleccin de hablantes cuya primera lengua es el cataln y otro grupo cuya primera
lengua es el castellano. Otros anlisis ms detallados podrn indicar en el futuro hasta
qu punto lo que parecen tendencias pueden confirmarse como rasgos realmente
representativos y extrapolables a otros grupos de hablantes.

Cabe aadir, por ltimo, que los principios de relevancia y comunicabilidad que
subyacen en las interpretaciones apuntadas de los ejemplos deben combinarse, para
evitar el riesgo de aumentar el porcentaje de desaciertos comunicativos y culturales, con
el conocimiento del grado de variacin de los usos, hbitos o patrones socioculturales:
el mismo grado de variacin del que ya somos al menos conscientes en la dimensin
lingstica es imaginable (aunque por ahora no lo podamos constatar o probar con
certeza) en las otras dimensiones multimodales: por tanto es esperable y lgico que
encontremos diferencias en los diversos mbitos generacionales, de gnero o sexo,
geogrficos, histricos, sociales y funcionales o estilsticos (v. Payrat 2004).

7. A modo de resumen y conclusin

Van Leeuwen (2004) apunta, en un trabajo con un ttulo muy explcito, diez razones por
las que los lingistas deberan interesarse por la comunicacin visual. Quiz podran
reducirse o quiz deberan ser ms, pero en cualquier caso tienen mucho peso, y los
cambios en los libros de texto de las ltimas generaciones sirven de testimonio de que
nos dirigimos a un destino en el que muy a menudo el texto aparece indisociablemente
unido a la imagen. Y si la imagen siempre connota y si el texto denota, o si la palabra
concreta o ancla lo que la imagen sugiere o evoca, es un ltimo apunte de los tpicos o
casi tpicos que los estudios debern confirmar o desmentir.
5
Para estos sucesivos proyectos, v. Payrat 2002 y Payrat et al. (ed.) 2004. Ms en particular para el
corpus (Corpus Audiovisual Plurilinge, CAP), v. Nogu y Payrat (2006).

13
Como conclusin, con vistas al futuro y teniendo muy presentes tanto el desarrollo
cientfico como la nueva planificacin acadmica, debe apuntarse que, en trminos an
ms amplios que los de la relacin texto imagen, los estudios multimodales tienen un
futuro prometedor. Y ello parece innegable ya se lleven a cabo desde plataformas
deliberadamente interdisciplinarias, desde una posicin ms (clsica) lingstica o desde
otras perspectivas. Tienen asimismo una aplicacin indiscutible, y cabe recordar
tambin que el reciente y famoso Informe Pisa sobre la comprensin lectora incluye
entre los textos, en especial entre los etiquetados como textos discontinuos (o
documentos), una gran variedad de formatos, inclusive las ilustraciones.

Esta exposicin, en definitiva, ha tenido el modesto objetivo de mostrar que nuestros

productos lingsticos, si se admite la metfora empresarial, son productos
multimodales, y se combinan o entremezclan con otros productos que proceden de la
misma factora, que igualmente son multimodales, pero que no son verbales, no estn
hechos con palabras. La intencin y el propsito de lo que se ha apuntado en estas lneas
ha sido tambin argumentar que, sin menospreciar estrategias tradicionales que tienden
a la separacin o disgregacin, a anlisis segmentados por canales, debemos progresar
en el anlisis conjunto de los fenmenos comunicativos para poder explicar mejor su
complejidad.

14
Bibliografa

Alturo, N. (2004): Hiptesis sobre la representaci multimodal (verbal i gestual) dels

esdeveniments, en Payrat et al. (ed.), 141-153.
Alturo, N.; L. Payrat (2002): La representacin discursiva de las eventualidades.
Gesticulacin y habla. Comunicacin al Congreso de la Asociacin Espaola de
Lingstica Cognitiva, Valencia.
(2003): The cognitive processing of situations: evidence from multimodal
discourse. Comunicacin al 8th International Cognitive Linguistics Conference,
Logroo.
Arndt, H.; R. W. Janney (1987): InterGrammar. Toward an integrative model of verbal,
prosodic and kinesic choices in speech. Berln: Mouton de Gruyter.
Beattie, G. W. (1981): Language and nonverbal communication the essential
synthesis?. Linguistics, 19, 1165-1183.
Bolinger, D. (1983): Intonation and Gesture. American Speech, 58, 156-174.
Camargo, L. (2004): La representacin del discurso en la narracin oral
conversacional. Estudio sociopragmtico. Madrid: Universidad de Alcal. Tesis
doctoral.
(2006): Las citas de paralenguaje y las citas de gestos en la conversacin coloquial:
del enunicado a la enunciacin. Comunicacin al III Congreso Sobre Lengua y
Sociedad. Universitat Jaume I, Castelln de la Plana, 20.09.06.
Cassell, J.; J. Sullivan; S. Prevost; E. Churchill (ed.) (2000): Embodied conversational
characters. Cambridge: MIT Press.
Cav, C.; I. Guatella; S. Santi (ed.) (2001): Oralit et gestualit. Interactions et
comportements multimodaux dans la communication. Pars: LHarmattan.
Contento, S. (1998): Forme et fonction du geste pour la cohsion discursive, en Santi
et al. (ed.), 589-594.
Ekman, P.; W. V. Friesen (1969): The repertoire of non verbal behavior: categories,
origins, usage and coding. Semiotica, 1, 49-97.

15
Goodwin, C. (1993): Recording human interaction in natural settings. Pragmatics, 3,
181-209
Goodwin, M. H.; C. Goodwin; M. Yaeger-Dror (2002): Multi-modality in girls' game
disputes. Journal of Pragmatics, 34, 1621-1649.
Haviland, J. (2000): Pointing, gesture spaces, and mental maps, en McNeill (ed.), 13-
46.
Kendon, A. (1972): Some Relationships between Body Motion and Speech: An
Analysis of an Example, en Siegman, A. W.; B. Pope (ed.) (1972): Studies in
Dyadic Communication. Nueva York: Pergamon, 177-210.
(1995). Gestures as illocutionary and discourse markers in Southern Italian
conversation. Journal of Pragmatics, 23, 247-279.
(1996) An agenda for gestures studies, The Semiotic Review of Books, 7, 8-12.
<http://www.univie.ac.at/Wissenschaftstheorie/srb/srb/gesture.html>
(1997). Gesture. Annu. Rev. Anthropol., 26, 109-128.
(2000): Language and gesture. Unity or duality?, en McNeill (ed.) (2000), 47-
63.
(2004): Gesture: Visible action as utterance. Cambridge: Cambridge University
Press.
Kress, G.; T. Van Leeuwen (2001): Multimodal discourse: The modes and media of
contemporary communication. Londres: Arnold.
Leech, G. N. (1983): Principles of pragmatics. Londres: Longman. Trad. cast.: Principios
de pragmtica. Logroo: Universidad de la Rioja, 1998.
LeVine, P.; R. Scollon (ed.) (2004): Discourse and technology. Multimodal discourse
analysis. Washington: Georgetown University Press.
Levinson, S. C. (1992): Primer for the field investigation of spatial description and
conception. Pragmatics, 2, 5-47.
Lyons, J. (1972): "Human language", en R.A. Hinde (ed.): Non-verbal communication.
Cambridge: Cambridge University Press, 49-85.
Massaro, D. W. (2001): Perceiving the many modalities of spoken language: Theories
and data, en Cav et al. (ed.), 34-37.
McClave, E. Z. (2000): Linguistic functions of head movements in the context of
speech. Journal of Pragmatics, 32, 855-878.

16
McNeill, D. (1985): So You Think Gestures Are Nonverbal?. Psychological Review,
92, 350-371.
(1992). Hand and Mind. What Gestures Reveal about Thought. Chicago: The
University of Chicago Press.
(ed.) (2000): Language and gesture. Cambridge: Cambridge University Press.
McNeill, D.; E. T. Levy (1993): Cohesion and gesture. Discourse Processes, 16, 363-
386.
Meo-Zilio, G.; S. Meja (1980-3): Diccionario de gestos. Espaa e Hispanoamrica.
Bogot, Instituto Caro y Cuervo, 2 vols., 1980 (I) i 1983 (II).
Mora, J. P. (2004): De gestos, signos y palabras, en Payrat et al. (ed.), 47-55.
Morris, D.; P. Collet; P. Marsh; M. O'Shaughnessy (1979): Gestures, their origins and
distribution. Londres: J. Cape. (Reimpr.: Triad/Granada, 1981).
Nogu, N.; L. Payrat (2006): El corpus audiovisual plurilinge de la Universitat de
Barcelona (CAP). Comunicacin al 3rd Freiburg Workshop on Romance
Corpus Linguistics (Albert-Ludwigs-Universitt), Friburg 2006 (en prensa).
Pay, M. (2004): Interacci del grup tonal i el gest en el discurs: una aproximaci
danlisi multimodal, en Payrat et al. (ed.), 155-172.
Payrat, L. (1993): A pragmatic view on autonomous gestures: A first repertoire of
Catalan emblems. Journal of Pragmatics, 20, 193-216.
(2002): Variation, multimodal communication and multilingualism: The
VARCOM project.
<http://www.utexas.edu/coc/cms/International_House_of_Gestures>
(2003 a): What does the same gesture mean? Emblematic gestures from some
cognitive-linguistic theories, en Rector, M.; I. Poggi; N. Trigo (ed.): Gestures:
Meaning and Use. Porto: Edioes Universidade Fernando Pessoa, 73-81.
(2003 b): Nonverbal communication, en Verschueren, J., J.-O. stman, J.
Blommaert & C. Bulcaen (ed.): Handbook of pragmatics. Amsterdam: John
Benjamins.
(2003 c): Pragmtica, discurs i llengua oral. Introducci a lanlisi funcional de
textos. Barcelona: Editorial UOC.

17
 (2004): Notes on pragmatic and social aspects of everyday gestures, en Posner,
R.; C. Mller (ed.): Semantics and Pragmatics of Everyday Gestures. Berln:
Weidler, 103-113.
(2006): Discurso oral y multimodalidad. Aspectos introductorios. Oralia, 9 (en
prensa).
Payrat, L.; N. Alturo (2003): Poliphony as a multimodal phenomenon.
Comunicacin al 8th International Pragmatics Association Conference, Toronto.
Payrat, L.; N. Alturo; M. Pay (ed.) (2004): Les fronteres del llenguatge. Lingstica i
comunicaci no verbal. Barcelona: Universitat de Barcelona PPU.
Poggi, I. (2002): Gesture, gaze and touch: Literal or indirect meaning.
<http://semioticon.com/virtuals/talks>
(2004): Lexicon and phonology of nonverbal communication systems, en
Payrat et al. (ed.), 247-285.
(2006): Le parole del corpo. Introduzione alla comunicazione multimodale.
Roma: Carocci.
Poyatos, F. (1983): New Perspectives in Nonverbal Communication. Studies in Cultural
Anthropology, Social Psychology, Linguistics, Literature and Semiotics. Oxford:
Pergamon.
(1994): La comunicacin no verbal. Madrid: Istmo.
(2002): Nonverbal communication across disciplines. Amsterdam: John
Benjamins.
(2004): Nuevas perspectivas lingsticas en comunicacin no verbal, en
Payrat et al. (ed.), 57-91.
Santi, S.; I. Guatella; C. Cav; G. Konopczynski (ed.) (1998): Oralit et gestualit.
Pars: LHarmattan.
Schegloff, E. (1984): On some gestures relation to talk, en Atkinson, J.M.; J.
Heritage (ed.): Structures of Social Action. Studies in Conversation Analysis.
Cambridge: Cambridge University Press, 266-298.
Scherer, K.R.; P. Ekman (ed.) (1982): Handbook of Methods in Nonverbal Behavior
Research. Cambridge: Cambridge University Press.
Scollon, R.; P. LeVine (2004): Multimodal Discourse Analysis as the confluence of
Discourse and Technology, en Levine y Scollon (eds.), 1-6.

18
Slama-Cazacu, T. (1976): Nonverbal components in message sequence: Mixed
syntax, en McCormack, W.C.; S.A. Wurm (ed.) (1976): Language and Man:
Anthropological Issues. La Haya: Mouton, 217-227.
Sperber, D.; D. Wilson (1986): Relevance: Communication and cognition. Oxford: Basil
Blackwell (2a. ed., 1995). Trad. cast.: La relevancia. Madrid: Visor, 1994.
Torrego, E. (1971): Lingstica y cinsica. Revista de Filologa Espaola, LIV, 145-
159.
Van Leeuwen, T. (2004): ''Ten Reasons Why Linguists Should Pay Attention to Visual
Communication'', en LeVine y Scollon (ed.), 7-19.
Ventola, E.; C. Charles; M. Kaltenbacher (ed.) (2004): Perspectives on multimodality.
Amsterdam: John Benjamins.

19