Multimodalidad, lectura y escritura para el siglo XXI

Por Carey Jewitt

Multimodalidad, lectura y escritura para el siglo XXI

Por Carey Jewitt
Universidad de Londres, Reino Unido

en Discourse: Studies in the Cultural Politics of Education, Vol. 26, N 3, Septiembre de 2005.
pp. 315331.

Como las palabras vuelan en las pantallas, dan vueltas y se disuelven; la imagen, el sonido y el
movimiento ingresan en la escuela en nuevas y significativas formas, formas que
reconfiguran la relacin entre imagen y palabra. En este artculo discutir esas nuevas
configuraciones multimodales y explorar cmo impactan en las producciones de escritos y
lecturas de los alumnos en escuelas inglesas. Examinar el cambiante rol de la escritura en
pantalla, especficamente cmo el carcter visual de la escritura y el rol crecientemente
dominante de la imagen desestabiliza y descentra la predominancia de la palabra. A travs de
ilustrativos ejemplos de aplicaciones TIC y las interacciones de los estudiantes con stas en
Lengua y Ciencia escolar (y juegos en el contexto del hogar), explorar cmo stas parecen
promover la imagen por sobre la escritura. Ms en general, discutir qu significa todo esto
para la alfabetizacin y cmo los lectores en edad escolar interpretan los textos multimodales.

Introduccin
Las tecnologas basadas en impresos y pantallas permiten disponer de diferentes modos y
recursos semiticos en formas que moldean los procesos de elaboracin de significados. La
particular comprensin intuitiva material y social (Kress y van Leween, 2001; van Leween,
2005) de las nuevas tecnologas y pantallas, como opuestas a las pginas, han conducido a una
reconfiguracin de la imagen y la escritura en pantalla en formas que son significativas para la
escritura y la lectura. En este artculo describo algunas de esas configuraciones y exploro las
decisiones de diseo tomadas respecto de cundo y cmo la escritura, el discurso y la imagen
son utilizados para mediar en la elaboracin de significados. Mi intencin a lo largo del
artculo es desafiar el primer plano de la palabra escrita y establecer la necesidad de
investigacin y prctica educativa que mire ms all de lo lingstico. En este proceso yo
espero demostrar cmo los tiles anlisis multimodales pueden realizarse tanto en el
contexto de la alfabetizacin escolar como en el de las aplicaciones computacionales y los

Multimodalidad, lectura y escritura para el siglo XXI

Por Carey Jewitt

juegos (Kress y van Leween, 2001; Kress et al, 2005, van Leween, 2005). La lectura y la
escritura basadas en impresos son y siempre han sido multimodales. Estas requieren de la
interpretacin y el diseo de marcas visuales, espacio, color, fuentes o estilo y, cada vez ms
imagen y otros modos de representacin y comunicacin (Kenner, 2004). Un enfoque
multimodal hace posible que sean atendidos y se vaya ms all de verlos como decoracin.
Reno aqu una variedad de ejemplos ilustrativos con el propsito de explorar cmo las
nuevas tecnologas transforman las prcticas de lecturas. Estos ejemplos incluyen
aplicaciones computacionales (Microsoft Word), CD ROMs (Multimedia Science School [New
Media Press, 2001] ) y Of mice and men1 [Penguin Electronics, 1996] y juegos (Kingdom hearts
[Sony, 2002] e Ico [Sony, 2001]). Estos han sido seleccionados para mostrar la gama de
configuraciones de imagen y palabra y para comenzar a explorar cmo esas configuraciones
pueden ser moldeadas por las asignaturas del currculo y por los diferentes contextos de uso.

La escritura en el entorno multimodal de la pantalla

Los textos en pantalla son ensambles multimodales complejos de imagen, sonido, movimiento
animado y otros modos de representacin y comunicacin. La escritura es un modo en este
ensamble y su significado por tanto necesita ser comprendido en relacin con los otros modos
junto a los cuales est ubicado. Los diferentes modos ofrecen recursos especficos para
elaborar significados y las formas en las que los modos contribuyen a que la elaboracin de
significados que realizan las personas, vare. La representacin de un concepto (por ejemplo:
clulas o partculas) se realiza por los recursos de la escritura en formas que difieren de
los recursos de la imagen, por ejemplo: diferentes aspectos se incluyen o excluyen en una
representacin escrita y en una visual. La escritura no es siempre el recurso central para
elaborar significados en las aplicaciones que se usan en Lengua y Ciencias Naturales, en las
escuelas. En algunos textos la escritura domina y en otros puede haber poca o ninguna
escritura. El diseo particular de las relaciones entre imagen y palabra en un texto impacta en
su potencial forma de significado. Por ejemplo: una aplicacin de computadora puede ser
diseada para presentar toda la fuerza representacional y comunicacional de la imagen y la
palabra alrededor de un signo, la imagen puede ser usada para reforzar el significado de lo
que se dice, de lo que se escribe, etc. A su vez, esta relacin sirve para producir o indicar
1

Nota de la traductora: Of mice and men/De ratones y hombres- Novela escrita por John Steinbeck en
1937.

Multimodalidad, lectura y escritura para el siglo XXI

Por Carey Jewitt

coherencia. Un ejemplo de esta clasificacin de recursos semiticos a travs de modos se

ofrece en el juego de PlayStation Ico (Sony, 2001). Ico trata sobre un nio (Ico) que es
encerrado en un fuerte misterioso y l y su rescatado compaero Yorda deben escapar. Con
este fin, los dos personajes viajan a travs de una especie de laberinto de un fuerte y vencen a
monstruos sombros y a una esquiva reina hechicera. Esta discusin se basa en datos del video
y observacionales de un proyecto piloto diseado para explorar cmo un juego en tanto texto
multimodal se realiza a travs de la interaccin del jugador (Carr y Jewitt, 2005). Mi discusin
se basa en el anlisis multimodal de datos del juego y del video y en la observacin de una
sesin de juego entre tres nios (de 8, 15 y 17 aos de edad). En el juego Ico la calidad efmera
del personaje central Yorda se produce a travs del diseo multimodal de los modos. Esta
cualidad se realiza por el impenetrable discurso de Yorda y sus transcripcin escrita (yo
discutir esto con ms detalle ms adelante en este artculo). Est sealado en las visualmente
mal definidas y cambiantes caractersticas y en los bordes filtrados y borrosos de su forma. Su
voz tranquila, suave, sus gestos lentos y fantasmales que dudan y apenas terminan junto a su
movimiento flotante agregan a esta realizacin del personaje. Cada uno de los modos usados
en la realizacin del personaje Yorda estn diseados para sugerir la misma cosa: ella existe
en un espacio liminal en la frontera entre el castillo en el que el juego est situado dentro y el
mundo fuera del castillo, al cual el jugador debe tratar de escapar.

En otros momentos, la imagen y la escritura se ocupan de diferentes aspectos del significado

en un texto. Aqu me gustara empezar a trabajar en algunas de las nuevas configuraciones
de la imagen y la escritura provocadas por las potencialidades de las nuevas tecnologas. En
particular yo quiero interrogar sobre cmo esas configuraciones impactan en la construccin
de significado, lectura y escritura. Esta discusin necesita ser leda conociendo que los sitios
de la pantalla estn siempre localizados y moldeados socialmente: lo nuevo siempre se
conecta con, se detiene y desliza por sobre lo viejo (Levinson, 1999; Manovich, 2002). Las
formas en que los modos de representacin y comunicacin aparecen en la pantalla estn por
tanto todava conectados con la pgina, presente y pasado. De manera similar la pgina se
conforma incrementalmente y se rehace por la nocin de pantalla. Hay pantallas que se
parecen a pginas y pginas que se parecen a pantallas (por ejemplo: los libros de Dorling
Kindersley). Hasta hace poco la dominancia de la imagen por sobre la palabra ha sido una
caracterstica de los textos diseados para nios pequeos. Ahora, la imagen eclipsa la palabra
en una variedad de textos, en pantalla y fuera de pantalla: hay ms imgenes en pantalla y las

Multimodalidad, lectura y escritura para el siglo XXI

Por Carey Jewitt

imgenes son cada vez ms preeminentes por sobre los elementos escritos. La preeminencia
de la imagen es tpica en muchas aplicaciones de ciencia escolar, como por ejemplo
Multimedia Science School (New Media Press, 2004) (Figura 1).

Figura 1: Captura de pantalla del CD ROM Multimedia Science School

Estos ejemplos estn extrados de mi investigacin sobre multimodalidad, aprendizaje y el

uso de las nuevas tecnologas en Ciencia escolar, Matemtica y Lengua (Jewitt, 2003, 2005).
Aqu me focalizo en una grabacin de video y una observacin del CD ROM Multimedia Science
School en uso en un aula de una escuela secundaria de sptimo ao en la ciudad de Londres.
Cuando la escritura aparece en pantalla, una funcin comn es para nombrar y etiquetar
elementos. En Multimedia Science School, por ejemplo, el diseo de la imagen y la escritura en
pantalla sirve para crear dos reas diferenciadas de la pantalla: un marco y una pantalla
dentro de la pantalla central (Ver figura 1).
El anlisis semitico multimodal del diseo de la pantalla muestra que el marco sirve a la
clasificacin cientfica y al etiquetado del fenmeno cientfico a ser explorado. Hay una serie
de botones que se muestran en el marco. Cada botn tiene una etiqueta escrita sobre l
que relaciona con las reas de los tpicos cubiertos por el CD ROM (por ejemplo: estados de la

Multimodalidad, lectura y escritura para el siglo XXI

Por Carey Jewitt

materia). Estos actan como subttulos escritos para lo que se exhibe visualmente en la
seccin central pantalla dentro de la pantalla. La pantalla dentro de la pantalla en el CD
ROM es un espacio multimodal sin ninguna escritura y muestra el mundo emprico a ser
investigado. Este media y brinda la evidencia que completa los conceptos cientficos (por
ejemplo:estados de la materia) etiquetados por el marco. En otras palabras, la
configuracin de la escritura y la imagen en el CD ROM modalmente marca esos dos aspectos
distintivos de la ciencia escolar; por ejemplo: la teora cientfica y el mundo emprico. El
marco se basa mayormente en la escritura, la disposicin y composicin. La pantalla dentro
de la pantalla se basa en la imagen, el color y el movimiento. No es slo en la ciencia escolar
en la cual la imagen domina la pantalla. Esto tambin es verdadero en las aplicaciones usadas
en la clase de Lengua, sin embargo, como mostrar la forma en la cual la relacin entre
palabra e imagen se configura es bastante diferente.1
La relacin entre imagen y escritura en el CD ROM Of mice and men/De ratones y hombres
ilustra varias caractersticas de la relacin cambiante entre imagen y escritura (Jewitt, 2002).
La imagen cubre ms de la mitad de la pantalla y ms de tres cuartos de las pginas en la
novela en CD ROM. Esto sirve para descentrar la escritura. La escritura se muestra en la
pantalla enmarcada dentro de un bloque blanco, este bloque est colocado sobre una
imagen que llena la pantalla (Figura 2).

Multimodalidad, lectura y escritura para el siglo XXI

Por Carey Jewitt

Figura 2: Captura de pantalla del CD ROM Of mice and me/ De ratones y hombres

El texto completo de la novela Of mice and men/De hombres y ratones se reproduce en el CD

ROM, pero la forma en que est distribuido a travs de la pantalla, como opuesta a la pgina,
difiere. La cantidad de escritura por pantalla se reduce enormemente cuando se compara con
la pgina de la novela (as una pgina est compuesta por tres o cuatro prrafos mientras que
cada pantalla de CD ROM est compuesta por un prrafo). Esta reestructuracin quiebra
la narrativa y desconecta las ideas que previamente corran una pgina hacia fragmentos de la
narrativa a travs de pantallas. El diseo de la escritura en pantalla est conectado con las
demandas epistemolgicas y los requerimientos del rea curricular. En Lengua escolar la
escritura en pantalla representa los conceptos del currculo, aunque en la mayora de los casos
una lectura alternativa de esos conceptos es vuelven disponibles a travs de imagen,
movimiento y otros modos. En la matemtica y ciencia escolar la escritura parece ser usadas
fundamentalmente para nombrar las entidades curriculares cannicas dentro del lenguaje
especializado de la asignatura.

Multimodalidad, lectura y escritura para el siglo XXI

Por Carey Jewitt

La escritura parece cumplir una funcin similar en los juegos de computadora de Play Station.
Mientras que la accin multimodal rueda, la escritura se usa para nombrar un personaje o
para indicar su status, especificar un punto narrativo o identificar una decisin. Por ejemplo,
la decisin de cundo y qu representar mediante la escritura/habla puede dar forma al
personaje del juego y la narrativa. La escritura y el habla pueden ser usadas para dar voz y
expresin a algunos personajes en el juego y no a otros. Al observar a mi hija (8 aos de edad)
y a sus amigos jugar con los juegos de PlayStation, me di cuenta y me interes cmo ellos se
avanzan en los juegos usando el acceso de los personajes a la palabra hablada como una pista
multimodal de su potencial para ayudar a resolver los enigmas y tareas en el juego. El acceso
al lenguaje del personaje indica (fue ledo como parte de) su valor en el juego, por ejemplo: su
valor en lograr el objeto del juego, para recolectar recursos para avanzar al siguiente nivel del
juego). Una anlisis semitico multimodal del juego Kingdom hearts (Sony, 2002) muestra
que algunos personajes tienen el potencial de hablar, algunos responden mediante globos de
textos cuando son abordados por el jugador/avatar, y otros no tienen ningn lenguaje
potencial. Los personajes que tienen la mayora de los modos de comunicacin son la clave
para lograr el xito en el juego. El diseo de la escritura y del habla tambin puede sutilmente
dar forma a la identidad de un personaje de un juego. En el juego Ico (2001), presentado ms
arriba en este artculo, la configuracin del habla y la escritura dentro del juego multimodal
sirve para referenciar la funcin social del lenguaje como una marca de identidad, pertenencia
y diferencia. Esta referencia es central a la narrativa del juego y la tarea de resolver el enigma
del juego y lograr el objetivo, escapar del castillo. El lenguaje que habla Ico es una especie de
Esperanto global, una combinacin no gramatical de elementos de japons, francs y alemn.
El lenguaje hablado de Ico es al mismo tiempo universal e inaccesible. Su habla se traduce en
subttulos que aparecen en la tira inferior del corte de las secuencias del juego. El idioma de
Yorda, como el de Ico, est elaborado por partes reelaboradas de varios lenguajes existentes,
pero es ficcional. Sus palabras habladas son traducidas a un lenguaje pictrico escrito
ficcional. El lenguaje escrito est hecho de letras rizadas que se ubican en algn lugar entre
la letra cursiva japonesa y arbiga. En otras palabras, ni el lenguaje hablado de Yorda ni la
traduccin escrita es accesible al jugador. La relacin entre escritura y habla en este juego
parece casi desafiar su propsito esencial, comunicar.

Multimodalidad, lectura y escritura para el siglo XXI

Por Carey Jewitt

Y sin embargo estos lenguajes incomprensibles significan, a pesar de todos. En el caso de

Yorda la escritura y el habla son formas puras. Indican algo de su personaje a travs de la
inaccesibilidad de su conversacin. El habla y la escritura se usan para representar la
identidad de Yorda como de otro mundo y diferente. Al representar el lenguaje de Yorda
como uno que puede ser hablado y escrito, el diseo de juego construye a Yorda como de tipo
humano, alfabetizada y sociable. Lo que Yorda dice no puede ser conocido, pero el tono
tranquilo, suave y lrico de su voz con el que ella pronuncia sus afirmaciones no
comprensibles es un signo audible de su naturaleza amable e inofensiva (van Leeuwen, 1999).
El guin escrito que representa sus palabras ofrece un eco visual de los signos pictricos
tallados en el sepulcro donde inicialmente Ico es encerrado. De esta manera, el guin escrito
de los subttulos marca la conexin de Yorda con el castillo. El lenguaje hablado marca su
diferencia con Ico. La escritura marca su pertenencia al castillo, el lenguaje marca su
identidad. La forma en que la escritura y el lenguaje hablado son usados en el juego Ico
tambin son parte de la construccin de la relacin entre los personajes Yorda e Ico. Al
observar a los personajes hablar y escuchar, queda claro que Ico no puede comprender el
lenguaje de Yorda (No queda claro si Yorda puede o no comprender lo que Ico dice). Los
jvenes que hemos observado jugando el juego son (como Ico) abandonados a interpretar
visualmente los significados que Yorda lucha por hacer a travs de gestos, movimientos,
posturas y auditivamente a travs de su voz. Su interpretacin y respuesta hacia ella difiere
en la relacin con su experiencia en el juego y la nocin de juego que a su vez depende del
contexto de juego (Carr y Jewitt, 2005). Contrariamente, el jugador tiene acceso al lenguaje de
Ico a travs de los subttulos escritos. Las decisiones del diseador sobre cundo y cmo usar
la escritura y el habla media el flujo de la narrativa como una secuencia multimodal. El grito
desesperado del nombre de Yorda es la nica conversacin contra el fondo de la accin.

El habla de Ico y Yorda despoja lo que se dice, el contenido del lenguaje y en cambio ofrece el
sonido, la forma material del habla. La forma visual material de la escritura puede ser
resaltada de manera similar. Esto despoja el contenido de lo que se escribe, como el lenguaje
escrito ficcional de Yorda. El despojo del contenido de la escritura es lo que pongo ahora en
discusin: la visualizacin de la palabra. Los recursos de las nuevas tecnologas enfatizan el
potencial visual de la escritura en formas que producen nuevas configuraciones de la imagine
y la escritura en pantalla: fuentes, negritas, itlicas, color, disposicin y ms. El carcter visual
de los textos escritos ha sido siempre presentado a los calgrafos, tipgrafos y otros, pero la

Multimodalidad, lectura y escritura para el siglo XXI

Por Carey Jewitt

inclusin y representacin y reconocimiento de las cualidades materiales y visuales de los

textos es ms reciente dentro de la lingstica (vase por ejemplo: Ormerod y Ivanic, 2002;
Shortis y Jewitt, 2004). En ocasiones las fronteras entre la palabra y la imagen aparecen
enteramente permeables e inestables (Chaplin, 1994; Elkins, 1999). El potencial de las nuevas
tecnologas difuminan las fronteras entre lo visual y lo escrito en formas que reformulan los
modos y las relaciones entre ellos. El diseo de la tipografa cintica (Lanham, 2001; Maeda,
2000) es una instancia de esto y una que cuestiona lo que la escritura es y puede ser en el
siglo veintiuno. Esa es una pregunta que se complica an ms por la nocin cambiante de
pantalla y el desarrollo de pantallas tridimensionales, flexibles y transparentes. Estos cambios
repercuten y se conectan con tradiciones visuales del pasado cuando la falta de acceso de la
gente a la escritura como medio de comunicacin significaba que relato visual paralelo estaba
a menudo incrustado en textos visuales escritos vistosos. Por entonces y ahora (aunque por
diferentes razones), la forma visual de la escritura no era una decoracin, era y es significado
diseado. La observacin del uso del CD ROM Of mice and men/De ratones y hombres durante
una serie de clases de Lengua escolar brind un ejemplo de cmo la tipografa, en tanto una
visualizacin de la palabra, contribuye a las maneras en las que los estudiantes forman
significados de un texto. En particular, ofrece reflexiones sobre la forma en que los
estudiantes interpretan el estatus de los personajes dentro de una novela en CD ROM. El CD
ROM da informacin de cada uno de los personas en la forma de una nmina de trabajo, una
lista de nombres de los personajes y roles. La mayora de los nombres de los personajes estn
escritos como una lista usando una fuente que se parece a una vieja mquina de escribir
(estilo Courier) y estn remarcadas en rojo. Los nombres de los personajes el jefe y la
esposa de Curly estn manuscritos en tinta roja junto a la lista. Las diferentes fuentes
tipogrficas usadas en el CD ROM marcan las conexiones y desconexiones entre los personajes
en el relato. Aunque el contraste entre el estilo de fuente, el color, la disposicin espacial, los
dos personajes el jefe y la esposa de Curly son representadas como forasteros. El
comentario manuscrito molestndonos escrito junto al nombre la esposa de Curly va
ms all y la posiciona como una intrusa. La tecnologa codificada en esas dos fuentes marcan
las diferentes distancias sociales entre el visualizador/lector y la gente listada (tambin la
lista en s misma). La fuente de mquina de escribir sugiere una relacin ms distante (ms
fra) que la fuente manuscrita. Cmo y cundo estas dos fuentes diferentes se vinculan en CD
ROM se vuelve entonces una cuestin de eleccin, una cuestin de significado. Por ejemplo, el

Multimodalidad, lectura y escritura para el siglo XXI

Por Carey Jewitt

archivo del dossier sobre la esposa de Curly incluye una imagen de un sobre dirigido a la
esposa de Curly en Speckled Ranch, el lugar de la historia (Figura 3).

Figura 3: Captura de pantalla del dossier de la esposa de Curly en el CD ROM Of mice and men/ De
ratones y hombres

Cuando el usuario hace clic en la imagen del sobre, se activa un hipervnculo a una carta de
Steinbeck dirigida a Clare Luce (el actor que interpret el personaje en una produccin teatral
del libro). El sobre est producido como manuscrito usando la fuente Apple Chancery
mientras que la carta a la que est hipervinculada est producida como tipiada usando la
fuente Courier y barras de desplazamiento. Este patrn de una fuente manuscrita en una
pantalla hipervinculada con un texto usando la fuente Courier ocurre a lo largo de todo el CD
ROM. Esto sirve para producir dos tipos distintivos de escritura. La fuente Apple Chancery
se emplea para indicar algo en el nivel ficcional de la historia. La fuente Courier se emplea
para indicar algo en el nivel factual. La narrativa ficcional de la novela y las descripciones de
los personajes emulan manuscrito y la marca visual de la presencia o esencia de un
escritor humano. La informacin factual incluida en el dossier y en los textos hipervinculados
sobre los lugares histricos que se mencionan en la novela usan Courier, una fuente que

10

Multimodalidad, lectura y escritura para el siglo XXI

Por Carey Jewitt

produce la imagen de una mquina, la vieja y maciza mquina de una mquina de escribir y
sugiere la presencia de tecnologa como ausencia humana.

Figura 4: Captura de pantalla del texto hipervinculado del dossier de la esposa de Curly en el CD ROM
Of mice and men/ De ratones y hombres

La tipografa se emplea aqu para expresar visualmente algo perteneciente tanto a lo personal
y potencialmente ficcional o a lo formal y factual. Estas diferentes fuentes dan a los
estudiantes que leen una pista visual con los diferentes tipos de trabajos con los que se espera
que se comprometan. En el caso de la fuente manuscrita el trabajo de los estudiantes es de
tipo imaginativo, mientras que la fuente Courier sugiere que el tipo de compromiso que se
necesita es ms distante, ms relacionado con hechos histricos y evidencias. De esta forma,
las cualidades de las fuentes empleadas son una clave para el posicionamiento textual del
lector. En ocasiones la escritura en pantalla se vuelve totalmente visual. Con esto queremos
decir que el contenido de la escritura es consumido por esta forma. La escritura se
transforma en imagen cuando es o muy grande o muy pequea para relacionarse con la
prctica de la lectura. El minsculo garabato de palabras impresas se refugia en un texturado
patrn de lneas y es redefinido como una representacin visual en pantalla. Cuando la
escritura cambia de lugar en la pantalla interacta en ritmo con otros modos, por ejemplo: el
significado lingstico de lo que est escrito es a menudo ilegible y se transforma (Jewitt,
2002).

11

Multimodalidad, lectura y escritura para el siglo XXI

Por Carey Jewitt

Algunos piensan que lo mejor es separar imgenes y escritos en las versiones de los libros en
CD ROM porque las imgenes distraen a los estudiantes (Graham, 1996). Desde una
perspectiva multimodal yo veo el diseo de la imagen y la escritura como contribuyendo al
significado de un texto de diferentes formas. Desde este punto de vista, la relacin espacial
entre imagen y escritura es un recurso para dar significado que puede ser til. Cuando la
escritura es separada y pasa a primer plano para dominar la pantalla, puede ser vista como un
tipo de resistencia al potencial multimodal de las nuevas tecnologas y la pantalla. En otras
palabras, una cantidad importante de escritura en pantalla se transforma en un signo o
convencin o tradicin. La escritura en pantalla funciona para referenciar los valores del
conocimiento especializado, la autoridad y autenticidad asociada a lo impreso. Refiere al texto
literario y a la elite educada o, ms prosaicamente, a los exmenes y la evaluacin. Se requiere
una cantidad importante de trabajo para mantener la escritura como el modo dominante en
pantalla. Esto sirve para asegurar la conexin entre lo viejo y lo nuevo. Sin embargo, la
escritura es usualmente una parte del ensamble multimodal de imagen, msica, lenguaje
hablado y elementos en movimiento en la pantalla. No slo los diseadores y los docentes
toman decisiones sobre las relaciones entre imgenes y palabras en los textos. En la prxima
seccin de este artculo analizar un ejemplo sobre cmo los estudiantes se comprometieron
en esas decisiones cuando ellos elaboraron (disearon) textos.

El diseo de la escritura e imagen de los alumnos

Los estudiantes en el aula (y en cualquier otro lugar) se comprometen en la toma de
decisiones complejas sobre qu modo usar y cmo disear de la mejor manera
configuraciones multimodales. Aqu me focalizo en un ejemplo de diseo de imagen y
escritura digital elaborado por estudiantes en un aula de Lengua de sptimo ao. Esta
discusin se basa en un video y en la observacin de una clase en la que los estudiantes
elaboraron un folleto sobre su escuela secundaria para ser enviado a futuros alumnos de las
escuelas primarias locales. Los estudiantes trabajaron en parejas y cada pareja dise un
folleto a doble pgina usando Microsoft Word y cmaras digitales para producir las pginas.
Se presentan dos pginas finales tpicas del folleto en las figuras 5 y 6 (el nombre de la escuela
fue borrado en funcin del anonimato).

12

Multimodalidad, lectura y escritura para el siglo XXI

Por Carey Jewitt

Figura 5: Pgina de un folleto elaborado por un estudiante Tu da en la escuela [nombre de la escuela]

13

Multimodalidad, lectura y escritura para el siglo XXI

Por Carey Jewitt

Figura 6: Pgina de un folleto elaborado por un estudiante La tecnologa de la informacin en la escuela

[nombre de la escuela]

14

Multimodalidad, lectura y escritura para el siglo XXI

Por Carey Jewitt

La tecnologa brindada a los estudiantes incluy acceso a una amplia gama de imgenes
incluyendo clip art, bordes, Word art, logos importados, fotos digitales e imgenes
descargadas y tambin a sus propios dibujos realizados usando las herramientas de Word
Draw. Cada uno de los anuncios en el folleto final se produjo con una fuente diferente, desde la
simple fuente Courier hasta la fuente ornamental Apple Chancery. Algunos estudiantes
escribieron en maysculas sus textos escritos, otros usaron negrita o itlica. Otros estudiantes
eligieron usar Word Art, completando con sombras y efectos tridimensionales. Los
estudiantes parecieron usar las fuentes con un recurso mediante el cual marcar visualmente
su individualidad dentro del proceso colectivo de hacer un folleto, ms que usar la fuente para
marcar coherencia y sentido de audiencia, en la cual el individuo se enmascara dentro de un
carcter uniforme de lo colectivo. Las facilidades del procesamiento de palabras permiti a los
estudiantes disear y redisear sus pginas del folleto para envolver y desenvolver la
escritura alrededor de imgenes, para alterar la orientacin de la pgina de vertical a
horizontal y viceversa, para cambiar los mrgenes, para alternar entre diferentes estilos de
fuentes y tamaos, para importar e eliminar imgenes, etc. Las posibilidades de Microsoft
Word permitieron a los estudiantes manipular el diseo de los elementos visuales y escritos
fcilmente. Esto destaca el trabajo iterativo de diseo, seleccin, adaptacin, visualizacin, etc.
en el cual no se requiri un compromiso inicial. En el proceso de hacer las pginas los
estudiantes se comprometieron en una serie de decisiones y negociaciones. Estas incluyeron
si usar o no un borde, qu tipo de borda, si importar imgenes de clip art o si usar Word
Art, decisiones sobre el empleo de los elementos listo para usar versus hecho en casa. Los
estudiantes tuvieron que componer lo escrito y decidir cmo presentarlo en la pgina. Los
estudiantes dedicaron un tiempo considerable a la disposicin de sus pginas. Los estudiantes
usaron tablas, grillas y otros dispositivos en su diseo de las relaciones entre imagen y
escritura en la pgina. El uso de la grilla en Un da en la escuela (Figura 5) organiza tanto la
imagen como la escritura y brinda una afirmacin visual sobre la organizacin del tiempo en
la escuela como una grilla regulatoria de las prcticas. La escritura funciona como un tipo
uniforme de etiqueta que iguala los diferentes perodos y produce uniformidad centrada
alrededor del tiempo. La disposicin de la tabla, su simetra y las celdas del mismo tamao
contribuyen a la representacin del texto de un da en la escuela como perodos de tiempos
regularizados. Las imgenes distinguen los perodos ofreciendo contenido visual icnico. Los
estudiantes usaron los recursos visuales que estaban disponibles fcilmente en el aula: clip

15

Multimodalidad, lectura y escritura para el siglo XXI

Por Carey Jewitt

art. Ellos adaptaron algunas de las imgenes agregando escritos. Las imgenes de clip art que
ellos seleccionaron presentan la enseanza y la escuela como sinnimos de ocupacin y una
prctica mayormente didctica. La gente est de pie y seala en las pizarras. El uso de las
imgenes por parte de los estudiantes es imaginativo y al mismo tiempo limitado por el origen
de las imgenes dentro de la base de clip art de Office. La eleccin del borde por parte de los
estudiantes en el texto La tecnologa de la informacin en la escuela (Figura 6) est
compuesta por lpices listos para escribir, organizados alrededor de un borde horizontal de
imgenes de computadoras que los estudiantes armaron con la imagen de clip art de una
computadora. Ellos probaron diferentes bordes y colocaron esto diciendo cuando se les
pregunt que lo eligieron porque se refiere a la escritura. En un sentido su seleccin puede
ser vista como un tipo de clasificacin visual de tecnologas de escritura que realiza el uso
principal de una computadora en la escuela: producir textos con procesador de textos. Ahora
me referir a qu reconfiguracin de la imagen y la palabra en pantalla -descripta hasta aqu
en este artculo- significa para la lectura.

La lectura como prctica multimodal

El reconocimiento del carcter multimodal de los textos, tanto impresos como digitales,
impacta en las comprensiones convencionales de la lectura. Los textos que se apoyan
principalmente en la escritura pueden todava ajustarse al concepto de lectura como
compromiso con la palabra. Lo que es ostensiblemente un texto escrito monomodal ofrece al
lector informacin visual importante que se incorpora dentro del proceso de lectura. La
lectura es afectada por la organizacin espacial y el encuadre de la escritura sobre la pgina, la
direccionalidad, forma, tamao y ngulo de un escrito (Kenner, 2004). De este modo
diferentes escrituras pueden ser vistas como diferentes modos, dando lugar a una variedad
de potenciales

para la construccin de significados con diferentes principios

representacionales subyacentes a cada sistema de escritura (Kenner y Kress, 2003, p. 179).

En otras palabras, tanto la escritura como la lectura son actividades multimodales. La
necesidad de repensar la lectura (as como las concepciones de texto) no ha sido confinada a
las tecnologas digitales o la pantalla. Como mencion anteriormente, siempre hay
deslizamientos y conexiones entre lo viejo y lo nuevo.

Como consecuencia, las

concepciones de lectura a travs de una variedad de sitios de la pantalla estn en proceso de

cambio. Los recursos multimodales disponibles a los lectores son centrales para repensar qu

16

Multimodalidad, lectura y escritura para el siglo XXI

Por Carey Jewitt

es la lectura y en qu se transformar en un entorno digital comunicacional hbrido (blended).

Dicho eso, la nueva gama y reconfiguraciones de modos que las tecnologas digitales vuelven
disponibles presenta diferentes potenciales para la lectura de los textos impresos. Estas
reconfiguraciones modales casi demandan que se preste atencin al carcter multimodal de la
lectura. Cuando se compara la experiencia de lectura de una novela impresa o un texto digital
(una novela en CD ROM o una novela en Internet) la gente a menudo conversa sobre qu es
mejor. Esta comparacin es en algn sentido una comparacin falsa, en tanto las nuevas
tecnologas estn usualmente combinadas (blended) con las viejas tecnologas en el aula; es
poco comn que un CD ROM realmente reemplace el libro original. En lugar de preguntar
qu es mejor?, el libro o la pantalla, yo creo que es ms til preguntar qu es mejor para
qu propsito. Considero que la nocin de prdidas y ganancias semiticas de Kress es til
para pensarlo (Kress, 2003). Esta idea puede ser aplicada para la diferencia (las prdidas y
ganancias) para la lectura en el cambio de un medio, el libro impreso, a otro, la pantalla
digital. En otro trabajo yo he discutido la lectura de los estudiantes de una novela en CD
ROM y cmo esto permiti que los estudiantes se involucraran con la novela como pelcula,
historieta y musical (Jewitt, 2005). Aqu discuto cmo esas diferentes dan forma a la
prctica de la lectura usando un ejemplo de la lectura de los estudiantes de una simulacin en
CD ROM en ciencia escolar. La aplicacin Multimedia Science School es multimodal y, como ya
he mencionado, la escritura se restringe a un etiquetado mnimo. Los estudiantes tienen que
leer color, movimiento e imagen para poder construir sentido del concepto de partculas. La
aplicacin Multimedia Science School usa imagen y color para construir las entidades de
estados de la materia (slido, lquido y gas) y partculas. En el CD ROM las imgenes se
presentan como evidencia de aspectos criteriales de partculas. El trabajo de los estudiantes
(en este ejemplo estudiantes de sptimo ao en una clase de Ciencia) consiste en leer el
significado para construir la nocin de partcula. Para leer las imgenes los estudiantes
necesitan ser capaces de comprender qu es y a qu deberan prestar atencin. Ellos
necesitan saber qu seleccionar como elementos relevantes
representacin visual.

e importantes de la

Los estudiantes usando la aplicacin que he observado y

videograbado, estaban activamente involucrados con los recursos visuales exhibidos en la

pantalla del CD ROM. En algunos puntos los recursos visuales de color, textura y forma
empleados en la aplicacin parecan estar en conflicto con su lectura visual cotidiana del
mundo. Para algunos estudiantes exista una tensin entre la realizacin visual de la teora
cientfica y la vida cotidiana como era mostrada en el CD ROM. Esto caus una confusin

17

Multimodalidad, lectura y escritura para el siglo XXI

Por Carey Jewitt

considerable en la lectura de los estudiantes y en la construccin de las partculas. Un ejemplo

de esto fue la lectura que realizaron los estudiantes de la secuencia de simulacin que
mostraba la transformacin de slido a lquido. La imagen, el movimiento animado y el color
estn diseados para representar la disposicin de las partculas de slido a lquido. Este
diseo intenta mostrar las partculas animadas superpuestas sobre el agua como una
representacin alternativa de un lquido. Durante la clase yo not que varios estudiantes
interpretaron las partculas en la imagen como una parte de un lquido (el agua mostrada
en el fondo). Mientras trabajaban con el CD ROM, una de las estudiantes, Lucy, coment que
las partculas estaban sostenidas en el agua como gelatina. Ella no entendi la imagen de las
partculas como una representacin del agua. Lucy no distingui entre el recurso visual del
fondo o primer plano (capa superpuesta). En cambio, su construccin de la entidad partcula
es la de algo que existe dentro de un lquido, un slido o un gas ms que la partcula como
una cosa que constituye un lquido, slido o gas. Otra representacin visual problemtica en el
CD ROM es la transformacin de lquido a slido. El uso del color en esta secuencia fue lo ms
problemtico a ser ledo por los estudiantes. La pantalla de apertura de la transformacin de
lquido a slido muestra una cubeta de precipitacin dentro de otra cubeta. La exterior
contiene hielo y la interior contiene agua. El agua es representada con un color celeste
blancuzco plido con cualidades de reflejos. La escritura en el marco de la pantalla muestra
claramente que eso es lo que los estudiantes estn observando. A pesar de la clara etiqueta,
los estudiantes estaban confundidos con respecto a qu estaban observando. Los estudiantes
no tomaron en cuenta la informacin escrita que se les haba ofrecido a travs de la
escritura en el marco cientfico del CD ROM. En cambio, ellos se apoyaron solamente en la
imagen y el color para leer la transformacin. Este es un ejemplo de la dominancia del modo
visual y su impacto en la lectura de los estudiantes. Pareciera ser que la brecha conceptual
entre la escritura en el marco y la imagen en la pantalla dentro de la pantalla es
simplemente demasiado importante para que los estudiantes sean capaces de construir
sentido a partir de esto. Esta dificultad pareci ser una consecuencia de una diferencia en los
principios que emplearon los estudiantes y los principios que emplearon los diseadores de la
aplicacin en relacin con el uso de los recursos modales de color, textura y forma. Los
principios de los diseadores entraron en conflicto con los principios de los estudiantes para
comprender esos recursos. Los estudiantes a menudo privilegian un modo por sobre otros
modos cuando leen textos multimodales.

Desde mi perspectiva, sucede de manera

incremental que los lectores, especialmente los lectores jvenes y los lectores alfabetizados en

18

Multimodalidad, lectura y escritura para el siglo XXI

Por Carey Jewitt

computadoras, privilegian la imagen y el color por sobre la escritura cuando leen un texto
multimodal.

En el ejemplo de la transformacin de lquido a slido los estudiantes leyeron la

representacin de un lquido para ser un slido. Este episodio muestra cmo los estudiantes
se enganchan con las representaciones modales en la pantalla de manera diferente para
construir sentido de una representacin. Esto muestra cmo los estudiantes privilegian o
ponen en primer plano algunos modos como modos ms confiables en su lectura. La
secuencia multimodal est claramente etiquetada mediante la escritura en el marco como
transformacin de lquido a slido. Las partculas se muestran en movimiento ms libre y
ms veloz al principio de la secuencia que en la pantalla final en la que las partculas se
mueven lentamente o casi no se mueven y estn distribuidas de forma compacta. La
direccin de una lnea trazada sobre el grfico muestra la temperatura en la parte superior del
grfico como ms alta que la temperatura que figura en la parte inferior del grfico. En otras
palabras, la direccionalidad del grfico representa una disminucin de la temperatura. Incluso
la conversacin de los estudiantes demuestra que ellos comprenden que la sustancia est
siendo enfriada y que el grfico est mostrando una disminucin de temperatura. A pesar de
esta informacin, los estudiantes no leen la transformacin como una transformacin de
lquido a slido. La prominencia y el alto valor de realismo dado a los recursos de imagen,
color y textura invalidan todo lo que los estudiantes saben. Los diseadores produjeron un
texto multimodal, estos estudiantes lo leyeron visualmente. Esto resalta el rol importante
del docente en mediar con las aplicaciones computacionales en el aula. Por ejemplo, el
docente podra haber empleado esta lectura como un punto til para la discusin del realismo
y las formas en que la ciencia escolar ofrece formas alternativas de visualizar y pensar acerca
del mundo. Junto con la eleccin de qu modo leer, la estructura de muchos textos digitales
abre opciones sobre dnde comenzar a leer un texto/qu camino de lectura seguir. Esta
pregunta est intrnsecamente ligada con el foco central de este artculo, por ejemplo: cmo la
relacin entre imagen y escritura cambia ambos: las formas de conocimiento y las prcticas de
lectura y escritura. El diseo de modos a menudo ofrece a los estudiantes diferentes puntos de
entrada a un texto, caminos posibles a travs de un texto y resalta el potencial de los lectores
para rehacer un texto a travs de su lectura. El lector est involucrado en la tarea de
encontrar y crear caminos de lectura a travs de los textos multimodales y multidireccionales
en la pantalla, una fluidez que est comenzando a filtrarse en la pgina de los libros impresos

19

Multimodalidad, lectura y escritura para el siglo XXI

Por Carey Jewitt

(Kress, 2003; Moss, 2001). La escritura, la imagen y otros modos se combinan para comunicar
mltiples significados y alientan al lector a rechazar una nica interpretar y a asumir
mltiples lecturas posibles de un texto (Coles y Hall, 2001). El carcter multimodal de la
pantalla no indica un nico punto de entrada, un comienza y un final, en cambio indica que los
textos estn presentados en capas y ofrecen mltiples puntos de entrada. Esto ofrece al lector
nuevas potencialidades para la lectura de un texto y el diseo de un texto a travs de su
involucramiento con ste. La lectura de un texto escrito sobre una pgina es usualmente un
evento lineal en el que el autor y el ilustrador guan el ojo en una direccin particular
conectada con la lectura de un texto. Ciertamente es el caso de que los mltiples caminos de
lectura son siempre parte del repertorio de un lector experimentado (Coles y Hall, 2001). Los
textos multimodales de la pantalla redefinen el trabajo del lector quien tiene el trabajo de
construir una narrativa o imponer sus propios significados a travs de su camino a travs del
texto. Algunos han proclamado que la narrativa lineal ha muerto y otros afirman que nunca ha
estado viva. Yo creo que las narrativas siguen viviendo en diferentes formas a travs de una
gama de medios. Dicho esto, yo creo que las facilidades de las nuevas tecnologas hacen que la
narrativa no lineal se logre ms que en la pgina impresa. El diseo de algunos libros para
nios (por ejemplo The jolly pocket postman, Ahlberg y Ahlberg, 1995) y muchas revistas
dirigidas a la gente joven sirven para fragmentar la nocin de narrativa lineal y alientan a los
lectores a verse a s mismos como escritores. Al hacerlo, estos textos deshacen las formas
literarias de clausura y narrativa. Sin embargo, el potencial para el movimiento y la clausura a
travs de textos en pantalla es fundamentalmente diferente de la mayora de las formas
literarias clsicas basadas en los libros y ofrece al lectora el potencial de crear (aunque
parcialmente) el texto a ser ledo. La pregunta no es qu tipo de narrativa es mejor, sino qu
puede hacerse (significar) con los recursos que los diferentes tipos de narrativas ponen a
disposicin. Es una pregunta que refiere a qu tipos de narrativas se ajustan mejor con las
facilidades de los diferentes medios para propsitos particulares y qu rol tienen la imagen y
la escritura en su configuracin.

Comentarios finales
A pesar del carcter multimodal de los textos basados en pantallas y del proceso de diseo y
produccin del texto, la lectura de la poltica educativa y la evaluacin continan para proveer
una visin lingstica de la alfabetizacin y una visin lineal de la lectura. Esto fracasa al

20

Multimodalidad, lectura y escritura para el siglo XXI

Por Carey Jewitt

conectar los tipos de alfabetismos que se requieren en la escuela con los mundos fuera de la
escuela para la mayora de la gente. La Estrategia de Alfabetizacin nacional del gobierno
(Departamento de Educacin y Habilidades, 1998) en Inglaterra es ese tipo de poltica. Est
formada por una conceptualizacin de la alfabetizacin lingstica y basada en lo impreso en
la que el foco est puesto en la palabra, la oracin y el texto. Simultneamente, las
estrategias de los gobiernos proclaman el poder de las nuevas tecnologas para cambiar todo.
El carcter multimodal de las nuevas tecnologas produce una tensin para las concepciones
tradicionales de alfabetismo que mantienen el lenguaje escrito en su centro. Las formas
tradicionales de evaluacin continan poniendo nfasis en la escritura a mano y la ortografa,
habilidades que las facilidades de las computadoras hacen que sean relevantes de manera
diferente para el aprendizaje. Al mismo tiempo, la evaluacin fracasa para acreditar la
adquisicin de nuevas habilidades que las nuevas tecnologas demandan a los estudiantes,
tales como encontrar, seleccin, procesar y presentar informacin de Internet y otras fuentes
Somekh et al., 2001). Yo quiero sugerir que el carcter multimodal y las facilidades de la
nueva tecnologa requieren que los conceptos de alfabetismo tradicionales (basados en lo
impreso) sean reformados. Lo que significa ser alfabetizado en la era digital del siglo XXI es
diferente de lo que era necesario previamente (Gardener, 2000). Si la alfabetizacin escolar
quiere ser relevante en funcin de las demandas del entorno multimodal del mundo ampliado
debe apartarse de la reduccin del alfabetismo como una serie esttica de habilidades
tcnicas o arriesgarse a fomentar una poblacin de analfabetos funcionales (McClay, 2002).
En sntesis, la alfabetizacin escolar necesita ser expandida para reflejar los sistemas
semiticos que usan los jvenes (Unsworth, 2001; Jewitt, 2005).

Referencias
Ahlberg, J., & Alhberg, A. (1995). The jolly pocket postman. London: William Heinemann.
Carr, D., & Jewitt, C. (2005). Multimodality and the playable text . Paper presented at Computer Assisted Learning
Conference, Bristol University, 6 April 2005.
Chaplin, E. (1994). Sociological and visual representation . London: Routledge.
Coles, M., & Hall, C. (2001). Breaking the line: New literacies, postmodernism and the teaching of printed texts.
United Kingdom Reading Association , 35(3), 111/114. Department for Education and Skills. (1998). The National
Literacy Strategy . Retrieved February 13, 2005, from http://www.nc.uk.net.
Elkins, J. (1999). The domain of images. New York: Cornell University Press.

21

Multimodalidad, lectura y escritura para el siglo XXI

Por Carey Jewitt

Gardener, P. (2000). Literacy and media texts in secondary English . London: Cassell Education.
Graham, J. (1996). Trouble for Arthurs teacher: A close look at reading CD-ROMs. InM. Simons (Ed.), Where weve
been: Articles from the English and Media Magazine (pp. 285/290). London: English and Media Centre.
Jewitt, C. (2002). The move from page to screen: The multimodal reshaping of school English. Journal of Visual
Communication, 1(2), 171/196.
Jewitt, C. (2003). Reshaping literacy and learning: A multimodal framework for technology mediated learning.
Unpublished doctoral dissertation, Institute of Education, London University.
Jewitt, C. (2005). Technology, literacy, learning . London: Routledge Falmer.
Kenner, C. (2004). Becoming biliterate: Young children learning different writing systems. Stoke on Trent:
Trentham Books.
Kenner, C., & Kress, G. (2003). The multisemiotic resources of biliterate children. Journal of Early Childhood
Literacy, 3(2), 179/202.
Kress, G. (2003). Literacy in the new media age . London: Routledge.
Kress, G., & van Leeuwen, T. (2001). Multimodal discourse: The modes and media of contemporary communication.
London: Arnold.
Kress, G., Jewitt, C., Bourne, J., Franks, A., Hardcastle, J., Jones, K., et al. (2005). Urban
classrooms, subject English: Multimodal perspectives on teaching and learning . London: RoutledgeFalmer.
Lanham, R. (2001). What next for text? Education, Communication, and Information , 1(1), 59/74.
Levinson, P. (1999). Digital McLuhan: A guide to the information millennium. London: Routledge.
McClay, J. (2002). Intricate complexities. English in Education, 36(1), 36/54. Maeda, J. (2000). Maeda @ Media.
London: Thames and Hudson.
Manovich, L. (2002). The language of new media. Cambridge, MA: MIT Press.
Moss, G. (2001). To work or play? Junior age non-fiction as objects of design. Reading, Literacy and Language,
35(3), 106/110.
Ormerod, F., & Ivanic, R. (2002). Materiality in childrens meaning making practices. Visual Communication, 1(1),
65/91.
Shortis, T., & Jewitt, C. (2004). The multimodal ecology of texts in A-level examinations . Paper presented at British
Association of Applied Linguistics, Kings College, London, 13 September 2004.
Somekh, B., Barnes, S., Triggs, P., Sutherland, R., Passey, D., Holt, H., et al. (2001). NGfL Pathfinders: Preliminary
report on the roll-out of the NGfL Programme in ten Pathfinder LEAs. London: Department for Education and Skills.
Unsworth, L. (2001). Teaching multiliteracies across the curriculum: Changing contexts of text and image in
classroom practice . Buckingham: Open University Press.
van Leeuwen, T. (1999). Speech, music, sound. London: Macmillan.
van Leeuwen, T. (2005). Introducing social semiotics . London: Routledge.

22

Multimodalidad, lectura y escritura para el siglo XXI

Por Carey Jewitt

Aplicaciones
New Media Press. (2001). Multimedia science school (CD ROM). Oxon: New Media Press.
Penguin Electronics. (1996). Of mice and men (CD ROM), Steinbeck Series. New York: Penguin Electronics.
Sony. (2001). Ico . San Mateo, CA, USA: Sony.
Sony. (2002). Kingdom hearts . San Mateo, CA, USA: Sony.

Notas
1. Esta discusin se basa en videograbaciones y observaciones de uso del CD ROM Of mice and men/ De
ratones y hombres en una serie de clases de Lengua en noveno ao en una escuela de la ciudad de
Londres.

23