Multimodalidad, “lectura” y “escritura” para el siglo XXI

Por Carey Jewitt

Multimodalidad, “lectura” y “escritura” para el siglo XXI

Por Carey Jewitt
Universidad de Londres, Reino Unido

en Discourse: Studies in the Cultural Politics of Education, Vol. 26, N° 3, Septiembre de 2005.
pp. 315–331.

Como las palabras vuelan en las pantallas, dan vueltas y se disuelven; la imagen, el sonido y el
movimiento ingresan en la escuela en “nuevas” y significativas formas, formas que
reconfiguran la relación entre imagen y palabra. En este artículo discutiré esas “nuevas”
configuraciones multimodales y exploraré cómo impactan en las producciones de escritos y
lecturas de los alumnos en escuelas inglesas. Examinaré el cambiante rol de la escritura en
pantalla, específicamente cómo el carácter visual de la escritura y el rol crecientemente
dominante de la imagen desestabiliza y descentra la predominancia de la palabra. A través de
ilustrativos ejemplos de aplicaciones TIC y las interacciones de los estudiantes con éstas en
Lengua y Ciencia escolar (y juegos en el contexto del hogar), exploraré cómo éstas parecen
promover la imagen por sobre la escritura. Más en general, discutiré qué significa todo esto
para la alfabetización y cómo los lectores en edad escolar interpretan los textos multimodales.

Introducción

Las tecnologías basadas en impresos y pantallas permiten disponer de diferentes modos y

recursos semióticos en formas que moldean los procesos de elaboración de significados. La
particular comprensión intuitiva material y social (Kress y van Leween, 2001; van Leween,
2005) de las nuevas tecnologías y pantallas, como opuestas a las páginas, han conducido a una
reconfiguración de la imagen y la escritura en pantalla en formas que son significativas para la
escritura y la lectura. En este artículo describo algunas de esas configuraciones y exploro las
decisiones de diseño tomadas respecto de cuándo y cómo la escritura, el discurso y la imagen
son utilizados para mediar en la elaboración de significados. Mi intención a lo largo del
artículo es desafiar el primer plano de la palabra escrita y establecer la necesidad de
investigación y práctica educativa que mire más allá de lo lingüístico. En este proceso yo
espero demostrar cómo los útiles análisis multimodales pueden realizarse tanto en el
contexto de la alfabetización escolar como en el de las aplicaciones computacionales y los

1
 Multimodalidad, “lectura” y “escritura” para el siglo XXI
Por Carey Jewitt

juegos (Kress y van Leween, 2001; Kress et al, 2005, van Leween, 2005). La lectura y la
escritura basadas en impresos son y siempre han sido multimodales. Estas requieren de la
interpretación y el diseño de marcas visuales, espacio, color, fuentes o estilo y, cada vez más
imagen y otros modos de representación y comunicación (Kenner, 2004). Un enfoque
multimodal hace posible que sean atendidos y se vaya más allá de verlos como decoración.
Reúno aquí una variedad de ejemplos ilustrativos con el propósito de explorar cómo las
nuevas tecnologías transforman las prácticas de lecturas. Estos ejemplos incluyen
aplicaciones computacionales (Microsoft Word), CD ROMs (Multimedia Science School [New
Media Press, 2001] ) y Of mice and men1 [Penguin Electronics, 1996] y juegos (Kingdom hearts
[Sony, 2002] e Ico [Sony, 2001]). Estos han sido seleccionados para mostrar la gama de
configuraciones de imagen y palabra y para comenzar a explorar cómo esas configuraciones
pueden ser moldeadas por las asignaturas del currículo y por los diferentes contextos de uso.

La escritura en el entorno multimodal de la pantalla

Los textos en pantalla son ensambles multimodales complejos de imagen, sonido, movimiento
animado y otros modos de representación y comunicación. La escritura es un modo en este
ensamble y su significado por tanto necesita ser comprendido en relación con los otros modos
junto a los cuales está ubicado. Los diferentes modos ofrecen recursos específicos para
elaborar significados y las formas en las que los modos contribuyen a que la elaboración de
significados que realizan las personas, varíe. La representación de un concepto (por ejemplo:
“células” o “partículas”) se realiza por los recursos de la escritura en formas que difieren de
los recursos de la imagen, por ejemplo: diferentes aspectos se incluyen o excluyen en una
representación escrita y en una visual. La escritura no es siempre el recurso central para
elaborar significados en las aplicaciones que se usan en Lengua y Ciencias Naturales, en las
escuelas. En algunos textos la escritura domina y en otros puede haber poca o ninguna
escritura. El diseño particular de las relaciones entre imagen y palabra en un texto impacta en
su potencial forma de significado. Por ejemplo: una aplicación de computadora puede ser
diseñada para presentar toda la “fuerza” representacional y comunicacional de la imagen y la
palabra alrededor de un signo, la imagen puede ser usada para reforzar el significado de lo
que se dice, de lo que se escribe, etc. A su vez, esta relación sirve para producir o indicar

1Nota de la traductora: Of mice and men/De ratones y hombres- Novela escrita por John Steinbeck en
1937.

2
 Multimodalidad, “lectura” y “escritura” para el siglo XXI
Por Carey Jewitt

coherencia. Un ejemplo de esta clasificación de recursos semióticos a través de modos se

ofrece en el juego de PlayStation Ico (Sony, 2001). Ico trata sobre un niño (Ico) que es
encerrado en un fuerte misterioso y él y su rescatado compañero Yorda deben escapar. Con
este fin, los dos personajes viajan a través de una especie de laberinto de un fuerte y vencen a
monstruos sombríos y a una esquiva reina hechicera. Esta discusión se basa en datos del video
y observacionales de un proyecto piloto diseñado para explorar cómo un juego en tanto texto
multimodal se realiza a través de la interacción del jugador (Carr y Jewitt, 2005). Mi discusión
se basa en el análisis multimodal de datos del juego y del video y en la observación de una
sesión de juego entre tres niños (de 8, 15 y 17 años de edad). En el juego Ico la calidad efímera
del personaje central Yorda se produce a través del diseño multimodal de los modos. Esta
cualidad se realiza por el impenetrable discurso de Yorda y sus “transcripción escrita” (yo
discutiré esto con más detalle más adelante en este artículo). Está señalado en las visualmente
mal definidas y cambiantes características y en los bordes filtrados y borrosos de su forma. Su
voz tranquila, suave, sus gestos lentos y fantasmales que dudan y apenas terminan junto a su
movimiento flotante agregan a esta realización del personaje. Cada uno de los modos usados
en la realización del personaje Yorda están diseñados para sugerir la misma cosa: ella existe
en un espacio liminal en la frontera entre el castillo en el que el juego está situado dentro y el
mundo fuera del castillo, al cual el jugador debe tratar de escapar.

En otros momentos, la imagen y la escritura se ocupan de diferentes aspectos del significado

en un texto. Aquí me gustaría empezar a trabajar en algunas de las “nuevas” configuraciones
de la imagen y la escritura provocadas por las potencialidades de las nuevas tecnologías. En
particular yo quiero interrogar sobre cómo esas configuraciones impactan en la construcción
de significado, lectura y escritura. Esta discusión necesita ser leída conociendo que los sitios
de la pantalla están siempre localizados y moldeados socialmente: lo “nuevo” siempre se
conecta con, se detiene y desliza por sobre lo “viejo” (Levinson, 1999; Manovich, 2002). Las
formas en que los modos de representación y comunicación aparecen en la pantalla están por
tanto todavía conectados con la página, presente y pasado. De manera similar la página se
conforma incrementalmente y se rehace por la noción de pantalla. Hay pantallas que se
parecen a páginas y páginas que se parecen a pantallas (por ejemplo: los libros de Dorling
Kindersley). Hasta hace poco la dominancia de la imagen por sobre la palabra ha sido una
característica de los textos diseñados para niños pequeños. Ahora, la imagen eclipsa la palabra
en una variedad de textos, en pantalla y fuera de pantalla: hay más imágenes en pantalla y las

3
 Multimodalidad, “lectura” y “escritura” para el siglo XXI
Por Carey Jewitt

imágenes son cada vez más preeminentes por sobre los elementos escritos. La preeminencia
de la imagen es típica en muchas aplicaciones de ciencia escolar, como por ejemplo
Multimedia Science School (New Media Press, 2004) (Figura 1).

Figura 1: Captura de pantalla del CD ROM Multimedia Science School

Estos ejemplos están extraídos de mi investigación sobre multimodalidad, aprendizaje y el

uso de las nuevas tecnologías en Ciencia escolar, Matemática y Lengua (Jewitt, 2003, 2005).
Aquí me focalizo en una grabación de video y una observación del CD ROM Multimedia Science
School en uso en un aula de una escuela secundaria de séptimo año en la ciudad de Londres.
Cuando la escritura aparece en pantalla, una función común es para nombrar y etiquetar
elementos. En Multimedia Science School, por ejemplo, el diseño de la imagen y la escritura en
pantalla sirve para crear dos áreas diferenciadas de la pantalla: un “marco” y una “pantalla
dentro de la pantalla” central (Ver figura 1).
El análisis semiótico multimodal del diseño de la pantalla muestra que el “marco” sirve a la
clasificación científica y al etiquetado del fenómeno científico a ser explorado. Hay una serie
de “botones” que se muestran en el marco. Cada “botón” tiene una “etiqueta” escrita sobre él
que relaciona con las áreas de los tópicos cubiertos por el CD ROM (por ejemplo: estados de la

4
 Multimodalidad, “lectura” y “escritura” para el siglo XXI
Por Carey Jewitt

materia). Estos actúan como “subtítulos” escritos para lo que se exhibe visualmente en la
sección central “pantalla dentro de la pantalla”. La “pantalla dentro de la pantalla” en el CD
ROM es un espacio multimodal sin ninguna escritura y muestra el mundo empírico a ser
investigado. Este media y brinda la evidencia que “completa” los conceptos científicos (por
ejemplo:”estados de la materia”) etiquetados por el “marco”. En otras palabras, la
configuración de la escritura y la imagen en el CD ROM modalmente marca esos dos aspectos
distintivos de la ciencia escolar; por ejemplo: la teoría científica y el mundo empírico. El
“marco” se basa mayormente en la escritura, la disposición y composición. La “pantalla dentro
de la pantalla” se basa en la imagen, el color y el movimiento. No es sólo en la ciencia escolar
en la cual la imagen domina la pantalla. Esto también es verdadero en las aplicaciones usadas
en la clase de Lengua, sin embargo, como mostraré la forma en la cual la relación entre
palabra e imagen se configura es bastante diferente.1
La relación entre imagen y escritura en el CD ROM Of mice and men/De ratones y hombres
ilustra varias características de la relación cambiante entre imagen y escritura (Jewitt, 2002).
La imagen cubre más de la mitad de la pantalla y más de tres cuartos de las “páginas” en la
novela en CD ROM. Esto sirve para descentrar la escritura. La escritura se muestra en la
pantalla enmarcada dentro de un bloque blanco, este “bloque” está “colocado sobre” una
imagen que “llena la pantalla” (Figura 2).

5
 Multimodalidad, “lectura” y “escritura” para el siglo XXI
Por Carey Jewitt

Figura 2: Captura de pantalla del CD ROM Of mice and me/ De ratones y hombres

El texto completo de la novela Of mice and men/De hombres y ratones se reproduce en el CD

ROM, pero la forma en que está distribuido a través de la pantalla, como opuesta a la página,
difiere. La cantidad de escritura por pantalla se reduce enormemente cuando se compara con
la página de la novela (así una página está compuesta por tres o cuatro párrafos mientras que
cada pantalla de CD ROM está compuesta por un párrafo). Esta “reestructuración” “quiebra”
la narrativa y desconecta las ideas que previamente corrían una página hacia fragmentos de la
narrativa a través de pantallas. El diseño de la escritura en pantalla está conectado con las
demandas epistemológicas y los requerimientos del área curricular. En Lengua escolar la
escritura en pantalla representa los conceptos del currículo, aunque en la mayoría de los casos
una lectura alternativa de esos conceptos es vuelven disponibles a través de imagen,
movimiento y otros modos. En la matemática y ciencia escolar la escritura parece ser usadas
fundamentalmente para nombrar las entidades curriculares canónicas dentro del lenguaje
especializado de la asignatura.

6
 Multimodalidad, “lectura” y “escritura” para el siglo XXI
Por Carey Jewitt

La escritura parece cumplir una función similar en los juegos de computadora de Play Station.
Mientras que la acción multimodal rueda, la escritura se usa para nombrar un personaje o
para indicar su status, especificar un punto narrativo o identificar una decisión. Por ejemplo,
la decisión de cuándo y qué representar mediante la escritura/habla puede dar forma al
personaje del juego y la narrativa. La escritura y el habla pueden ser usadas para dar voz y
expresión a algunos personajes en el juego y no a otros. Al observar a mi hija (8 años de edad)
y a sus amigos jugar con los juegos de PlayStation, me di cuenta y me interesó cómo ellos se
avanzan en los juegos usando el acceso de los personajes a la palabra hablada como una pista
multimodal de su potencial para ayudar a resolver los enigmas y tareas en el juego. El acceso
al lenguaje del personaje indica (fue leído como parte de) su valor en el juego, por ejemplo: su
valor en lograr el objeto del juego, para recolectar recursos para avanzar al siguiente nivel del
juego). Una análisis semiótico multimodal del juego Kingdom hearts (Sony, 2002) muestra
que algunos personajes tienen el potencial de hablar, algunos responden mediante globos de
textos cuando son abordados por el jugador/avatar, y otros no tienen ningún lenguaje
potencial. Los personajes que tienen la mayoría de los modos de comunicación son la clave
para lograr el éxito en el juego. El diseño de la escritura y del habla también puede sutilmente
dar forma a la identidad de un personaje de un juego. En el juego Ico (2001), presentado más
arriba en este artículo, la configuración del habla y la escritura dentro del juego multimodal
sirve para referenciar la función social del lenguaje como una marca de identidad, pertenencia
y diferencia. Esta referencia es central a la narrativa del juego y la tarea de resolver el enigma
del juego y lograr el objetivo, escapar del castillo. El “lenguaje” que habla Ico es una especie de
Esperanto global, una combinación no gramatical de elementos de japonés, francés y alemán.
El lenguaje hablado de Ico es al mismo tiempo universal e inaccesible. Su habla se traduce en
subtítulos que aparecen en la tira inferior del corte de las secuencias del juego. El idioma de
Yorda, como el de Ico, está elaborado por partes reelaboradas de varios lenguajes existentes,
pero es “ficcional”. Sus palabras habladas son traducidas a un lenguaje pictórico escrito
“ficcional”. El lenguaje escrito está hecho de letras rizadas que se ubican en algún lugar entre
la letra cursiva japonesa y arábiga. En otras palabras, ni el lenguaje hablado de Yorda ni la
traducción escrita es accesible al jugador. La relación entre escritura y habla en este juego
parece casi desafiar su propósito esencial, comunicar.

7
 Multimodalidad, “lectura” y “escritura” para el siglo XXI
Por Carey Jewitt

Y sin embargo estos lenguajes incomprensibles significan, a pesar de todos. En el caso de

Yorda la escritura y el habla son formas puras. Indican algo de su personaje a través de la
inaccesibilidad de su conversación. El habla y la escritura se usan para representar la
identidad de Yorda como de otro mundo y diferente. Al representar el “lenguaje” de Yorda
como uno que puede ser hablado y escrito, el diseño de juego construye a Yorda como de tipo
humano, alfabetizada y sociable. Lo que Yorda “dice” no puede ser conocido, pero el tono
tranquilo, suave y lírico de su voz con el que ella pronuncia sus afirmaciones no
comprensibles es un signo audible de su naturaleza amable e inofensiva (van Leeuwen, 1999).
El guión escrito que representa sus palabras ofrece un eco visual de los signos pictóricos
tallados en el sepulcro donde inicialmente Ico es encerrado. De esta manera, el guión escrito
de los subtítulos marca la conexión de Yorda con el castillo. El lenguaje hablado marca su
diferencia con Ico. La escritura marca su pertenencia al castillo, el lenguaje marca su
identidad. La forma en que la escritura y el lenguaje hablado son usados en el juego Ico
también son parte de la construcción de la relación entre los personajes Yorda e Ico. Al
observar a los personajes hablar y escuchar, queda claro que Ico no puede comprender el
lenguaje de Yorda (No queda claro si Yorda puede o no comprender lo que Ico dice). Los
jóvenes que hemos observado jugando el juego son (como Ico) abandonados a interpretar
visualmente los significados que Yorda lucha por hacer a través de gestos, movimientos,
posturas y auditivamente a través de su voz. Su interpretación y respuesta hacia ella difiere
en la relación con su experiencia en el juego y la noción de juego que a su vez depende del
contexto de juego (Carr y Jewitt, 2005). Contrariamente, el jugador tiene acceso al lenguaje de
Ico a través de los subtítulos escritos. Las decisiones del diseñador sobre cuándo y cómo usar
la escritura y el habla media el flujo de la narrativa como una secuencia multimodal. El grito
desesperado del nombre de Yorda es la única conversación contra el fondo de la acción.

El habla de Ico y Yorda despoja lo que se dice, el contenido del lenguaje y en cambio ofrece el
sonido, la forma material del habla. La forma visual material de la escritura puede ser
resaltada de manera similar. Esto despoja el contenido de lo que se escribe, como el lenguaje
escrito ficcional de Yorda. El despojo del contenido de la escritura es lo que pongo ahora en
discusión: la visualización de la palabra. Los recursos de las nuevas tecnologías enfatizan el
potencial visual de la escritura en formas que producen nuevas configuraciones de la imagine
y la escritura en pantalla: fuentes, negritas, itálicas, color, disposición y más. El carácter visual
de los textos escritos ha sido siempre presentado a los calígrafos, tipógrafos y otros, pero la

8
 Multimodalidad, “lectura” y “escritura” para el siglo XXI
Por Carey Jewitt

inclusión y representación y reconocimiento de las cualidades materiales y visuales de los

textos es más reciente dentro de la lingüística (véase por ejemplo: Ormerod y Ivanic, 2002;
Shortis y Jewitt, 2004). En ocasiones las fronteras entre la palabra y la imagen aparecen
enteramente permeables e inestables (Chaplin, 1994; Elkins, 1999). El potencial de las nuevas
tecnologías difuminan las fronteras entre lo visual y lo escrito en formas que “reformulan los
modos” y las relaciones entre ellos. El diseño de la tipografía cinética (Lanham, 2001; Maeda,
2000) es una instancia de esto y una que cuestiona lo que la escritura es y puede ser en el
siglo veintiuno. Esa es una pregunta que se complica aún más por la noción cambiante de
pantalla y el desarrollo de pantallas tridimensionales, flexibles y transparentes. Estos cambios
repercuten y se conectan con tradiciones visuales del pasado cuando la falta de acceso de la
gente a la escritura como medio de comunicación significaba que relato visual paralelo estaba
a menudo incrustado en textos visuales escritos vistosos. Por entonces y ahora (aunque por
diferentes razones), la forma visual de la escritura no era una decoración, era y es significado
diseñado. La observación del uso del CD ROM Of mice and men/De ratones y hombres durante
una serie de clases de Lengua escolar brindó un ejemplo de cómo la tipografía, en tanto una
visualización de la palabra, contribuye a las maneras en las que los estudiantes forman
significados de un texto. En particular, ofrece reflexiones sobre la forma en que los
estudiantes interpretan el estatus de los personajes dentro de una novela en CD ROM. El CD
ROM da información de cada uno de los personas en la forma de una “nómina de trabajo”, una
lista de nombres de los personajes y roles. La mayoría de los nombres de los personajes están
escritos como una lista usando una fuente que se parece a una vieja máquina de escribir
(estilo Courier) y están remarcadas en rojo. Los nombres de los personajes “el jefe” y “la
esposa de Curly” están “manuscritos” en tinta roja junto a la lista. Las diferentes fuentes
tipográficas usadas en el CD ROM marcan las conexiones y desconexiones entre los personajes
en el relato. Aunque el contraste entre el estilo de fuente, el color, la disposición espacial, los
dos personajes “el jefe” y “la esposa de Curly” son representadas como forasteros. El
comentario “manuscrito” “molestándonos” escrito junto al nombre “la esposa de Curly” va
más allá y la posiciona como una intrusa. La tecnología codificada en esas dos fuentes marcan
las diferentes distancias sociales entre el visualizador/lector y la gente listada (también la
lista en sí misma). La fuente de máquina de escribir sugiere una relación más distante (más
fría) que la fuente “manuscrita”. Cómo y cuándo estas dos fuentes diferentes se vinculan en CD
ROM se vuelve entonces una cuestión de elección, una cuestión de significado. Por ejemplo, el

9
 Multimodalidad, “lectura” y “escritura” para el siglo XXI
Por Carey Jewitt

archivo del dossier sobre “la esposa de Curly” incluye una imagen de un sobre dirigido a “la
esposa de Curly” en Speckled Ranch, el lugar de la historia (Figura 3).

Figura 3: Captura de pantalla del dossier de la esposa de Curly en el CD ROM Of mice and men/ De
ratones y hombres

Cuando el usuario hace clic en la imagen del sobre, se activa un hipervínculo a una carta de
Steinbeck dirigida a Clare Luce (el actor que interpretó el personaje en una producción teatral
del libro). El sobre está producido como “manuscrito” usando la fuente Apple Chancery
mientras que la carta a la que está hipervinculada está producida como “tipiada” usando la
fuente Courier y barras de desplazamiento. Este patrón de una fuente “manuscrita” en una
pantalla hipervinculada con un texto usando la fuente Courier ocurre a lo largo de todo el CD
ROM. Esto sirve para producir dos tipos “distintivos” de escritura. La fuente Apple Chancery
se emplea para indicar algo en el nivel ficcional de la historia. La fuente Courier se emplea
para indicar algo en el nivel factual. La narrativa ficcional de la novela y las descripciones de
los personajes emulan “manuscrito” y la marca visual de la “presencia” o “esencia” de un
escritor humano. La información factual incluida en el dossier y en los textos hipervinculados
sobre los lugares históricos que se mencionan en la novela usan Courier, una fuente que

10
 Multimodalidad, “lectura” y “escritura” para el siglo XXI
Por Carey Jewitt

produce la imagen de una máquina, la vieja y maciza máquina de una máquina de escribir y
sugiere la presencia de tecnología como ausencia humana.

Figura 4: Captura de pantalla del texto hipervinculado del dossier de la esposa de Curly en el CD ROM
Of mice and men/ De ratones y hombres

La tipografía se emplea aquí para expresar visualmente algo perteneciente tanto a lo personal
y potencialmente ficcional o a lo formal y factual. Estas diferentes fuentes dan a los
estudiantes que leen una pista visual con los diferentes tipos de trabajos con los que se espera
que se comprometan. En el caso de la fuente manuscrita el trabajo de los estudiantes es de
tipo imaginativo, mientras que la fuente Courier sugiere que el tipo de compromiso que se
necesita es más distante, más relacionado con hechos históricos y evidencias. De esta forma,
las cualidades de las fuentes empleadas son una clave para el posicionamiento textual del
lector. En ocasiones la escritura en pantalla se vuelve “totalmente visual”. Con esto queremos
decir que el “contenido” de la escritura es “consumido” por esta forma. La escritura se
transforma en imagen cuando es o muy grande o muy pequeña para relacionarse con la
práctica de la lectura. El minúsculo garabato de palabras impresas se refugia en un texturado
patrón de líneas y es redefinido como una representación visual en pantalla. Cuando la
escritura cambia de lugar en la pantalla interactúa en ritmo con otros modos, por ejemplo: el
significado lingüístico de lo que está escrito es a menudo ilegible y se transforma (Jewitt,
2002).

11
 Multimodalidad, “lectura” y “escritura” para el siglo XXI
Por Carey Jewitt

Algunos piensan que lo mejor es separar imágenes y escritos en las versiones de los libros en
CD ROM porque las imágenes distraen a los estudiantes (Graham, 1996). Desde una
perspectiva multimodal yo veo el diseño de la imagen y la escritura como contribuyendo al
significado de un texto de diferentes formas. Desde este punto de vista, la relación espacial
entre imagen y escritura es un recurso para dar significado que puede ser útil. Cuando la
escritura es separada y pasa a primer plano para dominar la pantalla, puede ser vista como un
tipo de “resistencia” al potencial multimodal de las nuevas tecnologías y la pantalla. En otras
palabras, una cantidad importante de escritura en pantalla se transforma en un signo o
convención o tradición. La escritura en pantalla funciona para referenciar los valores del
conocimiento especializado, la autoridad y autenticidad asociada a lo impreso. Refiere al texto
literario y a la elite educada o, más prosaicamente, a los exámenes y la evaluación. Se requiere
una cantidad importante de trabajo para mantener la escritura como el modo dominante en
pantalla. Esto sirve para asegurar la conexión entre lo viejo y lo nuevo. Sin embargo, la
escritura es usualmente una parte del ensamble multimodal de imagen, música, lenguaje
hablado y elementos en movimiento en la pantalla. No sólo los diseñadores y los docentes
toman decisiones sobre las relaciones entre imágenes y palabras en los textos. En la próxima
sección de este artículo analizará un ejemplo sobre cómo los estudiantes se comprometieron
en esas decisiones cuando ellos elaboraron (diseñaron) textos.

El diseño de la escritura e imagen de los alumnos

Los estudiantes en el aula (y en cualquier otro lugar) se comprometen en la toma de

decisiones complejas sobre qué modo usar y cómo diseñar de la mejor manera
configuraciones multimodales. Aquí me focalizo en un ejemplo de diseño de imagen y
escritura digital elaborado por estudiantes en un aula de Lengua de séptimo año. Esta
discusión se basa en un video y en la observación de una clase en la que los estudiantes
elaboraron un folleto sobre su escuela secundaria para ser enviado a futuros alumnos de las
escuelas primarias locales. Los estudiantes trabajaron en parejas y cada pareja diseñó un
folleto a doble página usando Microsoft Word y cámaras digitales para producir las páginas.
Se presentan dos páginas finales típicas del folleto en las figuras 5 y 6 (el nombre de la escuela
fue borrado en función del anonimato).

12
 Multimodalidad, “lectura” y “escritura” para el siglo XXI
Por Carey Jewitt

Figura 5: Página de un folleto elaborado por un estudiante Tu día en la escuela [nombre de la escuela]

13
 Multimodalidad, “lectura” y “escritura” para el siglo XXI
Por Carey Jewitt

Figura 6: Página de un folleto elaborado por un estudiante La tecnología de la información en la escuela

[nombre de la escuela]

14
 Multimodalidad, “lectura” y “escritura” para el siglo XXI
Por Carey Jewitt

La tecnología brindada a los estudiantes incluyó acceso a una amplia gama de imágenes
incluyendo clip art, bordes, Word art, logos importados, fotos digitales e imágenes
descargadas y también a sus propios dibujos realizados usando las herramientas de Word
Draw. Cada uno de los anuncios en el folleto final se produjo con una fuente diferente, desde la
simple fuente Courier hasta la fuente ornamental Apple Chancery. Algunos estudiantes
escribieron en mayúsculas sus textos escritos, otros usaron negrita o itálica. Otros estudiantes
eligieron usar Word Art, completando con sombras y efectos tridimensionales. Los
estudiantes parecieron usar las fuentes con un recurso mediante el cual marcar visualmente
su individualidad dentro del proceso colectivo de hacer un folleto, más que usar la fuente para
marcar coherencia y sentido de audiencia, en la cual el individuo se enmascara dentro de un
carácter uniforme de lo colectivo. Las facilidades del procesamiento de palabras permitió a los
estudiantes diseñar y rediseñar sus páginas del folleto para envolver y desenvolver la
escritura alrededor de imágenes, para alterar la orientación de la página de vertical a
horizontal y viceversa, para cambiar los márgenes, para alternar entre diferentes estilos de
fuentes y tamaños, para importar e eliminar imágenes, etc. Las posibilidades de Microsoft
Word permitieron a los estudiantes manipular el diseño de los elementos visuales y escritos
fácilmente. Esto destaca el trabajo iterativo de diseño, selección, adaptación, visualización, etc.
en el cual no se requirió un compromiso inicial. En el proceso de hacer las páginas los
estudiantes se comprometieron en una serie de decisiones y negociaciones. Estas incluyeron
si usar o no un borde, qué tipo de borda, si importar imágenes de “clip art” o si usar “Word
Art”, decisiones sobre el empleo de los elementos “listo para usar” versus “hecho en casa”. Los
estudiantes tuvieron que componer lo escrito y decidir cómo presentarlo en la página. Los
estudiantes dedicaron un tiempo considerable a la disposición de sus páginas. Los estudiantes
usaron tablas, grillas y otros “dispositivos” en su diseño de las relaciones entre imagen y
escritura en la página. El uso de la grilla en “Un día en la escuela” (Figura 5) organiza tanto la
imagen como la escritura y brinda una afirmación visual sobre la organización del tiempo en
la escuela como una grilla regulatoria de las prácticas. La escritura funciona como un tipo
uniforme de etiqueta que iguala los diferentes períodos y produce uniformidad centrada
alrededor del tiempo. La disposición de la tabla, su simetría y las celdas del mismo tamaño
contribuyen a la representación del texto de un día en la escuela como períodos de tiempos
regularizados. Las imágenes distinguen los períodos ofreciendo contenido visual icónico. Los
estudiantes usaron los recursos visuales que estaban disponibles fácilmente en el aula: clip

15
 Multimodalidad, “lectura” y “escritura” para el siglo XXI
Por Carey Jewitt

art. Ellos adaptaron algunas de las imágenes agregando escritos. Las imágenes de clip art que
ellos seleccionaron presentan la enseñanza y la escuela como sinónimos de ocupación y una
práctica mayormente didáctica. La gente está de pie y señala en las pizarras. El uso de las
imágenes por parte de los estudiantes es imaginativo y al mismo tiempo limitado por el origen
de las imágenes dentro de la base de clip art de Office. La elección del borde por parte de los
estudiantes en el texto “La tecnología de la información en la escuela” (Figura 6) está
compuesta por lápices listos para escribir, organizados alrededor de un borde horizontal de
imágenes de computadoras que los estudiantes armaron con la imagen de clip art de una
computadora. Ellos probaron diferentes bordes y colocaron esto diciendo cuando se les
preguntó que lo eligieron porque “se refiere a la escritura”. En un sentido su selección puede
ser vista como un tipo de clasificación visual de “tecnologías de escritura” que realiza el uso
principal de una computadora en la escuela: producir textos con procesador de textos. Ahora
me referiré a qué reconfiguración de la imagen y la palabra en pantalla -descripta hasta aquí
en este artículo- significa para la lectura.

La lectura como práctica multimodal

El reconocimiento del carácter multimodal de los textos, tanto impresos como digitales,
impacta en las comprensiones convencionales de la lectura. Los textos que se apoyan
principalmente en la escritura pueden todavía “ajustarse” al concepto de lectura como
compromiso con la palabra. Lo que es ostensiblemente un texto escrito monomodal ofrece al
lector información visual importante que se incorpora dentro del proceso de lectura. La
lectura es afectada por la organización espacial y el encuadre de la escritura sobre la página, la
direccionalidad, forma, tamaño y ángulo de un escrito (Kenner, 2004). De este modo
“diferentes escrituras pueden ser vistas como diferentes modos, dando lugar a una variedad
de potenciales para la construcción de significados” con diferentes “principios
representacionales” subyacentes a cada sistema de escritura (Kenner y Kress, 2003, p. 179).
En otras palabras, tanto la escritura como la lectura son actividades multimodales. La
necesidad de repensar la lectura (así como las concepciones de texto) no ha sido confinada a
las tecnologías digitales o la pantalla. Como mencioné anteriormente, siempre hay
“deslizamientos” y “conexiones” entre lo “viejo” y lo “nuevo”. Como consecuencia, las
concepciones de lectura a través de una variedad de sitios de la pantalla están en proceso de
cambio. Los recursos multimodales disponibles a los lectores son centrales para repensar qué

16
 Multimodalidad, “lectura” y “escritura” para el siglo XXI
Por Carey Jewitt

es la lectura y en qué se transformará en un entorno digital comunicacional híbrido (blended).

Dicho eso, la ”nueva” gama y reconfiguraciones de modos que las tecnologías digitales vuelven
disponibles presenta diferentes potenciales para la lectura de los textos impresos. Estas
reconfiguraciones modales casi demandan que se preste atención al carácter multimodal de la
lectura. Cuando se compara la experiencia de lectura de una novela impresa o un texto digital
(una “novela en CD ROM” o una novela en Internet) la gente a menudo conversa sobre qué es
“mejor”. Esta comparación es en algún sentido una comparación falsa, en tanto las “nuevas
tecnologías” están usualmente combinadas (blended) con las “viejas” tecnologías en el aula; es
poco común que un CD ROM realmente reemplace el libro original. En lugar de preguntar
“¿qué es mejor?”, el libro o la pantalla, yo creo que es más útil preguntar qué es “mejor” para
qué propósito. Considero que la noción de pérdidas y ganancias semióticas de Kress es útil
para pensarlo (Kress, 2003). Esta idea puede ser aplicada para la diferencia (las pérdidas y
ganancias) para la lectura en el cambio de un medio, el libro impreso, a otro, la pantalla
digital. En otro trabajo yo he discutido la lectura de los estudiantes de “una novela en CD
ROM” y cómo esto permitió que los estudiantes se involucraran con la novela como “película”,
“historieta” y “musical” (Jewitt, 2005). Aquí discuto cómo esas diferentes dan forma a la
práctica de la lectura usando un ejemplo de la lectura de los estudiantes de una simulación en
CD ROM en ciencia escolar. La aplicación Multimedia Science School es multimodal y, como ya
he mencionado, la escritura se restringe a un etiquetado mínimo. Los estudiantes tienen que
leer color, movimiento e imagen para poder construir sentido del concepto de “partículas”. La
aplicación Multimedia Science School usa imagen y color para construir las entidades de
“estados de la materia” (sólido, líquido y gas) y “partículas”. En el CD ROM las imágenes se
presentan como evidencia de aspectos criteriales de “partículas”. El trabajo de los estudiantes
(en este ejemplo estudiantes de séptimo año en una clase de Ciencia) consiste en “leer” el
significado para construir la noción de partícula. Para “leer” las imágenes los estudiantes
necesitan ser capaces de comprender qué es y a qué deberían prestar atención. Ellos
necesitan saber qué seleccionar como elementos relevantes e importantes de la
representación visual. Los estudiantes usando la aplicación que he observado y
videograbado, estaban activamente involucrados con los recursos visuales exhibidos en la
pantalla del CD ROM. En algunos puntos los recursos visuales de color, textura y forma
empleados en la aplicación parecían estar en conflicto con su lectura visual cotidiana del
mundo. Para algunos estudiantes existía una tensión entre la realización visual de la teoría
científica y la vida cotidiana como era mostrada en el CD ROM. Esto causó una confusión

17
 Multimodalidad, “lectura” y “escritura” para el siglo XXI
Por Carey Jewitt

considerable en la lectura de los estudiantes y en la construcción de las partículas. Un ejemplo

de esto fue la lectura que realizaron los estudiantes de la secuencia de simulación que
mostraba la transformación de sólido a líquido. La imagen, el movimiento animado y el color
están diseñados para representar la disposición de las “partículas” de sólido a líquido. Este
diseño intenta mostrar las partículas animadas superpuestas sobre el agua como una
representación alternativa de un líquido. Durante la clase yo noté que varios estudiantes
interpretaron las “partículas” en la imagen como “una parte de” un líquido (el agua mostrada
en el fondo). Mientras trabajaban con el CD ROM, una de las estudiantes, Lucy, comentó que
las partículas estaban “sostenidas en el agua como gelatina”. Ella no entendió la imagen de las
partículas como una representación del agua. Lucy no distinguió entre el recurso visual del
fondo o primer plano (capa superpuesta). En cambio, su construcción de la entidad “partícula”
es la de algo que “existe dentro” de un líquido, un sólido o un gas más que la partícula como
una cosa que constituye un líquido, sólido o gas. Otra representación visual problemática en el
CD ROM es la transformación de líquido a sólido. El uso del color en esta secuencia fue lo más
problemático a “ser leído” por los estudiantes. La pantalla de apertura de la transformación de
“líquido” a “sólido” muestra una cubeta de precipitación dentro de otra cubeta. La exterior
contiene hielo y la interior contiene agua. El agua es representada con un color celeste
blancuzco pálido con cualidades de reflejos. La escritura en el “marco” de la pantalla muestra
claramente que eso es lo que los estudiantes están observando. A pesar de la clara etiqueta,
los estudiantes estaban confundidos con respecto a qué estaban observando. Los estudiantes
no “tomaron en cuenta” la información escrita que se les había ofrecido a través de la
escritura en el “marco” científico del CD ROM. En cambio, ellos se apoyaron solamente en la
imagen y el color para “leer” la transformación. Este es un ejemplo de la dominancia del modo
visual y su impacto en la lectura de los estudiantes. Pareciera ser que la “brecha” conceptual
entre la escritura en el “marco” y la imagen en la “pantalla dentro de la pantalla” es
simplemente demasiado importante para que los estudiantes sean capaces de construir
sentido a partir de esto. Esta dificultad pareció ser una consecuencia de una diferencia en los
principios que emplearon los estudiantes y los principios que emplearon los diseñadores de la
aplicación en relación con el uso de los recursos modales de color, textura y forma. Los
principios de los diseñadores entraron en conflicto con los principios de los estudiantes para
comprender esos recursos. Los estudiantes a menudo privilegian un modo por sobre otros
modos cuando leen textos multimodales. Desde mi perspectiva, sucede de manera
incremental que los lectores, especialmente los lectores jóvenes y los lectores alfabetizados en

18
 Multimodalidad, “lectura” y “escritura” para el siglo XXI
Por Carey Jewitt

computadoras, privilegian la imagen y el color por sobre la escritura cuando leen un texto
multimodal.

En el ejemplo de la transformación de líquido a sólido los estudiantes “leyeron” la

representación de un líquido para “ser un sólido”. Este episodio muestra cómo los estudiantes
se enganchan con las representaciones modales en la pantalla de manera diferente para
construir sentido de una representación. Esto muestra cómo los estudiantes privilegian o
ponen en primer plano algunos modos como modos más “confiables” en su lectura. La
secuencia multimodal está claramente etiquetada mediante la escritura en el “marco” como
transformación de ”líquido a sólido”. Las “partículas” se muestran en movimiento más libre y
más veloz al principio de la secuencia que en la pantalla final en la que las “partículas se
mueven lentamente o “casi no se mueven” y están distribuidas de forma compacta. La
dirección de una línea trazada sobre el gráfico muestra la temperatura en la parte superior del
gráfico como “más alta” que la temperatura que figura en la parte inferior del gráfico. En otras
palabras, la direccionalidad del gráfico representa una disminución de la temperatura. Incluso
la conversación de los estudiantes demuestra que ellos comprenden que la sustancia está
siendo enfriada y que el gráfico está mostrando una disminución de temperatura. A pesar de
esta información, los estudiantes no leen la transformación como una transformación de
líquido a sólido. La prominencia y el alto valor de realismo dado a los recursos de imagen,
color y textura invalidan todo lo que los estudiantes saben. Los diseñadores produjeron un
texto multimodal, estos estudiantes “lo leyeron” visualmente. Esto resalta el rol importante
del docente en mediar con las aplicaciones computacionales en el aula. Por ejemplo, el
docente podría haber empleado esta lectura como un punto útil para la discusión del realismo
y las formas en que la ciencia escolar ofrece formas alternativas de visualizar y pensar acerca
del mundo. Junto con la elección de qué modo “leer”, la estructura de muchos textos digitales
abre opciones sobre dónde comenzar a leer un texto/qué camino de lectura seguir. Esta
pregunta está intrínsecamente ligada con el foco central de este artículo, por ejemplo: cómo la
relación entre imagen y escritura cambia ambos: las formas de conocimiento y las prácticas de
lectura y escritura. El diseño de modos a menudo ofrece a los estudiantes diferentes puntos de
entrada a un texto, caminos posibles a través de un texto y resalta el potencial de los lectores
para rehacer un texto a través de su lectura. El “lector” está involucrado en la tarea de
encontrar y crear caminos de lectura a través de los textos multimodales y multidireccionales
en la pantalla, una fluidez que está comenzando a filtrarse en la página de los libros impresos

19
 Multimodalidad, “lectura” y “escritura” para el siglo XXI
Por Carey Jewitt

(Kress, 2003; Moss, 2001). La escritura, la imagen y otros modos se combinan para comunicar
múltiples significados y alientan al lector a rechazar una única interpretar y a asumir
múltiples lecturas posibles de un texto (Coles y Hall, 2001). El carácter multimodal de la
pantalla no indica un único punto de entrada, un comienza y un final, en cambio indica que los
textos están presentados en capas y ofrecen múltiples puntos de entrada. Esto ofrece al lector
nuevas potencialidades para la lectura de un texto y el diseño de un texto a través de su
involucramiento con éste. La lectura de un texto escrito sobre una página es usualmente un
evento lineal en el que el autor y el ilustrador guían el ojo en una dirección particular
conectada con la lectura de un texto. Ciertamente es el caso de que los múltiples caminos de
lectura son siempre parte del repertorio de un lector experimentado (Coles y Hall, 2001). Los
textos multimodales de la pantalla redefinen el trabajo del lector quien tiene el trabajo de
construir una narrativa o imponer sus propios significados a través de su camino a través del
texto. Algunos han proclamado que la narrativa lineal ha muerto y otros afirman que nunca ha
estado viva. Yo creo que las narrativas “siguen viviendo” en diferentes formas a través de una
gama de medios. Dicho esto, yo creo que las facilidades de las nuevas tecnologías hacen que la
narrativa no lineal se logre más que en la página impresa. El diseño de algunos libros para
niños (por ejemplo The jolly pocket postman, Ahlberg y Ahlberg, 1995) y muchas revistas
dirigidas a la gente joven sirven para fragmentar la noción de narrativa lineal y alientan a los
lectores a verse a sí mismos como escritores. Al hacerlo, estos textos “deshacen” las formas
literarias de clausura y narrativa. Sin embargo, el potencial para el movimiento y la clausura a
través de textos en pantalla es fundamentalmente diferente de la mayoría de las formas
literarias clásicas basadas en los libros y ofrece al lectora el potencial de crear (aunque
parcialmente) el texto a ser leído. La pregunta no es qué tipo de narrativa es mejor, sino qué
puede hacerse (significar) con los recursos que los diferentes tipos de narrativas ponen a
disposición. Es una pregunta que refiere a qué tipos de narrativas se ajustan mejor con las
facilidades de los diferentes medios para propósitos particulares y qué rol tienen la imagen y
la escritura en su configuración.

Comentarios finales

A pesar del carácter multimodal de los textos basados en pantallas y del proceso de diseño y
producción del texto, la lectura de la política educativa y la evaluación continúan para proveer
una visión lingüística de la alfabetización y una visión lineal de la lectura. Esto fracasa al

20
 Multimodalidad, “lectura” y “escritura” para el siglo XXI
Por Carey Jewitt

conectar los tipos de alfabetismos que se requieren en la escuela con “los mundos fuera de la
escuela” para la mayoría de la gente. La Estrategia de Alfabetización nacional del gobierno
(Departamento de Educación y Habilidades, 1998) en Inglaterra es ese tipo de política. Está
formada por una conceptualización de la alfabetización lingüística y basada en lo impreso en
la que el foco está puesto en la “palabra”, la oración y el texto. Simultáneamente, las
estrategias de los gobiernos proclaman el poder de las nuevas tecnologías para cambiar todo.
El carácter multimodal de las nuevas tecnologías produce una tensión para las concepciones
tradicionales de alfabetismo que mantienen el lenguaje escrito en su centro. Las formas
tradicionales de evaluación continúan poniendo énfasis en la escritura a mano y la ortografía,
habilidades que las facilidades de las computadoras hacen que sean relevantes de manera
diferente para el aprendizaje. Al mismo tiempo, la evaluación fracasa para acreditar la
adquisición de nuevas habilidades que las nuevas tecnologías demandan a los estudiantes,
tales como encontrar, selección, procesar y presentar información de Internet y otras fuentes
Somekh et al., 2001). Yo quiero sugerir que el carácter multimodal y las facilidades de la
nueva tecnología requieren que los conceptos de alfabetismo tradicionales (basados en lo
impreso) sean reformados. Lo que significa ser alfabetizado en la era digital del siglo XXI es
diferente de lo que era necesario previamente (Gardener, 2000). Si la alfabetización escolar
quiere ser relevante en función de las demandas del entorno multimodal del mundo ampliado
debe apartarse de la reducción del alfabetismo como “una serie estática de habilidades
técnicas” o arriesgarse a fomentar una población de analfabetos funcionales (McClay, 2002).
En síntesis, la alfabetización escolar necesita ser expandida para reflejar los sistemas
semióticos que usan los jóvenes (Unsworth, 2001; Jewitt, 2005).

Referencias

Ahlberg, J., & Alhberg, A. (1995). The jolly pocket postman. London: William Heinemann.

Carr, D., & Jewitt, C. (2005). Multimodality and the playable text . Paper presented at Computer Assisted Learning
Conference, Bristol University, 6 April 2005.

Chaplin, E. (1994). Sociological and visual representation . London: Routledge.

Coles, M., & Hall, C. (2001). Breaking the line: New literacies, postmodernism and the teaching of printed texts.
United Kingdom Reading Association , 35(3), 111/114. Department for Education and Skills. (1998). The National
Literacy Strategy . Retrieved February 13, 2005, from http://www.nc.uk.net.

Elkins, J. (1999). The domain of images. New York: Cornell University Press.

21
 Multimodalidad, “lectura” y “escritura” para el siglo XXI
Por Carey Jewitt

Gardener, P. (2000). Literacy and media texts in secondary English . London: Cassell Education.

Graham, J. (1996). Trouble for Arthur’s teacher: A close look at reading CD-ROMs. InM. Simons (Ed.), Where we’ve
been: Articles from the English and Media Magazine (pp. 285/290). London: English and Media Centre.

Jewitt, C. (2002). The move from page to screen: The multimodal reshaping of school English. Journal of Visual
Communication, 1(2), 171/196.

Jewitt, C. (2003). Reshaping literacy and learning: A multimodal framework for technology mediated learning.
Unpublished doctoral dissertation, Institute of Education, London University.

Jewitt, C. (2005). Technology, literacy, learning . London: Routledge Falmer.

Kenner, C. (2004). Becoming biliterate: Young children learning different writing systems. Stoke on Trent:
Trentham Books.

Kenner, C., & Kress, G. (2003). The multisemiotic resources of biliterate children. Journal of Early Childhood
Literacy, 3(2), 179/202.

Kress, G. (2003). Literacy in the new media age . London: Routledge.

Kress, G., & van Leeuwen, T. (2001). Multimodal discourse: The modes and media of contemporary communication.
London: Arnold.

Kress, G., Jewitt, C., Bourne, J., Franks, A., Hardcastle, J., Jones, K., et al. (2005). Urban

classrooms, subject English: Multimodal perspectives on teaching and learning . London: RoutledgeFalmer.

Lanham, R. (2001). What next for text? Education, Communication, and Information , 1(1), 59/74.

Levinson, P. (1999). Digital McLuhan: A guide to the information millennium. London: Routledge.

McClay, J. (2002). Intricate complexities. English in Education, 36(1), 36/54. Maeda, J. (2000). Maeda @ Media.
London: Thames and Hudson.

Manovich, L. (2002). The language of new media. Cambridge, MA: MIT Press.

Moss, G. (2001). To work or play? Junior age non-fiction as objects of design. Reading, Literacy and Language,
35(3), 106/110.

Ormerod, F., & Ivanic, R. (2002). Materiality in children’s meaning making practices. Visual Communication, 1(1),
65/91.

Shortis, T., & Jewitt, C. (2004). The multimodal ecology of texts in A-level examinations . Paper presented at British
Association of Applied Linguistics, Kings College, London, 13 September 2004.

Somekh, B., Barnes, S., Triggs, P., Sutherland, R., Passey, D., Holt, H., et al. (2001). NGfL Pathfinders: Preliminary
report on the roll-out of the NGfL Programme in ten Pathfinder LEAs. London: Department for Education and Skills.

Unsworth, L. (2001). Teaching multiliteracies across the curriculum: Changing contexts of text and image in
classroom practice . Buckingham: Open University Press.

van Leeuwen, T. (1999). Speech, music, sound. London: Macmillan.

van Leeuwen, T. (2005). Introducing social semiotics . London: Routledge.

22
 Multimodalidad, “lectura” y “escritura” para el siglo XXI
Por Carey Jewitt

Aplicaciones

New Media Press. (2001). Multimedia science school (CD ROM). Oxon: New Media Press.
Penguin Electronics. (1996). Of mice and men (CD ROM), Steinbeck Series. New York: Penguin Electronics.
Sony. (2001). Ico . San Mateo, CA, USA: Sony.
Sony. (2002). Kingdom hearts . San Mateo, CA, USA: Sony.

Notas

1. Esta discusión se basa en videograbaciones y observaciones de uso del CD ROM Of mice and men/ De
ratones y hombres en una serie de clases de Lengua en noveno año en una escuela de la ciudad de
Londres.

23