Realidad Aumentada: análisis semiótico de la

imagen que aumenta la realidad

Marcela Lonchuk

¿Cómo es la imagen que aumenta la realidad?

La imagen de Realidad Aumentada literalmente aumenta la

realidad. Produce y representa eventos en una realidad extendida que va
desde el extremo de un entorno real al extremo de un entorno virtual.
¿Cómo lo hace? Es que o es una imagen generada completamente
mediante tecnología digital, que funde capas de objetos y escenarios
reales con capas de objetos y escenarios virtuales, o es una imagen
capturada mediante cámaras que efectúan tomas en 360 grados y que
producen una esfera de realidad en torno al usuario. El resultado es un
tipo de representación mixta, que muestra objetos y escenarios cuya
existencia es real, e incrementa la información sobre los mismos
agregando objetos y escenarios, cuya existencia es virtual.

Antes de continuar, quiero dejar en claro que en este texto me

propongo enfatizar el aspecto visual de la imagen producida mediante
Realidad Aumentada, más allá de que esa tecnología sea capaz de
 Realidad Aumentada 11

producir no sólo representaciones visuales, sino audiovisuales, que hasta

invitan a experiencias cercanas al tacto.

Rasgos de la imagen visual producida por sistemas de

Realidad Aumentada

La imagen visual producida por los sistemas de Realidad

Aumentada es desconcertante respecto de los rasgos que han
caracterizado desde siempre a la imagen visual, en principio a las
imágenes de la pintura o de la fotografía.
Es una imagen interactiva, inmersiva y carece de algunas
indexicalidades.

Interactividad
Es una imagen interactiva porque no está esperando en alguna
parte, en algún formato perceptible, sino que, como dice Sonesson,
“como cualquier otro genio de botella, debe invocarse cada vez que se
quiere percibir” (2003, pág. 21). Es una imagen que se manifiesta en un
determinado instante, de manera rápida y pasajera, cada vez que alguien
decide ser usuario de algún tipo de sistema de los que pueden hacer
perceptible un entorno de Realidad Aumentada. Y si el usuario se
desconecta, desaparece.

Otra de sus peculiaridades es que diferentes puntos de vista de

los usuarios, diferentes decisiones de actuación respecto de los objetos o
escenarios representados, hacen que sufra modificaciones, que cambie.
Un mismo usuario en dos momentos diferentes, o dos usuarios distintos,
puede/n provocar imágenes de apariencia diferente y tener experiencias
diferentes. Los sistemas de Realidad Aumentada están preparados para
 Realidad Aumentada 12

la interactuación, aunque la tecnología tiene hoy limitaciones que irá

superando. Si pensamos simplemente en los hologramas, se puede
deambular a su alrededor y mirar a un mismo objeto desde diferentes
perspectivas, lo cual genera para los usuarios toda una gama de
experiencias perceptivas. Y si nos atrevemos con las imágenes en 360
grados, ahí la cosa se pone más seria, porque mediante GPS, brújulas y
acelerómetros, son capaces de reposicionarse según los movimientos de
la cabeza y del cuerpo del usuario, y no sólo para re-direccionar lo
visible, sino también lo audible, puesto que si uno va andando por el
borde de un acantilado, y gira modificando la dirección que lleva,
cambia su ángulo de visión y lo mismo sucede con el sonido del viento o
del agua. No suena igual si uno lo tiene de frente, detrás o de lado.
Todos esos efectos logrados por la tecnología se traducen en una imagen
que tiene una estructura conformada por una especie de botones,
mediante los cuales las actuaciones del usuario se acoplan a la imagen.

Los conceptos de affordances (Gibson, 1979) y effectivities

(Turvey, 1992) explican de qué modo los objetos presentan unos rasgos
que devienen en recursos, los cuales favorecen el acoplamiento
(Maturana y Varela, 1994) entre la estructura de los objetos y las
actuaciones desplegadas por los usuarios de los mismos.

La aplicación de los conceptos de affordances y effectivities al

análisis del acoplamiento de las imágenes mediadas por sistemas de
Realidad Aumentada con las actuaciones de los usuarios pone de
manifiesto cuatro recursos de la imagen y sus correspondientes efectos
en los usuarios: presencia, ecualización de la información, espacialidad
inmersiva y empatía.
 Realidad Aumentada 13

Presencia
El usuario de Realidad Aumentada se siente presente (Greimas y
Fontanille, 1991 y Contreras, 2012) dentro del mundo representado por
la imagen. Esa experiencia de presencia es creada mediante dos tipos de
recursos de la imagen: pistas visuales y pistas narrativas. Las pistas
visuales son referencias acerca de quiénes somos dentro de la imagen
(una camiseta de jugador de fútbol o un atuendo de cirujano que nos
calzamos virtualmente) y acerca de por dónde podemos interactuar con
los objetos y en los escenarios del mundo representado (parte del volante
de un coche, el lomo de un animal que invita a la caricia, la salpicadura
de agua que vemos venir tras el salto de un delfín). Las pistas narrativas
nos sugieren información acerca de quiénes somos dentro de la
narración representada por la imagen (por ejemplo, un animal que viene
en actitud amigable o amenazante hacia nosotros nos convierte en amigo
o en presa).

Ecualización de la información
La imagen de Realidad Aumentada ecualiza la información
visual, esto es, transmite equilibradamente los contenidos, con el objeto
de no abrumar al usuario y permitirle un recorrido libre, según sus
tiempos y su interés en actuar.

Espacialidad e inmersión
La representación espacial en 360° es una construcción visual
inmersiva y no automática del espacio.
Es como si la imagen tuviese zonas de posible actividad, con las
que el usuario puede elegir interactuar o no. Si decide actuar, el espacio
 Realidad Aumentada 14

representado por esas zonas cobra visibilidad. Si decide no hacerlo, el

espacio que representan queda inactivo y no visible.
El espacio inactivo también es un recurso para guiar
espacialmente la atención del usuario, por ejemplo, en el caso de la
imagen audiovisual, el espacio que queda a espaldas del usuario en una
visualización, puede activarse y cobrar volumen y espesor mediante el
sonido.

Empatía
Los eventos representados por la imagen interactiva e inmersiva
de Realidad Aumentada se conectan automáticamente con el usuario,
suspendiendo su incredulidad, de modo que se siente presente y se
percibe como actor en las escenas representadas, y deviene testigo o
protagonista o cómplice en un evento y experimenta las emociones
correspondientes a su situación.

Indexicalidad
Si miramos una imagen visual producto de los sistemas de
Realidad Aumentada desde la perspectiva de la indexicalidad, también
nos enfrentamos a una experiencia extraña.

La imagen visual de Realidad Aumentada representa dos tipos de

objetos: reales y virtuales. La indexicalidad funciona a pleno cuando
esas representaciones lo son de objetos que tienen su correlato en la
realidad, veo una taza de café humeante, huelo el café, siento en mi
mano el calor de la taza y puedo degustarlo, pero cuando el correlato de
las representaciones son objetos virtuales, las mismas carecen de algunas
indexicalidades. Voy a cruzar un puente, lo veo, veo y escucho el ruido
del agua que corre debajo del mismo, pero cuando voy a apoyar un pie
 Realidad Aumentada 15

en el puente, no lo siento bajo la suela de mi zapato. En este último caso

la indexicalidad no funciona y eso me alarma y me detiene.
Afortunadamente, nuestra percepción está atiborrada de
indexicalidad (Sonneson, 2003). Una huella es para un cazador un
indicio de que hay en las cercanías una presa, de modo que la huella es
un indicio por contigüidad respecto de un animal. Y normalmente, por
delante de la huella, hay uno. Una rama por encima de un muro es un
indicio de que allí hay un árbol y en este caso, la rama suele ser una
parte de un árbol, esto es, un indicio por factorialidad.

Cuando experimentamos en un entorno de Realidad Aumentada,

a medias real y a medias virtual, la indexicalidad parece jugarnos una
mala pasada. Parece que nos engaña. Y eso es grave, porque
dependemos de la indexicalidad para aclararnos acerca de qué cosas son
reales y cuáles no. Consideremos que somos capaces de manipular y
reconocer los objetos que nos rodean, porque nuestra mente ha adquirido
los signos culturales que nos permiten atribuirles sentido, valor y
funcionalidad. Y esa capacidad simbólica nos permite atribuirle sentido
a los brazos de un pulpo virtual gigante, saliendo de una alcantarilla en
una calle por la que caminamos cotidianamente hacia nuestra casa. El
pulpo gigante y virtual puede generar en nosotros la actitud de salir
huyendo, tal como lo haríamos ante la misma escena en un mundo real.
No obstante, convengamos que tras los primeros instantes, somos
capaces de advertir si el peligro es real o solo una ficción, y que en el
caso de tratarse de una ficción, somos capaces de seguir jugando a huir
muertos de miedo o de reír por el susto y la sorpresa que nos hemos
llevado. Esa posibilidad de advertir lo real de la realidad o lo no real en
la virtualidad se la debemos a la indexicalidad. Otro ejemplo para
reforzar de qué trata la indexicialidad y por qué nos resulta útil. Mi perro
 Realidad Aumentada 16

reconoce el sonido mi voz si le hablo por Skype, pero tras el primer

impacto de alegría, se aleja, no puede contactar conmigo, porque no
puede olerme, lo cual es fundamental para que me reconozca. Por eso mi
voz a través de Skype lo desconcierta y mi imagen visual, reducida a
luces y sombras en una pantalla, si me muevo bruscamente, lo
sobresaltan. Ese fallo de la indexicalidad a nivel olfativo le impide
reconocerme como uno de los miembros de su manada, símbolo que sí
domina, pues sabe qué es una manada y sabe que soy parte de ella.

El poder semiótico de la imagen visual de Realidad

Aumentada

La imagen visual producida por los sistemas de Realidad

Aumentada es una composición semiótica, que entendida en una
dimensión comunicativa, tiene la fuerza y el poder del hacer semiótico
(Greimas, 1979). El hacer semiótico tiene dos aspectos, uno cognitivo y
otro pragmático. El hacer cognitivo construye objetos. El hacer
pragmático los inviste con valores culturales. Ambos se desgajan en un
hacer ver, un hacer creer, un hacer saber, un hacer actuar y un hacer
ser (Lonchuk, 2015, págs. 13-14).
Esa imagen visual atrae la atención del usuario mediante la
estética de su diseño y el atractivo de las posibilidades de interactuación
que ofrece la tecnología que la comunica. Hace creer en la existencia
real de objetos, seres y eventos, incluso aunque parte de esos objetos,
seres y eventos sean virtuales. Hace saber cada vez que sobrepone capas
de información que aumentan el conocimiento que se tiene de la
realidad. Hace actuar, porque los usuarios antes que mirar, se involucran
interactivamente con objetos que desean manipular o de los que desean
 Realidad Aumentada 17

huir, con seres a los que aman o que los atemorizan, según los escenarios
y los eventos sean amables o no. Y hasta hacen ser a los usuarios
diversos personajes actuando en diferentes escenarios. Todo ello
conformado por signos diseñados por la cultura.

Capacidad representativa de las imágenes visuales mediadas

por la tecnología de realidad Aumentada

Las imágenes visuales, producidas mediante los sistemas de

Realidad Aumentada, son representaciones mixtas e interactivas de
objetos, seres, escenarios, diseñadas para comunicar. No son meras
reproducciones analógicas de las cualidades sensibles de los objetos en
ellas representados, sino que son construcciones analógicas respecto de
los argumentos abstractos de objetos simbólicos (Lonchuk, 2015, página
24). Por ejemplo, un zombi aterrando a las personas en una parada de
autobús en un entorno de Realidad Aumentada no es solo una
representación analógica de algún tipo de objeto con el que uno se
encuentra por allí. Es en efecto un muerto putrefacto, pero éste sigue
caminando por obra de artilugios mágicos o de algún desarrollo
científico perverso. Es entonces un objeto simbólico conformado por
múltiples argumentos mediante los cuales la imaginación humana
conjura el fin inevitable de la vida. Es un objeto creado por la cultura
tergiversando convenciones y reglas que violentan las reglas del sistema
del mundo de los muertos: no muere nunca, por más que sea un cúmulo
de girones sigue andando y es peligroso, pues come carne para tener
neregía y así poder continuar.
 Realidad Aumentada 18

Esas imágenes visuales, mediadas por la tecnología de Realidad

Aumentada, son entonces y como dice Peirce, “algo que representa algo
para alguien en algún aspecto o carácter” (CP 2.228). Ese fragmento de
definición incluye dos aspectos relevantes de las imágenes visuales de
Realidad Aumentada, el primero, que son representaciones, y el
segundo, los procesos de interpretación que develan su sentido.

En tanto representaciones, esas imágenes son diseños

configurados por varios signos o representamena visuales o
audiovisuales, cuyas potencialidades representativas colapsan para
generar la capacidad representativa de la imagen. Esa capacidad
representativa dependerá de la cantidad y de la calidad de los signos
programados para intervenir en el diseño de la imagen y de la calidad y
de la intencionalidad comunicativa de ese diseño. Esa intencionalidad
puede ser de dos tipos: denotativa, en el sentido de que la
representación producida pretenda presentarse como un analogon
respecto de objetos, seres y escenarios; o connotativa, en el sentido de
diseñar una representación con la intención de mostrar de qué manera la
sociedad hace leer lo que piensa o lo que cree, de modo que requerirá de
un verdadero desciframiento de sentidos secundarios, a través de la
interpretación de símbolos, de estereotipos y de elementos de retórica de
la época (cfr. Barthes, 1985).

Como los entornos de Realidad Aumentada son configurados en

modo audiovisual y con posibilidades de inmersión para el usuario, los
procesos de interpretación, dependen del diseño de la imagen, del
lenguaje verbal, gestual y proxémico, de la música, del contexto de
manifestación de esa representación y de las experiencias, de la cultura y
de las preocupaciones del usuario que las interpreta.
 Realidad Aumentada 19

Lo que sigue a continuación es una explicación del mecanismo

mediante el cual los seres humanos interpretamos, atribuimos sentido y
creamos objetos reales y virtuales.

¿Cómo es que se atribuye sentido a las imágenes producidas

y mediadas por los sistemas de Realidad Aumentada?

Cada vez que hablamos del sentido de las imágenes, es inevitable

que nuestra atención se desplace hacia los objetos que ellas representan.
Esos objetos son construcciones semióticas. Y justamente porque son
construcciones semióticas, podemos interpretar escenarios en los que se
mezclan objetos y seres reales y virtuales, como ocurre en el caso de los
entornos producidos mediante la tecnología de Realidad Aumentada. Y
¿por qué decimos que son construcciones semióticas? Pues porque son
objetos tramados por medio de argumentos abstractos, a los que las
imágenes otorgan visibilidad. En la película Anon, creada por Netflix en
el año 2018, el objeto “identidad” es concebido como un conjunto
recuerdos que se almacenan como imágenes audiovisuales en el Éter,
que es un espacio virtual que acumula todos los recuerdos de los
humanos. A esos recuerdos almacenados puede acceder la policía,
mediante un dispositivo implantado en la cabeza de cada ciudadano. Esa
posibilidad de mirar los recuerdos de los otros y en consecuencia, de
vigilarlos, constituye el interpretante argumentativo que, en el mndo de
Anon, describe al objeto ¨control¨. Y el objeto “libertad” es construido
mediante interpretantes argumentativos referidos a la acción de borrar
recuerdos, y con ellos identidades. Esos argumentos se hacen visibles
mediante la metáfora del anonimato de los editores, que son una especie
 Realidad Aumentada 20

de hackers capaces de borrar y reemplazar recuerdos o tramos de

recuerdos por otros que son falsos.

Modelo de interpretación de la imagen mediada por sistemas

de Realidad Aumentada

Lo que sigue a continuación es la presentación de un modelo de

interpretación, basado en la semiosis de Peirce, que tiene por objeto
explicar como un intérprete construye la trama de interpretantes
argumentativos, que traman los objetos simbólicos representados en las
imágenes mediadas por sistemas de Realidad Aumentada.

Los interpretantes argumentativos, que construyen los objetos

simbólicos representados en las imágenes visuales mediadas por
Realidad Aumentada son o enunciados mediados por palabras o
enunciados encarnados en gestos, movimientos o acciones corporales.
En verdad, los usuarios de Realidad Aumentada interpretan
interactuando con la imagen. Los interpretantes argumentativos
encarnados en actuaciones del usuario son el resultado de series
recursivas de procesos de semiosis, que se inician en el ámbito de
cualisigno, del icono y del rhema, los cuales consideran a esas imágenes
visuales como un conjunto de sensaciones de cualidades posibles de un
algo posible, al que representan y describen de manera vaga e
indeterminada; continúan con semiosis del tipo de los sinsignos e
índices, que le aportan singularidad a ese algo, al tiempo que señalan su
existencia real o virtual. Sería algo así como cuando en una de las
escenas de Anon, el protagonista, Sal, experimenta la sensación de vacío
y desequilibrio (cualisigno) al intentar caminar sobre un rellano de la
escalera. Lo está viendo, pero no existe. Luego trastabilla, cae y se
golpea (sinsigno), mientras trata de entender qué sucede (búsqueda de
 Realidad Aumentada 21

legalidad, legisigno), aunque aún no comprende que hay una falla en el

sistema que le hace ver objetos virtuales (un rellano en la escalera de la
estación de tren) que no existen en la realidad, pues alguien ha hackeado
el sistema con la intención de hacerle daño.

Luego, la legalidad del legisigno transforma las características

fenoménicas de lo percibido en las regularidades de un objeto, pues las
regularidades han convertido a aquello que era un algo, en un objeto.
Ahora el protagonista advierte que ve un rellano en la escalera donde en
realidad hay escalones, o en otras escenas, ve un tren cuando en verdad
la vía está vacía o que la computadora de su coche le dice que puede
girar porque tiene el paso libre cuando en verdad no es así. Con el
símbolo se abre la perspectiva de la representación convencional y
abstracta de esas regularidades. Todo lo que sucede responde a fallas en
el sistema que está comunicando datos erróneos. El decisigno sitúa las
regularidades en un contexto, que permite interpretar las fallas como
efectos de la acción de hackers que quieren destruir los sistemas de
control y seguridad. En este momento del proceso de interpretación se
juega la densidad semiótica de las imágenes mediadas por Realidad
Aumentada, que depende de los conocimientos, la ideología, la moral y
las valoraciones del intérprete.

¿Qué entiendo por densidad semiótica? La densidad semiótica es

la cantidad y calidad de interpretantes argumentativos actualizados por
el intérprete para explicarse y explicar una imagen en entornos de
Realidad Aumentada. El intérprete actualizará interpretantes
argumentativos, que estarán en correlación con la composición de la
imagen y con la capacidad representativa de la misma, para definir y
precisar el objeto por ella representado. Esos interpretantes
 Realidad Aumentada 22

argumentativos podrán ser actualizados en mayor o menor número y

tendrán mayor o menor complejidad, según sean interpretantes que tan
solo pretendan reconocer al objeto representado, o sean interpretantes
cuyo propósito sea el de atribuirle a ese objeto rasgos morales o
ideológicos, o según sean interpretantes integrados en esquemas
argumentativos, con valoración positiva o negativa respecto del objeto
representado, producidos como respuesta a la fuerza interpelativa
desplegada por la imagen. Quiero enfatizar que la densidad semiótica
no puede considerarse como una propiedad exclusiva de la imagen sino
que es una propiedad relacional, esto significa, que la densidad
semiótica depende del intérprete en relación con esa imagen, a la que
está mirando, situado en un contexto particular. En Anon hay un
contexto particular y un ground de interpretación para el protagonista
que está intentando comprender qué ocurre, a qué se deben esas fallas
del sistema que lo ponen en peligro. De modo que de todos los
interpretantes que cabían para comprender esas fallas o errores o efectos
que resultan de la acción de hackers, comienzan a actualizarse aquéllos
con tintes morales, que constituirán la red argumentativa que tramará el
objeto de la película Anon. Y finalmente, las semiosis que generan
argumentos son capaces de tramar en un sistema de representación
convencional, dentro de una legalidad y por medio de procesos de
razonamiento, las características y regularidades de los objetos
simbólicos. En efecto, el objeto representado en imágenes visuales
mediadas por Realidad Aumentada es la destrucción del sistema de
seguridad y control de la sociedad de Anon. Ha aparecido una falla en el
sistema que lo vuelve ventajoso para los criminales y peligroso para los
ciudadanos. Se puede modificar acontecimientos y ocultar identidades.
 Realidad Aumentada 23

Entonces, cada vez que alguien interpreta imágenes visuales

mediadas por sistemas de Realidad Aumentada construye objetos. Lo
hace por medio de la actualización de interpretantes argumentativos, que
permiten desde el reconocimiento de los objetos, hasta la atribución de
valores culturales, sociales, morales, ideológicos y afectivos, a través de
la organización de esquemas argumentativos, producidos en función del
contexto de manifestación de las imágenes y de las experiencias, los
conocimientos y las preocupaciones del intérprete, como respuesta a la
fuerza interpelativa de la composición y de la capacidad representativa
de las imágenes visuales en entornos de Realidad Aumentada.

Referencias

Barthes, R. (1985). El mensaje fotográfico. En Lo obvio y lo obtuso.

Imágenes, gestos, voces. Barcelona: Paidós.
Contreras, M.J.(2012). Introducción a la semiótica del cuerpo: presencia,
enunciación encarnada y memoria. En Cátedra de Artes, 12,
páginas 13-29. Pontificia Universidad Católica de Chile.
Gibson, J. J. (1979). The ecological approach to visual perception.
Boston: Houghton Mifflin.
Greimas, A. J. (1979). Dictionnaire raisonné de la théorie du langage.
Paris: Hachette.
Greimas, A. J. y Fontanille, J. (1991). Semiótica de las pasiones. De los
estados de cosas a los estados de ánimo. México: Siglo XXI
Editores.
Lonchuk, M. (2015). Imágenes de Identidad. Argumentando la
nacionalidad. Buenos Aires: Editorial Dunken.
Maturana, H. y Varela, F. (1994).
Milgram, P.y Kishino, F. (1994). A taxonomy of mixed reality visual
displays. En IEICE Transactions on Information and Systems,
Volumen E77-D, páginas 1321-1329.
Peirce, C. S. (1933-1948). Collected Papers. Cambridge: Harvard
University Press.
 Realidad Aumentada 24

Sonesson, G. (2003). La fotografía-entre el dibujo y la virtualidad. En

Significação, 20, páginas 81-132.
Turvey, M. T. (1992). Affordances and prospective control: An outline
of the ontology. Ecological Psychology, 4, 173-187.