Está en la página 1de 11

Evaluacin de aplicaciones multimedia: criterios de calidad - 1

EVALUACIN DE LAS APLICACIONES MULTIMEDIA:


CRITERIOS DE CALIDAD

Consuelo Belloch Ort
Unidad de Tecnologa Educativa. Universidad de Valencia

INTRODUCCIN

Los multimedia de calidad Han de cumplir unas normas especficas? Qu criterios debemos tener
presentes para desarrollar o evaluar una aplicacin multimedia interactiva cuya finalidad es el
aprendizaje (conocimientos, destrezas, actitudes,...). ?
Revisaremos algunas de estas cuestiones tales como:
Catalogacin y descripcin
Aspectos tcnicos y de diseo
Aspectos pedaggicos
Aspectos funcionales


EVALUACIN DE LAS APLICACIONES MULTIMEDIA

La primera evaluacin de las aplicaciones informticas, es una evaluacin formativa realizada
durante el proceso de desarrollo de las mismas, para la validacin y control de su calidad.

La Agencia para la Evaluacin Tecnolgica, del Congreso de los Estados Unidos (U.S. Congress
Office of Technology Assessment) (OTA, 1988) unific los criterios de evaluacin de software educativo
a partir de los instrumentos de evaluacin utilizados por parte de 36 diferentes agencias pblicas y
privadas de evaluacin de software, en este proceso participaron profesores, editores de software,
profesores universitarios y asesores privados. El resultado de esta unificacin determin las
Caractersticas a considerar en la evaluacin de software educativo. La lista revisa la calidad educativa
y tcnica de los programas, evaluando los siguientes indicadores
Calidad Educativa: Calidad Tcnica
Calidad educativa general
Contenido
Adecuacin pedaggica
Tcnicas de preguntas
Enfoque/Motivacin
Resultados de examen de campo del
evaluador
Creatividad
Control del educando
Objetivos, propsitos y resultados previstos
de aprendizaje
Retroalimentacin
Simulaciones
Las posibilidades de intervencin del profesor
Evaluacin y registro de calificaciones
Documentacin y materiales de apoyo
Calidad tcnica general
Claridad
Inicio y puesta en prctica
Grficos y audio
Pruebas y perifricos incluidos en el
paquete de software
Temas de hardware y de marketing
Indicadores para la evaluacin de la calidad educativa y tcnica del software educativo
(OTA,1988).
Evaluacin de aplicaciones multimedia: criterios de calidad - 2

Cada uno de estos indicadores est medido por un conjunto de preguntas, en algunas de las
ocasiones bastante amplio, lo que permite que para las evaluaciones concretas a realizar se seleccionen
los tems ms adecuados al tipo de programa y a las caractersticas de los usuarios. Como indica Poole
(1999) los formularios utilizados para la evaluacin de programas de EAO deben cumplir una serie de
requisitos para facilitar la evaluacin sin perder informacin relevante., con el fin de realizar la
evaluacin lo ms sencilla y clara posible. Es aconsejable que los formularios a completar sean:
sencillos, breves, de fcil comprensin y con presentacin clara y atractiva.

Pero, para facilitar la seleccin de un programa de EAO, por parte del profesor, es necesario que
este disponga de informacin sobre el mismo. Con este fin se han desarrollado mltiples listas de control
de los programas informticos, utilizadas por profesores, editores de software, investigadores, etc., para
evaluar los programas. Las diversas listas de control evalan tanto los aspectos tcnicos como
pedaggicos de los programas de EAO. Un ejemplo de la misma la ofrecen D.Insa y R.Morata (1998)
para los cuales los programas de EAO debern ser evaluados segn:

Criterios Pedaggicos Criterios Tcnicos Criterios econmicos
Destinatarios
Objetivos
Estrategias de
enseanza
Contenidos temticos
Feedback
Evaluacin del
alumno
Caractersticas
tcnicas generales del
programa
Interface del usuario
Componentes de los
multimedia
Interactividad
Relacin
inversin/eficacia
Criterios para la evaluacin de los programas de EAO (Insa y Morata, 1998)

Julio Cabero y Ana Duarte (1999) proponen ocho dimensiones que deben contemplarse en la
evaluacin de los programas de EAO (incluidos los multimedia interactivos). Estas son:
Caractersticas y potencialidades tecnolgicas.
Diseo del programa desde el punto de vista tcnico y esttico.
Diseo del programa desde el punto de vista didctico.
Contenidos.
Utilizacin por parte del estudiante: manipulacin del programa e interactividad.
Material complementario.
Aspectos econmicos/distribucin.
Contexto.

Pere Marqus (1998) plantea, adems, la necesidad de realizar una Evaluacin Contextual de los
programas, centrndose en su uso pedaggico en un contexto educativo concreto y comprobando su
nivel de eficacia o eficiencia para conseguir los objetivos para los que ha sido diseado, lo que estara
en consonancia con las propuestas de otros autores (Squires y McDougall, 1997; Cabero y Duarte,
1999), partidarios de una perspectiva de evaluacin colaborativa entre las diferentes personas que
intervienen en el proceso de diseo, produccin y utilizacin del mismo; es decir, diseadores,
profesores y alumnos. Para Marqus en la evaluacin contextual se deben considerar:

Evaluacin de aplicaciones multimedia: criterios de calidad - 3
Los objetivos educativos
Los resultados obtenidos y su relacin con los resultados previstos
Los contenidos tratados
Los recursos utilizados
Las caractersticas de los alumnos
La organizacin y metodologa didctica utilizada
El sistema de evaluacin utilizado

Los instrumentos que pueden utilizar para realizar la evaluacin contextual de los programas
informticos son:
Informes: caractersticas de los estudiantes (situacin inicial)
Informes: aprendizajes realizados (evaluacin formativa y sumativa de los estudiantes) y
objetivos previstos.
Observacin e informacin del profesorado: utilizacin de los recursos disponibles,
caractersticas del material, metodologa utilizada.
Valoraciones de los estudiantes sobre su percepcin de los aprendizajes realizados, utilidad del
programa y nivel de satisfaccin al trabajar con l.
Valoraciones de los profesores sobre los aprendizajes realizados por los estudiantes, utilidad del
programa y nivel de satisfaccin al trabajar con l.

Para la evaluacin contextualizada de webs con inters educativo., Pere Marqus
(http://dewey.uab.es/pmarques) analiza las caractersticas deseables de los mismos para su
aprovechamiento como recurso educativo. Para ello, se consideran tres aspectos:
Catalogacin: con el que se identifica el espacio web en sus caractersticas ms relevantes, su
tipologa y los requisitos tcnicos que precisa.
Evaluacin de los aspectos funcionales, tcnicos y psicolgicos relacionados con los
indicadores bsicos de calidad para estos materiales. Esta valoracin - que se refiere al espacio
web, y no a su potencial formativo - debe hacerse por tanto al margen del contexto educativo en
el que se piensa aplicar.
Evaluacin pedaggica cuya finalidad es orientar la utilizacin contextualizada del espacio
web, invitando a definir las caractersticas del grupo de alumnos con el que se quiere utilizar y, a
partir de este posicionamiento, identificar sus posibles aportaciones educativas y planificar y
disear una serie de actividades didcticas para los estudiantes que impliquen el uso de la web.


CATALOGACIN Y DESCRIPCIN DE UNA APLICACIN MULTIMEDIA INTERACTIVA

La catologacin de la aplicacin multimedia en la ficha de evaluacin del software nos va a permitir
describir las caractersticas bsicas de la aplicacin, su autora y materiales complementarios. As,
especificaremos desde: una presentacin de la aplicacin (ttulo, autores, editorial, idioma,...); hasta su
catalogacin (temtica, destinatarios, tipologa) y descripcin bsica (objetivos, contenidos, actividades).

El proceso de catalogacin de software es de gran importancia, tanto para la posterior evaluacin de
cada uno de los aspectos reseados como para su posterior acceso a travs de gestores de bases de
datos.
Evaluacin de aplicaciones multimedia: criterios de calidad - 4
ASPECTOS TCNICOS Y ESTTICOS

Los aspectos tcnicos a considerar en la evaluacin de una aplicacin multimedia interactiva son
bsicamente dos: los requisitos tcnicos de la aplicacin y la calidad de la misma. Los requisitos
tcnicos deben tenerse en cuenta para conocer su posible uso en un ordenador con unas prestaciones
concretas. Por otro lado, estas caractersticas tcnicas de la aplicacin determinaran de algn modo la
calidad tcnica de la aplicacin.

Al realizar la evaluacin del software multimedia debemos intentar responder a las siguientes
cuestiones:
Con qu sistema operativo trabaja?
Cul es el hardware y software que precisa? Por ejemplo: tarjeta de sonido, visualizador de
imgenes, sintetizador de voz, etc.
Cul es la calidad tcnica de los componentes multimedia? Se escuchan bien los sonidos?
Las imgenes tienen calidad?...
La fluidez y velocidad de procesamiento y presentacin de la informacin es adecuada o
resulta demasiado lenta?
Se utilizan los recursos tecnolgicos con todas las potencialidades que ofrecen?

Por otro lado, tambin debemos tener en cuenta al valorar una aplicacin multimedia el diseo y la
esttica de la misma. La calidad del entorno visual resulta de gran relevancia en las aplicaciones
multimedia interactivas orientadas al aprendizaje, dado que el objetivo de los materiales multimedia
aplicados al terreno educativo no es deslumbrar, asombrar o divertir, sino ensear e instruir, ser
necesario tener presentes los siguientes principios bsicos: simplicidad, coherencia, claridad,
adaptabilidad, junto con consideraciones estticas como son el equilibrio, la armona y la unidad, la
utilizacin del espacio en blanco, y el tiempo.

Simplicidad. El interface grfico de la aplicacin deber atender a los principios estticos y
compositivos del diseo grfico, en cualquier caso deber ser "amigable", es decir, sencillo e
intuitivo. Es por ello conveniente disear estrategias que faciliten su uso evitando la
desorientacin o prdida en el proceso de navegacin, tales como:
o Disear pgina/s desde las que se pueda acceder al resto de informacin (ej. ndices,
mens), de modo que se pueda acceder a las mismas desde cualquier punto de la
aplicacin.
o Utilizar elementos (iconos asociados a texto, barras de localizacin,...) que permitan
informar al usuario en que lugar de la aplicacin se encuentra y si es posible su relacin
con las pantallas generales de la aplicacin.
Coherencia. La consistencia entre las diferentes pantallas o interfaces de la aplicacin permite
adaptarse de forma ms rpida a la misma facilitando su uso. Para ello:
o Es conveniente delimitar claramente zonas de la pantalla, con diferentes funciones: ttulo,
mens u opciones, contenido y zona de mensajes y seguimiento del alumno. De modo
que esta divisin, sea coherente a lo largo de las diferentes pantallas del programa.
o Uso de los elementos grficos y de diseo de forma consistente a su significado o
atribuciones. As, los colores o los iconos grficos debern seleccionarse de modo que
indiquen de forma intuitiva la funcin de los mismos.
Evaluacin de aplicaciones multimedia: criterios de calidad - 5
o No utilizar subrayados para resaltar texto, pues pueden ser confundidos con enlaces
(links) entre pginas de contenido (nodos), es preferible utilizar negrita, mayscula,
diferente color, etc.
o Utilizar de forma integrada y coherente los diferentes componentes multimedia, evitando
el uso de los mismos de forma que puedan servir como distractores.
Claridad. El diseo de las pantallas debe resultar atractivo y claro para el usuario, adaptado a
su edad y nivel. Para ello:
o Es conveniente utilizar para transmitir la informacin fuentes de letra claros y fciles de
leer evitando la sobrecarga en colores, y las letras cursiva que dificultan la lectura.
o Utilizar fondos que no impidan o dificulten la lectura.
o Utilizar lneas en blanco como estrategia para clarificar el texto, resaltando las ideas
importantes.
Adaptabilidad. Realizar un diseo accesible para todos, en este sentido el Trace Center
(Connell, et al., 1995) plantea que un verdadero "diseo para todos" debe cumplir estos 7
principios:
o Diseo utilizable por cualquier tipo de usuario.
o Diseo flexible que se acomode a las preferencias o capacidades individuales.
o Diseo simple e intuitivo, fcil de comprender por sujetos con diferentes conocimientos,
idioma, nivel, etc.
o Diseo adaptado a diferentes condiciones ambientales y a diferentes capacidades
sensoriales de los usuarios.
o Diseo resistente a los errores, de modo que el cometer un error, no implique riesgos
importantes o consecuencias negativas.
o Bajo esfuerzo fsico, para conseguir interactuar con el programa.
o Ergonoma, de modo que el entorno de trabajo no implique unas condiciones fsicas
concretas y puede ser utilizado por diferentes individuos.
o En definitiva un diseo que respete y atienda a la diversidad, desde todos los aspectos
(fsicos, sensoriales, sociales, etc.).

Resulta tambin fundamental en una buena aplicacin multimedia que el sistema de navegacin
sea claro, eficaz para los objetivos y contenidos de la misma, responda con velocidad y sea fiable. Un
buen sistema de navegacin permitir movernos por la aplicacin y acceder a todos sus elementos de
forma sencilla, rpida y fiable, adecundose al propsito de la aplicacin.




CRITERIOS PEDAGGICOS

Kemp y Smellie (1989) presentaron unos puntos de consenso generalizado, entre las teoras
conductistas y cognitivistas, que denominaron Generalizaciones de las teoras del aprendizaje a la
hora de abordar el tema de la produccin y uso de los medios audiovisuales. Desde el Laboratori de
Noves Tecnologies de la Universitat Rovira Virgil, se ha realizado una adaptacin de los mismos para
adaptarlos a la produccin de medios instructivos utilizando las TIC. Estas consideraciones a tener
presentes se pueden resumir en las siguientes:
Evaluacin de aplicaciones multimedia: criterios de calidad - 6
Motivacin. Los medios instructivos y los soportes de la enseanza deben ser motivadores en
cuanto al tema, el diseo y la presentacin del mismo.
Presentacin de los objetivos de aprendizaje. En el proceso de aprendizaje, el aprendiz debe
conocer los objetivos que persigue su actuacin, para que est se realice de una forma ms
motivante y reflexiva. Por ello, los programas educativos mediante TIC deberan anticipar a los
usuarios de los objetivos que se espera alcanzar. Es conveniente informar la usuario sobre los
objetivos a alcanzar con el programa, de forma que conozca las metas propuestas y oriente su
aprendizaje.
Conocimiento de los destinatarios y diseo de la accin. Como en cualquier proceso de
enseanza-aprendizaje, es necesario que los materiales, documentacin, actividades, se basen
en un conocimiento de las caractersticas, intereses, motivaciones, etc. de los alumnos.
Organizacin y adecuacin del contenido. El contenido deber ser relevante y significativo
para el proceso de enseanza-aprendizaje, adaptado al nivel de los alumnos y estructurado
para facilitar su aprendizaje, produciendo una secuenciacin entre los contenidos coherente y
con sentido.
Respeto a los ritmos y diferencias individuales. Lograr aplicaciones que se adapten a las
caractersticas de los usuarios, es imprescindible para que se pueda producir un aprendizaje de
calidad, para todos. Para ello deben disearse las aplicaciones desde: el respeto a las
caractersticas del estudiante, en cuanto a ritmos de aprendizaje flexibles; la adaptacin de la
comunicacin al nivel y capacidad de los estudiantes, uso de diferentes cdigos de
comunicacin (visual, auditivo, etc.); diseo de interface de comunicacin adecuados a sujetos
con diferentes capacidades o caractersticas (acceso para todos), etc. Siempre que sea posible,
deberemos integrar varios sistemas simblicos, en la presentacin de la informacin, con el fin
de facilitar el aprendizaje a todos los usuarios, de modo que se adapte a las caractersticas y
potencialidades de los mismos, pudiendo percibir la informacin de forma multisensorial.
Participacin. Involucrar al alumno en su propio aprendizaje, propicia un aprendizaje ms
activo y significativo. La participacin adems de ser frecuente, debe ser de calidad, no consiste
tanto en presentar y realizar muchas actividades, sino en presentar aquellas que son
necesarias, adecuadas y oportunas. Pero la participacin va ms all buscando que el
estudiante sea el verdadero protagonista de su aprendizaje, diseando para ello aplicaciones
TIC que permitan la mayor libertad posible al usuario sobre lo que quiere hacer, cmo y cundo.
Incluir preguntas, actividades o tareas encaminadas a motivar la participacin del alumno tanto
en la bsqueda de informacin como en la reflexin sobre la informacin encontrada. Propiciar
la interaccin con otros usuarios y el trabajo colaborativo.
Interaccin. Al igual que en la interaccin persona/persona, la utilizacin de un tono cordial y
motivador en los mensajes del programa al usuario, favorecer una interaccin ms adecuada y
positiva del usuario hacia el programa, y hacia el proceso de aprendizaje. Propiciar en la medida
de lo posible, una interaccin programa-usuario inteligente esto es, las respuestas del
programa a las interacciones del usuario deben tener presente las acciones y realizaciones del
usuario, guiando su aprendizaje de una forma personalizada.

Asimismo, entre los criterios de calidad de una aplicacin multimedia se deben tener en cuenta otros
aspectos como:

Evaluacin de aplicaciones multimedia: criterios de calidad - 7
Medida en que las estrategias metodolgicas planteadas en la aplicacin posibilitan el trabajo
cooperativo.
Las actitudes que se fomentan desde la aplicacin multimedia (autonoma, responsabilidad,
iniciativa, ...) respecto al proceso de aprendizaje.
Los sistemas de apoyo y tutorizacin y su adecuacin a los usuarios y a los objetivos de la
aplicacin.
Las actividades que se presentan en la aplicacin son las ms adecuadas, permitiendo
desarrollar habilidades y competencias del ms alto nivel atendiendo a los objetivos de la
aplicacin.
Se utilizan los recursos didcticos (organizadores, mapas, ...) adecuados para el proceso de
aprendizaje.
La aplicacin favorece un sistema de seguimiento que permita realizar una evaluacin
formativa del aprendizaje realizado.


CRITERIOS FUNCIONALES

Las aplicaciones multimedia tienen que ser funcionales en relacin al propsito de las mismas. La
funcionalidad de la aplicacin vendr determinada por su nivel de eficacia para el logro de los objetivos
planteados, la relevancia de los aprendizajes que posibilita, la aportacin metodolgica que supone la
aplicacin para la adquisicin de los aprendizajes y la relacin entre el coste econmico que supone su
uso y su nivel de eficacia.

PARA SABER MS

Bartolom, A. (1999) Hipertextos, hipermedia y multimedia: configuracin tcnica, principios para su
diseo y aplicaciones didcticas. En Cabero, J. (coord.). Medios audiovisuales y nuevas
tecnologas para la formacin del siglo XXI. Murcia: DM.
Cabero, J. y Duarte, A. (1999) Evaluacin de medios y materiales de enseanza en soporte multimedia.
Pixel-Bit. Revista de Medios y Educacin, 13, http://tecnologiaedu.us.es/bibliovir/pdf/47.pdf
Insa, D. y Morata, R. (1998) Multimedia e Internet: las nuevas tecnologas aplicadas en la educacin.
Madrid: Paraninfo.
Marqus, P. (1999) Diseo, seleccin, uso y evaluacin del multimedia didctico. Informtica.
Videojuegos. http://dewey.uab.es/pmarques/disdesa.htm
Marqus, P. (1999) Los espacios web multimedia: tipologa, funciones, criterios de calidad.
http://dewey.uab.es/pmarques/tipoweb.htm
Marqus, P. (2002) Evaluacin de los portales educativos en Internet. Revista Pixwl-Bit: Revista de
Medios y Educacin, n 18. http://www.sav.us.es/pixelbit/articulos/n18/n18art/art181.htm
OTA (1988) Power on! New tools for teaching and Learning. Congress of the United States, Office of
Technology Assessment, OTA SET-379. Whashington D.C. US Government Printing Office.
Poole, B.J. (1999). Tecnologa Educativa: Educar para la sociocultura de la comunicacin y del
conocimiento. Madrid: McGraw-Hill.
Snchez Rodrguez, J. (2003) Produccin de aplicaciones multimedia por docentes. Revista Pixel-bit, n
21. http://www.sav.us.es/pixelbit/articulos/n21/n21art/art2109.htm
Squires, D. y McDougall, A. (1997) Cmo elegir y utilizar software educativo. Madrid: Morata.

Evaluacin de aplicaciones multimedia: criterios de calidad - 8
ANEXO:


FICHA DE EVALUACIN DE APLICACIONES MULTIMEDIA

Consuelo Belloch Ort
(basada en la Ficha de Evaluacin de Pere Marqus, grupo DIM)


Nombre:___________________________________________________
Grupo: _______________
Asignatura __________________________
Curso: _________________


Presentacin:
Titulo:
Autor y/o editor:
Direccin web:

Idioma
Ao de publicacin
(versin)



Descripcin general:
Usuarios a los que va dirigido:
Tema:
Descripcin general:





Objetivos:





Contenidos:






Evaluacin de aplicaciones multimedia: criterios de calidad - 9
Tipologa
Tipo de aplicacin
multimedia:
Informativa
Formativa
Tipo:
Teora subyacente
Conductismo Procesamiento Informacin
Aprendizaje por descubrimiento Aprendizaje significativo
Cognitivismo Constructivismo
Nivel de control: Cerrado Semiabierto Abierto
Modo de uso Local (off-line) Web (on-line)
Contenido: General Especfico: _____________________________

Requisitos Tcnicos
Sistema Operativo
Requisitos tcnicos

Caractersticas Tcnicas
NIVEL DE ADECUACIN DE Nada Poco Regular Bastante Mucho
Sistema de instalacin y puesta
en marcha

Calidad de los componentes
multimedia

Fluidez y velocidad de
procesamiento y presentacin
de la informacin.

Aspectos estticos
NIVEL DE ADECUACIN DE Nada Poco Regular Bastante Mucho
Calidad del entorno visual
(sencillez, claridad y coherencia)

Nivel de accesibilidad y/o
adaptabilidad

Sistema de Navegacin
(sencillez, claridad y coherencia)

OBSERVACIONES









Evaluacin de aplicaciones multimedia: criterios de calidad - 10
ADECUACIN COMO RECURSO PARA EL APRENDIZAJE O INTERVENCIN
Nada Poco Regular Bastante Mucho
Lenguaje adecuado a los
usuarios

Adecuacin de los objetivos
Organizacin y adecuacin de
los contenidos.

Adecuacin de los componentes
multimedia (texto, imgenes,
sonidos,)

Se respetan diferentes ritmos de
aprendizaje

Adecuacin del feedback
Seguimiento de las acciones del
usuario

Sistema de evaluacin
DESCRIBE:
Habilidades cognitivas
que desarrolla



Destrezas manuales
y/o procedimentales



Actitudes.



OBSERVACIONES:















Evaluacin de aplicaciones multimedia: criterios de calidad - 11
Funcionalidad
Nada Poco Regular Bastante Mucha
Eficacia para el logro de los
objetivos

Relevancia de los aprendizajes
Aportacin metodolgica
Relacin inversin-eficacia
Observaciones (aspectos positivos y negativos):









Valoracin Global: