Capitulo Completo

Ideas Fundamentales
DESARROLLO
de CAPTULOS
4.Evaluacin de la
Calidad del Software

Educativo
La evaluacin de la calidad del software
educativo es un proceso y para adelantarlo

de la mejor manera, se pueden utilizar
metodologas
como
la
metodologa
generalizada de evaluacin de software

propuesta por Snchez (2003), que est
basada en estndares internacionales y
modelos de calidad.

La metodologa mencionada consta
de las siguientes partes: establecimiento de

la evaluacin, planificacin de la evaluacin,
establecer el Modelo de Calidad, determinar
la puntuacin/calificacin de los elementos
que componen el modelo, efectuar medicin,
establecer resultados, presentar Informe.

En
los ltimos aos se han
formulado algunas propuestas desde los

crculos acadmicos e investigativos que
tratan el tema de la evaluacin de la calidad
del software educativo, pero al momento no
se ha demostrado la relevancia de ninguna
de ellas como para tomarlas como referencia
nica en un proceso de evaluacin.
Para poder valorar las caractersticas
o elementos propios del mbito educativo,

que debe tener el software educativo, se
deben agregar subcaractersticas al modelo
de calidad que puedan ser medidas utilizando
alguna mtrica, colocando valor de esta
forma a los aspectos educativos.

En el dominio de la ingeniera
informtica se trabajan diversos tipos de

pruebas y se encuentran diferentes mtricas.
Un estudio detallado de estos temas supera el
alcance y objetivos del curso, pero con algunos
instrumentos bsicos como encuestas y
entrevistas, o pruebas funcionales se pueden
adelantar procesos de valoracin de la calidad
del software.

que
Lo ms importante es tener presente

cualquier
estndar,
metodologa
propuesta que se tome como referencia para

adelantar un proceso de evaluacin de la
calidad, es solo un buen punto de partida para
llevar a cabo dicho proceso, y nada impide
que el evaluador o su equipo la adapten o
modifiquen de acuerdo a su experiencia,
conocimientos, recursos disponibles, etc.
4.1. Metodologa
Generalizada
DE Evaluacin
A lo largo del curso se ha indicado que para la
equipo la adapten o modifiquen de acuerdo a su
evaluacin de la calidad del software los organismos de
experiencia, conocimientos, recursos disponibles, etc.
estandarizacin han formulado algunos estndares,
A continuacin se presenta una metodologa de
de los cules los ms relevantes son las normas ISO/
evaluacin de software educativo que llamaremos
IEC 9126, ISO/IEC 14598 e ISO/IEC 25000.
metodologa
Cabe
generalizada
de
evaluacin,
que
resaltar, que ninguno de estos est formulado
puede ser utilizada como referencia para adelantar
especficamente para evaluar software desarrollado
procesos de evaluacin de la calidad cualquier
para el mbito educativo, pero esto no significa que
tipo de software. Esta metodologa se basa en los
no puedan utilizarse con xito para este propsito.
estndares internacionales ISO/IEC 14598, ISO/

IEC 9126 e ISO/IEC 25000 y fue presentada por
En los ltimos aos se han formulado algunas
Bertha Alice Naranjo Snchez en el XIV Encuentro
propuestas
Internacional Virtual Educa Colombia 2013 celebrado
investigativos que tratan el tema de la evaluacin
en la ciudad de Medelln. Virtual Educa(2013).
desde
los
crculos
acadmicos
de la calidad del software educativo, pero al

momento no se ha demostrado la relevancia
de ninguna de ellas como para tomarlas como
referencia nica en un proceso de evaluacin.
El software desarrollado para el mbito educativo
involucra, o debe involucrar, elementos propios
del dominio de la enseanza y la educacin, pero al
detallar los modelos de calidad que hacen parte de
los estndares ISO se observa que estos pueden no
contemplar
caractersticas/subcaractersticas
que
cubran la evaluacin de dichos elementos. La solucin

al problema anterior es simple y consiste en modificar
los modelos de calidad agregando subcaractersticas
que permitan cubrir y evaluar los aspectos o elementos
propios del mbito educativo que sean de inters.
Lo importante es tener presente que cualquier
metodologa o propuesta que se tome como referencia
para adelantar un proceso de evaluacin de la calidad,
es solo un buen punto de partida para llevar a cabo
dicho proceso, y nada impide que el evaluador o su
Evaluacin de la Calidad de la Tecnologa Educativa | www.cvudes.edu.co
4.1.1. Partes de la
metodologa.
Establecer tipo de la evaluacin: Este punto es simple
y consiste en identificar e indicar el tipo de evaluacin

a realizar, la cual se puede centrar bsicamente en el
producto final o su proceso de desarrollo.
Segn
Snchez
esta
metodologa
puede
ser
considerada como un aporte a las metodologas de

evaluacin generalizada, Naranjo Snchez (2013). La
metodologia propone las siguientes etapas o partes
para el proceso de evaluacin: (1) Establecimiento
de la evaluacin, (2) Planificacin de la evaluacin,
Identificar el tipo de producto: Cuando la evaluacin
se trata de un producto
se debe identificar si dicho
producto es comercial, desarrollado a medida para

la institucin educativa, software libre (gratuito),
software alquilado, comprado/por comprar, etc.
(3) Establecer el Modelo de Calidad, (4) Determinar

la puntuacin/calificacin de los elementos que
Establecer resultados, y (7) Presentar Informe.
4.1.1.2. Planificacin
de la evaluacin.
Como se observa las etapas propuestas
por la
Una vez se conoce lo que se busca con la evaluacin, se
metodologa son muy similares a las que establece el
pasa a abordar la etapa de planificacin y organizacin
estndar ISO/IEC 14598. A continuacin se describe
del trabajo a realizar. Como actividades importantes
con ms detalle cada una de ellas.
a definir se tienen segn Naranjo Snchez (2013):
componen el modelo, (5) Efectuar medicin, (6)
Elaborar
4.1.1.1 EstablecimientO
de la evaluacin.
Una vez se decide adelantar el proceso de evaluacin
se debe determinar el enfoque de la medicin. Para lo
cual segn Naranjo Snchez (2013) se debe:
Determinar objetivo de la evaluacin: Este punto
radica en concretar con el cliente el objetivo principal

que se busca con la evaluacin. Por lo general, en las
instituciones educativas al adelantar la adquisicin
o compra de algn producto de software educativo,
se desea comparar diferentes productos similares
buscando determinar cul de ellos cumple con
los requerimientos de calidad que satisfacen las
necesidades de la institucin y/o sus usuarios.
Otros objetivos o propsitos para la evaluacin de
la calidad de un producto pueden ser: decidir sobre
la aceptacin de un determinado producto, decidir
cuando lanzar a la venta un producto, decidir cundo
reemplazar un producto, etc.
cronograma de la evaluacin. En un
cronograma tentativo se deben definir todas las

actividades que se realizaran durante todo el proceso
de evaluacin de la calidad.
Identificar responsables. En este punto se debe
identificar las personas
que
intervendrn en el
proyecto. La identificacin de todo el recurso humano

requerido depende del tipo particular de software
educativo a evaluar, por ejemplo se puede requerir
la participacin de docentes, estudiantes, tcnicos o
ingenieros, pedagogos, etc.
Determinar
roles. Identificados los integrantes
que participaran en el proceso de evaluacin, se

determinan y asignan las actividades y/o tareas que
van a desarrollar cada uno de ellos.
Elaborar contrato o acuerdo. Lo ltimo a realizar
en la etapa de planificacin de la evaluacin, es

elaborar un contrato que contenga las diferentes
especificaciones que se desean para las mediciones y
como estas sern documentadas.
las subcaractersticas propuestas
4.1.1.3. Establecer el
modelo de calidad.
con
el
cliente;
tercero, si el cliente da su visto bueno se incluyen

en el modelo de calidad de software en el nivel de
subcaractersticas.
Se plantean los siguientes 4 niveles para describir el

modelo de calidad en esta propuesta de evaluacin:
Nivel
3: Mtricas. Las mtricas corresponden a las
formulas y medidas que se usaran para determinar

Nivel 0, tipo de calidad
el grado de cumplimiento de cada una de las
Nivel 1, caractersticas
subcaractersticas.
Nivel 2, subcaractersticas
Nivel 3, mtricas
Nivel 4, indicadores.
definidas para cada subcaracterstica se calcula el valor
Nivel 4: Indicadores. Al aplicar las frmulas
resultante que puede ser un nmero, un porcentaje,

En Naranjo Snchez (2013) se describe cada uno de
un numerador y un denominador, en fin la medida en
estos niveles.
la cual las subcaractersticas se cumplen.
Nivel 0: Tipo de calidad (mtricas de producto y
mtricas proceso). En Naranjo Snchez (2013), se

indica que el modelo de calidad propuesto para la
evaluacin visto desde una perspectiva global est
centrado en mtricas de proceso y mtricas de
producto. Las mtricas de producto son basadas
4.1.1.4. Determinar la
puntuacin/
calificacin de
LOS elementos que
componen el modelo.
en normas reconocidas ISO 9126, IEEE 14143, ISO
En esta etapa se debe establecer la puntuacin que se
20.000 que contienen mtricas internas, externas
manejara para los elementos de los diferentes niveles.
y de calidad en uso. Las mtricas de proceso tratan
En Naranjo Snchez (2013) se indican los siguientes
los aspectos comunes de los siguientes estndares
valores a manejar en los diferentes niveles.
COBIT, ISO 17799, ISO 27001, CMMI, ISO 15504, IEEE

1044, ITIL, ISO 20000, entre otros.
Nivel 0: Tipos de calidad. El puntaje mximo que
Nivel 1: Caractersticas. El modelo de calidad
se puede tener en la evaluacin es de 100, y el equipo
propuesto como punto de partida corresponde al
de evaluacin debe distribuirlo de acuerdo al enfoque
que plantea la norma ISO/IEC 9126 presentado
de la medicin. Para el nivel 0 se debe indicar cuanto
en el captulo 3. La idea con el modelo es que el
se asigna a las mtricas de producto, y cuanto se
grupo de trabajo seleccione las caractersticas y
asigna a las mtricas de proceso.
subcaractersticas que considere relevantes para

pudiendo
Por ejemplo, se podra decidir asignar 80 puntos a
modificar el modelo de calidad adicionando nuevas
mtricas de producto (60 puntos para mtricas de
caractersticas, subcaractersticas, y mtricas de
calidad interna-externa y 20 puntos para las mtricas
acuerdo a las particularidades del proyecto.
de calidad de uso), y 20 puntos para las mtricas de
la evaluacin del software educativo,
proceso (para cubrir aspectos de la administracin del
Nivel 2: Subcaractersticas. Las subcaractersticas
corresponden a los atributos del producto. Para

definir las subcaractersticas: primero, se deben
enumerar todos los atributos que se considera debe
reunir el software ideal; segundo, se procede a validar
sistema.
La asignacin de puntaje a mtricas del proceso se
Tabla 10. Ejemplo de Puntaje Asignado a las
realiza solo si la evaluacin del software educativo se
Caractersticas del Proceso
adelanta para la empresa (o institucin educativa) que

est desarrollando el software. Se puede dar el caso
que no se tengan en cuenta mtricas del proceso,
sobre todo con los productos que se encuentran en la
etapa de operacin (ya en el mercado) donde es difcil
disponer de la informacin y artefactos manejados
en la etapa de desarrollo del software, en estos casos
todo el puntaje de la evaluacin (100 puntos) se debe
distribuir nicamente en las mtricas de producto.
Nivel 1: Caractersticas. A este nivel le corresponde
realizar la distribucin de los puntajes definidos en
Caractersticas del Proceso
Puntaje
Planificacin de sistemas
Organizacin
Controles generales
Metodologa de desarrollo de sistemas
Entrega e implementacin de sistemas
Administracin de la documentacin
Total
20
Nota Fuente: Adaptado de Naranjo Snchez ( 2013)
el nivel anterior para mtricas e producto y proceso.

La distribucin la sugiere el equipo de evaluacin,
sobre las caractersticas que sean seleccionadas para
el modelo de calidad, y se presentan al cliente para su
aprobacin.
Nivel
2: Subcaractersticas. En este nivel el equipo
de evaluacin debe asignar los puntajes para valorar

las subcaractersticas tanto del producto como del
proceso, respetando los valores acordados con el
En las tablas 9 y 10 se indica a manera de ejemplo

una posible distribucin que se presenta en Naranjo
Snchez (2013), donde solo se tienen en cuenta
algunas de las caractersticas disponibles para
producto y proceso. Observe que se respeta el puntaje
total indicado en el nivel 0 para mtricas de producto
y proceso.
cliente en el nivel 1.
Para
verificar
subcaracterstica
el
cumplimiento
de
cada
se utilizan instrumentos como
entrevistas y encuestas, u otros mecanismos como

las pruebas tcnicas (pruebas de caja negra, caja
blanca, etc), administrativas y/o de cuestionario de
relevamiento tcnico.
Tabla 9. Ejemplo de Puntaje Asignado a las

Caractersticas del Producto
A los resultados de la aplicacin los diferentes

instrumentos y pruebas se les asignan un peso en la
evaluacin de acuerdo a los criterios que se definan.
Caractersticas por Producto
Puntaje
Funcionalidad 20
Usabilidad 12
Fiablidad 9
Eficiencia 8
Satisfaccin 8
Capacidad de mantenimiento
Productividad 6
Portabilidad 5
Efectividad 3
Seguridad de uso

Total
3
80
Nota Fuente: Adaptado de Naranjo Snchez ( 2013)
A continuacin en la Tabla 11 se presenta un ejemplo

dado en Naranjo Snchez (2013), que muestra cmo
distribuir los pesos entre los diferentes instrumentos.
Tabla 11.
Ejemplo Distribucin Peso Instrumentos

Usados en la Evaluacin de Software
Prueba
Administrativa
Cuestionario
a usuarios
Cuestionario
de
Relevamiento
Tcnico
Prueba
de caja
negra
Total
X
50
X
50 100
X 30
X 20 X 50
100
X
100 100
X
100
X 50 X 30
X 20
100
X
100
100
Nota Fuente: Adaptado de Naranjo Snchez (2013)
En la tabla anterior cada fila muestra las pruebas

e
instrumentos
aplicar
una
determinada
caracterstica y a cada uno se le asigna un porcentaje.

La suma de los pesos asignados a las pruebas e
instrumentos que se aplique para la subcaracterstica
debe ser 100. Por ejemplo, en la segunda fila se utiliza
cuestionario, una prueba administrativa y una prueba
de caja negra, asignando 30, 20, 50 respectivamente,
para un puntaje total mximo a obtener de 100 en
dicha subcaracterstica.
La asignacin de los pesos debe ser analizada por
el equipo evaluador por lo que pueden varias de un
equipo evaluador a otro. En este punto si se tienen
sub caractersticas para aspectos educacionales, se
podra asignar incluso mayor pero a estos criterios
que a los tcnicos.
Si se usan encuestas o entrevistas la forma de
calificar las preguntas debe ser con el uso de escalas
dicotmicas (si/no) o escalas Likert. El uso de
estas escalas permite una mejor valoracin de las
percepciones de los usuarios. La Tabla 12 presentada
en Naranjo Snchez (2013) muestra un ejemplo de
una posible escala Likert que puede ser usada para la
valoracin de preguntas escritas en forma afirmativa.
La Tabla 13 presenta otra escala Likert pero con cuatro
categoras.
Tabla 12. Ejemplo de Escala Likert para Valoracin de
4.1.1.5. Efectuar medicin.
Preguntas Afirmativas
Esta parte de la metodologa corresponde a la
Escala
medicin de las caractersticas, sub caractersticas,
Valor
Total Acuerdo 5
mtricas e indicadores aplicando los instrumentos
Parcial Acuerdo 4
y herramientas definidos en las etapas anteriores.
Medio 3
Los valores que se obtengan al realizar las mediciones
Parcial Desacuerdo 2
sern llamados puntajes obtenidos y deben ser
Total desacuerdo 1
representados en funcin de las escalas establecidas

previamente; en el mejor de los casos el puntaje
obtenido para una caracterstica, subcaracterstica,

mtricas e indicadores no debe superar el puntaje
mayor de referencia fijado previamente. Naranjo
Snchez (2013).
Tabla 13. Ejemplo de Escala Likert Cuatro Niveles

Se debe mencionar que en el dominio de la ingeniera
informtica se trabajan diversos tipos de pruebas
Escala
dentro de los cuales se pueden destacar: pruebas
Valor
Excelente / Siempre
de carga mxima, pruebas
pruebas
Bueno / Regular 2
Regular / Ocasional
de
tiempo
de
de
almacenamiento,
ejecucin, prueba
de
recuperacin, prueba de procedimientos, prueba de
factores humanos,
Malo / Nunca 0
pruebas de usabilidad, pruebas
de smoke (sistema), pruebas de unidad o unitarias,

pruebas de integracin, pruebas funcionales, pruebas
Nota Fuente: Adaptado de Garca (2003)
de configuracin e instalacin, pruebas de caja negra,

pruebas de sentencia, pruebas de rendimiento,
pruebas de background, pruebas de estrs, pruebas
Nivel 3: Mtricas. En este nivel el equipo de
de recuperacin de errores, pruebas de seguridad,
evaluacin debe asignar los puntajes mximos de
pruebas de multiusuario, pruebas de configuracin,
referencia para valorar cada una de las mtricas a
pruebas de instalacin y otras de acuerdo a las
utilizar. La suma total de los puntajes mximos de
necesidades de la evaluacin.
todas las mtricas deber ser igual a 100 puntos.

Al calificar las mtricas se deben usar solo nmeros
En la metodologa propuesta por Snchez se
enteros para la valoracin de las caractersticas
considera como instrumentos bsicos para el trabajo
subcaractersticas. Naranjo Snchez (2013).
de evaluacin, los siguientes:

negra, pruebas administrativas,
pruebas de caja
cuestionario de
relevamiento tcnico, encuestas dirigidas a usuarios

y entrevistas de confirmacin con el personal tcnico.
4.1.1.6. Establecer resultados.

Para establecer los resultados de las mediciones
efectuadas Naranjo Snchez (2013), recomienda
utilizar una matriz, como la que se muestra en la
Tabla 14 que presente el modelo de calidad junto con
los valores medidos.
Tabla 14. Matriz del Modelo de Calidad para un
Software Educativo
Tipo de
Calidad
Caracterstica
Subcaracterstica
Mtrica
Indicadores
Puntaje
Especificado
Puntaje
Obtenido
La matriz
de
resultados
permitir comparar los
4.1.1.7. Presentar Informe.
puntajes establecidos y obtenidos por el producto

software educativo evaluado, facilitando determinar
A medida que se avanza en la realizacin de las
si el producto cumple con las especificaciones
diferentes actividades de las etapas del proceso
formuladas; en el caso de que se requiera comparar
de evaluacin se debe ir documentando el trabajo
varios productos similares al mismo tiempo se puede
realizado.
adicionar una columna de puntaje obtenido para cada
de un documento final que corresponde al informe
uno de los productos.
de la evaluacin, el cual es presentado a la empresa
Esta ltima etapa abarca la elaboracin
o institucin que solicito la evaluacin.

En ltimo lugar, se recomienda al cliente la adquisicin
Naranjo
Snchez (2013).
y/o uso del software educativo si el puntaje total, que

equivale a la suma de los puntajes individuales de las
Es recomendable presentar: un informe ejecutivo,
caractersticas, supera 70/100. En el caso de evaluar
muy corto (1 pgina) para mostrar el resultado de la
varios productos de software educativo se recomienda
evaluacin; y el informe analtico, que debe contener
el que obtenga el mayor puntaje.
toda la
documentacin
relativa a
la
evaluacin
que servir como evidencia del trabajo realizado

(formatos de instrumentos y pruebas aplicadas, etc.).
4.2. Un Ejemplo de
Evaluacin
Actualmente se encuentran disponibles diversas
soluciones tecnolgicas en el mbito educativo, pero
quiz una de las ms utilizadas sean los sistemas
4.2.1. Establecimiento
de la evaluacin.
de gestin de aprendizaje (Learning Management

System,
LMS). Los LMS presentan diferentes
caractersticas, pero por lo general son fciles de usar,
Objetivo de la evaluacin: Una institucin educativa
presentan una flexibilidad
pedaggica y algunos
llamada Frmate-Fcil est interesada en el LMS
adems permiten organizar
Moodle puesto que es uno de los ms utilizados
y distribuir cursos a travs de la Web, ofreciendo
para este propsito. El objetivo de la evaluacin es
una serie de funcionalidades comunicativas
determinar si la plataforma LMS Moodle cumple con
no resultan costosos,
colaborativas. Downes (2005).

En este apartado se presenta una evaluacin realizada
a Moodle que es uno de los LMS ms utilizados a
nivel mundial. La evaluacin ha sido diseada como
ejemplo de aplicacin de la metodologa y estndares
presentados en el curso, y el objetivo no es cubrir
con ella la totalidad de caractersticas del LMS,
sino ilustrar la aplicacin de los conceptos bsicos
del curso mediante la valoracin de algunas de las
caractersticas. A continuacin se describe el resultado
de realizar las actividades propuestas en cada etapa
de la metodologa generalizada de evaluacin de
Snchez.
lo siguiente:
o Mantenimiento. Se expresa que se busca

que las actividades diarias como crear cursos,
reciclarlos, eliminar usuarios, crear ejercicios,
deben ser sencillas de realizar y que extender
o actualizar el LMS no debe ser una tarea
complicada.
o Compatibilidad. Se desea saber si esta
solucin es compatible con otras similares que
existen para intercambiar contenidos de ser el
caso.
o Usabilidad. Se indica que es muy importante
que la plataforma sea fcil de usar para que
posteriormente no se abandonada o rechazada
por los usuarios (las interfaces grficas deben
ser intuitivas, debe ser fcil encontrar los
elementos, no se debe requerir una larga fase
de capacitacin).
o Modularidad. Es deseado que el LMS brinde
diversas funcionalidades dando la posibilidad
de habilitarlas o deshabilitarlas cuando sea
requerido.
10
o Accesibilidad. Tambin son importantes
o Evaluador jefe: Martin Moure representante
los aspectos de accesibilidad, es decir, que el
de la empresa evaluadora y lder del equipo de
LMS sea accesible para todos los individuos a
evaluacin, es una persona con experiencia
pesar de sus deficiencias fsicas, y que estn
en la prctica de las principales normas y
disponibles a todos los usuarios los diferentes
estndares sobre evaluacin del producto y
componentes u extensiones que se puedan
procesos software. Dirige y planifica el proceso
requerir.
de evaluacin.
Para la definicin de los elementos anteriores se ha
o Evaluador: Santiago de Francisco. Lleva a
tomado como referencia lo propuesto en Kaap (2003).
cabo las actividades de evaluacin que le asigne

el evaluador jefe y va documentando el proceso
Tipo de la evaluacin: La evaluacin a realizar se
centra bsicamente en el producto final, es decir, se

desea evaluar el producto que se ofrece en el mercado,
y no interesa evaluar caractersticas de su proceso de
desarrollo.
de evaluacin.
o Equipo evaluador: Lo conforman el evaluador
jefe y el evaluador de calidad (se podran tener
ms evaluadores de acuerdo a los requisitos del
proyecto). Estas personas deben cumplir con
Tipo de producto: El producto a evaluar se encuentra
en la categora de software libre (gratuito).
los compromisos acordados para la evaluacin

con el patrocinador de la evaluacin.
Para la definicin de los responsables y roles
anteriores se ha tomado como referencia lo propuesto
4.2.2. Planificacin
de la evaluacin.
en Rodrguez et al, (2010), debido a que describe

este punto con mas detalle, contrario a lo que indica
la norma ISO/IEC 9126-1 que solo considera a un
alto nivel de abstraccin tres perfiles de usuario:
Cronograma. Se omite para este ejemplo.
desarrolladores, gerentes y usuarios.
Responsables y Roles
Elaborar contrato
o Empresa cliente. Institucin Frmate-Fcil.

o Patrocinador evaluacin. Faustino lvarez
vicerrector
acadmico
de
Frmate-Fcil,
es la persona que realiza el contacto con la

empresa evaluadora y expresa la necesidad
de evaluacin (est encargado de conformar
un equipo de trabajo interno formado por
personal propio de la empresa Frmate-Fcil de
ser requerido).
o Equipo de la empresa cliente: no asignado
para este caso.
o Empresa
evaluadora:
Valoramos
Tu
Producto S.A
11
este ejemplo.
o acuerdo. Se omite para
4.2.3. Modelo de calidad

y puntuacin.
Nivel 3, mtricas.
En la Tabla 16 se indican
las mtricas seleccionadas para cada una de las

subcaractersticas del modelo de calidad. En este
punto se debe resaltar que las diferentes partes de
Nivel 0, tipo de calidad. Se utilizaran mtricas
de producto a las cuales se les asigna el total de

calificacin, 100 puntos.
norma ISO/IEC TR 9126-2, ISO/IEC TR 9126-3, ISO/IEC

TR 9126-4 indican un conjunto de mtricas, pero no
son un conjunto exhaustivo y el equipo de evaluacin
o el cliente pueden proponer otras mtricas.
Nivel 1. Caractersticas. El modelo de calidad que
se propone se compone solo de 4 caractersticas

que son seleccionadas para cubrir la evaluacin
de las necesidades expresadas por el cliente. Las
caractersticas seleccionadas y la
puntuacin
propuesta para cada una de ellas se presenta en la

Tabla 15.
En este ejemplo todas las mtricas tienen el mismo

peso o importancia, sea que los puntos definidos
en cada caracterstica se reparten por igual entre las
mtricas que se utilicen en dicha caracterstica. En
resumen:
o Para obtener el puntaje de cada caracterstica
se deben promediar los valores obtenidos para
Tabla 15. Caractersticas y Puntaje para Modelo de

Evaluacin de Calidad del Ejemplo
Caractersticas por Producto
Funcionalidad 30
Usabilidad 30
20
Portabilidad 20
Total
Nivel 1.
Subcaractersticas.
100
En la tabla 16 se
describen las subcaractersticas seleccionadas de

acuerdo a los propsitos de la evaluacin. Para
la valoracin de las subcaractersticas definidas
en el modelo de calidad se utilizara como nico
instrumento los cuestionarios por lo cual no se da
lugar a realizar ninguna distribucin de pesos entre
instrumentos. Se usara una escala Likert con las
siguientes ponderaciones: excelente/siempre/si, 3;
bueno/regular, 2; regular/ocasional, 1; malo/nunca/
no, 0.
12
metrica1
puntaje-metrica1
+...+
puntaje-
metrican)/n.
o Para calcular la calidad total se suman los valores
Puntaje
Facilidad de mantenimiento
las mtricas. Puntaje-caracterstica: (puntaje-
ponderados de cada caracterstica. Calidad-total:

funcionalidad*0.30 + usabilidad*0.30 + facilidadmantenimiento*0.20 + portabilidad*0.20
Tabla 16. Mtricas y Subcaractersticas del Modelo de

Calidad del Ejemplo.
Caracterstica
Sub
caracterstica
Nombre
Mtrica
Funcionalidad
Consistencia
Uniformidad de
la estructura
Integridad
Uniformidad de
vocabulario
Adecuacin
Potencialidad
didctica
Los mdulos del software son uniformes en

lo que tiene que ver con
pantallas, mens, ayudas y mensajes?
Excelente
Bueno
Regular
Malo
Existe
uniformidad
en el vocabulario, simbologa utiliza en el software?
Excelente
Bueno
Regular
Malo
El software cuenta con

herramientas para diseo curricular flexible,
herramientas de comunicacin e interaccin,
herramientas para el desarrollo del estudiante?
Excelente
Bueno
Regular
Malo
El fcil aprender a usar el

software?
Excelente
Bueno
Regular
Malo
Facilidad
Es fcil entender la
comprensin
estructura del software
Excelente
Bueno
Regular
Malo
Aprendizaje
Facilidad
Aprendizaje
y su lgica y su
aplicabilidad?
Atraccin
Facilidad de
El software es fcil de
operacin
operar y controlar?
Atraccin
Es atractivo el diseo del

software?
13
Excelente
Bueno
Regular
Malo
El software trabaja
acorde a normas y estndares u otras prescripciones?
Conformidad
normativa
Operabilidad
Forma Medir
Excelente
Bueno
Regular
Malo
Conformi-dad
Entendimiento
Descripcin
El software posibilita
trabajar tendencias
pedaggicas actuales?
Potencialidad
Pedaggica
Usabilidad
Excelente
Bueno
Regular
Malo
Excelente
Bueno
Regular
Malo
Facilidad de
Capacidad de
Facilidad de
Es fcil diagnosticar
mantenimiento
ser analizado
Diagnstico
las fallas o identificar

partes a modificar en el
software?
Cambiabilidad
Facilidad de
modificacin
modificar y adaptar?
Hay riesgos o efectos
Estabilidad
Estabilidad
inesperados cuando se
realizan cambio en el
software?
Son fciles de validar
Facilidad de
Facilidad
las modificaciones
prueba
validacin
realizadas al software?
Portabilidad
Adaptabilidad
Adaptacin
adaptar a otros entornos

con lo provisto?
Facilidad de
Facilidad
instalacin
Instalacin
Remplaza-
Remplazabi-
bilidad
lidad
Disponible co-
Coexistencia
existencia
El software se instala
con facilidad en el
ambiente especificado?
Es fcil de usarlo en
lugar de otro software
para ese ambiente?
El software comparte sin
dificultad recursos con
otro dispositivo?
Dentro de la subcaracterstica adecuacin que

pertenece a la caracterstica funcionalidad se han
Excelente
Bueno
Regular
Malo
Excelente
Bueno
Regular
Malo
Excelente
Bueno
Regular
Malo
Excelente
Bueno
Regular
Malo
Excelente
Bueno
Regular
Malo
Excelente
Bueno
Regular
Malo
Excelente
Bueno
Regular
Malo
Excelente
Bueno
Regular
Malo
4.2.4. Efectuar medicin.
incorporado dos mtricas para evaluar aspectos

educativos. La mtrica potencialidad didctica valora
las diversas herramientas que brinda el sistema para
soportar las diferentes actividades de los cursos, y
potencialidad pedaggica valora las posibilidades de
trabajar tendencias pedaggicas actuales.
La medicin de las caractersticas y subcaractersticas

se realiz utilizando un cuestionario que contiene
las preguntas que permiten realizar la valoracin de
las mtricas seleccionadas. La valoracin se realiza
utilizando la escala Likert indicada anteriormente
(3-excelente/siempre/si, 2-bueno/regular, 1-regular/
ocasional, 0- malo/nunca/no). En la figura 22 se
presenta una parte del cuestionario.
14
Funcionalidad
Usabilidad
Facilidad de Mantenimiento
Portabilidad
Cuestionario - Funcionalidad
Los mdulos del software son uniformes en los que tiene que
Excelente
ver con pantallas, mens, ayudas y mensajes?

Existe uniformidad en el vocabulario, simbologa utiliza en el
Regular
software?
El software posibilita trabajar tendecias pedaggicas actuales ?
Bueno
El software trabaja acorde a normas y estndares u otras prescripciones ?
Bueno
El software cuenta con herramietas para diseo curricular flexible,
Malo
herramientas de comunicacin e interaccin ?
Figura 22 . Extracto del Cuestionario Utilizado en el Ejemplo de Evaluacin
4.2.5. Resultados.
Tabla 17. Resultados del Ejemplo de Evaluacin
Tipo
de Calidad
Caracterstica
Funcionalidad
Sub-
caracterstica
Consistencia
(Puntaje
mximo
30 puntos)
Integridad
Adecuacin
15
Mtrica
Uniformidad
de la estructura
Puntaje
Especificado
Puntaje
Obtenido
Excelente
Excelente
Bueno
Bueno
Potencialidad didctica
Bueno
Bueno
Potencialidad Pedaggica
Bueno
Bueno
Uniformidad
de vocabulario
Conformidad
Conformidad
normativa
Subtotal Funcionalidad
Producto
Usabilidad
(Puntaje
mximo
Aprendizaje
Facilidad
aprendizaje
Entendimiento
imiento
(Puntaje
mximo
20 puntos)
Facilidad
comprensin
Bueno
Bueno
Operabilidad
Facilidad de
operacin
Excelente
Excelente
Atraccin
Atraccin
Bueno
Regular
Excelente
Bueno
Capacidad de
ser analizado
Facilidad de
Diagnostico
Excelente
Excelente
Cambiabilidad
Facilidad de
modificacin
Bueno
Bueno
Bueno
Bueno
Bueno
Regular
Bueno
Bueno
Adaptacin
Bueno
Bueno
Facilidad de
instalacin
Facilidad
Instalacin
Bueno
Bueno
Remplazabilidad
Remplazabilidad
Bueno
Regular
Coexistencia
Disponible
co-existencia
Bueno
Bueno
Subtotal Portabilidad
Bueno
Bueno
Total Calidad
Bueno
Bueno
Estabilidad
Estabilidad
Facilidad de
prueba
Facilidad
validacin
Subtotal Facilidad
de mantenimiento
Portabilidad
(Puntaje
mximo
20 puntos)
Adaptabilidad
De acuerdo a los requerimientos formulados por el

cliente se concertaron los puntajes especificados
que se desean para cada una de las subcaractersticas
4.2.6. Informe.
y caractersticas. Mediante la valoracin de las

diferentes mtricas definidas se establecen los
puntajes obtenidos, con lo cual se puede dar una
recomendacin al cliente, que para el caso del ejemplo
seria que el LSM Moodle cumple con las necesidades
expresadas.
16
Bueno
Excelente
Subtotal Usabilidad
de manten-
Bueno
Bueno
Excelente
30 puntos)
Facilidad
Bueno
Se omite para este ejemplo.
Trminos Claves
Lecturas Recomendadas
Metodologa Evaluacin Software Educativo

Planificacin de la Evaluacin
ISO/IEC 9126-2 TR. (2003). Software engineering
Mtricas
Product quality Part 2: External metrics.
Puntuacin
Recuperado de:
Calificacin
https://www.google.com.co/url?sa=t&rct=j&q=&e
Medicin
src=s&source=web&cd=1&cad=rja&ved=0CCkQFjA
Resultados
A&url=http%3A%2F%2Fwww.cse.unsw.edu.au%2
Informe
F~cs3710%2FPMmaterials%2FResources%2F91262%2520Standard.doc&ei=s96hUvXjNI23kAfogoDA
Bg&usg=AFQjCNG20d4VIrbf8CaLkmVuygkttXmgA&bvm=bv.57752919,d.eW0
Daz, A., Prez, M., & Mendoza, L. (2003).
Instrumento de evaluacin de software educativo
bajo un enfoque sistmico. Caracas. Recuperado de:
http://lsm.dei.uc.pt/ribie/docfiles/
txt200372919958paper-010.pdf
17

Capitulo Completo

Cargado por

Información del documento

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Capitulo Completo

Cargado por

Copyright:

Formatos disponibles

Ideas Fundamentales

Calidad del Software

educativo es un proceso y para adelantarlo

generalizada de evaluacin de software

La metodologa mencionada consta

de las siguientes partes: establecimiento de

los ltimos aos se han

formulado algunas propuestas desde los

Para poder valorar las caractersticas

o elementos propios del mbito educativo,

informtica se trabajan diversos tipos de

Lo ms importante es tener presente

propuesta que se tome como referencia para

equipo la adapten o modifiquen de acuerdo a su

evaluacin de la calidad del software los organismos de

experiencia, conocimientos, recursos disponibles, etc.

estandarizacin han formulado algunos estndares,

A continuacin se presenta una metodologa de

de los cules los ms relevantes son las normas ISO/

evaluacin de software educativo que llamaremos

IEC 9126, ISO/IEC 14598 e ISO/IEC 25000.

resaltar, que ninguno de estos est formulado

puede ser utilizada como referencia para adelantar

especficamente para evaluar software desarrollado

procesos de evaluacin de la calidad cualquier

para el mbito educativo, pero esto no significa que

tipo de software. Esta metodologa se basa en los

no puedan utilizarse con xito para este propsito.

estndares internacionales ISO/IEC 14598, ISO/

En los ltimos aos se han formulado algunas

Bertha Alice Naranjo Snchez en el XIV Encuentro

Internacional Virtual Educa Colombia 2013 celebrado

investigativos que tratan el tema de la evaluacin

en la ciudad de Medelln. Virtual Educa(2013).

de la calidad del software educativo, pero al

cubran la evaluacin de dichos elementos. La solucin

Evaluacin de la Calidad de la Tecnologa Educativa | www.cvudes.edu.co

Establecer tipo de la evaluacin: Este punto es simple

y consiste en identificar e indicar el tipo de evaluacin

considerada como un aporte a las metodologas de

Identificar el tipo de producto: Cuando la evaluacin

se debe identificar si dicho

producto es comercial, desarrollado a medida para

(3) Establecer el Modelo de Calidad, (4) Determinar

Como se observa las etapas propuestas

Una vez se conoce lo que se busca con la evaluacin, se

metodologa son muy similares a las que establece el

pasa a abordar la etapa de planificacin y organizacin

estndar ISO/IEC 14598. A continuacin se describe

del trabajo a realizar. Como actividades importantes

con ms detalle cada una de ellas.

a definir se tienen segn Naranjo Snchez (2013):

componen el modelo, (5) Efectuar medicin, (6)

radica en concretar con el cliente el objetivo principal

Evaluacin de la Calidad de la Tecnologa Educativa | www.cvudes.edu.co

cronograma tentativo se deben definir todas las

identificar las personas

proyecto. La identificacin de todo el recurso humano

roles. Identificados los integrantes

que participaran en el proceso de evaluacin, se

en la etapa de planificacin de la evaluacin, es

las subcaractersticas propuestas

tercero, si el cliente da su visto bueno se incluyen

Se plantean los siguientes 4 niveles para describir el