Calidad Sistmica del Software Educativo

Prez, Mara; movalles@usb.ve Daz-Antn, Gabriela; gabriela_diaz@cantv.net Grimn, Ana; agriman@usb.ve Mendoza, Luis. lmendoza@usb.ve Universidad Simn Bolvar Venezuela

Resumen Cuando se hace referencia a la Calidad del Software Educativo, se requiere de un producto que satisfaga tanto las expectativas del docente como de los alumnos, a un menor costo, libre de errores y que cumpla especificaciones instruccionales y tecnolgicas. Esta necesidad conlleva a construir un modelo que especifique esta calidad, enfocndolo no slo como un producto sino considerando tambin el proceso para construirlo. La meta de este trabajo es proponer un modelo de especificacin de calidad sistmica para software educativo. A travs del estudio de un caso se describe su aplicacin y se analiza su desempeo. Se propone adems un mtodo para su aplicacin, que toma en cuenta la preseleccin y estudio final para hacer la adquisicin de un software educativo bajo este enfoque de calidad. El modelo propuesto cuantifica la calidad sistmica deseada a partir de tres categoras: Funcionalidad, Usabilidad y Fiabilidad, con sus respectivas mtricas. Luego de su aplicacin se puede calificar el software evaluado segn cuatro niveles de calidad: nula, bsica, intermedia o avanzada. Para la evaluacin del software educativo se parte tanto de los aspectos de contenido y computacionales como de los documentos de soporte pedaggico y tcnico. Palabras clave: calidad de software, software educativo, especificacin de calidad Abstract When speaking about Learning Software Quality, we require a product which meets teachers and students expectations; a cost-effective, error-free, instructional specifications-compliant product. This need promotes the construction of a model for quality specification, focused not only on the product but considering also the construction process. The goal of this research is proposing a systemic quality specification model for Learning Software. Its application and performance are described and analyzed by using a case study. An application method using a systemic focus is also proposed for pre-selecting and acquiring an Learning Software. The proposed model estimates the systemic quality for three categories: Functionality, Usability and Reliability, including the

respective metrics. Once applied this model is possible to qualify the evaluated software according to four quality levels: null, basic, median and advanced. For evaluating Learning Software we have included here so computing and content aspects as pedagogical and technical support documents. Keywords: software quality, learning software, quality specification

Introduccin La presencia de las Tecnologas de la Informacin (TI) en el aula, es cada da mayor; sin embargo, es un reto garantizar que se haga un uso adecuado de las mismas. Parte de este reto es contar con software de calidad. En particular, con el software que est soportando el proceso de enseanza-aprendizaje. La calidad es un elemento multidimensional y contextual, lo cual lo hace altamente cualitativo; pero la tendencia mundial es tratar de cuantificarla para soportar a los tomadores de decisiones en su proceso de seleccin y adquisicin. El objetivo de este artculo es proponer un modelo de especificacin de la calidad para el software educativo, con un enfoque sistmico. Este modelo permitir a las escuelas venezolanas contar con un instrumento orientador, que cuantifica (mide) la calidad del software educativo que se desee adquirir. Para su evaluacin, este modelo fue aplicado a cuatro softwares educativos en una escuela venezolana. Este artculo presenta una breve descripcin del concepto de calidad sistmica del software, algunos aspectos de la calidad de software educativo y, posteriormente, presenta la adecuacin del modelo MOSCA a software educativo. Finalmente, se presentan los resultados de la aplicacin del modelo al estudio de cuatro casos, para cerrar con las conclusiones obtenidas de esta investigacin. Calidad sistmica de software Segn Callaos y Callaos (1993), la calidad de los Sistemas de Software no es algo que depende de una sola caracterstica en particular, sino que obedece al compromiso de todas sus partes. Tomando en cuenta la calidad del producto y la calidad del proceso, el LISI-USB desarroll el Modelo Sistmico de Calidad de Software MOSCA- (Mendoza et al., 2001; 2002), que integra el modelo de calidad del producto (Ortega et al., 2000) y el modelo de calidad del proceso de desarrollo (Prez et al., 2001), y est soportado por los conceptos de calidad total sistmica (Callaos y Callaos, 1993; Prez et al., 1999). A la hora de definir la calidad del software se debe diferenciar entre la calidad del producto software y la calidad del proceso de desarrollo de ste -calidad de diseo y fabricacin- (Callaos y Callaos, 1993; Prez et al., 1999). No obstante, las metas que se establezcan para la calidad del producto van a determinar los objetivos del proceso de desarrollo, ya que la calidad del primero va a depender, entre otros aspectos, de estos ltimos. Segn Callaos y Callaos (1993), la calidad de los Sistemas de Software no es algo que depende de una sola caracterstica en particular, sino que obedece al compromiso de todas sus partes. sta es una visin sistmica de la calidad del software. Tomando en cuenta este enfoque de la calidad, se desarroll el Modelo Sistmico

de Calidad de software (MOSCA), en el LISI-USB (Mendoza et al., 2001), que integra el modelo de calidad del producto (Ortega, et al., 2000) y el modelo de calidad del proceso de desarrollo (Prez et al., 2001), y soporta estos conceptos de calidad sistmica (Callaos y Callaos, 1993; Prez et al., 1999). En cuanto a la perspectiva del producto, este modelo plantea, sobre la base de las 6 caractersticas de calidad del estndar internacional ISO/IEC 9126 (1991), un conjunto de categoras, caractersticas y mtricas asociadas que miden la calidad y hacen del modelo un instrumento de medicin de gran valor, ya que cubre todos los aspectos imprescindibles para medir directamente la calidad del producto de software. En cuanto a la perspectiva del proceso, este modelo se formul sobre la base de las 5 caractersticas de calidad del estndar internacional ISO/IEC 15504 (JTC 1/SC 7, 1991), un conjunto de categoras, caractersticas y mtricas asociadas que miden la calidad de un proceso de software con un enfoque sistmico. El modelo de calidad que soporta este enfoque se describe a continuacin. Como se puede observar en el grfico N 1, MOSCA consta de 4 niveles, los cuales son descritos seguidamente.

Grfico N 1 Estructura de MOSCA. (Mendoza et al. 2001; 2002).

Nivel 0: Dimensiones. Eficiencia del proceso, Efectividad del proceso, Eficiencia del producto y Efectividad del producto son las cuatro dimensiones propuestas en el prototipo de modelo. Slo un balance y una buena interrelacin entre ellas permite garantizar la calidad Sistmica global de una organizacin. Nivel 1: Categoras. Se contemplan 11 categoras: 6 pertenecientes al producto y

las otras 5 al proceso de desarrollo. Producto: Funcionalidad (FUN), Fiabilidad (FIA), Usabilidad (USA), Eficiencia (EFI), Mantenibilidad (MAB) y Portabilidad (POR). Proceso: Cliente-Proveedor (CUS), Ingeniera (ENG), Soporte (SUP), Gestin (MAN) y Organizacional (ORG).

Nivel 2: Caractersticas. Cada categora tiene asociado un conjunto de caractersticas (56 asociadas al producto y 27 al proceso de desarrollo), las cuales definen las reas claves a satisfacer para lograr, asegurar y controlar la calidad tanto en el producto como en el proceso. Entre las caractersticas asociadas a cada categora del producto, se proponen en el modelo MOSCA, una serie de caractersticas del proceso (ver Figura 1). Esto se debe a que algunas caractersticas de la calidad del proceso, impactan directamente en las categoras del producto, al igual que ciertas caractersticas de la calidad del producto definen categoras del proceso. Nivel 3: Mtricas. La cantidad de mtricas asociadas a cada una de las caractersticas que conforman MOSCA es de 587 en total. Adicionalmente, MOSCA cuenta con un algoritmo que facilita su operacionalizacin y permite estimar la calidad de software. El algoritmo contempla tres fases: (1) estimacin de la calidad del producto de software con un enfoque sistmico; (2) estimacin de la calidad del proceso de desarrollo de software con un enfoque sistmico; y (3) integracin de las mediciones de los submodelos de la calidad del producto y la calidad del proceso. Calidad de software educativo Segn Gros et al. (1997) se considera software educativo a cualquier producto basado en computadora con una finalidad educativa. As mismo, segn Galvis (2000), en el campo educativo suele denominar software educativo a aquellos programas que permiten cumplir y apoyar funciones educativas. En esta categora entran tanto los que dan soporte al proceso de enseanza y aprendizaje (un sistema para ensear matemticas, ortografa, contenidos o ciertas habilidades cognitivas), como los que apoyan la administracin de procesos educacionales o de investigacin (Ej. un sistema que permita manejar un banco de preguntas). El significado que se maneja en este trabajo est relacionado principalmente con la primera definicin; es decir, con los materiales educativos computarizados que apoyan el proceso de enseanza-aprendizaje, a las que en Ingls se denomina courseware (i.e., software educativo para cursos) (Galvis, 2000). Cuando se habla de calidad de software educativo, se requiere un producto que satisfaga tanto las expectativas de los docentes como de los usuarios, a un menor costo, libre de defectos y cumpliendo con ciertas especificaciones (Pressman, 2002). Segn Gros (2000), la calidad del software educativo est determinada no slo por los aspectos tcnicos del producto sino por el diseo pedaggico y los materiales de soporte. Este ltimo aspecto es uno de los ms problemticos ya que existen poco programas que ofrezcan un soporte didctico. La evaluacin de software educativo se ha centrado tradicionalmente en dos momentos:

1. Durante su utilizacin real por los usuarios, para juzgar su eficiencia y los resultados que con l se obtienen. 2. Durante el proceso de diseo y desarrollo, con el fin de corregir y perfeccionar el programa. En consecuencia, el tema de evaluacin del software educativo ha sido estudiado y documentado por diversos autores del mbito educativo, proporcionando medidas de evaluacin en el rea educativa y tcnica (Barroso et al., 1998; Del Moral, 1998, Galvis, 2000; Gmez, 1997; Gonzlez, 1999; Gros et al., 1997; Marqus, 1998; Martnez y Sauleda, 1993; MVU, 2002; Navarro, 1999; OTA, 1988; PEMGU, 1999; Reeves, 1998; Stephen, 1998). Destacan los mtodos de evaluacin de Galvis (2000) y de la Universidad Virtual de Michigan (MVU, 2002), que utilizan mtodos cuantitativos de evaluacin. Sin embargo, en vista de que gran parte de las propuestas sobre software educativo, son de ndole cualitativa o necesitan adaptarse a medidas estndares de evaluacin de software segn las normas ISO/IEC 9126 (1991), surge la necesidad de la disponibilidad de un instrumento de medidas estndares de calidad para la evaluacin de software educativo, que sea de utilidad tanto para los desarrolladores de software educativo como para los interesados en adquirir software comercial (por ejemplo, educadores e instituciones educativas). Adecuacin de mosca para software educativo Dado que MOSCA es un modelo de especificacin de la calidad de los sistemas de software, que adems permite su medicin, en este artculo se hace una adecuacin del mismo para software educativo. Como un primer alcance, se decidi utilizar slo la Perspectiva Producto, y de esta perspectiva slo la Dimensin de la Efectividad del Producto; en virtud de que la necesidad ms inmediata es dar a las escuelas venezolanas una orientacin para su proceso de seleccin del software educativo a adquirir. La propuesta del modelo de evaluacin de calidad de software educativo consiste, entonces, en un conjunto de categoras, caractersticas, subcaractersticas y las mtricas asociadas (ver Grfico N 2 y Tabla 1). La estructura del modelo consta de cuatro niveles que se explican brevemente a continuacin:

Grfico N 2 Propuesta del modelo de evaluacin de software educativo (modificado de Mendoza et al., 2001).

Perspectiva: Producto Nivel 0: Dimensiones. Efectividad Producto. Nivel 1: Categoras. Se contemplan tres categoras: Funcionalidad (FUN): Es la capacidad del producto del software para proveer funciones que cumplan con necesidades especficas o implcitas, cuando el software es utilizado bajo ciertas condiciones. Usabilidad (USA): Esta categora se refiere a la capacidad del producto de software para ser atractivo, entendido, aprendido y utilizado por el usuario bajo condiciones especficas. Fiabilidad (FIA): La fiabilidad es la capacidad del producto de software para mantener un nivel especificado de rendimiento cuando es utilizado bajo condiciones especificadas.

Como se indic en la seccin anterior, MOSCA consta de seis categoras, de las cuales slo se deben utilizar tres para la evaluacin de software educativo. Debido a que la categora de Funcionalidad siempre debe estar presente, en esta actividad se seleccionan dos categoras de las cinco restantes del modelo del producto (Usabilidad, Fiabilidad, Eficiencia, Mantenibilidad y Portabilidad). Se seleccionaron Usabilidad y Fiabilidad (Grimn et al., 2001). La Usabilidad es seleccionada debido a que para que un software educativo motive al aprendizaje, es fundamental que el material educativo sea atractivo y de fcil manejo, debe generar actividades interactivas que motiven y mantengan la atencin, actividades que deben ser variadas y que respondan a los diversos estilos de aprendizaje. Se

seleccion Fiabilidad debido a que es importante que el producto funcione bajo las condiciones establecidas y mantenga un nivel especfico de rendimiento para garantizar un ambiente de aprendizaje adecuado. Nivel 2: Caractersticas. Cada categora tiene asociado un conjunto de caractersticas (10 en total). Una vez seleccionadas las categoras que estn relacionadas con la evaluacin de software educativo (Funcionalidad, Usabilidad y Fiabilidad), se seleccionan las caractersticas asociadas a estas categoras en MOSCA, que estn relacionadas con el rea educativa. Se decidi seleccionar ciertas caractersticas asociadas a la efectividad del producto y no a la eficiencia del producto, debido a que, al adquirir un software comercial, no se tiene acceso a los documentos que permiten aplicar las mtricas correspondientes a esta dimensin, por lo que no es posible evaluarla. Nivel 3: Subcaractersticas. Para algunas de las caractersticas se asocian un conjunto de subcaractersticas. Para algunas caractersticas, tales como Ajuste a los propsitos y Facilidad de comprensin del software, se agreg un conjunto de sub-caractersticas (14 en total) que aadieron el componente educativo a MOSCA. Nivel 4: Mtricas. Para cada caracterstica se propone una serie de mtricas utilizadas para medir la calidad sistmica. Dada la cantidad de mtricas asociadas a cada una de las caractersticas que conforman la propuesta (276 en total), stas no sern presentadas en el presente artculo. Es necesaria una seleccin de mtricas adicionales relacionadas con Funcionalidad, Usabilidad y Fiabilidad, que permitan adaptar MOSCA en el rea de software educativo. En esta propuesta se realiz una investigacin sobre instrumentos de evaluacin de software educativo elaborados por universidades, organizaciones e instituciones gubernamentales, y expertos en la materia (Barroso et al., 1998; Del Moral, 1998, Galvis, 2000; Gmez, 1997; Gonzlez, 1999; Gros et al., 1997; Marqus, 1998; Martnez y Sauleda, 1993; MVU, 2002; Navarro, 1999; OTA, 1988; PEMGU, 1999; Reeves, 1998; Stephen, 1998). De esta investigacin se realiz la propuesta de un conjunto de mtricas que se incorporaron en la estructura de MOSCA (276 en total). En resumen, la propuesta del modelo de evaluacin de software educativo consta de un total de 3 categoras, 10 caractersticas, 14 sub-caractersticas y 276 mtricas (ver Tabla 1).

Tabla N 1 Propuesta de categoras, caractersticas, sub-caractersticas y nmero de mtricas, para el modelo propuesto basado en MOSCA. Adaptado de (Mendoza et al., 2001). CATEGORA CARACTERSTICAS SUBCARACTERSTICAS FUN.1.1 General (6) FUN.1.2 Objetivos aprendizaje (10) FUN.1.3 Contenidos aprendizaje (24) FUN.1.4 Actividades aprendizaje (17) de de de

FUN.1 Ajuste a los FUN.1.5 Ejemplos (5) propsitos (118) FUN.1.6 Motivacin (17) FUNCIONALIDAD (FUN) FUN.1.7 Retroalimentacin (11) FUN 1.8 Ayudas (5) FUN.1.9 Evaluacin registro de datos (11) y

FUN.1.10 Metodologa de enseanza (12) FUN.2 Precisin (4) FUN.3 Seguridad (4) USA.1.1 General (13) USA.1.2 Interactividad (21) USA.1 Facilidad comprensin (91) de USA.1.3 Diseo interfaz (34) de la

USABILIDAD (USA)

USA.1.4 Guas didcticas (23) USA.2 Capacidad de uso(11) USA.3 Interfaz Grfica (14) USA.4 Operabilidad (15) FIA.1 Madurez (11) FIA.2 Recuperacin (4) FIA.3 Tolerancia a fallas (4)

FIABILIDAD (FIA)

Total de mtricas: 276

Una vez formulado el modelo, se dise el proceso a seguir para estimar la calidad del Software educativo segn MOSCA. Caso de Estudio y Resultados Para la prueba de este modelo de evaluacin de software educativo con enfoque sistmico de calidad, se seleccionaron los 4 ttulos que se muestran en la Tabla 2, dos en espaol y dos en ingls, para distintas reas de la educacin y para diferentes edades. Tabla N 2 Lista de software educativo que se consider para la evaluacin de la propuesta. Software educativo Los aventureros. 3er. grado. Focus on Grammar Trampoln Tercer ciclo Smart Start in English (Hable Ingls ya!) Materia 3er.grado Curricular Gramtica inglesa 3er. Grado Curricular Idioma Ingls Edad 8 10 aos 12 aos adultos 8 a 10 aos 10 aos a adultos a Fabricante The Learning Company Longman Knowledge Adventure Anaya Interactiva Syracuse Language Language Larousse

Se aplicaron dos tipos de cuestionarios. El primero dirigido a los docentes y el segundo dirigido a los estudiantes. Ambos cuestionarios se desarrollaron a partir de las mtricas que conforman el modelo propuesto. Cada software educativo fue evaluado por dos docentes y dos alumnos. A continuacin se muestran los resultados. Funcionalidad: En la grfico 3 se muestran los porcentajes alcanzados por los cuatro software educativos, en cuanto a los requerimientos de calidad asociados a Funcionalidad.

Grfico N 3 Porcentaje de satisfaccin del software educativo frente a las tres caractersticas de Funcionalidad.

Como se puede observar en la grfico 3, los cuatro softwares educativos cumplen con las caractersticas de Ajuste a los propsitos y Precisin, por lo tanto se concluye que la categora Funcionalidad es satisfecha para los cuatro softwares evaluados, a saber, Los aventureros. 3er. Grado, Focus on Grammar, Trampoln tercer ciclo y Smart Start in English (Hable Ingls ya!); y se procede a continuacin con el algoritmo del modelo ampliado de MOSCA. Usabilidad: La Figura 4 muestra los porcentajes alcanzados por las caractersticas asociadas a la categora Usabilidad. Grfico N 4 Porcentaje de satisfaccin del software educativo frente a las cuatro caractersticas de Usabilidad

Como se puede observar en la grfico 4, los primeros tres softwares educativos cumplen con tres de las cuatro caractersticas asociadas a Usabilidad, por lo tanto se concluye que la categora Usabilidad es satisfecha para Los aventureros. 3er. Grado, Focus on Grammar, Trampoln tercer ciclo. Para el software Smart Start in English (Hable Ingls ya!), las caractersticas de facilidad de comprensin del software y operabilidad no alcanzaron el 75% de la

satisfaccin, por lo que se concluye que para este software, la categora Usabilidad no es satisfecha. Fiabilidad: La Figura 5 muestra los porcentajes alcanzados por las caractersticas asociadas a la categora Fiabilidad. Como se puede observar en la Figura 5, todos los softwares educativos cumplen con dos de las tres caractersticas asociadas a Fiabilidad, por lo tanto se concluye que la categora Fiabilidad es satisfecha para Los aventureros. 3er. Grado, Focus on Grammar, Trampoln tercer ciclo y Smart Start in English (Hable Ingls ya!).

Grfico N 5 Porcentaje de satisfaccin del software educativo frente a las tres caractersticas de Fiabilidad.

Analizando los resultados de las Figuras 3, 4 y 5, se tiene la Tabla 3, la cual muestra que tres de los cuatro softwares evaluados presentan nivel de calidad avanzado; es decir, los softwares educativos Los aventureros 3er. Grado, Focus on Grammar y Trampoln tercer ciclo presentan nivel de calidad Avanzada. El software Smart Start in English (Hable Ingls ya!) presenta nivel de Calidad Intermedia, debido a que la categora Usabilidad no fue satisfecha. Tabla N 3 Resultados de las evaluaciones de los cuatro software educativos segn el modelo propuesto. Software educativo Aventureros, tercer grado Focus on grammar Trampoln tercer ciclo Smart start in English Categora Funcionalidad Usabilidad Satisfecha Satisfecha Satisfecha Satisfecha Satisfecha Satisfecha Satisfecha Nivel Fiabilidad calidad Satisfecha Avanzada Satisfecha Avanzada Satisfecha Avanzada de

Insatisfecha Satisfecha Bsica

Como se podr observar en la Tabla 3, para que un software educativo, presente nivel de calidad avanzada, debe satisfacer las tres categoras, a saber, Funcionalidad, Usabilidad y Fiabilidad. El nivel de calidad Intermedia slo ser posible en el caso de que las categoras de Funcionalidad y Usabilidad sean satisfechas. Esto quiere decir que si el software educativo tiene las categoras de Funcionalidad y Fiabilidad, satisfechas, el nivel de calidad ser slo de Bsico. La exigencia de poseer al menos Funcionalidad y Usabilidad para poseer el nivel de calidad Intermedio, se debe a que el software educativo tiene que cumplir con los propsitos para el cual fue diseado, debe ser fcil de usar y poseer una interfaz adecuada a los propsitos y a la poblacin de estudiantes para la que fue diseada. Conclusiones La incorporacin de las Tecnologas de la informacin ofrece distintas dimensiones al proceso de aprendizaje. Garantizar que esta incorporacin sea de calidad no es una tarea fcil, debido al caracter multi-dimensional de la calidad. En este artculo se propone un modelo de especificacin de la calidad para el software educativo con un enfoque sistmico. El modelo contempla tres categoras para su evaluacin ellas son: Funcionalidad, Usablidad y Fiabilidad. Estas caractersticas fueron seleccionadas en virtud de los requerimientos no funcionales ms relevantes en el contexto del software educativo. Las mismas se operacionalizan a travs de 276 mtricas. Este modelo demostr ser una herramienta de evaluacin til para el docente al soportarlo en el proceso de seleccin de este tipo de software. El mismo se aplic al estudio de un caso en una escuela venezolana. Para ello, se evaluaron cuatro software educativos, de los cuales tres demostraron tener un Nivel Avanzado de calidad y uno un Nivel Bsico. Agradecimientos Esta investigacin fue financiada por el Fondo Nacional de Ciencia, Tecnologa e Innovacin (FONACIT) de la Repblica Bolivariana de Venezuela, a travs del proyecto S1-2000000437. Referencias Barroso, J., Mendel, J.L., Valdeverde, J. (1998) Evaluacin de los medios informticos: una escala de evaluacin para el software educativo. En Cebrin, M. et al. Creacin de materiales para la innovacin con nuevas tecnologas: EDUTEC 97, 355-358. Mlaga: ICE Univ. Mlaga. Callaos, N. y Callaos, B. (1993) Designing with Systemic Total Quality, en International Conference on Information Systems, International Institute of Informatics and Systemics, Orlando, pp. 548-560. Del Moral, E. (1998). El desarrollo de la creatividad y las nuevas herramientas tecnolgicas. Comunicacin Educativa y Nuevas Tecnologas, 51-66. Barcelona: Praxis. Galvis, A., (2000) Ingeniera de software educativo 2da. reimpresin. Uniandes. Colombia.

Gmez, M.T. (1997) Un ejemplo de evaluacin de software educativo multimedia. En Cebrin, M. et al. Creacin de materiales para la innovacin con nuevas tecnologas: EDUTEC97. Mlaga: ICE Univ. Mlaga. Gonzlez, M., (1999) Evaluacin de software educativo. Orientaciones para su uso. Proyecto CONEXIONES. Universidad de EAFIT. Grimn, A, Mendoza, L., Prez M., Rojas, T. (2001) Modelo de calidad de software educativo: aplicacin del estndar ISO/IEC 9126. Valencia: 2da. Edicin EDUWEB Congreso Venezolano de Educacin e Informtica. Julio. 2001, Venezuela. Gros, B. (2000) Del software educativo a educar con software. Artculo publicado en el nmero monogrfico de la revista digital Quaderns Digital. Disponible en: http://www.quadernsdigitals.net/articuloquaderns.asp?IdArticle=3743 Gros, B. (Coord.), Bernardo, A., Lizano, M., Martnez, C., Panads, M., Ruiz, I. (1997) Diseos y programas educativos, pautas pedaggicas para la elaboracin de software. Editorial Ariel, S.A. 149 pp. ISO/IEC 9126: 1991, JTC 1/SC 7. Information technology - Software product evaluation - Quality characteristics and guidelines for their use, JTC 1 Organization, Montreal, Quebec, 1991. JTC 1/SC 7. Software Process Assessment, TR 15504, on-line, WG 10: Software Process Assessment. ISO/IEC Organization, 1991. Disponible en: http://www.sqi.gu.edu.au/spice Marqus, P. (1998). "La evaluacin de programas didcticos". Comunicacin y Pedagoga, (149) 53-58, Barcelona. Disponible en: http://www.xtec.es/~pmarques/tecnoedu.htm Martnez, R. y Sauleda, N. (1993) La evaluacin de software educativo en el escenario de la evolucin de los paradigmas educativos. Enseanza, 161 174. Mendoza, L., Prez, M., Rojas, T. (2001) Modelo sistmico para estimar la calidad de los sistemas de software. (MOSCA).ASOVAC, Acta Cientfica Venezolana, (53:3) p. 435. Disponible en: http://www.lisi.usb.ve/publicaciones Mendoza, L., Prez, M., Grimn, A., Rojas, T. (2002) Algoritmo para la Evaluacin de la Calidad Sistmica del Software. 2das. Jornadas Iberoamericanas de Ingeniera del Software e Ingeniera del Conocimiento (JIISIC 2002) Salvador, Brasil, Noviembre, pp. 1-11. Disponible en: http://www.lisi.usb.ve/publicaciones MVU, Michigan Virtual University (2002) Standard Quality on-line courses. Disponible en: http://ideos.mivu.org/standards Navarro, E. (1999) Evaluacin de materiales multimedia. Proyecto SAMIAL. Comunicacin y Pedagoga. (157), 36 39. Ortega M.; Prez, M.; Rojas T. (2000) A Model for Software Product Quality with a Systemic Focus, en The 4th World Multiconference on Systemics, Cybernetics and Informatics SCI 2000 and The 6th Intrernational Conference on Information Systems, Analysis and Synthesis ISAS 2000. Orlando, USA, Julio. Disponible en: http://www.lisi.usb.ve/publicaciones

OTA (1988) Power on! New tools for teaching and learning. U.S. Congress, Office of Technology Assestment, SET-379, September, Government Printing Office, Washington D.C. PEMGU, (1999) Pedagogical evaluation methods & guidelines for multimedia applications Partners: Epral (Portugal), Colegio Irabia (Spain) and Holbaek Technical College (Denmark), DEL (Denmark), the University of Cologne (Germany) and Olivetti (Italy). Disponible en: http://www.irabia.org/pemgu Prez, M., Rojas T., Ortega, M., y Alvarez, C. (1999) Toward Systemic Quality: Case study, en 4Th Squad Meeting, Squad, Porlamar, Venezuela, July 1999. Disponible en: http://www.lisi.usb.ve/publicaciones Prez, M.; Mendoza, L.; Rojas, T.; Grimn, A. (2001) Systemic Quality Model for System Development Process: Case Study, en: Seventh Americas Conference on Information Systems AMCIS 2001. Boston, USA, Agosto 2001. Disponible en: http://www.lisi.usb.ve/publicaciones Pressman, R. (2002) Ingeniera de Software: Un enfoque Prctico. 5ta. Edicin. McGraw Hill. Reeves, T (1998) A model to guide the integration of the www as a cognitive tool in K-12 education. Universidad de Georgia. Disponible en: http://itechl.coe.uga.edu/Reeves.html Stephen, B. (1998) Evaluating checklist. Evaluating training software. Lancaster University. Disponible en: http://www.keele.ac.uk/depts/cs/Stephen_Bostock/docs/evaluationchecklist2.html