Instrumento de Evaluacin para Determinar la Calidad de los Objetos de Aprendizaje Combinados Abiertos de tipo Prctica

Yosly Hernndez Bieliukas a,b,, Antonio Silva Sprock b and Csar Velsquez Amador c
a

Universidad Central de Venezuela, Facultad de Ciencias, Unidad de Educacin a Distancia Av. Los Ilustres, Los Chaguaramos, Caracas, 1043, Venezuela yosly.hernandez@ciens.ucv.ve
b

Universidad Central de Venezuela, Facultad de Ciencias, Escuela de Computacin Av. Los Ilustres, Los Chaguaramos, Caracas, 1043, Venezuela antonio.silva@ciens.ucv.ve, c Universidad Autnoma de Aguascalientes, Centro de Ciencias Bsicas,

Av. Universidad N940, Cdad.Universitaria, C.P.20131, Aguascalientes, Ags., Mxico. vace555@hotmail.com

Resumen: Actualmente los Objetos de Aprendizaje (OA) se han difundido como un concepto de creacin de recursos educativos reutilizables que apoyen el Proceso de Enseanza y Aprendizaje, Sin embargo, la solo incorporacin de los mismos no es garanta de calidad en la formacin educativa, ni en el resultado del mismo, generndose en consecuencia, la imperiosa necesidad de evaluar y poder establecer niveles ptimos de calidad. Con base a ello, en este trabajo se presenta la construccin de un Instrumento de Evaluacin para un tipo en particular de OA, los Combinados Abiertos de tipo Prctica, a partir de un modelo de calidad integral, con base en las caractersticas de pedaggicas, tecnolgicas y de interaccin humano computador bases en la concepcin del recurso, adems de los aspectos que se consideran en el estndar para evaluar la calidad del software ISO 9126. Con el objetivo de definir y establecer los aspectos mnimos que son necesarios desde las tres disciplinas bases en su concepcin, para que el recurso sea considerado de calidad. Palabras Claves: Objetos de Aprendizaje, Combinados Abiertos de Prctica, Calidad, Estndar ISO/IEC 9126, Instrumento de Evaluacin, Modelo de Calidad. Abstract. Currently Learning Objects (LO) have been spread a concept of creation of reusable educational resources to support the Process of Teaching and Learning, however, the only addition of the same is no guarantee of quality in educational training, or the result of it, generating therefore an urgent need to assess and to establish optimal levels of quality. Based on this, this paper presents the construction of an Assessment Instrument for a particular type of LO, the Open Combined Type Practice, from a comprehensive quality model, based on the characteristics of pedagogical, technological human interaction and computer databases in the design of the resource, in addition to the aspects that are considered the standard for assessing software quality ISO 9126. In order to define and establish the minimum features that are needed from all three disciplines in design basis for the appeal to be considered quality. Keywords:Learning Objets, Open Learning Object combined Type Practice, Quality, Standard ISO / IEC 9126, assessment instrument, Quality Model,

INTRODUCCIN
La incorporacin de las Tecnologas de la Informacin y Comunicacin (TIC) en la Educacin ha permitido extender los ambientes de enseanza y aprendizaje, para as poder desarrollar ambientes virtuales colaborativos e interactivos, con el uso de diferentes recursos didcticos multimedia, que permitan el logro de la intencionalidad de

los mismos. Es por ello, que en el mbito educativo se ha desarrollado un concepto que busca la reutilizacin, permanencia, interoperabilidad, accesibilidad y compatibilidad de los recursos digitales para el desarrollo de cursos y programas de formacin en lnea a travs de la Web, los llamados Objetos de Aprendizaje (OA). Los OA son recursos didcticos e interactivos en formato digital con un objetivo especfico, creados con el propsito de ser reutilizados, adaptados, editados y/o combinados para los diversos entornos virtuales de enseanza y aprendizaje, caracterizndose por la introduccin de informacin auto descriptiva expresada como los metadatos. Como apoyo al proceso educativo muchas personas se han enfocado en desarrollar y emplear los OA, lo que permite que en un determinado momento se puedan reutilizar en distintos contextos segn la pertinencia y disposicin, adems de responder a la misma necesidad educativa. Motivado a ello, es importante tener mecanismos, criterios e instrumentos que permitan evaluarlos y as determinar la calidad de los mismos, considerando todos los elementos fundamentales en su concepcin, as como tambin, el contexto y modo de uso. Actualmente, existen diferentes tipos de instrumentos, pero slo consideran algunos aspectos pedaggicos, tecnolgicos o de interaccin humano computador del recurso, no de forma integral, aunado a ello no identifican qu tipo de OA se evala; en vista de ello, aplicar diversas formas de evaluacin por separado no resulta tan provechoso en vista de que engloba diferentes enfoques y perspectivas de los autores, porque lo que no hay un consenso en cules son los aspectos que se deben considerar para que un OA sea de Calidad. Por lo antes expuesto se requiere de un proceso de evaluacin completo e integral, donde se abarquen los aspectos fundamentales que deben estar presentes en un recurso y determinan su calidad. Con base a ello, a continuacin, en este trabajo se presenta el diseo y la construccin de un instrumento de evaluacin integral de la calidad para los OA combinado abierto de tipo prctica, partiendo de un modelo de calidad, desde las tres dimensiones importantes en la concepcin del mismo: pedaggica, tecnolgica y de interaccin humano computador. Todo esto de forma ms completa que los modelos e instrumentos de evaluacin de calidad existentes, basado en el estndar internacional para evaluar la calidad de software ISO/IEC 9126 [1], las caractersticas fundamentales que deben estar presentes y el tipo de OA.

LOS OBJETOS DE APRENDIZAJE COMBINADOS ABIERTOS DE TIPO PRCTICA

Los OA de tipo Combinado Abierto segn [2] consisten en un largo nmero de recursos digitales combinados entre s, de cualquier tipo, mezclados en una computadora en tiempo real, donde sus componentes pueden ser directamente empleados para su reutilizacin. Adems, combinan la instruccin con la prctica, creando as una unidad instruccional completa. Por ejemplo, un recurso que sea una pgina Web y est compuesta por diversos componentes (imgenes, videos, texto, entre otros) que se encuentran en un formato reutilizable, adems de estar combinados y disponibles. Es importante destacar, que son los que tienen un mayor potencial de reutilizacin en los diversos contextos educativos y los ms utilizados, adems de estar inmersos en el manejo de la informacin tipo Web. Ahora bien, estos recursos son productos informticos y educativos al mismo tiempo, porque se encuentran en formato digital y apoyan el proceso educativo, por lo que es importante en su conceptualizacin considerar las caractersticas pedaggicas, tecnolgicas y de interaccin humano computador presentes, es por ello que se ha definido y se proponen tres dimensiones para agrupar estos aspectos desde la respectiva perspectiva, teniendo as la dimensin pedaggica, tecnolgica e interaccin humano computador.

LA DETERMINACIN DE LA CALIDAD DE LOS OBJETOS DE APRENDIZAJE COMBINADOS ABIERTOS DE TIPO PRCTICA

La calidad para cualquier entidad digital (software), la define [3] como el cumplimiento de los requisitos de funcionalidad y desempeo, explcitamente establecidos, de los estndares de desarrollo documentados y de las caractersticas implcitas que se esperan de todo software desarrollado profesionalmente. Por otro lado, otros autores [4] definen la calidad de los OA como el grado de utilidad que tienen para el logro de las metas pedaggicas planteadas, conllevando el trabajo del estudiante y por ende propiciar del aprendizaje. Con base a lo anterior, se puede definir como calidad de los OA el grado de cumplimiento de un conjunto de requisitos y/o elementos asociados a: (a) desempeo y (b) funcionalidad del OA desde el punto de vista tecnolgico, (c) usabilidad del OA desde el punto de interaccin humano computador, y (c) el grado utilidad que presentan para el logro de los objetivos pedaggicos planteados, desde el punto de vista pedaggico La calidad de un OA es un aspecto muy particular dentro del proceso de seleccin de un OA para su uso en determinados contextos, porque como recurso educativo digital pueden ser desarrollado por diferentes fuentes

(docentes, estudiantes, diseadores instruccionales) y los requerimientos, intencionalidad, estrategias, actividades y dems aspectos claves planteados pueden variar, segn las necesidades, lo que conlleva a que sean revisados y evaluados en funcin del mbito en el cual van a emplearse para promover as su pertinencia y disposicin. El OA debe estar acorde al contexto en el cual se emplear, as como tambin la audiencia a la cual est destinado, para su adecuada integracin a los procesos de Enseanza y Aprendizaje, buscando obtener los mejores resultados y que los objetivos planteados se cumplan de la mejor forma. Para determinar la Calidad de los OA se puede centrar en la evaluacin del proceso de desarrollo del mismo o en el producto como tal, es decir el OA resultante; por otro lado, [5] plantean de una manera formal cmo abordar el problema de la calidad desde distintas perspectivas, las cuales corresponden a evaluar el proceso de desarrollo del OA, propiamente del OA, el conocimiento obtenido con el uso del OA y la operacin del OA. Aunado a ello en [6] plantean que tambin puede hablarse de calidad en los metadatos del OA, es decir, medir la completitud, la claridad y coherencia de los metadatos, la informacin que describe al OA. En vista de ello, para este trabajo de investigacin se realiz el estudio del proceso para la evaluacin de la calidad de los OA desde la perspectiva del producto resultante, es decir el OA.

MODELO DE CALIDAD PARA LOS OBJETOS DE APRENDIZAJE COMBINADOS ABIERTOS DE TIPO PRCTICA
Para construir un Instrumento de evaluacin integral primero se deben definir los elementos que caracterizan a los OA Combinados Abiertos de tipo Prctica que se deben valorar, as como tambin, indicadores de evaluacin sobre cada uno de ellos, lo que permitir determinar la Calidad de los mismos, por ello se procedi a definir un Modelo de Calidad, siguiendo el proceso definido en [7]. Un modelo de calidad estndar e integral para los OA define cules son las caractersticas deseables que debe cumplir, desde las dimensiones bases en su concepcin: pedaggica, tecnolgica y de interaccin humano computador, en funcin a los aspectos y estndares asociados, teniendo como resultado un conjunto de indicadores de evaluacin. A partir de este modelo se proceder a la construccin del Instrumento de Evaluacin. Para la construccin del modelo de calidad de los OA Combinados Abiertos tipo Prctica se sigui el proceso sistemtico propuesto por [7], el cual est compuesto por 6 pasos ( ver FIGURA 1) y parte de la caracterizacin del dominio de los OA, identificando el tipo correspondiente, en funcin de ello se definieron y establecieron las caractersticas pedaggicas, tecnolgicas y de interaccin humano computador asociadas. Una vez determinados estos aspectos se procedi a realizar una instanciacin del estndar internacional ISO/IEC 9126 [1], con base a los rasgos de evaluacin de calidad que plantea, aplicables a los OA y que estn en relacin con las caractersticas definidas del recurso, estableciendo as los indicadores de evaluacin, para finalmente validar el modelo por juicio de expertos. A continuacin se describe la aplicacin de cada uno de los pasos del Proceso, destacando que el modelo de calidad para los OA Combinados Abiertos de Tipo Prctica, es muy similar al presentado en [7] para los OA Combinados Abiertos de Tipo Instruccin, debido a que ambos tienen muchos aspectos en comn; lo fundamental de este trabajo es presentar el instrumento de evaluacin que se cre partiendo del modelo obtenido.

FIGURA 1. Proceso Sistemtico para la Produccin de un Modelo de Calidad Integral [7].

1.- Caracterizar el Dominio de Objetos de Aprendizaje

Con base a la clasificacin planteada por [8], para esta investigacin se trabaj con los OA Combinado Abierto de tipo Prctica, porque estn destinados principalmente al autoaprendizaje y permiten una alta interaccin con el aprendiz, en el cual se incentiva a la realizacin de un conjunto de actividades, que facilitan el proceso de asimilacin de los contenidos desarrollados dentro del OA, para poder lograr los objetivos de aprendizajes planteados que conduzcan a la construccin del conocimiento.

2.- Definir las Caractersticas Pedaggicas de los Objetos de Aprendizaje

Es importante definir y caracterizar a los OA desde una dimensin pedaggica, porque tienen una intencin educativa, que permite establecer secuencias lgicas para la efectividad del proceso de enseanza y aprendizaje, adems de promover la construccin y difusin del conocimiento. Dentro de las caractersticas ms resaltantes se pueden mencionar: diversidad de estilos de aprendizaje, objetivos de aprendizaje, contenidos de aprendizaje, actividades de aprendizaje, recursos, interactividad y evaluacin.

3.- Definir las Caractersticas Tecnolgicas de los Objetos de Aprendizaje

Los OA abarcan aspectos tecnolgicos y pueden tratarse desde el rea de la Ingeniera de Software, debido a que se pueden ver como un producto de software, adems de estar basados en estndares para facilitar el intercambio entre diversos sistemas y plataformas, as como tambin, la reutilizacin y escalabilidad en entornos educativos. Dentro de las caractersticas ms resaltantes se pueden mencionar: Accesibilidad (basado en metadatos), flexibilidad, adaptabilidad, portabilidad e interoperabilidad, adems de la disponibilidad y licenciamiento.

4.- Definir las Caractersticas de Interaccin Humano Computador de los Objetos de

Aprendizaje
Los OA deben poder motivar e interesar a los aprendices, para propiciar el trabajo con el mismo y as impulsar el aprendizaje. Se debe tener presente que como un recurso digital debe cumplir con ciertos atributos que lo hagan atractivo al aprendiz y ste no los rechace, como lo es el uso apropiado de los colores, las fuentes, presentacin y disposicin de la informacin, navegabilidad, entre otros, esto refiere a que sea usable. Dentro de las caractersticas ms resaltantes se pueden mencionar: diseo visual (texto, imgenes, audio, video), ayudar a la memorizacin y la recuperacin ante fallas.

5.- Instanciacin del Estndar ISO/IEC 9126 al dominio de Objetos de Aprendizaje

definido
Para realizar el proceso de instanciacin del Estndar ISO/IEC 9126 [1] en el dominio de los OA Combinados Abiertos de Tipo Prctica se utiliz el proceso definido por [7], el cual se compone del anlisis para cada una de las caractersticas y subcaractersticas del estndar y las caractersticas del OA desde las tres dimensiones, previamente definidas, para as determinar si se poda establecer una relacin, todo esto con base a los aspectos definidos y la pertinencia de esas caractersticas en el contexto (ver FIGURA 2).

FIGURA 2.- Proceso de Instanciacin del Estndar ISO/9126 [7]

A continuacin, se presenta las relaciones entre las caractersticas del estndar y de los OA Combinado Abierto de tipo Prctica, las cuales se definen por grupos que son las respectivas dimensiones del modelo de calidad: En la Dimensin 1 se tiene la Caracterstica Funcionalidad, permite verificar si el OA cuenta con las funciones adecuadas que permitan satisfacer las necesidades planteadas, por ello las subcaractersticas que estn relacionadas son: Idoneidad: evaluar si el OA puede cumplir las tareas apropiadas, refiere si tiene definido claramente los Objetivos de aprendizaje, Contenidos, Actividades de Aprendizaje y los Estilos de Aprendizaje. Exactitud: determinar si el OA es acorde para lo que fue creado, por lo que est relacionado con que tenga Objetivos de aprendizaje, Contenidos y un conjunto de Actividades de Aprendizaje. Interoperabilidad: si el OA puede interactuar con otros sistemas, lo que refiere a la accesibilidad del mismo. En la Dimensin 2 se tiene la Caracterstica Eficiencia, la capacidad que tiene el OA para proporcionar una ejecucin apropiada, relativa a la cantidad de recursos empleados, por ello la subcaracterstica que est relacionada es: Uso y comportamiento de los recursos: los tiempos de respuesta del OA, la cantidad de recursos empleados y la duracin de uso, las cuales estn relacionadas a la Adaptabilidad y Flexibilidad del mismo. En la Dimensin 3 se tiene la Caracterstica Usabilidad, la capacidad que posee el OA para ser entendido, aprendido, utilizado y atractivo, por ello las subcaractersticas que estn relacionadas son: Comprensibilidad: el esfuerzo que debe hacer el aprendiz para reconocer la estructura lgica, por lo que est relacionado con los contenidos abordados, las actividades de aprendizaje, la accesibilidad, disponibilidad, la ayuda a la memorizacin y el diseo visual que presente el recurso. Facilidad de Aprendizaje: el esfuerzo que debe hacer el aprendiz en aprender a usar el recurso, por lo que est relacionado a la presentacin de los contenidos en el OA, las actividades de aprendizaje, la interactividad y el diseo visual del mismo. Atraccin: la capacidad del OA para atraer y captar al usuario, lo que est directamente relacionado con el diseo visual y la interactividad dentro del OA. En la Dimensin 4 se tiene la Caracterstica Confiabilidad, la capacidad que tiene el OA para mantener un nivel de funcionamiento especifico al ser utilizado en determinadas condiciones, por ello la subcaracterstica que est relacionada es: Tolerancia a Fallas: es la habilidad de mantener un nivel de funcionamiento en caso de fallas del OA o errores de interfaz, est relacionada a la forma en que se presenta recuperacin ante diversas fallas que puedan ocurrir por parte del aprendiz en su manejo. En la Dimensin 5 se tiene la Caracterstica Mantenibilidad, la capacidad que tiene el OA para ser modificado, por ello la subcaracterstica que est relacionada es: Facilidad de Cambio: mide el esfuerzo necesario para modificar aspectos del OA, est relacionada a la Flexibilidad , Disponibilidad y Adaptabilidad del mismo. Y finalmente en la Dimensin 6 se tiene la Caracterstica Portabilidad, la posibilidad del OA para ser transferido de un ambiente a otro, por ello la subcaracterstica que est relacionada con los OA se describe de la siguiente forma: Facilidad de Ajuste: lo que permite evaluar si el OA se adhiere a estndares que permitan la portabilidad e interoperabilidad del mismo.

6.- Definir los Indicadores de Evaluacin

Con base a las seis dimensiones definidas que conforman el modelo de calidad, se procedi a establecer los indicadores de evaluacin para los OA combinados abiertos de tipo prctica en funcin de los aspectos y caractersticas deseables en ellos, se presentan a continuacin: Funcionalidad: Presencia del Objetivo (s) de Aprendizaje (s) , Pertinencia y vigencia de los contenidos, Presencia de la fuente bibliogrfica, Lenguaje acorde al contexto del OA, Presencia de Ejemplos, Soporte a diversos estilos de aprendizaje, Pertinencia de las actividades de aprendizaje, Correspondencia de los contenidos abordados con el objetivo de aprendizaje planteado, Estandarizacin del OA, Correspondencia de las actividades de aprendizaje con los objetivos y contenidos planteados. Eficiencia: Optimizacin del uso de los recursos de hardware y software para descargar y desplegar el recurso, Tamao del OA y Tiempo Tpico de Aprendizaje.

 Confiabilidad: Restablecer el estado en el que se encontraba el aprendiz antes de ocurrir un error, Uso de mensajes de aviso ante acciones que no se pueden cancelar y ocasionen errores. Usabilidad: Relacin con otros OA o recursos Web, Granularidad del contenido, Claridad del contenido, Respeto de las reglas de ortografa y gramtica, Secuencia lgica de los contenidos ,Divulgacin progresiva de los contenidos, Claridad en la definicin de las actividades de aprendizaje, Uso de metforas, Consistencia en la presentacin del contenido, Uso de las fuentes, Uso de los Colores, Visibilidad del texto, Manejo de Formatos Uniformes, Navegabilidad dentro del objeto, Uso de los recursos audiovisuales con respecto al contenido textual, Utilizacin de un sistema de ayuda pertinente, fcil y descriptivo, Tipo de Interactividad, Motivacin al uso del recurso, Distribucin de los elementos dentro del OA, Incorporacin de mecanismos o funcionalidades que promuevan interaccin con el aprendiz. Mantenibilidad: Adaptacin a diversos contextos educativos, Facilidad de cambio y actualizacin del OA, Presencia de los metadatos, Presencia del OA en Repositorios pblicos y /o lugares especializados donde se puedan encontrar. Portabilidad: Dependencia de Software, Dependencia de Hardware, Compatibilidad con distintos navegadores Web, Especificacin de requerimientos tcnicos.

CONSTRUCCIN DEL INSTRUMENTO DE EVALUACIN

Un Instrumento es utilizado para recolectar datos, el cual consiste de un conjunto de preguntas respecto de una o ms variables a medir. En funcin del desarrollo del objetivo de este trabajo, se dise y construy un instrumento a partir del modelo de calidad propuesto, el cual permite realizar una recoleccin de informacin til para evaluar y determinar la calidad de los OA Combinados Abiertos tipo Prctica, que permita establecer as su pertinencia a los contextos educativos donde se pueda emplear. Una vez definido el modelo de calidad, presentado anteriormente, donde estn descritos los indicadores de evaluacin, se procedi a construir un Instrumento de Evaluacin siguiendo un proceso sistemtico que se describe a continuacin (ver FIGURA 3).

FIGURA 3. Proceso Sistemtico para la Construccin del Instrumento de Evaluacin

1.- Identificar el Tipo de Instrumento

Existen diversos tipos de cuestionarios o instrumentos de medicin, cada uno con caractersticas diferentes, varios autores, tal como lo sostiene [9] definen tres (3) tipos bsicos: a) Restringidos o Cerrados: solicitan respuestas breves, especficas y delimitadas; b) No Restringidos o Abiertos: solicitan una respuesta libre y c) Mixtos: consideran en su construccin tanto preguntas cerradas como abiertas. Ahora bien, para el diseo y construccin del instrumento de evaluacin, se identific con qu tipo se trabajara, determinando as que sera con los de tipo restringido o cerrado, en vista de que permiten limitar las respuestas, son fciles de llenar, mantienen al sujeto en el tema, adems de fciles de clasificar y analizar, siendo estas sus principales ventajas, tal como lo sealan [9].

2.- Identificar el Tipo de Preguntas

Una vez identificado el tipo de instrumento, se determin el tipo de preguntas que conformaran el mismo, siendo stas de tipo cerrado, con el objetivo de presentar a los sujetos opciones de respuestas previamente delimitadas.

3.- Definir las Dimensiones y Preguntas

Se definieron sesenta y tres (63) tems, a partir de los indicadores de evaluacin correspondientes a las seis (6) dimensiones y sus respectivas subdimensiones definidos en el modelo de calidad descrito anteriormente: Funcionabilidad (idoneidad, exactitud e interoperabilidad); Eficiencia (uso y comportamiento de los recursos); Usabilidad (comprensibilidad, facilidad de aprendizaje, atraccin); Confiabilidad (tolerancia a fallas); Mantenibilidad (facilidad de cambio) y Portabilidad (facilidad de ajuste).

4.- Definir la Escala de Evaluacin

El instrumento contempl el diseo de una escala de evaluacin, en donde el evaluador al emplearlo tiene diferentes alternativas de respuestas que muestran la actitud favorable o no hacia las afirmaciones de cada tem. Se utiliz una escala de likert del 1 a 5, con los valores: Totalmente en Descuerdo, En Desacuerdo, Indiferente, De Acuerdo y Totalmente de Acuerdo, respectivamente. Aunado a ello, con base a la suma de los valores de cada dimensin del Instrumento se defini una valoracin final de la Calidad en: Excelente, Muy Buena, Buena, Regular y Mala.

5.- Definir el Porcentaje de Evaluacin

Finalmente, como el instrumento est compuesto de seis (6) dimensiones, los cuales refieren a los aspectos que plantea el estndar ISO/IEC 9126 detallado en el respectivo modelo de calidad descrito anteriormente, y no pueden ser evaluadas de la misma forma, porque los aspectos que las conforman tienen mayor valor de relevancia e impacto, adems son los mnimos necesarios para determinar la Calidad del OA, se les estableci un porcentaje a cada una, teniendo as: Funcionabilidad y Usabilidad veinte y cinco por ciento (25%), Eficiencia y Confiabilidad, diez por ciento (10%), Mantenibilidad y Portabilidad quince por ciento (15%) respectivamente. Las dimensiones que tienen mayor valoracin son: Funcionalidad y Usabilidad (25%), debido a que representan el funcionamiento adecuado del OA para cumplir con los objetivos propuestos, y la capacidad para que ste pueda ser entendido, aprendido, utilizado y atractivo a los aprendices, respectivamente, seguido de la Mantenibilidad y Portabilidad (15%), que estn basadas en la posibilidad de ser modificado y/o adaptado a los diversos contextos educativos, adems de ser transferido de un ambiente a otro, respectivamente, para finalmente tener la Confiabilidad y Eficiencia (10%), que permiten mantener un nivel de funcionamiento especfico en determinadas condiciones y proporcionar una ejecucin apropiada en relacin a la cantidad de recursos empleados, respectivamente.

Validacin del Instrumento de Evaluacin para Determinar la Calidad

Una vez construido el instrumento de evaluacin de la calidad para los OA Combinados Abiertos de tipo Prctica, para obtener la versin final se realiz la validacin a travs de juicio de expertos de las diferentes reas involucradas: Ingeniera de Software, Objetos de Aprendizaje, Tecnologa e Informtica Educativa y Tecnologa Instruccional, destacando la evaluacin de tres expertos nacionales y dos internacionales, teniendo un total de cinco evaluadores, lo que permiti corregir aspectos en cuanto a la claridad de los tems y la presentacin del instrumento. Para realizar la validacin se construy un instrumento, a travs del cual se valor la claridad y congruencia de cada uno de los tems de las respectivas dimensiones, adems de las observaciones planteadas por los expertos. En base a los resultados de la valoracin se obtuvo: Inicialmente se contaba con sesenta y tres (63) tems, se elimin uno, y el instrumento final quedo con sesenta y dos (62) tems, debido a que este tem eliminado repeta informacin a evaluar.

Se modific el veinticuatro por ciento (24%) de los tems, lo que corresponde a trece (13) de los cincuenta y uno (51) planteados, en vista de que no estaban definidos claramente y/o congruentemente segn el caso. Se reubic el veinte por ciento (20%) de los tems, lo que corresponde a diez (10) de los cincuenta y uno (51) planteados, con base a su establecimiento en las dimensiones ms acordes para el aspecto que se evaluaba. Finalmente, es importante sealar que el sesenta por ciento (60%) de los expertos, lo que refiere a tres de los cinco evaluadores, resalt que fue un trabajo excelente, un instrumento muy completo, organizado y bien llevado a la generalidad, el cual considera diversas situaciones en las que se puede evaluar un OA, con las respectivas observaciones que fueron tomadas en cuenta y reflejadas en el instrumento final.

RESULTADOS
A continuacin se presenta el instrumento de evaluacin final, que permite determinar la Calidad de los OA Combinados Abiertos de tipo Prctica. ESCALA DE EVALUACIN en PUNTUACIN En desacuerdo Totalmente desacuerdo De acuerdo 3 4 Totalmente acuerdo 5 Indiferente de 2

ASPECTOS

1 F U N C I O N A L I D A D (25 %) Idoneidad Los Objetivos de Aprendizaje aparecen definidos de forma clara y precisa Se muestra informacin sobre la vigencia y/o actualidad de los Contenidos Los Contenidos estn definidos acordes a los aprendices Se presenta las referencias bibliogrficas de los contenidos abordados El lenguaje escrito e imgenes transmite las ideas de forma organizada, estando acorde a los aprendices Se Incorporan ejemplos relevantes para ilustrar los contenidos Se emplean imgenes, acordes a los aprendices, con el propsito de reforzar y/o complementar el contenido Se emplean animaciones y videos, acordes a los aprendices, con el propsito de reforzar y/o complementar el contenido Se emplea audio, acorde a los aprendices, con el propsito de reforzar y/o complementar el contenido El uso de diversos recursos audiovisuales, acorde a los aprendices, aporta un valor agregado al contenido presentado Las actividades estn definidas acordes a los aprendices Exactitud El contenido abordado es coherente con los objetivos que se plantean en el Objeto de Aprendizaje El contenido abordado facilita el logro de los objetivos planteados Las actividades planteadas son coherentes con los objetivos que se establecen en el Objeto de Aprendizaje Las actividades planteadas facilitan la comprensin de los contenidos abordados

ESCALA DE EVALUACIN en

PUNTUACIN En desacuerdo Totalmente desacuerdo De acuerdo 3 4 Totalmente acuerdo 5 Total Total Indiferente de 2

ASPECTOS

1 Interoperabilidad El Objeto de Aprendizaje cumple con los estndares y/o lineamientos internacionales Totales Puntuacin mnima para catalogarlo de Calidad Buena: 12 E F I C I E N C I A (10%) Uso y Comportamiento de los Recursos El tiempo de respuesta a las acciones de los aprendices es idneo de acuerdo a los requerimientos de software y hardware La velocidad de ejecucin de los procesos del Objeto de Aprendizaje (animaciones, videos presentacin de textos, imgenes, entre otros aspectos relevantes) es rpida y se comporta de igual forma en distintos computadores El tiempo de uso del Objeto de Aprendizaje es aceptable y/o se puede ajustar. No excede la capacidad de atencin de los aprendices Totales Puntuacin mnima para catalogarlo de Calidad Buena: 0,9 U S A B I L I D A D (25%) Comprensibilidad El Objeto de Aprendizaje tiene relacin con otros objetos o recursos Web que permiten profundizar y/o completar la informacin presentada Existe una congruencia semntica entre el Objeto de Aprendizaje y los otros objetos o recursos Web con los que guarda relacin El contenido se presenta en un nivel de detalle acorde a los aprendices Se presentan los contenidos de una forma estructurada y organizada Los contenidos se presentan de una forma gradual y sucesiva acorde a los aprendices El contenido no tiene fallas ortogrficas y la construccin de las ideas y frases es correcta Se emplean metforas intuitivas y adecuadas a los aprendices Las actividades se presentan de forma estructurada y organizada Las actividades estn definidas en un nivel de detalle acorde a los aprendices Las actividades presentan situaciones que le permiten al aprendiz experimentar y descubrir nuevos conocimientos Facilidad de Aprendizaje Se exhibe una lista de los contenidos que sern abordados La estructura de presentacin de los contenidos es consistente y coherente en todo el Objeto de Aprendizaje La estructura de las actividades es consistente y coherente en todo el Objeto de Aprendizaje El mapa de navegacin del Objeto de Aprendizaje est estructurado lgicamente y se accede fcilmente (iconos, mens entre otros) a la informacin presentada

Puntuacin (puntaje * 0,25):

Puntuacin (puntaje * 0,1):

ESCALA DE EVALUACIN en

PUNTUACIN En desacuerdo Totalmente desacuerdo De acuerdo 3 4 Totalmente acuerdo 5 Total Indiferente de 2

ASPECTOS

1 El Objeto de Aprendizaje le permite al aprendiz explorar el Objeto de Aprendizaje de manera flexible y libre El Objeto de Aprendizaje le permite al aprendiz saber donde se encuentra en un determinado momento El funcionamiento de los enlaces y/o botones no presenta inconvenientes No presenta recursos audiovisuales que distraigan la atencin del aprendiz No es necesario conocimiento o entrenamiento previo para utilizar el Objeto de Aprendizaje El Objeto de Aprendizaje dispone de un sistema de ayuda descriptivo y pertinente Las fuentes utilizadas dentro del Objeto de Aprendizaje facilitan la legibilidad y visibilidad de los textos El uso de los colores dentro del Objeto de Aprendizaje es adecuado para la presentacin de los contenidos Se manejan formatos uniformes dentro del Objeto de Aprendizaje El diseo de la interfaz es claro y atractivo El diseo de la Interfaz es intuitivo En el Objeto de Aprendizaje se observa una interactividad de tipo mixta en la que el aprendiz interacta enviando datos al recurso, y a su vez el recurso enva informacin al aprendiz En el Objeto de aprendizaje se puede observar slo una interactividad de tipo activa donde el aprendiz interacta enviando datos al recurso En el Objeto de aprendizaje se puede observar slo una interactividad de tipo expositiva donde el recurso enva informacin al aprendiz Atraccin El Objeto de Aprendizaje motiva y atrae al aprendiz para que se incorpore a una situacin de aprendizaje activo Existe una simetra en la distribucin de los contenidos y/o los recursos empleados Se incorporan mecanismos o funcionalidades que promueven la interaccin con el aprendiz Totales Puntuacin mnima para catalogarlo de Calidad Buena: 23,25 C O N F I A B I L I D A D (10 %) Tolerancia a fallas En caso de presentarse un error o una falla el Objeto de Aprendizaje conduce al aprendiz para que pueda continuar desde el punto en el que se encontraba antes de ocurrir el mismo El aprendiz se siente apoyado, orientado y sin temor de cometer errores porque el Objeto de Aprendizaje le ofrece la asesora necesaria

Puntuacin (puntaje * 0,25):

ESCALA DE EVALUACIN en

PUNTUACIN En desacuerdo Totalmente desacuerdo De acuerdo 3 4 Totalmente acuerdo 5 Total Total Indiferente de 2

ASPECTOS

1 Totales Puntuacin mnima para catalogarlo de Calidad Buena: 0,6 M A N T E N I B I L I D A D (15%) Facilidad de Cambio El Objeto de Aprendizaje est orientado a ser empleado en diversos contextos educativos El Objeto de Aprendizaje provee una documentacin completa que explica los objetivos y las caractersticas del mismo para que pueda usarse y/o modificarse sin dificultad El Objeto de Aprendizaje fue desarrollado utilizando herramientas de amplia distribucin, el cual puede ser adaptado y/o modificado El Objeto de Aprendizaje presenta su registro de metadatos descritos siguiendo un formato estndar El Objeto de aprendizaje se encuentra en un repositorio pblico y/o lugar especializado donde se puede ubicar fcilmente para ser utilizado Totales Puntuacin mnima para catalogarlo de Calidad Buena: 2,25 P O R T A B I L I D A D (15%) Facilidad de Ajuste El Objeto de Aprendizaje no requiere de algn sistema operativo en particular para poder ser visualizado El Objeto de Aprendizaje no requiere de algn software en particular para poder ser visualizado No Existe una dependencia de hardware para poder visualizar el Objeto de Aprendizaje El Objeto de Aprendizaje puede ser visualizado en distintos navegadores Web Se especifican requerimientos tcnicos particulares para poder visualizar el Objeto de Aprendizaje Totales

Puntuacin (puntaje * 0,1):

Puntuacin (puntaje * 0,1):

Puntuacin Total (puntaje * 0,1): Valoracin General de la Calidad de los Objetos de Aprendizaje Puntuacin General: Combinados Abiertos de tipo Instruccin sumando las seis dimensiones 56-69 Excelente Rangos para evaluar la 42-55 Muy Buena Calidad del Objeto de 29-41 Buena Aprendizaje 15-28 Regular Menor que 14 Mala

Puntuacin mnima para catalogarlo de Calidad Buena: : 2,25

CONCLUSIONES
En este trabajo se present un instrumento de evaluacin de la calidad, validado por juicio de expertos, para un determinado tipo de OA, el cual parti del modelo de calidad planteado, donde los tems o preguntas se definieron a partir de cada uno de los indicadores de evaluacin presentados en el mismo. Es importante sealar que el modelo y el instrumento estn basados en ISO/IEC 9126, por lo que las seis dimensiones que lo conforman corresponden a los aspectos de evaluacin que propone el estndar (Funcionalidad, Eficiencia, Usabibilidad, Confiabilidad, Mantenibilidad y Portabilidad), teniendo as inmersas las tres dimensiones bases en la concepcin de un OA (pedaggica, tecnolgica y de interaccin humano computador), todo esto con la finalidad de minimizar el sesgo que puede estar asociado a un evaluador dependiendo su grado experticia, logrando as una evaluacin integral con una visin interdisciplinaria, a diferencia de las propuestas de evaluacin de calidad existentes estudiadas y presentadas, donde se aprecian las diferentes visiones por separado que consideran pertinentes. Se utiliz el estndar ISO/IEC 9126 debido a los OA son un producto de software, lo que permite aprovechar las ventajas que proporciona el uso de estndares reconocidos a nivel internacional. Todo esto con la finalidad de adaptar al dominio de los OA aquellos aspectos que fueron pensados para el software y aplican al contexto, debido a que de esta manera se puede valorar la calidad de los aspectos tecnolgicos y de interaccin humano computador en correspondencia a lo educativo.Lo importante de esta propuesta de un proceso de evaluacin de calidad integral es que logr definir indicadores de evaluacin y lineamientos comunes con base a estndares reconocidos internacionalmente y utilizados, buscando as generalizar los rasgos o aspectos mnimos necesarios que deben estar presentes en un OA para que sea considerado de Calidad. Siendo ste un elemento fundamental y determinante en el uso y la reutilizacin adecuada de estos recursos, para poder valorar la disposicin pertinente en los diversos contextos educativos que respondan a la misma necesidad de aprendizaje.

REFERENCIAS
1. 2. 3. 4. 5. International Organization for Standardisation (ISO) (1991). ISO/IEC: 9126 Information technology-Software Product Evaluation-Quality characteristics and guidelines for their use 1991. Wiley, D. A. (2000). Connecting learning objects to instructional design theory: A definition, a metaphor, and a taxonomy. In D. A. Wiley (Ed.), The Instructional Use of Learning Objects: Online Version. Descargado 11/Marzo/2008, de: http://reusability.org/read/chapters/wiley.doc Pressman, R. (1998). Ingeniera del software. Un enfoque prctico. 4. Edicin. McGrawHill. Gonzlez R., Arteaga J. y Rodrguez F. (2006). Formato para la Determinacin de la Calidad en los Objetos de Aprendizaje. Universidad Autnoma de Aguascalientes. Aguascalientes, Mxico. Velzquez Amador, C., Muoz Arteaga, J. y Garza Gonzlez, L.. (2007). Tecnologa de Objetos de Aprendizaje, Captulo VI La Calidad de los Objetos de Aprendizaje. Primera Edicin 2007. D.R. Universidad Autnoma de Aguascalientes y Universidad de Guadalajara. Editorial de la UAA. ISBN: 978 970 728 101 4. Aguascalientes, Ags., Mxico. pp 129-170. Vidal, C. L., Segura, A. A., y Prieto, M. E. (2008). Calidad en objetos de aprendizaje. Actas de SPDECE08, Salamanca. Descargado el 30 de marzo de 2011, de: http://www.web.upsa.es/spdece08/contribuciones/139_CalidadEnObjetosDeAprendizajeTypeInstSpringerFinalVidalSe guraPrietov99.pdf. Hernndez,Y., Montao, N., Miguel, V., y Velzquez, C. (2010). Una Propuesta para el Desarrollo Sistemtico de un Modelo de Calidad Integral para los Objetos de Aprendizaje Combinados Abierto de Tipo Instruccin. Actas del V Congreso Latinoamericano de Objetos de Aprendizaje LACLO 2010. Universidad Prebisteriana Mackenzie, Sao Paulo, Brasil. Septiembre 2010. ISSN: 1982-1610. Hernndez,Y., Montao, N., Miguel,V. y Velazquez, C. (2009). Una Experiencia en la Construccin de un Modelo de Calidad Pedaggica para Objetos de Aprendizaje. Actas de la 1ra La Conferencia Conjunta Iberoamericana sobre Tecnologas de Aprendizaje, CcITA 2009. Mrida, Mxico. ISBN: 978-607-7573-17-3 Jimnez, J; Garca, J & Aguilar, F. (2006). Gua tcnica para la construccin de cuestionarios. Centro Interdisciplinario de Investigacin y Docencia en Educacin Tcnica (CIIDET). Ao 3, nm. 6. Enero-Junio Mxico. ISSN 1870-1477.

6.

7.

8. 9.