Jimnez, M. et al.

, III Congreso Colombiano de Computacin, Medelln, Abril de 2008

Evaluacin en Lnea para Cursos Tutoriales Inteligentes Adaptativos usando el Modelo de Sistema Multi-Agente On line Assessment for Adaptive Intelligent Tutoring Courses using Multi-Agent System Model
Marcela Jimnez Snchez, Ing, MSc (c), Jovani Jimnez Builes, PhD, Demetrio A. Ovalle C., PhD. GIDIA: Grupo de Investigacin y Desarrollo en Inteligencia Artificial Escuela de Ingeniera de Sistemas Universidad Nacional de Colombia Sede Medelln. {mjimene, jajimen1, dovalle}@unalmed.edu.co
Recibido para revisin 28 de Noviembre de 2007, aceptado 14 de Febrero de 2008, versin final 28 de Febrero de 2008

ResumenLa evaluacin es el mecanismo a travs del cual se verifica el cumplimiento de los objetivos instruccionales de un curso y se determina el nivel de conocimientos logrado por el estudiante. Adems de la funcin de diagnstico, la evaluacin debe motivar al alumno a que desarrolle un conjunto de habilidades asociadas al dominio de conocimiento que se est impartiendo, mediante la realimentacin de los resultados obtenidos y la exposicin clara de los criterios de evaluacin. El propsito del presente artculo es exponer un modelo de evaluacin en lnea que se pueda integrar apropiadamente a un curso tutorial inteligente que exhibe caractersticas adaptativas y adopta la estructura de los Sistemas Multi-Agente. CIA (Curso Inteligente Adaptativo) es el prototipo que permite validar esta investigacin y se viene desarrollando en la Universidad Nacional de Colombia Sede Medelln. Acorde a las caractersticas del sistema tutorial, el mecanismo de evaluacin tambin debe adoptar comportamientos adaptativos que permitan ajustar el mtodo de diagnstico del nivel de conocimiento a las preferencias (estilos de aprendizaje) y a las caractersticas del estudiante que condicionen su proceso de aprendizaje. Palabras ClaveE-Learning, Sistemas Tutoriales Inteligentes, Sistemas Adaptativos, Evaluacin de nivel de conocimientos, Sistemas Multi-Agente. AbstractAssessment is the mechanism through which verifies the accomplishment of a course instructional objectives and

determines the level of knowledge achieved by the student. In addition to the role of diagnosis, evaluation should motivate the student to develop a set of skills associated with the domain knowledge that is taught using the results feedback and the clear statement of the evaluation criteria. The purpose of this article is present an online assessment model that can be integrated properly to an intelligent tutorial course that exhibit adaptive characteristics and adopts a MultiAgent System structure. CIA (Adaptive Intelligent Course) is a prototype that allows validation of this research and is being developed at the Universidad Nacional de Colombia - Sede Medellin. According to the tutorial system characteristics, the assessment mechanism should also consider adaptive behaviors that enable diagnostic method to adjust the level of knowledge to the preferences (learning styles) and the features student that determines the learning process. Keywords Adaptive Systems, E-Learning, Intelligent Tutoring Systems, , Knowledge level assessment, Multi-Agent System.
I.

INTRODUCCIN

AN importante como es el proceso de enseanza lo es el proceso de evaluacin, este se debe ejecutar continuamente para que acte como un mecanismo de autorregulacin que se basa en la verificacin del

Jimnez, M. et al., III Congreso Colombiano de Computacin, Medelln, Abril de 2008 cumplimiento de los objetivos, la medicin del rendimiento de los alumnos y la validacin de la estrategia pedaggica. En el mbito de los entornos de aprendizaje activo, la evaluacin del nivel de conocimientos cobra especial importancia puesto que tiene como responsabilidad, lograr la motivacin de los alumnos a que realicen actividades y amplen lo visto en el curso mediante la solucin de preguntas y problemas prcticos a travs de un diagnstico consciente de su estado acadmico. An cuando se tiene acceso a las tecnologas de la informacin y las comunicaciones, como en el caso del elearning (cursos virtuales), la evaluacin se puede ver limitada por la utilizacin de tests o cuestionarios estticos que abarcan solo conceptos vistos en el curso y que sirven nicamente como instrumento de clasificacin de estudiantes que aprueban o reprueban el curso, sin la posibilidad de obtener ningn tipo de realimentacin [1]. Con el fin de superar las limitaciones que impiden llevar la evaluacin tradicional al nivel del aprendizaje activo, se propone un mtodo de evaluacin que posibilite el desarrollo de las competencias correspondientes al dominio del conocimiento, que sea transparente para el alumno, es decir, que exponga claramente los procedimientos y criterios de evaluacin y que adems sirva de soporte para el proceso de enseanza/aprendizaje. El propsito de la evaluacin de nivel de conocimientos es en principio, verificar el cumplimiento de los objetivos trazados para el curso (Objetivos Instruccionales) a travs del anlisis de las respuestas dadas por los estudiantes a un conjunto de preguntas. Para esto, es necesario un sistema de calificacin de las respuestas y un sistema de gestin de dicha informacin, que pueden ser soportados por las tecnologas que hoy sirven de base para la creacin de programas que autnomamente realizan la calificacin, anlisis y presentacin de los resultados de evaluacin. Sumado a esto, la propuesta presentada en este trabajo considera que la evaluacin en lnea en entornos de aprendizaje activo se debe adaptar al modelo o perfil del estudiante, es decir, al conjunto de preferencias y caractersticas que definen el aprendizaje del usuario (Estilos de Aprendizaje) para la generacin de los tests o cuestionarios. Tambin se considera que el proceso de evaluacin puede llegar a ser ms efectivo si adems de identificar los objetivos alcanzados por el estudiante, el sistema tambin est en capacidad de sealar las fallas que el estudiante debe superar, para lo cual se puede implementar un formato adecuado para la presentacin de resultados. El contenido de este artculo se presentar de la siguiente forma: inicialmente se presentar el marco terico asociado a los Cursos Tutoriales Inteligentes y a los Sistemas MultiAgentes, posteriormente se presentar el modelo de evaluacin en lnea propuesto y finalmente se realizar el anlisis de los resultados obtenidos. Adicionalmente se presentarn las conclusiones y los trabajos futuros.

diseados para impartir instruccin y apoyar inteligentemente los procesos de enseanza/aprendizaje mediante la interaccin con el estudiante [2]. Se denominan inteligentes para diferenciarlos de los sistemas tradicionales de enseanza asistida por computador, siendo la principal diferencia el uso de tcnicas de la Inteligencia Artificial. La estructura de los STI se define principalmente por los siguientes tres componentes: modelo del dominio, modelo del estudiante y modelo pedaggico. En el modelo del dominio, el sistema almacena todo el conocimiento del tema que se imparte en el curso, el modelo pedaggico contiene la informacin que permite decidir qu actividades se le deben proponer al estudiante y cules estrategias pedaggicas son las ms adecuadas para ser propuestas en el curso. Por ltimo, el modelo del estudiante recoge los datos que describen al alumno desde perspectivas diferentes tales como aspectos psicopedaggicos, caractersticas de su entorno, preferencias, etc. [3]. La informacin contenida en los modelos previamente definidos, es usada para todas las acciones que se llevan a cabo en el STI; el sistema de evaluacin del nivel de conocimientos debe estar diseado para construir los tests de acuerdo a esta informacin. La estructura de los modelos del STI que se proponen en este trabajo se presenta a continuacin: A. Modelo del Dominio En la Fig. 1, se representa el modelo del dominio en una jerarqua. El nodo raz es el curso y cada curso se compone de UBA (Unidad Bsica de Aprendizaje) o ejes temticos principales. Por su parte, cada UBA tiene asociados unos temas ms especficos y por cada tema unos OI (Objetivo Instruccional), los cuales sealan los logros que debe haber alcanzado el alumno al finalizar el estudio del tema.

Fig. 1. Estructura del Modelo del Dominio

II. CURSOS TUTORIALES INTELIGENTES En la literatura se conocen como STI (Sistemas Tutoriales Inteligentes) a aquellos sistemas asistidos por computador

B. Modelo del Estudiante Se propone una estructura muy completa que clasifica la informacin del estudiante en varias categoras, de las cuales se han escogido las ms importantes o las ms significativas, estas categoras son: datos personales (nombre, fecha de nacimiento, sexo, etc.), estilos de aprendizaje (visual, textual, auditivo), psicologa (hemisferio del cerebro dominante), fisiologa (audicin, visin, etc.), caractersticas contextuales (dispositivo de acceso, estado de la red, sistema operativo, etc.), historial (actividades realizadas, tiempos de estudio), logros acadmicos (OI aprobados) y trabajo en grupo [4]. La estructura del modelo del estudiante se puede ver en la Fig. 2.

Jimnez, M. et al., III Congreso Colombiano de Computacin, Medelln, Abril de 2008

Fig. 2. Estructura del Modelo del Estudiante

C. Modelo Pedaggico Este modelo parte de la estructura de los cursos, es decir, sabe cules UBA corresponden al curso, cules Temas componen cada UBA y cules OI se deben alcanzar por cada Tema. De esta forma, el modelo pedaggico hace uso del modelo del estudiante para conocer el estado en el curso (qu temas ha estudiado) y le propone las actividades a realizar para alcanzar cierto objetivo, de esta manera se imparte el curso. Es claro entonces, que cada OI tiene asociadas unas actividades para alcanzarlo y a su vez esas actividades se relacionan a uno o varios objetos de aprendizaje. En trminos generales, un OA (Objeto de Aprendizaje) se define como un componente de instruccin que puede ser reutilizado varias veces en contextos de estudio diferentes [5]. Los objetos de aprendizaje presentan el contenido del curso en distintos formatos con el propsito de facilitarle el aprendizaje al estudiante. De esta manera, una actividad puede consistir en leer, escuchar o ver diagramas sobre un tema especfico, para lo cual se deben tener los OA de lectura, de escucha o grficos. En la Fig. 3, se muestra un ejemplo de la asociacin entre los OI, las actividades y los OA.

problemas o en la consecucin de una serie de objetivos individuales o colectivos. Los agentes informticos pueden ser homogneos o heterogneos y pueden tener metas comunes o no, pero siempre involucrarn algn grado de comunicacin entre ellos. Cada uno de los agentes de software del SMA son programas que actan en representacin de sus usuarios humanos o dueos para realizar tareas complicadas de manejo de informacin, se comunican por medio del protocolo de paso de mensajes y realizando sus acciones concurrentemente. Poseen propiedades como: autonoma, habilidad social, reactividad, proactividad movilidad, continuidad temporal, adaptabilidad y aprendizaje. Los agentes de software pueden representar conocimiento pedaggico y/o desempear tareas de tutora para soportar y facilitar el aprendizaje humano. Los agentes pedaggicos pueden adaptar sus interacciones instruccionales a las necesidades de los aprendices y al estado actual del ambiente de aprendizaje, ayudando a los estudiantes en la superacin de sus dificultades y en el aprovechamiento de las oportunidades de aprendizaje. Poseen un conjunto de metas de enseanza, planes instruccionales para la ejecucin de esas metas (p.e. estrategias pedaggicas o de enseanza), y recursos asociados en los ambientes de aprendizaje. Ellos colaboran con los aprendices y con otros agentes, proporcionando realimentacin continua durante las sesiones de trabajo.

IV. ESTADO DEL ARTE DE LA EVALUACIN EN LNEA ADAPTATIVA Una de las tcnicas actuales ms importantes de evaluacin adaptativa se conoce como TAI (Tests Adaptativos Informatizados) y son ampliamente usados en el campo de la educacin. Un TAI es necesariamente administrado por computador y consiste en un algoritmo iterativo que realiza una estimacin inicial del nivel de conocimiento del estudiante a partir de una pregunta introductoria y segn la respuesta escoge la siguiente pregunta, este proceso contina hasta que se cumpla un criterio de finalizacin preestablecido [8]. A nivel internacional, es necesario resaltar las investigaciones realizadas sobre TAI por el Equipo de Desarrollo e Investigacin en Medicin (EDIM) de la Universidad Autnoma de Madrid, cuyos investigadores responsables han venido publicando importantes artculos sobre el tema en cuestin. Una muestra de esto es la revisin del estado del arte realizada sobre la situacin de los TAI, los problemas suscitados y las soluciones que se han planteado [9]. Otro producto notable del EDIM, es el trabajo de Guzmn, et al. en 2007 [10]. En l se propone un modelo del estudiante en el cual el conocimiento est representado por medio de distribuciones de probabilidad asociadas a un rbol de conceptos. Este conocimiento se adquiere a travs de un test adaptativo que se basa en la Teora de Respuesta al tem. Este trabajo se diferencia porque considera varios tipos de

Fig. 3. Estructura presentada por el modelo pedaggico

III. SISTEMAS MULTI-AGENTE Los SMA (Sistemas Multi-Agente) se dan a conocer en la dcada de los 80s a partir de las investigaciones de los agentes de software y es hasta la dcada de los 90s que se destacan. Los SMA provienen de las reas de investigacin de la Inteligencia Artificial Distribuida (Distributed Artificial Intelligence, DAI), la Solucin de Problemas Distribuidos (Distributed Problems Solving, DPS) y la Inteligencia Artificial Paralela (Parallel Artificial Intelligence, PAI) [6]. Los SMA son considerados paradigmas de la ingeniera de software creados para el diseo y desarrollo de programas complejos [7]. Un SMA es una sociedad organizada compuesta por agentes semiautnomos que interactan entre s, ya sea para colaborar en la solucin de un conjunto de

Jimnez, M. et al., III Congreso Colombiano de Computacin, Medelln, Abril de 2008 resultados, no slo respuestas correctas e incorrectas, permitiendo obtener un diagnstico del nivel de conocimiento del estudiante ms preciso. Este trabajo enfatiza en la importancia del modelo del estudiante ya que proporciona la informacin necesaria para la adaptacin, por lo tanto debe ser lo ms completo posible. Gamboa & Fred en 2001 [11], proponen el modelo y la arquitectura para el diseo de STI usando redes bayesianas, que permiten diagnosticar el nivel de conocimiento y las preferencias del estudiante con el fin de sugerir estrategias pedaggicas a desarrollar en aplicaciones e-learning. El sistema de inferencia bayesiano toma en consideracin el estilo de aprendizaje del estudiante, lo cual se resalta como una fortaleza de este trabajo; sin embargo, se identifica como debilidad el hecho de que no se modela el aspecto colaborativo del usuario. A nivel local, una propuesta de un sistema de evaluacin es presentada en el trabajo de Duque y Agudelo en 2004 [12], donde se aprovecha la informacin que se recoge del estudiante (perfil del estudiante) para crear automticamente evaluaciones individualizadas, es decir que las preguntas a formular se escogen dinmicamente. Se reconoce como una fortaleza de esta propuesta, el tomar en cuenta el estilo de aprendizaje del estudiante para adaptar la presentacin de los tems de la evaluacin segn sus preferencias. El modelamiento de este trabajo se realiza mediante la metodologa de Sistemas Multi-Agente MASCommonKADS. Las aplicaciones que existen de evaluacin adaptativa y TAIs han sido desarrolladas principalmente para las Universidades, se espera que el inters en estos programas sea cada vez mayor y que su uso se extienda a otros ambientes educativos.

importantes en el desarrollo del mecanismo de evaluacin adaptativa del nivel de conocimientos del estudiante en STI. Se considera que el banco de preguntas es suficientemente completo si abarca todos los temas del curso y por cada tema existen preguntas de varios niveles de dificultad y de diferentes tipos de presentacin [13]. De acuerdo a lo anterior, la construccin del banco de preguntas requiere de un esfuerzo considerable, adems es necesario que todo el contenido del curso est completamente estructurado y definido porque del material se formularn las preguntas de evaluacin. En cuanto a la estructura de las preguntas de evaluacin, como se puede ver en la Fig. 4, por cada pregunta hay una o ms respuestas y cada respuesta tiene una validez de 1 si es correcta o 0 si es incorrecta. Las preguntas adems de tener un OI correspondiente, tienen un concepto bsico asociado que se refiere al concepto o unidad ms pequea de conocimiento que se evala. Esto con el fin de que al evaluar se abarque la mayor parte del conocimiento limitado por un OI y no se repitan preguntas sobre un mismo concepto. En la Fig. 5, se ilustra la relacin del elemento concepto bsico con los componentes del modelo de dominio. Las preguntas de evaluacin se formulan de acuerdo al concepto bsico que evalan, sin embargo podra darse el caso en el cual la pregunta aborda varios conceptos bsicos, en ese caso se asocia la pregunta solo a uno de ellos.

Fig. 4. Relacin Pregunta-Respuesta

V. PROPUESTA DE EVALUACIN DEL NIVEL DE CONOCIMIENTO DEL ESTUDIANTE Con el propsito de determinar cul es el nivel de conocimiento del estudiante en un momento dado, es necesario llevar a cabo la evaluacin. A travs del anlisis de los resultados de la evaluacin, es posible decidir acerca de las estrategias pedaggicas usadas en el curso y de esta forma mejorar continuamente el proceso de enseanza/aprendizaje. La estrategia ms comn para determinar el nivel de conocimiento del estudiante en cursos asistidos por computador, es a travs de cuestionarios o tests. En algunos casos, el profesor del curso es quien construye los tests (escoge las preguntas), recibe las respuestas y las califica manualmente; en otras situaciones, el sistema autnomamente construye los tests y los califica, adems genera los resultados. Ya que la evaluacin se lleva a cabo mediante tests, se debe dar gran importancia a la forma de las preguntas que componen estos tests y a su cantidad. A continuacin se describe un tipo estructura para el banco de preguntas. A. Banco de Preguntas La creacin del banco de preguntas es una de las etapas ms

Fig. 5. Asociacin del Concepto Bsico a los elementos del modelo de dominio

Tambin se define el tiempo de respuesta, el cual es un promedio del tiempo que tardara el estudiante en responder la pregunta si estudi el tema, esta medida se relaciona en gran medida con el tipo de pregunta, que puede ser de: SMMR (Seleccin Mltiple - Mltiple Respuesta), SMUR (Seleccin Mltiple - nica Respuesta), FV (Falso o Verdadero) y correspondencia entre columnas o Actividad - Juego. As mismo, se especfica para cada pregunta un atributo pretest de tipo binario, el cual indica si la pregunta es de evaluacin (pretest=0) o si es de pretest (pretest=1). Estas preguntas de pretest se crean con el propsito de que el estudiante refuerce los conocimientos adquiridos al realizar las actividades

Jimnez, M. et al., III Congreso Colombiano de Computacin, Medelln, Abril de 2008 propuestas para alcanzar el objetivo, por lo tanto, se formulan al terminar de estudiar cada contenido asociado a un objetivo. Por ltimo, el atributo con objeto de tipo binario seala cuando la pregunta tiene asociado un OA para facilitar la comprensin de la pregunta por parte del estudiante a travs de imgenes, sonidos, etc. Por lo tanto se define con objeto=1 cuando existe el OA respectivo y con objeto=0 cuando solo se tiene el texto de la pregunta. B. Estilos de Aprendizaje Otro atributo que se define para cada pregunta de evaluacin es el Estilo de Aprendizaje, este trmino se refiere a las diferentes fortalezas y preferencias que tiene cada estudiante al momento de adquirir y procesar la informacin [14]. Segn la clasificacin que se ha establecido, algunas personas prefieren trabajar con informacin concreta (hechos, datos experimentales, etc.) mientras que otros se sienten ms cmodos al aprender conceptos abstractos (teoras, informacin simblica, modelos matemticos, etc.). Tambin se identifican personas que prefieren la informacin grfica (fotos, diagramas, mapas, etc.) a diferencia de quienes captan mejor las explicaciones verbales. Por otro lado estn quienes aprenden ms al poner en prctica las cosas y analizar que pasa mientras que otros prefieren reflexionar en las cosas que van a hacer y entender lo ms que puedan de ellas antes de hacerlas. Existen varias herramientas que permiten caracterizar los estilos de aprendizaje, una de ellas es el test que se origin a partir del modelo desarrollado por Richard Felder y Linda Silverman en 1988 (Test de Felder-Silverman). Este modelo fue creado para conocer las principales diferencias en estilo de aprendizaje entre estudiantes de ingeniera y de esta manera proveer buenas bases a los profesores para implementar estrategias pedaggicas ajustadas a las necesidades de los alumnos. La aplicacin del modelo busca dar respuesta a los siguientes interrogantes: - Qu tipo de informacin percibe mejor el estudiante: Sensorial o intuitiva? - A travs de qu modalidad percibe ms efectivamente la informacin sensorial: Visual o verbal? - Cmo prefiere el estudiante procesar la informacin que percibe: Activamente o reflexivamente? - Cmo logra entender el estudiante: Secuencialmente o globalmente? El modelo de Felder-Silverman clasifica a los estudiantes de acuerdo a las preferencias que tienen por una u otra categora: - Sensoriales: Concretos, prcticos, orientados hacia hechos y procedimientos, les gusta el trabajo de experimentacin, memorizan hechos con facilidad. - Intuitivos: Conceptuales; innovadores; orientados hacia teoras y significados; comprende rpidamente nuevos conceptos. - Visuales: Prefieren representaciones visuales de la informacin como diagramas de flujo, diagramas, etc.; recuerdan mejor lo que ven.

- Verbales: Prefieren obtener la informacin en forma escrita o hablada (explicaciones); recuerdan mejor lo que leen o lo que oyen. - Activos: Comprenden mejor la informacin cuando la ponen en prctica, discuten, aplican y explican a otros. Prefieren aprender ensayando y disfrutan el trabajo en grupo. - Reflexivos: Tienden a retener y comprender nueva informacin pensando y reflexionando sobre ella; prefieren trabajar solos o con alguien de confianza. - Secuenciales: Aprenden por pasos incrementales lgicamente relacionados; son ordenados y lineales cuando tratan de solucionar un problema. - Globales: Aprenden en grandes saltos visualizando la totalidad; pueden resolver problemas complejos rpidamente. El ndice de estilos de aprendizaje es un instrumento compuesto por 44 preguntas de dos opciones (a b) que permite categorizar a cada persona de acuerdo a las dimensiones mostradas anteriormente. Este test ha ido evolucionando con el tiempo y actualmente se puede responder y recibir los resultados en lnea. Para cada dimensin, el test indica que tan fuerte es la preferencia por una u otra categora. El test de Felder-Silverman es una de las pruebas iniciales que realiza el estudiante al empezar un curso, con ella se recopila informacin de las caractersticas cognitivas y los comportamientos afectivos y psicolgicos que sirven de indicadores de cmo percibe, interacta y responde al entorno educativo el estudiante. Se ha determinado que conocer el estilo de aprendizaje del estudiante puede ser de gran ayuda para el STI a la hora de tomar las decisiones respecto a la forma como se deben presentar los contenidos del curso y al momento de escoger el tipo de pregunta que se va a formular, porque de esta manera se facilita al examinando la comprensin de lo que se le est evaluando y se evita su falta de concentracin y motivacin [15]. Para realizar la seleccin de las preguntas segn los estilos de aprendizaje, se definieron las caractersticas de las preguntas que se pueden formular y los estilos a los cuales se pueden asociar, esto se puede ver en la Tabla 1.
Tabla 1. Estilos de Aprendizaje por tipo de pregunta
Caractersticas de las preguntas Imgenes o fotografas Diagramas de flujo Lneas de tiempo Videos Demostraciones grficas Demostraciones verbales Ver Mapas conceptuales Explicaciones habladas o escritas Definiciones de memoria Aplicaciones de los temas X X X X X X X X X X X X X Act Ref X Sen X X X X X X X X X X X X X Int Vis X X X X X X X X X X X X Ver Sec Gl X

Jimnez, M. et al., III Congreso Colombiano de Computacin, Medelln, Abril de 2008

Memorizacin de detalles Resolver problemas Ejercicios prcticos Sonidos o audio Relaciones entre conceptos Originar ideas a partir de conceptos Realizar mapas conceptuales Resaltar las ideas ms importantes Redactar sntesis o resumen Comprensin de ecuaciones o smbolos Seguir secuencias de pasos para llegar a la solucin de un problema Profundizar en las particularidades del tema Conceptos bsicos X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X

para sacar el mejor provecho. El anlisis tricerebral contribuye de forma importante al anlisis de las personas ya que no se concentra solo en la inteligencia y su relacin con la habilidad matemtica y la lgica, tambin reconoce la influencia de las realizaciones en la ldica y el arte o en la motricidad y la administracin. C. Descripcin del proceso de evaluacin Se propone un proceso de evaluacin en el cual, el sistema est verificando cuando el estudiante termina de revisar todas las actividades que le fueron programadas para un objetivo especfico y una vez se produce este evento, se genera una evaluacin teniendo en cuenta los siguientes pasos: - Se recupera desde la base de datos un conjunto de preguntas que estn relacionadas con las actividades que se encuentran planificadas. - Se realiza un filtro sobre las preguntas, verificando cuales de estas no se le han formulado al estudiante. - Se recupera el estilo de aprendizaje del estudiante, esto con el fin de realizar otro filtro sobre el conjunto de preguntas. - Del conjunto restante de preguntas, se selecciona una pregunta para cada concepto bsico que posea una actividad. - Se genera un formulario de evaluacin con las preguntas seleccionadas. - Se presenta la evaluacin y se recuperan las respuestas del estudiante. Cuando el estudiante enva las respuestas de la evaluacin, se realiza una peticin, solicitando la calificacin de la evaluacin e inmediatamente se llevan a cabo las siguientes acciones: - Se recupera desde la base de datos las respuestas correctas para cada una de las preguntas de la evaluacin. - Se revisa si las respuestas dadas por el estudiante concuerdan con la respuestas correctas de la pregunta, en el caso de que concuerden, se almacenan las respuestas como correctas, en caso contrario se almacenan como incorrectas. - Se realiza la calificacin total por cada tipo de pregunta, ya sea: SMMR, SMUR, FV, etc. - Se realiza una calificacin total por OI, si la puntuacin resultante es mayor a 0.6 (60%) se aprueba el OI evaluado. - En caso de que un OI no sea aprobado, se realiza una solicitud de replanificacin de actividades para el/los OIs que no se aprobaron. - Se remiten los resultados de evaluacin al estudiante, los cuales incluyen las respuestas incorrectas y los conceptos bsicos asociados a estas preguntas para que el estudiante pueda reforzar el concepto. El proceso de calificacin de la evaluacin realizada por el estudiante se describe en Fig. 7. Es importante mencionar que las evaluaciones son efectuadas a travs de pruebas que son generadas, presentadas al estudiante y calificados por el agente evaluador. Para la

Otro instrumento que tambin permite obtener informacin para la construccin del modelo del estudiante es el RCMT (Revelador del Cociente Mental Tridico) [16]. Este test se origina a partir del modelo de cerebro tridico desarrollado por Waldemar de Gregori en 1999, el cual busca describir el comportamiento de las personas a partir de la identificacin de los hemisferios cerebrales (ver Fig. 6): - Cerebro central o inteligencia operativa: Se asocia con la accin, la experiencia, el pensamiento concreto y la administracin. - Cerebro izquierdo o inteligencia lgica: Se relaciona con la ciencia, la matemtica y el saber. - Cerebro derecho o inteligencia emocional: Se asocia a la intuicin, la fe, la emotividad, el arte y la religin.

Fig. 6. Cerebro Tridico (Tomado de: http://www.ciberneticasociale.org/Il_Cervello.php)

El RCMT es un modelo cuantitativo que de manera proporcional (no puntual) determina las inclinaciones del cerebro tridico de acuerdo con: las posiciones frente al mundo, los temores, las relaciones con los dems, los criterios para evaluar el arte y en general, su actuar en los contextos lgicos, motores y ldicos. Del anlisis del cerebro tridico pueden surgir estrategias para la administracin y la pedagoga; define jerarquas y crea visiones para sacar el mejor provecho de las debilidades y las oportunidades [17]. Del anlisis del RCMT se pueden crear modelos pedaggicos para el mbito educativo con el fin de ajustar el trabajo en grupo segn el cerebro tridico de los integrantes. Se determinan que estrategias de enseanza son apropiadas y qu recursos estn disponibles dentro de cada comportamiento

Jimnez, M. et al., III Congreso Colombiano de Computacin, Medelln, Abril de 2008 construccin del banco de preguntas que conforman dichas pruebas de evaluacin, es necesario que todo el contenido del curso est completamente estructurado y definido, pues de all se formulan las preguntas.

estar en capacidad de construir un modelo inicial del modelo del estudiante que se ir actualizando con la informacin recogida durante la interaccin del estudiante con el sistema tutorial y con los resultados de las evaluaciones presentadas.

Fig. 9. Interfaz del test Felder

Fig. 7. Proceso de calificacin de las evaluaciones

VI. EVALUACIN DEL PROTOTIPO CIA El prototipo CIA se encuentra en su etapa de diseo y construccin en el proyecto de investigacin Modelo de Sistema Multi-Agente de Cursos Adaptativos integrados con Ambientes Colaborativos de Aprendizaje [18]. Este prototipo planifica inicialmente la secuencia de los temas que aprender un estudiante inscrito en un curso de CLIPS (C Language Inference Production System), este curso pertenece al rea de Inteligencia Artificial y tiene las capacidades de adaptar las evaluaciones y replanificar dinmicamente las actividades segn los logros alcanzados por el estudiante. Como ya se dijo, el estudiante que se inscribe en un curso de CIA, inicialmente debe diligenciar una serie de formularios que tienen como propsito la adquisicin de informacin requerida para la construccin del modelo del estudiante, por lo tanto cada estudiante debe responder: el formulario de registro con el cual se captura los datos personales (Fig. 8), el test de Felder que sirve para conocer el estilo de aprendizaje (Fig. 9) y el RCMT para identificar informacin relevante para la planificacin del contenido del curso y para el trabajo grupal (Fig. 10).

Fig. 10. Interfaz del RCMT

Los agentes de CIA involucrados en los procesos de planificacin de los contenidos y evaluacin del nivel de conocimientos son: el agente interfaz, el agente planificador y el agente evaluador [19]. Su protocolo de comunicacin se describe en la Fig 11.

Fig 11. Diagrama de Secuencia Planificador, Evaluador

El protocolo de comunicacin entre agentes para el proceso de evaluacin se describe a continuacin: 1. El estudiante selecciona un tema del curso por medio del agente interfaz y este a su vez enva una peticin de planificacin del respectivo tema al agente planificador (REQUEST 63).
Fig. 8. Interfaz de Registro del usuario nuevo

2.

Por medio de esta informacin de registro, el sistema ya

El agente planificador recibe la peticin enviada por el agente interfaz e inmediatamente solicita al agente

Jimnez, M. et al., III Congreso Colombiano de Computacin, Medelln, Abril de 2008 evaluador la planificacin de la evaluacin (REQUEST 64) y enva una respuesta al agente interfaz acerca de su solicitud de planificacin (CONFIRM 3). 3. Cuando el estudiante termina de estudiar todas las actividades que se le planificaron, se le presenta la evaluacin que fue elaborada por el agente evaluador para que la resuelva (ver Fig. 12). Una vez termina de responder la totalidad de las preguntas, el estudiante por medio del agente interfaz enva al agente evaluador una solicitud de calificacin (REQUEST 65). 4.

Finalmente el agente planificador le solicita al agente evaluador que replanifique la evaluacin para las nuevas actividades asociadas al objetivo que fue reprobado.

VII. CONCLUSIONES Y TRABAJO FUTURO A partir de la propuesta de evaluacin adaptativa aplicada a STI que se ha presentado, se busca dar respuesta a algunas de las necesidades que no son cubiertas por el sistema de evaluacin tradicional, por ejemplo la presentacin y realimentacin de los resultados de evaluacin. Si bien esta propuesta se enfoca en un dominio especfico del conocimiento como lo es CLIPS, queda abierta la posibilidad de ser aplicado a otras reas que sean afines en la metodologa de evaluacin. Tambin se propone la aplicacin de mtodos y tcnicas propias de la Inteligencia Artificial tales como: Teora de Respuesta al tem, Tests Adaptativos Informatizado, Redes Bayesianas, etc. La arquitectura de SMA ha dotado al sistema de flexibilidad para que puedan agregarse nuevas funcionalidades como es el mdulo de aprendizaje colaborativo, donde tambin pueden llevarse a cabo procesos de evaluacin grupales. Aunque no est dentro del alcance de esta investigacin, se investigan una serie de aspectos que podran mejorar la estructura del modelo del estudiante y hacerlo ms dinmico, con el fin de fortalecer el carcter adaptativo de la evaluacin. La validacin del modelo propuesto se realiza a travs de la aplicacin del prototipo computacional, llamado CIA. El reto para esta aplicacin al ser probado en un grupo de estudiantes del curso, es mostrar buenos resultados al comparar su desempeo con los sistemas tradicionales de enseanza asistida por computador, es decir, aquellos que no tienen capacidades de adaptacin. AGRADECIMIENTOS El trabajo de investigacin presentado en este artculo fue financiado por el proyecto de investigacin de la Vicerrectora de Investigacin y DIME titulado: Modelo de Sistema MultiAgente de Cursos Adaptativos Integrados con Ambientes Colaborativos de Aprendizaje., de la Universidad Nacional de Colombia Sede Medelln. REFERENCIAS
[1] D. Lordelo, H. Borges, J. M. Monguet, F. Alpiste, Evaluacin del alumno en el entorno virtual: Identificacin de indicadores inherentes y adyacentes, laboratori daplicacions multimedia, Universitat Politecnica de Catalunya, 2004. J. Jimnez, Un Modelo de Planificacin Instruccional usando Razonamiento Basado en Casos en Sistemas Multi-Agente para entornos integrados de Sistemas Tutoriales Inteligentes y Ambientes Colaborativos de Aprendizaje, Tesis Doctoral,. Universidad Nacional de Colombia, 2006. S. Gonzlez, Sistemas Inteligentes en la Educacin: una revisin de las lneas de investigacin y aplicaciones actuales, RELIEVE: v. 10, n. 1, pp. 3-22, 2004. N. Duque, Modelo de Sistema Multi-Agente de Cursos Adaptativos en Ambientes Colaborativos, Propuesta de tesis doctoral, Universidad Nacional de Colombia-Sede Medelln, 2007.

Fig. 12. Evaluacin generada por el agente evaluador

Cuando el agente evaluador califica la prueba verifica si existen OI no aprobados, de ser as, este agente enva al agente planificador una peticin (REQUEST 66) para que replanifique nuevas actividades y por medio del agente interfaz enva el resultado de la evaluacin (CONFIRM 37). En la Fig. 13 se presenta un ejemplo de los resultados de evaluacin que son presentados al estudiante.

[2]

Fig. 13. Resultados de evaluacin generados por el agente evaluador

[3]

[4]

Jimnez, M. et al., III Congreso Colombiano de Computacin, Medelln, Abril de 2008

[5] P. Lacasa, R. Vlez, S. Snchez, I Simposio Pluridisciplinar sobre Diseo, Evaluacin y Descripcin de Contenidos Educativos Reutilizables, Universidad de Alcal, 2004. D. Ovalle, J. Jimnez, R. Viccari, Sistema de Enseanza/Aprendizaje basados en Agentes Inteligentes Pedaggicos, Avances en Sistemas e Informtica, Vol. 2 No. 2 pp. 1726, 2005. M. Wooldridge, N. R. Jennings, Intelligent agents: Theory and practice, Knowl. Eng. Rev. 10, 2, 115152, 1995. E. Milln, Sistema Bayesiano para Modelado del Alumno, Tesis Doctoral., Universidad de Mlaga, Espaa, 2000. V. Ponsoda, P. Hontangas, J. Olea, Los Test Adaptativos Informatizados: Investigacin Actual, Metodologa de las Ciencias del Comportamiento, pp. 505-510, Espaa, 2004.

especficamente Inteligencia Artificial en Educacin, Sistemas Tutoriales Inteligentes y Evaluacin Adaptativa de Conocimientos para Cursos Virtuales. Jovani Alberto Jimnez Builes. Profesor Asistente, Universidad Nacional de Colombia Sede Medelln. Coordinador de Servicios Acadmicos Virtuales de la UNAL Sede Medelln. Coordinador de la Comisin Pedaggica de la Facultad de Minas. Doctor en Ingeniera Sistemas e Informtica, Universidad Nacional de Colombia. Pasanta Doctoral Grupo de Inteligncia Artificial Universidade Federal do Rio Grande do Sul Brasil. Magster en Ingeniera de Sistemas de la Universidad Nacional de Colombia Sede Medelln. Licenciado en Docencia de Computadores, Universidad de Medelln Colombia. El rea de nfasis de su investigacin es Inteligencia Artificial, ms especficamente Inteligencia Artificial en Educacin, Sistemas Tutoriales Inteligentes, Sistemas basados en CBR (CaseBased Reasoning) y Tcnicas de Planificacin Instruccional. Adicionalmente, trabaja sobre un proyecto de Robtica Colaborativa utilizando Tcnicas de Inteligencia Artificial Distribuida. Demetrio Arturo Ovalle Carranza. Profesor Asociado, Universidad Nacional de Colombia sede Medelln. Director de la Escuela de Ingeniera de Sistemas de la Universidad Nacional de Colombia Sede Medelln. Director del GIDIA: Grupo de Investigacin y Desarrollo en Inteligencia Artificial, Categora A de Colciencias. Ingeniero de Sistemas y Computacin, Universidad de los Andes, Bogot, Colombia (1984). Magster en Informtica del Institut National Polytechnique de Grenoble, Francia (1987). Doctor en Informtica de la Universit Joseph Fourier, Francia (1991). El rea de nfasis de su investigacin es Inteligencia Artificial, ms especficamente Sistemas Hbridos Inteligentes integrando Redes Neuronales, Sistemas de Lgica Difusa y Sistemas Multi-Agente aplicados a la Simulacin de los Mercados de Energa y a la Deteccin de Fallas en Lneas de Transmisin. Otros tpicos de investigacin que trabaja actualmente son: Inteligencia Artificial en Educacin, Sistemas Tutoriales Inteligentes, Sistemas basados en CBR (Case- Based Reasoning) y Tcnicas de Planificacin Inteligente aplicadas a la Construccin de Sistemas de Composicin de Servicios Web.

[6]

[7] [8] [9]

[10] E. Guzmn, R. Conejo, J.L. Prez-de-la-Cruz, Adaptive testing for hierarchical student models, User Modeling and User-Adapted Interaction. Available: http://dx.doi.org/10.1007/s11257-006-9018-1, 2007. [11] H. Gamboa, A. Fred, Designing Intelligent Tutoring Systems: a Bayesian Approach, 3rd International Conference on Enterprise Information Systems, ICEIS, 2001. [12] N. D. Duque, A. Agudelo, Sistema Multiagente para la Evaluacin Personalizada en Cursos Virtuales, Semillero de Investigacin, Universidad Nacional de Colombia - Sede Manizales, 2006. [13] P. Salcedo, M. Rojas, G. Manrquez, Y. Gatica, Curso de UML Multiplataforma Adaptativo Basado en la Teora de Respuesta al tem, Revista Ingeniera Informtica, Edicin Nmero 10, Agosto 2004. [14] R. Felder, J. Spurlin, Applications, Reliability and Validity of the Index of Learning Styles, Int. J. Engng Ed. Vol. 21, No. 1, pp. 103-112, 2005. [15] D. Salas, J. Kelsy, A. Toscano, Diseo e Implementacin de Cursos Virtuales de Aprendizaje Basados en Estndares Educativos, Taller Internacional de Software Educativo, TISE, Chile, 2005. [16] W. De Gregori, Construccin del poder de tus cerebros. Editorial Pancast, Brasil, 1999. [17] E. Parra, Tecnologa de Sistemas Expertos para el anlisis del Comportamiento Humano de acuerdo con el Modelo del Cerebro Tridico, Revista Virtual Universidad Catlica del Norte, 2003. [18] Ovalle et al.: Informe de Avance: Etapa de Implementacin. Modelo de Sistema Multi-Agente de cursos Adaptativos Integrados con Ambientes Colaborativos de Aprendizaje. Proyecto de investigacin de la Vicerrectora de Investigacin y DIME titulado: Modelo de Sistema Multi-Agente de Cursos Adaptativos Integrados con Ambientes Colaborativos de Aprendizaje., de la Universidad Nacional de Colombia Sede Medelln., 2008. [19] F. J. Arias, M. Jimnez, D. Ovalle, Modelo Multi-Agente basado en la Web para Planificacin Instruccional y Evaluacin Adaptativa en Cursos Virtuales, CIIE 2008 Congreso Iberoamericano de Informtica Educativa, 2008. Marcela Jimnez Snchez. Estudiante de tercer semestre y candidata a la Maestra en Ingeniera de Sistemas de la Universidad Nacional de Colombia Sede Medelln. Ingeniera de Control (2006) egresada de la Facultad de Minas (UnalMed). Integrante del GIDIA: Grupo de Investigacin y Desarrollo en Inteligencia Artificial, Categora A de Colciencias. Ha trabajado, durante el ltimo ao como monitora acadmica de investigacin del proyecto de investigacin titulado: "Modelo de Sistema Multi-Agente de Cursos Adaptativos Integrados con Ambientes Colaborativos de Aprendizaje. A finales del 2007 obtuvo beca en la convocatoria Jvenes Innovadores de Colciencias para desarrollar un proyecto de investigacin relacionado con su tesis de maestra. El rea de nfasis de su investigacin es Inteligencia Artificial, ms