Modelo Multi-Agente basado en la Web para Planificación

Instruccional y Evaluación Adaptativa en Cursos Virtuales

Ing. Francisco J. Arias S. Ing. Marcela Jiménez S. PhD. Demetrio A. Ovalle C.
GIDIA: Grupo de Investigación y GIDIA: Grupo de Investigación y GIDIA: Grupo de Investigación y
Desarrollo en Inteligencia Artificial Desarrollo en Inteligencia Artificial Desarrollo en Inteligencia Artificial
Escuela de Ingeniería de Sistemas Escuela de Ingeniería de Sistemas Escuela de Ingeniería de Sistemas
Universidad Nacional de Colombia Universidad Nacional de Colombia Universidad Nacional de Colombia
425-5360 425-5360 425-5360
fjarias@ unal.edu.co mjimene@ unal.edu.co dovalle@ unal.edu.co
ABSTRACT
El término inteligente en los Sistemas Tutoriales Inteligentes
1. INTRODUCCIÓN
(STI) se refiere a la habilidad que posee el sistema sobre qué La compatibilidad de las tecnologías de la información con los
enseñar, cuándo enseñar y cómo enseñar imitando la actividad de procesos de enseñanza/aprendizaje ha propiciado la aparición de
un profesor real. Para lograrlo, un STI debe identificar las las nuevas formas de cursos asistidos por computador y STIs
fortalezas y debilidades de un estudiante particular a fin de (Sistemas Tutoriales Inteligentes). El objetivo básico de estos
establecer un plan instruccional de aprendizaje que sea consistente sistemas es lograr el aprendizaje de un dominio específico del
con los objetivos del curso y también debe ser capaz de adaptar la conocimiento por parte del estudiante mediante la utilización de
evaluación del nivel de conocimientos según el plan instruccional herramientas propias de la informática y de la IA (Inteligencia
que se programó y según los estilos de aprendizaje que un Artificial).
estudiante posea. Es claro entonces que en los STI es de vital El principal enfoque que se le ha dado a estos STIs es la
importancia incluir estas dos funcionalidades de forma capacidad de adaptación. A través de esta habilidad, se pretende
coordinada, ya que si no contamos con planificación instruccional que el sistema permita que el proceso de enseñanza/aprendizaje
y su correspondiente evaluación adaptativa en un sistema virtual sea planificado y ejecutado de acuerdo a las características de
para la enseñanza/aprendizaje, no será posible emular el cada estudiante y a su ritmo de estudio de forma individualizada.
comportamiento que posee el profesor al impartir un curso y por En la actualidad, se ha venido trabajando en STIs que exhiben
ende no se puede definir a dicho sistema con la notación de capacidades adaptativas en la estructuración y secuenciación del
“Inteligente”. Es por esta razón que se propone en este artículo un contenido del curso (planificación instruccional) porque analizan
modelo de curso virtual de carácter adaptativo, enfocado las características del estudiante para la realización de estas
principalmente en las funciones de planificación instruccional y actividades. Así mismo, existe un real interés de la comunidad
de evaluación del nivel de conocimientos del estudiante, basado científica en la creación de mecanismos de evaluación adaptativa
en una arquitectura Multi-Agente en la Web. del nivel de conocimientos del estudiante que superen las
limitaciones de los sistemas de evaluación tradicionales.
Categories and Subject Descriptors En este artículo se presentará por medio de un caso de estudio
D.3.2: [JAVA]: Se utilizaron librerías para construcción de específico el diseño, desarrollo y validación de un modelo Multi-
agentes como JADE (Java Agent DEvelopment framework). Agente Pedagógico basado en la Web que integra la Planificación
Servidor web con soporte de servlets y JSPs (Tomcat 6.0). Instruccional y la Evaluación Adaptativa. La organización del
artículo es la siguiente: en la sección 2 se presentará una breve
I.2.11: [Distributed Artificial Intelligence]: Coherence and descripción del marco teórico y del estado del arte de la
coordination, Intelligent agents, Languages and structures, problemática abordada. Posteriormente, en la sección 3, se
Multiagent systems. describe un sistema que fue implementado para validar el modelo
propuesto, en la sección 4 se presentará el análisis de los
General Terms resultados obtenidos y por último se presentan las conclusiones y
Algorithms (Implementación de Mecanismos de Razonamiento el trabajo futuro.
para Sistemas Multi-Agente Pedagógicos), Design (Modelamiento
del Sistema Tutorial Inteligente, Mecanismos de Razonamiento 2. ANTECEDENTES
para la Planificación y Evaluación en Agentes de Software) , En esta sección se realizará una contextualización de los
Performance (Evaluación del desempeño en Sistemas Tutoriales conceptos que intervienen en la problemática de estudio, como
Inteligentes Adaptativos). son: Sistemas Multi-Agentes, Planificación Instruccional y
Evaluación Adaptativa; en el marco de los Sistemas Tutoriales
Keywords Inteligentes. En primera instancia se presenta el marco teórico y
Cursos Virtuales, Sistemas Multi-Agente Pedagógicos, Sistemas posteriormente una revisión del estado del arte.
Tutoriales Inteligentes, Planificación Instruccional, Evaluación
Adaptativa.
2.1 Sistemas Tutoriales Inteligentes
Un Sistema Tutorial Inteligente es una herramienta cognitiva
computarizada que busca mejorar los procesos de enseñanza /
aprendizaje de los aprendices. Según [1] [2], estos sistemas
poseen una arquitectura básica compuesta por los siguientes
modelos: el modelo del dominio, el cual permite plasmar el
conocimiento a enseñar; el modelo pedagógico en el cual se puede
estructurar el conocimiento pedagógico que posee un docente y el
modelo del estudiante con el cual se puede realizar un
seguimiento de las actividades del estudiante.
El término inteligente se refiere a la habilidad que posee el
sistema sobre qué enseñar, cuándo enseñar y cómo enseñar
imitando la actividad de un profesor real. Para lograrlo, un STI
debe identificar las fortalezas y debilidades de un estudiante
particular a fin de establecer un plan instruccional que sea
consistente con los resultados obtenidos y también debe ser capaz
de adaptar una evaluación según el plan instruccional que se
programo y según los estilos de aprendizaje que el estudiante
posea.
Para que un STI soporte las funcionalidades de planificación
instruccional y evaluación adaptativa, el modelo del dominio debe
estar estructurado u organizado de tal manera que el conocimiento
se divida por Cursos, los cuales se componen a su vez de
Unidades Básicas de Aprendizaje (UBAs) que se encuentran
conformadas por temas; y dichos temas tendrán asociados uno o
varios Objetivos instruccionales los cuales se podrán alcanzar por
medio del desarrollo de una o varias actividades las cuales tienen
asociados uno o varios Objetos de Aprendizaje (ver figura 1).
Figura 1. Estructura del Modelo del Dominio de un STI
• Planificación Instruccional: La planificación instruccional es
una de las funciones más importantes de los STIs y es la que
permite programar un conjunto de actividades de aprendizaje
para cada estudiante de un curso. La planificación puede ser
llevada a cabo haciendo uso de la información que se tiene
respecto al avance de los estudiantes y a los estilos de
aprendizaje que poseen. El resultado de la planificación
instruccional es un cronograma o un programa de actividades
que debe realizar un estudiante para alcanzar un Objetivo
Instruccional (OI) asociado a un tema dentro de una Unidad
Basica de Aprendizaje (UBA) para un curso dado.
• Evaluación Adaptativa: Esta actividad tiene una notable
responsabilidad en el proceso de enseñanza/aprendizaje ya
que es la forma de validar el nivel de conocimiento del
estudiante. Para darle mayor alcance a la evaluación en STIs,
se propone hacerla de forma adaptativa. Para ésto, es
necesario que al construir los tests (cuestionarios) de
evaluación se tenga en cuenta la siguiente información: logros
alcanzados en OIs (Objetivos Instruccionales) asociados a los
temas estudiados por el alumno (plan instruccional que fue
programado), y los resultados de las pruebas iniciales
presentadas por el alumno al momento de inscribirse en el
curso (pruebas psicológicas y tests para determinar estilos de
aprendizaje).
Es importante resaltar que la evaluación adaptativa gira entorno a
los OIs porque con ella se busca determinar si el estudiante
aprueba o no dichos OIs.
2.2 Sistemas Multi-Agente
Los Sistemas Multi-Agente provenientes de la Inteligencia
Artificial Distribuida (IAD) tratan sobre la coordinación
inteligente entre una colección de 'agentes' autónomos o semi-
autónomos, que existen dentro de cierto contexto o ambiente, se
pueden comunicar entre sí y definen cómo pueden coordinar sus
conocimientos, metas, propiedades y planes para la toma de
decisiones o para resolver problemas complejos [3]. En otras
palabras, un Sistema Multi-Agente es un sistema distribuido en el
cual los elementos son sistemas de inteligencia artificial llamados
agentes, o bien un sistema distribuido donde la conducta
combinada de dichos agentes produce un resultado en conjunto
inteligente.
Algunas de las principales áreas de aplicación de la IAD y de los
SMA son las siguientes: Sistemas Tutoriales Inteligentes,
Comercio Electrónico basado en Protocolos de Subastas,
Simulación de Campos de Batalla, Aplicaciones Móviles Ubicuas,
Sistemas de Recuperación y Recomendación de Información en la
Web, Construcción de sistemas de software complejos basados en
agentes, Planificación de Trayectorias en Robótica Móvil,
Interpretación de Imágenes de Resonancia Magnética
(Radiológicas) y Citológicos (Microscópicas), entre otras.
2.3 Revisión del Estado del Arte
Peña et al. presentan en [4] un sistema Multi-Agente de tutoría
inteligente adaptativo considerando estilos de aprendizaje,
llamado MAS-PLANG (MultiAgent System – PLANG) el cual
fue desarrollado para transformar el entorno educativo virtual de
las USD (“Unitats de Suport a la Docència”) en un sistema
hipermedia adaptativo teniendo en cuenta estilos de aprendizaje.
Las técnicas de adaptación están dirigidas a la selección
personalizada de los materiales didácticos, las herramientas de
navegación y las estrategias de navegación del entorno educativo
de acuerdo al estilo de aprendizaje del estudiante. Para el
modelado del estudiante utilizamos técnicas de Inteligencia
Artificial como el Razonamiento Basado en Casos y la Lógica
Difusa.
Una interesante aplicación que integra los SMAs con los STIs es
presentada por Salcedo et al [5], llamada Mistral, la cual es una
herramienta que facilita la creación y administración de cursos
virtuales a distancia. Un aspecto especial de esta propuesta, que
influye en la capacidad de adaptación al usuario, es la posibilidad
de diagnosticar el nivel de conocimiento del estudiante, su perfil
de usuario y sus estilos de aprendizaje. Esto se hace con el fin de
poder elegir la mejor estrategia de enseñanza y el mecanismo de
evaluación más adecuado para cada aprendiz. Una limitante de
Mistral podría ser su generalidad para abarcar cualquier dominio
del conocimiento pues algunas estrategias y actividades de
enseñanza/aprendizaje son propias de ciertas áreas del
conocimiento.
Por su parte, Cataldi et al. [6] proponen una arquitectura para los
STI que integra los aspectos más significativos de la tecnología de
agentes. La arquitectura considera la incorporación de agentes en
los módulos del tutor y del estudiante a fin de poder integrarlos al
modelado considerando la base Teoría Uno de Perkins los estilos
de aprendizaje y las inteligencias múltiples de Gardner. Esta
propuesta hace especial énfasis en el modelo del estudiante, el
cual es muy completo y en la implementación de diferentes
agentes tutores (interfaz, analizador de perfil, lenguaje natural,
evaluador, etc.) para llevar a cabo el proceso de
enseñanza/aprendizaje de forma adaptativa.
3. EL SISTEMA CIA
El sistema CIA (Cursos Inteligentes Adaptativos) fue desarrollado
mediante el uso del paradigma Multi-Agente el cual posee las
funcionalidades de planificación instruccional y evaluación
adaptativa para un Sistema Tutorial Inteligente Pedagógico.
3.1 Planificación instrucional.
Para llevar a cabo la planificación instruccional es necesario tener
en cuenta los siguientes aspectos clave:
- Tener una estructura organizacional de cursos: información
de Cursos, UBAs, Temas, OIs, Actividades y OAs como se
explico en la sección 2.1.
- Identificar los prerrequisitos por OI: es necesario tener
presentes los OIs que tienen que ser alcanzados para poder
ver un tema nuevo del curso.
- Capturar los OIs logrados por cada estudiante: cada vez que
un estudiante apruebe un OI es necesario “etiquetar” dicho
OI como aprobado de tal manera que se puedan habilitar
nuevos OIs y que no se repita el OI que fue alcanzado.
- Recuperar los estilos de aprendizaje por estudiante: eexisten
varias herramientas que permiten caracterizar los estilos de
aprendizaje, una de ellas es el test que se originó a partir del
modelo desarrollado por Richard Felder y Linda Silverman
en 1988 (Test de Felder-Silverman) [7]. Este modelo
clasifica a los estudiantes de acuerdo a las preferencias que
tienen por cada una de las siguientes categorías: Sensoriales
(prácticos), Intuitivos (conceptuales), Visuales (prefieren la
información visual), Verbales (prefieren la información
escrita o hablada), Activos (práctican, discuten, aplican y
explican), Reflexivos (piensan y reflexionan sobre la
información), Secuenciales (aprenden por pasos), Globales
(aprenden en grandes saltos).
De esta manera cuando un estudiante solicite al agente
planificador estudiar un tema especifico, dicho agente pueda
recuperar toda esta información que ha sido almacenada con
anterioridad y por medio de un algoritmo procedural o un sistema
experto basado en conocimientos, pueda generar un programa de
actividades con las cuales el estudiante logre otros OIs del curso.
Cabe resaltar que dicha planificación se realiza a nivel de OI,
Actividades y de OAs.
3.2 Evaluación del nivel de conocimientos
A continuación se presentará la estructura que se debe seguir para
generar un conjunto de preguntas que permitirán evaluar cada una
de las actividades que un estudiante ha realizado y posteriormente
se presentará una breve descripción de el proceso que se lleva a
cabo para seleccionar una pregunta especifica.
La estructura de las preguntas de evaluación (ver figura 2) se
establece de forma que, por cada pregunta hay una o más
respuestas y cada respuesta tiene una validez de 1 si es correcta o
0 si es incorrecta. Las preguntas además de tener un OI
respectivo, tienen un concepto básico asociado que se refiere al
concepto o unidad más pequeña de conocimiento que se evalúa en
cada actividad. Esto con el fin de que al evaluar se abarque la
mayor parte del conocimiento limitado por un OI y no se repitan
preguntas sobre un mismo concepto.
También se define el tiempo de respuesta como el promedio de
tiempo que tarda el estudiante en responder la pregunta, esta
medida se relaciona en gran medida con el tipo de pregunta, que
puede ser de: Selección Múltiple - Múltiple Respuesta, Selección
Múltiple - Única Respuesta, Falso o Verdadero, Correspondencia
entre columnas o Actividad - Juego.
Figura 2. Relación pregunta-respuesta
En la figura 3, se ilustra la relación del elemento concepto básico
con los componentes del modelo de dominio. Las preguntas de
evaluación se formulan de acuerdo al concepto básico que
evalúan, sin embargo podría darse el caso en el cual la pregunta
aborda varios conceptos básicos, en ese caso se asocia la pregunta
solo a uno de ellos.
Figura 3. Asociación del Concepto Básico a los elementos del
modelo de dominio
De esta manera cuando un estudiante termina de revisar todas las
actividades que fueron programadas, se genera una evaluación
teniendo en cuenta los siguientes pasos:
- Se recupera desde la base de datos un conjunto de
preguntas que estén relacionadas con las actividades que se
encuentran planificadas.
- Se realiza un filtro sobre las preguntas, verificando cuales
de estas no se le han formulado al estudiante.
- Se recupera el estilo de aprendizaje del estudiante, esto con
el fin de realizar otro filtro sobre el conjunto de preguntas.
- Del conjunto restante de preguntas, se selecciona una
pregunta para cada concepto básico que posea una actividad.
 - Se genera un formulario de evaluación con las preguntas
seleccionadas.
- Se presenta la evaluación y se recuperan las respuestas del
estudiante.
Cuando el estudiante envía las respuestas de la evaluación, el se
realiza una petición, solicitando la calificación de la evaluación e
inmediatamente se llevan a cabo las siguientes acciones:
- Se recupera desde la base de datos las respuestas correctas
para cada una de las preguntas de la evaluación.
- Se revisa si la respuesta dad por el estudiante concuerda
con la respuesta correcta de la pregunta, en caso de que
concuerde se almacena la respuesta como correcta, en caso
contrario se almacena como incorrecta.
- Se realiza una calificación total por tipo de pregunta.
- Se realiza una calificación total por OI.
- En caso de que un OI no sea aprobado, se realiza una
solicitud de replanificación de actividades para el/los OIs que
se perdierón.
- Se remiten las respuestas de la evaluación al estudiante.
Es importante mencionar que las evaluaciones son efectuadas a
través de pruebas que son generadas, presentadas al estudiante y
calificados por el agente evaluador. Para la construcción del banco
de preguntas que conforman dichas pruebas de evaluación, es
necesario que todo el contenido del curso esté completamente
estructurado y definido, pues de allí se formulan las preguntas.
3.3 Construcción del Sistema
El sistema CIA se implementó utilizando la plataforma JADE
(Java Agent Develpment Framework), la cual está distribuida en
una red LAN (ver figura 4). En uno de los computadores que se
encuentran en la red LAN se alojó un servidor Web Tomcat y se
instanciaron un contenedor principal, en el cual se ejecutan los
agentes provistos por JADE, como son: AMS, DF, y RMA,
además de algunos agentes del sistema, como son: Planificador y
Evaluador, ya que estos agentes tienen actividad constante. Por
otro lado se tienen contenedores adicionales distribuidos en
diferentes computadores en la misma red LAN en los que se
repartieron los demás agentes, como son: estudiantes y profesores.
La forma de enlazar el Sistema Multi-Agente con el servidor Web
se realizó a través de un agente “Interfaz” [8], el cual es un agente
Wraper de JADE que sirve para comunicar programas externos de
JADE con agentes de un sistema desarrollado en esta plataforma.
Es importante aclara que cuando comunicamos los servlets con el
agente Interfaz la petición del usuario se trasmite a dicho agente,
quien comunicará esta información a los demás agentes de un
sistema desarrollado en la plataforma JADE.
Cabe señalar que en la base de datos presentada en esta
arquitectura es donde se almacenan los datos que poseen cada uno
de los modelos (dominio, pedagógico y estudiante) descritos
anteriormente.
Figura 4. Diagrama de despliegue del sistema.
4. ANÁLISIS DE RESULTADOS
El STI adaptativo está siendo diseñado y construido para el
proyecto de investigación “Modelo de sistema Multi-Agente de
cursos adaptativos integrados con ambientes colaborativos de
aprendizaje” [9]. Este prototipo planifica inicialmente el
aprendizaje de un estudiante específico para el curso de CLIPS (C
Language Inference Production System) en el área de Inteligencia
Artificial, adapta las evaluaciones y replanifica dinámicamente las
actividades según los logros alcanzados o perdidos por un
estudiante. Las figuras 6 a la 10 muestran interfaces desplegadas
por el sistema para un estudiante registrado en el curso de CLIPS.
En la figura 5 se presenta por medio de un diagrama de secuencias
que es generado por el agente Sniffer de JADE, las peticiones que
son realizadas por el agente interfaz (representado como Other),
el agente Planificador y el agente Evaluador, en un caso
especifico. Las peticiones que se pueden observar en este
diagrama de secuencias se da de la siguiente manera:
1. Un estudiante, por medio del agente interfaz, envía una
petición de planificación (REQUEST:63) al seleccionar un
tema del curso (ver figura 6).
2. El agente planificador recibe la petición enviada por el
agente interfaz e inmediatamente solicita al agente evaluador
la planificación de la evaluación (REQUEST 64) y envía una
respuesta al agente interfaz acerca de su solicitud de
planificación (CONFIRM 5). En la figura 7 se presenta un
ejemplo de la respuesta que se envía a los estudiantes acerca
de las actividades que fueron planificadas.
3. Cuando el estudiante termina de estudiar todas las
actividades se le presenta la evaluación que fue elaborada por
el agente evaluador para que realice la prueba (ver figura 8),
Luego el estudiante, por medio del agente interfaz, envía al
agente evaluador una solicitud de calificación (REQUEST
65).
4. Cuando el agente evaluador califica la prueba verifica si
existen OIs no aprobados, de ser así, este agente envía al
 agente planificador una petición (REQUEST 66) para que
replanifique nuevas actividades y por medio del agente
interfaz envía el resultado de la evaluación (CONFIRM 37).
En la figura 9 se presenta un ejemplo de los resultados de
evaluación que son presentados al estudiante.
5. Finalmente el planificador solicita al agente evaluador que
replanifique la evaluación para las nuevas actividades.
Figura 5. Diagrama de Secuencias Agente Sniffer de JADE
Figura 6. Planificación inicial de temas para el curso CLIPS
Figura 7. Actividades planificadas para un tema específico
seleccionado.
Es importante aclarar, que en el caso de que el estudiante gane
todos los OIs que fueron evaluados, no es necesario enviar una
solicitud de replanificacion de actividades ni de evaluación, pero
sí se debe verificar los nuevos temas que se habilitan para el
estudiante teniendo en cuenta los prerrequisitos que poseen los
OIs. Finalmente, se debe presentar al estudiante la opción que le
permita seleccionar un tema nuevo (ver figura 10).
Figura 8. Evaluación generada por el Agente Evaluador
Figura 9. Resultados de evaluación generados por el Agente
Evaluador

Figura 10. Replanificacion de Temas para el curso CLIPS
5. CONCLUSIONES Y TRABAJO FUTURO
Se presentó en este artículo un Modelo Multi-Agente Pedagógico
para la Planificación Instruccional y Evaluación Adaptativa
basado en la Web el cual busca superar las debilidades
identificadas en la revisión del estado del arte para la adaptación
del proceso de enseñanza / aprendizaje en Cursos Virtuales. La
validación de este modelo se realiza a través de la construcción de
un prototipo computacional, llamado CIA. Este prototipo planifica
inicialmente el aprendizaje de un estudiante específico para un
curso virtual en el área de IA, adapta las evaluaciones y
replanifica dinámicamente las actividades según los logros
alcanzados o perdidos por un estudiante.
Como trabajo futuro se tiene previsto integrar el sistema CIA con
Ambientes Colaborativos de Aprendizaje con el fin de fortalecer
el proceso de enseñanza / aprendizaje a través de estrategias de
trabajo grupal apoyadas por computador.
6. AGRADECIMIENTOS
El trabajo presentado en este artículo fue financiado por el
proyecto de investigación de la Vicerrectoría de Investigación y
DIME titulado: “Modelo de Sistema Multi-Agente de Cursos
Adaptativos Integrados con Ambientes Colaborativos de
Aprendizaje.”, de la Universidad Nacional de Colombia – Sede
Medellín.
7. REFERENCIAS
[1] Ovalle, D et al. (2007) Análisis funcional de la estrategia de
aprendizaje individualizado adaptativo. Proyecto de
Investigación – DIME – Vicerrectoría de Investigación.
Modelo de Sistema Multi-Agente de Cursos Adaptativos
Integrados con Ambientes Colaborativos de Aprendizaje.
[2] Brusilovsky, P., Maybury, M. (2002), From Adaptive
Hypermedia to the Adaptive Web. Communication of the
ACM. Vol 45 No. 5.
[3] Arias, F; Marulanda, J; Ovalle, D. (2006) Diseño y
Desarrollo de Mecanismos de Razonamiento Multi-Agente
para la Negociación de Energía Eléctrica Utilizando JESS Y
JADE. Revista Avances en Sistemas e Informática, ISSN
1657-7663, Volumen 3, Número 1, pp. 51 - 56.
[4] Clara Inés Peña, Jose-L Marzo, Josep Lluís de la Rosa,
Ramón Fabregat. (2002). Un sistema de tutoría inteligente
adaptativo considerando estilos de aprendizaje. Universitat
de Girona, España., http://
eia.udg.es/~clarenes/docs/thesis/ribie-ie2002/ie2002.htm
[5] Salcedo, P., Labraña, C., Farrán, Y. (2002) Una Plataforma
Inteligente de Educación a Distancia que incorpora la
Adaptabilidad de Estrategias de Enseñanza al Perfil, Estilos
de Aprendizaje y Conocimiento de los Alumnos. infoUYclei,
Congreso Uruguayo de Informática y Centro
Latinoamericano de Estudios en Informática.
[6] Cataldi, Z., Salgueiro, F., Lage, F. (2006) Sistemas tutoriales
multiagentes con modelado del estudiante y del autor.
Edutec, Revista Electrónica de Tecnología Educativa, Núm.
20, Enero 06.
[7] Felder, R., Spurlin, J. (2005) Applications, Reliability and
Validity of the Index of Learning Styles, Int. J. Engng Ed.
Vol. 21, No. 1, pp. 103-112.
[8] Ovalle, D et al. (2007) Informe Etapa de Implementación.
Proyecto de investigación de la Vicerrectoría de
Investigación y DIME titulado: “Modelo de Sistema Multi-
Agente de Cursos Adaptativos Integrados con Ambientes
Colaborativos de Aprendizaje.”, de la Universidad Nacional
de Colombia – Sede Medellín.
[9] Duque, N. (2007) Modelo Adaptativo Multi-Agente para la
Planificación y Ejecución de Cursos Virtuales
Personalizados., Propuesta de tesis doctoral, Universidad
Nacional de Colombia-Sede Medellín.