Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Abstract Resumen
Learning Oriented e-Assessment (e-LOA) is an ICT medi- La e-Evaluación orientada al aprendizaje (e-EOA) es un
ated learning process. It promotes the development of proceso de aprendizaje, mediado por las TIC, que pro-
competences that are relevant to both students’ academic mueve el desarrollo de competencias útiles para el presen-
present and professional future. In this quasi-experimental te académico y el futuro laboral de los estudiantes. En esta
research a pretest-posttest design with experimental and investigación cuasi-experimental, con diseño pretest-
control groups is implemented. We believe that the actions postest con grupos experimentales y de control, conside-
of e-LOA favors further development of competences. ramos que las actuaciones de la e-EOA (VI) favorecen un
The results show that in the experimental groups there is mayor desarrollo de competencias (VD). Los resultados
an improvement on the level of competence. Significant revelan que en los grupos experimentales se mejora el
differences have been found between the pretest and post- nivel competencial y existen diferencias significativas
test. In addition, there is a consistency between the compe- entre su pretest-postest. Además, se comprueba que las
tences that have improved and those considered in the lit- competencias que mejoran son coherentes con la teoría
erature (creativity, problem solving ...). planteada (creatividad, resolución de problemas…).
Keywords Descriptores
Learning Oriented Assessment, e-Assessment, basic com- Evaluación orientada al aprendizaje, e-Evaluación, com-
petences, Higher Education. petencias básicas, Educación Superior.
Finalidades
Valorar el Mantener
rendimiento estándares
Digital Digital
Participantes
Promover el
Participantes
aprendizaje
estratégico
e-Evaluación
e-Evaluación
Experiencias de los estudiantes
Contexto
Actuaciones
e-Aprendizaje
e-Aprendizaje
Tareas de
e-Evaluación
como tareas de
e-Aprendizaje
Estudiantes Retroalimentación
como y
evaluadores proalimentación
Analógico Analógico
Resultado
e-Aprendizaje estratégico
tivas para los estudiantes y siempre en cohe- luación a la e-Evaluación (Olmos Migueláñez
rencia con las finalidades de la e-EOA. y Rodríguez Conde, 2011), entendida de forma
genérica como cualquier proceso electrónico
En segundo lugar, las tareas de e-Evaluación de evaluación en el que son utilizadas las TIC
son tareas de e-Aprendizaje. Desde la e-EOA para la presentación y realización de activida-
la evaluación se integra en el proceso de des y tareas de evaluación y el registro de las
aprendizaje del estudiante mediante la pro- respuestas, ya sea desde la perspectiva de los
puesta de tareas que requieran unan respuesta aprendices, los tutores, las instituciones o el
creativa (Borootchi y Keshavaraz, 2002) y público en general (JISC, 2007).
sobre todo, mediante la realización de tareas
auténticas, es decir, tareas realistas que de- Pero no sólo han aumentado el número de
manden que los estudiantes desarrollen las horas formativas y los recursos digitales orien-
mismas combinaciones de conocimientos, tados a la formación, sino que se va diversifi-
competencias o habilidades y actitudes que cando su uso. Del simple “repositorio virtual”
deberán desplegar posteriormente en el ámbito se ha pasado a la web 2.0 y a la utilización de
profesional (Gulikers, Bastiaens y Kirschner, wikis, blogs, redes sociales, simulaciones o
2005). videojuegos (Moreno Ger y otros, 2009; Ro-
dríguez Gómez, 2009).
La última actuación es convertir la retroali-
mentación en proalimentación. La importancia No obstante, esta creciente realidad también
de aportar retroalimentación adecuada en plantea inconvenientes, ya que hace probable
tiempo y forma es fundamental para la conso- la existencia de una brecha tecnológica o des-
lidación del aprendizaje, convirtiendo la eva- fase entre las experiencias y las propias carac-
luación en sostenible (Boud, 2000), al apoyar terísticas de estudiantes (nativos digitales) y
la autorregulación del trabajo del estudiante docentes (inmigrantes digitales) (Prensky,
independientemente del docente (Nicol y 2001), un importante aspecto a tener en consi-
MacFarlane-Dick, 2006; Carless y otros, deración en el despliegue de la práctica educa-
2011). Dando un paso más allá, el objetivo es tiva, ya que la socialización, la construcción de
ahora aportar proalimentación, como actividad la personalidad y las estrategias de acerca-
que proporciona información útil no sólo para miento a la realidad son muy distintas en uno y
el desempeño presente, sino también para su otro caso.
generalización a futuras tareas académicas y
laborales (Carless, Joughin y Mok, 2006). Objetivos e hipótesis del estudio
El objetivo general del presente estudio es
Contexto y participantes en la e-EOA evaluar el impacto del uso y puesta en práctica
Todas estas acciones se enmarcan en un con- de los principios y actuaciones de la e-
texto en el que la incorporación de las TIC al Evaluación orientada al aprendizaje en el desa-
proceso de enseñanza-aprendizaje universita- rrollo de las competencias académico-
rio se va asentando y enriqueciendo. Con el profesionales de alumnos universitarios en el
paso del tiempo va aumentando la importancia ámbito de las Ciencias Sociales.
en la formación universitaria de los “campus
virtuales” o “aulas digitales” basados en el uso Específicamente, nos proponemos evaluar el
de sistemas de gestión de aprendizajes (LMS) impacto de la e-Evaluación orientada al apren-
como Moodle (Modular Object-Oriented Dy- dizaje mediante su puesta en práctica y poste-
namic Learning Environment), Blackboard o rior análisis, contrastándola con otro grupo en
LAMS (Learning Activity Mangement Sys- el que no se ejecuten las actuaciones propias
tem). de la e-EOA.
dología docente tradicional, es decir, basadas mediante el Campus Virtual basado en Moodle
en exposiciones magistrales, en un uso puntual y otros recursos virtuales complementarios.
de las TIC y cuyo método de evaluación prefe-
rente fuera el examen final, situación habitual El alumnado de la modalidad presencial era
en la universidad, tal y como se ha puesto de más homogéneo, la mayoría eran jóvenes que
manifiesto en otros estudios (Ibarra Sáiz, acababan de finalizar sus estudios de primer
2007). ciclo. Por su contra, la modalidad semipresen-
cial presentaba mayor heterogeneidad, contan-
Muestra do con bastantes participantes con experiencia
Los participantes, tanto en el caso de los profesional, en algunos casos, de más de 20
grupos experimentales, como en los grupos de años como docentes de infantil o primaria.
control, se seleccionaron mediante una mues- Tanto en la modalidad presencial como semi-
tra no probabilística e intencional, selecciona- presencial, todos los participantes ya poseían
das por criterios de accesibilidad y representa- el título de Maestro en alguna de sus especiali-
tividad. En ambos casos los grupos pertene- dades, ya que la Licenciatura de Psicopedago-
cían a la rama de Ciencias Sociales y Jurídicas. gía es una titulación de segundo ciclo.
ciones, lo que representa el 91,90% de las ac- trol tan sólo aumentan en 14 (37,84%) y dis-
tuaciones, mientras que en los grupos de con- minuyen un total de 22 ítems (59,46%).
Comparación de medias pretest-postest
0,8
0,7
Diferencia de medias
0,6
0,5
0,4
0,3 Experimental
0,2 Control
0,1
0
-0,1
-0,2
-0,3
Ítem
Figura 2: Comparación de medias de los ítems (actuaciones) del autoinforme en pretest y postest de los grupos
experimentales y de control.
Así, se pone de manifiesto que durante la in- Como se puede observar en la Tabla 5, en
vestigación la mejora en la percepción del ni- todos los casos, es decir, en pretest y postest
vel competencial de los participantes de los de los grupos experimentales y de control, se
grupos experimentales se da de forma más repiten las mismas competencias mejor y peor
generalizada que en los de control, donde el valoradas, lo que parece indicar la importancia
porcentaje de estudiantes que aumentan y dis- en el trabajo de dichas habilidades antes y du-
minuyen su nivel es similar. rante la investigación. Las competencias mejo-
res valoradas son, en todos los casos y por este
Estudio sobre las competencias básicas orden: trabajo en equipo, analizar la informa-
Para finalizar el análisis, se profundiza sobre ción, comunicación y aplicación de conoci-
los resultados de las propias competencias mientos. Las competencias con valoraciones
básicas reflejadas en las actuaciones del Auto- más bajas en las cuatro mediciones son: crea-
informe COMPES. tividad, evaluación, aprendizaje autónomo y
sentido ético.
Tabla 5: Comparación de medias y significación de las diferencias de las competencias en pretest-postest de grupos
experimentales y de control
Grupos experimentales Grupos de control
Media Media Sig. Media Media Sig.
Competencia Pretest Postest Dif. (bil) Pretest Postest Dif. (bil)
1. Aplicación de conocimientos 4,56 4,72 +0,16 ,011 4,44 4,47 +0,03 ,736
2. Argumentación 4,52 4,68 +0,16 ,018 4,40 4,37 -0,03 ,702
3. Resolución de problemas 4,35 4,62 +0,27 ,000 4,38 4,34 -0,04 ,595
4. Analizar información 4,71 4,81 +0,10 ,109 4,56 4,56 0 ,926
5. Comunicación 4,64 4,80 +0,16 ,023 4,44 4,43 -0,01 ,845
6. Aprendizaje autónomo 4,29 4,54 +0,25 ,000 4,27 4,28 +0,01 ,897
7. Sentido ético 4,55 4,57 +0,02 ,814 4,15 4,12 -0,03 ,807
8. Creatividad 4,27 4,62 +0,35 ,000 4,20 4,21 +0,01 ,860
9. Trabajo en equipo 5,22 5,23 +0,01 ,790 5,08 5,02 -0,06 ,483
10. Evaluación 4,25 4,57 +0,32 ,000 4,29 4,24 -0,05 ,536
Centrándonos en las diferencias entre pres- Las competencias que mejoran de forma sig-
test y postest, se puede apreciar que de las 10 nificativa entre postest y pretest en los grupos
competencias básicas, en los grupos experi- experimentales (α = 0,01) son (Tabla 5): crea-
mentales se mejoran en todas, mientras que los tividad (+0,35; p = 0,000), evaluación (+0,32;
grupos de control lo hacen únicamente en 3 y p = 0,000), resolución de problemas (+0,27; p
de forma muy moderada. = 0,000) y aprendizaje autónomo (+0,25; p =
estudio, los estudiantes implicados bajo el en- ción externa de las competencias básicas iden-
foque de la e-Evaluación orientada al aprendi- tificadas.
zaje desarrollan significativamente más sus
competencias que los estudiantes que cursan El estudio presentado pretende abrir el ca-
sus estudios universitarios con una metodolo- mino a otro estudio más general que involucra-
gía docente de corte más tradicional. rá a nueve universidades españolas en el con-
texto del Proyecto Re-Evalúa y que pretenderá
No obstante, no se pueden obviar ciertas li- confirmar los hallazgos aquí expuestos con
mitaciones de la investigación. Probablemente unos materiales y métodos similares.
las mayores dificultades están referidas a los
grupos de estudio, en primer lugar por las dife- Por último, se considera necesario continuar
rentes peculiaridades que pudieran existir en con la investigación en diversos ámbitos y
cada grupo y en cada titulación. En segundo desde diversas perspectivas de la e-EOA, pro-
lugar porque se debe reconocer que ni los gru- fundizando en cada uno de sus componentes.
pos de control eran totalmente ajenos al uso de De esta forma, se podría completar la defini-
las TIC o a ciertos aspectos puntuales de la e- ción de una nueva metodología docente con
EOA ni los grupos experimentales estaban sólidas bases teóricas y prácticas que garanti-
inmersos con la misma intensidad en todas las zara, en la mayor medida posible, la adecua-
asignaturas en una metodología tan innovadora ción de la enseñanza universitaria con las de-
como la propuesta. Este es un sesgo común en mandas legislativas, sociales y profesionales
muchas investigaciones desarrolladas en el del mundo actual.
ámbito de la educación en particular y en las
ciencias sociales en general. Sin embargo, la Referencias
investigación desarrollada ha sido una opción Baartman, L. & Ruijs, L. (2011). Comparing
viable y efectiva de acercarnos al objeto de students’ perceived and actual competence in
estudio. higher vocational education. Assessment &
Evaluation in Higher Education, 36(4), 385-
Otra limitación podría estar referida a la va- 398.
lidez de las propias mediciones de las compe- Barootchi, N. & Keshavarz, M. H. (2002).
tencias básicas, ya que la realización del Auto- Assessment of achievement through portfoli-
informe COMPES no requiere la puesta en os and teacher-made tests. Educational Re-
prácticas de las propias competencias, sino que search, 44 (3), 279-288.
se basa en la concepción de competencia per- Bordas, M.I. & Cabrera, F.A. (2001). Estrate-
cibida, por lo que podemos considerarla una gias de evaluación de los aprendizajes centra-
medición indirecta. Sin embargo, diversos dos en el proceso. Revista Española de Peda-
estudios han puesto de manifiesto que los es- gogía, 218, 25-48.
tudiantes parecen ser capaces de juzgar con
Boud, D. (1991). Implementing students self-
garantías su propio nivel competencial
assessment. Campbelltown: Higher Education
(Baartman y Ruijs, 2011; Van Dinther, Dochy
Research and Development Society of Aus-
y Segers, 2011). De igual forma, la realización
tralia Incorporated.
del autoinforme se convierte por sí misma en
una actividad de reflexión con la que se trabaja Boud, D. (2000). Sustainable assessment: re-
la metacognición, la autoestima o el autocon- thinking assessment for the learning society.
cepto (Sundström, 2006). Además, se ha con- Studies in Continuing Education, 22 (2), 151-
seguido diseñar un autoinforme sencillo, trans- 167.
ferible a otros contextos y que necesita un Boud, D. & Falchikov, N. (2006). Aligning
tiempo reducido para cumplimentarlo, caracte- assessment with long-term learning. Assess-
rísticas muy complicadas de lograr con una ment & Evaluation in Higher Education, 31
recogida de información basada en la evalua- (4), 399-413.
Boud, B. & Associates (2010). Assessment toinforme sobre las competencias básicas re-
2020: Seven propositions for assessment re- lacionadas con la evaluación de los estudian-
form in higher education. Sydney: Australian tes universitarios. Estudios sobre Educación.
Learning and Teaching Council. Recuperado González, J. & Wagenaar, R. (coord.) (2003).
de http://www.iml.uts.edu.au/assessment- Tuning Educational Structures in Europe. Fi-
futures/Assessment- nal Report Phase One. Bilbao: Universidad
2020_propositions_final.pdf. de Deusto.
Cabero Almenara, J. & Román Graván, P. Gulikers, J., Bastiaens, T., & Kirschner, P.
(Coord.) (2006). E-Actividades. Un referente (2004). A five-dimensional framework for
básico para la formación en Internet. Sevilla: authentic assessment. Educational Technolo-
Editorial MAD. gy Research and Development, 52 (3), 67-85.
Carless, D. (2003). Learning-oriented assess- Ibarra Sáiz, M.S. (Coord.) (2007). Proyecto
ment. Paper presented at the Evaluation and SISTEVAL: Recursos para el establecimiento
Assessment Conference, University of South de un sistema de evaluación del aprendizaje
Australia, Adelaide, 25 de noviembre de universitario basado en criterios, normas y
2003. procedimientos públicos y coherentes. Cádiz:
Carless, D. Joughin, G. & Liu, N.F. and asso- Servicio de Publicaciones de la Universidad
ciates (2006). How assessment supports de Cádiz. Recuperado de
learning: learning-oriented assessment in ac- http://minerva.uca.es/publicaciones/asp/docs/
tion. Hong Kong University Press. obrasDigitalizadas/sisteval/sisteval.html
Carless, D., Joughin, G. & Mok, M.M.C. Ibarra-Sáiz, M.S., Rodríguez-Gómez, G. &
(2006). Learning-oriented assessment: princi- Gómez-Ruiz, M.A. (2010). La planificación
ples and practice. Assessment & Evaluation in basada en competencias en los másteres ofi-
Higher Education, 31 (4), 395-398. ciales: Un reto para el profesorado universita-
Carless, D., Salter, D., Yang, M., y Lam, J. rio. RELIEVE, 16 (1). Recuperado de
(2011). Developing sustainable feedback http://www.uv.es/RELIEVE/v16n1/RELIEV
practices. Studies in Higher Education, 36 Ev16n1_6.htm.
(4), 395-407. Ibarra Sáiz, M.S., Rodríguez Gómez, G. &
Gibbs, G. (1981). Teaching students to learn: Gómez Ruiz, M.A. (2012). La evaluación en-
a students-centred approach. Philadelphia: tre iguales: Beneficios y estrategias para su
Open University Press. práctica en la universidad. Revista de Edu-
Gil Flores, J., Álvarez Rojo, V., García Jimé- cación, 359, 206-231. DOI: 10.4438/1988-
nez, E. & Romero Rodríguez, S. (2004). La 592X-RE-2011-359-092.
Enseñanza Universitaria. Planificación y JISC (2007). Effective Practice with e-
Desarrollo de la Docencia. Madrid: EOS Assessment. An overview of technologies, pol-
Universitaria. icies and practice in further and higher edu-
Gómez Ruiz, M.A., Gallego Noche, B., Ibarra cation. Recuperado de
Sáiz, M.S. & Rodríguez Gómez, G. (2010). http://www.jisc.ac.uk/media/documents/them
DiagWeb: Una experiencia de enseñanza ba- es/elearning/effpraceassess.pdf.
sada en proyectos tutorados en Educación JQI (Joint Quality Initiative) (2004). Shared
Superior mediante una WebQuest alojada en ‘Dublin’ descriptors for Short Cycle, First
Moodle. RED. Revista de Educación a Dis- Cycle, Second Cycle and Third Cycle Awards.
tancia, 24. Recuperado de Recuperado de
http://www.um.es/ead/red/24/Gomez_Gallego http://www.eua.be/typo3conf/ext/bzb_securel
.pdf ink/pushFile.php?cuid=2556&file=fileadmin/
Gómez Ruiz, M.A., Rodríguez Gómez, G. & user_upload/files/EUA1_documents/dublin_d
Ibarra Sáiz, M.S. (en prensa). COMPES: Au- escriptors.pdf.
Moreno Ger, P., Fuentes Fernández, R., Sierra, en la universidad. Un reto para profesores y
J.L. & Fernández Manjón, B. (2009). Model- estudiantes. Revista de Educación, 356, 401-
checking for Adventure Videogames. Infor- 430. DOI: 10-4438/1988-592X-RE-2010-
mation and Software Technology, 51(3), 564- 356-045.
580. http://www.e-ucm.es/drafts/e- Rodríguez Gómez, G., Ibarra Sáiz, M.S., Do-
UCM_draft_106.pdf. dero Beardo, J.M., Gómez Ruiz, M.A., Galle-
Nicol, D. & MacFarlane-Dick, D. (2006). go Noche, B., Cabeza Sánchez, D., Quesada
Formative assessment and self-regulated Serra, V. & Martínez del Val, A. (2009). De-
learning: a model and seven principles of veloping the e-Learning-oriented e-
good feedback practice. Studies in Higher Asessment. En A. Méndez Vilas, A. Solano
Education, 31 (2), 198-218. Martín, J. Mesa González & J.A. Mesa Gon-
Olmos Migueláñez, S. & Rodríguez Conde, zález (Eds.), Research, Reflections and inno-
M.J. (2011). El profesorado universitario ante vations in Integrating ICT in Education, vol.
la e-evaluación del aprendizaje. ESE. Estu- 2 (pp.515-519). Lisboa: Formatex.
dios sobre educación, 20, 181-202. Rué Domingo, J. (2008). Formar en compe-
Padilla Carmona, M.T. & Gil Flores, J. (2008). tencias en la universidad: entre la relevancia y
La evaluación orientada al aprendizaje en la la banalidad. Red U. Revista de Docencia
Educación Superior: condiciones y estrategias Universitaria, numero monográfico 1 “For-
para su aplicación en la docencia universita- mación centrada en competencias”.
ria. Revista Española de Pedagogía, 241, http://revistas.um.es/redu/article/view/10631/
467-486. 10221.
Pozo Municio, J.I. & Monereo Font, C. Segers, M. & Dochy, F. (2001). New assess-
(2002). El aprendizaje estratégico. Enseñar a ment forms in problem-based learning: the
aprender desde el currículo. Madrid: Aula value-added of the students’ perspective.
XXI. Santillana. Studies in Higher Education, 26(3), 327-343.
Prensky, M. (2001). Digital natives, digital Sivan, A. (2000). The implementation of peer
immigrants. On the Horizon, 9(5), 1-6. Recu- assessment: an action research approach. As-
perado de sessment in Education, 7(2), 193-213.
http://www.marcprensky.com/writing/Prensk Stefani, L.A.J. (1994). Peer, self and tutor as-
y - Digital Natives, Digital Immigrants - sessment: relative reliabilities. Assessment
Part1.pdf and Evaluation in Higher Education, 19(1),
Rodríguez Gómez, G. (Dir.) (2009). EvalHI- 69-75.
DA: Evaluación de Competencias con He- Sundström, A. (2006). Beliefs about perceived
rramientas de Interacción Dialógica Asín- competente. A literature review (EM 55).
cronas (foros, blogs y wikis). Servicio de Pu- Suecia: Universidad de Umea. Recuperado de
blicaciones de la Universidad de Cádiz. Re- http://www.edusci.umu.se/digitalAssets/59/59
cuperado de 536_em-nr-55.pdf
http://www.tecn.upf.es/~daviniah/evalhida.pd Van Dinther, M., Dochy, F. & Segers, M.
f (2011). Factors affecting students’ self-
Rodríguez Gómez, G. & Ibarra Sáiz, M.S efficacy in higher education. Educational Re-
(Eds.) (2011). e-Evaluación orientada al e- search Review, 6, 95-108.
Aprendizaje estratégico en la Educación Su- Zimmerman, B.J. (2002). Becoming a Self-
perior. Madrid: Narcea. regulated Learner: an Overview. Theory into
Rodríguez Gómez, G., Ibarra Sáiz, M.S. & Practice, 41(2), 64-70.
Gómez Ruiz, M.A. (2011). e-Autoevaluación
NOTAS
[1] El cuestionario COMPES está disponible en:
http://avanza.uca.es/evalfor/docs/Autoinforme_COMPES.pdf
[2] Proyecto de excelencia “Re-Evalúa: Reingeniería de la e-Evaluación, tecnologías y desarrollo
de competencias en profesores y estudiantes universitarios” con ref. P08-SEJ-03502, financiado por
la Consejería de Innovación, Ciencia y Empresa de la Junta de Andalucía
tículos de este autor en Google Académico / Find other articles by this author in Scholar Google
RELIEVE
Revista ELectrónica de Investigación y EValuación Educativa
E-Journal of Educational Research, Assessment and Evaluation
[ISSN: 1134-4032]
© Copyright, RELIEVE. Reproduction and distribution of this articles it is authorized if the content is no modified
and their origin is indicated (RELIEVE Journal, volume, number and electronic address of the document).
© Copyright, RELIEVE. Se autoriza la reproducción y distribución de este artículo siempre que no se modifique el
contenido y se indique su origen (RELIEVE, volumen, número y dirección electrónica del documento).