Está en la página 1de 10

Gustavo Daniel Constantino & Laura Llull

Centro de Investigaciones en Antropologa Filosfica y Cultural CIAFIC, Departamento TIC Consejo Nacional de Investigaciones Cientficas y Tcnica. CONICET, Argentina ticiafic@gmail.com

Evaluacin y calidad en los programas y cursos online en la enseanza superior Evaluation and quality at programmes and specific courses in higher education

La Educacin a Distancia (EAD) ha sido siempre considerada con cierto escepticismo en cuanto a la calidad de los programas en contraste con la enseanza en presencia. La EAD basada en redes telemticas ha logrado disminuir el recelo, pero no lo ha hecho desaparecer. La evaluacin, como aspecto crtico de la calidad, hasta hoy no ha sido objeto de un examen profundo en relacin a los nuevos contextos y en general se trasvasan los sistemas de evaluacin convencionales y propios de la formacin en presencia a los entornos online. Sin embargo, existe una intuicin extendida en que tales sistemas no son del todo congruentes con la naturaleza de la enseanza y del aprendizaje en comunidades virtuales, aspecto que ha sido particularmente sensible en el caso del Proyecto Alfa-Miforcal, ilustrndose con un par de ejemplos. El escenario de la educacin online est cambiando dramticamente con el surgimiento de nuevas formas de ensear y aprender, pasando de modelos de reproduccin de conocimientos a modelos del aprendizaje colaborativo y conocimiento compartido centrados en la actividad del estudiante en Comunidades Virtuales de Aprendizaje. En estas se puede llegar a un grado de interaccin en el que la evaluacin formativa alcanza niveles semejantes a los de la mejor orientacin del aprendizaje en presencia. Palavras-chave:

Distance Education has been always considered with certain skepticism for the quality of the programs in contrast with the education in presence. The distance education based on virtual networks has managed to diminish the mistrust, but it has not made it disappear. The evaluation, as critical aspect of the quality, up to today has not been an object of a deep examination in relation to the new contexts, which implies that the conventional and proper systems of evaluation of the formation in presence are applied to the environments online. Nevertheless, there exists a widespread intuition in which such systems do not correspond completely to the nature of the education and of learning in virtual communities, Aspect that has been particularly sensitive in case of the Project Alfa-Miforcal, illustrated with a pair of examples. The scenario of the education online is changing dramatically with the emergence of new ways of teaching and of learning, going on from models of reproduction of knowledge to models of collaborative learning and shared knowledge focused on the activity of the student in Learning Virtual Communities. In these, it is possible to come to a grade of interaction in which the formative evaluation reaches similar levels to those of the best orientation of learning in presence. Keywords: Evaluation, Assessment, e-learning, higher education

227

anno VIII numero 1/2 2010

abstract

1. INTRODUCCIN La Educacin a Distancia (EAD) ha sido siempre considerada con cierto escepticismo en cuanto a la calidad de los programas formativos en comparacin con la enseanza en presencia o cara-a-cara. El advenimiento de la EAD de 3ra generacin o formacin online basada en redes telemticas (Internet y plataformas de e-learning) ha disminuido el recelo pero no lo ha hecho desaparecer (Wolff, 2009). Por otro lado, la progresin geomtrica que marca el desarrollo y oferta de cursos y programas online en las instituciones de educacin superior en Amrica y Europa, sumado al auge de procesos de concentracin de la formacin profesional en las universidades (universitisation), no han sido, en principio, acompaados por una revisin de los criterios, procesos y estrategias empleados en la evaluacin (Cerda Gonzlez, 2002; Tobin, 2004; Palloff & Pratt, 2009; Ruhe & Zumbo, 2009). En general, lo que se ha hecho, tomado como vlido por las universidades y las agencias de acreditacin de estudios superiores, es un trasvasamiento de los sistemas de evaluacin convencionales y propios de la formacin en presencia a los entornos online, a pesar de que existe una extendida intuicin que tales sistemas no son del todo congruentes con la naturaleza de la enseanza y aprendizajes en entornos virtuales (Wolff, 2009; Palloff y Pratt, 2009). En concreto, sostenemos que el aprendizaje en entornos online difiere en varios aspectos del aprendizaje en presencia, y que por ello la metodologa para medirlo tambin debera ser diferente o, al menos, debera medir aquello que es distinto (Cerda Gonzlez, 2002; Palloff & Pratt, 2009).

Constantino, Llull

2. LA INADECUACIN DE LOS FORMATOS CONVENCIONALES Es posible afirmar que los formatos de evaluacin convencional no garantizan la calidad de esa formacin. Si pensamos en la comprobacin de conocimientos desde una perspectiva ms amplia y profunda como puede ser la consideracin de competencias (Mastache, 2007), en las que se incluyen varios tipos de conocimiento (declarativo, procedimental) ms condiciones especficas de dominio (Hirschfeld & Gelman, 2002) y contextuales o de cognicin situada (Robbins & Aydede, 2009) que configuran el saber experto o expertise (Anders Ericsson, Charnes, Feltovich & Hoffman, 2006; Anders Ericsson, 2009), las estrategias y herramientas ms utilizadas de la evaluacin convencional son inadecuadas incluso en la formacin en presencia. En efecto, han sido pensadas y diseadas desde una matriz epistemolgica (informacin acumulada y disciplinas aisladas) y didctica (memorizacin y reproduccin) que no es congruente con las consideraciones precedentes ni con una didctica actual basada en ellas, en particular la caracterizada por una fuerte matriz cognitiva (Constantino, 1995). Resulta as llamativo el recelo o escepticismo focalizado en la formacin online cuando, en realidad se aplican prcticamente los mismos modelos de evaluacin en la formacin en presencia. De aqu surgen tres considerandos: 1) Como consecuencia de la postulada identidad de los modelos evaluativos en presencia y online, se puede suponer que el aspecto que es puesto en tela de juicio y que genera la desconfianza de la EAD es el proceso de enseanza;

228

2) Paradjicamente, esto lleva a cuestionar la propiedad del sistema de evaluacin, puesto que es este el que debera controlar, juzgar y validar el aprendizaje concreto, funciones que no se perciben aseguradas por dicho sistema en el caso de la formacin online. Aun ms, si el sistema de evaluacin es idntico, por transitividad habra que poner en duda tambin la enseanza y aprendizaje de la formacin en presencia. Este razonamiento, solo de apariencia circular, implica que en la concreta evaluacin en presencia son considerados en forma tcita aspectos o factores (como tiempo de exposicin a la enseanza, evaluacin informal de la actividad en clase, etc.), tanto en manera sumativa como formativa que hacen al conocimiento del alumno y su evaluacin por parte del docente. 3) La preocupacin tambin se focaliza en aspectos perifricos como el control de identidad, la posibilidad de plagio o fraude, etc., cuestiones que si bien son importantes, no son determinantes de la calidad educativa. Estos temas se asocian a la educacin en ambientes virtuales suponiendo que stos son ms propensos a padecerlos. Sin embargo, afirma Wolff (2009), irnicamente los procesos de autenticacin casi no son requeridos en cursos en presencia en los que las oportunidades de fraude son grandes, especialmente en cursos numerosos.

3. LAS CARACTERSTICAS MEJORADAS DE LA EVALUACIN EN ENTORNOS VIRTUALES Respecto a los aspectos esenciales como la enseanza y el aprendizaje efectivo mencionados en (1) y (2) del pargrafo anterior, los diseos instruccionales en la formacin online que adhieren al modelo de aprendizaje colaborativo (Johnson & Johnson, 1999; Banzato, 2002) pueden llegar a un nivel de interaccin en el que la evaluacin formativa alcanza niveles semejantes a los de la mejor orientacin del aprendizaje en presencia. Es decir, se producen tanto situaciones de enseanza individualizada o personalizada, como de aprendizaje entre pares o grupales, enmarcadas en autnticas comunidades de prctica (Wenger, 2001, Chaiklin & Lave, 2001) denominadas Comunidades Virtuales de Aprendizaje (Constantino, 2002, Calvani, 2005). Esta potencialidad no es menor, puesto que conlleva a realizar o concretar la lgica de la regulacin de los aprendizajes evaluacin formativa , sin renunciar a la lgica de la seleccin y certificacin, en trminos de Perrenoud (2008). En cuanto a la incertidumbre de identidad y autora mencionada en (3), las instituciones que ofrecen formacin online toman recaudos como exmenes en presencia, fuerte vinculacin con la realidad del alumno y altos niveles de interaccin entre profesores, tutores y alumnos, asumiendo que solamente el alumno regular y aplicado puede responder adecuadamente a las actividades propuestas (Wolff, 2009). Incluso la virtualizacin de los procesos resulta en ciertas ventajas o posibilidades que pueden ser enriquecedoras a la hora de evaluar. Por ejemplo: la Web se puede usar no slo para administrar pruebas sino tambin para brindar rpidamente una respuesta a los alumnos sobre sus aciertos y errores, los alumnos pueden hacer los exmenes una nica vez o repetirlo tantas veces como sea necesario hasta lograr la competencia requerida, sin implicar un esfuerzo o costo extra por parte del docente o de la institucin (Nicol, 2007). Tambin, se puede evitar que un alumno siga avanzando hasta que no demues-

Evaluacin y calidad en los programas

229

tre haber logrado los objetivos para esa etapa y ser automticamente dirigido a otra etapa o rea una vez alcanzados. Otra ventaja puede ser que slo cada alumno y su profesor pueda ver sus respuestas y calificaciones o abrir la posibilidad a todo el resto de la clase o un grupo especfico de alumnos, etc. (Bates & Pools, 2003; Nicol, 2007; Palloff & Pratt, 2009).

4. EVALUACIN, CALIDAD Y ENSEANZA ONLINE Para lograr procesos evaluativos de calidad, un lugar fundamental lo ocupan los docentes y sus competencias para llevarlos a cabo (Tobin, 2004). Estas competencias permiten tomar decisiones y ejecutar acciones basadas en teoras acerca de cmo aprenden los alumnos, sobre qu y cmo ensear, as como acerca de la evaluacin, su relacin con el aprendizaje y la enseanza, sus alcances y lmites, etc., correspondindose unas con otras para lograr la alineacin y coherencia entre cada uno de los elementos del curriculum (Camilloni, Celman, Litwin & Palou de Mat, 1998). De all, la necesidad de estudiar las competencias necesarias de un docente para realizar evaluaciones que respondan a las caractersticas ya descriptas. Los estudios sobre la evaluacin en relacin con la calidad (Orden, A. et al., 1997) convergen en una tesis que suele darse por sentado: la calidad de la evaluacin es directamente proporcional a la calidad de la enseanza y a la calidad del aprendizaje. Hablar de calidad lleva directamente a un planteo sobre los criterios directrices y orientadores, as como la posibilidad de establecer estndares (Deming, 2000, 2001; Ferrer, 2006; Ravela, 2006). En concordancia con esto, proponemos generar una serie de estndares que sirvan luego para la evaluacin y acreditacin de mdulos, cursos y programas formativos online, no en forma aislada, sino en coherencia y alineacin entre los propios componentes, y con los contextos significativos en los que se desarrollan. Estos mismos podrn ser considerados para ser incluidos en la formacin y acreditacin del e-teacher (Guardigli, Corcione & Banzato, 2007; Banzato & Constantino, 2008, 2008a). Para lograr este objetivo, es necesario estudiar no slo los elementos perifricos por los cuales la EAD es cuestionada, sino principalmente los modelos y estrategias de evaluacin que atienden tanto los aspectos generales de la enseanza y el aprendizaje, como los especficos que se logran casi exclusivamente a travs de esta modalidad. En lnea con estos argumentos, dicho estudio debe abordar la evaluacin a la luz de todo el proceso de enseanza, que es aquello que da fundamento a la misma y con lo que tiene que estar alineada para ser de calidad. Esto trae a la luz una serie de elementos que configuran a ambas dimensiones (enseanza y evaluacin) y que deben ser considerados, desde los ms generales a los ms especficos, para garantizar que haya alineacin entre la enseanza y la evaluacin, as como el aprendizaje se corresponde a la enseanza en un alineamiento constructivo (Biggs, 2005).

230

Constantino, Llull

5. LA EVALUACIN EN LA FORMACIN DOCENTE ONLINE: EL CASO MIFORCAL Como partcipes en diferentes roles y en diferentes instancias del proyecto AlfaMiforcal de formacin docente para la enseanza pre-universitaria de calidad (Constantino, Banzato & Team Miforcal, 2006; Aguilera, Constantino, Pandini, & Raffaghelli, 2008) que llevo a cabo un programa de maestra con un diseo blended, aunque con la mayor carga interactiva en modalidad online , hemos podido relevar diferentes problemticas y diversas estrategias evaluativas puestas en juego para resolverlas. Entre las cuestiones relevantes encontramos fundamentalmente dos que tienen que ver con la argumentacin que estamos presentando en este trabajo. La primera, que suscit inters y que provoc debates interesantes en el colegio docente y en el equipo de tutores del programa, es la relativa a la cuantificacin en oposicin a la cualificacin de los aprendizajes. Vale decir, por un lado una perspectiva cuantitativa que tiene en cuenta fundamentalmente la cantidad de tareas resueltas exitosamente respecto a un modelo ideal de desempeo y expresables por una nota o grade numrica, frente a una perspectiva cualitativa que identifica logros representados por elaboraciones de diferente tipo (incluidas las tareas mencionadas) en base a perfiles de competencia explcitos o implcitos y relativos tanto a modelos de desempeo grupales como personales. La segunda cuestin planteada y estudiada por los expertos del comit cientfico del proyecto, es la alternativa entre la modalidad presencial y la modalidad a distancia de las evaluaciones finales de trayectos curriculares (de ciclos, itinerarios especializados y unidades modulares o tradas1) y sus respectivas condiciones de confiabilidad y validez para la acreditacin. En ambas cuestiones suele suceder que algunos de los planteos no son totalmente genuinos, en el sentido en que se constituyen en problemas conforme a la concepcin previa (preconceptos o prejuicios) que se aplique a la situacin didctica. Por ejemplo, si consideramos una pretendida homogeneizacin de la cantidad y de la complejidad de actividades a ser evaluadas, esta pretensin resulta ser balad. Por qu y en base a qu es vlido reclamar equivalencia de actividades? Por otro lado, si tomamos por ejemplo el grado de dificultad como criterio de construccin de evaluaciones, puede resultar un criterio engaoso si no es precedido por un detallado y riguroso anlisis de tareas (task analysis) que fundamente la diferenciacin en grados. Adems, la evaluacin sumativa (que no es equivalente a cuantitativa) aplica fundamentalmente a tpicos/actividades yuxtapuestos, no recapitulables o integrables. Porque si realmente pueden integrarse, es ms valioso el resultado de aprendizaje final: en esencia no importa que calificaciones un alumno/a ha obtenido en las primeras tareas si al final adquiere y demuestra el perfil de competencias deseable propuesto. Y es as que entonces la denominada evaluacin formativa es el reverso de la moneda: es el feedback necesario que el alumno/a necesita para lograr el perfil de competencia. Pero si consideramos los problemas realmente genuinos, podemos afirmar

Ver ms detalles de la organizacin curricular en el artculo de Gustavo D. Constantino en este mismo volumen.

Evaluacin y calidad en los programas

231

Constantino, Llull

que la evaluacin cualitativa, entendida como evaluacin de objetivos didcticos dentro del espectro dimensional/formativo (simplificando: conocimientos, procedimientos y actitudes), en realidad es la nica que existe. La traduccin cuantitativa de una valoracin, es una forma de permitir comparaciones simples de logros o rendimientos en base a criterios o estndares de competencia necesariamente comunes (aunque es frecuente constatar que existe una heterogeneidad criterial2 que impacta en las calificaciones). Por qu encontramos generalmente concordancia entre los resultados de la evaluacin cuantitativa y la cualitativa segn la terminologa convencional? Por una sola razn: la primera ha logrado reflejar a la segunda3. La cuestin de fondo cambia entonces de foco: no se trata de criterios evaluativos sino de diseo instructivo: o estructural y exportable (tipo scorm) o dinmico y a medida. Este ltimo no necesita ser subsanado mediante una correccin de tipo cuantitativa o estandarizada, solamente requiere que sea entendido y aceptado. Por otro lado, respecto a la validez y confiablidad de la evaluacin a distancia, fueron implementadas estrategias evaluativas mixtas para minimizar los sesgos a los que est comnmente expuesta este tipo de evaluacin, incluso mejorando la evaluacin presencial. Por ejemplo, se utiliz un sistema de exmenes escritos a distancia, de tipo semi-estructurado con foco en la comprobacin de conocimiento y preparados y evaluados por los docentes y tutores expertos , como instancia previa y parte integrante de la evaluacin que se completaba con una instancia presencial, instancia que de este modo se focalizaba ms libremente en los aspectos integrativos, aplicativos y creativos, sin duda ms interesantes para una evaluacin cara a cara.

6. LA EVOLUCIN DE LA FORMACIN ONLINE Y LA EVALUACIN DEL E-CURRICULUM La rpida evolucin de las redes telemticas han provocando no slo cambios cuantitativos permitiendo un alcance poblacional mayor- sino tambin cualitativo ya que surgen nuevas vas y formas de llevar a cabo los procesos de enseanza y aprendizaje (Ltiwin, 2000; Mena, 2007). Tal es el caso de la Internet 1.0 y la Web 2.0. La Internet 1.0, ms cercana del paradigma esttico de transmisin de conocimientos con pocos emisores y muchos receptores, se diferencia de la web 2.0 caracterizada por la sociabilidad de los contenidos y la existencia de muchos emisores y receptores intercambiando y colaborando significativamente entre ellos. En educacin este cambio constituye un nuevo escenario, que implica pasar de un ambiente de aprendizaje 1.0, caracterizado por una arquitectura de presentacin, a uno 2.0 basado en una arquitectura de participacin (Sinclair et. al, 2006; Ruhe & Zumbo, 2009) que trae aparejada la promocin de aprendizajes basados en el hacer (learning by doing), en la interaccin (learning by interac-

2 3

A veces denominada variabilidad entre evaluadores, pero cuando se sale de un continuo y se aplican criterios diferentes es cuando hablamos de heterogeneidad. las escalas numricas no son relevantes, s los indicadores. Los indicadores cuantitativos sirven muy poco si no estn ligados a un indicador cualitativo, asequible por el/los tutor/es en la progresin formativa del mdulo y en el trayecto individual del alumno/a.

232

ting), en la indagacin e investigacin (learning by searching), el compartir (learning by sharing) (Cobo Roman y Pardo Kuklinski, 2007; Redeker, 2009) y la colaboracin (colaborative learning). En este sentido, la denominada Red Social aumenta la brecha entre modelos de transmisin y modelos colaborativos, poniendo subrepticiamente en tela de juicio uno de los pilares del modelo educativo convencional: el curriculum prescripto. Lemke (2005) ha llamado la atencin sobre la imposibilidad concreta de limitar los contenidos (modelo curricular) en una red abierta, por lo que tutores y estudiantes de una comunidad virtual de aprendizaje negocian y realizan su propia seleccin de contenidos en la interaccin y en los hiperenlaces y bibliotecas virtuales que se obtienen navegando la Web (modelo de acceso a la informacin). La naturaleza dinmica, imprevisible y constructiva de este e-curriculum lleva a hipotizar una prevalencia de un enfoque de evaluacin referida a criterios consensuados y de perfiles de competencias en formatos que debern ser experimentados.

7. CONCLUSIONES Y PROSPECTIVA Resumiendo, la educacin a distancia con la ayuda de las tecnologas va generando paulatinamente formas de enseanza que se alejan del modelo tradicional de enseanza superior centrado en el profesor y en la transmisin de contenidos (Cerda Gonzlez, 2002), promoviendo un aprendizaje profundo, centrado en el alumno a travs del pensamiento crtico, de la resolucin de problemas y de la indagacin (Pallof, Pratt, 2009). Cuando el proceso de enseanza cambia, el proceso de evaluacin tiene que cambiar tambin, o revisar su congruencia (Buzzetto-More & Alade, 2006; Pallof & Pratt, 2009). Adems, cuando se opta por concepciones de la enseanza en las que se tiene en cuenta especialmente la capacidad de produccin del alumno, los instrumentos de evaluacin deben ser coherentes con esa concepcin (Camilloni,1998, 71). Por lo tanto, la evaluacin debe estar alineada y ser coherente con el modelo de enseanza que se utiliz durante el curso, con los objetivos y las competencias que se buscan promover, as como las actividades y estrategias que se utilizaron para ensear y aprender (Camilloni, 1998, Bates & Pools, 2003, Biggs, 2005). Cuando esto sucede, ms probabilidades hay de adquirir las competencias deseadas, es menor la posibilidad de engao durante el examen y se obtienen desempeos de nivel superior, as como aumenta la satisfaccin con el proceso de enseanza aprendizaje (Pallof & Pratt, 2009). Es decir, cuando se busca promover la reflexin y el pensamiento crtico tomando como eje al alumno y los procesos que ste pone en juego para aprender, la evaluacin debe pasar de un modelo de reproduccin a uno de produccin, ya no como etapa final sino durante el mismo proceso educativo, utilizando mltiples estrategias que tengan la sensibilidad suficiente para captar los diferentes aprendizajes segn la particularidad de cada individuo. En este sentido, hay coincidencia en afirmar que no existen formas de evaluacin que per se sean mejores o peores, ms vlidas o menos; lo que las hace ms apropiadas es el grado de correspondencia entre el objeto evaluado, los sujetos involucrados y la situacin en la que se encuentren (Camilloni, 1998, Ravela, 2006). De all que, replicar la evaluacin que se utiliza en las clases presenciales sin aplicar ninguna adaptacin a la enseanza online puede resultar frustrante para los alumnos y para los docentes (Palloff & Prat, 2009), adems de no proporcionar una imagen clara que permita realizar juicios de valor atinados, as como planes de mejora tiles.

Evaluacin y calidad en los programas

233

Por lo tanto, la evaluacin en todas sus formas (assesment, achievement y course evaluation) debe atender tanto las particularidades de los nuevos escenarios, como las teoras, paradigmas y modelos que se vinculan con la evolucin tecnolgica, siendo capaz de afrontar los cambios actuales y prever los prximos avances que reconfigurarn la EAD, con nuevos formatos multimedia y con medios de interaccin, de transmisin de conocimientos y de generacin de aprendizajes refinados (Ruhe & Zumbo, 2009).

Referencias Bibliogrficas Anders Ericsson, K. 2009. Development of Professional Expertise. New York: Cambridge. Anders Ericsson, K.; Charnes, N.; Feltovich, P.J. & R.R. Hoffman. 2006. The Cambridge Handbook of Expertise and Expert Performance. New York: Cambridge. Anderson, T. y Kanuka, H. 2003. E-Research. Methods, strategies, and issues. London: Allyn and Bacon. Banzato, M. 2002. Apprendere in Rete. Torino: UTET. Banzato, M. & Constantino, G.D. 2008. Competence Based Tutoring Online, en Kendall, M. & B. Samways. Learning to Live in the Knowledge Society. New York: Springer. Bates, A.W. & Poole, G. (2003) Effective teaching with technology in higher education. Jossey Bass, San Francisco. Biggs, J. 2005. Calidad del Aprendizaje Universitario. Madrid: Narcea. Brown, S. & Glasner, A. 2007. Evaluar en la Universidad. Problemas y nuevos enfoques. Madrid: Narcea. Buzzzeto-Moore, N. & Alade, A. 2006. Best practices in e-assessment. Journal of Information Techonology Education, Vol. 5. http://jite.org/documents/Vol5/v5p251-269Buzzetto152.pdf [Consultado: julio 2009] Calvani, A. 2005. Rete, Comunit e Conoscenza. Costruire e gestire dinamiche collaborative. Trento: Erickson. Camilloni, A. 1998. La calidad de los programas de evaluacin y de los instrumentos que lo integran, en Camilloni, Celman, Litwin & Palou de Mat, Op. Cit. Camilloni, A.R.W., Celman, S.,Litwin, E. & M. del C. Palou de Mat. 1998. La evaluacin de los aprendizajes en el debate didctico contemporneo. Buenos Aires: Paids. Cerda Gonzlez, C. 2002. Educacin a distancia: principios y tendencias, en: Revista Perspectiva Educacional. Instituto de Educacin UCV. N 39-40, 11-30. Chaiklin, S. & Lave, J. 2001. Estudiar las prcticas. Perspectivas sobre actividad y contexto. Bs.As.: Amorrortu. Cobo Roman, C. & Pardo Kuklinski, H. 2007. Planeta Web 2.0. Inteligencia colectiva o medios fast food. UVIC/Flacso. E-book. www.planetawebdospuntocero.net [Consultado: julio 2009] Constantino, G. D. 1995. Didctica Cognitiva. Buenos Aires: Ediciones Ciafic. Constantino, G. D. 2002. Presenza virtuale contro presenza vitale, en Banzato, M. Apprendere in Rete. Torino: UTET. Constantino, G. D. 2002a. Investigacin Cualitativa y Anlisis del Discurso en Educacin. Catamarca: Universitaria. Creswell & Plano Clark, 2007. Designing and Conducting Mixed Methods Research. Thousand Oaks(CA): Sage. Deming, W.E. 2000. The New Economics for Industry, Government, Education, 2ndEd. Cambridge (MA); MIT Press. Deming, W.E. 2001 [1987]. Out of the Crisis. Cambridge (MA): The MIT Press. Ferrer, G. 2006. Estndares en educacin. Tendencias internacionales e implicancias para su aplicacin en Amrica Latina. Disponible en: http://www.preal.org/ [Consultado: agosto 2009] Flick, u. 2004. Introduccin a la investigacin cualitativa. Madrid: Morata. Guardigli L., Corcione, D. & M. Banzato. 2007. Tol. Il tutor on line. Un quadro di riferimento per la certificazione delle competenze e della qualit. Bologna: CLUEB.

234

Constantino, Llull

Evaluacin y calidad en los programas

Hirschfeld, L.A. & S.A. Gelman. 2002. Cartografa de la mente. Barcelona: Gedisa. Johnson, D.W. & Johnson, R.T. 1999. Aprender juntos y solos. Buenos Aires: Aique. Jones, S. 1999. Doing internet research. London: SAGE. Lemke, J. 2005. La prxima guerra de paradigmas en educacin: Curriculum vs. Acceso a la Informacin, en Revista Didaxis Online, Vol. 1, N1-2. Litwin, E. (Comp.) 2000. La Educacin a Distancia. Buenos Aires, Amorrortu. Mena, M. (Comp.) 2007. Construyendo la nueva agenda de la educacin a distancia. Buenos Aires: La Cruja. Merton, R.K. 1968. Social Theory and Social Structure. Free Press. Nicol, D. 2007. E-assessment by design: using multiple-choice tests to good effect. Journal of Further and Higher Education Vol. 31, No. 1, February: 5364 Nicol, D. 2007a. Laying a foundation for lifelong learning: Case studies of e-assessment in large 1st-year classes. British Journal of Educational Technology Vol 38 No 4: 668678 Palloff, R.M. & Pratt, K. 2009. Assessing the online learner. San Francisco: Jossey Bass. Orden, A. de la, et. al. 1997. Desarrollo y validacin de un modelo de calidad universitaria como base para su evaluacin. RELIEVE, vol. 3, n. 1. http://www.uv.es/RELIEVE/v3n1/RELIEVEv3n1_2.htm , [consultado 07-2009]. Perrenoud, P. 2008. La evaluacin de los alumnos. De la produccin de la excelencia a la regulacin de los aprendizajes. Entre dos lgicas. Buenos Aires: Colihue. Ravela, P. 2006. Para comprender las evaluaciones educativas. Fichas didcticas. PREAL/ Grupo de trabajo sobre estndares y evaluacin. http://www.preal.org/ [Consultado: 10/08/09]. Redecker, C. 2009. Review of Learning 2.0 Practices: Study on the Impact of Web 2.0 Innovations on Education and Training in Europe. Luxemburgo: European Commission, Joint Research Centre & Institute for Prospective Technological Studies. Robbins, P. & M. Aydede. 2009. The Cambridge Handbook of Situated Cognition. New York: Cambridge University Press. Ruhe, V. & B.D. Zumbo. 2009. Evaluation in Distance Education and E-Learning. New York: The Guilford Press. Sinclair, G.,McClaren M. & M. Griffin. 2006 E-learning and beyond. British Columbia Ministry of Advanced Education. Tashakkori, A. & J. Creswell. 2007. The New Era of Mixed Methods, Journal of Mixed Methods Research, vol.1, N 1. Tobin, T.J. 2004. Best Practices for Administrative Evaluation of Online Faculty. Online Journal of Distance Learning Administration, Vol.VII, N II. http://www.westga.edu/~distance/ojdla/summer72/tobin72.html. [Consultado 10/08/09] Vasilachis, I. (Coord.) 2007. Estrategias de Investigacin Cualitativa. Barcelona: Gedisa. Wenger, E. 2001. Comunidades de Prctica. Aprendizaje, Significado e Identidad. Barcelona: Paids Ibrica. Whitelock, D. 2009. Editorial: e-assessment: developing new dialogues for the digital age. en British Journal of Educational Technology. Vol 40 No 2: 199202 Wijekumar, K.; Ferguson, L. & Wagoner, D. 2006. Problems with Assessment Validity and Reliability in Web-Based Distance Learning environments and solutions, en Journal of Educational Multimedia and Hypermedia; 15, 2: 199 -215 Wolff, R. 2009. Accrediting Online Institutions and Programs: Quality Assurance or Bureaucratic Hurdle? En: Rudestam, K.E. & J. Schoenholtz-Read. Handbook of Online Learning. 2nd Edition. Thousand Oaks(CA): SAGE.

235