Perspectivas de la inclusin de las TICs en educacin y su evaluacin en el logro de aprendizajes

Miguel Nussbaum y Patricio Rodrguez

*

Departamento de Ciencia de la Computacin, Escuela de Ingeniera, Pontificia Universidad Catlica de Chile, Edificio San Agustn P4, Av. Vicua Mackenna 4860, Santiago, Chile {mn, patricio}@ing.puc.cl // Tel: +56-2-354 4440

Permitida su reproduccin total o parcial. Los autores son responsables por la seleccin y presentacin de los hechos contenidos en esta publicacin, as como de las opiniones expresadas en ella, que no son necesariamente el pensamiento de la UNESCO y no comprometen a la Organizacin. Las denominaciones empleadas en esta publicacin y la presentacin de los datos que en ella figuran no implican, de parte de la UNESCO, ninguna toma de posicin respecto al estatuto jurdico de los pases, ciudades, territorios o zonas, o de sus autoridades, ni respecto al trazado de sus fronteras o lmites

Nussbaum, M. & Rodrguez, P. (2010) Perspectivas de la inclusin de las TICs en educacin y su evaluacin en el logro de aprendizaje

Resumen Ejecutivo
Las principales razones usadas para justificar las TICs en educacin son apoyar el crecimiento econmico, promover el desarrollo social, avanzar en la reforma educativa y apoyar la administracin educativa. Sin embargo, transformar la educacin con las TICs est lejos de concretarse, pues las polticas para ello slo se encuentran en un nivel declarativo. Incluso, aquellos pases ms avanzados en el tema pasan por una etapa de estancamiento, porque deben tratar explcitamente con la transformacin de prcticas pedaggicas que es ms difcil de implementar y evaluar. Adems, la pregunta sobre cules son los efectos de corto y largo plazo en el aprendizaje de los alumnos todava no tiene respuestas concluyentes. Con la revisin de la literatura, identificamos dos dimensiones desde dnde analizar qu ha impedido que las TICs tengan el impacto esperado. Estas dimensiones son 1) el diseo y la implementacin de las TICs en el contexto educativo, es decir, de cmo se generan e implementan iniciativas TIC en educacin; y 2) la evaluacin del impacto, es decir, cul es el valor de las TICs en el sistema educativo. Con respecto al diseo de los programas educativos apoyados en TICs, en general se antepone la tecnologa al uso educativo, aunque debieran estar basados en teoras de aprendizaje y principios pedaggicos. Respecto de la implementacin de las TICs, el equipamiento y conectividad solamente habilitan la integracin de las TIC en las prcticas pedaggicas, proceso que no ocurre automticamente como muchos esperaban, identificndose barreras que deben ser manejadas apropiadamente. En relacin a la evaluacin del impacto de las TICs en educacin, aunque se han llevado a cabo numerosos estudios sobre el particular no es posible obtener respuestas concluyentes. Por un lado, `por problemas metodolgicos, clasificables en tres mbitos: qu medir, con qu medir y cmo medir. Por otro, por problemas en la falta de metodologas estandarizadas ampliamente aceptadas para la medicin del impacto, y la carencia de suficiente investigacin en la cual basarse para tomar decisiones en un entorno tecnolgico cambiante. A partir de los tres mbitos a medir, proponemos un modelo conceptual que descompone el proceso de diseo y desarrollo de un programa de informtica educativa (PIE) basado en evidencia rigurosa en tres etapas: eficacia, efectividad y eficiencia. En cada una de ellas se identifica qu procesos y software disear e implementar, qu medir dentro del proceso educativo considerando la escala y el tiempo requeridos, utilizando tcnicas de investigacin cuantitativa y cualitativa que expliquen los resultados obtenidos. Este modelo conceptual se ilustra con un ejemplo de un programa educativo basado en aprendizaje colaborativo asistido por computador llamado Eduinnova. El modelo conceptual propuesto en este trabajo, entrega herramientas al tomador de decisiones para construir una poltica pblica para el desarrollo de PIEs. Por ejemplo, pueden crearse fondos concursables que incentiven el diseo, desarrollo y evaluacin de: modelos pedaggicos basados en TICs (eficacia), los procesos de intervencin en aquellos proyectos que hayan demostrado su eficacia previamente (efectividad) y el empaquetamiento y mejoras para la masificacin en el sistema escolar de aquellas iniciativas efectivas (eficiencia). Con un proceso de las caractersticas descritas se puede construir una poltica de informtica educativa desde las necesidades especficas de las escuelas en vez de buscar usos al equipamiento instalado. Distintas necesidades de aprendizaje, requerirn distintas soluciones de software y hardware posiblemente diversificando el equipamiento existente en las escuelas.

Permitida su reproduccin total o parcial. Los autores son responsables por la seleccin y presentacin de los hechos contenidos en esta publicacin, as como de las opiniones expresadas en ella, que no son necesariamente el pensamiento de la UNESCO y no comprometen a la Organizacin. Las denominaciones empleadas en esta publicacin y la presentacin de los datos que en ella figuran no implican, de parte de la UNESCO, ninguna toma de posicin respecto al estatuto jurdico de los pases, ciudades, territorios o zonas, o de sus autoridades, ni respecto al trazado de sus fronteras o lmites

Nussbaum, M. & Rodrguez, P. (2010) Perspectivas de la inclusin de las TICs en educacin y su evaluacin en el logro de aprendizajes

1 Introduccin
Hace ms de veinticinco aos, las tecnologas de infocomunicaciones (TICs) fueron introducidas al sistema escolar (Robertson, 2002; Reynolds et al., 2003). La percepcin general era que la tecnologa ayudara a mejorar los niveles de aprendizaje al introducir cambios en los procesos y estrategias de enseanzaaprendizaje (Culp et al., 2003; Kozma, 2003), adaptndolos a las necesidades individuales de cada estudiante (Sunkel, 2006). En la dcada de los noventa, la inversin en TICs creci en respuesta a la masificacin de la Internet y de la World Wide Web (Pelgrum, 2001) como un esfuerzo de acortar la brecha de inequidad entre la gente con y sin acceso a las TICs, tambin conocida como brecha digital (Warschauer, 2003). En la actualidad, las razones principales usadas para justificar la inversin de TICs en educacin son: apoyar el crecimiento econmico, promover el desarrollo social, avanzar en la reforma educativa y apoyar la administracin educativa (Kozma, 2008). Es posible clasificar el desarrollo de los pases respecto de las TICs en educacin en cuatro etapas (Villanueva, 2003): la etapa emergente, que es cuando se ha tomado conciencia de los beneficios de las TIC en la educacin; la etapa de aplicacin, que es cuando las autoridades educacionales comienzan a realizar proyectos pilotos en escuelas seleccionadas; la etapa de integracin, que es cuando las escuelas cuentan con recursos tecnolgicos, se han instalado procesos de capacitacin de los docentes y se ha integrado el uso de las TIC en el currculum; y la etapa de transformacin, que es cuando las escuelas han incorporado las TIC de manera sistemtica e integral en el proceso de enseanza/aprendizaje y en la organizacin de la tarea del docente. Por ejemplo, en Iberoamrica, Brasil, Chile, Costa Rica y Mxico pases donde existen programas pblicos de informtica educativa se encuentran principalmente en una etapa de integracin (Sunkel, 2006). Sin embargo, las polticas de transformar la educacin slo se encuentran en un nivel declarativo, pero no se han llevado a la prctica (Moonen, 2008). Incluso, aquellos pases ms avanzados en uso de las TICs en educacin, cuando llegan a la etapa de integracin sufren de un estancamiento del proceso de implementacin porque deben tratar explcitamente con el tema pedaggico que es mucho ms complejo en trminos de medicin de impacto (Moonen, 2008). Con respecto al impacto de la tecnologa, an quedan respuestas abiertas sobre sus efectos de corto y largo plazo en el aprendizaje de los alumnos y cmo ella afecta tareas de aprendizaje simples y complejas (Cox & Marshall, 2007). Responder estas preguntas es de suma importancia porque permitir 1) desarrollar polticas de gobierno, 2) focalizar la formacin de profesores, 3) mejorar el currculum nacional, 4) adecuar la implementacin en sala de clases y 5) analizar los costos y beneficios (Cox & Marshall, 2007). La pregunta que hay que responder entonces es porqu, a pesar de todos los proyectos llevados a cabo, las inversiones y el tiempo transcurrido, an las TICs no satisfacen las expectativas de resultados que las llev a ser introducidas en la sala de clases. El anlisis de la literatura, nos permite identificar al menos dos dimensiones desde donde analizar qu ha impedido que se cumplan estas promesas. Estas dimensiones son: 1) El diseo y la implementacin de las TICs en el contexto educativo, es decir, de cmo se generan e implementan iniciativas TIC en educacin; y 2) La evaluacin del impacto de las TICs en el sistema educativo, es decir, qu se mide, con qu y cmo se evalan los efectos de la introduccin de las TICs en el sistema escolar. Este artculo est estructurado como sigue: en la seccin 2, analizamos la dimensin de diseo y la implementacin de las TICs en el contexto educativo; en la seccin 3, analizamos la dimensin de la evaluacin del impacto de las TICs; en la seccin 4, planteamos un modelo conceptual que permite combinar el diseo, desarrollo y la evaluacin de programas educativos basados en TICs con el fin de manejar los problemas identificados. En la seccin 5 analizamos la diseminacin de los resultados de esas evaluaciones y su presentacin en publicaciones especializadas y en eventos destinados a producir agendas de poltica El artculo finaliza con las principales conclusiones y perspectivas de trabajo futuro.

Nussbaum, M. & Rodrguez, P. (2010) Perspectivas de la inclusin de las TICs en educacin y su evaluacin en el logro de aprendizajes

2 El diseo y la implementacin de las TICs en el contexto educativo

Respecto a esta primera dimensin de anlisis, como consideracin previa es necesario mencionar que desde siempre ha existido una excesiva fe en las tecnologas para mejorar la enseanza. Hoy son los computadores en los colegios, pero en el pasado ya se introdujeron otras tecnologas con resultados dispares (Earle, 2002; Castro, 2004). Desde los proyectores de diapositivas, pasando por los laboratorios de lenguaje, la televisin de circuito cerrado y los microcomputadores, la tecnologa ha generado promesas en la sala de clases con discretos resultados (Earle, 2002). Lamentablemente, el proceso masivo de introduccin de las TICs tambin repite errores del pasado (Earle, 2002) al basarse en una retrica optimista que no ofrece evidencia que la respalde, respecto a los beneficios de la tecnologa (Reynolds et al., 2003; Njenga & Fourie, 2010). As, una de las dificultades permanentes del uso de la tecnologa en educacin, es que los tomadores de decisiones piensan primero en la tecnologa y solo despus investigan sus aplicaciones educativas (Trucano, 2005). Esta lgica tiene como consecuencia que los objetivos educativos de las TICs estn a menudo definidos en forma vaga (Trucano, 2005). Por lo tanto, las TICs ya tienen una carga de expectativas respecto a su impacto que pueden ser desmedidas. Sin embargo, este problema no es particular de la tecnologa, ya que a travs de la historia de la educacin, la adopcin de programas instruccionales y sus prcticas, ha estado dirigido ms por ideologa, tendencias, poltica y mercadeo, que por la evidencia (Slavin, 2008). Otra consideracin relacionada con la anterior que tambin debe mencionarse, es que las TICs no fueron concebidas para la educacin; no aparecieron naturalmente en los sistemas de enseanza; ni fueron demandadas por la comunidad docente (Sunkel, 2006). Esta exterioridad hace que la incorporacin de las TIC a la educacin resulte ser un proceso altamente dificultoso porque responde a un modelo (con sus conceptos, sus discursos y sus prcticas) originado al exterior de los sistemas de educativos (Sunkel, 2006) e impuesto a los sistemas de enseanza (Hennessy et al., 2005). Lo anterior se manifiesta en dos mbitos: el diseo y la implementacin de las TICs en educacin.

2.1 El diseo de programas educativos con TICs

Respecto al diseo de los programas educativos que usan la informtica para apoyar los procesos de enseanza-aprendizaje, se presta poca atencin en general al diseo pedaggico de dichos programas (Trucano, 2005). Sin embargo, dado que en una visin integral, las TICs son una posibilidad ms para elegir dentro de otras para el proceso de enseanza-aprendizaje, deben responder a un diseo pedaggico para que agreguen valor (Earle, 2002) y no sean meramente un caro complemento que apoyen las prcticas tradicionales (Trucano, 2005). Esto significa que las TICs deben estar apoyadas en teoras de aprendizaje y principios pedaggicos (Lai, 2008; Marshall & Cox, 2008; Reeves, 2008) que permitan establecer relaciones entre el uso especfico de las TICs, y los posibles resultados (McFarlane, 2001; Earle, 2002). De lo contrario, las nuevas aplicaciones basadas en TICs que se desarrollen, no impactarn de la forma esperada porque estn basadas en supuestos equivocados o simplemente no son usables tal como se disearon (Penuel, 2005). Un ejemplo de diseo basado en supuestos equivocados es el uso del lenguaje de programacin Logo para mejorar la habilidades de planificacin de los nios menores de 9 aos en la dcada de los noventa. Investigaciones de dcadas anteriores ya demostraban que el procesamiento de la informacin en los nios es distinto de los adultos, especialmente en habilidades como el pensamiento lgico y la capacidad para llevar a cabo ms de una tarea a la vez. Como era de esperar, investigaciones posteriores confirmaron que el desempeo de actividades basadas en Logo dependa del nivel de desarrollo cognitivo de los estudiantes (Cox & Marshall, 2007). Tambin las TICs introducen distintas representaciones de la informacin y conocimiento, que los alumnos requieren conocer para resolver los problemas planteados y que influyen en su desempeo, as como tambin su grado de desarrollo cognitivo. Incluso pueden existir mltiples representaciones para el mismo problema (Cox & Marshall, 2007). Este tema es relevante porque tiene consecuencia en la usabilidad de los ambientes de enseanza-aprendizaje por parte de los distintos usuarios. Por otro lado, la extensa investigacin sobre la enseanza-aprendizaje sin TICs tampoco ha sido aprovechada en el diseo de los procesos de enseanza-aprendizaje con TICs, pasndose por alto aspectos tericos centrales en cualquier proceso de enseanza-aprendizaje, con o sin tecnologa (Sutherland et al., 2004). Por 4

Nussbaum, M. & Rodrguez, P. (2010) Perspectivas de la inclusin de las TICs en educacin y su evaluacin en el logro de aprendizajes ejemplo, llama la atencin que muchos de los problemas actuales de la introduccin de las TICs en el aula estn en la literatura sealados desde hace mucho tiempo: hace ms de 18 aos ya se sealaba que el cambio progresivo ocurrir, si se hace nfasis en la tecnologa de la educacin ms que la introduccin de tecnologa en la educacin (Spencer, 1991). Ms de 10 aos despus, el estudio Silicon Valley vs Silicon Glen, donde se compara el impacto en el aprendizaje en California y Escocia, muestra que si bien hubo una transformacin desde el punto de vista de la infraestructura, el quehacer docente no cambi significativamente (Colon & Simpson, 2003). Tan importante es el modelo pedaggico que la evidencia muestra que aquellas tecnologas que fueron desarrolladas por un equipo de investigacin, tienen un mayor impacto que aquellas que fueron simplemente adaptadas del mercado comercial o que solamente usan la tecnologa como un medio de entrega (Liao & Hao, 2008). La carencia de modelos pedaggicos en las propuestas de uso de TICs en los establecimientos, podra ser la causa de la lentitud en la adopcin de las TICs, ya que los profesores deben resolver el problema de cmo incorporar de la mejor forma las nuevas tecnologas en las viejas prcticas de enseanza (Hayes, 2007). Por ello, los profesores necesitan apoyo para desarrollar estos nuevos enfoques antes de integrarlos a su quehacer (Hayes, 2007). La capacitacin de los profesores debe considerar adems de los aspectos tecnolgicos, nuevos enfoques pedaggicos que incluyan las TICs (Hepp, 2003; Cox & Webb, 2004; Trucano, 2005; Sunkel, 2006; Hayes, 2007), pero lamentablemente este proceso toma tiempo y requiere estrategias de formacin docente de largo plazo (Hepp, 2003; Trucano, 2005).

2.2 La implementacin de las TICs en el contexto educativo

Respecto de la implementacin de las TICs, los pases siguieron un proceso donde lo primero que se abord fue la provisin de infraestructura en trminos de equipamiento y conectividad (Moonen, 2008). Sin embargo, la infraestructura constituye un habilitador para la integracin de las TIC en las prcticas pedaggicas, pero no implica que dicho proceso ocurra automticamente como muchos esperaban (Earle, 2002; Sunkel, 2006; Hayes, 2007). As, dentro del proceso de integracin y transformacin de las prcticas pedaggicas a travs del uso TICs (en distintas realidades socioculturales) se identificaron una serie de obstculos que requieren ser manejados apropiadamente. Entre los ms importantes destacan la falta de: confianza, actitudes y competencias TICs de los profesores (Pelgrum, 2001; Conlon & Simpson, 2003; Reynolds et al., 2003; Cox & Webb, 2004; Trucano, 2005; Tondeur, et al., 2007), infraestructura tecnolgica de las escuelas (Pelgrum, 2001; Conlon & Simpson, 2003; Reynolds et al., 2003; Tearle, 2003; Trucano, 2005); supervisin y apoyo tcnico (Pelgrum, 2001; Conlon & Simpson, 2003; Tearle, 2003; Trucano, 2005; Hayes, 2007); compromiso directivo, liderazgo y apoyo (Pelgrum, 2001; Trucano, 2005; Hayes, 2007); tiempo de los profesores para reuniones, capacitacin, ejercicios y planificacin de las clases (Conlon & Simpson, 2003; Osborne & Hennessy, 2003) y ejemplos motivadores de usos en clases y materiales curriculares (Conlon & Simpson, 2003; Dool & Kirschner, 2003; Trucano, 2005). Si a este contexto orientado principalmente a la habilitacin tecnolgica (Earle, 2002; Tearle, 2003; Hennessy et al., 2005) le aadimos la tendencia de los profesores a adaptar sus prcticas pedaggicas a la tecnologas en vez de transformarlas (Cuban, 2001), el resultado fue que en los colegios se empez a ensear TIC en vez de ensear con TICs, lo que entr en conflicto con el uso de la tecnologa para apoyar las restantes asignaturas (Cox, 2008). Para resolver el problema, distintos pases integraron las TICs como herramienta de aprendizaje dentro del currculo nacional. Sin embargo, a pesar de ello, estudios recientes indican que existe una brecha entre el curriculum propuesto y el efectivamente implementado (Tondeur et al., 2007). Dicha falta de alineacin proviene de la inexistencia de planes de TICs en los colegios que operacionalicen los estndares nacionales en acciones concretas en los establecimientos (Tondeur et al., 2007). Adicionalmente, el proceso de integracin de las TICs se dificulta porque existe una desconexin entre las razones que se presentan para introducir las TICs en educacin desarrollar nuevas prcticas de enseanza y aprendizaje y el desarrollo de las habilidades de pensamiento y aprendizaje del siglo 21 y su implementacin, predominantemente la alfabetizacin digital y la distribucin de materiales de aprendizaje (Trucano, 2005). Esto tambin revela que existe una importante tensin entre la transformacin de las prcticas pedaggicas que promueve el discurso de la introduccin de las TICs con los resultados que se exigen al sistema a travs de pruebas estandarizadas que estn asociadas a metodologas de enseanza ms tradicionales (Trucano, 2005; Cox & Marshall, 2007; Law, 2009). 5

Nussbaum, M. & Rodrguez, P. (2010) Perspectivas de la inclusin de las TICs en educacin y su evaluacin en el logro de aprendizajes Otro problema que ha dificultado la obtencin de resultados, es que no se ha puesto suficiente atencin a los temas de seguimiento y evaluacin que provean retroalimentacin tanto para el diseo de la mayora de las iniciativas de TIC en educacin como para la poltica educativa respecto de las lecciones aprendidas de los proyectos pilotos (Trucano, 2005; Anderson & Plomp, 2009). El seguimiento de un programa educativo basado en TICs debe examinar qu y cmo se est implementando (fidelidad de la implementacin) (Wagner et al., 2005) mientas que la evaluacin analiza los efectos directos o inmediatos de la intervencin e implementacin (Rovai, 2003) para medir desempeo. El objetivo principal de medir la fidelidad de la implementacin es determinar si el programa est operando como debe en trminos generales (Rovai, 2003; Wagner et al., 2005) y de acuerdo a las intenciones especficas de los diseadores (Agodini et al., 2003). Para que esto sea posible, los diseadores deben primero especificar cules son los aspectos importantes o crticos que los profesores deben llevar acabo dentro de la sala de clases y desarrollar medidas para determinar cundo y cmo estos aspectos son puestos en prctica en las salas de clases (Penuel, 2005). El seguimiento y evaluacin puede entregar un entendimiento ms profundo de la relacin entre la variacin de la implementacin de un programa y los efectos medidos (Agodini et al., 2003; Penuel, 2005). Tambin permite identificar cules son los lmites de la aplicabilidad o flexibilidad del programa, as como tambin posibles errores de diseo (Penuel, 2005; Light, 2008). La falta de implementacin de mecanismos de seguimiento y evaluacin hace que no estn disponibles datos o herramientas concretas respecto a los temas y desafos que significan la integracin de las TICs a las escuelas, limitando su difusin fuera del crculo de expertos y usuarios experimentados, hacia la mayora de los tomadores de decisiones, donantes y educadores legos en el uso de las TICs en educacin (Trucano, 2005).

3 La evaluacin del impacto de las TICs en el sistema educativo

La segunda dimensin de anlisis corresponde a la evaluacin del impacto de las TICs en educacin, que busca responder la pregunta de cul es el valor de las TICs en el sistema educativo. Naturalmente, la pregunta de la evaluacin de impacto de las TICs est fuertemente ligada con el desarrollo de la tecnologa misma. Un resumen de las principales tendencias de investigacin de acuerdo a la evolucin de la tecnologa la podemos encontrar en la Tabla 1.
Tabla 1: Desarrollos tecnolgicos conducen a aplicaciones de las TICs en educacin y principales estudios de impacto. Adaptado de Cox (2008). Periodo Desarrollos tecnolgicos Miniaturizacin de componentes electrnicos. Aplicaciones de las TICs en educacin y tpicos de investigacin para la Aplicaciones de ejercitacin y prctica en tpicos especficos para grupos reducidos de alumnos. Acceso remoto de Universidades y otros centros educativos al uso de las TICs. Acceso remoto a software educativo de Universidades y escuelas. TICs comienzan a aparecer en los colegios como asignatura Primeras aplicaciones de oficina declarativas (Planillas de clculo y procesadores de texto). Evaluacin y estudios referenciales

1950 1967

1968 1970

Aparicin de la Internet-ARPANETJANET y redes internacionales de computadores Computadores interactivos Primeros computadores con microprocesadores. CPM/DOS Aparicin de Apple Macintosh y IBM-PC

1970 1977

1978 1980

1980 1990

Nussbaum, M. & Rodrguez, P. (2010) Perspectivas de la inclusin de las TICs en educacin y su evaluacin en el logro de aprendizajes
Periodo Desarrollos tecnolgicos Lanzamiento de Microsoft Windows. Invencin de la World Wide Web (www) Aplicaciones de las TICs en educacin y tpicos de investigacin para la LOGO como software educativo Masificacin de las TICs en los colegios. Estudios de impacto en el aprendizaje de los alumnos, adopcin de los profesores y las escuelas y colaboracin entre alumnos Masificacin de las TICs en los colegios. Presin para desarrollar recursos digitales que permitan ensear con y acerca de TICs. Desarrollo de teoras para explicar el cambio educativo. Asistentes personales digitales (PDAs). Estudio internacional SITES M1 (Pelgrum, 2001). Estudio ImpaCT2 en Reino Unido (Harrison et al., 2002). Masificacin de Internet. 2000 2004 Acceso a ambientes de aprendizaje virtuales (VLE). Masificacin de las redes inalmbricas. Web 2.0. 2005 2007 Conciencia de la diferencia entre aplicaciones de oficina y necesidades escolares. Estudio internacional SITES M2 (Kozma, 2003). Estudio Silicon Valley vs Silicon Glen (Conlon & Simpson, 2003). Estudio ImpaCT en Reino Unido (Watson, 1993). Evaluacin y estudios referenciales

Computadores porttiles. Proyectores dentro de la sala de clases Pizarras interactivas. 1991 1999

Implementacin de cursos y evaluacin en lnea. Alfabetizacin digital. Impacto efectivo en el aprendizaje medido en pruebas estandarizadas. Estudio de impacto de la European Schoolnet (Balanskat et al., 2006)

Aplicaciones de web 2.0: YouTube, Facebook, twitter. OLPC , Netbook

1:1 Aprendizaje colaborativo asistido por computador (CSCL). Competencias del siglo 21 (Aprendices del nuevo milenio).

Estudio Internacional SITES 2006 (Plomp et al., 2007). Estudios de impacto de software educativo en lectura y matemticas en EE.UU. (Dynarski et al., 2007; Campuzano et al., 2009). Evaluacin del programa Enlaces (Chile) (Snchez & Salinas, 2008) Evaluacin del programa Computadores para Educar (Colombia) (Barrera-Osorio & Linden, 2009) Resumen del impacto de las TICs en educacin (Lemke et al. 2009)

2008 2010

Lamentablemente, el impacto de las TICs en el aprendizaje no est del todo claro y todava est abierto al debate (Trucano, 2005). Si bien se han llevado a cabo numerosos estudios respecto de los efectos de las TICs en educacin, problemas mayores respecto a las polticas y metodologas con las cuales han sido llevados a 7

Nussbaum, M. & Rodrguez, P. (2010) Perspectivas de la inclusin de las TICs en educacin y su evaluacin en el logro de aprendizajes cabo algunos, no permiten establecer respuestas concluyentes (Cox & Marshall, 2007; Reeves, 2008). Adems, mucha de la evidencia ha sido obtenida de estudios de pequea escala haciendo falta estudios rigurosos de mayor escala que permitan hacer generalizaciones (Condie & Munro, 2007). Tampoco existen metodologas estndares y ampliamente aceptadas para la medicin del impacto (Trucano, 2005), ni suficiente investigacin en la cual basarse para tomar decisiones en un entorno tecnolgico cambiante (Anderson & Plomp, 2009). Un reciente anlisis acerca de los efectos de las TICs en educacin (Cox & Marshall, 2007), identifica una serie problemas relacionados principalmente con el qu medir o con qu medir y que requieren atencin para llevar acabo investigaciones ms profundas que provean resultados robustos y confiables en distintas condiciones respecto del impacto de las TICs en educacin. Un primer tipo de problemas lo constituyen los distintos efectos que producen tipos de uso especficos de TICs. El impacto en el aprendizaje de los alumnos depende fuertemente del tipo de recurso TIC, cmo se usa y la asignatura en la cul es usado (McFarlane, 2001; Cox & Marshall, 2007). Esta nocin, que no es nueva, tiene como consecuencia que el estudiar agregadamente los efectos del uso de TICs muy diferentes no revelar efectos generales en el sistema educativo, medidos solamente en trminos de pruebas estandarizadas (McFarlane, 2001). Por lo tanto, cualquier impacto debe ser medido investigando la naturaleza especfica de las tareas basadas en TIC y los tipos de conceptos, habilidades y procesos que stas afectan (Cox & Marshall, 2007). Esto genera una disyuntiva de cmo evaluar el impacto: si estudiando usos especficos en profundidad a travs de casos, o realizando estudios de gran tamao, con resultados ms generalizables, pero limitados respecto al conocimiento de los usos especficos de las TIC (Cox & Marshall, 2007). Muchos de los estudios que muestran efectos positivos de las TIC en educacin (Watson, 1993; Harrison et al., 2002) fueron realizados de esta ltima forma, no pudiendo conocer qu usos especficos produjeron impacto. Un segundo tipo de problemas corresponde a cmo el diseo e implementacin curricular afecta a los alumnos. La evidencia de la literatura (Cox & Abbot, 2004; Cox & Marshall, 2007) muestra que cualquiera sea el tipo de TIC utilizado, cmo se adapta y se implementa para el uso curricular afectar el impacto en los alumnos (Cox & Marshall, 2007). Hasta ahora no existen estudios longitudinales a gran escala del impacto de las TICs como los disponibles en los proyectos de desarrollo curricular. Esto no hace posible establecer lineamientos especficos de cmo, cundo, y bajo que circunstancias los docentes pueden disear mtodos apropiados para que una competencia sea aprendida de la mejor forma posible (Cox & Marshall, 2007). El tercer tipo de problemas corresponde a los enfoques pedaggicos de los profesores. Los estudios muestran que el enfoque pedaggico del profesor tiene un gran impacto en el uso de las TICs de sus alumnos y por lo tanto en sus logros de aprendizaje (Cox & Webb, 2004). Incluso, la evidencia muestra que estos efectos son mayores cuando los docentes usan sus conocimientos tanto de la asignatura, como de la forma en que sus alumnos aprenden dichos contenidos en la asignatura que imparten (Cox & Marshall, 2007). Por lo tanto, el impacto de las TICs en la enseanza y aprendizaje se ve limitado cuando los docentes no aprecian que la interactividad requiere nuevos enfoques pedaggicos y repensar como planifican sus clases y el currculum completo. Estudiar el impacto de las TICs, tambin significa medir tanto la experticia de profesores como la relevancia del software y su uso en todo el currculum (Cox & Marshall, 2007). Finalmente, el cuarto tipo de problemas tiene que ver con la seleccin de los instrumentos de evaluacin y cmo interpretar sus resultados. Muchos de los estudios previos respecto al impacto de las TIC en educacin, muestran que los instrumentos y los mtodos utilizados no miden realmente los objetivos y resultados de aprendizajes promovidos por usos especficos de las TICs (Trucano, 2005; Cox & Marshall, 2007). Se buscan mejoras en procesos y conocimientos tradicionales en vez de nuevas formas de conocimiento y razonamiento que podran resultar del uso de las TICs (Penuel, 2005; Cox & Marshall, 2007) como, por ejemplo, las denominadas competencias del siglo 21 (www.atc21s.org). La evidencia de investigacin es ms robusta y confiable cuando las pruebas estn relacionadas directamente con los efectos probables de las TICs en el aprendizaje de los resultados (Cox & Abbot, 2004). Sin embargo, estos no son todos los inconvenientes que podemos encontrar. Hay otra serie de dificultades que se relacionan con el cmo medir, especficamente debilidades en la aplicacin de comparaciones experimentales en la evaluacin de las TIC en educacin, muchas de las cuales lamentablemente no son reconocidas o son ignoradas (Reeves, 2008) y que discutiremos a continuacin. 8

Nussbaum, M. & Rodrguez, P. (2010) Perspectivas de la inclusin de las TICs en educacin y su evaluacin en el logro de aprendizajes En primer lugar, el estricto control al tratamiento de las variables control y experimental que requieren las metodologas de experimentacin, es imprctico en la mayora de los contextos educativos sujetos a evaluacin (Marshall & Cox, 2008). Las salas de clases no son laboratorios experimentales donde los investigadores pueden comparar la efectividad de la tecnologa con los mtodos tradicionales controlando todas las otras variables (Pilkington, 2008). Por lo tanto, aunque los experimentos con asignacin aleatoria puedan ser considerados por muchos como el estndar de oro (Slavin, 2008), la dificultad de aislar el rol de la tecnologa en el contexto educativo puede debilitar el valor de las conclusiones obtenidas (Pilkington, 2008). Se debe complementar con otros mtodos, especialmente cualitativos para entender las causas de los efectos encontrados (Chatterji, 2005; Light, 2008). En segundo lugar, dcadas de estudios de evaluacin claramente indican que hay sustantivas diferencias entre el diseo de los ambientes de enseanza-aprendizaje apoyadas por TICs y su implementacin real (Penuel, 2005; Reeves, 2008) y por tanto la evaluacin recoge solo esta ltima, que adems como proceso est pobremente entendida (Trucano, 2005; Reeves, 2008). Es decir, se evala lo que ocurri en lugar de lo que se quiso implementar, que es un problema relacionado con la ausencia de mecanismos de seguimiento como ya se mencion en la seccin anterior. En tercer lugar, en los estudios experimentales, los instrumentos utilizados para medir resultados educativos son rara vez investigados lo suficiente respecto a su confiabilidad y validez (Marshall & Cox, 2008), lo cual puede invalidar los hallazgos de dichas experiencias (Chatterji, 2005). Estas pruebas se focalizan en resultados que son ms bien fciles de medir, ms que en aquellos que son ms importantes, pero difciles de medir (Reeves, 2008). En cuarto lugar, un enfoque experimental puede determinar solamente que mtodo (clase tradicional vs. con apoyo de tecnologa) fue ms efectivo, pero no indica las razones de ello (Chatterji, 2005; Reeves, 2008), como ocurri en los recientes estudios para evaluar el uso de software de lectura y matemticas en Estados Unidos (Dynarski et al., 2007; Campuzano et al., 2009) que no encontraron efectos significativos del uso de software en dichas asignaturas, pero no entregan una explicacin del porqu. Un quinto problema relacionado con lo anterior es que si bien la evaluacin puede arrojar diferencias estadsticamente significativas, especialmente cuando grandes tamaos muestrales estn involucrados, la significancia social o educativa de dichos resultados es a menudo, dbil (Reeves, 2008), por ejemplo diferencias estadsticamente significativas con un tamao del efecto muy bajo (Fan, 2001).

4 Un modelo conceptual para el diseo, implementacin y evaluacin de programas de informtica educativa

De la revisin bibliogrfica y los problemas planteados en las secciones anteriores, surge el desafo de cmo integrar armoniosamente el diseo, la implementacin y la evaluacin de programas educativos basados en TIC que produzcan innovaciones que tengan una mayor probabilidad de xito, evitando cometer los errores del pasado. En esta seccin introducimos un modelo conceptual que permite abordar el problema.

4.1 Conceptos y antecedentes

A continuacin pasamos revisar los conceptos necesarios para entender el modelo y consideraciones bsicas respecto al diseo de los estudios que se utilizan durante la implementacin del mismo.

4.1.1

Programa de Informtica Educativa

Un Programa de Informtica Educativa (PIE), responde a la definicin ms amplia de programa educativo, entendido como un conjunto de procedimientos replicables, materiales, mecanismos de desarrollo profesional o configuraciones de servicio que los educadores pueden escoger implementar para mejorar los resultados de los estudiantes (Slavin, 2008), que integra el uso de las TICs. Siguiendo esta definicin y respondiendo a la problemtica del diseo e implementacin ya discutida, un PIE puede ser conceptualizado a travs de las siguientes componentes: modelo pedaggico, proceso de intervencin y proceso de transferencia (Rodrguez, 2008).

Nussbaum, M. & Rodrguez, P. (2010) Perspectivas de la inclusin de las TICs en educacin y su evaluacin en el logro de aprendizajes El modelo pedaggico apoyado por TICs (en adelante simplemente modelo pedaggico) define qu debe llevarse a cabo apropiadamente dentro de las escuelas (Penuel, 2005). El proceso de intervencin corresponde a cmo el modelo pedaggico es instalado y adaptado al contexto de la escuela, desarrollando en los profesores y estudiantes las competencias para la implementacin autnoma del programa a travs de actividades como cursos de capacitacin de profesores, experiencias prcticas y observaciones de clases, todas ellas de acuerdo a un plan (Rodrguez et al., 2010). Adems, durante la intervencin se requiere poner en marcha un esquema de seguimiento y evaluacin (S+E) que permita establecer la fidelidad de la implementacin y si realmente la adopcin se produce, a travs de indicadores de proceso y resultados (Wagner et al., 2005). As, el proceso de integracin de tecnologa en el contexto escolar se hace sustentable maximizando las posibilidades de impacto (Rodrguez et al., 2010). La componente final del PIE es el proceso de transferencia que corresponde a un programa de formacin de profesionales, que lleven a cabo fielmente el proceso de intervencin a una escala masiva (Rodrguez, 2008). Estos componentes explicitan la lgica subyacente del PIE, conocida tambin como teora del programa (Chatterji, 2005). El componente central de un PIE es el modelo pedaggico, que especifica los supuestos de cmo aprenden los alumnos (Penuel, 2005; Cox & Marshall, 2007), las habilidades requeridas por stos (Cox & Marshall, 2007), los cambios propuestos de prcticas con el uso de TICs en los profesores (Penuel, 2005), las competencias requeridas por ellos (Cox & Webb, 2004), los atributos del modelo que permitirn introducir dichos cambios (Cox & Marshall, 2007), y especialmente cmo y en qu debieran manifestarse los resultados (Agodini et al., 2003; Penuel, 2005; Cox & Marshall, 2007; Light, 2008). Todo lo anterior de acuerdo a una teora que lo sustente (McFarlane, 2001; Lai, 2008; Marshall & Cox, 2008; Reeves, 2008). Un modelo pedaggico apoyado por TICs puede especificarse en funcin de los componentes curriculares del aprendizaje de los alumnos (Van den Akker, 2003), que son el fundamento (por qu aprenden?), las metas y objetivos (hacia qu objetivos aprenden?), los contenidos (qu aprenden?), las actividades de aprendizaje (cmo aprenden?), el rol del profesor (cmo se facilita el aprendizaje?), materiales y recursos (con qu aprenden?), agrupamiento (con quines aprenden?), lugar (dnde aprenden?), tiempo (cundo aprenden?) y la evaluacin (cul es el progreso?). Otros autores, expresan el modelo pedaggico en trminos de los cambios que ocurren dentro de la escuela denominndolos dominios de innovacin (Mioduser et al., 2003). Dichos dominios corresponden a la configuracin espacial, temporal y digital (dnde aprenden?, cundo aprenden?, cul es alcance y apertura de las entidades virtuales con las cuales el alumno interacta?), el rol del estudiante (cmo vara el comportamiento de los alumnos?), del profesor (cmo se relaciona con sus alumnos y colegas?) y el currculum (cules son los cambios en contenidos, soluciones didcticas y mecanismos de evaluacin?). Tanto los componentes curriculares como los dominios de innovacin sirven para caracterizar la integracin de las TICs dentro del proceso de enseanza-aprendizaje, haciendo explcitos cules son los cambios de prcticas que requieren ser estudiados. Por su parte, el proceso de intervencin (Rodrguez, 2008) debe detallar: las actividades a llevar a cabo dentro del establecimiento (qu hacer), los actores dentro del establecimiento que se vern afectados (para quines); los diagnsticos, plan de trabajo, la capacitacin a los profesionales de la escuela y el plan de seguimiento y evaluacin (cmo hacerlo); los recursos TIC, materiales y documentos (con qu) y una definicin de perfiles del equipo que realizar la intervencin (con quines). Finalmente el proceso de transferencia (Rodrguez, 2008), que forma a los profesionales que realizan la intervencin, estar compuesto por los planes de formacin del equipo en: el modelo pedaggico de la innovacin, la intervencin propiamente tal y la implementacin del mecanismo de seguimiento y evaluacin. La definicin de un programa de informtica educativa permite una mayor articulacin entre los distintos componentes operativos de las polticas de TIC en educacin: desarrollo de infraestructura, capacitacin de profesores, soporte tcnico, cambios pedaggicos y curriculares y desarrollo de contenidos (Kozma, 2008) en un proyecto integral. Esto es no menor, ya que algunos autores creen que la falta de alineamiento de las componentes operativos en la poltica explica en parte la situacin actual de las TICs en educacin (Moonen, 2008)

4.1.2

Qu medir y tipos de estudios de evaluacin

Un segundo grupo de conceptos que es necesario distinguir en el contexto de la evaluacin de programas de informtica educativa son la eficacia, efectividad y eficiencia. Se estudia la eficacia cuando se evala en 10

Nussbaum, M. & Rodrguez, P. (2010) Perspectivas de la inclusin de las TICs en educacin y su evaluacin en el logro de aprendizajes ambientes controlados si es que la tecnologa podra mejorar los resultados de los alumnos. (Agodini et al., 2003). Se estudia la efectividad cuando se evala si realmente usando la tecnologa se obtienen mejores resultados en los contextos educativos para que fueron diseados (Agodini et al., 2003). Por su parte, la eficiencia aade a la efectividad los costos del programa, para medir su aplicabilidad y replicabilidad prctica. Por otro lado, los estudios de evaluacin para medir los conceptos anteriores las dividiremos en dos grandes grupos: formativos y sumativos. Los estudios de evaluacin formativos, se llevan a cabo para mejorar los ambientes de enseanza-aprendizaje durante su desarrollo, mientras que los estudios sumativos buscan demostrar su impacto una vez finalizado (Reeves, 2008).

4.1.3

Metodologas de investigacin: Design research

Existe una rea emergente de investigacin de TICs en educacin denominada design research tambin conocida como design studies/experiments, development(al) research, engineering research, investigacin formativa o evaluacin (Van den Akker et al., 2006). Esta rea de investigacin es de especial inters para definir nuestro marco conceptual porque busca: 1) estudiar problemas complejos en contextos educativos reales en colaboracin con los usuarios; 2) integrar la teora y principios existentes con tecnologa para producir soluciones para dichos problemas; 3) conducir una rigurosa investigacin para probar y refinar la solucin y 4) producir nuevos principios de diseo (Reeves, 2006). Por lo tanto, se trata de un procedimiento iterativo de diseo, uso y rediseo (Cox, 2008; Reeves, 2008) para construir una intervencin ideal (Van den Akker et al., 2006) entendiendo cabalmente cmo funciona (Reeves, 2006). El ciclo de desarrollo de la investigacin de diseo se muestra a continuacin en la Figura 1 donde se compara con la investigacin tradicional o predictiva.

Hiptesis basadas en observaciones y/o teoras existentes

Experimentos diseados para probar las hiptesis

Mejora de la teora basado en los resultados de las pruebas

Aplicacin de la teora por parte de los profesionales del rea

Especificacin de nuevas hiptesis

Anlisis de problemas reales por investigadores y profesionales del rea en colaboracin

Desarrollo de soluciones informadas por principios de diseo existentes e innovaciones tecnolgicas

Ciclos iterativos de pruebas y refinamiento de la solucin en la prctica

Reflexin para producir principios de diseo y mejorar la implementacin de la solucin

Refinamiento del problema, la soluciones, mtodos y principios de diseo

Figura 1: En la parte superior el enfoque de la investigacin tradicional y en la inferior el estudio de diseo educativo (Reeves, 2006) .

4.1.4

Diseo de estudios

Para conducir la investigacin que proponen los estudios de design research, se deben considerar una serie de mtodos tanto cuantitativos como cualitativos. Los estudios con mtodos cuantitativos permiten determinar la efectividad del programa examinado, pero no arrojan indicios sobre cmo, porqu y cundo funciona por lo cual deben complementarse con mtodos cualitativos que entreguen informacin de contexto que expliquen los resultados (mtodos mixtos) (Frechtling, 2002; Chatterji, 2005; Reeves, 2008). Los mtodos a usar debern estar asociados con los objetivos de investigacin planteados (ver Tabla 4 en la seccin 4.2.3) para ser utilizados por los investigadores tanto en los estudios formativos como en los sumativos. Dentro de los estudios sumativos, existen los denominados estudios de evaluacin de impacto, que buscan identificar sistemticamente los efectos tanto positivos o negativos causados por el desarrollo de proyecto o programa (World Bank, 2004). Los dos modelos de evaluacin de impacto ms importantes son: Diseos experimentales con asignacin aleatoria: los sujetos son asignados aleatoriamente a la condicin experimental (participa en el programa) o a la control (no participa). Cuestionarios u otros 11

Nussbaum, M. & Rodrguez, P. (2010) Perspectivas de la inclusin de las TICs en educacin y su evaluacin en el logro de aprendizajes instrumentos de evaluacin especialmente pruebas de aprendizaje son aplicadas antes (pre-test) y despus (post-test) de la implementacin. Cuando existen niveles mayores de aleatorizacin (curso, profesor, escuela) la manera adecuada de analizar estos diseos es a travs de modelos lineales jerrquicos (Slavin, 2008). Diseos cuasi-experimentales: cuando la aleatorizacin no es posible, el grupo control se selecciona de forma que homologue las caractersticas del grupo experimental lo mejor posible (control pareado). Cuando una escuela o cursos son asignados aleatoriamente para recibir el programa, pero hay demasiado pocos de ellos para efectuar un anlisis usando modelos lineales jerrquicos, se habla de cuasiexperimentos aleatorios (Slavin, 2008). Estos diseos pueden ser adems de dos tipos: prospectivos y retrospectivos (Slavin, 2008). En los cuasi-experimentos prospectivos, los grupos control y experimental se definen a priori, mientras que en los retrospectivos se definen posterior a la implementacin.

La evidencia sugiere que cuando los grupos control y experimental estn bien pareados, se usan covariables relacionadas con el pre-test para ajustar los resultados, y no hay sesgos de seleccin a nivel de estudiantes, ambos tipos de experimentos producen resultados similares (Slavin, 2008). Por lo tanto, si un diseo experimental no es posible especialmente por motivos de orden prctico discutidos en la seccin 3, un cuasi-experimento prospectivo bien diseado es un buen sustituto (Chatterji, 2005; Slavin, 2008). No son recomendables los cuasi-experimentos retrospectivos ya que producen resultados sesgados a favor del grupo que participa en el programa (Slavin, 2008). Para comparar el desempeo de los grupos se utilizan distintos instrumentos de evaluacin, y se debe asegurar que stos, especialmente los que miden el aprendizaje, tengan la suficiente confiabilidad. sta se mide en trminos de la consistencia interna de los temes que componen la prueba. Por lo tanto, cuando se construyan instrumentos especficos que evalen aprendizajes u otras aspectos que pruebas estandarizadas no recojan, deben aplicarse previamente a una poblacin similar a la objetivo para medir la consistencia interna del instrumento. Uno de estos indicadores es el denominado alfa de Cronbach (Cronbach, 1951), que para propsitos de comparar dos grupos, este indicador debe tener valores superiores a 0,7 u 0,8 (Bland & Altman, 1997). En las evaluaciones de impacto, los resultados de los grupos se comparan a travs del denominado tamao del efecto o de Cohen (Cohen, 1998) que corresponde a la diferencia estandarizada de medias del indicador de impacto entre los grupos experimental y control (Fan, 2001). El tamao del efecto debe calcularse en relacin al post-test ajustado por el pre-test, y si este resultado corregido no est disponible deben restarse los tamao del efecto del post y pre-test (Slavin, 2008). En trminos generales, el tamao del efecto se clasifica en pequeo (0,2 < 0,5), mediano (0,5 < 0,8) y grande ( 0,8). En el caso de las TICs, el tamao del efecto esperado para una innovacin flucta entre 0,25 y 0,35 (Agodini et al., 2003; Dynarski et al., 2007). Esto es consistente con la evidencia que proveen los meta-anlisis, que son metodologas que a travs de anlisis estadsticos combinan resultados de distintos estudios empricos (Liao & Hao, 2008). La combinacin de distintos estudios de meta-anlisis indica que el tamao del efecto total en aspectos cognitivos es de 0,41 en el caso de las tecnologas instruccionales y de 0,17 para el e-learning, siendo el tamao del efecto combinado entre ambas de 0,29 (Liao & Hao, 2008). Adems de calcular el tamao del efecto, se deben realizar pruebas de significancia estadstica que indiquen que si hay o no diferencias entre los grupos experimental y control en alguna direccin. Existen dos tipos de errores que deben controlarse apropiadamente cuando se realizan estas pruebas. El primero es el error de tipo I (con una probabilidad de ocurrencia), que es cuando se afirma que existe diferencia cuando en realidad no la hay (falso positivo). El segundo es el error de tipo II (con una probabilidad de ocurrencia) que consiste en declarar que no se han encontrado diferencias estadsticamente significativas cuando s las hay (falso negativo). El nivel aceptable del error de tipo I normalmente se fija en una probabilidad =0,05; mientras que la potencia estadstica (con probabilidad 1- ) de la prueba, tiene un valor convencionalmente aceptado mnimo de 0,8 (Fox & Mathers, 1997). Tambin los tamaos muestrales estn directamente relacionados con el tamao del efecto buscado, la significancia estadstica y la potencia de la muestra tal como se muestra en la Figura 2, donde se grafican distintos tamaos del efecto en relacin al tamao total de la muestra (asumiendo grupos control y experimental combinados y de igual tamao) y la potencia de la prueba.

12

Nussbaum, M. & Rodrguez, P. (2010) Perspectivas de la inclusin de las TICs en educacin y su evaluacin en el logro de aprendizajes

Prue ba t para dife re ncias de me dias de dos mue stras inde pe ndie nte s (2 grupos)
(2 colas), muestras iguales =0,05 900 800 700 600 500 400 300 200 100 0 0,80

Tamao de la muestra tot al

= 0,25 = 0,35 = 0,45 = 0,55 = 0,65 = 0,75

0,82

0,84

0,86

0,88

0,90

0,92

0,94

Potencia (1-)

Figura 2: Detectar tamaos del efecto pequeos minimizando el error de tipo II, requiere cada vez de tamaos muestrales ms grandes.

Como puede observarse en la Figura 2, para = 0,05 en la medida que el tamao del efecto a detectar es pequeo y se maximiza la potencia (partiendo de 1 - = 0,8) los estudios requieren una muestra de tamao importante. Por ende, una tecnologa con un tamao del efecto pequeo tiene una reducida significancia prctica y adems sta es costosa de demostrar. Tambin se debe considerar que los tamaos del efecto de una innovacin van disminuyendo en la medida que crece la poblacin afectada (Slavin, 2008; Slavin & Smith, 2009). Esto significa que hay que asegurar la mxima eficacia posible desde etapas tempranas del desarrollo de la innovacin, para que cuando esta sea aplicada en gran escala produzca resultados que sean importantes, y por tanto sean costo-efectivos. Si la eficacia en instancias tempranas no es la suficiente, es posible que no valga la pena seguir desarrollando el programa de informtica educativa. Adicionalmente, cuando en una misma experiencia se prueban mltiples hiptesis, es decir, se mide el impacto comparando los grupos experimental y control en ms de un resultado, los errores de tipo I y II de las distintas pruebas estadsticas se combinan, produciendo resultados errneos (Schochet, 2008). Para ello se deben seguir lineamientos y procedimientos de correccin que se describen en mayor detalle en un reporte tcnico del Institute of Education Sciences de Estados Unidos (Schochet, 2008). La significancia y el tamao del efecto deben ser interpretados en conjunto para obtener conclusiones fidedignas (Fan, 2001). A continuacin en la Tabla 2, se sintetiza una gua para interpretar los resultados combinados de significancia estadstica y tamao del efecto para intervenciones educativas.

13

Nussbaum, M. & Rodrguez, P. (2010) Perspectivas de la inclusin de las TICs en educacin y su evaluacin en el logro de aprendizajes

Tabla 2: Guas para interpretar de los resultados de una experiencia combinando los resultados encontrados de la significancia estadstica con el tamao del efecto (Fan, 2001) Tamao del efecto (significancia prctica) Mediano

Pequeo

Grande

1.

Aparentemente no hay ni efectos estadsticos ni prcticos A menos que la investigacin futura indique lo contrario, la hiptesis nula es favorecida tanto en trminos estadsticos como prcticos.

1.

2.

Los efectos de la muestra son prometedores, pero se debe tener cautela en interpretar el tamao del efecto por s mismo, porque un efecto medio puede ser resultado del azar, aun cuando parece ser prcticamente significativo. Si hay preocupacin respecto al error de tipo II, revisar la potencia de la prueba t porque si el tamao de la muestra es muy pequea, puede que no se tenga el poder estadstico suficiente para detectar un efecto significativo.

1.

Existe evidencia de que algn efecto significativo existe, pero debe tenerse un poco de precaucin respecto al tamao de este efecto, porque puede ocurrir por azar si la muestra es muy pequea. Si el error tipo II es una preocupacin, revisar crticamente la falta de potencia del test estadstico. Tentativamente, favorecer la significancia prctica del efecto, pero mantenerse abiertos para resultados de otras investigaciones de mayor profundidad. Hay un alto grado de certeza de que el efecto observado no se debe al azar y que la magnitud del efecto tiene significancia prctica. Concluya con confianza que el efecto es significativo tanto en un sentido prctico como estadstico.

No

2.

2.

Significancia estadstica

3.

1.

La significancia estadstica no est acompaada de la significancia prctica, pudiendo deberse sta ltima a la potencia estadstica del test (N grande). Hay que tener considerable precaucin en interpretar los resultados de significancia estadstica y no debieran interpretarse que tengan un sentido de significancia prctica.

1.

Es muy poco probable que el efecto observado se deba al azar. La magnitud del efecto es importante en muchas reas de las ciencias sociales y del comportamiento. Concluya que el efecto es significativo tanto en un sentido prctico como estadstico

1.

2.

2.

Si

2.

3.

Los resultados ms confiables respecto al impacto de la tecnologa se producen cuando se combinan la existencia de la significancia estadstica con tamaos del efecto mediano y grande. Las otras combinaciones requieren ms investigacin, corrigiendo ciertos aspectos ya mencionados como la potencia de la prueba.

4.2 Etapas del modelo conceptual

El objetivo del modelo conceptual es ofrecer una metodologa que descomponga el proceso de diseo y desarrollo de un programa de informtica educativa en etapas donde se construyen incrementalmente cada una de sus componentes. El modelo considera tres etapas: la etapa 1 donde se construye el modelo pedaggico dando cuenta de la eficacia de la innovacin; la etapa 2 donde se construye el proceso de intervencin con su correspondiente esquema de seguimiento y evaluacin para su aplicacin en contexto educativos reales (efectividad); y la etapa 3 donde se construye el proceso de transferencia, adems de estudiar cambios a las etapas anteriores que permitan reducir los costos del proceso manteniendo un mismo nivel de efectividad (eficiencia). En cada etapa se aplica una serie de evaluaciones formativas que permiten mejorar el diseo (Reeves, 2008), adems de construir y probar los instrumentos de evaluacin de las variables relevantes para la evaluacin sumativa (Chatterji, 2005; Penuel, 2005; Marshall & Cox, 2008). Las evaluaciones formativas debern contestar la pregunta si es que la innovacin est lista para evaluar sus efectos (Chatterji, 2005). Al menos una

14

Nussbaum, M. & Rodrguez, P. (2010) Perspectivas de la inclusin de las TICs en educacin y su evaluacin en el logro de aprendizajes de ellas debe llevarse a cabo antes de aplicar una evaluacin sumativa, para responder las preguntas respecto a las causas de los efectos encontrados (Chatterji, 2005). El paso de una etapa a otra se determina a travs de una evaluacin sumativa que mide el impacto del diseo consolidado de la componente respectiva. De obtenerse los resultados esperados, se pasa a la siguiente etapa donde adems se disean los procesos a ser probados. Por ejemplo, al trmino de la etapa de la eficacia se contar con un modelo pedaggico completamente desarrollado con una nocin del impacto que es posible lograr; al que se debe agregar el proceso de intervencin para ser probado en la etapa de efectividad. El proceso completo se ilustra a continuacin en la Figura 3.
Escala de la implementaci implementacin
(tamao muestral evaluacin sumativa de cada etapa) Producto final: Programa de Informtica Educativa

Especificaci documentaci Especificacin y documentacin de procesos

Desarrollo de un esquema de S+E

+ nuevo diseo

Eficiencia
Transferencia

Efectividad
Intervencin

+ nuevo diseo

Eficacia
Modelo pedaggico

Resultado final etapa Diseo inicial

Evaluacin sumativa

Ciclo iterativo de diseo, uso y rediseo con evaluacin formativa y sumativa

Tiempo del ciclo

Figura 3: Ciclo de diseo y desarrollo de programas de informtica educativa que consiste en tres ciclos de desarrollo de soluciones prototipo que finaliza con una evaluacin sumativa de resultados dependientes de la etapa.

En la medida que se avanza en las etapas, se requieren estudios en contextos educativos reales, que requieren un mayor tiempo y escala de implementacin alargando la duracin del ciclo (representado por el dimetro de cada crculo en la Figura 3). Tambin se van especificando y documentando los procesos en mayor detalle como parte del desarrollo del proceso de transferencia que produzca la escalabilidad deseada del programa final. A continuacin, para cada etapa, se identifica qu evaluar, la escala y tiempo requerido de la implementacin necesarios para efectuar la evaluacin.

4.2.1

Eficacia

En la etapa de eficacia, entendida esta como el grado en el que una determinada intervencin, procedimiento, rgimen, o servicio originan un resultado beneficioso en condiciones ideales, el objetivo central es el desarrollo del modelo pedaggico (expresado ya sea en trminos de las componentes curriculares o dominios de innovacin) para responder si ste podra tener resultados en el aprendizaje de los alumnos. Normalmente el componente central del modelo pedaggico es un ambiente de enseanza-aprendizaje apoyado por TICs. Por lo tanto, el ciclo de evaluacin formativa busca obtener informacin que gue las decisiones para mejorar el software educativo a travs de ensayos con alumnos en escuelas (Reeves, 2008). Los elementos centrales a evaluar durante esta etapa son: La pertinencia, es decir, la utilidad que los profesores perciben (Penuel, 2005) y su relevancia respecto al curriculum completo (Cox & Marshall, 2007) y si puede ser usados en distintos contextos curriculares (Reeves, 2008).

Etapas del proceso de diseo y desarrollo con su respectivo nfasis

15

Nussbaum, M. & Rodrguez, P. (2010) Perspectivas de la inclusin de las TICs en educacin y su evaluacin en el logro de aprendizajes Los supuestos en los cuales est basado respecto a las teoras de aprendizaje que lo sustentan; las actitudes de profesores y alumnos; el nivel de entendimiento conceptual y desarrollo cognitivo de los alumnos (Penuel, 2005; Cox & Marshall, 2007; Marshall & Cox, 2008). El ambiente de enseanza-aprendizaje, especialmente en trminos de facilidad de uso (Penuel, 2005), su transparencia de uso para la educacin (Cox, 2008); a cmo el material de la asignatura es representado (Cox, 2008); cmo la interaccin humano-computador es dividida entre manipular el software e involucrarse con una actividad de aprendizaje ms profunda (Cox, 2008; Marshall & Cox, 2008) y cmo los estudiantes interpretan el conocimiento cuando se involucran con nuevas presentaciones e interacciones humano-computador (Cox, 2008). Existen guas y metodologas para evaluar estos aspectos (Squires & Preece, 1999; Reeves, 1994, 2006). La alfabetizacin en el medio TIC requerida para su uso (Marshall & Cox, 2008), ya que cmo los alumnos piensan respecto al problema o tarea es influenciada por su familiaridad con las TICs y el ambiente de enseanza-aprendizaje con el cual trabajan (Cox & Marshall, 2007). El impacto en el aprendizaje de los alumnos, medidos en trminos de las habilidades y conocimientos que la innovacin espera afectar (Penuel, 2005; Cox & Marshall, 2007).

Esta informacin puede ser recogida de muchas formas y de distintas fuentes, desde expertos en la asignatura hasta alumnos que son representativos de la audiencia objetivo para las herramientas TICs (Reeves, 2008). Algunas de las principales actividades a llevar a cabo durante la evaluacin formativa incluyen: entrevistas en profundidad con profesores, observacin directa de sala de clases y revisin de documentos, especialmente los estndares del gobierno local, la planificacin de las clases y datos demogrficos que caractericen la diversidad de las salas de clases objetivo (Penuel, 2005). Otras actividades son la revisin de expertos, observaciones de usuarios y pruebas de usabilidad (Reeves, 2008). Los mtodos de investigacin asociados a los objetivos de evaluacin de esta etapa se muestran en la sntesis que se indica en la Tabla 4, en la seccin 4.2.4. La duracin de la implementacin de la evaluacin sumativa de la etapa debe durar lo suficiente para que se suministre evidencia de que el programa puede ser usados por perodos extensos (Slavin, 2008). Dado que estudios muy cortos tienen una validez externa baja, algunos autores fijan un criterio de duracin mnima de 12 semanas (Slavin, 2008). Respecto del tamao muestral para la evaluacin de impacto en el aprendizaje, ste depender del tamao del efecto esperado (ver Figura 2), el cual debiera ser entre mediano y grande, pensando en que luego es posible que parte de la eficacia se pierda cuando los profesores implementen el programa.

4.2.2

Efectividad

En esta etapa, entendida como el grado en que una determinada intervencin, procedimiento, rgimen o servicio puestos en practica logran lo que se pretende conseguir para una poblacin determinada, el objetivo principal es desarrollar el proceso de intervencin con su respectivo esquema de seguimiento y evaluacin que permita establecer si la adopcin del modelo pedaggico se produjo o no. Los elementos centrales a evaluar durante esta etapa son: El contexto donde se implementar el programa, expresado en trminos de los tipos particulares de clases donde se lleva a cabo (tipo y cantidad de alumnos) (Penuel, 2005) y otros como por ejemplo, la organizacin de la escuela, roles del personal, experiencia de los profesores e infraestructura que permitan evaluar los cambios a travs del tiempo (Marshall & Cox, 2008). Las variables que midan el contexto deben tener relacin con los obstculos o habilitadores del uso de TIC en la escuela. Adems, permitir entender la relacin entre el ambiente de aprendizaje y el contexto ms amplio (Marshall & Cox, 2008). El proceso de intervencin expresado en trminos de sus componentes: actividades a llevar a cabo dentro del establecimiento, los diagnsticos, plan de trabajo, la capacitacin a los profesionales de la escuela y el plan de seguimiento y evaluacin; adems de los recursos TIC, materiales y documentos a ser utilizados (Rodrguez, 2008).

16

Nussbaum, M. & Rodrguez, P. (2010) Perspectivas de la inclusin de las TICs en educacin y su evaluacin en el logro de aprendizajes La fidelidad de la implementacin por parte de los profesores, expresada en trminos de las prcticas crticas que ellos deben implementar, para desarrollar medidas de cundo y cmo estos aspectos son llevados a cabo en las salas de clases (Penuel, 2005). Esto refleja la efectividad del proceso de intervencin y la adopcin de la innovacin que es la que determina finalmente los resultados que logran los alumnos (Rodrguez et al., 2010) El impacto en el aprendizaje de los alumnos, medidos en trminos de las habilidades y conocimientos que la innovacin espera afectar (Penuel, 2005; Cox & Marshall, 2007). La relacin entre la variabilidad de la implementacin y los resultados, que permite entender los lmites de aplicabilidad del programa y explica las variaciones de efectividad dentro de la implementacin de la innovacin (Penuel, 2005).

Respecto del contexto existen una serie de modelos que conceptualizan el entorno en el cual se busca integrar un modelo pedaggico apoyado por TICs identificando actores y sus relaciones; habilitadores u obstculos que enfrenta el programa y apoyo al proceso (Kirkman, 2000; Mooij & Smeets, 2001; Lim, 2002; Tearle, 2003, 2004; Nachmias et al. 2004; Plomp et al., 2007). Estos modelos pueden ser usados como gua para elaborar las estrategias de la intervencin. En el caso del proceso de intervencin, el esquema de seguimiento y evaluacin es el que precisamente permite medir la fidelidad de la implementacin. Este esquema requiere definir una serie de indicadores (entrada, procesos y resultados), con sus respectivos instrumentos de evaluacin y un plan de seguimiento (Rodrguez et al., 2010). Los indicadores de entrada miden las condiciones de contexto y el objetivo es identificar cules de ellas se deben mantener en el tiempo para que la innovacin sea sustentable. Los indicadores de procesos miden dos aspectos: el cumplimiento del plan de la intervencin y la adopcin de las prcticas que el modelo requiere para ser exitoso. Los indicadores de resultados reflejan el impacto directo de la implementacin del programa como el desarrollo de competencias en los profesores o mejoras de aprendizajes de los alumnos. Los instrumentos de evaluacin son las herramientas con que se miden los indicadores anteriormente descritos, y pueden ser de tipo cuantitativo o cualitativo dependiendo de lo qu est siendo medido. Ejemplos de instrumentos son pruebas de aprendizaje, pautas de observacin de sala de clases y encuestas. El plan de seguimiento determina cundo se aplican los diferentes instrumentos de evaluacin, implementando la evaluacin de procesos. Por lo tanto, en esta etapa, el ciclo formativo involucrar un conjunto de estudios pilotos para refinar los instrumentos de evaluacin y asegurar validez y confiabilidad de los mismos (Penuel, 2005; Marshall & Cox, 2008). Adems, las evaluaciones formativas recogern informacin valiosa de la implementacin como por ejemplo, si los alumnos entendieron todo o solo parte del material usado, participaron de las actividades instruccionales, si entendieron las instrucciones o tenan la madurez mental necesaria para involucrarse completamente en la tarea, si es que las prcticas pedaggicas de los profesores fueron orientadas a todos los alumnos o no, y si el tiempo ocupado para la instruccin fue suficiente para entender las tareas (Marshall & Cox, 2008). Tambin pueden arrojar luces respecto a qu procesos cognitivos fueron usados por los alumnos para resolver los problemas (Marshall & Cox, 2008) y si los profesores adaptaron la innovacin en una forma que socava los principios con el cual fue diseada (Penuel, 2005). De esta forma los estudios formativos (cules son las condiciones iniciales?, qu factores crticos demoraron, impidieron o deformaron el plan original?) entregarn factores clave para que los datos recopilados en el estudio sumativo expliquen el xito o fracaso del programa y permitan mejorarlo (Chatterji, 2005; Marshall & Cox, 2008). Los mtodos de investigacin asociados a los objetivos de evaluacin de esta etapa se muestran en la sntesis que se indica en la Tabla 4, en la seccin 4.2.4. La duracin de la implementacin de la evaluacin sumativa de la etapa debe durar lo suficiente para que se suministre evidencia de que el programas pueden ser usados por perodos extensos (Slavin, 2008). Dado que estudios muy cortos tienen una validez externa baja, algunos autores fijan un criterio de duracin mnima de 12 semanas (Slavin, 2008).Tambin, la investigacin previa demuestra que a los profesores y a las escuelas le toma tiempo adoptar innovaciones (Cox, 2008). Por lo tanto, el tiempo de implementacin debe ser el suficiente para que se produzca una adopcin mnima de acuerdo a criterios fijados por los diseadores y medidos a travs del esquema de seguimiento y evaluacin. Dado que la implementacin de acuerdo a los criterios fijados anteriormente debe durar al menos 12 semanas, dependiendo de la duracin de los procesos de intervencin el tiempo requerido debiera ser al menos un semestre.

17

Nussbaum, M. & Rodrguez, P. (2010) Perspectivas de la inclusin de las TICs en educacin y su evaluacin en el logro de aprendizajes Adicionalmente, el tamao del efecto medible debiera disminuir por la introduccin de ineficacias, propias del proceso de adopcin (Rodrguez et al., 2010). Por lo tanto, el tamao de la muestra debiera ajustarse para medir tamaos del efecto mediano a bajo (ver Figura 2). Adicionalmente hay que considerar que en caso que existan mltiples contextos educativos en que pueda aplicarse la innovacin, se requiere una adecuada representacin muestral de cada uno, lo que influir en el tamao final de la muestra a considerar. Tambin es importante incluir la mayor cantidad de docentes posibles para medir la relacin entre los resultados de aprendizaje de los alumnos y la adopcin del modelo pedaggico por parte de los profesores (Rodrguez et al., 2010).

4.2.3

Eficiencia

En esta etapa, los objetivos son desarrollar el proceso de transferencia, estimar cules son los costos totales del programa y estudiar mecanismos que permitan disminuirlos de forma de mejorar su costo-efectividad. De acuerdo a lo anterior, y asumiendo que los contextos educativos de uso de la innovacin fueron delimitados en la etapa de efectividad, los elementos centrales a evaluar son: La fidelidad de la intervencin por parte de los profesionales a cargo de ella. Esto permite evaluar la efectividad del proceso de transferencia. La fidelidad de la implementacin por parte de los profesores, expresada en trminos de las prcticas crticas que ellos deben implementar en las salas de clases (Penuel, 2005). El Costo Total de Apropiacin (TCO, del ingls Total Cost of Ownership) que se refiere a todos los costos asociados al uso de los computadores: hardware, software, costos administrativos, licencias, instalacin, actualizacin de software y hardware, capacitacin y desarrollo, mantencin, soporte tcnico y otros costos asociados con la adquisicin, implementacin, operacin, mantenimiento y actualizacin de los sistemas computacionales en una organizacin (Moyle, 2008). El impacto en el aprendizaje de los alumnos, medidos en trminos de las habilidades y conocimientos que la innovacin espera afectar (Penuel, 2005; Cox & Marshall, 2007). La relacin entre las variabilidades de la intervencin, la implementacin y los resultados, que explican las variaciones de efectividad dentro de la implementacin de la innovacin adems de la efectividad de los procesos de transferencia.

As como en la etapa de la efectividad se mide la fidelidad de la implementacin para asegurar que el modelo pedaggico est siendo aplicado adecuadamente, en esta etapa se mide la fidelidad de la intervencin para establecer que dichos procesos se llevan a cabo lo ms cercano posible al diseo ya validado. Esto porque cambios en la intervencin pueden repercutir en la adopcin de la innovacin por parte de los profesores y por ende en la implementacin final afectando los resultados. Al evaluar la fidelidad de la implementacin, la de la intervencin y los resultados es posible establecer relaciones de causalidad entre estos distintos elementos. Por su parte, la estimacin del TCO requiere identificar y definir al menos en trminos operacionales los activos tangibles e intangibles como las competencias de las personas que quedan instalados para establecer mecanismos para su cuantificacin (Moyle, 2008). Por ejemplo, dado que la etapa de efectividad se identific las competencias y prcticas que deben quedar instaladas, los costos asociados a estos activos intangibles sern la capacitacin de los profesores adems de los mecanismos de seguimiento y evaluacin que permitan identificar su adopcin. La duracin de la evaluacin sumativa requiere al igual que en la etapa de efectividad un tiempo suficiente para que se produzca la adopcin de la innovacin. Por ello, la implementacin debiera tener una duracin similar. El diseo de los estudios debe ser lo ms cercano al experimental aleatorio (ya sea a nivel de los alumnos, cursos, profesores o colegios participantes) de forma que la evidencia de la efectividad encontrada sea lo ms rigurosa y contundente posible, dando cuenta del real tamao del efecto que se produzca en la aplicacin en rgimen permanente del programa. Dado lo anterior, lo ms probable que el anlisis requiera de modelos jerrquicos lineales, por lo cual se requiere un adecuado tamao muestral a nivel de cursos y colegios para que las pruebas estadsticas tengan la potencia adecuada para detectar los tamaos del efecto buscados (Agodini et al., 2003). Agodini et al. (2003) discuten en ms detalle los temas conceptuales y estadsticos respecto a este tipo de estudios.

18

Nussbaum, M. & Rodrguez, P. (2010) Perspectivas de la inclusin de las TICs en educacin y su evaluacin en el logro de aprendizajes Los mtodos de investigacin asociados a los objetivos de evaluacin de esta etapa se muestran en la sntesis que se indica en la Tabla 4, en la seccin 4.2.4. Una medida de la costo-efectividad de un programa educativo es la relacin entre el tamao del efecto y el costo total de apropiacin del programa (Feinstein & Picciotto, 2001; Tan et al., 2001; Margolis et. al., 2006; Harris, 2009), ambos medidos en una unidad comn, como es el establecimiento tipo en que son aplicados y la poblacin afectada para determinar un costo por alumno. Buscar la eficiencia del programa significa cambiar algunos de sus componentes como la intervencin, los materiales o la propia tecnologa, reduciendo el costo. Sin embargo, se requiere evaluar si realmente estos cambios introducidos an permiten el logro de los objetivos del programa y si stos no se ven comprometidos manteniendo o reduciendo levemente la efectividad, lo cual implica moverse dentro del plano de la costo-efectividad. As por ejemplo en Figura 4, la costo-efectividad se mueve del punto (a) al punto (b), teniendo el punto (b) un menor costo que el punto (a), tambin con un tamao del efecto menor.

Tama Tamao del efecto

Ms efectivo

a b

0,8

0,5

Ms caro
0,25 0

Mnima efectividad

Costo por alumno

Figura 4: Modificaciones en los componentes del PIE significan un cambio en la costo-efectividad del programa educativo

Dado que el tamao del efecto disminuye en la medida que la poblacin afectada aumenta (Slavin, 2008; Slavin & Lake, 2008; Slavin et al., 2008; Slavin et al., 2009), y la estimacin del TCO final debiera disminuir hacia la etapa de eficiencia, la evolucin de la costo-efectividad debiera tomar la forma que se muestra a continuacin en la Figura 5.
Escala de la implementaci implementacin

Producto final: Programa de Informtica Educativa

Plano de costo-efectividad costo-

Eficiencia

Efectividad

Eficacia
Resultado final etapa

Mnima efectividad

Diseo inicial

Costo por alumno (estimado)

Tiempo del ciclo

Figura 5: Evolucin de la costo-efectividad en la medida que se desarrolla y evala un PIE.

4.2.4

Sntesis del modelo

En esta seccin, a modo de resumen, se esquematiza el modelo conceptual en tablas donde se indican las caractersticas principales de cada de sus etapas estableciendo los tipos de diseo de estudios posibles, las metodologas de investigacin e instrumentos asociados.

19

Nussbaum, M. & Rodrguez, P. (2010) Perspectivas de la inclusin de las TICs en educacin y su evaluacin en el logro de aprendizajes En primer lugar, la Tabla 3, muestra un esquema general donde se indican cuales son los objetivos de investigacin de las evaluaciones formativas y sumativas de cada etapa, qu evaluar y los posibles diseos detallados anteriormente en la seccin 4.1.4.
Tabla 3: Objetivos de la investigacin (Marshall & Cox, 2008) , elementos a evaluar y diseos posibles de los estudios para cada una de las etapas del modelo propuesto. Etapa Objetivos de investigacin Medir el impacto en el aprendizaje de los alumnos. Conocer los efectos en las estrategias y procesos de aprendizaje. 1. Eficacia (modelo pedaggico) Determinar los efectos en la colaboracin, en el entorno aplicado u otros. Determinar los efectos en las pedagogas y prcticas de los profesores: Determinar el uso de los computadores por gnero y contribucin para mejorar el acceso y aprendizaje de nios con necesidades especiales. Medir el impacto en el aprendizaje de los alumnos. Determinar la adopcin por parte de escuelas y profesores. Conocer los efectos en las estrategias y procesos de aprendizaje. Determinar los efectos en la colaboracin, en el entorno aplicado u otros. Conocer las actitudes hacia los computadores en el proceso educativo. Determinar los efectos en las pedagogas y prcticas de los profesores. Determinar el uso de los computadores por gnero y la contribucin para mejorar el acceso y aprendizaje de nios con necesidades especiales. Contexto. Proceso de intervencin. Fidelidad de la implementacin. Impacto en el aprendizaje de los alumnos. Relacin entre la variabilidad de la implementacin y los resultados. Cuasiexperimental pareado prospectivo de mediana escala Experimental aleatorio de mediana escala. Elementos centrales a evaluar Pertinencia. Los supuestos en los cuales est basado. El ambiente de enseanzaaprendizaje. La alfabetizacin en el medio TIC. El impacto en el aprendizaje de los alumnos. Diseo de estudio (evaluacin sumativa) Cuasiexperimental pareado prospectivo de pequea escala.

2. Efectividad (Intervencin)

20

Nussbaum, M. & Rodrguez, P. (2010) Perspectivas de la inclusin de las TICs en educacin y su evaluacin en el logro de aprendizajes
Etapa Objetivos de investigacin Medir el impacto en el aprendizaje de los alumnos. Determinar la adopcin por parte de escuelas y profesores. Conocer los efectos en las estrategias y procesos de aprendizaje. Determinar los efectos en la colaboracin, en el entorno aplicado u otros. Conocer las actitudes hacia los en el proceso educativo. Determinar los efectos en las pedagogas y prcticas de los profesores Determinar el uso de los computadores por gnero y contribucin para mejorar el acceso y aprendizaje de nios con necesidades especiales. Determinar los costos totales de operacin y costo-efectividad. Elementos centrales a evaluar Fidelidad de la implementacin Fidelidad de la intervencin. Costo total de apropiacin. Impacto en el aprendizaje de los alumnos. Relacin entre la variabilidad de la intervencin, la implementacin y los resultados. Diseo de estudio (evaluacin sumativa) Experimental aleatorio de gran escala.

3. Eficiencia (Transferencia y estimacin de costos)

Por su parte, a continuacin la Tabla 4 muestra cules son los objetivos ms comunes de la investigacin de TIC en educacin y los mtodos cuantitativo y cualitativos asociados (Marshall & Cox, 2008), adems de su aplicabilidad en cada una de las etapas del modelo conceptual.

21

Nussbaum, M. & Rodrguez, P. (2010) Perspectivas de la inclusin de las TICs en educacin y su evaluacin en el logro de aprendizajes

Tabla 4: Objetivos de investigacin de TICs en educacin ms comunes, sus mtodos asociados [Adaptado de (Marshall & Cox, 2008)] y su aplicabilidad en cada etapa del modelo conceptual propuesto. Objetivos de investigacin Mtodos cuantitativos Descripcin Grupos experimentales y controles. Etapa 1 2 3 Mtodos cualitativos Descripcin Pequeos grupos de alumnos usando ambientes de aprendizajes especficos, ya sea como parte de una intervencin o como actividad regular de las clases. Observaciones, evaluacin especfica de tareas, grupos focales. Entrevista a los alumnos Pruebas pre y post. Determinar la adopcin por parte de escuelas y profesores Encuestas de gran escala. Cuestionarios de muchos profesores y escuelas. Evaluacin pre y post de procesos especficos intrasujeto. Cuestionario de opinin de profesores en la escuela. Observaciones de clases. 1 Etapa 2 3

Medir el impacto en el aprendizaje de los alumnos

Evaluacin pre y post de mejora en el aprendizaje Encuestas en lnea de gran escala

Conocer los efectos en las estrategias y procesos de aprendizaje.

Evaluacin prescritas.

de

tareas

Observaciones interacciones computador.

de alumno-

Determinar los efectos en la colaboracin, en el entorno aplicado u otros. Conocer las actitudes hacia los computadores en educacin Determnala los efectos en las pedagogas y prcticas de los profesores Evaluacin de actitudes de alumnos y profesores. Encuestas de gran tamao respecto a la frecuencia de uso, tipos de TICs usadas, entre otros. Cuestionarios de gran escala de uso del computador Cuestionarios de opinin de gran escala de muchos profesores y escuelas.

Observaciones de clases, entrevistas con profesores, cuestionarios, documentacin. Entrevistas y discusiones de grupos focales. Observaciones de clases, entrevistas con profesores, cuestionarios, documentacin

Determinar el uso de los computadores por gnero y contribucin para mejorar el acceso y aprendizaje de nios con necesidades especiales

Observaciones de clases, entrevistas con alumnos, cuestionarios. Pequeos grupos de alumnos usando ambientes de aprendizajes especficos, ya sea como parte de una intervencin o como actividad regular de las clases. Entrevistas a profesores, registros de la escuela, cuestionarios al personal.

Determinar lo costos totales de operacin y costo-efectividad

Encuestas en lnea de todo el personal de la escuela, encuestas de gran escala.

Finalmente la Tabla 5 muestra los instrumentos asociados a los mtodos indicados en la Tabla 4.

22

Nussbaum, M. & Rodrguez, P. (2010) Perspectivas de la inclusin de las TICs en educacin y su evaluacin en el logro de aprendizajes
Tabla 5: Mtodos de investigacin e instrumentos asociados (Harvey, 1998; Frechtling, 2002). Objetivos de investigacin Medir el impacto en el aprendizaje de los alumnos

Instrumentos de evaluacin
Mtodos cuantitativos Pruebas de aprendizaje estandarizadas alineadas con los resultados de aprendizaje que promueve la innovacin. Pruebas de aprendizaje en competencias no-tradicionales, pero validadas en su consistencia interna. Encuestas. Encuestas. Cuestionarios. Mtodos cualitativos Diseo y pauta(s) de observacin en sala de clases. Pruebas de evaluacin de tareas especficas validadas. Diseo y pauta de entrevista.

Determinar la adopcin por parte de escuelas y profesores

Conocer los efectos en las estrategias y procesos de aprendizaje.

Pruebas de procesos especficos, validadas en su consistencia interna. Registro de uso basado en grabacin de interaccin con el computador (log).

Determinar los efectos en la colaboracin, en el entorno aplicado u otros. Conocer las actitudes hacia los computadores en educacin Determinar los efectos en las pedagogas y prcticas de los profesores

Encuestas

Prueba de actitudes para profesores. Prueba de actitudes para alumnos. Encuestas.

Cuestionarios de opinin. Pautas de observacin de sala de clases (con uso de rbricas respecto a los comportamientos que deben observarse). Diseo y pauta de evaluacin de tareas preescritas. Diseo y pauta(s) de observacin de interacciones. Registro en video de interacciones de alumnos con pantalla dividida (mitad alumno, mitad pantalla computador). Diseo y pauta(s) de observacin en sala de clases Diseo y pauta de entrevistas. Cuestionarios. Diseo y pauta de entrevista. Diseo y pauta de grupo focal. Diseo y pauta(s) de observacin en sala de clases. Diseo y pauta(s) de entrevistas. Cuestionarios. Diseo y pauta(s) de observacin en sala de clases. Diseo y pauta(s) de entrevistas. Cuestionarios. Diseo y pauta(s) de entrevista a profesores y directivos. Cuestionarios.

Determinar el uso de los computadores por gnero y contribucin para mejorar el acceso y aprendizaje de nios con necesidades especiales Determinar los costos totales de operacin y costo-efectividad

Registro de uso basado en grabacin de interaccin con el computador (log).

Cuestionario Encuestas

Una discusin respecto de las ventajas y desventajas de los mtodos mixtos y especialmente en las ventajas y desventajas de algunos mtodos de recoleccin de datos como entrevistas, grupos focales, observaciones, pruebas, estudios de documentos, informantes clave y casos de estudio se encuentra en (Harvey, 1998; Frechtling, 2002). El modelo conceptual se ilustra con un ejemplo incluido como anexo al presente documento.

5 Orientaciones respecto a polticas pblicas y creacin agenda

El modelo conceptual planteado permite desagregar el problema del diseo y desarrollo de programas de informtica educativa en etapas, definindose para cada una de ellas qu componente construir (modelo pedaggico, proceso de intervencin, proceso de transferencia) por un lado y por otro cmo, dnde y en qu escala realizar la evaluacin de dicha componente. Esto entrega a los diseadores una herramienta metodolgica que asegure iterativamente la consistencia interna de diseo, solidez terica y alineacin con los resultados esperados de los distintos componentes de un programa de informtica educativa. Con ello se establece una hoja de ruta para que los diseadores creen y validen sus innovaciones, incorporando tambin la componente de costo-efectividad, ya que estas iniciativas deben ser viables en la prctica tanto tcnica como financieramente.

23

Nussbaum, M. & Rodrguez, P. (2010) Perspectivas de la inclusin de las TICs en educacin y su evaluacin en el logro de aprendizajes A continuacin discutiremos como estas orientaciones permiten crear agenda en la poltica pblica y cmo estos procesos requieren capacidades tcnicas y asociaciones con instituciones especializadas.

5.1 Orientaciones para polticas pblicas

Desde el punto de vista de las polticas pblicas, el modelo conceptual entrega mecanismos al tomador de decisiones para construir una poltica de incentivo al desarrollo de programas de informtica educativa. Por ejemplo, pueden crearse fondos concursables que incentiven el diseo, desarrollo y evaluacin de: modelos pedaggicos basados en TICs (eficacia), los procesos de intervencin en aquellos proyectos que hayan demostrado su eficacia previamente (efectividad) y el empaquetamiento y mejoras para la masificacin en el sistema escolar de aquellas iniciativas efectivas (eficiencia). El marco conceptual tambin entrega lineamientos para evaluar cada una de las propuestas tanto en el proceso de adjudicacin de los fondos, como en la evaluacin propiamente tal de las mismas. Esto ltimo permitir compararlas con aquellas de su mismo nivel, para determinar si seguirn siendo apoyadas financieramente en su siguiente etapa de desarrollo. Como los recursos son escasos y no se podr financiar todas las iniciativas, debiera privilegiarse aquellas que entreguen una mayor evidencia de su utilidad o su costo-efectividad, como se muestra en Figura 6.
Escala de la implementaci implementacin

Producto final: Programa de Informtica Educativa Masificacin del programa en el sistema escolar

Eficiencia

Costo por alumno

Efectividad

Costo por alumno

Eficacia

Resultado final etapa

Costo por alumno

Diseo inicial

Tiempo del ciclo

Figura 6: Modelo conceptual incorporando la costo-efectividad como parte del proceso de evaluacin.

Como se puede apreciar en la Figura 6, las iniciativas van pasando de nivel en la medida que adicionalmente a las consideraciones de alcanzar un tamao del efecto mnimo como plantea el modelo, sean competitivas con otras propuestas en costo-efectividad. La comparacin de costo-efectividad debiera efectuarse entre aquellas innovaciones que tienen caractersticas similares de acuerdo a ciertos criterios definidos a-priori como poblaciones a las que estn dirigidas, niveles y asignaturas en que se trabaja y/o tecnologas que emplean. Otra alternativa para lo anterior es que los fondos concursables sean temticos o con ejes prioritarios de aplicacin. Al final de este proceso, los PIE eficientes podran masificarse centralizadamente por el gobierno, a travs de subsidios a los establecimientos o ser certificados como iniciativas de calidad para el financiamiento de los establecimientos con fondos propios o de terceros. Adems, abre la oportunidad de la articulacin pblicoprivada a travs de iniciativas de responsabilidad social empresarial (RSE), integrando los PIEs a la cartera de proyectos que las empresas que trabajan en esa lnea estn buscando para financiar de ese modo. Finalmente, un proceso de las caractersticas descritas es una herramienta para construir una poltica de informtica educativa desde las necesidades especficas de las escuelas en lugar del paradigma actual que es buscar usos a la infraestructura instalada o en instalacin. Distintas necesidades de aprendizaje, eventualmente requerirn distintas soluciones de software y hardware diversificando la infraestructura existente en las escuelas, que responde actualmente en su mayora a estndares uniformes y centralizados no decididos por ellas. Sobre la base de la informacin de impacto final provista por los programas de informtica educativa en fase de masificacin, es posible llevar a cabo estudios de meta-anlisis (Liao & Hao, 2008) que permitan 24

Nussbaum, M. & Rodrguez, P. (2010) Perspectivas de la inclusin de las TICs en educacin y su evaluacin en el logro de aprendizajes determinar la efectividad conjunta de las TICs en el sistema educativo, complementando estudios de evaluacin a gran escala internacionales como SITES 2006 (Plomp et al., 2007). No obstante lo anterior, hay que tener en consideracin que las evaluaciones tanto formativas como sumativas empleadas en esta metodologa toman un tiempo que pueden durar das, semanas o meses. Esto requiere de alianzas de largo plazo entre los investigadores en tecnologa educativa y las escuelas, para construir soluciones prototipos en conjunto para estudiarlas rigurosamente (Reeves, 2000). Las agencias pblicas y/o privadas deben estar preparadas para apoyar este proceso que puede tomar cinco aos o ms para lograr resultados tiles (Reeves, 2000).

5.2 Desafos para el desarrollo de polticas pblicas

Sin embargo, aplicar la metodologa aqu descrita al desarrollo de polticas pblicas tambin presenta desafos ya que la evaluacin requiere de competencias tcnicas especficas en diseo de investigacin en ciencias sociales, gestin, anlisis y entrega de reportes (World Bank, 2004) y de estndares de evaluacin que puedan ser aplicados de forma objetiva y transparente. Por lo tanto, los gobiernos necesitan colaborar con instituciones especializadas como Universidades y Centros de Investigacin para llevar a cabo estos estudios. Un ejemplo de esta colaboracin en estos dos mbitos son los recientes estudios de efectividad de productos de software educativos en lectura y matemticas en Estados Unidos (Dynarski et al., 2007; Campuzano et al., 2009) que fueron realizados por mandato gubernamental del acta No Child Left Behind (NCLB) y encargados por el Instituto de Ciencias de la Educacin (Institute of Education Sciences, IES) del Departamento de Educacin de Estados Unidos a SRI International y Mathematica Policy Research Inc1. Esta ltima institucin ya haba elaborado un documento con recomendaciones para la realizacin de estudios a nivel nacional, tambin por encargo del IES (Agodini et al., 2003). Otro ejemplo es la agencia BECTA en el Reino Unido que constantemente encarga estudios de investigacin sobre las TICs y su impacto a reconocidos investigadores (Watson, 1993; Harrison et al., 2002; Cox & Abbot, 2004; Cox & Webb, 2004; Underwood, 2009). Respecto a los estndares de evaluacin, existen en la actualidad distintas iniciativas que buscan definir cuando un estudio se basa en evidencia rigurosa y cuales cumplen estos criterios para difundir dichas iniciativas en el sistema escolar. Algunas de ellas son What Works Clearing House (http://ies.ed.gov/ncee/wwc/), Best Evidence Encyclopedia (www.bestevidence.org), Comprenhensive School Reform Quality Center (www.csrq.org), Campbell Collaboration (www.campbellcollaboration.org) y Evidence for Policy and Practice Information and Co-ordinating Centre (http://eppi.ioe.ac.uk/cms/) (Slavin, 2008). En torno a estas iniciativas existe un debate en progreso al interior de la comunidad cientfica respecto de la importancia de la investigacin cuantitativa y cualitativa para acordar qu criterios definen una evidencia rigorosa (Chatterji, 2005; Slavin, 2008). El uso de estos estndares significa asimismo considerar aspectos ticos en la investigacin educativa, como ya se aplican en algunos pases. Estos aspecto se refieren a los sujetos que investigan, el proceso de investigacin propiamente tal y de los sujetos investigados, especialmente en el respeto por la privacidad y confidencialidad, el reclutamiento de los participantes y el respeto de sus derechos esenciales a travs de un consentimiento informado (Saudo, 2006). El segundo desafo es que se requiere estimar cul ser el costo total final del programa (Margolis et al., 2006), introducindolo como una consideracin desde fases tempranas de diseo, lo que requiere la incorporacin de profesionales del mbito de la economa y la administracin al equipo diseador del PIE. Finalmente, el tercer desafo, relacionado con el anterior es que tambin se requiere de un estndar para el clculo del TCO, que permita calcular, comparar y transparentar las diferencias entre las distintas propuestas (Moyle, 2008).

5.3 Oportunidades para colaborar y profundizar sobre el tema

Como se mencion anteriormente, la evaluacin del impacto de las TICs requiere de la colaboracin conjunta de distintas agencias y organizaciones tanto gubernamentales como no gubernamentales. El objetivo de la
1

Bajo contrato ED-01CO0039/0007

25

Nussbaum, M. & Rodrguez, P. (2010) Perspectivas de la inclusin de las TICs en educacin y su evaluacin en el logro de aprendizajes presente seccin es orientar respecto a algunos de los organismos existentes que trabajan en estos mbitos que permita orientar sobre la bsqueda de informacin respecto al tema. Respecto a las agencias gubernamentales encargadas de desarrollar e implementar polticas pblicas para lograr un uso efectivo y eficiente de las TICs en la educacin podemos encontrar: BECTA, (www.becta.org.uk) del Reino Unido, Education.au (www.educationau.edu.au) de Australia, Enlaces Centro de Educacin y Tecnologa (www.enlaces.cl) del Ministerio de Educacin de Chile, Korea Education & Research Information Service, KERIS (http://english.keris.or.kr) de Corea del Sur, Learning Sciences Lab de Singapur (http://www.lsl.nie.edu.sg/) y Office of Educational Technology (www.ed.gov/Technology) del Departamento de Educacin de Estados Unidos. Relacionado con lo anterior, pero en trmino de la evaluacin de impacto encontramos en Estados Unidos Institute of Education Sciences (IES, ies.ed.gov/) cuyo centro National Center for Education Evaluation and Regional Assistance, dependiente del IES (http://ies.ed.gov/ncee/) es el encargado de llevar a cabo las evaluaciones a nivel nacional y mantener el repositorio de programas efectivos de acuerdo a evidencia rigurosa (WWC). Dentro de los centros y agencias no gubernamentales que investigan y evalan el uso de las TICs en educacin podemos encontrar: Center for Children and Technology, (http://cct.edc.org); Future Lab (www.futurelab.org.uk); Mathematica Policy Research, Inc (www.mathematica-mpr.com) y Center for Technology in Learning (http://ctl.sri.com/) perteneciente a SRI International. En cuanto a organismos internacionales vinculados al tema de TICs y educacin podemos encontrar al Banco Interamericano de Desarrollo a travs de su iniciativa de educacin (http://www.iadb.org/edu/), el Banco Mundial a travs de InfoDev (Information for Development Program, www.infodev.org) que adems provee guas para el uso y evaluacin de las TICs en educacin (ICT-in-Education Toolkit (http://www.ictinedtoolkit.org) y un blog (http://blogs.worldbank.org/edutech/) y la OCDE con su Centre for Educational Research and Innovation (CERI2) Por su parte las Naciones Unidas a travs de la CEPAL y la UNESCO tiene distintas iniciativas en el tema. La CEPAL publica regularmente estudios a travs de su Divisin de Desarrollo Social (www.eclac.org/dds) respecto a las TIC y educacin en Amrica Latina. Por su parte la UNESCO dedica en su portal una seccin al tema3 y adems ha desarrollado indicadores para evaluar el impacto de las TIC en educacin4 . Por otro lado, entre las revistas usadas para la elaboracin de este artculo donde se publican artculos relevantes respecto a la aplicacin de TICs en educacin y su evaluacin de impacto podemos encontrar las siguientes (entre parntesis se indica su ndice-H5): British Journal of Educational Technology (20), Computers & Education (30), Educational Evaluation and Policy Analysis (28), Education and Information Technologies (10), Educational Technology and Society (17), Journal of Educational Research (23) y Review of Educational Research (44). Finalmente entre las instituciones que actualmente trabajan en el desarrollo de estndares de competencias del Siglo 21 podemos encontrar a la Universidad de Melbourne, Australia a travs de su proyecto ATCS-21 (www.atc21s.org) y P21 (Partnership for 21st Century Skills, www.21stcenturyskills.org) en Estados Unidos y la OECD con su iniciativa Aprendices del Nuevo Milenio (www.oecd.org/edu/nml).

6 Conclusiones y trabajo futuro

Como se discuti en este artculo, medir el impacto de las TICs es un problema y un rea de investigacin por si misma que todava no entrega respuestas concluyentes a las preguntas que se han realizado (Cox & Marshall, 2007; Reeves, 2008). Si a ello aadimos que lamentablemente no se tiene mucha certeza del respaldo terico de muchas de las estrategias que se han implementado (McFarlane, 2001; Earle, 2002; Marshall & Cox, 2008) o qu sucedi especficamente durante dicha implementacin (Penuel, 2005; Marshall & Cox, 2008; Reeves, 2008), sin duda no es posible tener muchas expectativas respecto a los
2 3 4 5

http://www.oecd.org/department/0,3355,en_2649_35845581_1_1_1_1_1,00.html http://portal.unesco.org/ci/en/ev.php-URL_ID=2929&URL_DO=DO_TOPIC&URL_SECTION=201.html http://www.unescobkk.org/education/ict/themes/measuring-and-monitoring-change/

El ndice H de la revista expresa el nmero de artculos (h) que han recibido al menos h citas en los ltimos 3 aos. Cuantifica tanto la productividad como impacto cientfico de la revista (SCImago, 2007).

26

Nussbaum, M. & Rodrguez, P. (2010) Perspectivas de la inclusin de las TICs en educacin y su evaluacin en el logro de aprendizajes resultados a encontrar. A esto se suma que a pesar de los pocos casos de evidencia robusta, la relacin entre sta y las decisiones gubernamentales que debieran basarse en ellas es dbil o inexistente (Cox, 2008) y a que en general la evidencia de efectividad de los programas educativos es a menudo citada para justificar decisiones tomadas u opiniones ya formadas (Slavin, 2008). Sin embargo, en la actualidad el movimiento que busca incentivar el uso de programas y prcticas basadas en investigacin rigurosa, ha empezado a ganar terreno dentro de las polticas gubernamentales (Slavin, 2008). Por lo tanto se necesita proveer a los tomadores de decisiones de metodologas que permitan ir paulatinamente respondiendo a las preguntas abiertas y/o construyendo programas y prcticas que sean metodolgicamente correctas para que vayan siendo validadas en distintos niveles y escalas de implementacin. Ya hay esfuerzos en esta direccin algunos de los cuales se mencionaron en la seccin 5. Es de suma importancia difundir la experiencia ganada en la implementacin y evaluacin del impacto de las TICs en educacin de forma de que sta salga del crculo de la comunidad cientfica experta para que sea empleada por tomadores de decisiones y educadores en general (Trucano, 2005). Este artculo es un esfuerzo en esta direccin que permita hacer conciencia de que el desafo de la integracin de las TICs en el sistema escolar todava no est resuelto y hay una serie de temas que abordar y mejorar, para no seguir cometiendo los errores del pasado.

Agradecimientos
Este trabajo cont con el apoyo de UNESCO.

Referencias
1. Agodini, R., Dynarski, M., Honey, M., & Levin, D. (2003). The Effectiveness of Educational Technology: Issues and Recommendations for the National Study. Mathematica Policy Research, Inc. Descargado October 29, 2009, desde http://www.mathematica-mpr.com/PDFs/edtechrec.pdf. Anderson, R. E., & Plomp, T. (2009). Introduction. In T. Plomp et al. (Eds.), Cross-National Information and Communication Technology Policies and Practices in Education (Second Edition., p. 317). IAP-Information Age Publishing. Balanskat, A., Blamire, R., & Kefala, S. (2006). The ICT Impact Report: A review of studies of ICT impact on schools in Europe. Descargado en Diciembre 29, 2009, desde http://ec.europa.eu/education/pdf/doc254_en.pdf. Barrera-Osorio, F., & Linden, L. (2009). The Use and Misuse of Computers in Education: Evidence from a Randomized Controlled Trial of a Language Arts Program. Descargado en marzo 08, 2010, desde http://www.columbia.edu/~ll2240/Barrera-Linden%20Computadores_2009-03-25.pdf. Bland, J. M., & Altman, D. G. (1997). Statistics notes: Cronbach's alpha. BMJ, 314(7080), 572. Campuzano, L., Dynarski, M., Agodini, R., & Rall, K. (2009). Effectiveness of Reading and Mathematics Software Products: Findings from Two Student Cohorts. Descargado Enero 27, 2010, desde http://ies.ed.gov/ncee/pubs/20094041/. Castro, C. (2004). Are new technologies better technologies? For whom? In Adapting technology for school improvement: a global perspective (pp. 39-54). International Institute for Educational Planning - Unesco. Chatterji, M. (2005). Evidence on "What Works": An Argument for Extended-Term Mixed-Method (ETMM) Evaluation Designs. Educational Researcher, 34(5), 14-24. Cohen, J. (1998). Statistical power analysis for the behavioral sciences. Hillsdale, NJ: Lawrence Earlbaum Associates. 27

2.

3.

4.

5. 6.

7.

8. 9.

Nussbaum, M. & Rodrguez, P. (2010) Perspectivas de la inclusin de las TICs en educacin y su evaluacin en el logro de aprendizajes 10. Condie, R., & Munro, B. (2007). The Impact of ICT in schools a landscape review. BECTA Research. 11. Conlon, T., & Simpson, M. (2003). Silicon Valley versus Silicon Glen: the impact of computers upon teaching and learning: a comparative study. British Journal of Educational Technology, 34(2), 137150. 12. Cortez, C., Nussbaum, M., Lpez, X., Rodrguez, P., Santelices, R., Rosas, R., et al. (2005). Teachers' support with ad-hoc collaborative networks. Journal of Computer Assisted Learning, 21(3), 171-180. 13. Cox, M. (2008). Research IT in education. In J. Voogt. G. Knezek (Eds.), International Handbook of Information Technology in Primary and Secondary Education (pp. 965-981). 14. Cox, M., & Abbot, C. (2004). ICT and attainment: A review of the research literature. ICT in Schools Research and Evaluation Series No.17, DfES-Becta. Descargado enero 25, 2010, desde http://publications.teachernet.gov.uk/eOrderingDownload/ICT and attainment.pdf. 15. Cox, M., & Marshall, G. (2007). Effects of ICT: Do we know what we should know? Education and Information Technologies, 12(2), 59-70. 16. Cox, M., & Webb, M. (2004). ICT and pedagogy: A review of the research literature. ICT in Schools Research and Evaluation Series No.18, DfES- Becta. Descargado Enero 25, 2010, desde http://publications.becta.org.uk/display.cfm?resID=25813. 17. Cronbach, L. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16(3), 297-334. 18. Cuban, L. (2001). Oversold & Unde rused. Computers in the Classroom. Harvard University Press, London. 19. Culp, K. M., Honey, M., & Mandinach, E. (2003, October). A Retrospective on Twenty Years of Education Technology Policy. U.S. Department of Education, Office of Educational Technology. Descargado enero 25, 2010, desde http://www.ed.gov/rschstat/eval/tech/20years.pdf. 20. Dool, P. V. D., & Kirschner, P. (2003). Integrating the Educative Functions of Information and Communications Technology (ICT) in teachers' and learners' toolboxes: a reflection on pedagogical benchmarks for ICT - in teacher education. Technology, Pedagogy and Education, 12(1), 161. 21. Dynarski, M., Agodini, R., Heaviside, S., Novak, T., Carey, N., Campuzano, L., et al. (2007). Effectiveness of Reading and Mathematics Software Products: Findings from the First Student Cohort. U.S. Department of Education, Institute of Education Sciences. Descargado enero 25, 2010, desde http://ies.ed.gov/ncee/pubs/20074005/. 22. Earle, R. S. (2002). The Integration of Instructional Technology into Public Education: Promises and Challenges. Educational Technology, 42(1), 5-13. 23. Fan, X. (2001). Statistical Significance and Effect Size in Education Research: Two Sides of a Coin. The Journal of Educational Research, 94(5), 275-282. 24. Feinstein, O. N., & Picciotto, R. (2001). Evaluation and Poverty Reduction. World Bank Series on Evaluation and Development (Vol. 3, p. 382). Washington, D.C: Transaction Publishers, New Brunswick, New Jersey. 25. Fox, N., & Mathers, N. (1997). Empowering research: statistical power in general practice research. Fam. Pract., 14(4), 324-329. 26. Frechtling, J. (2002). The 2002 User Friendly Handbook for Project Evaluation (NSF 02-057). Arlington.

28

Nussbaum, M. & Rodrguez, P. (2010) Perspectivas de la inclusin de las TICs en educacin y su evaluacin en el logro de aprendizajes VA: National Science Foundation. Descargado http://www.nsf.gov/pubs/2002/nsf02057/nsf02057.pdf. enero 25, 2010 desde

27. Harris, D. N. (2009). Toward Policy-Relevant Benchmarks for Interpreting Effect Sizes: Combining Effects With Costs. Educational Evaluation and Policy Analysis, 31(1), 3-29. 28. Harrison, C., Comber, C., Fischer, T., Haw, K., Lewin, C., Lunzer, E., et al. (2002). ImpaCT2: The impact of information and communication technologies on pupil learning and attainment. BECTA. Descargado enero 25, 2010, desde http://partners.becta.org.uk/page_documents/research/ImpaCT2_strand1_report.pdf. 29. Harvey, J. (1998). Evaluation Cookbook. Learning Technology Dissemination Initiative, Institute for Computer Based Learning, Heriot-Watt University, Edinburgh. Descargado enero 25, 2010 desde http://www.icbl.hw.ac.uk/ltdi/cookbook/cookbook.pdf. 30. Hayes, D. N. A. (2007). ICT and learning: Lessons from Australian classrooms. Computers & Education, 49(2), 385-395. 31. Hennessy, S., Ruthven, K., & Brindley, S. (2005). Teacher Perspectives on Integrating ICT into Subject Teaching: Commitment, Constraints, Caution, and Change. Journal of Curriculum Studies, 37(2), 155-192. 32. Hepp, P. (2003). Critical factors for an ICT in education policy in developing countries. In Proceedings of the Information Technology: Research and Education, ITRE2003 (pp. 501 - 505). Presented at the Information Technology: Research and Education. 33. Infante, C., Hidalgo, P., Nussbaum, M., Alarcn, R., & Gottlieb, A. (2009). Multiple Mice based collaborative one-to-one learning. Computers & Education, 53(2), 393-401. 34. Infante, C., Weitz, J., Reyes, T., Nussbaum, M., Gmez, F., & Radovic, D. (2009). Co-located collaborative learning video game with single display groupware. Interactive Learning Environments. 35. Kirkman, C. (2000). A model for the effective management of information and communications technology development in schools derived from six contrasting case studies. Technology, Pedagogy and Education, 9(1), 37-52. 36. Kozma, R. B. (2003). Technology and Classroom Practices: An International Study. Journal of Research on Technology in Education, 36(1), 1-14. 37. Kozma, R. B. (2008). Comparative Analysis of Policies for ICT in Education. In J. Voogt. G. Knezek (Eds.), International Handbook of Information Technology in Primary and Secondary Education (pp. 1083-1096). 38. Lai, K. (2008). ICT Supporting the Learning Process: The Premise, Reality, and Promise. In J. Voogt. G. Knezek (Eds.), International Handbook of Information Technology in Primary and Secondary Education (pp. 215-230). 39. Law, N. (2009). Curriculum and Staff Development For ICT In Education. In Cross-National Information and Communication Technology Policies and Practices in Education (Second Edition., p. 1939). IAP-Information Age Publishing. 40. Lemke, C., Coughlin, E., & Reifsneider, D. (2009). Technology in Schools: What research says? A 2009 Update. Culver City, CA: Commissioned by Cisco. Descargado marzo 08, 2010 desde http://www.cisco.com/web/strategy/docs/education/tech_schools_09_research.pdf.

29

Nussbaum, M. & Rodrguez, P. (2010) Perspectivas de la inclusin de las TICs en educacin y su evaluacin en el logro de aprendizajes 41. Liao, Y., & Hao, Y. (2008). Large -scale studies and quantitative methods. In J. Voogt. G. Knezek (Eds.), International Handbook of Information Technology in Primary and Secondary Education (pp. 10191035). 42. Light, D. (2008). Evaluating Educational Technology Interventions: How do we know its working? Center for Children and Technology, Education Development Center, Inc. Descargado enero 25, 2010, desde http://cct.edc.org/report.asp?id=254. 43. Lim, C. P. (2002). A theoretical framework for the study of ICT in schools: a proposal. British Journal of Educational Technology, 33(4), 411-421. 44. Margolis, J., Nussbaum, M., Rodrguez, P., & Rosas, R. (2006). Methodology for evaluating a novel education technology: a case study of handheld video games in Chile. Computers & Education, 46(2), 174-191. 45. Marshall, G., & Cox, M. (2008). Research Methods: Their design, applicability and reliability. In J. Voogt. G. Knezek (Eds.), International Handbook of Information Technology in Primary and Secondary Education (pp. 983-1002). 46. McFarlane, A. (2001). Perspectives on the relationships between ICT and assessment. Journal of Computer Assisted Learning, 17(3), 227-234. 47. Mioduser, D., Nachmias, R., Tubin, D., & Forkosh-Baruch, A. (2003). Analysis Schema for the Study of Domains and Levels of Pedagogical Innovation in Schools Using ICT. Education and Information Technologies, 8(1), 23-36. 48. Mooij, T., & Smeets, E. (2001). Modelling and supporting ICT implementation in secondary schools. Computers & Education, 36(3), 265-281. 49. Moonen, J. (2008). Policy from a global perspective. In J. Voogt. G. Knezek (Eds.), International Handbook of Information Technology in Primary and Secondary Education (p. 11711178). 50. Moyle, K. (2008). Total Cost Of Ownership And Total Value Of Ownership. In J. Voogt. G. Knezek (Eds.), International Handbook of Information Technology in Primary and Secondary Education (pp. 615-631). 51. Nachmias, R., Mioduser, D., Cohen, A., Tubin, D., & Forkosh-Baruch, A. (2004). Factors Involved in the Implementation of Pedagogical Innovations Using Technology. Education and Information Technologies, 9(3), 291-308. 52. Njenga, J. K., & Fourie, L. C. H. (2010). The myths about e-learning in higher education. British Journal of Educational Technology, 41(2), 199-212. 53. Nussbaum, M., & Rosas, R. (2004). Enlaces Mvil: Tecnologa Porttil En La Sala De Clases - Informe final. 54. Osborne, J., & Hennessy, S. (2003). Literature Review in Science Education and the Role of ICT: Promise, Problems and Future Directions. Future Lab. Descargado enero 31, 2010, desde http://www.futurelab.org.uk/resources/documents/lit_reviews/Secondary_Science_Review.pdf. 55. Pawar, U. S., Pal, J., & Toyama, K. (2006). Multiple Mice for Computers in Education in Developing Countries. In Information and Communication Technologies and Development, 2006. ICTD '06. (pp. 64-71). Presented at the Information and Communication Technologies and Development, 2006. ICTD '06.

30

Nussbaum, M. & Rodrguez, P. (2010) Perspectivas de la inclusin de las TICs en educacin y su evaluacin en el logro de aprendizajes 56. Pelgrum, W. (2001). Obstacles to the integration of ICT in education: results from a worldwide educational assessment. Computers & Education, 37(2), 163-178. 57. Penuel, W. R. (2005). Recommendations for Evaluation Research within Educational Innovations. Center for Technology in learning, SRI International. Descargado enero 25, 2010, desde http://ctl.sri.com/publications/downloads/Rec_Eval_Research_within_Edu_Innovations.pdf. 58. Pilkington, R. M. (2008). Measuring the impact of Information Technology on Student's Learning. In J. Voogt. G. Knezek (Eds.), International Handbook of Information Technology in Primary and Secondary Education (pp. 1003-1018). 59. Plomp, T., Pelgrum, W., & Law, N. (2007). SITES2006International comparative survey of pedagogical practices and ICT in education. Education and Information Technologies, 12(2), 83-92. 60. Reeves, T. (2008). Evaluation of the Design and Development of IT Tools in Education. In J. Voogt. G. Knezek (Eds.), International Handbook of Information Technology in Primary and Secondary Education (pp. 1037-1051). 61. Reeves, T. (2006). Design research from a technology perspective. In J. van den Akker, K. Gravemeijer, S. McKenney & N. Nieveen (Eds.) Educational Design Research. London: Routledge. 62. Reeves, T. (1994). Evaluating What Really Matters in Computer-Based Education. In In M. Wild & D. Kirkpatrick (Eds.) Computer Education: New perspectives. (pp. 219-246). Perth, Australia: MASTEC. Descargado enero 25, 2010 desde http://www.educationau.edu.au/evaluating-what-reallymatters-computer-based-education. 63. Reeves, T. (2000). Enhancing the Worth of Instructional Technology Research through "Design Experiments" and Other Development Research Strategies. Descargado diciembre 8, 2009, desde http://it.coe.uga.edu/~treeves/AERA2000Reeves.pdf. 64. Reynolds, D., Treharne, D., & Tripp, H. (2003). ICT - the hopes and the reality. British Journal of Educational Technology, 34(2), 151-167. 65. Robertson, J. (2002). The ambiguous embrace: twenty years of IT (ICT) in UK primary schools. British Journal of Educational Technology, 33(4), 403-409. 66. Rodrguez, P., & Gmez, F. (2007). Tecnologa Porttil en la Sala de Clases: desarrollo de un producto y estndar de clase mundial para la transformacin de la prctica pedaggica - Informe Final Proyecto CORFO Innova Chile 05CT5IP-02. 67. Rodrguez, P., Nussbaum, M., Lpez, X., & Seplveda, M. (2010). A Monitoring and Evaluation Scheme for an ICT-Supported Education Program in Schools. To appear on Educational Technology & Society. 68. Rodrguez, P. (2008). Estndar de Modelo de Informtica Educativa. Enlaces, Centro de Educacin y Tecnologa. Descargado diciembre 7, 2009, http://intranet.redenlaces.cl/index.php?id=11414&no_cache=1&uid=2549&param=publico. 69. Rovai, A. P. (2003). A practical framework for evaluating online distance education programs. The Internet and Higher Education, 6(2), 109-124. 70. Snchez, J., & Salinas, A. (2008). ICT & learning in Chilean schools: Lessons learned. Comput. Educ., 51(4), 1621-1633. 71. Saudo, L. (2006). La tica en la investigacin educativa. Presentado al I Congreso Iberoamericano de

31

Nussbaum, M. & Rodrguez, P. (2010) Perspectivas de la inclusin de las TICs en educacin y su evaluacin en el logro de aprendizajes Ciencia, Tecnologa, Sociedad e Innovacin (CTS+I). Palacio de Minera, 19-23 junio 2006, Ciudad de Mxico, Mxico. Descargado marzo 30, 2010, desde http://www.oei.es/memoriasctsi/mesa2/m02p33.pdf. 72. Schochet, P. Z. (2008, May). Technical Methods Report: Guidelines for Multiple Testing in Impact Evaluations (NCEE 2008-4018). Washington, DC: National Center for Education Evaluation and Regional Assistance, Institute of Education Sciences, U.S. Department of Education. Descargado enero 25, 2010 desde http://ies.ed.gov/ncee/pdf/20084018.pdf. 73. SCImago. (2007). SJR SCImago Journal & Country Rank. Descargado enero 19, 2010, desde http://www.scimagojr.com. 74. Slavin, R., & Smith, D. (2009). The Relationship Between Sample Sizes and Effect Sizes in Systematic Reviews in Education. Educational Evaluation and Policy Analysis, 31(4), 500-506. 75. Slavin, R. E. (2008). Perspectives on Evidence-Based Research in Education--What Works? Issues in Synthesizing Educational Program Evaluations. Educational Researcher, 37(1), 5-14. 76. Slavin, R. E., Cheung, A., Groff, C., & Lake, C. (2008). Effective Reading Programs for Middle and High Schools: A Best-Evidence Synthesis. Reading Research Quarterly, 43(3), 290-322. 77. Slavin, R. E., & Lake, C. (2008). Effective Programs in Elementary Mathematics: A Best-Evidence Synthesis. Review of Educational Research, 78(3), 427-515. 78. Slavin, R. E., Lake, C., Chambers, B., Cheung, A., & Davis, S. (2009). Effective Reading Programs for the Elementary Grades: A Best-Evidence Synthesis. Review of Educational Research, 79(4), 13911466. 79. Spencer, K. (1991). Modes, media and methods: the search for educational effectiveness. British Journal of Educational Technology, 22(1), 12-22. 80. Squires, D., & Preece, J. (1999). Predicting quality in educational software: Evaluating for learning, usability and the synergy between them. Interacting with Computers, 11(5), 467-483. 81. Sunkel, G. (2006). Las Tecnologas de La Informacin y la Comunicacin (Tic) en la educacin en Amrica Latina. Una exploracin de indicadores. CEPAL - Politicas sociales (Division de Desarrollo Social, CEPAL, Naciones Unidas.). 82. Sutherland, R., Armstrong, V., Barnes, S., Brawn, R., Breeze, N., Gall, M., et al. (2004). Transforming teaching and learning: embedding ICT into everyday classroom practices. Journal of Computer Assisted Learning, 20(6), 413 - 424. 83. Tan, Jee-Peng , Anderson, J. R. , Belli, P., Barnum, H.N., & Dixon, J. A. (2001). Economic analysis of investment operations analytical tools and practical applications, Vol. 1 of 1. R Descargado enero 27, 2010, desde http://wwwwds.worldbank.org/servlet/main?menuPK=64187510&pagePK=64193027&piPK=64187937&theSit ePK=523679&entityID=000160016_20060127112546. 84. Tearle, P. (2003). ICT implementation: what makes the difference? British Journal of Educational Technology, 34(5), 567-583. 85. Tearle, P. (2004). A theoretical and instrumental framework for implementing change in ICT in education. Cambridge Journal of Education,, 34(3), 331-351. 86. Tondeur, J., Braak, J. V., & Valcke, M. (2007). Curricula and the use of ICT in education: Two worlds

32

Nussbaum, M. & Rodrguez, P. (2010) Perspectivas de la inclusin de las TICs en educacin y su evaluacin en el logro de aprendizajes apart? British Journal of Educational Technology, 38(6), 962-976. 87. Trucano, M. (2005). Knowledge Maps: ICTs in Education. ICT and Education Series. Washington, DC: infoDev / World Bank. Descargado enero 25, 2010, desde http://www.infodev.org/en/Document.8.aspx. 88. Underwood, J. (2009). The impact of digital technology. BECTA. Descargado enero 20, 2010, desde http://publications.becta.org.uk/display.cfm?resID=41343&page=1835. 89. Van den Akker, J. (2003). Curriculum perspectives: An introduction. In In J. van den Akker, U. Hameyer, & W. Kuiper (Eds.) Curriculum landscapes and trends (pp. 1-10). Dordrecht: Kluwer. Descargado marzo 1, 2010, desde http://www.neccs.nl/curriculum/Curriculum_landscapes.doc. 90. Van den Akker, J., Gravemeijer, K., McKenney, S., & Nieveen, N. (2006). Educational Design Research. London: Routledge. 91. Villanueva, C. (2003). Measuring Ict Use In Education In Asia And The Pacific Through Performance Indicators. Presented at the Joint UNECE/UNCTAD/UNESCO/ITU/ OECD/Eurostat Statistical Workshop on Monitoring the Information Society: Data, Measurement and Methods (Geneva, 8-9 December 2003). Descargado enero 20, 2010, desde http://www.unece.org/stats/documents/ces/sem.52/6.e.pdf. 92. Wagner, D. A., Day, B., James, T., Kozma, R. B., Miller, J., & Unwin, T. (2005). Monitoring and Evaluation of ICT in Education Projects: A Handbook for Developing Countries. ICT and Education Series. Washington, DC: infoDev / World Bank. Descargado enero 29, 2010, desde http://www.infodev.org/en/Publication.9.html. 93. Warschauer, M. (2003). Technology and Social Inclusion - Rethinking the Digital Divide. The MIT Press. 94. Watson, D. (1993). The ImpacT Report: an evaluation of the impact of information technology on children's achievements in primary and secondary schools. London: Department for Education and King's College Centre for Educational Studies. 95. World Bank. (2004). Monitoring and Evaluation: some tools, methods & approaches. The International Bank for Reconstruction and Development/THE WORLD BANK. Descargado enero 29, 2010, desde http://lnweb90.worldbank.org/oed/oeddoclib.nsf/b57456d58aba40e585256ad400736404/a5efbb5d77 6b67d285256b1e0079c9a3/$FILE/MandE_tools_methods_approaches.pdf. 96. Zurita, G., & Nussbaum, M. (2004a). Computer supported collaborative learning using wirelessly interconnected handheld computers. Computers & Education, 42(3), 289-314. 97. Zurita, G., & Nussbaum, M. (2004b). A constructivist mobile learning environment supported by a wireless handheld network. Journal of Computer Assisted Learning, 20(4), 235-243. 98. Zurita, G., & Nussbaum, M. (2007). A conceptual framework based on Activity Theory for mobile CSCL. British Journal of Educational Technology, 38(2), 211-235. 99. Zurita, G., Nussbaum, M., & Salinas, R. (2005). Dynamic Grouping in Collaborative Learning Supported by Wireless Handhelds. Educational Technology & Society, 8(3), 149-161.

33

Nussbaum, M. & Rodrguez, P. (2010) Perspectivas de la inclusin de las TICs en educacin y su evaluacin en el logro de aprendizajes

Anexo: Ejemplo de aplicacin del modelo

Se ilustra la aplicacin del modelo descrito en la seccin 4 con el programa Eduinnova. Dicho programa busca transformar la practica educativa en la sala de clase a travs de trabajo colaborativo en grupos pequeos asistidos por computadores interconectados inalmbricamente (Zurita & Nussbaum, 2004b; Cortez et al., 2005).

1 Eficacia
El objetivo de los estudios de eficacia fue evaluar tanto cuantitativa como cualitativamente actividades colaborativas (del ingls Collaborative Learning, CL) sin (Figura 7a) y con apoyo tecnolgico (Figura 7b) para probar que actividades colaborativas asistidas por computacin mvil (del ingls Mobile Computer Supported Collaborative Learning MCSCL), produciran mejoras en el aprendizaje. Se desarrollaron actividades MCSCL para distintos niveles y asignaturas usando PDAs y se probaron en entornos educativos reales.

(a) Actividades colaborativas con papel

(a) Actividades colaborativas con PDAs

Figura 7: Alumnos utilizando actividades colaborativas sin y con apoyo tecnolgico

En todos los estudios se observaron pequeos grupos de alumnos usando las actividades CL con y sin apoyo tecnolgico, grupos experimental (GE) y control (GC), respectivamente, durante 4 semanas en el ao 2002 en 1 escuela pblica de nivel socio-econmico bajo, en Santiago, Chile. Se aplicaron pruebas pre y post para evaluar el aprendizaje en Lenguaje y Matemticas segn los contenidos curriculares enseados. Adems, se usaron instrumentos especficos para otros aspectos a evaluar en los estudios. El resumen de los estudios se muestra a continuacin en la Tabla 6.
Tabla 6: Resumen de las investigaciones de eficacia realizadas en el marco del programa Eduinnova Objetivos de investigacin Comprobar si crean ambientes de aprendizaje MCSCL constructivistas (Zurita & Nussbaum, 2004a) Establecer si actividades MCSCL mejoran la colaboracin sin apoyo tecnolgico (Zurita & Nussbaum, 2004b) Nivel y asignatura Primero bsico, Lenguaje Resultados Se evidencian todos los principios evaluados en GE mientras que en GC solo aparecieron algunos. Impacto en el aprendizaje: GE = GC (pre-test). GE > GC : post-test =+0,98. Todos los problemas evidenciados sin apoyo tecnolgico se superaron usando MCSCL. Impacto en el aprendizaje: Matemticas: No hay diferencias Lenguaje: No hay diferencias en el pre-test.. GE > GC; posttest 0,78. Las diferentes configuraciones tienen distinto impacto en los aspectos socio-motivacionales evaluados en el estudio. Impacto en el aprendizaje: No hay diferencias en el pre-test. GE > GC; post-test = 1,01.

Primero bsico, Lenguaje y Matemticas

Estudiar configuracin grupos para actividad MCSCL (Zurita, Miguel Nussbaum, & Salinas, 2005)

Primero bsico: Matemticas

34

Nussbaum, M. & Rodrguez, P. (2010) Perspectivas de la inclusin de las TICs en educacin y su evaluacin en el logro de aprendizajes
Objetivos de investigacin Dinmica de interaccin social grupal en actividades MCSCL (Zurita & Nussbaum, 2007) Impacto en aprendizaje (Cortez et al., 2005) Nivel y asignatura Segundo bsico: Matemticas Fsica, I Medio Resultados Existe aprendizaje, ya que hay diferencias estadsticamente significativas entre el pre y post test. Comparacin individual vs colaborativa: test = 0,49

Con los estudios de eficacia se entendi cmo desarrollar actividades MCSCL efectivas, demostrando su valor al hacer prctica la colaboracin dentro de la sala de clases para los profesores (pertinencia). Adems, la investigacin valid los supuestos en los cuales est basado (aprendizaje colaborativo y constructivismo) y el ambiente de aprendizaje, en trminos de su facilidad de uso (pblico objetivo tenia poca alfabetizacin digital) y la representacin del material. Adicionalmente, las actividades diseadas bajos ciertos principios que fueron identificados (Zurita & Nussbaum, 2007) funcionaban en distintos niveles (educacin bsica y media) y asignaturas (Lenguaje, Matemticas y Ciencias) del contexto educativo estudiado.

2 Efectividad
La siguiente etapa del desarrollo del programa fue disear una intervencin para que los profesores participantes se apropiaran del modelo pedaggico definido en Cortez et. al (2005). Se llevaron a cabo dos estudios, en 5 colegios cada uno. El primero de ellos en 2004 (Figura 8a) y el segundo en el periodo 20052006 (Figura 8b). En este ltimo, se modific la intervencin de 2004 para incluir lo aprendido en dicha implementacin. Ambos estudios fueron del tipo cuasi-experimental prospectivo, de mediana escala con grupos experimental y control. Se realizaron evaluaciones pre y post de mejora en el aprendizaje. Como mtodos cualitativos se realizaron observaciones, evaluacin especfica de tareas, grupos focales.

(a) Estudio 2004

(b) Estudio 2005-2006

Figura 8: Alumnos usando la tecnologa colaborativa de Eduinnova

En el caso del estudio 2004, se hicieron sendas evaluaciones de contenidos de Fsica I y II medio al final de cada semestre, mientras que en el estudio 2005-2006 la evaluacin fue anual siendo la prueba post aplicada 8 meses despus del pre-test de principios del ao escolar. Un resumen de los grupos y principales resultados cuantitativos se muestran a continuacin en la Tabla 7.

35

Nussbaum, M. & Rodrguez, P. (2010) Perspectivas de la inclusin de las TICs en educacin y su evaluacin en el logro de aprendizajes
Tabla 7: Resumen de los principales resultados de los estudios de efectividad del programa Eduinnova. Estudio Colegios, niveles y asignaturas Escuelas con subsidio pblico, con ingresos medios o bajos y gran cantidad de cursos por nivel. Santiago (3), Antofagasta (2), Isla de Pascua (1) y Galvarino (1). Fsica I y II Medio Grupos Grupo experimental (GE): cursos de profesor participante que usaron PDAs. Grupo Control Interno A (GCI-A): cursos de profesor participante que no usaron PDAs Grupo Control Interno B (GCI-B): cursos que no usaron PDAs, de profesor que no particip en los mismos colegios. Principales resultados cuantitativos* Fsica I Medio: Primer semestre o GE > GCI-A: post-test = 0,14 (1-=0,71). o GE > GCI-B: post-test = 0,55. o GCI-A > GCI-B: post-test = 0,42. Segundo semestre: o GE > GCI-A; post-test = 0,22. o GE > GCI-B: post-test = 0,45. o GCI-A > GCI-B: post-test = 0,25. (1=0,72); Fsica II Medio: Primer semestre: o GE = GCI-A. o GE > GCI-B; post-test = 0,37. o GCI-A > GCI-B: post-test = 0,25. Segundo semestre: (post-test) o GE = GCI-A. o GE > GCI-B: post-test = 0,88. o GCI-A > GCI-B: post-test = 0,87.

2004 (Nussbaum & Rosas, 2004)

2005-2006 (Rodrguez & Gmez, 2007; Rodrguez et al., 2010)

Escuelas con subsidio pblico, con ingresos medios o bajos sin otras intervenciones educativas. Santiago (3) y Antofagasta (2). Fsica I y II Medio, Matemticas II medio.

Grupo experimental (GE): dem anterior. Grupo Control Interno (GCI): dem GCI-A. Grupo Control Externo (GCE): cursos de colegios equivalentes sin PDAs.

Fsica I Medio (2005): GE = GCI = GCE. Fsica II Medio (2005): GE = GCI = GCE en pre-test o GE > GCI; mejora= 0,41. o GE > GCE; mejora= 0,32. (1-=0,74) o GCI = GCE. Fsica II Medio (2006): GE = GCI = GCE en pre-test. o GE > GCI; mejora= 0,58. Matemticas II Medio (2006) o GE > GCI; mejora= 0,66. o GE > GCE: mejora= 1,1.

* Con =0,05 y potencia de la prueba mayor a 0,8 excepto donde se indica.

En el estudio de 2004 (Tabla 7) se produjeron diferencias significativas entre GE y GCI-B, por lo cual se concluy que el tratamiento (capacitacin de profesores uso de la tecnologa) produce mejores resultados. Pero dado que tambin hubo diferencias estadsticamente significativas entre GCI-A y GCI-B (profesores distintos, ambos sin PDAs), no se pudo concluir que la tecnologa por si sola contribuy en las mejoras encontradas Esto porque la capacitacin tambin involucr nivelar los conocimientos de Fsica de los docentes participantes, que por si solo podra explicar las diferencias. Este argumento se refuerza porque existen tamaos del efecto pequeos o simplemente no hay diferencias significativas entre GE y GCI-A (cuya diferencia es el uso de la tecnologa). Por lo tanto, se reformul la propuesta de intervencin, que se prob en un nuevo estudio realizado en el periodo 2005-2006. En el estudio 2005-2006, el anlisis muestra consistentemente para Fsica y Matemticas en II medio que los resultados del GE son mejores que los de GCI y GCE (Tabla 7). Dado que no existen diferencias entre GCI y GCE, concluimos que este impacto es atribuible a la tecnologa, encontrando evidencia robusta (con adecuado control de los errores de tipo I y II) de tamaos del efecto de magnitud importante (Tabla 7). Con los estudios de efectividad se entendi con mayor profundidad el contexto (colegios subsidiados por el Estado) donde se implementaba el programa. Esto signific que la intervencin se hizo cargo de debilidades estructurales del sistema educativo, como la falta de planificacin y manejo deficiente del tiempo dentro de la sala de clases, de los profesores. Adems, el estudio del contexto realizado durante el 2004 revel que era 36

Nussbaum, M. & Rodrguez, P. (2010) Perspectivas de la inclusin de las TICs en educacin y su evaluacin en el logro de aprendizajes necesario modificar la intervencin para mejorar la percepcin de los profesores y alumnos respecto del programa. Sobre al impacto sobre el aprendizaje, de acuerdo a lo discutido en la seccin 4.1.4, tenemos evidencia robusta respecto a la efectividad del programa educativo evaluado durante 2005-2006 (Tabla 7). Por otro lado, el estudio de la fidelidad de la implementacin a travs del esquema de seguimiento y evaluacin, estableci una relacin entre la variabilidad de la implementacin (medida en trminos de la adopcin de los profesores) y los resultados de aprendizaje de los alumnos. El anlisis revel que aquellos profesores del GE con un nivel alto de adopcin de la metodologa (medido con una pauta de observacin) producen resultados en sus alumnos mejores que aquellos con una adopcin menor, elevando el tamao del efecto de 0,41 a 0,56 (comparado con GCI) y de 0,32 a 0,45 (comparado con GCE) (Rodrguez et al., 2010). Esto muestra lo importante que es probar los procesos de intervencin para que la adopcin sea lo ms alta posible. Al final de esta etapa se obtuvo una intervencin que permite a profesores y alumnos adoptar el modelo pedaggico de aprendizaje colaborativo, con instrumentos de evaluacin validados para medir dicha adopcin en el tiempo (mecanismos de seguimiento y evaluacin).

3 Eficiencia
Durante el ao 2008-2009 comenz la masificacin del programa involucrando 30 colegios (Figura 9). Se calcul el costo a partir de la intervencin mejorada posterior al estudio 2005-2006. Este clculo se realiz especificando una escuela tipo donde sera aplicada la tecnologa, definiendo el total de cursos, profesores y alumnos que implementan la tecnologa. As, se calcul la cantidad de recursos materiales y humanos para satisfacer una demanda fija de colegios, obtenindose el costo total del programa por colegio y el costo unitario por alumno atendido. El anlisis de factibilidad arroj que el equipamiento necesario (que es poco ms del 75% del costo unitario por alumno atendido) es demasiado caro para el tipo de colegios al que apunta el programa. Esto porque Eduinnova requiere un netbook por alumno dentro de la sala de clases, que cuesta aproximadamente US$400 cada uno.

Figura 9: Masificacin del programa Eduinnova usando netbook educativos.

Por lo tanto, se busc usar el equipamiento existente en los colegios para implementar el programa. La solucin fue emplear punteros mltiples (MM) (Pawar et al., 2006) para compartir un PC con varios alumnos As, colaboran tres alumnos para resolver un problema en el mismo computador, cada uno con su propio dispositivo de input. Los estudios de eficacia muestran efectos comparables a las aplicaciones en plataformas individuales (Infante et al., 2009a; Infante et al.,2009b). Las evaluaciones de usabilidad en ambos estudios mostraron que no haba cambios significativos respecto a la alcanzada con PDAs. Respecto la efectividad, se encontr diferencias estadsticamente significativas a favor del grupo experimental, con tamaos del efecto de 0,52 y 0,66 dependiendo el tipo de aplicacin utilizada.

37

Nussbaum, M. & Rodrguez, P. (2010) Perspectivas de la inclusin de las TICs en educacin y su evaluacin en el logro de aprendizajes

Figura 10: nios utilizando actividades colaborativas con punteros mltiples.

Por ende, podemos usar MM para recalcular el costo de la intervencin. Esta vez los equipos necesarios se suponen disponibles en el colegio (laboratorio de 15 computadores) y el costo marginal es comprar punteros adicionales. Con ello, el programa mejora considerablemente su costo-efectividad, disminuyendo el costo unitario del programa a un 25,37% del original.

38