Perspectivas de La Inclusion de Las TICs

Perspectivas de la inclusión de
las TICs en educación y su

evaluación en el logro de
aprendizajes
Miguel Nussbaum y Patricio Rodríguez

*
Departamento de Ciencia de la Computación, Escuela de Ingeniería,
Pontificia Universidad Católica de Chile,
Edificio San Agustín P4, Av. Vicuña Mackenna 4860, Santiago, Chile
{mn, patricio}@ing.puc.cl // Tel: +56-2-354 4440
Permitida su reproducción total o parcial. Los autores son responsables por la selección y presentación de los hechos contenidos en
esta publicación, así como de las opiniones expresadas en ella, que no son necesariamente el pensamiento de la UNESCO y no
comprometen a la Organización.
Las denominaciones empleadas en esta publicación y la presentación de los datos que en ella figuran no implican, de parte de la
UNESCO, ninguna toma de posición respecto al estatuto jurídico de los países, ciudades, territorios o zonas, o de sus autoridades, ni
respecto al trazado de sus fronteras o límites
Nussbaum, M. & Rodríguez, P. (2010) Perspectivas de la inclusión de las TICs en educación y su
evaluación en el logro de aprendizaje
Resumen Ejecutivo
Las principales razones usadas para justificar las TICs en educación son apoyar el crecimiento económico,
promover el desarrollo social, avanzar en la reforma educativa y apoyar la administración educativa. Sin
embargo, transformar la educación con las TICs está lejos de concretarse, pues las políticas para ello sólo se
encuentran en un nivel declarativo. Incluso, aquellos países más avanzados en el tema pasan por una etapa de
estancamiento, porque deben tratar explícitamente con la transformación de prácticas pedagógicas que es más
difícil de implementar y evaluar. Además, la pregunta sobre cuáles son los efectos de corto y largo plazo en el
aprendizaje de los alumnos todavía no tiene respuestas concluyentes.
Con la revisión de la literatura, identificamos dos dimensiones desde dónde analizar qué ha impedido que las
TICs tengan el impacto esperado. Estas dimensiones son 1) el diseño y la implementación de las TICs en el
contexto educativo, es decir, de cómo se generan e implementan iniciativas TIC en educación; y 2) la
evaluación del impacto, es decir, cuál es el valor de las TICs en el sistema educativo.
Con respecto al diseño de los programas educativos apoyados en TICs, en general se antepone la tecnología al
uso educativo, aunque debieran estar basados en teorías de aprendizaje y principios pedagógicos. Respecto de
la implementación de las TICs, el equipamiento y conectividad solamente habilitan la integración de las TIC
en las prácticas pedagógicas, proceso que no ocurre automáticamente como muchos esperaban,
identificándose barreras que deben ser manejadas apropiadamente.
En relación a la evaluación del impacto de las TICs en educación, aunque se han llevado a cabo numerosos
estudios sobre el particular no es posible obtener respuestas concluyentes. Por un lado, `por problemas
metodológicos, clasificables en tres ámbitos: qué medir, con qué medir y cómo medir. Por otro, por
problemas en la falta de metodologías estandarizadas ampliamente aceptadas para la medición del impacto, y
la carencia de suficiente investigación en la cual basarse para tomar decisiones en un entorno tecnológico
cambiante.
A partir de los tres ámbitos a medir, proponemos un modelo conceptual que descompone el proceso de diseño
y desarrollo de un programa de informática educativa (PIE) basado en evidencia rigurosa en tres etapas:
eficacia, efectividad y eficiencia. En cada una de ellas se identifica qué procesos y software diseñar e
implementar, qué medir dentro del proceso educativo considerando la escala y el tiempo requeridos,
utilizando técnicas de investigación cuantitativa y cualitativa que expliquen los resultados obtenidos. Este
modelo conceptual se ilustra con un ejemplo de un programa educativo basado en aprendizaje colaborativo
asistido por computador llamado Eduinnova.
El modelo conceptual propuesto en este trabajo, entrega herramientas al tomador de decisiones para construir
una política pública para el desarrollo de PIEs. Por ejemplo, pueden crearse fondos concursables que
incentiven el diseño, desarrollo y evaluación de: modelos pedagógicos basados en TICs (eficacia), los
procesos de intervención en aquellos proyectos que hayan demostrado su eficacia previamente (efectividad) y
el empaquetamiento y mejoras para la masificación en el sistema escolar de aquellas iniciativas efectivas
(eficiencia).
Con un proceso de las características descritas se puede construir una política de informática educativa desde
las necesidades específicas de las escuelas en vez de buscar usos al equipamiento instalado. Distintas
necesidades de aprendizaje, requerirán distintas soluciones de software y hardware posiblemente
diversificando el equipamiento existente en las escuelas.
Permitida su reproducción total o parcial. Los autores son responsables por la selección y presentación de los hechos contenidos en
esta publicación, así como de las opiniones expresadas en ella, que no son necesariamente el pensamiento de la UNESCO y no
comprometen a la Organización.
Las denominaciones empleadas en esta publicación y la presentación de los datos que en ella figuran no implican, de parte de la
UNESCO, ninguna toma de posición respecto al estatuto jurídico de los países, ciudades, territorios o zonas, o de sus autoridades, ni
respecto al trazado de sus fronteras o límites
evaluación en el logro de aprendizajes
1 Introducción
Hace más de veinticinco años, las tecnologías de infocomunicaciones (TICs) fueron introducidas al sistema
escolar (Robertson, 2002; Reynolds et al., 2003). La percepción general era que la tecnología ayudaría a
mejorar los niveles de aprendizaje al introducir cambios en los procesos y estrategias de enseñanza-
aprendizaje (Culp et al., 2003; Kozma, 2003), adaptándolos a las necesidades individuales de cada estudiante
(Sunkel, 2006). En la década de los noventa, la inversión en TICs creció en respuesta a la masificación de la
Internet y de la World Wide Web (Pelgrum, 2001) como un esfuerzo de acortar la brecha de inequidad entre
la gente con y sin acceso a las TICs, también conocida como brecha digital (Warschauer, 2003). En la
actualidad, las razones principales usadas para justificar la inversión de TICs en educación son: apoyar el
crecimiento económico, promover el desarrollo social, avanzar en la reforma educativa y apoyar la
administración educativa (Kozma, 2008).
Es posible clasificar el desarrollo de los países respecto de las TICs en educación en cuatro etapas
(Villanueva, 2003): la etapa emergente, que es cuando se ha tomado conciencia de los beneficios de las TIC
en la educación; la etapa de aplicación, que es cuando las autoridades educacionales comienzan a realizar
proyectos pilotos en escuelas seleccionadas; la etapa de integración, que es cuando las escuelas cuentan con
recursos tecnológicos, se han instalado procesos de capacitación de los docentes y se ha integrado el uso de
las TIC en el currículum; y la etapa de transformación, que es cuando las escuelas han incorporado las TIC
de manera sistemática e integral en el proceso de enseñanza/aprendizaje y en la organización de la tarea del
docente. Por ejemplo, en Iberoamérica, Brasil, Chile, Costa Rica y México ―países donde existen programas
públicos de informática educativa― se encuentran principalmente en una etapa de integración (Sunkel,
2006). Sin embargo, las políticas de transformar la educación sólo se encuentran en un nivel declarativo, pero
no se han llevado a la práctica (Moonen, 2008). Incluso, aquellos países más avanzados en uso de las TICs en
educación, cuando llegan a la etapa de integración sufren de un estancamiento del proceso de implementación
porque deben tratar explícitamente con el tema pedagógico que es mucho más complejo en términos de
medición de impacto (Moonen, 2008).
Con respecto al impacto de la tecnología, aún quedan respuestas abiertas sobre sus efectos de corto y largo
plazo en el aprendizaje de los alumnos y cómo ella afecta tareas de aprendizaje simples y complejas (Cox &
Marshall, 2007). Responder estas preguntas es de suma importancia porque permitirá 1) desarrollar políticas
de gobierno, 2) focalizar la formación de profesores, 3) mejorar el currículum nacional, 4) adecuar la
implementación en sala de clases y 5) analizar los costos y beneficios (Cox & Marshall, 2007).
La pregunta que hay que responder entonces es porqué, a pesar de todos los proyectos llevados a cabo, las
inversiones y el tiempo transcurrido, aún las TICs no satisfacen las expectativas de resultados que las llevó a
ser introducidas en la sala de clases. El análisis de la literatura, nos permite identificar al menos dos
dimensiones desde donde analizar qué ha impedido que se cumplan estas promesas. Estas dimensiones son: 1)
El diseño y la implementación de las TICs en el contexto educativo, es decir, de cómo se generan e
implementan iniciativas TIC en educación; y 2) La evaluación del impacto de las TICs en el sistema
educativo, es decir, qué se mide, con qué y cómo se evalúan los efectos de la introducción de las TICs en el
sistema escolar.
Este artículo está estructurado como sigue: en la sección 2, analizamos la dimensión de diseño y la
implementación de las TICs en el contexto educativo; en la sección 3, analizamos la dimensión de la
evaluación del impacto de las TICs; en la sección 4, planteamos un modelo conceptual que permite combinar
el diseño, desarrollo y la evaluación de programas educativos basados en TICs con el fin de manejar los
problemas identificados. En la sección 5 analizamos la diseminación de los resultados de esas evaluaciones y
su presentación en publicaciones especializadas y en eventos destinados a producir agendas de política El
artículo finaliza con las principales conclusiones y perspectivas de trabajo futuro.
3
2 El diseño y la implementación de las TICs en el contexto

educativo
Respecto a esta primera dimensión de análisis, como consideración previa es necesario mencionar que desde
siempre ha existido una excesiva fe en las tecnologías para mejorar la enseñanza. Hoy son los computadores
en los colegios, pero en el pasado ya se introdujeron otras tecnologías con resultados dispares (Earle,
2002; Castro, 2004). Desde los proyectores de diapositivas, pasando por los laboratorios de lenguaje, la
televisión de circuito cerrado y los microcomputadores, la tecnología ha generado promesas en la sala de
clases con discretos resultados (Earle, 2002). Lamentablemente, el proceso masivo de introducción de las
TICs también repite errores del pasado (Earle, 2002) al basarse en una retórica optimista que no ofrece
evidencia que la respalde, respecto a los beneficios de la tecnología (Reynolds et al., 2003; Njenga & Fourie,
2010). Así, una de las dificultades permanentes del uso de la tecnología en educación, es que los tomadores de
decisiones piensan primero en la tecnología y solo después investigan sus aplicaciones educativas (Trucano,
2005). Esta lógica tiene como consecuencia que los objetivos educativos de las TICs estén a menudo
definidos en forma vaga (Trucano, 2005). Por lo tanto, las TICs ya tienen una carga de expectativas respecto a
su impacto que pueden ser desmedidas. Sin embargo, este problema no es particular de la tecnología, ya que a
través de la historia de la educación, la adopción de programas instruccionales y sus prácticas, ha estado
dirigido más por ideología, tendencias, política y mercadeo, que por la evidencia (Slavin, 2008).
Otra consideración relacionada con la anterior que también debe mencionarse, es que las TICs no fueron
concebidas para la educación; no aparecieron naturalmente en los sistemas de enseñanza; ni fueron
demandadas por la comunidad docente (Sunkel, 2006). Esta exterioridad hace que la incorporación de las
TIC a la educación resulte ser un proceso altamente dificultoso porque responde a un modelo (con sus
conceptos, sus discursos y sus prácticas) originado al exterior de los sistemas de educativos (Sunkel, 2006) e
impuesto a los sistemas de enseñanza (Hennessy et al., 2005). Lo anterior se manifiesta en dos ámbitos: el
diseño y la implementación de las TICs en educación.
2.1 El diseño de programas educativos con TICs

Respecto al diseño de los programas educativos que usan la informática para apoyar los procesos de
enseñanza-aprendizaje, se presta poca atención en general al diseño pedagógico de dichos programas
(Trucano, 2005). Sin embargo, dado que en una visión integral, las TICs son una posibilidad más para elegir
dentro de otras para el proceso de enseñanza-aprendizaje, deben responder a un diseño pedagógico para que
agreguen valor (Earle, 2002) y no sean meramente un caro complemento que apoyen las prácticas
tradicionales (Trucano, 2005). Esto significa que las TICs deben estar apoyadas en teorías de aprendizaje y
principios pedagógicos (Lai, 2008; Marshall & Cox, 2008; Reeves, 2008) que permitan establecer relaciones
entre el uso específico de las TICs, y los posibles resultados (McFarlane, 2001; Earle, 2002). De lo contrario,
las nuevas aplicaciones basadas en TICs que se desarrollen, no impactarán de la forma esperada porque están
basadas en supuestos equivocados o simplemente no son usables tal como se diseñaron (Penuel, 2005). Un
ejemplo de diseño basado en supuestos equivocados es el uso del lenguaje de programación Logo para
mejorar la habilidades de planificación de los niños menores de 9 años en la década de los noventa.
Investigaciones de décadas anteriores ya demostraban que el procesamiento de la información en los niños es
distinto de los adultos, especialmente en habilidades como el pensamiento lógico y la capacidad para llevar a
cabo más de una tarea a la vez. Como era de esperar, investigaciones posteriores confirmaron que el
desempeño de actividades basadas en Logo dependía del nivel de desarrollo cognitivo de los estudiantes (Cox
& Marshall, 2007).
También las TICs introducen distintas representaciones de la información y conocimiento, que los alumnos
requieren conocer para resolver los problemas planteados y que influyen en su desempeño, así como también
su grado de desarrollo cognitivo. Incluso pueden existir múltiples representaciones para el mismo problema
(Cox & Marshall, 2007). Este tema es relevante porque tiene consecuencia en la usabilidad de los ambientes
de enseñanza-aprendizaje por parte de los distintos usuarios.
Por otro lado, la extensa investigación sobre la enseñanza-aprendizaje sin TICs tampoco ha sido aprovechada
en el diseño de los procesos de enseñanza-aprendizaje con TICs, pasándose por alto aspectos teóricos
centrales en cualquier proceso de enseñanza-aprendizaje, con o sin tecnología (Sutherland et al., 2004). Por
4
ejemplo, llama la atención que muchos de los problemas actuales de la introducción de las TICs en el aula
están en la literatura señalados desde hace mucho tiempo: hace más de 18 años ya se señalaba que el cambio
progresivo ocurrirá, si se hace énfasis en la tecnología de la educación más que la introducción de tecnología
en la educación (Spencer, 1991). Más de 10 años después, el estudio Silicon Valley vs Silicon Glen, donde se
compara el impacto en el aprendizaje en California y Escocia, muestra que si bien hubo una “transformación”
desde el punto de vista de la infraestructura, el quehacer docente no cambió significativamente (Colon &
Simpson, 2003).
Tan importante es el modelo pedagógico que la evidencia muestra que aquellas tecnologías que fueron
desarrolladas por un equipo de investigación, tienen un mayor impacto que aquellas que fueron simplemente
adaptadas del mercado comercial o que solamente usan la tecnología como un medio de entrega (Liao & Hao,
2008).
La carencia de modelos pedagógicos en las propuestas de uso de TICs en los establecimientos, podría ser la
causa de la lentitud en la adopción de las TICs, ya que los profesores deben resolver el problema de cómo
incorporar de la mejor forma las nuevas tecnologías en las viejas prácticas de enseñanza (Hayes, 2007). Por
ello, los profesores necesitan apoyo para desarrollar estos nuevos enfoques antes de integrarlos a su quehacer
(Hayes, 2007). La capacitación de los profesores debe considerar además de los aspectos tecnológicos, nuevos
enfoques pedagógicos que incluyan las TICs (Hepp, 2003; Cox & Webb, 2004; Trucano, 2005; Sunkel, 2006;
Hayes, 2007), pero lamentablemente este proceso toma tiempo y requiere estrategias de formación docente de
largo plazo (Hepp, 2003; Trucano, 2005).
2.2 La implementación de las TICs en el contexto educativo

Respecto de la implementación de las TICs, los países siguieron un proceso donde lo primero que se abordó
fue la provisión de infraestructura en términos de equipamiento y conectividad (Moonen, 2008). Sin embargo,
la infraestructura constituye un habilitador para la integración de las TIC en las prácticas pedagógicas, pero
no implica que dicho proceso ocurra automáticamente como muchos esperaban (Earle, 2002; Sunkel, 2006;
Hayes, 2007). Así, dentro del proceso de integración y transformación de las prácticas pedagógicas a través
del uso TICs (en distintas realidades socioculturales) se identificaron una serie de obstáculos que requieren ser
manejados apropiadamente. Entre los más importantes destacan la falta de: confianza, actitudes y
competencias TICs de los profesores (Pelgrum, 2001; Conlon & Simpson, 2003; Reynolds et al., 2003; Cox
& Webb, 2004; Trucano, 2005; Tondeur, et al., 2007), infraestructura tecnológica de las escuelas (Pelgrum,
2001; Conlon & Simpson, 2003; Reynolds et al., 2003; Tearle, 2003; Trucano, 2005); supervisión y apoyo
técnico (Pelgrum, 2001; Conlon & Simpson, 2003; Tearle, 2003; Trucano, 2005; Hayes, 2007); compromiso
directivo, liderazgo y apoyo (Pelgrum, 2001; Trucano, 2005; Hayes, 2007); tiempo de los profesores para
reuniones, capacitación, ejercicios y planificación de las clases (Conlon & Simpson, 2003; Osborne &
Hennessy, 2003) y ejemplos motivadores de usos en clases y materiales curriculares (Conlon & Simpson,
2003; Dool & Kirschner, 2003; Trucano, 2005).
Si a este contexto orientado principalmente a la habilitación tecnológica (Earle, 2002; Tearle, 2003; Hennessy
et al., 2005) le añadimos la tendencia de los profesores a adaptar sus prácticas pedagógicas a la tecnologías en
vez de transformarlas (Cuban, 2001), el resultado fue que en los colegios se empezó a enseñar TIC en vez de
enseñar con TICs, lo que entró en conflicto con el uso de la tecnología para apoyar las restantes asignaturas
(Cox, 2008). Para resolver el problema, distintos países integraron las TICs como herramienta de aprendizaje
dentro del currículo nacional. Sin embargo, a pesar de ello, estudios recientes indican que existe una brecha
entre el curriculum propuesto y el efectivamente implementado (Tondeur et al., 2007). Dicha falta de
alineación proviene de la inexistencia de planes de TICs en los colegios que operacionalicen los estándares
nacionales en acciones concretas en los establecimientos (Tondeur et al., 2007).
Adicionalmente, el proceso de integración de las TICs se dificulta porque existe una desconexión entre las
razones que se presentan para introducir las TICs en educación desarrollar nuevas prácticas de enseñanza y
aprendizaje y el desarrollo de las habilidades de pensamiento y aprendizaje del siglo 21 y su
implementación, predominantemente la alfabetización digital y la distribución de materiales de aprendizaje
(Trucano, 2005). Esto también revela que existe una importante tensión entre la transformación de las
prácticas pedagógicas que promueve el discurso de la introducción de las TICs con los resultados que se
exigen al sistema a través de pruebas estandarizadas que están asociadas a metodologías de enseñanza más
tradicionales (Trucano, 2005; Cox & Marshall, 2007; Law, 2009).
5
Otro problema que ha dificultado la obtención de resultados, es que no se ha puesto suficiente atención a los
temas de seguimiento y evaluación que provean retroalimentación tanto para el diseño de la mayoría de las
iniciativas de TIC en educación como para la política educativa respecto de las lecciones aprendidas de los
proyectos pilotos (Trucano, 2005; Anderson & Plomp, 2009).
El seguimiento de un programa educativo basado en TICs debe examinar qué y cómo se está implementando
(fidelidad de la implementación) (Wagner et al., 2005) mientas que la evaluación analiza los efectos directos
o inmediatos de la intervención e implementación (Rovai, 2003) para medir desempeño. El objetivo principal
de medir la fidelidad de la implementación es determinar si el programa está operando como debe en términos
generales (Rovai, 2003; Wagner et al., 2005) y de acuerdo a las intenciones específicas de los diseñadores
(Agodini et al., 2003). Para que esto sea posible, los diseñadores deben primero especificar cuáles son los
aspectos importantes o críticos que los profesores deben llevar acabo dentro de la sala de clases y desarrollar
medidas para determinar cuándo y cómo estos aspectos son puestos en práctica en las salas de clases (Penuel,
2005). El seguimiento y evaluación puede entregar un entendimiento más profundo de la relación entre la
variación de la implementación de un programa y los efectos medidos (Agodini et al., 2003; Penuel, 2005).
También permite identificar cuáles son los límites de la aplicabilidad o flexibilidad del programa, así como
también posibles errores de diseño (Penuel, 2005; Light, 2008).
La falta de implementación de mecanismos de seguimiento y evaluación hace que no estén disponibles datos
o herramientas concretas respecto a los temas y desafíos que significan la integración de las TICs a las
escuelas, limitando su difusión fuera del círculo de expertos y usuarios experimentados, hacia la mayoría de
los tomadores de decisiones, donantes y educadores legos en el uso de las TICs en educación (Trucano,
2005).
3 La evaluación del impacto de las TICs en el sistema educativo

La segunda dimensión de análisis corresponde a la evaluación del impacto de las TICs en educación, que
busca responder la pregunta de cuál es el valor de las TICs en el sistema educativo. Naturalmente, la pregunta
de la evaluación de impacto de las TICs está fuertemente ligada con el desarrollo de la tecnología misma. Un
resumen de las principales tendencias de investigación de acuerdo a la evolución de la tecnología la podemos
encontrar en la Tabla 1.
Tabla 1: Desarrollos tecnológicos conducen a aplicaciones de las TICs en educación y principales estudios de impacto. Adaptado de Cox
(2008).
Aplicaciones de las TICs en
Periodo Desarrollos tecnológicos educación y tópicos de Evaluación y estudios referenciales
investigación para la
• Miniaturización de • Aplicaciones de
1950 — 1967 componentes ejercitación y práctica en
electrónicos. tópicos específicos para
grupos reducidos de
alumnos.
• Aparición de la • Acceso remoto de
1968 — 1970 Internet-ARPANET- Universidades y otros
JANET y redes centros educativos al uso
internacionales de de las TICs.
computadores
1970 — 1977 • Computadores • Acceso remoto a software

interactivos educativo de Universidades
y escuelas.
• Primeros
• TICs comienzan a aparecer
1978 — 1980 computadores con
en los colegios como
microprocesadores.
asignatura
• CPM/DOS
• Aparición de Apple • Primeras aplicaciones de
1980 — 1990 Macintosh y IBM-PC oficina declarativas
(Planillas de cálculo y
procesadores de texto).
6
Aplicaciones de las TICs en

Periodo Desarrollos tecnológicos educación y tópicos de Evaluación y estudios referenciales
investigación para la
• Lanzamiento de • LOGO como software
Microsoft Windows. educativo
• Invención de la • Masificación de las TICs
World Wide Web en los colegios.
(www)
• Estudios de impacto en el
aprendizaje de los alumnos,
adopción de los profesores
y las escuelas y
colaboración entre alumnos
• Computadores • Masificación de las TICs
portátiles. en los colegios.
• Proyectores dentro de • Presión para desarrollar • Estudio ImpaCT en Reino
la sala de clases recursos digitales que Unido (Watson, 1993).
permitan enseñar con y
• Pizarras interactivas. acerca de TICs.
1991 —1999
• Desarrollo de teorías para
explicar el cambio
educativo.
• Asistentes personales • Estudio internacional SITES M1
digitales (PDAs). (Pelgrum, 2001).
• Estudio ImpaCT2 en Reino
Unido (Harrison et al., 2002).
• Masificación de • Conciencia de la diferencia • Estudio internacional SITES

Internet. entre aplicaciones de M2 (Kozma, 2003).
oficina y necesidades
2000 — 2004 • Acceso a ambientes escolares. • Estudio Silicon Valley vs
de aprendizaje Silicon Glen (Conlon &
virtuales (VLE). Simpson, 2003).
• Masificación de las • Implementación de cursos
redes inalámbricas. y evaluación en línea.
• Web 2.0. • Alfabetización digital. • Estudio de impacto de la
2005 — 2007 European Schoolnet (Balanskat
• Impacto efectivo en el et al., 2006)
aprendizaje medido en
pruebas estandarizadas.
• Aplicaciones de web • 1:1 • Estudio Internacional SITES
2.0: YouTube, 2006 (Plomp et al., 2007).
Facebook, twitter. • Aprendizaje colaborativo
asistido por computador • Estudios de impacto de
• OLPC , Netbook (CSCL). software educativo en lectura y
matemáticas en EE.UU.
• Competencias del siglo 21 (Dynarski et al., 2007;
(“Aprendices del nuevo Campuzano et al., 2009).
milenio).
2008 — 2010 • Evaluación del programa
“Enlaces” (Chile) (Sánchez &
Salinas, 2008)
• Evaluación del programa
“Computadores para Educar”
(Colombia) (Barrera-Osorio &
Linden, 2009)
• Resumen del impacto de las
TICs en educación (Lemke et
al. 2009)
Lamentablemente, el impacto de las TICs en el aprendizaje no está del todo claro y todavía está abierto al
debate (Trucano, 2005). Si bien se han llevado a cabo numerosos estudios respecto de los efectos de las TICs
en educación, problemas mayores respecto a las políticas y metodologías con las cuales han sido llevados a
7
cabo algunos, no permiten establecer respuestas concluyentes (Cox & Marshall, 2007; Reeves, 2008).
Además, mucha de la evidencia ha sido obtenida de estudios de pequeña escala haciendo falta estudios
rigurosos de mayor escala que permitan hacer generalizaciones (Condie & Munro, 2007).
Tampoco existen metodologías estándares y ampliamente aceptadas para la medición del impacto (Trucano,
2005), ni suficiente investigación en la cual basarse para tomar decisiones en un entorno tecnológico
cambiante (Anderson & Plomp, 2009).
Un reciente análisis acerca de los efectos de las TICs en educación (Cox & Marshall, 2007), identifica una
serie problemas relacionados principalmente con el qué medir o con qué medir y que requieren atención
para llevar acabo investigaciones más profundas que provean resultados robustos y confiables en distintas
condiciones respecto del impacto de las TICs en educación.
Un primer tipo de problemas lo constituyen los distintos efectos que producen tipos de uso específicos de
TICs. El impacto en el aprendizaje de los alumnos depende fuertemente del tipo de recurso TIC, cómo se usa
y la asignatura en la cuál es usado (McFarlane, 2001; Cox & Marshall, 2007). Esta noción, que no es nueva,
tiene como consecuencia que el estudiar agregadamente los efectos del uso de TICs muy diferentes no
revelará efectos generales en el sistema educativo, medidos solamente en términos de pruebas estandarizadas
(McFarlane, 2001).
Por lo tanto, cualquier impacto debe ser medido investigando la naturaleza específica de las tareas basadas en
TIC y los tipos de conceptos, habilidades y procesos que éstas afectan (Cox & Marshall, 2007). Esto genera
una disyuntiva de cómo evaluar el impacto: si estudiando usos específicos en profundidad a través de casos, o
realizando estudios de gran tamaño, con resultados más generalizables, pero limitados respecto al
conocimiento de los usos específicos de las TIC (Cox & Marshall, 2007). Muchos de los estudios que
muestran efectos positivos de las TIC en educación (Watson, 1993; Harrison et al., 2002) fueron realizados de
esta última forma, no pudiendo conocer qué usos específicos produjeron impacto.
Un segundo tipo de problemas corresponde a cómo el diseño e implementación curricular afecta a los
alumnos. La evidencia de la literatura (Cox & Abbot, 2004; Cox & Marshall, 2007) muestra que cualquiera
sea el tipo de TIC utilizado, cómo se adapta y se implementa para el uso curricular afectará el impacto en los
alumnos (Cox & Marshall, 2007). Hasta ahora no existen estudios longitudinales a gran escala del impacto de
las TICs como los disponibles en los proyectos de desarrollo curricular. Esto no hace posible establecer
lineamientos específicos de cómo, cuándo, y bajo que circunstancias los docentes pueden diseñar métodos
apropiados para que una competencia sea aprendida de la mejor forma posible (Cox & Marshall, 2007).
El tercer tipo de problemas corresponde a los enfoques pedagógicos de los profesores. Los estudios
muestran que el enfoque pedagógico del profesor tiene un gran impacto en el uso de las TICs de sus alumnos
y por lo tanto en sus logros de aprendizaje (Cox & Webb, 2004). Incluso, la evidencia muestra que estos
efectos son mayores cuando los docentes usan sus conocimientos tanto de la asignatura, como de la forma en
que sus alumnos aprenden dichos contenidos en la asignatura que imparten (Cox & Marshall, 2007). Por lo
tanto, el impacto de las TICs en la enseñanza y aprendizaje se ve limitado cuando los docentes no aprecian
que la interactividad requiere nuevos enfoques pedagógicos y repensar como planifican sus clases y el
currículum completo. Estudiar el impacto de las TICs, también significa medir tanto la experticia de
profesores como la relevancia del software y su uso en todo el currículum (Cox & Marshall, 2007).
Finalmente, el cuarto tipo de problemas tiene que ver con la selección de los instrumentos de evaluación y
cómo interpretar sus resultados. Muchos de los estudios previos respecto al impacto de las TIC en
educación, muestran que los instrumentos y los métodos utilizados no miden realmente los objetivos y
resultados de aprendizajes promovidos por usos específicos de las TICs (Trucano, 2005; Cox & Marshall,
2007). Se buscan mejoras en procesos y conocimientos tradicionales en vez de nuevas formas de
conocimiento y razonamiento que podrían resultar del uso de las TICs (Penuel, 2005; Cox & Marshall, 2007)
como, por ejemplo, las denominadas competencias del siglo 21 (www.atc21s.org). La evidencia de
investigación es más robusta y confiable cuando las pruebas están relacionadas directamente con los efectos
probables de las TICs en el aprendizaje de los resultados (Cox & Abbot, 2004).
Sin embargo, estos no son todos los inconvenientes que podemos encontrar. Hay otra serie de dificultades
que se relacionan con el cómo medir, específicamente debilidades en la aplicación de comparaciones
experimentales en la evaluación de las TIC en educación, muchas de las cuales lamentablemente no son
reconocidas o son ignoradas (Reeves, 2008) y que discutiremos a continuación.
8
En primer lugar, el estricto control al tratamiento de las variables control y experimental que requieren las
metodologías de experimentación, es impráctico en la mayoría de los contextos educativos sujetos a
evaluación (Marshall & Cox, 2008). Las salas de clases no son laboratorios experimentales donde los
investigadores pueden comparar la efectividad de la tecnología con los métodos tradicionales controlando
todas las otras variables (Pilkington, 2008). Por lo tanto, aunque los experimentos con asignación aleatoria
puedan ser considerados por muchos como el estándar de oro (Slavin, 2008), la dificultad de aislar el rol de la
tecnología en el contexto educativo puede debilitar el valor de las conclusiones obtenidas (Pilkington, 2008).
Se debe complementar con otros métodos, especialmente cualitativos para entender las causas de los efectos
encontrados (Chatterji, 2005; Light, 2008).
En segundo lugar, décadas de estudios de evaluación claramente indican que hay sustantivas diferencias
entre el diseño de los ambientes de enseñanza-aprendizaje apoyadas por TICs y su implementación real
(Penuel, 2005; Reeves, 2008) y por tanto la evaluación recoge solo esta última, que además como proceso
está pobremente entendida (Trucano, 2005; Reeves, 2008). Es decir, se evalúa lo que ocurrió en lugar de lo
que se quiso implementar, que es un problema relacionado con la ausencia de mecanismos de seguimiento
como ya se mencionó en la sección anterior.
En tercer lugar, en los estudios experimentales, los instrumentos utilizados para medir resultados educativos
son rara vez investigados lo suficiente respecto a su confiabilidad y validez (Marshall & Cox, 2008), lo
cual puede invalidar los hallazgos de dichas experiencias (Chatterji, 2005). Estas pruebas se focalizan en
resultados que son más bien fáciles de medir, más que en aquellos que son más importantes, pero difíciles de
medir (Reeves, 2008).
En cuarto lugar, un enfoque experimental puede determinar solamente que método (clase tradicional vs. con
apoyo de tecnología) fue más efectivo, pero no indica las razones de ello (Chatterji, 2005; Reeves, 2008),
como ocurrió en los recientes estudios para evaluar el uso de software de lectura y matemáticas en Estados
Unidos (Dynarski et al., 2007; Campuzano et al., 2009) que no encontraron efectos significativos del uso de
software en dichas asignaturas, pero no entregan una explicación del porqué.
Un quinto problema relacionado con lo anterior es que si bien la evaluación puede arrojar diferencias
estadísticamente significativas, especialmente cuando grandes tamaños muestrales están involucrados, la
significancia social o educativa de dichos resultados es a menudo, débil (Reeves, 2008), por ejemplo
diferencias estadísticamente significativas con un tamaño del efecto muy bajo (Fan, 2001).
4 Un modelo conceptual para el diseño, implementación y

evaluación de programas de informática educativa
De la revisión bibliográfica y los problemas planteados en las secciones anteriores, surge el desafío de cómo
integrar armoniosamente el diseño, la implementación y la evaluación de programas educativos basados en
TIC que produzcan innovaciones que tengan una mayor probabilidad de éxito, evitando cometer los errores
del pasado. En esta sección introducimos un modelo conceptual que permite abordar el problema.
4.1 Conceptos y antecedentes

A continuación pasamos revisar los conceptos necesarios para entender el modelo y consideraciones básicas
respecto al diseño de los estudios que se utilizan durante la implementación del mismo.
4.1.1 Programa de Informática Educativa

Un Programa de Informática Educativa (PIE), responde a la definición más amplia de programa educativo,
entendido como un conjunto de procedimientos replicables, materiales, mecanismos de desarrollo profesional
o configuraciones de servicio que los educadores pueden escoger implementar para mejorar los resultados de
los estudiantes (Slavin, 2008), que integra el uso de las TICs. Siguiendo esta definición y respondiendo a la
problemática del diseño e implementación ya discutida, un PIE puede ser conceptualizado a través de las
siguientes componentes: modelo pedagógico, proceso de intervención y proceso de transferencia (Rodríguez,
2008).
9
El modelo pedagógico apoyado por TICs (en adelante simplemente modelo pedagógico) define qué debe
llevarse a cabo apropiadamente dentro de las escuelas (Penuel, 2005). El proceso de intervención
corresponde a cómo el modelo pedagógico es instalado y adaptado al contexto de la escuela, desarrollando en
los profesores y estudiantes las competencias para la implementación autónoma del programa a través de
actividades como cursos de capacitación de profesores, experiencias prácticas y observaciones de clases,
todas ellas de acuerdo a un plan (Rodríguez et al., 2010). Además, durante la intervención se requiere poner
en marcha un esquema de seguimiento y evaluación (S+E) que permita establecer la fidelidad de la
implementación y si realmente la adopción se produce, a través de indicadores de proceso y resultados
(Wagner et al., 2005). Así, el proceso de integración de tecnología en el contexto escolar se hace sustentable
maximizando las posibilidades de impacto (Rodríguez et al., 2010). La componente final del PIE es el
proceso de transferencia que corresponde a un programa de formación de profesionales, que lleven a cabo
fielmente el proceso de intervención a una escala masiva (Rodríguez, 2008). Estos componentes explicitan la
lógica subyacente del PIE, conocida también como “teoría del programa” (Chatterji, 2005).
El componente central de un PIE es el modelo pedagógico, que especifica los supuestos de cómo aprenden
los alumnos (Penuel, 2005; Cox & Marshall, 2007), las habilidades requeridas por éstos (Cox & Marshall,
2007), los cambios propuestos de prácticas con el uso de TICs en los profesores (Penuel, 2005), las
competencias requeridas por ellos (Cox & Webb, 2004), los atributos del modelo que permitirán introducir
dichos cambios (Cox & Marshall, 2007), y especialmente cómo y en qué debieran manifestarse los resultados
(Agodini et al., 2003; Penuel, 2005; Cox & Marshall, 2007; Light, 2008). Todo lo anterior de acuerdo a una
teoría que lo sustente (McFarlane, 2001; Lai, 2008; Marshall & Cox, 2008; Reeves, 2008).
Un modelo pedagógico apoyado por TICs puede especificarse en función de los componentes curriculares
del aprendizaje de los alumnos (Van den Akker, 2003), que son el fundamento (¿por qué aprenden?), las
metas y objetivos (¿hacia qué objetivos aprenden?), los contenidos (¿qué aprenden?), las actividades de
aprendizaje (¿cómo aprenden?), el rol del profesor (¿cómo se facilita el aprendizaje?), materiales y recursos
(¿con qué aprenden?), agrupamiento (¿con quiénes aprenden?), lugar (¿dónde aprenden?), tiempo (¿cuándo
aprenden?) y la evaluación (¿cuál es el progreso?). Otros autores, expresan el modelo pedagógico en términos
de los cambios que ocurren dentro de la escuela denominándolos dominios de innovación (Mioduser et al.,
2003). Dichos dominios corresponden a la configuración espacial, temporal y digital (¿dónde aprenden?,
¿cuándo aprenden?, ¿cuál es alcance y apertura de las entidades virtuales con las cuales el alumno
interactúa?), el rol del estudiante (¿cómo varía el comportamiento de los alumnos?), del profesor (¿cómo se
relaciona con sus alumnos y colegas?) y el currículum (¿cuáles son los cambios en contenidos, soluciones
didácticas y mecanismos de evaluación?). Tanto los componentes curriculares como los dominios de
innovación sirven para caracterizar la integración de las TICs dentro del proceso de enseñanza-aprendizaje,
haciendo explícitos cuáles son los cambios de prácticas que requieren ser estudiados.
Por su parte, el proceso de intervención (Rodríguez, 2008) debe detallar: las actividades a llevar a cabo
dentro del establecimiento (qué hacer), los actores dentro del establecimiento que se verán afectados (para
quiénes); los diagnósticos, plan de trabajo, la capacitación a los profesionales de la escuela y el plan de
seguimiento y evaluación (cómo hacerlo); los recursos TIC, materiales y documentos (con qué) y una
definición de perfiles del equipo que realizará la intervención (con quiénes).
Finalmente el proceso de transferencia (Rodríguez, 2008), que forma a los profesionales que realizan la
intervención, estará compuesto por los planes de formación del equipo en: el modelo pedagógico de la
innovación, la intervención propiamente tal y la implementación del mecanismo de seguimiento y
evaluación.
La definición de un programa de informática educativa permite una mayor articulación entre los distintos
componentes operativos de las políticas de TIC en educación: desarrollo de infraestructura, capacitación de
profesores, soporte técnico, cambios pedagógicos y curriculares y desarrollo de contenidos (Kozma, 2008) en
un proyecto integral. Esto es no menor, ya que algunos autores creen que la falta de alineamiento de las
componentes operativos en la política explica en parte la situación actual de las TICs en educación (Moonen,
2008)
4.1.2 Qué medir y tipos de estudios de evaluación

Un segundo grupo de conceptos que es necesario distinguir en el contexto de la evaluación de programas de
informática educativa son la eficacia, efectividad y eficiencia. Se estudia la eficacia cuando se evalúa en
10
ambientes controlados si es que la tecnología podría mejorar los resultados de los alumnos. (Agodini et al.,
2003). Se estudia la efectividad cuando se evalúa si realmente usando la tecnología se obtienen mejores
resultados en los contextos educativos para que fueron diseñados (Agodini et al., 2003). Por su parte, la
eficiencia añade a la efectividad los costos del programa, para medir su aplicabilidad y replicabilidad práctica.
Por otro lado, los estudios de evaluación para medir los conceptos anteriores las dividiremos en dos grandes
grupos: formativos y sumativos. Los estudios de evaluación formativos, se llevan a cabo para mejorar los
ambientes de enseñanza-aprendizaje durante su desarrollo, mientras que los estudios sumativos buscan
demostrar su impacto una vez finalizado (Reeves, 2008).
4.1.3 Metodologías de investigación: “Design research”

Existe una área emergente de investigación de TICs en educación denominada “design research” también
conocida como “design studies/experiments”, “development(al) research”, “engineering research”,
investigación formativa o evaluación (Van den Akker et al., 2006). Esta área de investigación es de especial
interés para definir nuestro marco conceptual porque busca: 1) estudiar problemas complejos en contextos
educativos reales en colaboración con los usuarios; 2) integrar la teoría y principios existentes con tecnología
para producir soluciones para dichos problemas; 3) conducir una rigurosa investigación para probar y refinar
la solución y 4) producir nuevos principios de diseño (Reeves, 2006). Por lo tanto, se trata de un
procedimiento iterativo de diseño, uso y rediseño (Cox, 2008; Reeves, 2008) para construir una intervención
“ideal” (Van den Akker et al., 2006) entendiendo cabalmente cómo funciona (Reeves, 2006). El ciclo de
desarrollo de la investigación de diseño se muestra a continuación en la Figura 1 donde se compara con la
investigación tradicional o predictiva.
Aplicación de la teoría
Hipótesis basadas en Mejora de la teoría basado
Experimentos diseñados por parte de
observaciones y/o en los resultados de las
para probar las hipótesis los profesionales del
teorías existentes pruebas
área
Especificación de nuevas hipótesis
Desarrollo de soluciones
Análisis de problemas reales Reflexión para producir
informadas por Ciclos iterativos de pruebas
por investigadores y “principios de diseño”
principios de diseño y refinamiento de la
profesionales del área y mejorar la implementación
existentes e innovaciones solución en la práctica
en colaboración de la solución
tecnológicas
Refinamiento del problema, la soluciones, métodos y principios de diseño
Figura 1: En la parte superior el enfoque de la investigación tradicional y en la inferior el estudio de diseño educativo (Reeves, 2006) .
4.1.4 Diseño de estudios

Para conducir la investigación que proponen los estudios de “design research”, se deben considerar una serie
de métodos tanto cuantitativos como cualitativos. Los estudios con métodos cuantitativos permiten determinar
la efectividad del programa examinado, pero no arrojan indicios sobre cómo, porqué y cuándo funciona por lo
cual deben complementarse con métodos cualitativos que entreguen información de contexto que expliquen
los resultados (métodos mixtos) (Frechtling, 2002; Chatterji, 2005; Reeves, 2008).
Los métodos a usar deberán estar asociados con los objetivos de investigación planteados (ver Tabla 4 en la
sección 4.2.3) para ser utilizados por los investigadores tanto en los estudios formativos como en los
sumativos. Dentro de los estudios sumativos, existen los denominados estudios de evaluación de impacto,
que buscan identificar sistemáticamente los efectos tanto positivos o negativos causados por el desarrollo de
proyecto o programa (World Bank, 2004). Los dos modelos de evaluación de impacto más importantes son:
• Diseños experimentales con asignación aleatoria: los sujetos son asignados aleatoriamente a la
condición experimental (participa en el programa) o a la control (no participa). Cuestionarios u otros
11
instrumentos de evaluación especialmente pruebas de aprendizaje son aplicadas antes (pre-test) y después
(post-test) de la implementación. Cuando existen niveles mayores de aleatorización (curso, profesor,
escuela) la manera adecuada de analizar estos diseños es a través de modelos lineales jerárquicos (Slavin,
2008).
• Diseños cuasi-experimentales: cuando la aleatorización no es posible, el grupo control se selecciona de
forma que homologue las características del grupo experimental lo mejor posible (control pareado).
Cuando una escuela o cursos son asignados aleatoriamente para recibir el programa, pero hay demasiado
pocos de ellos para efectuar un análisis usando modelos lineales jerárquicos, se habla de cuasi-
experimentos aleatorios (Slavin, 2008). Estos diseños pueden ser además de dos tipos: prospectivos y
retrospectivos (Slavin, 2008). En los cuasi-experimentos prospectivos, los grupos control y experimental
se definen a priori, mientras que en los retrospectivos se definen posterior a la implementación.
La evidencia sugiere que cuando los grupos control y experimental están bien pareados, se usan covariables
relacionadas con el pre-test para ajustar los resultados, y no hay sesgos de selección a nivel de estudiantes,
ambos tipos de experimentos producen resultados similares (Slavin, 2008). Por lo tanto, si un diseño
experimental no es posible especialmente por motivos de orden práctico discutidos en la sección 3, un
cuasi-experimento prospectivo bien diseñado es un buen sustituto (Chatterji, 2005; Slavin, 2008). No son
recomendables los cuasi-experimentos retrospectivos ya que producen resultados sesgados a favor del grupo
que participa en el programa (Slavin, 2008).
Para comparar el desempeño de los grupos se utilizan distintos instrumentos de evaluación, y se debe asegurar
que éstos, especialmente los que miden el aprendizaje, tengan la suficiente confiabilidad. Ésta se mide en
términos de la consistencia interna de los ítemes que componen la prueba. Por lo tanto, cuando se construyan
instrumentos específicos que evalúen aprendizajes u otras aspectos que pruebas estandarizadas no recojan,
deben aplicarse previamente a una población similar a la objetivo para medir la consistencia interna del
instrumento. Uno de estos indicadores es el denominado alfa de Cronbach (Cronbach, 1951), que para
propósitos de comparar dos grupos, este indicador debe tener valores superiores a 0,7 u 0,8 (Bland & Altman,
1997).
En las evaluaciones de impacto, los resultados de los grupos se comparan a través del denominado “tamaño
del efecto” o δ de Cohen (Cohen, 1998) que corresponde a la diferencia estandarizada de medias del
indicador de impacto entre los grupos experimental y control (Fan, 2001). El tamaño del efecto debe
calcularse en relación al post-test ajustado por el pre-test, y si este resultado corregido no está disponible
deben restarse los tamaño del efecto del post y pre-test (Slavin, 2008). En términos generales, el tamaño del
efecto se clasifica en “pequeño” (0,2 ≤ δ < 0,5), “mediano” (0,5 ≤ δ < 0,8) y “grande” (δ ≥ 0,8). En el caso
de las TICs, el tamaño del efecto esperado para una innovación fluctúa entre 0,25 y 0,35 (Agodini et al., 2003;
Dynarski et al., 2007). Esto es consistente con la evidencia que proveen los meta-análisis, que son
metodologías que a través de análisis estadísticos combinan resultados de distintos estudios empíricos (Liao
& Hao, 2008). La combinación de distintos estudios de meta-análisis indica que el tamaño del efecto total en
aspectos cognitivos es de 0,41 en el caso de las tecnologías instruccionales y de 0,17 para el e-learning,
siendo el tamaño del efecto combinado entre ambas de 0,29 (Liao & Hao, 2008).
Además de calcular el tamaño del efecto, se deben realizar pruebas de significancia estadística que indiquen
que si hay o no diferencias entre los grupos experimental y control en alguna dirección. Existen dos tipos de
errores que deben controlarse apropiadamente cuando se realizan estas pruebas. El primero es el error de tipo
I (con una probabilidad α de ocurrencia), que es cuando se afirma que existe diferencia cuando en realidad no
la hay (falso positivo). El segundo es el error de tipo II (con una probabilidad β de ocurrencia) que consiste en
declarar que no se han encontrado diferencias estadísticamente significativas cuando sí las hay (falso
negativo). El nivel aceptable del error de tipo I normalmente se fija en una probabilidad α=0,05; mientras que
la potencia estadística (con probabilidad 1- β) de la prueba, tiene un valor convencionalmente aceptado
mínimo de 0,8 (Fox & Mathers, 1997).
También los tamaños muestrales están directamente relacionados con el tamaño del efecto buscado, la
significancia estadística y la potencia de la muestra tal como se muestra en la Figura 2, donde se grafican
distintos tamaños del efecto en relación al tamaño total de la muestra (asumiendo grupos control y
experimental combinados y de igual tamaño) y la potencia de la prueba.
12
Prue ba t para dife re ncias de me dias de dos mue stras

inde pe ndie nte s (2 grupos)
(2 colas), muestras iguales α=0,05
900
800
700
Tamaño de la muestra tot al

600
δ = 0,25
δ = 0,35
500
δ = 0,45
δ = 0,55
400
δ = 0,65
300 δ = 0,75
200
100
0
0,80 0,82 0,84 0,86 0,88 0,90 0,92 0,94
Potencia (1-β)
Figura 2: Detectar tamaños del efecto pequeños minimizando el error de tipo II, requiere cada vez de tamaños muestrales más grandes.
Como puede observarse en la Figura 2, para α= 0,05 en la medida que el tamaño del efecto a detectar es
pequeño y se maximiza la potencia (partiendo de 1 - β = 0,8) los estudios requieren una muestra de tamaño
importante. Por ende, una tecnología con un tamaño del efecto pequeño tiene una reducida significancia
práctica y además ésta es costosa de demostrar. También se debe considerar que los tamaños del efecto de
una innovación van disminuyendo en la medida que crece la población afectada (Slavin, 2008; Slavin &
Smith, 2009). Esto significa que hay que asegurar la máxima eficacia posible desde etapas tempranas del
desarrollo de la innovación, para que cuando esta sea aplicada en gran escala produzca resultados que sean
importantes, y por tanto sean costo-efectivos. Si la eficacia en instancias tempranas no es la suficiente, es
posible que no valga la pena seguir desarrollando el programa de informática educativa.
Adicionalmente, cuando en una misma experiencia se prueban múltiples hipótesis, es decir, se mide el
impacto comparando los grupos experimental y control en más de un resultado, los errores de tipo I y II de las
distintas pruebas estadísticas se combinan, produciendo resultados erróneos (Schochet, 2008). Para ello se
deben seguir lineamientos y procedimientos de corrección que se describen en mayor detalle en un reporte
técnico del Institute of Education Sciences de Estados Unidos (Schochet, 2008).
La significancia y el tamaño del efecto deben ser interpretados en conjunto para obtener conclusiones
fidedignas (Fan, 2001). A continuación en la Tabla 2, se sintetiza una guía para interpretar los resultados
combinados de significancia estadística y tamaño del efecto para intervenciones educativas.
13
Tabla 2: Guías para interpretar de los resultados de una experiencia combinando los resultados encontrados de la significancia
estadística con el tamaño del efecto (Fan, 2001)
Tamaño del efecto (significancia práctica)

Pequeño Mediano Grande
1. Aparentemente no hay ni 1. Los efectos de la muestra son 1. Existe evidencia de que algún
efectos estadísticos ni prometedores, pero se debe efecto significativo existe,
prácticos tener cautela en interpretar el pero debe tenerse un poco de
2. A menos que la investigación tamaño del efecto por sí precaución respecto al tamaño
futura indique lo contrario, la mismo, porque un efecto de este efecto, porque puede
hipótesis nula es favorecida medio puede ser resultado del ocurrir por azar si la muestra
tanto en términos estadísticos azar, aun cuando parece ser es muy pequeña.
como prácticos. prácticamente significativo. 2. Si el error tipo II es una
No
2. Si hay preocupación respecto preocupación, revisar
al error de tipo II, revisar la críticamente la falta de
potencia de la prueba t porque potencia del test estadístico.
si el tamaño de la muestra es 3. Tentativamente, favorecer la
Significancia estadística
muy pequeña, puede que no significancia práctica del

se tenga el poder estadístico efecto, pero mantenerse
suficiente para detectar un abiertos para resultados de
efecto significativo. otras investigaciones de
mayor profundidad.
1. La significancia estadística 1. Es muy poco probable que el 1. Hay un alto grado de certeza
no está acompañada de la efecto observado se deba al de que el efecto observado no
significancia práctica, azar. se debe al azar y que la
pudiendo deberse ésta última 2. La magnitud del efecto es magnitud del efecto tiene
a la potencia estadística del importante en muchas áreas significancia práctica.
test (N grande). de las ciencias sociales y del 2. Concluya con confianza que
Si 2. Hay que tener considerable comportamiento. el efecto es significativo tanto
precaución en interpretar los 3. Concluya que el efecto es en un sentido práctico como
resultados de significancia significativo tanto en un estadístico.
estadística y no debieran sentido práctico como
interpretarse que tengan un estadístico
sentido de significancia
práctica.
Los resultados más confiables respecto al impacto de la tecnología se producen cuando se combinan la
existencia de la significancia estadística con tamaños del efecto mediano y grande. Las otras combinaciones
requieren más investigación, corrigiendo ciertos aspectos ya mencionados como la potencia de la prueba.
4.2 Etapas del modelo conceptual

El objetivo del modelo conceptual es ofrecer una metodología que descomponga el proceso de diseño y
desarrollo de un programa de informática educativa en etapas donde se construyen incrementalmente cada
una de sus componentes.
El modelo considera tres etapas: la etapa 1 donde se construye el modelo pedagógico dando cuenta de la
eficacia de la innovación; la etapa 2 donde se construye el proceso de intervención con su correspondiente
esquema de seguimiento y evaluación para su aplicación en contexto educativos reales (efectividad); y la
etapa 3 donde se construye el proceso de transferencia, además de estudiar cambios a las etapas anteriores
que permitan reducir los costos del proceso manteniendo un mismo nivel de efectividad (eficiencia).
En cada etapa se aplica una serie de evaluaciones formativas que permiten mejorar el diseño (Reeves, 2008),
además de construir y probar los instrumentos de evaluación de las variables relevantes para la evaluación
sumativa (Chatterji, 2005; Penuel, 2005; Marshall & Cox, 2008). Las evaluaciones formativas deberán
contestar la pregunta si es que la innovación está lista para evaluar sus efectos (Chatterji, 2005). Al menos una
14
de ellas debe llevarse a cabo antes de aplicar una evaluación sumativa, para responder las preguntas respecto a
las causas de los efectos encontrados (Chatterji, 2005).
El paso de una etapa a otra se determina a través de una evaluación sumativa que mide el impacto del diseño
consolidado de la componente respectiva. De obtenerse los resultados esperados, se pasa a la siguiente etapa
donde además se diseñan los procesos a ser probados. Por ejemplo, al término de la etapa de la eficacia se
contará con un modelo pedagógico completamente desarrollado con una noción del impacto que es posible
lograr; al que se debe agregar el proceso de intervención para ser probado en la etapa de efectividad. El
proceso completo se ilustra a continuación en la Figura 3.
implementació ón
(tamaño muestral evaluación
implementaci
Escala de la sumativa de cada etapa)
Producto final: Programa de
ón de procesos
Informática Educativa
Desarrollo de un esquema de S+E
desarrollo con su respectivo énfasis

documentació
ón y documentaci
+ nuevo diseño Eficiencia
Etapas del proceso de diseño y

Transferencia
Efectividad
Especificació
Especificaci
Intervención
+ nuevo diseño Eficacia
Modelo pedagógico
Evaluación
Resultado final etapa
sumativa
Diseño inicial
Ciclo iterativo de diseño, uso y rediseño con Tiempo del ciclo

evaluación formativa y sumativa
Figura 3: Ciclo de diseño y desarrollo de programas de informática educativa que consiste en tres ciclos de desarrollo de soluciones
prototipo que finaliza con una evaluación sumativa de resultados dependientes de la etapa.
En la medida que se avanza en las etapas, se requieren estudios en contextos educativos reales, que requieren
un mayor tiempo y escala de implementación alargando la duración del ciclo (representado por el diámetro
de cada círculo en la Figura 3). También se van especificando y documentando los procesos en mayor detalle
como parte del desarrollo del proceso de transferencia que produzca la escalabilidad deseada del programa
final.
A continuación, para cada etapa, se identifica qué evaluar, la escala y tiempo requerido de la implementación
necesarios para efectuar la evaluación.
4.2.1 Eficacia
En la etapa de eficacia, entendida esta como el grado en el que una determinada intervención, procedimiento,
régimen, o servicio originan un resultado beneficioso en condiciones ideales, el objetivo central es el
desarrollo del modelo pedagógico (expresado ya sea en términos de las componentes curriculares o dominios
de innovación) para responder si éste podría tener resultados en el aprendizaje de los alumnos. Normalmente
el componente central del modelo pedagógico es un ambiente de enseñanza-aprendizaje apoyado por TICs.
Por lo tanto, el ciclo de evaluación formativa busca obtener información que guíe las decisiones para mejorar
el software educativo a través de ensayos con alumnos en escuelas (Reeves, 2008). Los elementos centrales a
evaluar durante esta etapa son:
• La pertinencia, es decir, la utilidad que los profesores perciben (Penuel, 2005) y su relevancia respecto
al curriculum completo (Cox & Marshall, 2007) y si puede ser usados en distintos contextos curriculares
(Reeves, 2008).
15
• Los supuestos en los cuales está basado respecto a las teorías de aprendizaje que lo sustentan; las
actitudes de profesores y alumnos; el nivel de entendimiento conceptual y desarrollo cognitivo de los
alumnos (Penuel, 2005; Cox & Marshall, 2007; Marshall & Cox, 2008).
• El ambiente de enseñanza-aprendizaje, especialmente en términos de facilidad de uso (Penuel, 2005),
su transparencia de uso para la educación (Cox, 2008); a cómo el material de la asignatura es
representado (Cox, 2008); cómo la interacción humano-computador es dividida entre manipular el
software e involucrarse con una actividad de aprendizaje más profunda (Cox, 2008; Marshall & Cox,
2008) y cómo los estudiantes interpretan el conocimiento cuando se involucran con nuevas
presentaciones e interacciones humano-computador (Cox, 2008). Existen guías y metodologías para
evaluar estos aspectos (Squires & Preece, 1999; Reeves, 1994, 2006).
• La alfabetización en el medio TIC requerida para su uso (Marshall & Cox, 2008), ya que cómo los
alumnos piensan respecto al problema o tarea es influenciada por su familiaridad con las TICs y el
ambiente de enseñanza-aprendizaje con el cual trabajan (Cox & Marshall, 2007).
• El impacto en el aprendizaje de los alumnos, medidos en términos de las habilidades y conocimientos
que la innovación espera afectar (Penuel, 2005; Cox & Marshall, 2007).
Esta información puede ser recogida de muchas formas y de distintas fuentes, desde expertos en la asignatura
hasta alumnos que son representativos de la audiencia objetivo para las herramientas TICs (Reeves, 2008).
Algunas de las principales actividades a llevar a cabo durante la evaluación formativa incluyen: entrevistas en
profundidad con profesores, observación directa de sala de clases y revisión de documentos, especialmente
los estándares del gobierno local, la planificación de las clases y datos demográficos que caractericen la
diversidad de las salas de clases objetivo (Penuel, 2005). Otras actividades son la revisión de expertos,
observaciones de usuarios y pruebas de usabilidad (Reeves, 2008).
Los métodos de investigación asociados a los objetivos de evaluación de esta etapa se muestran en la síntesis
que se indica en la Tabla 4, en la sección 4.2.4.
La duración de la implementación de la evaluación sumativa de la etapa debe durar lo suficiente para que se
suministre evidencia de que el programa puede ser usados por períodos extensos (Slavin, 2008). Dado que
estudios muy cortos tienen una validez externa baja, algunos autores fijan un criterio de duración mínima de
12 semanas (Slavin, 2008).
Respecto del tamaño muestral para la evaluación de impacto en el aprendizaje, éste dependerá del tamaño del
efecto esperado (ver Figura 2), el cual debiera ser entre mediano y grande, pensando en que luego es posible
que parte de la eficacia se pierda cuando los profesores implementen el programa.
4.2.2 Efectividad
En esta etapa, entendida como el grado en que una determinada intervención, procedimiento, régimen o
servicio puestos en practica logran lo que se pretende conseguir para una población determinada, el objetivo
principal es desarrollar el proceso de intervención con su respectivo esquema de seguimiento y evaluación
que permita establecer si la adopción del modelo pedagógico se produjo o no. Los elementos centrales a
evaluar durante esta etapa son:
• El contexto donde se implementará el programa, expresado en términos de los tipos particulares de clases
donde se lleva a cabo (tipo y cantidad de alumnos) (Penuel, 2005) y otros como por ejemplo, la
organización de la escuela, roles del personal, experiencia de los profesores e infraestructura que
permitan evaluar los cambios a través del tiempo (Marshall & Cox, 2008). Las variables que midan el
contexto deben tener relación con los obstáculos o habilitadores del uso de TIC en la escuela. Además,
permitirá entender la relación entre el ambiente de aprendizaje y el contexto más amplio (Marshall &
Cox, 2008).
• El proceso de intervención expresado en términos de sus componentes: actividades a llevar a cabo
dentro del establecimiento, los diagnósticos, plan de trabajo, la capacitación a los profesionales de la
escuela y el plan de seguimiento y evaluación; además de los recursos TIC, materiales y documentos a
ser utilizados (Rodríguez, 2008).
16
• La fidelidad de la implementación por parte de los profesores, expresada en términos de las prácticas
críticas que ellos deben implementar, para desarrollar medidas de cuándo y cómo estos aspectos son
llevados a cabo en las salas de clases (Penuel, 2005). Esto refleja la efectividad del proceso de
intervención y la adopción de la innovación que es la que determina finalmente los resultados que logran
los alumnos (Rodríguez et al., 2010)
• La relación entre la variabilidad de la implementación y los resultados, que permite entender los
límites de aplicabilidad del programa y explica las variaciones de efectividad dentro de la
implementación de la innovación (Penuel, 2005).
Respecto del contexto existen una serie de modelos que conceptualizan el entorno en el cual se busca integrar
un modelo pedagógico apoyado por TICs identificando actores y sus relaciones; habilitadores u obstáculos
que enfrenta el programa y apoyo al proceso (Kirkman, 2000; Mooij & Smeets, 2001; Lim, 2002; Tearle,
2003, 2004; Nachmias et al. 2004; Plomp et al., 2007). Estos modelos pueden ser usados como guía para
elaborar las estrategias de la intervención.
En el caso del proceso de intervención, el esquema de seguimiento y evaluación es el que precisamente
permite medir la fidelidad de la implementación. Este esquema requiere definir una serie de indicadores
(entrada, procesos y resultados), con sus respectivos instrumentos de evaluación y un plan de seguimiento
(Rodríguez et al., 2010). Los indicadores de entrada miden las condiciones de contexto y el objetivo es
identificar cuáles de ellas se deben mantener en el tiempo para que la innovación sea sustentable. Los
indicadores de procesos miden dos aspectos: el cumplimiento del plan de la intervención y la adopción de las
prácticas que el modelo requiere para ser exitoso. Los indicadores de resultados reflejan el impacto directo de
la implementación del programa como el desarrollo de competencias en los profesores o mejoras de
aprendizajes de los alumnos. Los instrumentos de evaluación son las herramientas con que se miden los
indicadores anteriormente descritos, y pueden ser de tipo cuantitativo o cualitativo dependiendo de lo qué
está siendo medido. Ejemplos de instrumentos son pruebas de aprendizaje, pautas de observación de sala de
clases y encuestas. El plan de seguimiento determina cuándo se aplican los diferentes instrumentos de
evaluación, implementando la evaluación de procesos.
Por lo tanto, en esta etapa, el ciclo formativo involucrará un conjunto de estudios pilotos para refinar los
instrumentos de evaluación y asegurar validez y confiabilidad de los mismos (Penuel, 2005; Marshall & Cox,
2008). Además, las evaluaciones formativas recogerán información valiosa de la implementación como por
ejemplo, si los alumnos entendieron todo o solo parte del material usado, participaron de las actividades
instruccionales, si entendieron las instrucciones o tenían la madurez mental necesaria para involucrarse
completamente en la tarea, si es que las prácticas pedagógicas de los profesores fueron orientadas a todos los
alumnos o no, y si el tiempo ocupado para la instrucción fue suficiente para entender las tareas (Marshall &
Cox, 2008). También pueden arrojar luces respecto a qué procesos cognitivos fueron usados por los alumnos
para resolver los problemas (Marshall & Cox, 2008) y si los profesores adaptaron la innovación en una forma
que socava los principios con el cual fue diseñada (Penuel, 2005). De esta forma los estudios formativos
(¿cuáles son las condiciones iniciales?, ¿qué factores críticos demoraron, impidieron o deformaron el plan
original?) entregarán factores clave para que los datos recopilados en el estudio sumativo expliquen el éxito o
fracaso del programa y permitan mejorarlo (Chatterji, 2005; Marshall & Cox, 2008).
La duración de la implementación de la evaluación sumativa de la etapa debe durar lo suficiente para que se
suministre evidencia de que el programas pueden ser usados por períodos extensos (Slavin, 2008). Dado que
estudios muy cortos tienen una validez externa baja, algunos autores fijan un criterio de duración mínima de
12 semanas (Slavin, 2008).También, la investigación previa demuestra que a los profesores y a las escuelas le
toma tiempo adoptar innovaciones (Cox, 2008). Por lo tanto, el tiempo de implementación debe ser el
suficiente para que se produzca una adopción mínima de acuerdo a criterios fijados por los diseñadores y
medidos a través del esquema de seguimiento y evaluación. Dado que la implementación de acuerdo a los
criterios fijados anteriormente debe durar al menos 12 semanas, dependiendo de la duración de los procesos
de intervención el tiempo requerido debiera ser al menos un semestre.
17
Adicionalmente, el tamaño del efecto medible debiera disminuir por la introducción de ineficacias, propias
del proceso de adopción (Rodríguez et al., 2010). Por lo tanto, el tamaño de la muestra debiera ajustarse para
medir tamaños del efecto mediano a bajo (ver Figura 2). Adicionalmente hay que considerar que en caso que
existan múltiples contextos educativos en que pueda aplicarse la innovación, se requiere una adecuada
representación muestral de cada uno, lo que influirá en el tamaño final de la muestra a considerar. También
es importante incluir la mayor cantidad de docentes posibles para medir la relación entre los resultados de
aprendizaje de los alumnos y la adopción del modelo pedagógico por parte de los profesores (Rodríguez et al.,
2010).
4.2.3 Eficiencia
En esta etapa, los objetivos son desarrollar el proceso de transferencia, estimar cuáles son los costos totales
del programa y estudiar mecanismos que permitan disminuirlos de forma de mejorar su costo-efectividad. De
acuerdo a lo anterior, y asumiendo que los contextos educativos de uso de la innovación fueron delimitados
en la etapa de efectividad, los elementos centrales a evaluar son:
• La fidelidad de la intervención por parte de los profesionales a cargo de ella. Esto permite evaluar la
efectividad del proceso de transferencia.
• La fidelidad de la implementación por parte de los profesores, expresada en términos de las prácticas
críticas que ellos deben implementar en las salas de clases (Penuel, 2005).
• El Costo Total de Apropiación (TCO, del inglés Total Cost of Ownership) que se refiere a todos los
costos asociados al uso de los computadores: hardware, software, costos administrativos, licencias,
instalación, actualización de software y hardware, capacitación y desarrollo, mantención, soporte técnico
y otros costos asociados con la adquisición, implementación, operación, mantenimiento y actualización
de los sistemas computacionales en una organización (Moyle, 2008).
• La relación entre las variabilidades de la intervención, la implementación y los resultados, que
explican las variaciones de efectividad dentro de la implementación de la innovación además de la
efectividad de los procesos de transferencia.
Así como en la etapa de la efectividad se mide la fidelidad de la implementación para asegurar que el modelo
pedagógico está siendo aplicado adecuadamente, en esta etapa se mide la fidelidad de la intervención para
establecer que dichos procesos se llevan a cabo lo más cercano posible al diseño ya validado. Esto porque
cambios en la intervención pueden repercutir en la adopción de la innovación por parte de los profesores y por
ende en la implementación final afectando los resultados. Al evaluar la fidelidad de la implementación, la de
la intervención y los resultados es posible establecer relaciones de causalidad entre estos distintos elementos.
Por su parte, la estimación del TCO requiere identificar y definir al menos en términos operacionales los
activos tangibles e intangibles como las competencias de las personas que quedan instalados para
establecer mecanismos para su cuantificación (Moyle, 2008). Por ejemplo, dado que la etapa de efectividad se
identificó las competencias y prácticas que deben quedar instaladas, los costos asociados a estos activos
intangibles serán la capacitación de los profesores además de los mecanismos de seguimiento y evaluación
que permitan identificar su adopción.
La duración de la evaluación sumativa requiere al igual que en la etapa de efectividad un tiempo suficiente
para que se produzca la adopción de la innovación. Por ello, la implementación debiera tener una duración
similar. El diseño de los estudios debe ser lo más cercano al experimental aleatorio (ya sea a nivel de los
alumnos, cursos, profesores o colegios participantes) de forma que la evidencia de la efectividad encontrada
sea lo más rigurosa y contundente posible, dando cuenta del real tamaño del efecto que se produzca en la
aplicación en régimen permanente del programa. Dado lo anterior, lo más probable que el análisis requiera de
modelos jerárquicos lineales, por lo cual se requiere un adecuado tamaño muestral a nivel de cursos y
colegios para que las pruebas estadísticas tengan la potencia adecuada para detectar los tamaños del efecto
buscados (Agodini et al., 2003). Agodini et al. (2003) discuten en más detalle los temas conceptuales y
estadísticos respecto a este tipo de estudios.
18
Una medida de la costo-efectividad de un programa educativo es la relación entre el tamaño del efecto y el
costo total de apropiación del programa (Feinstein & Picciotto, 2001; Tan et al., 2001; Margolis et. al., 2006;
Harris, 2009), ambos medidos en una unidad común, como es el establecimiento tipo en que son aplicados y
la población afectada para determinar un costo por alumno. Buscar la eficiencia del programa significa
cambiar algunos de sus componentes como la intervención, los materiales o la propia tecnología, reduciendo
el costo. Sin embargo, se requiere evaluar si realmente estos cambios introducidos aún permiten el logro de
los objetivos del programa y si éstos no se ven comprometidos manteniendo o reduciendo levemente la
efectividad, lo cual implica moverse dentro del plano de la costo-efectividad. Así por ejemplo en Figura 4, la
costo-efectividad se mueve del punto (a) al punto (b), teniendo el punto (b) un menor costo que el punto (a),
también con un tamaño del efecto menor.
δ
Más efectivo
ño del efecto
a
0,8
b
Tamañ
Tama
0,5
Más caro
0,25
Mínima efectividad
0
Costo por alumno
Figura 4: Modificaciones en los componentes del PIE significan un cambio en la costo-efectividad del programa educativo
Dado que el tamaño del efecto disminuye en la medida que la población afectada aumenta (Slavin, 2008;
Slavin & Lake, 2008; Slavin et al., 2008; Slavin et al., 2009), y la estimación del TCO final debiera disminuir
hacia la etapa de eficiencia, la evolución de la costo-efectividad debiera tomar la forma que se muestra a
continuación en la Figura 5.
implementació ón
Escala de la
implementaci

Plano de costo-
costo-efectividad
δ
Eficiencia
Efectividad
Eficacia Mínima efectividad
Resultado final
etapa
Costo por alumno

Diseño inicial
(estimado)
Tiempo del ciclo
Figura 5: Evolución de la costo-efectividad en la medida que se desarrolla y evalúa un PIE.
4.2.4 Síntesis del modelo

En esta sección, a modo de resumen, se esquematiza el modelo conceptual en tablas donde se indican las
características principales de cada de sus etapas estableciendo los tipos de diseño de estudios posibles, las
metodologías de investigación e instrumentos asociados.
19
En primer lugar, la Tabla 3, muestra un esquema general donde se indican cuales son los objetivos de
investigación de las evaluaciones formativas y sumativas de cada etapa, qué evaluar y los posibles diseños
detallados anteriormente en la sección 4.1.4.
Tabla 3: Objetivos de la investigación (Marshall & Cox, 2008) , elementos a evaluar y diseños posibles de los estudios para cada una de
las etapas del modelo propuesto.
Diseño de estudio
Etapa Objetivos de investigación Elementos centrales a evaluar
(evaluación sumativa)
• Medir el impacto en el aprendizaje • Pertinencia. • Cuasi-
de los alumnos. • Los supuestos en los cuales experimental
• Conocer los efectos en las está basado. pareado
estrategias y procesos de prospectivo de
• El ambiente de enseñanza- pequeña escala.
aprendizaje. aprendizaje.
• Determinar los efectos en la • La alfabetización en el medio
1. Eficacia colaboración, en el entorno aplicado TIC.
u otros.
(modelo • El impacto en el aprendizaje
pedagógico) • Determinar los efectos en las de los alumnos.
pedagogías y prácticas de los
profesores:
• Determinar el uso de los
computadores por género y
contribución para mejorar el acceso
y aprendizaje de niños con
necesidades especiales.
• Medir el impacto en el aprendizaje • Contexto. • Cuasi-
de los alumnos. • Proceso de intervención. experimental
• Determinar la adopción por parte de pareado
• Fidelidad de la prospectivo de
escuelas y profesores. implementación. mediana escala
• Conocer los efectos en las • Impacto en el aprendizaje de
estrategias y procesos de • Experimental
los alumnos. aleatorio de
aprendizaje.
• Relación entre la variabilidad mediana escala.
• Determinar los efectos en la de la implementación y los
colaboración, en el entorno aplicado resultados.
2. Efectividad u otros.
(Intervención) • Conocer las actitudes hacia los
computadores en el proceso
educativo.
• Determinar los efectos en las
profesores.
computadores por género y la
20
Diseño de estudio
Etapa Objetivos de investigación Elementos centrales a evaluar
(evaluación sumativa)
• Medir el impacto en el aprendizaje • Fidelidad de la • Experimental
de los alumnos. implementación aleatorio de
• Determinar la adopción por parte de • Fidelidad de la intervención. gran escala.
escuelas y profesores. • Costo total de apropiación.
• Conocer los efectos en las • Impacto en el aprendizaje de
estrategias y procesos de los alumnos.
aprendizaje.
• Relación entre la variabilidad
• Determinar los efectos en la de la intervención, la
colaboración, en el entorno aplicado implementación y los
3. Eficiencia ∃ u otros. resultados.
(Transferencia y • Conocer las actitudes hacia los en el
estimación de proceso educativo.
costos) • Determinar los efectos en las
profesores
computadores por género y
• Determinar los costos totales de
operación y costo-efectividad.
Por su parte, a continuación la Tabla 4 muestra cuáles son los objetivos más comunes de la investigación de
TIC en educación y los métodos cuantitativo y cualitativos asociados (Marshall & Cox, 2008), además de su
aplicabilidad en cada una de las etapas del modelo conceptual.
21
Tabla 4: Objetivos de investigación de TICs en educación más comunes, sus métodos asociados [Adaptado de (Marshall & Cox, 2008)]
y su aplicabilidad en cada etapa del modelo conceptual propuesto.
Objetivos de investigación Métodos cuantitativos Métodos cualitativos

Etapa Etapa
Descripción Descripción
1 2 3 1 2 3

• Grupos • Pequeños grupos de alumnos
experimentales y usando ambientes de
controles. aprendizajes específicos, ya
sea como parte de una
intervención o como actividad
regular de las clases.
Medir el impacto en el

aprendizaje de los alumnos • Evaluación pre y post • Observaciones, evaluación
de mejora en el específica de tareas, grupos
aprendizaje focales.

• Encuestas en línea de • Entrevista a los alumnos
gran escala

• Pruebas pre y post.

• Encuestas de gran • Cuestionario de opinión de
Determinar la adopción escala. profesores en la escuela.
por parte de escuelas y
profesores • Cuestionarios de • Observaciones de clases.
muchos profesores y
escuelas.

• Evaluación pre y post • Evaluación de tareas
de procesos prescritas.
Conocer los efectos en las específicos
estrategias y procesos de intrasujeto.
aprendizaje.
• Observaciones de
interacciones alumno-
computador.
Determinar los efectos en
la colaboración, en el • Observaciones de clases,
entorno aplicado u otros. entrevistas con profesores,
cuestionarios, documentación.
Conocer las actitudes
hacia los computadores en • Evaluación de • Entrevistas y discusiones de
educación actitudes de alumnos grupos focales.
y profesores.

Determínala los efectos en • Encuestas de gran • Observaciones de clases,
las pedagogías y prácticas tamaño respecto a la entrevistas con profesores,
de los profesores frecuencia de uso, cuestionarios, documentación
tipos de TICs usadas,
entre otros.

• Cuestionarios de gran • Observaciones de clases,
Determinar el uso de los escala de uso del entrevistas con alumnos,
computadores por género computador cuestionarios.
y contribución para
• Cuestionarios de • Pequeños grupos de alumnos
mejorar el acceso y opinión de gran escala usando ambientes de
aprendizaje de niños con de muchos profesores aprendizajes específicos, ya
necesidades especiales y escuelas. sea como parte de una
intervención o como actividad
regular de las clases.

Determinar lo costos • Encuestas en línea de • Entrevistas a profesores,
totales de operación y todo el personal de la registros de la escuela,
costo-efectividad escuela, encuestas de cuestionarios al personal.
gran escala.
Finalmente la Tabla 5 muestra los instrumentos asociados a los métodos indicados en la Tabla 4.
22
Tabla 5: Métodos de investigación e instrumentos asociados (Harvey, 1998; Frechtling, 2002).
Objetivos de investigación Instrumentos de evaluación

Métodos cuantitativos Métodos cualitativos
Medir el impacto en el aprendizaje de • Pruebas de aprendizaje estandarizadas • Diseño y pauta(s) de observación en
los alumnos alineadas con los resultados de sala de clases.
aprendizaje que promueve la • Pruebas de evaluación de tareas
innovación. específicas validadas.
• Pruebas de aprendizaje en competencias • Diseño y pauta de entrevista.
no-tradicionales, pero validadas en su
consistencia interna.
• Encuestas.
Determinar la adopción por parte de • Encuestas. • Cuestionarios de opinión.
escuelas y profesores • Cuestionarios. • Pautas de observación de sala de clases
(con uso de rúbricas respecto a los
comportamientos que deben
observarse).
Conocer los efectos en las estrategias y • Pruebas de procesos específicos, • Diseño y pauta de evaluación de tareas
procesos de aprendizaje. validadas en su consistencia interna. preescritas.
• Registro de uso basado en grabación de • Diseño y pauta(s) de observación de
interacción con el computador (log). interacciones.
• Registro en video de interacciones de
alumnos con pantalla dividida (mitad
alumno, mitad pantalla computador).
Determinar los efectos en la • Encuestas • Diseño y pauta(s) de observación en
colaboración, en el entorno aplicado u sala de clases
otros. • Diseño y pauta de entrevistas.
• Cuestionarios.
Conocer las actitudes hacia los • Prueba de actitudes para profesores. • Diseño y pauta de entrevista.
computadores en educación • Prueba de actitudes para alumnos. • Diseño y pauta de grupo focal.
Determinar los efectos en las • Encuestas. • Diseño y pauta(s) de observación en
pedagogías y prácticas de los profesores sala de clases.
• Diseño y pauta(s) de entrevistas.
• Cuestionarios.
Determinar el uso de los computadores • Registro de uso basado en grabación de • Diseño y pauta(s) de observación en
por género y contribución para mejorar interacción con el computador (log). sala de clases.
el acceso y aprendizaje de niños con • Diseño y pauta(s) de entrevistas.
necesidades especiales • Cuestionarios.
Determinar los costos totales de • Cuestionario • Diseño y pauta(s) de entrevista a
operación y costo-efectividad • Encuestas profesores y directivos.
• Cuestionarios.
Una discusión respecto de las ventajas y desventajas de los métodos mixtos y especialmente en las ventajas y
desventajas de algunos métodos de recolección de datos como entrevistas, grupos focales, observaciones,
pruebas, estudios de documentos, informantes clave y casos de estudio se encuentra en (Harvey, 1998;
Frechtling, 2002).
El modelo conceptual se ilustra con un ejemplo incluido como anexo al presente documento.
5 Orientaciones respecto a políticas públicas y creación agenda

El modelo conceptual planteado permite desagregar el problema del diseño y desarrollo de programas de
informática educativa en etapas, definiéndose para cada una de ellas qué componente construir (modelo
pedagógico, proceso de intervención, proceso de transferencia) por un lado y por otro cómo, dónde y en qué
escala realizar la evaluación de dicha componente. Esto entrega a los diseñadores una herramienta
metodológica que asegure iterativamente la consistencia interna de diseño, solidez teórica y alineación con los
resultados esperados de los distintos componentes de un programa de informática educativa. Con ello se
establece una hoja de ruta para que los diseñadores creen y validen sus innovaciones, incorporando también la
componente de costo-efectividad, ya que estas iniciativas deben ser viables en la práctica tanto técnica como
financieramente.
23
A continuación discutiremos como estas orientaciones permiten crear agenda en la política pública y cómo
estos procesos requieren capacidades técnicas y asociaciones con instituciones especializadas.
5.1 Orientaciones para políticas públicas

Desde el punto de vista de las políticas públicas, el modelo conceptual entrega mecanismos al tomador de
decisiones para construir una política de incentivo al desarrollo de programas de informática educativa. Por
ejemplo, pueden crearse fondos concursables que incentiven el diseño, desarrollo y evaluación de: modelos
pedagógicos basados en TICs (eficacia), los procesos de intervención en aquellos proyectos que hayan
demostrado su eficacia previamente (efectividad) y el empaquetamiento y mejoras para la masificación en el
sistema escolar de aquellas iniciativas efectivas (eficiencia). El marco conceptual también entrega
lineamientos para evaluar cada una de las propuestas tanto en el proceso de adjudicación de los fondos, como
en la evaluación propiamente tal de las mismas. Esto último permitirá compararlas con aquellas de su mismo
nivel, para determinar si seguirán siendo apoyadas financieramente en su siguiente etapa de desarrollo. Como
los recursos son escasos y no se podrá financiar todas las iniciativas, debiera privilegiarse aquellas que
entreguen una mayor evidencia de su utilidad o su costo-efectividad, como se muestra en Figura 6.
implementació ón
Escala de la
implementaci

Masificación del programa

en el sistema escolar
Eficiencia
Costo por alumno

δ
Efectividad
δ Costo por alumno

Eficacia
Resultado final
etapa Costo por alumno
Diseño inicial
Tiempo del ciclo
Figura 6: Modelo conceptual incorporando la costo-efectividad como parte del proceso de evaluación.
Como se puede apreciar en la Figura 6, las iniciativas van pasando de nivel en la medida que adicionalmente a
las consideraciones de alcanzar un tamaño del efecto mínimo como plantea el modelo, sean competitivas con
otras propuestas en costo-efectividad. La comparación de costo-efectividad debiera efectuarse entre aquellas
innovaciones que tienen características similares de acuerdo a ciertos criterios definidos a-priori como
poblaciones a las que están dirigidas, niveles y asignaturas en que se trabaja y/o tecnologías que emplean.
Otra alternativa para lo anterior es que los fondos concursables sean temáticos o con ejes prioritarios de
aplicación.
Al final de este proceso, los PIE eficientes podrían masificarse centralizadamente por el gobierno, a través de
subsidios a los establecimientos o ser certificados como iniciativas de calidad para el financiamiento de los
establecimientos con fondos propios o de terceros. Además, abre la oportunidad de la articulación público-
privada a través de iniciativas de responsabilidad social empresarial (RSE), integrando los PIEs a la cartera de
proyectos que las empresas que trabajan en esa línea están buscando para financiar de ese modo.
Finalmente, un proceso de las características descritas es una herramienta para construir una política de
informática educativa desde las necesidades específicas de las escuelas en lugar del paradigma actual que es
buscar usos a la infraestructura instalada o en instalación. Distintas necesidades de aprendizaje, eventualmente
requerirán distintas soluciones de software y hardware diversificando la infraestructura existente en las
escuelas, que responde actualmente en su mayoría a estándares uniformes y centralizados no decididos por
ellas. Sobre la base de la información de impacto final provista por los programas de informática educativa
en fase de masificación, es posible llevar a cabo estudios de meta-análisis (Liao & Hao, 2008) que permitan
24
determinar la efectividad conjunta de las TICs en el sistema educativo, complementando estudios de

evaluación a gran escala internacionales como SITES 2006 (Plomp et al., 2007).
No obstante lo anterior, hay que tener en consideración que las evaluaciones tanto formativas como sumativas
empleadas en esta metodología toman un tiempo que pueden durar días, semanas o meses. Esto requiere de
alianzas de largo plazo entre los investigadores en tecnología educativa y las escuelas, para construir
soluciones prototipos en conjunto para estudiarlas rigurosamente (Reeves, 2000). Las agencias públicas y/o
privadas deben estar preparadas para apoyar este proceso que puede tomar cinco años o más para lograr
resultados útiles (Reeves, 2000).
5.2 Desafíos para el desarrollo de políticas públicas

Sin embargo, aplicar la metodología aquí descrita al desarrollo de políticas públicas también presenta desafíos
ya que la evaluación requiere de competencias técnicas específicas en diseño de investigación en ciencias
sociales, gestión, análisis y entrega de reportes (World Bank, 2004) y de estándares de evaluación que puedan
ser aplicados de forma objetiva y transparente. Por lo tanto, los gobiernos necesitan colaborar con
instituciones especializadas como Universidades y Centros de Investigación para llevar a cabo estos estudios.
Un ejemplo de esta colaboración en estos dos ámbitos son los recientes estudios de efectividad de productos
de software educativos en lectura y matemáticas en Estados Unidos (Dynarski et al., 2007; Campuzano et al.,
2009) que fueron realizados por mandato gubernamental del acta No Child Left Behind (NCLB) y encargados
por el Instituto de Ciencias de la Educación (Institute of Education Sciences, IES) del Departamento de
Educación de Estados Unidos a SRI International y Mathematica Policy Research Inc1. Esta última
institución ya había elaborado un documento con recomendaciones para la realización de estudios a nivel
nacional, también por encargo del IES (Agodini et al., 2003). Otro ejemplo es la agencia BECTA en el Reino
Unido que constantemente encarga estudios de investigación sobre las TICs y su impacto a reconocidos
investigadores (Watson, 1993; Harrison et al., 2002; Cox & Abbot, 2004; Cox & Webb, 2004; Underwood,
2009).
Respecto a los estándares de evaluación, existen en la actualidad distintas iniciativas que buscan definir
cuando un estudio se basa en evidencia rigurosa y cuales cumplen estos criterios para difundir dichas
iniciativas en el sistema escolar. Algunas de ellas son What Works Clearing House
(http://ies.ed.gov/ncee/wwc/), Best Evidence Encyclopedia (www.bestevidence.org), Comprenhensive School
Reform Quality Center (www.csrq.org), Campbell Collaboration (www.campbellcollaboration.org) y
Evidence for Policy and Practice Information and Co-ordinating Centre (http://eppi.ioe.ac.uk/cms/) (Slavin,
2008). En torno a estas iniciativas existe un debate en progreso al interior de la comunidad científica respecto
de la importancia de la investigación cuantitativa y cualitativa para acordar qué criterios definen una
evidencia rigorosa (Chatterji, 2005; Slavin, 2008).
El uso de estos estándares significa asimismo considerar aspectos éticos en la investigación educativa, como
ya se aplican en algunos países. Estos aspecto se refieren a los sujetos que investigan, el proceso de
investigación propiamente tal y de los sujetos investigados, especialmente en el respeto por la privacidad y
confidencialidad, el reclutamiento de los participantes y el respeto de sus derechos esenciales a través de un
consentimiento informado (Sañudo, 2006).
El segundo desafío es que se requiere estimar cuál será el costo total final del programa (Margolis et al.,
2006), introduciéndolo como una consideración desde fases tempranas de diseño, lo que requiere la
incorporación de profesionales del ámbito de la economía y la administración al equipo diseñador del PIE.
Finalmente, el tercer desafío, relacionado con el anterior es que también se requiere de un estándar para el
cálculo del TCO, que permita calcular, comparar y transparentar las diferencias entre las distintas propuestas
(Moyle, 2008).
5.3 Oportunidades para colaborar y profundizar sobre el tema

Como se mencionó anteriormente, la evaluación del impacto de las TICs requiere de la colaboración conjunta
de distintas agencias y organizaciones tanto gubernamentales como no gubernamentales. El objetivo de la
1
Bajo contrato ED-01CO0039/0007
25
presente sección es orientar respecto a algunos de los organismos existentes que trabajan en estos ámbitos que
permita orientar sobre la búsqueda de información respecto al tema.
Respecto a las agencias gubernamentales encargadas de desarrollar e implementar políticas públicas para
lograr un uso efectivo y eficiente de las TICs en la educación podemos encontrar: BECTA,
(www.becta.org.uk) del Reino Unido, Education.au (www.educationau.edu.au) de Australia, Enlaces -
Centro de Educación y Tecnología (www.enlaces.cl) del Ministerio de Educación de Chile, Korea Education
& Research Information Service, KERIS (http://english.keris.or.kr) de Corea del Sur, Learning Sciences Lab
de Singapur (http://www.lsl.nie.edu.sg/) y Office of Educational Technology (www.ed.gov/Technology) del
Departamento de Educación de Estados Unidos. Relacionado con lo anterior, pero en término de la
evaluación de impacto encontramos en Estados Unidos Institute of Education Sciences (IES, ies.ed.gov/) cuyo
centro National Center for Education Evaluation and Regional Assistance, dependiente del IES
(http://ies.ed.gov/ncee/) es el encargado de llevar a cabo las evaluaciones a nivel nacional y mantener el
repositorio de programas efectivos de acuerdo a evidencia rigurosa (WWC).
Dentro de los centros y agencias no gubernamentales que investigan y evalúan el uso de las TICs en
educación podemos encontrar: Center for Children and Technology, (http://cct.edc.org); Future Lab
(www.futurelab.org.uk); Mathematica Policy Research, Inc (www.mathematica-mpr.com) y Center for
Technology in Learning (http://ctl.sri.com/) perteneciente a SRI International.
En cuanto a organismos internacionales vinculados al tema de TICs y educación podemos encontrar al Banco
Interamericano de Desarrollo a través de su iniciativa de educación (http://www.iadb.org/edu/), el Banco
Mundial a través de InfoDev (Information for Development Program, www.infodev.org) que además provee
guías para el uso y evaluación de las TICs en educación (ICT-in-Education Toolkit
(http://www.ictinedtoolkit.org) y un blog (http://blogs.worldbank.org/edutech/) y la OCDE con su Centre for
Educational Research and Innovation (CERI2)
Por su parte las Naciones Unidas a través de la CEPAL y la UNESCO tiene distintas iniciativas en el tema. La
CEPAL publica regularmente estudios a través de su División de Desarrollo Social (www.eclac.org/dds)
respecto a las TIC y educación en América Latina. Por su parte la UNESCO dedica en su portal una sección al
tema3 y además ha desarrollado indicadores para evaluar el impacto de las TIC en educación4 .
Por otro lado, entre las revistas usadas para la elaboración de este artículo donde se publican artículos
relevantes respecto a la aplicación de TICs en educación y su evaluación de impacto podemos encontrar las
siguientes (entre paréntesis se indica su índice-H5): British Journal of Educational Technology (20),
Computers & Education (30), Educational Evaluation and Policy Analysis (28), Education and Information
Technologies (10), Educational Technology and Society (17), Journal of Educational Research (23) y Review
of Educational Research (44).
Finalmente entre las instituciones que actualmente trabajan en el desarrollo de estándares de competencias del
Siglo 21 podemos encontrar a la Universidad de Melbourne, Australia a través de su proyecto ATCS-21
(www.atc21s.org) y P21 (Partnership for 21st Century Skills, www.21stcenturyskills.org) en Estados Unidos
y la OECD con su iniciativa “Aprendices del Nuevo Milenio” (www.oecd.org/edu/nml).
6 Conclusiones y trabajo futuro

Como se discutió en este artículo, medir el impacto de las TICs es un problema y un área de investigación por
si misma que todavía no entrega respuestas concluyentes a las preguntas que se han realizado (Cox &
Marshall, 2007; Reeves, 2008). Si a ello añadimos que lamentablemente no se tiene mucha certeza del
respaldo teórico de muchas de las estrategias que se han implementado (McFarlane, 2001; Earle, 2002;
Marshall & Cox, 2008) o qué sucedió específicamente durante dicha implementación (Penuel, 2005;
Marshall & Cox, 2008; Reeves, 2008), sin duda no es posible tener muchas expectativas respecto a los
2
http://www.oecd.org/department/0,3355,en_2649_35845581_1_1_1_1_1,00.html
3
http://portal.unesco.org/ci/en/ev.php-URL_ID=2929&URL_DO=DO_TOPIC&URL_SECTION=201.html
4
http://www.unescobkk.org/education/ict/themes/measuring-and-monitoring-change/
5
El índice H de la revista expresa el número de artículos (h) que han recibido al menos h citas en los últimos 3 años. Cuantifica tanto la
productividad como impacto científico de la revista (SCImago, 2007).
26
resultados a encontrar. A esto se suma que a pesar de los pocos casos de evidencia robusta, la relación entre
ésta y las decisiones gubernamentales que debieran basarse en ellas es débil o inexistente (Cox, 2008) y a que
en general la evidencia de efectividad de los programas educativos es a menudo citada para justificar
decisiones tomadas u opiniones ya formadas (Slavin, 2008).
Sin embargo, en la actualidad el movimiento que busca incentivar el uso de programas y prácticas basadas en
investigación rigurosa, ha empezado a ganar terreno dentro de las políticas gubernamentales (Slavin, 2008).
Por lo tanto se necesita proveer a los tomadores de decisiones de metodologías que permitan ir
paulatinamente respondiendo a las preguntas abiertas y/o construyendo programas y prácticas que sean
metodológicamente correctas para que vayan siendo validadas en distintos niveles y escalas de
implementación. Ya hay esfuerzos en esta dirección algunos de los cuales se mencionaron en la sección 5.
Es de suma importancia difundir la experiencia ganada en la implementación y evaluación del impacto de las
TICs en educación de forma de que ésta salga del círculo de la comunidad científica experta para que sea
empleada por tomadores de decisiones y educadores en general (Trucano, 2005).
Este artículo es un esfuerzo en esta dirección que permita hacer conciencia de que el desafío de la integración
de las TICs en el sistema escolar todavía no está resuelto y hay una serie de temas que abordar y mejorar, para
no seguir cometiendo los errores del pasado.
Agradecimientos
Este trabajo contó con el apoyo de UNESCO.
Referencias
1. Agodini, R., Dynarski, M., Honey, M., & Levin, D. (2003). The Effectiveness of Educational
Technology: Issues and Recommendations for the National Study. Mathematica Policy Research,
Inc. Descargado October 29, 2009, desde http://www.mathematica-mpr.com/PDFs/edtechrec.pdf.
2. Anderson, R. E., & Plomp, T. (2009). Introduction. In T. Plomp et al. (Eds.), Cross-National Information
and Communication Technology Policies and Practices in Education (Second Edition., p. 3—17).
IAP-Information Age Publishing.
3. Balanskat, A., Blamire, R., & Kefala, S. (2006). The ICT Impact Report: A review of studies of ICT
impact on schools in
Europe. Descargado en Diciembre 29, 2009, desde http://ec.europa.eu/education/pdf/doc254_en.pdf.
4. Barrera-Osorio, F., & Linden, L. (2009). The Use and Misuse of Computers in Education:
Evidence from a Randomized Controlled Trial of a
Language Arts Program. Descargado en marzo 08, 2010, desde
http://www.columbia.edu/~ll2240/Barrera-Linden%20Computadores_2009-03-25.pdf.
5. Bland, J. M., & Altman, D. G. (1997). Statistics notes: Cronbach's alpha. BMJ, 314(7080), 572.
6. Campuzano, L., Dynarski, M., Agodini, R., & Rall, K. (2009). Effectiveness of Reading and Mathematics
Software Products: Findings from Two Student Cohorts. Descargado Enero 27, 2010, desde
http://ies.ed.gov/ncee/pubs/20094041/.
7. Castro, C. (2004). Are new technologies better technologies? For whom? In Adapting technology for
school improvement: a global perspective (pp. 39-54). International Institute for Educational
Planning - Unesco.
8. Chatterji, M. (2005). Evidence on "What Works": An Argument for Extended-Term Mixed-Method

(ETMM) Evaluation Designs. Educational Researcher, 34(5), 14-24.
9. Cohen, J. (1998). Statistical power analysis for the behavioral sciences. Hillsdale, NJ: Lawrence
Earlbaum Associates.
27
10. Condie, R., & Munro, B. (2007). The Impact of ICT in schools a landscape review. BECTA Research.
11. Conlon, T., & Simpson, M. (2003). Silicon Valley versus Silicon Glen: the impact of computers upon
teaching and learning: a comparative study. British Journal of Educational Technology, 34(2), 137-
150.
12. Cortez, C., Nussbaum, M., López, X., Rodríguez, P., Santelices, R., Rosas, R., et al. (2005). Teachers'
support with ad-hoc collaborative networks. Journal of Computer Assisted Learning, 21(3), 171-180.
13. Cox, M. (2008). Research IT in education. In J. Voogt. G. Knezek (Eds.), International Handbook of
Information Technology in Primary and Secondary Education (pp. 965-981).
14. Cox, M., & Abbot, C. (2004). ICT and attainment: A review of the research literature. ICT in Schools
Research and Evaluation Series – No.17, DfES-Becta. Descargado enero 25, 2010, desde
http://publications.teachernet.gov.uk/eOrderingDownload/ICT and attainment.pdf.
15. Cox, M., & Marshall, G. (2007). Effects of ICT: Do we know what we should know? Education and
Information Technologies, 12(2), 59-70.
16. Cox, M., & Webb, M. (2004). ICT and pedagogy: A review of the research literature. ICT in Schools
Research and Evaluation Series – No.18, DfES- Becta. Descargado Enero 25, 2010, desde
http://publications.becta.org.uk/display.cfm?resID=25813.
17. Cronbach, L. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16(3), 297-334.
18. Cuban, L. (2001). Oversold & Unde rused. Computers in the Classroom. Harvard University Press,
London.
19. Culp, K. M., Honey, M., & Mandinach, E. (2003, October). A Retrospective on Twenty Years of
Education Technology Policy. U.S. Department of Education, Office of Educational Technology.
Descargado enero 25, 2010, desde http://www.ed.gov/rschstat/eval/tech/20years.pdf.
20. Dool, P. V. D., & Kirschner, P. (2003). Integrating the Educative Functions of Information and
Communications Technology (ICT) in teachers' and learners' toolboxes: a reflection on pedagogical
benchmarks for ICT - in teacher education. Technology, Pedagogy and Education, 12(1), 161.
21. Dynarski, M., Agodini, R., Heaviside, S., Novak, T., Carey, N., Campuzano, L., et al. (2007).
Effectiveness of Reading and Mathematics Software Products: Findings from the First Student
Cohort. U.S. Department of Education, Institute of Education Sciences. Descargado enero 25, 2010,
desde http://ies.ed.gov/ncee/pubs/20074005/.
22. Earle, R. S. (2002). The Integration of Instructional Technology into Public Education: Promises and
Challenges. Educational Technology, 42(1), 5-13.
23. Fan, X. (2001). Statistical Significance and Effect Size in Education Research: Two Sides of a Coin. The
Journal of Educational Research, 94(5), 275-282.
24. Feinstein, O. N., & Picciotto, R. (2001). Evaluation and Poverty Reduction. World Bank Series on
Evaluation and Development (Vol. 3, p. 382). Washington, D.C: Transaction Publishers, New
Brunswick, New Jersey.
25. Fox, N., & Mathers, N. (1997). Empowering research: statistical power in general practice research. Fam.
Pract., 14(4), 324-329.
26. Frechtling, J. (2002). The 2002 User Friendly Handbook for Project Evaluation (NSF 02-057). Arlington.
28
VA: National Science Foundation. Descargado enero 25, 2010 desde

http://www.nsf.gov/pubs/2002/nsf02057/nsf02057.pdf.
27. Harris, D. N. (2009). Toward Policy-Relevant Benchmarks for Interpreting Effect Sizes: Combining
Effects With Costs. Educational Evaluation and Policy Analysis, 31(1), 3-29.
28. Harrison, C., Comber, C., Fischer, T., Haw, K., Lewin, C., Lunzer, E., et al. (2002). ImpaCT2: The
impact of information and communication technologies on pupil learning and attainment. BECTA.
Descargado enero 25, 2010, desde
http://partners.becta.org.uk/page_documents/research/ImpaCT2_strand1_report.pdf.
29. Harvey, J. (1998). Evaluation Cookbook. Learning Technology Dissemination Initiative, Institute for
Computer Based Learning, Heriot-Watt University, Edinburgh. Descargado enero 25, 2010 desde
http://www.icbl.hw.ac.uk/ltdi/cookbook/cookbook.pdf.
30. Hayes, D. N. A. (2007). ICT and learning: Lessons from Australian classrooms. Computers & Education,
49(2), 385-395.
31. Hennessy, S., Ruthven, K., & Brindley, S. (2005). Teacher Perspectives on Integrating ICT into Subject
Teaching: Commitment, Constraints, Caution, and Change. Journal of Curriculum Studies, 37(2),
155-192.
32. Hepp, P. (2003). Critical factors for an ICT in education policy in developing countries. In Proceedings
of the Information Technology: Research and Education, ITRE2003 (pp. 501 - 505). Presented at the
Information Technology: Research and Education.
33. Infante, C., Hidalgo, P., Nussbaum, M., Alarcón, R., & Gottlieb, A. (2009). Multiple Mice based
collaborative one-to-one learning. Computers & Education, 53(2), 393-401.
34. Infante, C., Weitz, J., Reyes, T., Nussbaum, M., Gómez, F., & Radovic, D. (2009). Co-located
collaborative learning video game with single display groupware. Interactive Learning
Environments.
35. Kirkman, C. (2000). A model for the effective management of information and communications
technology development in schools derived from
six contrasting case studies. Technology, Pedagogy and Education, 9(1), 37-52.
36. Kozma, R. B. (2003). Technology and Classroom Practices: An International Study. Journal of Research
on Technology in Education, 36(1), 1-14.
37. Kozma, R. B. (2008). Comparative Analysis of Policies for ICT in Education. In J. Voogt. G. Knezek
(Eds.), International Handbook of Information Technology in Primary and Secondary Education
(pp. 1083-1096).
38. Lai, K. (2008). ICT Supporting the Learning Process: The Premise, Reality, and Promise. In J. Voogt. G.
Knezek (Eds.), International Handbook of Information Technology in Primary and Secondary
Education (pp. 215-230).
39. Law, N. (2009). Curriculum and Staff Development For ICT In Education. In Cross-National
Information and Communication Technology Policies and Practices in Education (Second Edition.,
p. 19—39). IAP-Information Age Publishing.
40. Lemke, C., Coughlin, E., & Reifsneider, D. (2009). Technology in Schools: What research says? A 2009
Update. Culver City, CA: Commissioned by Cisco. Descargado marzo 08, 2010 desde
http://www.cisco.com/web/strategy/docs/education/tech_schools_09_research.pdf.
29
41. Liao, Y., & Hao, Y. (2008). Large -scale studies and quantitative methods. In J. Voogt. G. Knezek (Eds.),
International Handbook of Information Technology in Primary and Secondary Education (pp. 1019-
1035).
42. Light, D. (2008). Evaluating Educational Technology Interventions: How do we know its working?
Center for Children and Technology, Education Development Center, Inc. Descargado enero 25,
2010, desde http://cct.edc.org/report.asp?id=254.
43. Lim, C. P. (2002). A theoretical framework for the study of ICT in schools: a proposal. British Journal of
Educational Technology, 33(4), 411-421.
44. Margolis, J., Nussbaum, M., Rodríguez, P., & Rosas, R. (2006). Methodology for evaluating a novel
education technology: a case study of handheld video games in Chile. Computers & Education,
46(2), 174-191.
45. Marshall, G., & Cox, M. (2008). Research Methods: Their design, applicability and reliability. In J.
Voogt. G. Knezek (Eds.), International Handbook of Information Technology in Primary and
Secondary Education (pp. 983-1002).
46. McFarlane, A. (2001). Perspectives on the relationships between ICT and assessment. Journal of
Computer Assisted Learning, 17(3), 227-234.
47. Mioduser, D., Nachmias, R., Tubin, D., & Forkosh-Baruch, A. (2003). Analysis Schema for the Study of
Domains and Levels of Pedagogical Innovation in Schools Using ICT. Education and Information
Technologies, 8(1), 23-36.
48. Mooij, T., & Smeets, E. (2001). Modelling and supporting ICT implementation in secondary schools.
Computers & Education, 36(3), 265-281.
49. Moonen, J. (2008). Policy from a global perspective. In J. Voogt. G. Knezek (Eds.), International
Handbook of Information Technology in Primary and Secondary Education (p. 1171—1178).
50. Moyle, K. (2008). Total Cost Of Ownership And Total Value Of Ownership. In J. Voogt. G. Knezek
(Eds.), International Handbook of Information Technology in Primary and Secondary Education
(pp. 615-631).
51. Nachmias, R., Mioduser, D., Cohen, A., Tubin, D., & Forkosh-Baruch, A. (2004). Factors Involved in the
Implementation of Pedagogical Innovations Using Technology. Education and Information
Technologies, 9(3), 291-308.
52. Njenga, J. K., & Fourie, L. C. H. (2010). The myths about e-learning in higher education. British Journal
of Educational Technology, 41(2), 199-212.
53. Nussbaum, M., & Rosas, R. (2004). Enlaces Móvil: Tecnología Portátil En La Sala De Clases - Informe
final.
54. Osborne, J., & Hennessy, S. (2003). Literature Review in Science Education and the Role of ICT:
Promise, Problems and Future Directions. Future Lab. Descargado enero 31, 2010, desde
http://www.futurelab.org.uk/resources/documents/lit_reviews/Secondary_Science_Review.pdf.
55. Pawar, U. S., Pal, J., & Toyama, K. (2006). Multiple Mice for Computers in Education in Developing
Countries. In Information and Communication Technologies and Development, 2006. ICTD '06. (pp.
64-71). Presented at the Information and Communication Technologies and Development, 2006.
ICTD '06.
30
56. Pelgrum, W. (2001). Obstacles to the integration of ICT in education: results from a worldwide
educational assessment. Computers & Education, 37(2), 163-178.
57. Penuel, W. R. (2005). Recommendations for Evaluation Research within Educational Innovations. Center
for Technology in learning, SRI International. Descargado enero 25, 2010, desde
http://ctl.sri.com/publications/downloads/Rec_Eval_Research_within_Edu_Innovations.pdf.
58. Pilkington, R. M. (2008). Measuring the impact of Information Technology on Student's Learning. In J.
Voogt. G. Knezek (Eds.), International Handbook of Information Technology in Primary and
Secondary Education (pp. 1003-1018).
59. Plomp, T., Pelgrum, W., & Law, N. (2007). SITES2006–International comparative survey of pedagogical
practices and ICT in education. Education and Information Technologies, 12(2), 83-92.
60. Reeves, T. (2008). Evaluation of the Design and Development of IT Tools in Education. In J. Voogt. G.
Knezek (Eds.), International Handbook of Information Technology in Primary and Secondary
Education (pp. 1037-1051).
61. Reeves, T. (2006). Design research from a technology perspective. In J. van den Akker, K. Gravemeijer,
S. McKenney & N. Nieveen (Eds.) Educational Design Research. London: Routledge.
62. Reeves, T. (1994). Evaluating What Really Matters in Computer-Based Education. In In M. Wild & D.
Kirkpatrick (Eds.) Computer Education: New perspectives. (pp. 219-246). Perth, Australia:
MASTEC. Descargado enero 25, 2010 desde http://www.educationau.edu.au/evaluating-what-really-
matters-computer-based-education.
63. Reeves, T. (2000). Enhancing the Worth of Instructional Technology Research through "Design
Experiments" and Other Development Research Strategies. Descargado diciembre 8, 2009, desde
http://it.coe.uga.edu/~treeves/AERA2000Reeves.pdf.
64. Reynolds, D., Treharne, D., & Tripp, H. (2003). ICT - the hopes and the reality. British Journal of
Educational Technology, 34(2), 151-167.
65. Robertson, J. (2002). The ambiguous embrace: twenty years of IT (ICT) in UK primary schools. British
Journal of Educational Technology, 33(4), 403-409.
66. Rodríguez, P., & Gómez, F. (2007). Tecnología Portátil en la Sala de Clases: desarrollo de un producto y
estándar de clase mundial para la transformación de la práctica pedagógica - Informe Final Proyecto
CORFO Innova Chile 05CT5IP-02.
67. Rodríguez, P., Nussbaum, M., López, X., & Sepúlveda, M. (2010). A Monitoring and Evaluation Scheme
for an ICT-Supported Education Program in Schools. To appear on Educational Technology &
Society.
68. Rodríguez, P. (2008). Estándar de Modelo de Informática Educativa. Enlaces, Centro de Educación
y Tecnología. Descargado diciembre 7, 2009,
http://intranet.redenlaces.cl/index.php?id=11414&no_cache=1&uid=2549&param=publico.
69. Rovai, A. P. (2003). A practical framework for evaluating online distance education programs. The
Internet and Higher Education, 6(2), 109-124.
70. Sánchez, J., & Salinas, A. (2008). ICT & learning in Chilean schools: Lessons learned. Comput. Educ.,
51(4), 1621-1633.
71. Sañudo, L. (2006). La ética en la investigación educativa. Presentado al I Congreso Iberoamericano de
31
Ciencia, Tecnología, Sociedad e Innovación (CTS+I). Palacio de Minería, 19-23 junio 2006, Ciudad
de México, México. Descargado marzo 30, 2010, desde
http://www.oei.es/memoriasctsi/mesa2/m02p33.pdf.
72. Schochet, P. Z. (2008, May). Technical Methods Report: Guidelines for Multiple Testing in Impact
Evaluations (NCEE 2008-4018). Washington, DC: National Center for Education Evaluation and
Regional Assistance, Institute of Education Sciences, U.S. Department of Education. Descargado
enero 25, 2010 desde http://ies.ed.gov/ncee/pdf/20084018.pdf.
73. SCImago. (2007). SJR — SCImago Journal & Country Rank. Descargado enero 19, 2010, desde
http://www.scimagojr.com.
74. Slavin, R., & Smith, D. (2009). The Relationship Between Sample Sizes and Effect Sizes in Systematic
Reviews in Education. Educational Evaluation and Policy Analysis, 31(4), 500-506.
75. Slavin, R. E. (2008). Perspectives on Evidence-Based Research in Education--What Works? Issues in

Synthesizing Educational Program Evaluations. Educational Researcher, 37(1), 5-14.
76. Slavin, R. E., Cheung, A., Groff, C., & Lake, C. (2008). Effective Reading Programs for Middle and
High Schools: A Best-Evidence Synthesis. Reading Research Quarterly, 43(3), 290-322.
77. Slavin, R. E., & Lake, C. (2008). Effective Programs in Elementary Mathematics: A Best-Evidence
Synthesis. Review of Educational Research, 78(3), 427-515.
78. Slavin, R. E., Lake, C., Chambers, B., Cheung, A., & Davis, S. (2009). Effective Reading Programs for
the Elementary Grades: A Best-Evidence Synthesis. Review of Educational Research, 79(4), 1391-
1466.
79. Spencer, K. (1991). Modes, media and methods: the search for educational effectiveness. British Journal
of Educational Technology, 22(1), 12-22.
80. Squires, D., & Preece, J. (1999). Predicting quality in educational software: Evaluating for learning,
usability and the synergy between them. Interacting with Computers, 11(5), 467-483.
81. Sunkel, G. (2006). Las Tecnologías de La Información y la Comunicación (Tic) en la educación en

América Latina. Una exploración de indicadores. CEPAL - Politicas sociales (Division de
Desarrollo Social, CEPAL, Naciones Unidas.).
82. Sutherland, R., Armstrong, V., Barnes, S., Brawn, R., Breeze, N., Gall, M., et al. (2004). Transforming
teaching and learning: embedding ICT into everyday classroom practices. Journal of Computer
Assisted Learning, 20(6), 413 - 424.
83. Tan, Jee-Peng , Anderson, J. R. , Belli, P., Barnum, H.N., & Dixon, J. A. (2001). Economic analysis of
investment operations analytical tools and practical applications, Vol. 1 of 1. R Descargado enero
27, 2010, desde http://www-
wds.worldbank.org/servlet/main?menuPK=64187510&pagePK=64193027&piPK=64187937&theSit
ePK=523679&entityID=000160016_20060127112546.
84. Tearle, P. (2003). ICT implementation: what makes the difference? British Journal of Educational
Technology, 34(5), 567-583.
85. Tearle, P. (2004). A theoretical and instrumental framework for implementing change in ICT in
education. Cambridge Journal of Education,, 34(3), 331-351.
86. Tondeur, J., Braak, J. V., & Valcke, M. (2007). Curricula and the use of ICT in education: Two worlds
32
apart? British Journal of Educational Technology, 38(6), 962-976.
87. Trucano, M. (2005). Knowledge Maps: ICTs in Education. ICT and Education Series. Washington, DC:
infoDev / World Bank. Descargado enero 25, 2010, desde
http://www.infodev.org/en/Document.8.aspx.
88. Underwood, J. (2009). The impact of digital technology. BECTA. Descargado enero 20, 2010, desde
http://publications.becta.org.uk/display.cfm?resID=41343&page=1835.
89. Van den Akker, J. (2003). Curriculum perspectives: An introduction. In In J. van den Akker, U. Hameyer,
& W. Kuiper (Eds.) Curriculum landscapes and trends (pp. 1-10). Dordrecht: Kluwer. Descargado
marzo 1, 2010, desde http://www.neccs.nl/curriculum/Curriculum_landscapes.doc.
90. Van den Akker, J., Gravemeijer, K., McKenney, S., & Nieveen, N. (2006). Educational Design
Research. London: Routledge.
91. Villanueva, C. (2003). Measuring Ict Use In Education In Asia And The Pacific Through Performance
Indicators. Presented at the Joint UNECE/UNCTAD/UNESCO/ITU/ OECD/Eurostat Statistical
Workshop on Monitoring the Information Society: Data, Measurement and Methods (Geneva, 8-9
December 2003). Descargado enero 20, 2010, desde
http://www.unece.org/stats/documents/ces/sem.52/6.e.pdf.
92. Wagner, D. A., Day, B., James, T., Kozma, R. B., Miller, J., & Unwin, T. (2005). Monitoring and
Evaluation of ICT in Education Projects: A Handbook for Developing Countries. ICT and Education
Series. Washington, DC: infoDev / World Bank. Descargado enero 29, 2010, desde
http://www.infodev.org/en/Publication.9.html.
93. Warschauer, M. (2003). Technology and Social Inclusion - Rethinking the Digital Divide. The MIT Press.
94. Watson, D. (1993). The ImpacT Report: an evaluation of the impact of information technology on
children's achievements in primary and secondary schools. London: Department for Education and
King's College Centre for Educational Studies.
95. World Bank. (2004). Monitoring and Evaluation: some tools, methods & approaches. The International
Bank for Reconstruction and Development/THE WORLD BANK. Descargado enero 29, 2010,
desde
http://lnweb90.worldbank.org/oed/oeddoclib.nsf/b57456d58aba40e585256ad400736404/a5efbb5d77
6b67d285256b1e0079c9a3/$FILE/MandE_tools_methods_approaches.pdf.
96. Zurita, G., & Nussbaum, M. (2004a). Computer supported collaborative learning using wirelessly
interconnected handheld computers. Computers & Education, 42(3), 289-314.
97. Zurita, G., & Nussbaum, M. (2004b). A constructivist mobile learning environment supported by a
wireless handheld network. Journal of Computer Assisted Learning, 20(4), 235-243.
98. Zurita, G., & Nussbaum, M. (2007). A conceptual framework based on Activity Theory for mobile
CSCL. British Journal of Educational Technology, 38(2), 211-235.
99. Zurita, G., Nussbaum, M., & Salinas, R. (2005). Dynamic Grouping in Collaborative Learning Supported
by Wireless Handhelds. Educational Technology & Society, 8(3), 149-161.
33
Anexo: Ejemplo de aplicación del modelo

Se ilustra la aplicación del modelo descrito en la sección 4 con el programa Eduinnova. Dicho programa
busca transformar la practica educativa en la sala de clase a través de trabajo colaborativo en grupos pequeños
asistidos por computadores interconectados inalámbricamente (Zurita & Nussbaum, 2004b; Cortez et al.,
2005).
1 Eficacia
El objetivo de los estudios de eficacia fue evaluar tanto cuantitativa como cualitativamente actividades
colaborativas (del inglés Collaborative Learning, CL) sin (Figura 7a) y con apoyo tecnológico (Figura 7b)
para probar que actividades colaborativas asistidas por computación móvil (del inglés Mobile Computer
Supported Collaborative Learning MCSCL), producirían mejoras en el aprendizaje. Se desarrollaron
actividades MCSCL para distintos niveles y asignaturas usando PDAs y se probaron en entornos educativos
reales.
(a) Actividades colaborativas con papel (a) Actividades colaborativas con PDAs
Figura 7: Alumnos utilizando actividades colaborativas sin y con apoyo tecnológico
En todos los estudios se observaron pequeños grupos de alumnos usando las actividades CL con y sin apoyo
tecnológico, grupos experimental (GE) y control (GC), respectivamente, durante 4 semanas en el año 2002 en
1 escuela pública de nivel socio-económico bajo, en Santiago, Chile. Se aplicaron pruebas pre y post para
evaluar el aprendizaje en Lenguaje y Matemáticas según los contenidos curriculares enseñados. Además, se
usaron instrumentos específicos para otros aspectos a evaluar en los estudios. El resumen de los estudios se
muestra a continuación en la Tabla 6.
Tabla 6: Resumen de las investigaciones de eficacia realizadas en el marco del programa Eduinnova
Objetivos de investigación Nivel y asignatura Resultados
Comprobar si crean ambientes de Primero básico, Se evidencian todos los principios evaluados en GE mientras que en
aprendizaje MCSCL Lenguaje GC solo aparecieron algunos.
constructivistas
(Zurita & Nussbaum, 2004a) Impacto en el aprendizaje:
GE = GC (pre-test). GE > GC : δ post-test =+0,98.
Establecer si actividades MCSCL Primero básico, Todos los problemas evidenciados sin apoyo tecnológico se
mejoran la colaboración sin apoyo Lenguaje y superaron usando MCSCL.
tecnológico Matemáticas
(Zurita & Nussbaum, 2004b) Impacto en el aprendizaje:
• Matemáticas: No hay diferencias
• Lenguaje: No hay diferencias en el pre-test.. GE > GC; δ post-
test 0,78.
Estudiar configuración grupos para Primero básico: Las diferentes configuraciones tienen distinto impacto en los
actividad MCSCL Matemáticas aspectos socio-motivacionales evaluados en el estudio.
(Zurita, Miguel Nussbaum, &
Salinas, 2005) Impacto en el aprendizaje:
No hay diferencias en el pre-test. GE > GC; δ post-test = 1,01.
34
Objetivos de investigación Nivel y asignatura Resultados

Dinámica de interacción social Segundo básico: Existe aprendizaje, ya que hay diferencias estadísticamente
grupal en actividades MCSCL Matemáticas significativas entre el pre y post test.
(Zurita & Nussbaum, 2007)
Impacto en aprendizaje (Cortez et Física, I Medio Comparación individual vs colaborativa: δ test = 0,49
al., 2005)
Con los estudios de eficacia se entendió cómo desarrollar actividades MCSCL efectivas, demostrando su
valor al hacer práctica la colaboración dentro de la sala de clases para los profesores (pertinencia). Además,
la investigación validó los supuestos en los cuales está basado (aprendizaje colaborativo y constructivismo)
y el ambiente de aprendizaje, en términos de su facilidad de uso (público objetivo tenia poca alfabetización
digital) y la representación del material. Adicionalmente, las actividades diseñadas bajos ciertos principios
que fueron identificados (Zurita & Nussbaum, 2007) funcionaban en distintos niveles (educación básica y
media) y asignaturas (Lenguaje, Matemáticas y Ciencias) del contexto educativo estudiado.
2 Efectividad
La siguiente etapa del desarrollo del programa fue diseñar una intervención para que los profesores
participantes se apropiaran del modelo pedagógico definido en Cortez et. al (2005). Se llevaron a cabo dos
estudios, en 5 colegios cada uno. El primero de ellos en 2004 (Figura 8a) y el segundo en el periodo 2005-
2006 (Figura 8b). En este último, se modificó la intervención de 2004 para incluir lo aprendido en dicha
implementación. Ambos estudios fueron del tipo cuasi-experimental prospectivo, de mediana escala con
grupos experimental y control. Se realizaron evaluaciones pre y post de mejora en el aprendizaje. Como
métodos cualitativos se realizaron observaciones, evaluación específica de tareas, grupos focales.
(a) Estudio 2004 (b) Estudio 2005-2006

Figura 8: Alumnos usando la tecnología colaborativa de Eduinnova
En el caso del estudio 2004, se hicieron sendas evaluaciones de contenidos de Física I y II medio al final de
cada semestre, mientras que en el estudio 2005-2006 la evaluación fue anual siendo la prueba post aplicada 8
meses después del pre-test de principios del año escolar. Un resumen de los grupos y principales resultados
cuantitativos se muestran a continuación en la Tabla 7.
35
Tabla 7: Resumen de los principales resultados de los estudios de efectividad del programa Eduinnova.
Estudio Colegios, niveles y asignaturas Grupos Principales resultados cuantitativos*
• Escuelas con subsidio • Grupo experimental (GE): Física I Medio:
público, con ingresos medios cursos de profesor participante
o bajos y gran cantidad de que usaron PDAs. • Primer semestre
cursos por nivel. o GE > GCI-A: δ post-test = 0,14 (1-β=0,71).
• Grupo Control Interno A
• Santiago (3), Antofagasta (2), (GCI-A): cursos de profesor o GE > GCI-B: δ post-test = 0,55.
2004 (Nussbaum & Rosas, 2004)
Isla de Pascua (1) y Galvarino participante que no usaron PDAs o GCI-A > GCI-B: δ post-test = 0,42.
(1). • Segundo semestre:
• Grupo Control Interno B
• Física I y II Medio (GCI-B): cursos que no usaron o GE > GCI-A; δ post-test = 0,22.
PDAs, de profesor que no o GE > GCI-B: δ post-test = 0,45.
participó en los mismos o GCI-A > GCI-B: δ post-test = 0,25. (1-
colegios. β=0,72);
Física II Medio:
• Primer semestre:
o GE = GCI-A.
o GE > GCI-B; δ post-test = 0,37.
o GCI-A > GCI-B: δ post-test = 0,25.
• Segundo semestre: (post-test)
o GE = GCI-A.
o GE > GCI-B: δ post-test = 0,88.
o GCI-A > GCI-B: δ post-test = 0,87.
• Escuelas con subsidio • Grupo experimental (GE): Física I Medio (2005): GE = GCI = GCE.
público, con ingresos medios ídem anterior.
2005-2006 (Rodríguez & Gómez,
o bajos sin otras Física II Medio (2005): GE = GCI = GCE en

2007; Rodríguez et al., 2010)
intervenciones educativas. • Grupo Control Interno (GCI): pre-test

ídem GCI-A.
• Santiago (3) y Antofagasta o GE > GCI; δ mejora= 0,41.
(2). • Grupo Control Externo o GE > GCE; δ mejora= 0,32. (1-β=0,74)
(GCE): cursos de colegios o GCI = GCE.
• Física I y II Medio, equivalentes sin PDAs.
Matemáticas II medio. Física II Medio (2006): GE = GCI = GCE en
pre-test.
o GE > GCI; δ mejora= 0,58.
Matemáticas II Medio (2006)

o GE > GCI; δ mejora= 0,66.
o GE > GCE: δ mejora= 1,1.
* Con α=0,05 y potencia de la prueba mayor a 0,8 excepto donde se indica.
En el estudio de 2004 (Tabla 7) se produjeron diferencias significativas entre GE y GCI-B, por lo cual se
concluyó que el tratamiento (capacitación de profesores uso de la tecnología) produce mejores resultados.
Pero dado que también hubo diferencias estadísticamente significativas entre GCI-A y GCI-B (profesores
distintos, ambos sin PDAs), no se pudo concluir que la tecnología por si sola contribuyó en las mejoras
encontradas Esto porque la capacitación también involucró nivelar los conocimientos de Física de los
docentes participantes, que por si solo podría explicar las diferencias. Este argumento se refuerza porque
existen tamaños del efecto pequeños o simplemente no hay diferencias significativas entre GE y GCI-A (cuya
diferencia es el uso de la tecnología). Por lo tanto, se reformuló la propuesta de intervención, que se probó en
un nuevo estudio realizado en el periodo 2005-2006.
En el estudio 2005-2006, el análisis muestra consistentemente para Física y Matemáticas en II medio que los
resultados del GE son mejores que los de GCI y GCE (Tabla 7). Dado que no existen diferencias entre GCI y
GCE, concluimos que este impacto es atribuible a la tecnología, encontrando evidencia robusta (con adecuado
control de los errores de tipo I y II) de tamaños del efecto de magnitud importante (Tabla 7).
Con los estudios de efectividad se entendió con mayor profundidad el contexto (colegios subsidiados por el
Estado) donde se implementaba el programa. Esto significó que la intervención se hizo cargo de debilidades
estructurales del sistema educativo, como la falta de planificación y manejo deficiente del tiempo dentro de
la sala de clases, de los profesores. Además, el estudio del contexto realizado durante el 2004 reveló que era
36
necesario modificar la intervención para mejorar la percepción de los profesores y alumnos respecto del
programa.
Sobre al impacto sobre el aprendizaje, de acuerdo a lo discutido en la sección 4.1.4, tenemos evidencia
robusta respecto a la efectividad del programa educativo evaluado durante 2005-2006 (Tabla 7). Por otro lado,
el estudio de la fidelidad de la implementación a través del esquema de seguimiento y evaluación, estableció
una relación entre la variabilidad de la implementación (medida en términos de la adopción de los
profesores) y los resultados de aprendizaje de los alumnos. El análisis reveló que aquellos profesores del
GE con un nivel alto de adopción de la metodología (medido con una pauta de observación) producen
resultados en sus alumnos mejores que aquellos con una adopción menor, elevando el tamaño del efecto de
0,41 a 0,56 (comparado con GCI) y de 0,32 a 0,45 (comparado con GCE) (Rodríguez et al., 2010). Esto
muestra lo importante que es probar los procesos de intervención para que la adopción sea lo más alta posible.
Al final de esta etapa se obtuvo una intervención que permite a profesores y alumnos adoptar el modelo
pedagógico de aprendizaje colaborativo, con instrumentos de evaluación validados para medir dicha adopción
en el tiempo (mecanismos de seguimiento y evaluación).
3 Eficiencia
Durante el año 2008-2009 comenzó la masificación del programa involucrando 30 colegios (Figura 9). Se
calculó el costo a partir de la intervención mejorada posterior al estudio 2005-2006. Este cálculo se realizó
especificando una escuela tipo donde sería aplicada la tecnología, definiendo el total de cursos, profesores y
alumnos que implementan la tecnología. Así, se calculó la cantidad de recursos materiales y humanos para
satisfacer una demanda fija de colegios, obteniéndose el costo total del programa por colegio y el costo
unitario por alumno atendido. El análisis de factibilidad arrojó que el equipamiento necesario (que es poco
más del 75% del costo unitario por alumno atendido) es demasiado caro para el tipo de colegios al que apunta
el programa. Esto porque Eduinnova requiere un netbook por alumno dentro de la sala de clases, que cuesta
aproximadamente US$400 cada uno.
Figura 9: Masificación del programa Eduinnova usando netbook educativos.
Por lo tanto, se buscó usar el equipamiento existente en los colegios para implementar el programa. La
solución fue emplear punteros múltiples (MM) (Pawar et al., 2006) para compartir un PC con varios alumnos
Así, colaboran tres alumnos para resolver un problema en el mismo computador, cada uno con su propio
dispositivo de input. Los estudios de eficacia muestran efectos comparables a las aplicaciones en plataformas
individuales (Infante et al., 2009a; Infante et al.,2009b). Las evaluaciones de usabilidad en ambos estudios
mostraron que no había cambios significativos respecto a la alcanzada con PDAs. Respecto la efectividad, se
encontró diferencias estadísticamente significativas a favor del grupo experimental, con tamaños del efecto de
0,52 y 0,66 dependiendo el tipo de aplicación utilizada.
37
Figura 10: niños utilizando actividades colaborativas con punteros múltiples.
Por ende, podemos usar MM para recalcular el costo de la intervención. Esta vez los equipos necesarios se
suponen disponibles en el colegio (laboratorio de 15 computadores) y el costo marginal es comprar punteros
adicionales. Con ello, el programa mejora considerablemente su costo-efectividad, disminuyendo el costo
unitario del programa a un 25,37% del original.
38

Perspectivas de La Inclusion de Las TICs

Cargado por

Información del documento

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Perspectivas de La Inclusion de Las TICs

Cargado por

Copyright:

Formatos disponibles

Perspectivas de la inclusión de

las TICs en educación y su

Miguel Nussbaum y Patricio Rodríguez

2 El diseño y la implementación de las TICs en el contexto

2.1 El diseño de programas educativos con TICs

2.2 La implementación de las TICs en el contexto educativo

3 La evaluación del impacto de las TICs en el sistema educativo

1970 — 1977 • Computadores • Acceso remoto a software

Aplicaciones de las TICs en

• Masificación de • Conciencia de la diferencia • Estudio internacional SITES

4 Un modelo conceptual para el diseño, implementación y

4.1 Conceptos y antecedentes

4.1.1 Programa de Informática Educativa

4.1.2 Qué medir y tipos de estudios de evaluación

4.1.3 Metodologías de investigación: “Design research”

Especificación de nuevas hipótesis

Refinamiento del problema, la soluciones, métodos y principios de diseño

4.1.4 Diseño de estudios

Prue ba t para dife re ncias de me dias de dos mue stras

Tamaño de la muestra tot al

Tamaño del efecto (significancia práctica)

muy pequeña, puede que no significancia práctica del

4.2 Etapas del modelo conceptual

Producto final: Programa de

Desarrollo de un esquema de S+E

desarrollo con su respectivo énfasis

Etapas del proceso de diseño y

+ nuevo diseño Eficacia

Ciclo iterativo de diseño, uso y rediseño con Tiempo del ciclo

Costo por alumno

Producto final: Programa de

Eficacia Mínima efectividad

Costo por alumno

Tiempo del ciclo

Figura 5: Evolución de la costo-efectividad en la medida que se desarrolla y evalúa un PIE.

4.2.4 Síntesis del modelo

Objetivos de investigación Métodos cuantitativos Métodos cualitativos

Tabla 5: Métodos de investigación e instrumentos asociados (Harvey, 1998; Frechtling, 2002).

Objetivos de investigación Instrumentos de evaluación

5 Orientaciones respecto a políticas públicas y creación agenda

5.1 Orientaciones para políticas públicas

Producto final: Programa de

Masificación del programa

Costo por alumno

δ Costo por alumno

Tiempo del ciclo

determinar la efectividad conjunta de las TICs en el sistema educativo, complementando estudios de

5.2 Desafíos para el desarrollo de políticas públicas

5.3 Oportunidades para colaborar y profundizar sobre el tema

6 Conclusiones y trabajo futuro

8. Chatterji, M. (2005). Evidence on "What Works": An Argument for Extended-Term Mixed-Method

VA: National Science Foundation. Descargado enero 25, 2010 desde

71. Sañudo, L. (2006). La ética en la investigación educativa. Presentado al I Congreso Iberoamericano de

75. Slavin, R. E. (2008). Perspectives on Evidence-Based Research in Education--What Works? Issues in

81. Sunkel, G. (2006). Las Tecnologías de La Información y la Comunicación (Tic) en la educación en

apart? British Journal of Educational Technology, 38(6), 962-976.

Anexo: Ejemplo de aplicación del modelo

Figura 7: Alumnos utilizando actividades colaborativas sin y con apoyo tecnológico

Objetivos de investigación Nivel y asignatura Resultados

(a) Estudio 2004 (b) Estudio 2005-2006

o bajos sin otras Física II Medio (2005): GE = GCI = GCE en

intervenciones educativas. • Grupo Control Interno (GCI): pre-test

Matemáticas II Medio (2006)

Figura 9: Masificación del programa Eduinnova usando netbook educativos.