Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Evaluacion de Protectos Educativos - Maual - TIC
Evaluacion de Protectos Educativos - Maual - TIC
la evaluacin
de proyectos
de inclusin de TIC
en educacin
Introduccin
Al emprender la evaluacin de un proyecto, se espera obtener informacin acerca del desempeo de
las acciones que se llevan adelante para alcanzar los objetivos planteados. Se podr evaluar el diseo
del proyecto en s mismo, su implementacin, los resultados obtenidos y/o los impactos alcanzados.
Sea cual fuere el alcance de esta tarea, evaluar supone entrenar la mirada y aplicar tcnicas de indagacin, a las que se sumar un juicio a partir del cual el evaluador ofrecer recomendaciones en funcin
de los resultados y el momento en que se encuentre el proyecto.
Al elaborar un proyecto de implementacin o ejecucin, se deben tomar decisiones que permitan
establecer la viabilidad, la efectividad y la eficacia de las acciones para responder a los objetivos planteados. Estas decisiones se fundamentan tanto en las necesidades que se esperan cubrir, como en la
informacin que surja de la evaluacin.
Evaluar entonces, es producir evidencia emprica que permita construir juicios acerca del desempeo
de las acciones previstas para alcanzar los objetivos. Constituye un insumo para guiar la toma de decisiones acerca de la continuidad de estas acciones o de emprender ajustes que garanticen la calidad
del proceso, los resultados y los impactos esperados.
Desde esta perspectiva, podra decirse, que evaluar es emprender un camino de sucesivas decisiones
metodolgicas en un proceso permanente de indagacin y valoracin del diseo, la implementacin
y los efectos de un proyecto, como parte de la gestin integral del mismo durante todas sus etapas.
Quines evalan?
La evaluacin se aplica en todos los niveles de una intervencin en el mbito educativo, desde el nivel
de las polticas educativas, hasta el aula, incluyendo a los equipos de supervisin y conduccin escolares, los especialistas y los organismos internacionales.
De acuerdo a quin evala, puede considerarse a la evaluacin como interna o externa.
La evaluacin interna es realizada por los mismos integrantes del proyecto, y puede incluirse como
un procedimiento de monitoreo permanente. Una modalidad caracterstica de evaluacin interna es
la auto-evaluacin.
La evaluacin externa es llevada a cabo por profesionales o expertos que no participan del proyecto.
Puede estar a cargo de equipos de supervisin, de organismos del Estado o de cooperacin internacional, entre otros.
Los dos tipos de evaluacin aportan importantes contribuciones. La evaluacin externa aporta objetividad e independencia, mientras que la interna permite profundizar en funcin del conocimiento de la
gestin y desarrollo del proyecto. En este sentido la conformacin de equipos mixtos resulta ser muy
valiosa, combinando la tcnica que brindan los equipos externos y el acompaamiento del equipo que
lleva adelante el proyecto.
2
Descripcin
Planificacin
del proyecto
Descripcin del
PROBLEMA que
se espera resolver
o definicin de la
VISIN que impulsa la
implementacin de un
proyecto de integracin
de TIC en la escuela
Definicin de
RESULTADOS esperados
Identificacin de los
COMPONENTES
del proyecto
Descripcin
Definicin de las
ACTIVIDADES
a involucrar
Identificacin de los
organismos y roles
involucrados en la
RESPONSABILIDAD
de su ejecucin
- Ministerio de Educacin
- Fundaciones
- Comunidad educativa (equipos de supervisin, direccin,
docentes, alumnos y familias)
- Empresas
- Consultoras
CRONOGRAMA de
actividades y tiempos
FORMULACIN
del proyecto
Ejecucin
del Proyecto
PUESTA EN
MARCHA
Evaluacin
del Proyecto
Diseo, ejecucin
y resultados de la
EVALUACIN
Etapas
Qu se evala?
De acuerdo a su contenido la evaluacin podr ser de:
Factibilidad
Lnea de base
Diagnstico o Proceso
Resultados
Impactos
3. El diseo de la evaluacin
La evaluacin supone un proceso que tambin atraviesa por diferentes etapas: una etapa de diseo o
planificacin, un momento de ejecucin o trabajo de campo, el procesamiento y anlisis de la informacin recolectada y la presentacin de resultados, para luego dar paso a la toma de decisiones.
El diseo de la evaluacin no es otra cosa que la planificacin de la misma. Para ello es aconsejable
elaborar una propuesta de evaluacin, es decir, un documento que permita registrar y ordenar el plan
de trabajo que se realizar, los objetivos que se esperan alcanzar, la metodologa para obtener la informacin necesaria, los controles de calidad que se aplicarn para validar la informacin, as como un
cronograma para las tareas planificadas.
La evaluacin que se emprenda puede ser realizada tanto en un mbito de gran envergadura en una
regin alcanzada por un programa nacional o local, por ejemplo como en un mbito ms pequeo y
acotado, como una escuela o incluso un aula. En el caso de estos ltimos es probable que no se requiera elaborar un diseo amplio. Sin embargo, siempre es necesario dejar documentados los objetivos y
la metodologa que se utilizarn en la evaluacin.
Una de las primeras cuestiones a considerar es el conocimiento del proyecto que se ha de evaluar.
Resulta de vital importancia conocer las caractersticas del proyecto que se ha de evaluar.
Las mismas pueden estar formalizadas en un documento o no pero, al momento de disear
la evaluacin, deben conocerse claramente las acciones que se buscan evaluar. Si no existe
proyecto formal, ser parte del proceso de evaluacin redactar una breve descripcin de los
objetivos y las acciones del proyecto, y reconstruir los antecedentes de evaluaciones anteriores,
si los hubiera, para luego, definir el momento y el alcance de la evaluacin que se emprenda.
Al momento de pensar el diseo de una evaluacin se deberan contemplar los siguientes aspectos:
Describir la realidad a evaluar.
Definir los objetivos de la evaluacin.
Construir una matriz de evaluacin o matriz de indicadores.
Describir la metodologa que se emplear para recolectar la informacin.
Elaborar un cronograma de actividades.
10
5. La metodologa de la evaluacin:
Cmo o con qu se evala?
La evaluacin trata de un tipo particular de indagacin que permite emitir un juicio acerca del proyecto
evaluado, para lo cual se requiere de informacin diversa, distintas fuentes y diferentes lgicas.
12
El nmero de casos depender del tipo de informacin que se requiere. Si se trata de informacin cualitativa, sern pocos casos los requeridos, y si se trata de informacin cuantitativa, se deber pensar
un nmero amplio de casos para lo cual, lo ms probable, es que se requiera realizar una muestra, es
decir, seleccionar una parte de la poblacin a evaluar.
Es importante que todos los actores involucrados estn representados en la muestra. El siguiente esquema organiza posibles niveles donde se pueden ubicar actores vinculados al proyecto y que se requiera consultar.
Las muestras cualitativas son las que se hacen, por ejemplo, cuando se requiere abordar una tcnica
de entrevista. Dado que no se espera generalizar los resultados, en el abordaje cualitativo las muestras
se caracterizan por su flexibilidad, pudiendo variar tanto el tipo de entrevistados como la cantidad de
casos. En este tipo de muestras, la eleccin de los casos no depende de la probabilidad, por lo cual se
propone una muestra inicial que se la deber ir revisando durante el desarrollo de la evaluacin, para
redefinirlas en caso de que sea necesario.
Las muestras cuantitativas pueden ser probabilsticas o no probabilsticas. Las muestras no probabilsticas son usadas cuando no se busca generalizar los resultados al universo de estudio. Ahora bien,
cuando s es necesario que los resultados puedan ser proyectados o considerados como si todo el
universo de estudio hubiera respondido, es necesario efectuar una muestra probabilstica.
Se considera que una muestra es probabilstica cuando todos los elementos que conforman el universo de estudio tienen la misma probabilidad de ser seleccionados para participar en la muestra. Es
decir, si se espera seleccionar una muestra de todos los alumnos de una institucin, no debera quedar
afuera ningn grado.
14
La cantidad de casos incluidos puede tener mucha variacin, desde unos pocos hasta cientos. En general, la informacin cualitativa o no cuantificable trata con muestras pequeas, que pueden variar
segn la cantidad de informantes que se requiere indagar. Por ejemplo, se trata de un estudio en tres
escuelas y se espera hacer entrevistas con supervisores y directores. Si el supervisor es el mismo para
las tres escuelas y hay un director por escuela, habr que efectuar cuatro entrevistas. El nmero de
casos, entonces, depender del tipo de informacin que se requiera. Si se trata de informacin cualitativa, sern pocos casos los requeridos; y si se trata de informacin cuantitativa, el nmero de casos en
general ser mayor, incluso puede ser tan amplio que se requiera aplicar una tcnica de muestreo. Lo
importante ser contemplar las voces de quienes estn involucrados en el proyecto.
15
A continuacin, se presenta una breve descripcin de algunas de estas dimensiones. El contenido dara cuenta de los aspectos que se podran involucrar en cada una de ellas. Tngase en cuenta que se
trata de ejemplificar y que tanto las dimensiones en juego como su descripcin debern ser elaboradas
especialmente en el marco de la evaluacin que se est realizando.
Caractersticas de la institucin
Hace referencia a aspectos vinculados con el mbito en que funciona la institucin educativa (urbano
o rural), el sector de gestin (estatal o privado), el nivel (primario o secundario), la modalidad (comn
o especial), la orientacin (artstica, ciencias sociales, administracin, etc.), el tipo de jornada (simple
o completa), la cantidad de docentes, la matrcula escolar, entre otras. Esta informacin permitir
contextualizar aquella que se vincula especficamente con los proyectos de inclusin de TIC en la institucin educativa.
Fortalecimiento de la gestin educativa
Involucra la identificacin de planes estratgicos de nivel nacional, regional o comunal y el marco legal,
poltico y presupuestario para la incorporacin de TIC, as como las condiciones de sostenibilidad de
estos planes.
En relacin, con el alcance educativo y pedaggico a travs de esta dimensin se espera conocer las
modalidades de incorporacin de TIC en el currculo (bsico, transversal, integral), y la flexibilidad y
adaptabilidad del plan estratgico y el currculo para los contextos particulares de las escuelas.
En cuanto a las condiciones de sostenibilidad de las acciones, se incluye en esta dimensin todas
aquellas acciones que permitan garantizar las condiciones de mantenimiento de la infraestructura edilicia y del mobiliario; proteccin de las instalaciones, equipos e informacin contra robos o daos; as
como los planes de actualizacin de software y hardware, atendiendo al deterioro de los componentes
que puedan sufrir por su uso o por la desactualizacin tecnolgica.
Asimismo, como criterio de sostenibilidad, se incluye la revisin de los programas de actualizacin
docente y la pertinencia de generar y estandarizar los circuitos para la pronta reparacin del hardware.
Ambiente TIC en la escuela
Esta dimensin refiere a la conformacin de un entorno digital en la institucin educativa. Abarca toda
aquella informacin referida a la provisin del equipamiento informtico y las condiciones de mantenimiento necesarias. Entre los temas a medir se encuentran por un lado las condiciones edilicias y de
infraestructura (electricidad, la disponibilidad y el estado del mobiliario), y por el otro, el equipamiento
informtico propiamente dicho, considerando el tipo de uso y lugar de instalacin (pedaggico, administrativo / aulas, laboratorio, direccin, secretara, sala de maestros, biblioteca, etc.).
Tambin involucra la conectividad y otros dispositivos electrnicos que puedan dar soporte a las dinmicas del aula como: pizarras digitales, video cmaras, cmaras fotogrficas digitales, reproductor de
DVD, scanner, impresoras, etc.).
Apropiacin institucional de las TIC
Comprende la identificacin de evidencias concretas acerca del grado en que se han incorporado las
TIC, en relacin a la importancia que le adjudican distintos actores, y el nivel de involucramiento, compromiso y predisposicin del equipo de conduccin hacia el uso de TIC en la escuela.
16
En cuanto a los recursos concretos, se espera registrar la presencia de plataformas virtuales de distribucin, como tener un sitio web, un blog, Facebook y/o Twitter institucionales, as como las aplicaciones y usos que se les da a estos espacios (difusin de noticias entre la comunidad educativa,
intercambio de materiales educativos, entre otros).
En trminos de valor simblico se identificar el nivel de importancia otorgado institucionalmente a
las TIC para la gestin y administracin, comunicacin, investigacin y planificacin, preparacin y
dictado de clases, as como la cantidad de lneas de trabajo incluidas en el Proyecto Institucional que
contemplan el uso de TIC dentro de la institucin y como experiencia de intercambio con otras instituciones, considerando la modalidad y la frecuencia del intercambio.
Capacitacin y desarrollo profesional de los docentes
En esta dimensin se incluyen las distintas modalidades de capacitacin que los maestros han tenido
sobre el uso instrumental y pedaggico de las TIC, as como cules son las competencias que han
desarrollado para la preparacin y dictado de sus clases.
Se espera relevar tipos de capacitacin, considerando cursos, talleres, seminarios y cursos breves para
docentes en servicio y fuera de servicio, bajo modalidades presenciales y virtuales, con y sin certificacin; cules son las organizaciones o instituciones donde asistieron a estas capacitaciones; las horas
empleadas y las temticas (alfabetizacin digital, ofimtica, recursos multimedia, diseo grfico, software educativo, responsabilidad y seguridad en TIC, gestin educativa, entre otros).
Apropiacin de las TIC por los docentes
Este concepto intenta captar el nivel de incorporacin o cercana de los maestros respecto del uso de
TIC en la enseanza. Se medirn actitudes, en tanto el nivel de adhesin o resistencia, y la valoracin
que le dan al uso de TIC en las prcticas y los procesos de enseanza y de aprendizaje
Asimismo prev conocer las destrezas de los maestros en relacin a los principales usos que le dan
a las TIC en el mbito escolar, considerando qu tipo de dispositivos tecnolgicos usan (radiograbadores, pizarras digitales, multifuncin, TV, reproductores de DVD, PC, notebooks, cmaras digitales y
otros), la frecuencia de uso dentro y fuera del aula, el tipo y frecuencia de uso de Internet (chat, email,
foros, produccin de hipertextos, produccin de blogs, fotologs, wikis, acceso a buscadores, enciclopedias virtuales, bibliotecas digitales, portales educativos).
Apropiacin pedaggico-didctica de las TIC en las prcticas educativas cotidianas
Todas las estrategias didcticas vinculadas a la integracin de las TIC en las prcticas ulicas de los
maestros, as como el nivel de conocimientos alcanzados y la comprensin del potencial de estas herramientas para las tareas de enseanza.
En relacin con las prcticas, esta dimensin abarca un amplio espectro de indicadores: desde el planeamiento y diseo de ambientes de aprendizaje con TIC para el desarrollo curricular, la posibilidad de
transitar un aprendizaje con el uso de TIC para la enseanza del currculo, la utilizacin de las TIC en la
preparacin de material didctico de apoyo a las clases y la evaluacin de los resultados obtenidos en
el diseo, implementacin y uso de estas tecnologas para la mejorar los aprendizajes.
Se puede considerar el registro de la incidencia de docentes que utilizan TIC en sus materias, al menos
una vez por semana y el volumen de horas semanales destinadas al uso de las TIC para el dictado de
materias como Lenguaje, Matemtica, Ciencias Sociales y Naturales, Arte e Idiomas.
17
Se procurara aqu, establecer un mapa que permita conocer qu tipo de uso le dan los maestros a la
computadora (planificacin, preparacin de clases, seguimiento de los alumnos, comunicacin con
alumnos, padres, otros docentes), qu software utilizan (calculadora o planillas de clculo, bsqueda
de informacin, juegos educativos, creacin o edicin de fotos o sonidos, procesador de texto, programa de dibujo, etc.), las horas dedicadas a diferentes tipos de tareas (bsqueda de informacin, desarrollo de textos y documentos, desarrollo de recursos multimedia, descarga de documentos o libros,
uso de software educativos, utilizacin de juegos educativos o no, trabajos colaborativos entre pares,
publicaciones, intercambio y difusin de producciones).
Asimismo, se espera que aporte informacin sobre el tipo de dinmicas mayormente desarrolladas en
clase con TIC (expositiva vs. participativa) y la modalidad de trabajo (consignas individuales vs grupales; consignas abiertas vs. cerradas).
Vnculo de los alumnos con el uso de TIC en el mbito escolar
Esta dimensin avanza sobre los principales efectos en el desempeo y formacin de los alumnos a
partir de la incorporacin de las TIC en el aula, como el nivel de motivacin en el estudio, el desarrollo
de la produccin escrita, la lectura y la comprensin de textos multimediales.
Considera aspectos vinculados a la exploracin de funciones y de programas: posibilidad de usar las
herramientas como correctores de ortografa, de redactar con un procesador de textos, comunicarse
por chat y correo electrnico, manejar motores de bsqueda en Internet y descargar aplicaciones
como audio, imgenes y videos.
Se espera tambin conocer las posibilidades del trabajo con TIC para desarrollar capacidades de investigacin en los alumnos a travs de la formulacin y verificacin de hiptesis, anlisis y capacidad
de abstraccin.
Esta dimensin tambin incluye aquellos comportamientos asociados al trabajo colaborativo entre
alumnos y su participacin en iniciativas para el uso de las TIC con fines educativos, como concursos,
encuentros, festivales.
Impacto social
Aborda el tema de la extensin de los programas de inclusin de TIC en el mbito escolar hacia las familias y la comunidad. Se incluyen como indicadores en esta dimensin, la cantidad de computadoras
disponibles para el acceso y uso de las familias, la oferta de espacios de capacitacin o sensibilizacin
de las familias respecto al uso de las TIC en la escuela, etc.
Aspectos ticos y legales
Esta dimensin de anlisis procura medir el nivel de conocimiento existente acerca de los aspectos
ticos y legales asociados al uso de la informacin digital y a las comunicaciones a travs de las redes
de datos (privacidad, licencias de software, propiedad intelectual, seguridad).
modo de ejemplo. Ser en el marco de la evaluacin cuando se podrn describir los indicadores que
mejor se ajusten a los objetivos previstos.
Variables o
sub-dimensiones
Ambiente TIC
en la escuela
Estado de la
infraestructura escolar
Indicadores
Cumplimiento de las normas de seguridad fsica de la
infraestructura edilicia en la escuela (estado de las conexiones
elctricas, presencia de humedad en las paredes, etc.).
Disponibilidad y acondicionamiento (refrigeracin, terminales,
estabilizadores) de los espacios para la instalacin de
computadoras (laboratorios de informtica, secretara, direccin,
sala de maestros, entre otros).
Porcentaje de los m2 cableados / m2 de la escuela disponibles para
uso de PC.
Nivel de avance de la instalacin (completo, incompleto en
desarrollo, incompleto detenido, no iniciado).
Disponibilidad
y estado del mobiliario
Cobertura del
equipamiento informtico
Conectividad
Equipamiento con
otros dispositivos
19
Dimensin
Variables o
sub-dimensiones
Ambiente TIC
en la escuela
Soporte
tcnico-pedaggico
Indicadores
Tipo de soporte disponible en la escuela:
- Interno: maestro/profesor o administrativo capacitado ad-hoc
(referente TIC con perfil pedaggico).
- Interno: personal tcnico de soporte.
- Interno: personal para desarrollo de programas informticos.
- Externo: maestro/profesor o administrativo capacitado ad-hoc
(referente TIC con perfil pedaggico).
- Externo: personal tcnico de soporte.
- Externo: personal para desarrollo de programas informticos.
Frecuencia del servicio de soporte tcnico (todos los das, 2 3
veces por semana, 1 vez por semana, cada 15 das, 1 vez al mes,
con menor frecuencia, a demanda, nunca).
Conformacin de parejas pedaggicas con el referente TIC.
Tipo de instrumento
Entrevista en profundidad
Gua de pautas
Gua de pautas
Encuesta
Cuestionario
Observacin
Listas de cotejo
Anlisis de documentos
Portafolios
Portafolios
Comprobacin
Los instrumentos de medicin dan cuenta del conjunto de indicadores que permitirn alcanzar los objetivos especficos de la propuesta de evaluacin. En este sentido, la decisin de cul ser este conjunto de indicadores resulta muy importante. Esto es an ms importante cuando se trata de instrumentos cuantificables, ya que en general son indagaciones altamente estructuradas, y una vez aplicado el
cuestionario ya no hay posibilidades de modificarlo.
20
Procedimiento de recoleccin
Pruebas de aprendizaje
21
Una vez construida la matriz de evaluacin y seleccionados los indicadores se procede a la confeccin
del cuestionario, al que tambin puede darse el nombre de formulario o protocolo.
Este documento tiene en general una estructura de bloques: encabezado, preguntas de clasificacin,
preguntas de indagacin sobre el tema de estudio.
N de encuesta
Fecha
Ttulo, tema de estudio, nombre de la encuesta
Datos de la institucin que realiza la encuesta: nombre direccin
Presentacin
Datos de clasificacin
Sexo
Edad
Educacin
Trabajo
Otras caractersticas que puedan ser relevantes para el estudio
Identifican al tipo
de respondente esperado
Preguntas de indagacin
Tratan del bloque ms extenso del cuestionario y est integrado por todas
las preguntas que refieren al estudio.
I. Tipos de preguntas
El tipo de pregunta que se incluir en el cuestionario depender del grado de libertad que sea necesario
otorgarle a los entrevistados para responder y del nivel de profundizacin que requiere el dato que se
est intentando construir.
A| De respuesta abierta:
Se da total libertad al entrevistado para que responda su opinin. Si la encuesta es aplicada por
un encuestador, ste debe registrar la respuesta del entrevistado con la mayor profundidad posible, dentro de un contexto cuantitativo, y de forma absolutamente textual.
Ejemplo:
Por qu an no ha trabajado con TIC en sus clases?
22
B| De respuesta cerrada:
Presentan una lista pre-especificada de alternativas de respuesta. Se denomina categoras al conjunto de alternativas propuesta. Las categoras, deben ser mutuamente excluyentes y exhaustivas, es decir, agotar las opciones posibles o ms frecuentes.
Ejemplo:
3.1 Indique si el establecimiento cuenta con los siguientes recursos:
1 Pizarra Digital Interactiva
6 Impresora
2 Filmadora
7 Proyector/ Can
8 Televisor
4 Reproductor DVD
9 Ninguno
5 Scanner
23
Ejemplo:
3.7 En la escuela, poseen un laboratorio de informtica?
1. S
2. No (Pase a preg.3.8)
Multicategricas: Tienen ms de tres categoras de respuesta y posibilitan la seleccin de alternativas complementarias o excluyentes. Se pide al entrevistado que haga una (simple) o ms
selecciones (mltiple) en una lista posible de respuestas.
Ejemplo:
3.7.1. Indique las frases que mejor reflejan las caractersticas del laboratorio de informtica:
(Mltiple, puede marcar ms de una opcin)
1. Hay aire acondicionado en el laboratorio
2. Hay ventiladoras orientados a las computadoras
3. Hay ventiladores de techo
4. No hay ningn tipo de refrigeracin
24
Escala de comparacin: se utiliza para comparar situaciones en relacin a estados previos medir
cambios en el tiempo o para evaluar comparativamente proyectos, organizaciones, roles, etc.
Ejemplo:
5. Muy superior
4. Superior
3. Ni superior ni inferior
2. Inferior
1. Muy inferior
Escala de suma constante: requiere que los entrevistados distribuyan un nmero fijo de puntos
(generalmente 100) para reflejar la preferencia o importancia relativa de distintos elementos.
Sirven para rankear elementos dentro de un conjunto. Es una metodologa ms apta para utilizar
entre respondentes con un nivel de instruccin medio o superior.
25
Ejemplo:
A continuacin se presenta una lista de cualidades que se pueden tener en cuenta para elegir un colegio
para los nios.
Srvase dividir 100 puntos entre las siguientes caractersticas que se pueden tener en cuenta al elegir
una escuela. La divisin que Ud. haga reflejar la importancia relativa que cada aspecto tiene para Ud.
en la seleccin de la escuela.
Atributos de una escuela
Cercana
Estilo pedaggico
Extensin de la jornada
Infraestructura
Nivel de exigencia
Enseanza de idiomas
Insercin comunitaria de la escuela
Arancel
Total
___
___
___
___
___
___
___
___
100%
Escala de inters: es muy til como pregunta de cierre en cuestionarios en los que se pretende
evaluar la expectativa de futuro en relacin al inters global frente a una idea o propuesta nueva.
Ejemplo:
5. Seguramente me interesara una propuesta como esa
4. Probablemente me interesara una propuesta como esa
3. No s si me interesara una propuesta como esa
2. Probablemente no me interesara una propuesta como esa
1. Seguramente no me interesara una propuesta como esa
2. S, probablemente lo utilizara
3. No lo s
Escala de Likert para medir opiniones o representaciones: es un procedimiento muy til para
medir actitudes en distintos terrenos.
Consiste en formular una serie de proposiciones cuidadosamente seleccionadas, que son presentadas a los respondentes para indicar su nivel de acuerdo o desacuerdo. Se asigna un valor num-
26
rico a cada una de las categoras de respuesta -3 -2 -1 0 +1 +2 +3, segn el sentido, desfavorable
y favorable. Un acuerdo con una proposicin resultar en un +3 y un desacuerdo absoluto un -3.
Ejemplo:
3 Totalmente de acuerdo
2 Bastante de acuerdo
1 Algo de acuerdo
0 Ni de acuerdo ni en desacuerdo
-1 Algo en desacuerdo
-2 Bastante de acuerdo
-3 Totalmente en desacuerdo
Apticos
Muy lectores
Poco lectores
Extrovertidos
Introvertidos
Sensibles
Indiferentes
InterEsADOS por
la comunidad
No conflictivos
Conflictivos
27
28
Los primeros proyectos de cuestionarios suelen ser demasiado largos, a menudo exceden las variables
importantes y estn sujetos a todos los peligros de preguntas ambiguas, mal definidas. El objetivo de
esta prueba consiste en identificar y corregir tales deficiencias.
Especficamente, en la prueba piloto se evala:
El tiempo de duracin del cuestionario.
La posibilidad de cerrar preguntas abiertas a travs de listados pre-codificados.
Revisar la estructura lgica del cuestionario controlando la vinculacin entre preguntas.
Eliminar preguntas que no aporten o sean redundantes.
Identificar problemas de redaccin y comprensin.
29
Qu se evala?
El primero de los interrogantes que se plantea es: qu tipo de aprendizaje es el que se quiere evaluar, o
dicho de otro modo, sobre qu tipo de saberes se busca que las TIC tengan efecto. La investigacin y la
bibliografa desarrollada (Claro, 2010; ETS, 2002; Severin, 2010; Sunkel, 2010) dan cuenta de al menos
cuatro grupos diferentes de aprendizajes, o aspectos vinculados con los aprendizajes, que pueden ser
evaluados como parte de los efectos de los programas de inclusin de TIC:
A| Logros educativos en las reas curriculares que tradicionalmente se trabajan en la escuela.
B| Competencias asociadas a nuevos saberes transversales en relacin con las TIC.
C| Micro-competencias o destrezas de manejo funcional.
D| Cambios en la predisposicin al aprendizaje de los alumnos (motivacin y concentracin de los
alumnos, por ejemplo). Por lo general, es identificado como una variable intermedia, pero dada la magnitud de las evidencias al respecto, se presenta de manera independiente.
A continuacin se profundiza en cada uno de ellos:
30
El modo en que se definen estas competencias tiene relacin directa con la concepcin
acerca de alfabetizacin digital. Se define como alfabetizacin digital la capacidad
para utilizar la tecnologa digital y las herramientas de comunicacin y/o las redes
para acceder, gestionar, integrar, evaluar, crear y comunicar informacin, para poder
desempearse en una sociedad de la informacin (California ICT Digital Literacy
Assessments and Curriculum Framework)1. Esta definicin identifica cinco componentes,
que representan una variedad de contenidos y competencias de creciente complejidad
cognitiva (ETS, op.cit.):
Acceder: saber cmo buscar y seleccionar informacin.
Gestionar: utilizar un esquema organizacional o de clasificacin existente.
Integrar: interpretar y representar informacin. Supone la sntesis, comparacin
y contraste.
Evaluar: realizar juicios de valor acerca de la calidad, relevancia, utilidad
y/o eficiencia de la informacin.
Crear: generar informacin a travs de la adaptacin, aplicacin, diseo, invencin o
autora de informacin.
1 Esta definicin es equivalente a la formulada por ETS: ICT literacy is using digital technology communications tools, and/or networks to
access, manage, integrate, evaluate, and create information in order to function in a knowledge society.
32
Instrumentos
Tipo
Observacin
Registros Anecdticos
Listas de cotejo
Escalas
Pruebas
Orales
Comprobacin
Otros
Cuestionarios
Abiertos
Informes
Abiertos
Entrevistas
Abiertas
Portafolios
Cerrados
Guiados
Guiadas
trabajo y la comunidad. Este estudio contempla el desarrollo de tems como los que habitualmente se
utilizan en las pruebas estandarizadas (multiple choice o de produccin) utilizando la computadora, as
como tambin simulaciones en software de aplicaciones genricas de la computadora (cortar y pegar
texto, buscar cierta informacin en la web) y finalmente se introducen tems en donde los alumnos debern modificar y crear productos utilizando aplicaciones tales como wikis, blogs, entre otros.
Por ltimo, es posible tambin medir algunas de estas competencias mediante rbricas especialmente
construidas para tal fin, que permitan dar cuenta de quines son los alumnos que utilizan la tecnologa,
el modo en que la misma es utilizada y el tipo de recursos utilizados para la enseanza.3
En la evaluacin de las destrezas de manejo funcional tambin se utilizan las pruebas; en este caso, las
pruebas de actuacin. Por ejemplo, muchos colegios bilinges cuentan con el examen de Cambridge
IGCSE ICT4. En este tipo de certificaciones se miden, fundamentalmente, destrezas tales como el uso
del procesador de textos, la creacin de presentaciones, el uso buscadores en la Web, y la utilizacin
de e-mail y hojas de clculo.
Escalas de observacin
Un ejemplo de escalas de observacin es la identificacin de indicadores, como el porcentaje de alumnos que alcanzan niveles Alto y Muy Alto (Severin, 2010). Un ejemplo de los indicadores utilizados
para medir prcticas de estudio permite ilustrar algunas de los aspectos anteriormente mencionados:
Prcticas de estudio BID 20105
Porcentaje de tiempo que los estudiantes, en promedio, dedican a tareas y trabajos educativos,
sobre el total del tiempo de uso semanal que hacen de TIC.
Tiempo promedio de uso educativo de las TIC (por gnero y nivel).
Promedio semanal de horas dedicadas a tareas y trabajos escolares que son desarrollados con
apoyo de TIC.
Tiempo semanal de uso promedio que los estudiantes hacen de las TIC en trabajo fuera de la escuela, segn tipo de actividad:
A| buscar y seleccionar informacin
B| desarrollar textos y documentos
C| desarrollar recursos multimedia
D| colaborar con pares
E| publicar y comunicarse
F| retroalimentar el trabajo
3 Para mayores referencias: Intel & Rockman et al. (2007). Full set of one to one evaluation toolkit. Recuperado de fttp://download.intel.
com/education/EvidenceOfImpact/EvaluationResourceDocuments/5_One_to_One_Computing_Evaluation_Toolkit/FullSet_of_One-toOne_Evaluation_Toolkit.pdf
4 Cambridge International Examinations. Cambridge IGCSE ICT. Recuperado de
www.cie.org.uk/qualifications/academic/middlesec/igcse/subject?assdef_id=969
5 El listado de indicadores propuesto por el BID (Severin, op.cit.) considera los siguientes dominios: a) Infraestructura, b) Contenidos, c)
Recursos Humanos, d) Gestin, y e) Polticas, en funcin de distintos grados de maduracin: Emergencia, Aplicacin, Integracin y Transformacin. Esta categorizacin de escenarios tambin est presente en el documento CETF ICT Digital Literacy Initiative Consensus Document November, 2008 y fue extrada originalmente de Anderson, J, & Weert, T (2002). Information and communication technology in
education. A curriculum for schools and programme of teacher development.
34
Proporcin de los estudiantes que declara que las TIC son un apoyo a sus estudios escolares.
Proporcin de estudiantes usuarios del proyecto, que declara que sus clases son ms interesantes
desde que el profesor utiliza TIC para apoyar su quehacer, por rea geogrfica, tipo de colegio y ciclo
de enseanza.
Cuestionarios de auto-informe
Las encuestas tambin son un instrumento habitualmente utilizado para indagar la auto-percepcin
de destrezas o confianza en el uso de ciertas aplicaciones, por parte de los estudiantes. Por ejemplo,
a nivel internacional, PISA (The Program for International Student Assessment) pregunta a los estudiantes cun bien pueden realizar determinadas tareas, las que agrupa como tareas relacionadas a
Internet y tareas complejas o de alto-nivel. UNESCO tambin desarroll una encuesta que consulta a
los estudiantes sobre su nivel de destrezas en diversas aplicaciones (Claro, op.cit.).
Registros de observacin
Respecto de la evaluacin de los cambios en la predisposicin al aprendizaje de los alumnos, un modo
de evaluarlos es mediante la observacin que realiza el docente en el aula. En este caso, resulta esencial contar con un registro que permita dar cuenta de los avances de los alumnos en determinados aspectos, previamente explicitados. Otro modo posible es mediante tcnicas de auto-informe, en donde
el alumno (o el docente), de manera individual o grupal, registran aspectos vinculados a su motivacin
o actitud hacia la tecnologa, su compromiso con la tarea propuesta, e incluso cuestiones asociadas
a la interaccin entre docentes y alumnos, o entre los propios alumnos. En algunas experiencias este
diario se realiza desde un blog y se lo considera como parte del portafolio.
Portafolios
Los portafolios, como sus sinnimos cartera o lbum lo indican, remiten al lugar fsico donde se puede
reunir una coleccin de objetos de diferente entidad. Como estrategia de evaluacin, el portafolios
constituye una herramienta de trabajo habitual en las escuelas y pueden ser utilizados con propsitos
de evaluacin o exposicin de las producciones de los alumnos (Klenowski, 2005).
La importancia de los portafolios no radica slo en el conjunto de evidencias seleccionadas sino en
el propio criterio que utiliz el docente para decidir la seleccin. En este sentido, permite reflexionar
sobre el propio proceso puesto en juego. Asimismo, desde la perspectiva del alumno contribuye a la
regulacin del aprendizaje, en tanto posibilita que tome conciencia acerca del proceso realizado, sus
fortalezas y reas de mayor dificultad, para disear una estrategia de mejora.
Lo interesante es su utilizacin a travs de la integracin de algunas de las distintas estrategias anteriormente mencionadas y el reciente desarrollo del e-portfolio que posibilita la incorporacin de otro
formato para esta estrategia de evaluacin.
35
7. Anlisis de la informacin:
Cmo se aplica, analiza y presenta la informacin?
El momento del anlisis ha sido descripto por algunos autores como el momento de soledad del
evaluador. Una vez recabada la informacin luego de las visitas en terreno, una vez ledo el material
documental, contabilizadas las cifras y repasadas las notas en las entrevistas es el momento en el
que se intenta dar respuesta a la pregunta que motiv la evaluacin. Esto es, sintetizar la cuantiosa
informacin que por diferentes vas o fuentes describe y explica lo visto, escuchado o conocido sobre
la situacin a evaluar (Nirenberg, 2008).
Esto requiere sacar conclusiones y emitir juicios sobre: Cmo se estn haciendo las actividades? Se
observan resultados positivos? Cules son las dificultades? Cules son las fortalezas?
La tarea en este momento, entonces, es transformar caudales de informacin en nuevo conocimiento:
se debe transitar por descripciones y explicaciones sobre cmo fueron producindose los acontecimientos, qu resultados se alcanzaron, y compararlos con las acciones planificadas. Se unen las percepciones de los evaluadores sobre lo observado, las intuiciones (los significados que disparan esas
percepciones) y los datos en un nuevo conocimiento (Nirenberg, op.cit.).
Es donde la evaluacin puede ayudar a afianzar los aciertos y corregir los errores de la implementacin
de la iniciativa.
La pregunta sobre cmo sern analizados los datos depende de la clase de informacin recolectada.
Se utilizarn estrategias diferentes segn el tipo de informacin. Por ejemplo, las entrevistas y grupos
focales sern analizados a travs de mtodos cualitativos. El producto de la aplicacin de esas tcnicas
es un texto con opiniones de los entrevistados. Analizar estos relatos requiere en principio la transcripcin, lectura detenida y por ltimo, la categorizacin de las respuestas. En contraste, la informacin
proveniente de las encuestas ser analizada a travs de estadsticas descriptivas.
Independientemente del tipo de informacin que se obtenga, la gua principal del anlisis siempre ser
determinada por las preguntas de evaluacin. Es recomendable planear los procedimientos de anlisis
seleccionando los que sean ms productivos y econmicos en funcin de las metas de la evaluacin.
La categorizacin y codificacin
Codificacin significa asignar un rtulo (cdigo) a un registro. Existen tres posibilidades: se puede precodificar la informacin a recolectar en una encuesta, o se puede pos-codificar. Es posible que las respuestas de los informantes no sean ni pre-codificables ni pos-codificables. En este caso, se registrar
textualmente la informacin original suministrada por el informante (Borsotti, 2006).
La pre-codificacin consiste en la categorizacin previa de las posibles respuestas de los encuestados
a las preguntas formuladas. Una vez realizada la operacionalizacin de las variables en indicadores,
stos se transforman en preguntas cuya respuesta se abre en una serie de opciones. Por ejemplo, las
respuestas posibles a Sexo son: Femenino / Masculino, o frente a la consulta sobre la opinin de un
actor sobre algn fenmeno, la respuesta se discrimina entre: De acuerdo, Indiferente, En desacuerdo.
La pos-codificacin consiste en asignar un rtulo o etiqueta a la informacin en bruto, es decir tal como
ha sido capturada en el campo. Una vez que la informacin ha sido recolectada, el primer paso es confeccionar el listado total de respuestas por pregunta, o de un extracto de las mismas segn el tamao
de la muestra. Luego se comienza el proceso de agrupacin de las respuestas en funcin de los criterios
del evaluador y el marco terico que lo orienta. Este proceso debe observar una serie de reglas:
que la separacin de categora sea relevante
que tengan sentido en el contexto de la evaluacin
que sean mutuamente excluyentes, o sea, que ninguna unidad de anlisis est ubicada
en dos categoras a la vez
que sean inclusivas, esto es, que no queden unidades de anlisis que no estn incluidas
en alguna categora
En un estudio de evaluacin del Plan Ceibal, que es el programa de inclusin digital en Uruguay6, se
indag acerca de los problemas que se presentan a raz de la incorporacin de computadoras porttiles en el aula. Uno de los aspectos que se analiz en la evaluacin fue la incidencia de los factores
tcnicos en el proceso de apropiacin de la computadora por parte de los maestros. En las entrevistas,
los docentes expresaron lo siguiente:
6 Prez Gomar, G. Ravela, P. (2012). Impactos del Plan Ceibal en las prcticas de enseanza en las aulas de primaria, Universidad Catlica,
Universidad de Albany.
37
Resistencia
al cambio
por parte de
los docentes
Los docentes a veces no tenemos tanta formacin o tanta preparacin o estamos ms arraigados al lpiz y al papel. A veces es
cuestin de parte del docente, es un desafo volver a replantearse
(Maestra, escuela 26).
() es un gran desafo trabajar con ellas, porque te exige tiempo de
investigar y de buscar ayuda para saber cmo trabajar las distintas
actividades, aprender para qu sirve tal recurso
(Maestra, escuela 2).
Falta de tiempo
Como herramienta es espectacular, el tema es que a veces no podemos o no tenemos los tiempos para sacarle ms frutos
(Maestra, escuela 29).
Al principio no tenamos la capacitacin, el nio se frustraba,
nosotros las dejbamos de lado, porque tenemos poca tolerancia al
fracaso (Maestra, escuela 10).
Falta de
capacitacin
Ellos trabajan con la XO, pero hay muchas cosas, por ejemplo de
Escribir, que ni siquiera las conocen y hay que estar dndoselas.
Parece sorprendente, porque ellos tendran que dominar eso mucho
ms que yo que soy bastante limitada y sin embargo, no, porque ellos
la usan para jugar. Ellos en realidad no tienen un conocimiento de
lo que es la informtica ms que para un chateo, para el Facebook
(Maestra, escuela 14).
Conocimientos
tcnicos insuficientes
Dificultades tcnicas
Problemas de
servicio de soporte
38
A partir de la lectura de las expresiones de los docentes, se busc identificar los tipos de problemas a
los que se referan los maestros (subrayados en verde). Se discriminaron categoras, es decir, se distinguieron las alternativas que presentaban las variables, y se les asign una etiqueta a cada una. Este es
el proceso de categorizacin y codificacin de las variables en estudio. El cdigo puede ser un nmero,
una letra, o como en este caso, una expresin.
Los autores de esta evaluacin llegaron a la conclusin de que las dificultades de inclusin de la computadora en el aula se distribuyen en las siguientes categoras: resistencia al cambio, falta de tiempo,
falta de capacitacin, falta de conocimientos tcnicos, dificultades tcnicas y problemas en la provisin de soporte tcnico.
Luego, reunieron estas categoras en tres conjuntos de sentido: competencias TIC de los docentes,
limitaciones propias de los docentes y limitaciones tcnicas que presenta la mquina.
La informacin analizada se orden como se muestra en la siguiente tabla generando un nuevo
conocimiento a partir de las percepciones del evaluador:
Competencias TIC
de los docentes
Limitaciones propias
de los docentes
Limitaciones tcnicas
Tiempo
Prestaciones de la computadora
Resistencias al cambio
Formacin en el uso
de la computadora
Dificultades tcnicas
y falta de soporte
Tomado de Prez Gomar, G. Ravela, P. (2012) Impactos del Plan Ceibal en las prcticas de enseanza en las aulas
de primaria (p.75). Universidad Catlica, Universidad de Albany.
Docentes
entrevistados
Sujeto A
Moderado
Insuficiente
Sujeto B
Sujeto C
Sujeto D
Elaboracin propia sobre datos del informe Prez Gomar, G. Ravela, P. (op.cit.).
A partir del conteo de los datos se podra concluir, por ejemplo, que 60 docentes dicen disponer de
tiempo suficiente para la implementacin de TIC en el aula.
Esta informacin podra resumirse en un cuadro como el siguiente, con una distribucin de frecuencias
simples en el que se muestra el tiempo que expresan los distintos actores consultados (los valores no
responden a los datos reales del estudio).
Disponibilidad de tiempo para la implementacin de TIC en el aula
Suficiente
Moderado
Insuficiente
Total
Docentes
60
45
15
120
Directores
10
16
Total
70
50
16
136
Para profundizar el anlisis sera posible introducir variables adicionales que permitiran indagar si el
desempeo de los sujetos fue distinto segn alguna caracterstica adicional. Por ejemplo, se podra suponer que la edad de los docentes y directores puede ser un factor influyente en la cantidad de tiempo
que necesitan para la inclusin de TIC en el aula.
Disponibilidad de tiempo para la implementacin de TIC en el caula
Edad
Suficiente
Moderado
Insuficiente
Total
Entre 25 y 30
40
45
Entre 35 y 40
20
23
Entre 45 y 50
10
18
Entre 55 y 60
10
20
65 y ms
25
30
Total
70
50
16
136
Veamos todo el recorrido del proceso de tabulado desde la obtencin del dato en bruto, tomando un
ejemplo de la evaluacin del Plan Ceibal. En el estudio se realizaron 184 observaciones de clases, en
las que se tomaron registros de lo que suceda en el aula con respecto a la inclusin TIC. Se registraron
un total de 197 problemas. A continuacin, se reproducen algunos de esos registros:
40
Cantidad
insuficiente de
computadoras
Descarga
de batera,
no hay
cargadores
Dificultades
tcnicas
Dificultades
con el uso de
los programas
Falta de conectividad
Estas observaciones fueron categorizadas en: falta de conectividad, cantidad insuficiente de computadoras, dificultades en el uso del programa, descarga de batera, se trancan. Se contabiliz la cantidad de veces
que se produca cada una de estas situaciones y se obtuvieron porcentajes sobre el total. La informacin procesada se tabul de la siguiente manera:
41
Frecuencia
Porcentaje
Falta de conectividad
12
6%
69
35%
20
10%
55
28%
Se trancan
41
21%
Total
197
100%
Podemos decir que segn este estudio el problema ms frecuente que se observ en la inclusin de
TIC en el aula fue la cantidad insuficiente de computadoras. Es decir, el 35 % de los consultados sealaron este problema.
La aplicacin de medidas de tendencia central
Una vez que trabajamos con los datos obtenidos, categorizando las preguntas abiertas y ordenado la
informacin en planillas, resulta fundamental resumir la informacin para poder comprender su significado. Para ello, se utilizan las denominadas medidas de sntesis que permiten simplificar la lectura de
una gran cantidad de informacin.
Como observamos en el cuadro anterior, una de las medidas de sntesis de uso regular son los porcentajes, que adems de permitir observar un panorama general de los datos obtenidos, facilita la comparacin con otros conjuntos de datos provenientes de otra poblacin, como comparar las mediciones en
dos escuelas sobre un mismo aspecto: opinin de los docentes sobre la implementacin de un programa.
Con el fin de avanzar en el anlisis, se cuenta tambin con unas medidas estadsticas, llamadas de
tendencia central, que permiten obtener una idea rpida de cmo son los datos (Kelmansky, 2009).
La informacin que se obtiene facilita la toma de decisiones sobre el rumbo del proyecto o programa
que se est evaluando. Ellas son: el promedio, la mediana, el modo.
El promedio es el valor caracterstico o central de un conjunto de nmeros. Es una de las medidas ms
usadas cuando se comparan grupos. Su utilidad depende del grado de dispersin.
42
La mediana es el valor que se ubica en el punto central de los datos. Se calcula ordenando los datos de
menor a mayor y aquel valor que divide exactamente la mitad a las unidades de anlisis en la mediana.
Es una medida til para evitar el sesgo de casos extremos.
Veamos un ejemplo:
Un grupo de estudiantes ha obtenido las siguientes calificaciones en los exmenes de matemtica de
fin de trimestre, "considerando una escala de 10 puntos donde el lmite inferior para la aprobacin es 4":
4, 2, 8, 9, 4, 7, 3, 8, 3, 4, 9, 3, 10
Si obtenemos el promedio, el resultado es 5,6.
Sin embargo, si obtenemos la mediana el valor que se obtiene es 4, lo cual significa que el 50% de la
distribucin est por debajo de un rendimiento aceptable.
2, 3, 3, 3, 4, 4, 4, 7, 8, 8, 9, 9, 10
El modo es aquel valor en que la concentracin de tems es ms frecuente. La categora que presenta
mayor cantidad de unidades de anlisis. En nuestro ejemplo el modo es 3. Es decir, la calificacin
ms frecuente en este grupo es desaprobado. Esta informacin orientar seguramente nuestra labor
como docente en forma muy distinta de lo que hubiramos realizado si slo contramos con el promedio del grupo.
Se presenta aqu un ejemplo de aplicacin de medidas de tendencia central, en este caso el promedio.
En el marco de un programa de inclusin digital en Chile, y con el objeto de conocer el nivel de conocimientos TIC de los profesores, se realiz un estudio sobre buenas prcticas7. Para ello, se realiz una
consulta a 16 profesores sobre el nivel de desempeo que ellos crean poseer en el uso de distintas
herramientas y procesos informticos. Se indag acerca de su conocimiento en el manejo del correo
7 Estudio sobre buenas prcticas pedaggicas con uso de TICs al interior del Aula. Informe Final. Ministerio de Educacin. Gobierno de
Chile. Enlaces. Centro de Educacin y Tecnologa, Universidad de Chile, octubre, Santiago de Chile. pp60
43
electrnico, la navegacin por Internet, el uso de procesadores de texto, planillas de clculo y otras
habilidades asociadas.
El nivel de conocimientos fue categorizado en 4 niveles: 1. nulo, 2. Bsico, 3. avanzado, y 4. experto.
Para obtener un panorama general se sumaron los valores obtenidos para cada una de las nueve herramientas cuyo dominio se indag, por cada sujeto, de modo tal que el valor mnimo terico fuera de
9 puntos y el mximo de 36.
El instrumento que se aplic para relevar la informacin es el que se muestra en el siguiente grfico.
Categora
Herramientas de
Productividad
Software
Educativo
Internet
Sub-categora
Nivel de conocimientos
Nulo
Bsico
Avanzado
Experto
Procesador de textos
(Elabora documentos en forma ptima)
Planilla de clculo
(Elabora planillas en forma ptima)
Software de presentacin
(Elabora presentaciones en forma ptima)
Navega en la Web
Usa correo electrnico
Disea ambientes en la Web
Tomado de Estudio sobre buenas prcticas pedaggicas con uso de TIC al interior del Aula. Informe Final. (op.cit.) p.60.
Una vez procesados los datos, se obtuvo un valor mnimo de 14 y un mximo de 33, la mayora de los
profesores se agruparon en los puntajes superiores, con un promedio (media) general de 26 puntos.
Tal como se observa a continuacin:
MNIMO
MXIMO
MEDIA
16
14
33
26,00
16
44
porcentaje
Nulo
6.3
Bsico
6.3
Avanzado
11
68.8
Experto
18.8
Total
16
100.0
Fragmento tomado de Estudio sobre buenas prcticas pedaggicas con uso de TIC al interior del Aula. Informe Final. (op.cit.) p.61.
Los rangos para cada categora se calcularon segn la amplitud de la escala (9 a 36 puntos), divididos en
4 categoras (27: 4). Estas categoras son: conocimiento nulo (9 a 15,7 puntos), bsico (15,8 a 22,5, puntos), avanzado (22,6 a 29,3 puntos) y experto (29,4 a 36 puntos). De acuerdo a estas categoras, slo dos
profesores manifestaron un conocimiento nulo o bsico en las distintas herramientas TIC, 11 presentaron
un conocimiento avanzado y 3 conocimiento experto.
La lectura de este cuadro permite observar que la mayora de los profesores presentaron un conocimiento avanzado y que en segundo lugar, se ubic el grupo con conocimiento experto. Es decir, al analizar
en detalle cmo se distribuyen los datos, pudo observarse que el promedio obtenido describe con bastante fidelidad el nivel de conocimientos de los profesores: en general, todos poseen buen desempeo.
Anlisis con informacin no cuantificable o cualitativa
A veces, cuando trabajamos con un abordaje puramente cualitativo no es posible o no interesa cuantificar la informacin que obtenemos en campo, ya sea porque el nmero de casos es muy pequeo o
porque lo que interesa ms es comprender el fenmeno en profundidad. Frente a estas circunstancias,
puede no resultar tan importante saber cuntas personas presentan ciertas caractersticas, como s
realizar una descripcin pormenorizada de aquello que se estudia. La evaluacin en este caso se orienta
a la bsqueda de significados, ms que la descripcin de generalizaciones estadsticas.
Las tareas de anlisis, comienzan con la organizacin de la informacin que se registr por escrito,
en videos, a travs de grabaciones y a partir de diferentes instrumentos (entrevistas en profundidad,
diferente tipo de registros, observaciones, etc.), adems de la formulacin de categoras que permitan
clasificar la informacin. Estas tareas suelen ser anticipadas, a partir de las preguntas de evaluacin
que se presentan al momento del diseo del instrumento, o al momento de definir los conceptos gua
que orientan la indagacin.
En general, cuando hay predominio de la utilizacin de los mtodos cualitativos no existe un lmite
muy preciso entre la indagacin de campo y el anlisis de los datos, sino que este proceso se va produciendo en forma paralela. Estas categoras, al inicio, sern ms o menos amplias y se irn modificando
a medida que se realizan el anlisis as como los conceptos y preguntas gua de la indagacin. La
evaluacin cualitativa resulta de carcter ms abierto y adaptable a la realidad (Gmez Serra, 2004).
En la etapa de anlisis se trata de comprender la situacin y el contexto en el que se desarrollan
las personas del grupo estudiado, as como la significacin que para ellos tienen los fenmenos en
45
cuestin. De este modo, durante el proceso de indagacin surgen nuevas categoras que antes no haban sido pensadas por el evaluador. Con frecuencia, durante la instancia de anlisis se logran formular
nuevas preguntas de evaluacin o se reformulan las preguntas iniciales. El anlisis da como resultado
tanto descripciones de la situacin como interpretaciones de los sucesos registrados (Briones, 1998).
La triangulacin
La triangulacin es una estrategia que se utiliza muy frecuentemente para buscar una mejor aproximacin al objeto de estudio. Parte de la idea de que cualquier estrategia individual de recoleccin de datos
presenta errores, por lo que la combinacin de estrategias permite corregir algunos de los aspectos
dbiles de la indagacin (Gmez Serra, op.cit.).
La triangulacin es un trmino que originalmente describa cmo los marineros usaban sus destrezas
y la simple trigonometra para localizar su posicin en la tierra. Puede comprenderse como la forma de
usar piezas independientes de informacin para formarse una mejor opinin acerca de algo que slo
se comprenda o se conoca de manera parcial (Ragin, 2007).
Esta tcnica consiste en la aplicacin de distintos abordajes de investigacin a partir de los cuales se obtienen datos complementarios que permitan un abordaje completo y complejo del objeto de estudio, a
fin de lograr el conocimiento ms profundo de un fenmeno, dado a partir de una economa de recursos.
Segn Fassio, Pascual y Surez (2004), existen distintas formas de triangulacin:
Distintas fuentes de datos en el tiempo y en el espacio. Si la comparacin de resultados que se
realiza es a travs del tiempo se trata de un estudio longitudinal, y si la comparacin es en un nico
momento pero entre hechos sociales ocurridos en diferentes espacios fsicos, se trata, por ejemplo,
de un estudio transversal.
Distintos niveles de anlisis en funcin de las miradas de diferentes actores (se recolecta informacin de usuarios, funcionarios de gobierno, tcnicos, referentes polticos, productores de los bienes
o servicios, etc.).
Distintos mtodos y tcnicas de recoleccin de la informacin (abordajes cuali-cuantitativos, entrevistas individuales y grupales, encuestas, observaciones, anlisis de documentos varios, grupos
focales, tcnicas de taller, etc.). De esta manera, se trata de lograr la complementariedad de los enfoques cuantitativo y cualitativo, contribuyendo desde diferentes perspectivas a logro de los objetivos
de nuestra evaluacin.
Distintos investigadores que aborden el objeto de estudio, cuyos sesgos personales / disciplinares se
neutralizaran, o por lo menos se minimizaran, a partir de una mirada comn enriquecida.
Distintos abordajes tericos que permitan comprender/abordar diversos aspectos de la problemtica
considerada.
La Presentacin de la informacin (texto, cuadros, grficos)
Los resultados de una evaluacin deben ser comunicados a distintos destinatarios con diferente grado
de preparacin. Es importante encontrar una forma de comunicar los resultados para que sean comprendidos por las distintas audiencias, independientemente de sus capacidades. En este sentido,
las representaciones grficas cumplen la misin de presentar una imagen que sintetiza de manera
elocuente la informacin que se quiere transmitir. Alguna de las formas de representacin son, por
46
ejemplo, los grficos circulares o de torta y de barras. Estos grficos permiten conocer la distribucin
de los valores de una variable categrica, que podrn ser expresados en cantidades o porcentajes.
Grfico de torta
El grfico de torta se utiliza para representar la distribucin de los valores de una variable categrica.
El crculo representa la totalidad de los datos, cada sector dentro del crculo es el porcentaje de cada
categora de la variable en consideracin (Kelmansky, 2009).
Por ejemplo, en el estudio sobre buenas prcticas pedaggicas se analizan las actitudes de los estudiantes a travs del tipo de preguntas que formulan, su estilo de trabajo y disposicin en el aula. Se
observ, en base a 94 registros, que la mayora de las preguntas de los nios se refieren a la consigna
de trabajo de la maestra, en segundo lugar, un 40%, a aspectos tcnicos de uso de la computadora y
slo el 14 % a contenidos temticos.
Las diferencias en la distribucin de las respuestas entre cada categora puede verse en forma muy
clara a travs de un grfico de torta, como se observa a continuacin.
Grfico de barras
Los grficos de barras se utilizan para representar la distribucin de los valores de una variable categrica. Las categoras se disponen en el eje horizontal y la cantidad o porcentajes se distribuyen sobre el
eje vertical. La altura de las barras representa la cantidad de datos para cada una de estas.
Por ejemplo, en un estudio sobre el uso de los portales educativos se propuso como objetivo, conocer
cules son los usos y apropiaciones que le dan los docentes de las escuelas del conurbano e interior de
la provincia de Buenos Aires a las producciones de Educ.ar.
En el informe se utiliza el grafico de barras para visualizar cules son los recursos del portal que resultan ms utilizados por los docentes, en este caso, en nmeros absolutos.
47
Con la utilizacin de porcentajes es posible comparar universos distintos. En el ejemplo se utiliza el grfico de barras para comparar los resultados obtenidos por los alumnos en un pre-test y post-test, a partir
de la implementacin de un programa de informtica educativa para promover una mejora en los aprendizajes en las reas de ingls y ciencias de la naturaleza, en seis establecimientos escolares de Chile.
Tomado de MIC (1:1): Modelo de Integracin Curricular con Estrategia 1 a 1. Resultados de la Implementacin. Informe Final. Gobierno de
Chile, Enlaces, Pas Digital, Santiago de Chile, 2009, p.91.
48
8. El informe de evaluacin
Se considera que la evaluacin proporciona herramientas para reflexionar sobre lo actuado, desarrollar
capacidades y obtener un mejor conocimiento de la realidad. En ese marco, el informe de resultados es
el espacio en donde se explicita el juicio valorativo fundamentado y comunicable sobre aquello sobre
lo cual se pretende informar.
Resultara ingenuo asumir que los resultados de una evaluacin sern utilizados de manera directa en
la toma de decisiones, se requiere que el equipo de evaluacin se esfuerce sistemticamente, y desde
el inicio de la evaluacin para promover su aprovechamiento. Esta bsqueda contnua de oportunidades para comunicar y promover la reflexin entre los distintos destinatarios debe realizarse tanto al
momento del diseo, como anticipando posibles resultados y discutiendo posibles cursos de accin
a tomar frente a escenarios alternativos, de modo tal de anticipar si el tipo de informacin a proveer
como resultado de la evaluacin resulta pertinente. Las oportunidades de brindar retroalimentacin a
lo largo del proceso de evaluacin requiere un vnculo de respeto y confianza entre el equipo evaluador
y los destinatarios, y a la vez posibilita contar con el aporte de quienes se encuentran ms familiarizados con aquello que ser objeto de evaluacin, lo cual enriquece enormemente el diseo, la realizacin
y los resultados de la evaluacin.
Para el desarrollo de todos los aspectos contenidos en este apartado resulta una referencia significativa Los Estndares para la Evaluacin de Programas (1998)1.
A continuacin se sistematizan distintos aspectos a considerar en el informe de evaluacin, aunque se
debe considerar que la preocupacin por la comunicacin y posterior uso de los resultados no finaliza
en esta instancia.
1 Con el objeto de ampliar esta referencia se incluye en el anexo la enumeracin completa de los estndares contenidos en este material.
Ms informacin, en www.grade.org.pe/gtee-preal/boletines/Boletin_3_GTEE_PREAL.pdf.
49
Algunos de los aspectos a considerar pueden sistematizarse en la figura que se presenta a continuacin:
administradores, personal, clientes o incluso la propia poblacin beneficiarias. Los destinatarios son
la poblacin beneficiaria, a quien se dirigen las acciones de evaluacin. Por ejemplo, en una evaluacin
acerca del impacto de un proyecto de alfabetizacin digital en el desempeo de alumnos, los destinatarios podran ser los docentes a quienes se les envan los informes de resultados con la intencin
de que lo utilicen como insumo para mejorar sus prcticas, e incluso tambin los alumnos y/o sus familias, dependiendo del tipo de informe que se realice. En muchos casos, y tal como lo plantea House
(2001), con frecuencia, unos destinatarios son los mismos interesados.
Es por ello, y considerando la existencia de distintos posibles destinatarios (familias, docentes, alumnos, equipo directivo, autoridades educativas, opinin pblica, entre otros), reviste particular importancia la identificacin de quin es el destinatario en cada caso porque de ello dependern distintas
decisiones acerca de la estrategia de devolucin de resultados que se considere ms conveniente.
La identificacin de los destinatarios contribuye a conocer las motivaciones e incentivos que tienen
para tomar decisiones, a partir de los resultados de la evaluacin realizada. Tambin resulta conveniente reconocer que los distintos actores tienen objetivos, intereses y puntos de vista particulares
que se ponen en juego al momento de tomar decisiones. El conocimiento de las caractersticas de las
distintas audiencias debiera orientar la definicin acerca de la estrategia de comunicacin a adoptar.
Por ejemplo, algunos destinatarios pueden tener mayor familiaridad que otros con la interpretacin de
datos cuantitativos o con algunos soportes de la informacin (escrito, audiovisual).
Se reconoce como responsabilidad profesional del evaluador:
Conocer y caracterizar las diferentes audiencias.
Asegurarse que comprenden los reportes que se generan.
Explicar apropiadamente los aspectos que puedan no ser comprendidos.
Producir reportes con contenidos apropiados a los intereses, usos y mbito de actuacin,
y decisin de cada audiencia.
Ayudar a sus audiencias a reflexionar sobre cmo emplear los resultados del trabajo.
La adecuacin del informe a las caractersticas especficas de las audiencias identificadas como destinatarios supone una complejidad adicional para el equipo evaluador, en tanto se deber prestar especial atencin a que esto no vaya en detrimento de la transparencia de los resultados de la evaluacin,
ante eventuales manipulaciones o distorsiones que podran producirse (Tiana Ferrer,1997).
Formatos
El modo en que se presentan los resultados de evaluacin puede utilizar uno o varios formatos. Puede
utilizarse material impreso, audiovisual, digital (blogs, redes sociales), entre otros, dependiendo de las
caractersticas de los destinatarios.
Un primer aspecto central a tener en cuenta, es la necesidad de incluir toda la informacin que se considere relevante para los destinatarios identificados. A su vez, el informe debe ser claro y conciso. Esta
claridad hace referencia al discurso, los ejemplos y las descripciones que deben ser explcitas y ntidas.
En los Estndares para la Evaluacin de Programas se sugiere complementar los informes escritos con
comunicacin oral continua y se explicita como estndar de utilidad a la claridad del informe (U.5)
51
haciendo referencia a que los informes de evaluacin deberan describir claramente el programa evaluado, incluyendo el contexto y el propsito, procedimientos y resultados de la evaluacin, de modo
que se proporcione informacin esencial y se entienda fcilmente.
En segundo lugar, la concisin remite a la necesidad de evitar la tentacin de incluir en los reportes
toda la informacin. Es muy importante saber seleccionar la informacin ms relevante, teniendo en
cuenta que un informe de gran extensin es probable que no sea ledo en su totalidad, atentando contra las posibilidades de apropiacin y posterior utilizacin de los resultados en la toma de decisiones.
En este sentido, resulta conveniente desarrollar una estrategia de divulgacin en varias etapas con
menor cantidad de informacin que intentar entregar toda la informacin de una sola vez. En sntesis,
con independencia del formato seleccionado, todo informe debe resultar:
Recomendaciones principales
Principales resultados
Resultados detallados
- Resultados acerca de cada una de las preguntas de la evaluacin
- Resultados adicionales
R ecomendaciones detalladas
- Recomendaciones para la toma de decisiones especficas
- Recomendaciones especficas acerca de las diversas partes de la actividad evaluada
Este reconocimiento de que la evaluacin no pretende slo conocer sino tambin orientar la accin,
supone una dificultad adicional para el equipo evaluador: la formulacin de recomendaciones razonables, apoyadas en los anlisis realizados y, sobre todo, viables en la situacin concreta en que han de
aplicarse (Tiana Ferrer, 1997).
Algunas recomendaciones para la presentacin de resultados
Teniendo presente la complejidad que supone el diseo e implementacin de la estrategia de comunicacin de resultados de una evaluacin, se presentan, a continuacin, algunas recomendaciones:
Incorporar esta preocupacin desde el comienzo del proceso evaluativo.
Reflexionar sobre cules son las audiencias a las cules es necesario llegar con los resultados
y establecer prioridades.
Elaborar una estrategia de comunicacin y relacionamiento continuo con cada audiencia definida
como relevante.
Estudiar con detenimiento cules son los contenidos y formatos ms apropiados para la difusin
de los resultados a cada audiencia.
Prever en el plan de trabajo y en el presupuesto los recursos humanos, financieros y tiempos para
realizar las actividades anteriores (por cada peso en medicin, otro en divulgacin).
Qu ocurre con posterioridad a la presentacin de resultados?
Una vez finalizada la instancia de presentacin de resultados, lo conveniente es realizar el seguimiento
de los mismos. Esto se ve reflejado en una de las pautas formuladas en los Estndares para la Evaluacin
de Programas, establece que Dentro de los lmites de tiempo, dinero y recursos, planificar cmo se va a
ayudar a los interesados en la valoracin, interpretacin y aplicacin de los resultados de la evaluacin,
tras la publicacin del informe final.
Es probable que los responsables de tomar de decisiones requieran de algn apoyo por parte del equipo evaluador, en caso en que necesiten discutir nuevamente los resultados de la evaluacin realizada y
prevenir una interpretacin errnea de los mismos (por ejemplo, la utilizacin de los resultados fuera
del contexto en el que los mismos fueron producidos, una sobre-generalizacin por mala interpretacin del alcance de la muestra, entre otros).
54
Anexo
Estndares para la evaluacin de programas4
Comit conjunto de estndares para la evaluacin educativa (1998). Estndares para la Evaluacin
de Programas. Bilbao: Ediciones Mensajero.
Cada estndar mencionado incluye tres elementos: una breve descripcin, un conjunto de pautas
para su aplicacin y un conjunto de errores comunes que se cometen en las evaluaciones y que violan el estndar.
Estndares de UTILIDAD
La evaluacin debe ayudar a las personas o grupos interesados a que stos tengan acceso a las informaciones que necesitan para el desempeo de su actividad. Debe ayudarles a identificar los defectos
y virtudes de lo evaluado y proponer soluciones a fin de mejorar el objeto que se evala.
U.1. Identificacin de los interesados
U.2. Credibilidad del evaluador
U.3. Foco y seleccin de la informacin
U.4. Identificacin de valores
U.5. Claridad del informe
U.6. Oportunidad y difusin del informe
U.7. Impacto de la evaluacin
Estndares de VIABILIDAD
Los procedimientos para llevar a cabo la evaluacin no deben ser excesivamente complicados y s
eficientes. Han de garantizar que la evaluacin se lleve a cabo de un modo realista, prudente y diplomtico, que se hayan ponderado todos los puntos y tenido en cuenta los costes.
V.1. Procedimientos prcticos
V.2. Viabilidad poltica
V.3. Eficacia de costos
Estndares de PROPIEDAD
La evaluacin debe estar basada en compromisos explcitos que aseguren la necesaria cooperacin,
la proteccin de los derechos de las partes implicadas y la honradez de los resultados, adems debe
proporcionar un informe equilibrado que ponga de manifiesto tanto aciertos como errores del objeto
que se evala
www.grade.org.pe/gtee-preal/boletines/Boletin_3_GTEE_PREAL.pdf
55
56
Este manual ha sido elaborado con la intencin de brindar apoyo a las iniciativas de evaluacin de los
proyectos de inclusin de TIC en el mbito educativo. Con el objetivo principal de promover y asistir
las acciones de auto-evaluacin, ha pretendido ofrecer una gua prctica para los actores que se involucran cotidianamente en la tarea de ensear y aprender. Un aprendizaje que se basa en la propia prctica e incorpora las experiencias para orientar y re-orientar el rumbo de la compleja pero ineludible
tarea que supone brindar a los nios, nias y adolescentes las herramientas necesarias para enfrentar
los desafos que impone el mundo actual. Esperamos haber alcanzado nuestro objetivo planteado y los
alentamos a continuar el recorrido iniciado.
/ Equipo de Evaluacin
57
Bibliografa
ANDERSON, J. y WEERT, T. (2002). Information and communication technology in education: A
curriculum for schools and programme of teacher development. Pars: UNESCO. Recuperado de
http://unesdoc.unesco.org/images/0012/001295/129538e.pdf
BORSOTTI, C. (2007). Temas de metodologa de la investigacin en ciencias sociales empricas. Buenos
Aires: Mio y Dvila.
BRIONES, G. (1998). La investigacin social y educativa Colombia. Bogot: Convenio Andrs Bello.
BRIONES, G. (1999). Evaluacin Educacional. Formacin de docentes en investigacin educativa. Bogot:
Convenio Andrs Bello.
CAMACHO, J. y YELA GMEZ, F. (2009). Animacin a la lectura. La palabra: un valor en alza. En
Cuadernos de literatura infantil y juvenil (CLIJ) N 218.
CAMBRIDGE INTERNATIONAL EXAMINATIONS. Cambridge IGCSE ICT. Recuperado de
www.cie.org.uk/qualifications/academic/middlesec/igcse/subject?assdef_id=969
CARBONATTO, R. y MOBILIA, M. (2011). Uso y apropiacin de las producciones de EDUC.ar en las
escuelas bonaerenses. Buenos Aires: Universidad Pedaggica de Buenos Aires (UNIPE). Recuperado
de http://portal.educ.ar/debates/educacionytic/informe_junio_2011.pdf
CEPAL (2010). Avances en el acceso y el uso de las Tecnologas de la Informacin y la Comunicacin en
Amrica Latina y el Caribe 2008 2010. Coleccin Documentos de Proyecto. Chile. Recuperado de
www.eclac.org/ddpe/publicaciones/xml/3/38923/W316.pdf
CETF ICT DIGITAL LITERACY INITIATIVE (2008). Consensus Document. California: ICT Digital
Literacy Assessments and Curriculum Framework. Recuperado de www.ictliteracy.info/rf.pdf/
California%20ICT%20Assessments%20and%20Curriculum%20Framework.pdf
CLARO, M. (2010). Documento de proyecto: Impacto de las TIC en los aprendizajes de los estudiantes.
Estado del arte. Comisin Econmica para Amrica Latina y el Caribe (CEPAL). Divisin de Desarrollo
Social. Recuperado de www.eclac.org/publicaciones/xml/7/40947/dp-impacto-TICs-aprendizaje.pdf
CLARO, M.; PREISS, D.; SAN MARTIN, E; VALENZUELA, S y CORTS, F. (2010). Assessment of 21st
Century ICT Skills: Test Design and Results from a Chilean Sample of High School Students. Chile: Pontificia
Universidad Catlica de Chile (CEPPE).
COHEN, E. y FRANCO, R. (1991). Evaluacin de Proyectos Sociales. Mxico D.F.: Ed. Siglo XXI.
COMIT CONJUNTO DE ESTNDARES PARA LA EVALUACIN EDUCATIVA (1998). Estndares
para la Evaluacin de Programas. Bilbao: Ediciones Mensajero.
DINIECE. Modelo de ndice de Contenidos de un Proyecto de Estudio Evaluativo. Buenos Aires: Ministerio
de Educacin.
58
MINISTERIO DE EDUCACIN DE CHILE (2008). Estudio sobre buenas prcticas pedaggicas con uso
de Tics al interior del Aula Informe Final. Santiago de Chile: Gobierno de Chile. Enlaces. Centro
de Educacin y Tecnologa., Universidad de Chile.
MINISTERIO DE EDUCACIN DE CHILE (2009). MIC (1:1) Modelo de Integracin Curricular con
estrategia 1 a 1.Resultados de la Implementacin Informe Final. Santiago de Chile: Gobierno de Chile.
Enlaces. Pas Digital.
NEIROTTI, N. (2005). Elementos conceptuales y metodolgicos para la evaluacin de polticas y
programas sociales. Buenos Aires: IIPE UNESCO.
NIRENBERG, O.; BRAWERMAN, J. y RUIZ, V. (2003). Evaluar para la transformacin, Buenos Aires: Paids.
NIRENBERG, O; BRAWERMAN, J. y RUIZ, V.; (2003). Programacin y Evaluacin de Proyectos Sociales.
Buenos Aires: Ed. Paids.
ORGANIZACIN DE ESTADOS IBEROAMERICANOS Y FUNDACIN TELEFNICA (2011).
Integracin de las TIC en la escuela. Indicadores cualitativos y metodologa de investigacin. Espaa-Brasil.
Recuperado de www.oei.es/idie/IntegracionTIC.pdf
PREZ GOMAR, G. RAVELA, P. (2012). Impactos del Plan Ceibal en las prcticas de enseanza en las
aulas de primaria. Montevideo: Universidad Catlica y Universidad de Albany.
RAGIN, C. (2007). La construccin de la investigacin social. Introduccin a los mtodos de diversidad.
Bogot: Siglo del Hombre Editores. Universidad de los Andes. SAGE.
ROSSI, P. et al. (2004). Evaluation: A systematic approach. SAGE Publications Inc.
SCRIVEN, M. (1991). Thesaurus Evaluation. SAGE Publications Inc.
SEVERIN, E (2010). Tecnologas de La Informacin y La Comunicacin (TIC) en Educacin. Marco
Conceptual e Indicadores. Banco Interamericano de Desarrollo. Divisin de Educacin (SCL/
EDU). Notas Tcnicas N6. Recuperado de http://idbdocs.iadb.org/wsdocs/getdocument.
aspx?docnum=35128349
SUAREZ, F. (1981). Tcnicas de investigacin social. Buenos Aires: OEA- CIDES.
SUNKEL, G. (2009). Presentacin: Avances y desafos en el desarrollo y uso de indicadores TIC en
educacin. Ro de Janeiro.
SUNKEL, G. (2010). Las TIC para la educacin en Amrica Latina. Presentacin realizada en el Congreso
Iberoamericano de Educacin realizado en Buenos Aires entre el 13 y 15 de septiembre 2010.
TIANA FERRER, A. (1997). Tratamiento y Usos de la Informacin en Evaluacin. Espaa: U.N.E.D.
Recuperado de www.oei.es/calidad2/tiana.htm
60