Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Ibertic Manual PDF
Ibertic Manual PDF
la evaluacin
de proyectos
de inclusin de TIC
en educacin
Est pensado como un soporte de carcter conceptual y metodolgico para quienes se asoman al tra-
bajo de la evaluacin de proyectos relacionados con la incorporacin de TIC en educacin. Se ofrece
tambin un conjunto de pautas para la seleccin y aplicacin de las tcnicas habitualmente utilizadas
para relevar informacin, analizar los datos recabados, informar sobre los resultados y tomar aque-
llas decisiones que permitan mejorar las acciones iniciadas. Asimismo, se encontrarn referencias
que permiten comprender mejor la funcin que cumplen otras herramientas de auto-evaluacin en el
marco de un proceso de inclusin de TIC en escuelas y que son parte de los instrumentos disponibles
en el espacio .
1
Introduccin
Al emprender la evaluacin de un proyecto, se espera obtener informacin acerca del desempeo de
las acciones que se llevan adelante para alcanzar los objetivos planteados. Se podr evaluar el diseo
del proyecto en s mismo, su implementacin, los resultados obtenidos y/o los impactos alcanzados.
Sea cual fuere el alcance de esta tarea, evaluar supone entrenar la mirada y aplicar tcnicas de inda-
gacin, a las que se sumar un juicio a partir del cual el evaluador ofrecer recomendaciones en funcin
de los resultados y el momento en que se encuentre el proyecto.
Evaluar entonces, es producir evidencia emprica que permita construir juicios acerca del desempeo
de las acciones previstas para alcanzar los objetivos. Constituye un insumo para guiar la toma de de-
cisiones acerca de la continuidad de estas acciones o de emprender ajustes que garanticen la calidad
del proceso, los resultados y los impactos esperados.
Desde esta perspectiva, podra decirse, que evaluar es emprender un camino de sucesivas decisiones
metodolgicas en un proceso permanente de indagacin y valoracin del diseo, la implementacin
y los efectos de un proyecto, como parte de la gestin integral del mismo durante todas sus etapas.
Quines evalan?
La evaluacin se aplica en todos los niveles de una intervencin en el mbito educativo, desde el nivel
de las polticas educativas, hasta el aula, incluyendo a los equipos de supervisin y conduccin esco-
lares, los especialistas y los organismos internacionales.
La evaluacin interna es realizada por los mismos integrantes del proyecto, y puede incluirse como
un procedimiento de monitoreo permanente. Una modalidad caracterstica de evaluacin interna es
la auto-evaluacin.
La evaluacin externa es llevada a cabo por profesionales o expertos que no participan del proyecto.
Puede estar a cargo de equipos de supervisin, de organismos del Estado o de cooperacin interna-
cional, entre otros.
Los dos tipos de evaluacin aportan importantes contribuciones. La evaluacin externa aporta objeti-
vidad e independencia, mientras que la interna permite profundizar en funcin del conocimiento de la
gestin y desarrollo del proyecto. En este sentido la conformacin de equipos mixtos resulta ser muy
valiosa, combinando la tcnica que brindan los equipos externos y el acompaamiento del equipo que
lleva adelante el proyecto.
2
En el caso especfico de las herramientas de auto-evaluacin que se proponen en este manual, se
espera que estn al servicio de quienes llevan adelante los proyectos escolares, principalmente los
equipos de conduccin y supervisin.
Este documento est pensado como un soporte metodolgico para disear, desarrollar y analizar in-
vestigaciones evaluativas de proyectos en general y en particular, para la evaluacin de proyectos
orientados a la incorporacin de las TIC en el mbito educativo.
Los temas estn organizados a partir de las posibles preguntas que se pueden hacer quienes desean o
necesitan emprender la tarea de evaluar un proyecto:
3
1. El proyecto de incorporacin de TIC
Qu es un proyecto de incorporacin
de TIC en el mbito educativo?
En forma genrica se refiere a un conjunto de acciones planificadas que tiene por objetivo la transfor-
macin de las prcticas educativas a partir de la inclusin de TIC, en tanto se considera que la misma
constituye una valiosa oportunidad de cambio y mejora de la educacin. Actualmente se desarrolla
una amplia variedad de experiencias de diferente alcance y capacidad transformadora por lo que se
genera la necesidad de favorecer los procesos de seguimiento, valoracin, ajuste y fortalecimiento
institucional y profesional de los actores educativos involucrados.
Uso pedaggico de las TIC: en qu medida hay cambios en las estrategias de enseanza, en
la motivacin y actitud de los docentes hacia las TIC, si se modifica en algn aspecto la di-
nmica en el aula, el modo en que los docentes utilizan las TIC y sus representaciones. Si se
desarrollan iniciativas institucionales de apoyo a los docentes en la integracin de TIC en las
prcticas escolares, como capacitacin y acompaamiento de las iniciativas desarrolladas
Aprendizajes de los alumnos: tipo de uso que hacen de las TIC (frecuencia, complejidad
cognitiva, utilidad), incidencia de la integracin de TIC en el logro acadmico de los alumnos
en las reas curriculares, desarrollo de micro-competencias o destrezas de manejo funcio-
4
nal, competencias especficas asociadas a las TIC, y en qu medida se incrementan actitudes
positiva de los alumnos respecto al aprendizaje (motivacin, compromiso, concentracin).
En la siguiente tabla se describe brevemente qu involucran cada una de estas etapas en el desarrollo
del proyecto, definiendo los criterios que luego sern evaluados.
Planificacin Descripcin del - Ej. Problema 1: El alto nmero de alumnos que provienen de
del proyecto PROBLEMA que hogares con vulnerabilidad socioeconmica dificulta el acceso a la
se espera resolver computadora dentro de la poblacin escolar.
o definicin de la - Ej. Problema 2: Los estudiantes muestran dificultades para utilizar
VISIN que impulsa la computadores (la mayora no cuenta con direccin de e-mail).
implementacin de un - Ej. Problema 3: En la institucin, las tasas de abandono o repeticin
proyecto de integracin son altas, a la vez que el rendimiento escolar es bajo.
de TIC en la escuela
5
Etapas Descripcin Algunos ejemplos posibles
Definicin de las - Generacin de acuerdos con organismos pblicos y/o privados para la
ACTIVIDADES gestin de recursos materiales.
a involucrar - Provisin de equipamiento y acondicionamiento de la infraestructura.
- Revisin de programas de estudio y dinmicas ulicas e
institucionales.
- Monitoreo y evaluacin de las acciones.
Ejecucin PUESTA EN Este es el momento en que desarrollan las actividades y tareas previstas
del Proyecto MARCHA en el cronograma.
Evaluacin Diseo, ejecucin La evaluacin debe estar prevista desde la planificacin del proyecto.
del Proyecto y resultados de la Esta actividad supone un proyecto en s mismo, que tambin atraviesa
EVALUACIN una etapa de diseo o planificacin, la ejecucin, el anlisis y devolucin
de resultados.
6
2. El momento y el alcance de la evaluacin:
Cundo y para qu se evala?
Como se indic en la Tabla 1, la evaluacin debe estar prevista desde la planificacin del proyecto y de-
bera dar comienzo antes de que comiencen las acciones, e incluso podra ser necesaria una instancia
de evaluacin durante la fase de planificacin del proyecto.
Aqu ya se advierte una dimensin temporal de la evaluacin que permite obtener informacin en dis-
tintos momentos del desarrollo de las actividades.
Inmediatamente antes de su implementacin: para tener informacin de base (Lnea de base o Punto
Cero), que constituya una referencia para medir los cambios producidos por las acciones realizadas a
partir de la implementacin del proyecto, y de qu modo operan sobre los beneficiarios directos.
Durante la etapa de ejecucin: para monitorear el curso de las acciones. Cuando se efectan cortes
temporales durante el desarrollo del proyecto. Suelen llamarse evaluaciones intermedias y se les da el
nombre de momento I, II, III y as sucesivamente para ordenar los resultados en relacin con la evo-
lucin del proyecto.
Una vez finalizado el plazo previsto de ejecucin: para valorar los efectos del proyecto en el corto y
mediano plazo (resultados e impactos). En general, se denomina evaluacin de resultados, a la medicin
que se realiza al momento del cierre del proyecto y de impactos o ex-post, pasado un perodo, en el que
se pueda medir si los cambios se mantuvieron en el tiempo, y qu efectos finales produjeron sobre la
poblacin destinataria, en relacin con los objetivos ltimos o ms generales buscados por el proyecto.
7
Qu se evala?
De acuerdo a su contenido la evaluacin podr ser de:
Factibilidad
Lnea de base
Diagnstico o Proceso
Resultados
Impactos
8
3. El diseo de la evaluacin
La evaluacin supone un proceso que tambin atraviesa por diferentes etapas: una etapa de diseo o
planificacin, un momento de ejecucin o trabajo de campo, el procesamiento y anlisis de la informa-
cin recolectada y la presentacin de resultados, para luego dar paso a la toma de decisiones.
El diseo de la evaluacin no es otra cosa que la planificacin de la misma. Para ello es aconsejable
elaborar una propuesta de evaluacin, es decir, un documento que permita registrar y ordenar el plan
de trabajo que se realizar, los objetivos que se esperan alcanzar, la metodologa para obtener la infor-
macin necesaria, los controles de calidad que se aplicarn para validar la informacin, as como un
cronograma para las tareas planificadas.
La evaluacin que se emprenda puede ser realizada tanto en un mbito de gran envergadura en una
regin alcanzada por un programa nacional o local, por ejemplo como en un mbito ms pequeo y
acotado, como una escuela o incluso un aula. En el caso de estos ltimos es probable que no se requie-
ra elaborar un diseo amplio. Sin embargo, siempre es necesario dejar documentados los objetivos y
la metodologa que se utilizarn en la evaluacin.
Una de las primeras cuestiones a considerar es el conocimiento del proyecto que se ha de evaluar.
Resulta de vital importancia conocer las caractersticas del proyecto que se ha de evaluar.
Las mismas pueden estar formalizadas en un documento o no pero, al momento de disear
la evaluacin, deben conocerse claramente las acciones que se buscan evaluar. Si no existe
proyecto formal, ser parte del proceso de evaluacin redactar una breve descripcin de los
objetivos y las acciones del proyecto, y reconstruir los antecedentes de evaluaciones anteriores,
si los hubiera, para luego, definir el momento y el alcance de la evaluacin que se emprenda.
Al momento de pensar el diseo de una evaluacin se deberan contemplar los siguientes aspectos:
9
4. Los objetivos de la evaluacin:
Qu, dnde, cundo y para qu?
Una vez definido qu se va a evaluar, es necesario determinar qu pretende el estudio, es decir, se
deben enunciar claramente los objetivos de la evaluacin. Estos objetivos indican qu informacin se
espera obtener en la evaluacin.
Los objetivos son propuestas que orientan las acciones. Por lo tanto una evaluacin puede tener el
objetivo de: diagnosticar, valorar los resultados, rendir cuentas, revisar, etc. Ms all de los objetivos
puntuales, la evaluacin siempre aporta informacin que contribuye a la toma de decisiones, orienta-
das a la mejora del proyecto en cuestin.
En el caso de los programas y proyectos educativos de incorporacin de TIC que suponen diferentes
niveles de decisin, es posible pensar en muy diversos objetivos y alcances de las acciones de evalua-
cin dependiendo del escenario que se observe.
Por ejemplo:
10
Las universidades o especialistas. Podran emprender evaluaciones cooperando con
los equipos ministeriales como soporte tcnico, o bien, promover investigaciones como
contribucin al conocimiento sobre el tema.
Los objetivos generales sintetizan la finalidad general de la evaluacin, donde se incluyen todas las ac-
ciones y metas. Responden a las preguntas de qu, dnde, cundo y para qu se realizar la evaluacin.
Los objetivos especficos se desprenden del objetivo general, sin excederlo. Estn relacionados direc-
tamente con la accin y pueden identificar fases del proceso de evaluacin. Describen qu tareas o
actividades se efectuarn para alcanzar al objetivo general del que derivan.
Puede considerarse un objetivo general para la evaluacin y varios objetivos especficos. Cada objetivo
especfico, entonces, explicar de qu modo ha de contribuir a alcanzar el objetivo general del cual se
desprende. Se debe tener al menos dos objetivos especficos para que justifique la formulacin de un
nuevo objetivo general.
Dado que los objetivos indican acciones, se formularn comenzando con un verbo. Asimismo, deben
expresarse con claridad para evitar desviaciones en el proceso de evaluacin. Los verbos para los
objetivos generales suelen remitir a acciones generales o abstractas, como: conocer, comprender,
evaluar, etc.; y los que se usan para indicar los objetivos especficos, refieren a un tipo de accin
prctica: describir, clasificar, identificar, categorizar, etc.
Objetivos especficos
a) Identificar y categorizar las percepciones de los docentes de enseanza primaria hacia el
Plan Ceibal en general, y hacia el uso de las TIC en particular.
b) Describir los diferentes modos en que los maestros y maestras incorporan las TIC a sus
prcticas de aula.
c) Identificar y caracterizar propuestas de trabajo didctico de carcter innovador
utilizando las TIC.
d) Describir y analizar el impacto del plan en el rol docente y en la dinmica de trabajo de la
escuela.
e) Analizar y explicar los factores que inciden en las actitudes y prcticas docentes.
Extrado de: Prez Gomar, G. (coord.) (2012). Impactos del Plan Ceibal en las prcticas de enseanza
en las aulas de primaria. Informe final. Montevideo: Centro Ceibal.
11
5. La metodologa de la evaluacin:
Cmo o con qu se evala?
La evaluacin trata de un tipo particular de indagacin que permite emitir un juicio acerca del proyecto
evaluado, para lo cual se requiere de informacin diversa, distintas fuentes y diferentes lgicas.
En muchos casos pueden requerirse datos producidos por organismos oficiales como censos, rele-
vamientos nacionales de escuelas, encuestas nacionales sobre la condicin socioeconmica de los
hogares, para conocer el contexto en el que tiene lugar el proyecto en evaluacin. Este ltimo tipo de
informacin se denomina fuente secundaria y, adems de la informacin que brinda, representa un
parmetro con el que es posible comparar algunas mediciones realizadas en la evaluacin.
Entre las fuentes secundarias de mayor uso se encuentran los censos, las encuestas de hogares para
medir el nivel socioeconmico, nivel de pobreza, necesidades bsicas insatisfechas, condicin laboral,
nivel educativo o sanitario de la poblacin, e incluso datos de tenencia de bienes como computadoras
o conectividad a Internet en los hogares. Asimismo, los resultados agrupados de las pruebas estanda-
rizadas de rendimiento escolar pueden ser datos de contexto relevantes en el marco de una evaluacin.
El tipo de informacin a utilizar puede responder a lgicas distintas, es decir, se podra requerir infor-
macin para comprender un tema o para medir un fenmeno.
La comprensin involucra una lgica cualitativa, de descubrimiento, un tipo de dato blando, de mayor
subjetividad, que se va construyendo por medio de un dilogo.
Este tipo de indagacin tiene tambin una dimensin explicativa donde se puede indagar acerca de las
razones profundas de las opiniones.
12
En sntesis, la indagacin cualitativa representa una lgica de descubrimiento, donde la propia
tcnica habilita un espacio de intercambio activo entre el entrevistador y el entrevistado
que puede hacer aflorar nuevas ideas. Permite conocer percepciones, motivaciones, razones
profundas, y se obtiene en general de documentos y a travs de las tcnicas de entrevistas
y grupos focales.
Es comn que se requiera medir alguna actividad o respuesta. Por ejemplo, puede ser necesario saber
cuntos docentes conocen el proyecto, cuntos tienen computadora en sus hogares, o cuntos han
utilizado computadoras para dar sus clases antes del comienzo del proyecto de capacitacin docente
en TIC. Otro ejemplo sera: si se planea organizar espacios de capacitacin, conocer cuntos docentes
estaran interesados en participar y en qu temas vinculados a TIC.
Cuando se trata de conocer la magnitud o el peso de las opiniones o comportamientos se est ante
una lgica cuantitativa que requiere medir un fenmeno, donde el conteo, la cantidad, la exactitud,
brindar un dato de tipo duro, de mayor objetividad, que permitir a su vez dimensionar a futuro los
resultados logrados.
Estos actores podrn ser destinatarios o beneficiarios directos, indirectos, o estar abocados a la ges-
tin y/o ejecucin del proyecto. La decisin de a quines consultar siempre estar vinculada a los
objetivos del proyecto de evaluacin.
Al momento de decidir quines sern los actores consultados para recoger la informacin que requiere
la evaluacin, es importante distinguir claramente la unidad de anlisis, es decir, a quin o a qu va diri-
gido el proyecto, o sobre quines o sobre qu se espera generar informacin. Por ejemplo, si se trata de
un proyecto que promueve el acceso a la computadora del alumnado de una institucin, los alumnos
sern los beneficiarios directos y podra considerarse a sus familias y a los docentes como beneficia-
rios indirectos de esta intervencin. En este sentido, tanto los beneficiarios como los participantes de
la gestin del proyecto y otros actores del Estado o la comunidad pueden convertirse en informantes
clave para la evaluacin.
Una vez definida la unidad de anlisis, se debe decidir quines sern las unidades de informacin, es
decir, aquellos actores o informantes cuya opinin resulte calificada para comprender el desempeo
del proyecto.
13
El nmero de casos depender del tipo de informacin que se requiere. Si se trata de informacin cua-
litativa, sern pocos casos los requeridos, y si se trata de informacin cuantitativa, se deber pensar
un nmero amplio de casos para lo cual, lo ms probable, es que se requiera realizar una muestra, es
decir, seleccionar una parte de la poblacin a evaluar.
Es importante que todos los actores involucrados estn representados en la muestra. El siguiente es-
quema organiza posibles niveles donde se pueden ubicar actores vinculados al proyecto y que se re-
quiera consultar.
Las muestras cualitativas son las que se hacen, por ejemplo, cuando se requiere abordar una tcnica
de entrevista. Dado que no se espera generalizar los resultados, en el abordaje cualitativo las muestras
se caracterizan por su flexibilidad, pudiendo variar tanto el tipo de entrevistados como la cantidad de
casos. En este tipo de muestras, la eleccin de los casos no depende de la probabilidad, por lo cual se
propone una muestra inicial que se la deber ir revisando durante el desarrollo de la evaluacin, para
redefinirlas en caso de que sea necesario.
Las muestras cuantitativas pueden ser probabilsticas o no probabilsticas. Las muestras no probabi-
lsticas son usadas cuando no se busca generalizar los resultados al universo de estudio. Ahora bien,
cuando s es necesario que los resultados puedan ser proyectados o considerados como si todo el
universo de estudio hubiera respondido, es necesario efectuar una muestra probabilstica.
Se considera que una muestra es probabilstica cuando todos los elementos que conforman el uni-
verso de estudio tienen la misma probabilidad de ser seleccionados para participar en la muestra. Es
decir, si se espera seleccionar una muestra de todos los alumnos de una institucin, no debera quedar
afuera ningn grado.
14
La cantidad de casos incluidos puede tener mucha variacin, desde unos pocos hasta cientos. En ge-
neral, la informacin cualitativa o no cuantificable trata con muestras pequeas, que pueden variar
segn la cantidad de informantes que se requiere indagar. Por ejemplo, se trata de un estudio en tres
escuelas y se espera hacer entrevistas con supervisores y directores. Si el supervisor es el mismo para
las tres escuelas y hay un director por escuela, habr que efectuar cuatro entrevistas. El nmero de
casos, entonces, depender del tipo de informacin que se requiera. Si se trata de informacin cualita-
tiva, sern pocos casos los requeridos; y si se trata de informacin cuantitativa, el nmero de casos en
general ser mayor, incluso puede ser tan amplio que se requiera aplicar una tcnica de muestreo. Lo
importante ser contemplar las voces de quienes estn involucrados en el proyecto.
La seleccin de los indicadores es una de las tareas fundamentales en una evaluacin. Los indicadores
se construyen. Tcnicamente se trata de variables empricas. En tanto variables, representan concep-
tos: su condicin emprica refiere a que estos conceptos se pueden medir. En sntesis, los indicadores
son rasgos o caractersticas que se pueden observar o medir para comprender y explicar las dimensio-
nes o variables ms complejas involucradas en el fenmeno a evaluar.
Las dimensiones son grandes temas o ejes conceptuales que permiten sintetizar conjuntos de indica-
dores. Los indicadores se construyen a travs de un proceso deductivo llamado operacionalizacin,
haciendo ms concretos y aprehensibles las dimensiones o variables de mayor complejidad.
Como ejemplos de dimensiones o grandes temas se podran considerar algunos como los que se listan
a continuacin:
Caractersticas de la institucin
Fortalecimiento de la gestin educativa
Ambiente TIC en la escuela
Apropiacin institucional de las TIC
Capacitacin y desarrollo profesional de los docentes
Apropiacin de las TIC por los docentes
Apropiacin pedaggico-didctica de las TIC en las prcticas educativas cotidianas
Vnculo de los alumnos con el uso de TIC en el mbito escolar
Impacto social
Aspectos ticos y legales
Al leer estos conceptos, se observa una dificultad para comprender rpidamente qu se est consi-
derando en cada dimensin. Resultan demasiado abstractos para comprender qu es lo que se ha de
medir. En la prctica, esta dificultad est indicando que el concepto requiere ser definido y operacio-
nalizado para que pueda ser efectivamente relevado o medido.
15
A continuacin, se presenta una breve descripcin de algunas de estas dimensiones. El contenido da-
ra cuenta de los aspectos que se podran involucrar en cada una de ellas. Tngase en cuenta que se
trata de ejemplificar y que tanto las dimensiones en juego como su descripcin debern ser elaboradas
especialmente en el marco de la evaluacin que se est realizando.
Caractersticas de la institucin
Hace referencia a aspectos vinculados con el mbito en que funciona la institucin educativa (urbano
o rural), el sector de gestin (estatal o privado), el nivel (primario o secundario), la modalidad (comn
o especial), la orientacin (artstica, ciencias sociales, administracin, etc.), el tipo de jornada (simple
o completa), la cantidad de docentes, la matrcula escolar, entre otras. Esta informacin permitir
contextualizar aquella que se vincula especficamente con los proyectos de inclusin de TIC en la ins-
titucin educativa.
En relacin, con el alcance educativo y pedaggico a travs de esta dimensin se espera conocer las
modalidades de incorporacin de TIC en el currculo (bsico, transversal, integral), y la flexibilidad y
adaptabilidad del plan estratgico y el currculo para los contextos particulares de las escuelas.
En cuanto a las condiciones de sostenibilidad de las acciones, se incluye en esta dimensin todas
aquellas acciones que permitan garantizar las condiciones de mantenimiento de la infraestructura edi-
licia y del mobiliario; proteccin de las instalaciones, equipos e informacin contra robos o daos; as
como los planes de actualizacin de software y hardware, atendiendo al deterioro de los componentes
que puedan sufrir por su uso o por la desactualizacin tecnolgica.
Tambin involucra la conectividad y otros dispositivos electrnicos que puedan dar soporte a las din-
micas del aula como: pizarras digitales, video cmaras, cmaras fotogrficas digitales, reproductor de
DVD, scanner, impresoras, etc.).
Se espera relevar tipos de capacitacin, considerando cursos, talleres, seminarios y cursos breves para
docentes en servicio y fuera de servicio, bajo modalidades presenciales y virtuales, con y sin certifica-
cin; cules son las organizaciones o instituciones donde asistieron a estas capacitaciones; las horas
empleadas y las temticas (alfabetizacin digital, ofimtica, recursos multimedia, diseo grfico, soft-
ware educativo, responsabilidad y seguridad en TIC, gestin educativa, entre otros).
Asimismo prev conocer las destrezas de los maestros en relacin a los principales usos que le dan
a las TIC en el mbito escolar, considerando qu tipo de dispositivos tecnolgicos usan (radiograba-
dores, pizarras digitales, multifuncin, TV, reproductores de DVD, PC, notebooks, cmaras digitales y
otros), la frecuencia de uso dentro y fuera del aula, el tipo y frecuencia de uso de Internet (chat, email,
foros, produccin de hipertextos, produccin de blogs, fotologs, wikis, acceso a buscadores, enciclo-
pedias virtuales, bibliotecas digitales, portales educativos).
En relacin con las prcticas, esta dimensin abarca un amplio espectro de indicadores: desde el pla-
neamiento y diseo de ambientes de aprendizaje con TIC para el desarrollo curricular, la posibilidad de
transitar un aprendizaje con el uso de TIC para la enseanza del currculo, la utilizacin de las TIC en la
preparacin de material didctico de apoyo a las clases y la evaluacin de los resultados obtenidos en
el diseo, implementacin y uso de estas tecnologas para la mejorar los aprendizajes.
Se puede considerar el registro de la incidencia de docentes que utilizan TIC en sus materias, al menos
una vez por semana y el volumen de horas semanales destinadas al uso de las TIC para el dictado de
materias como Lenguaje, Matemtica, Ciencias Sociales y Naturales, Arte e Idiomas.
17
Se procurara aqu, establecer un mapa que permita conocer qu tipo de uso le dan los maestros a la
computadora (planificacin, preparacin de clases, seguimiento de los alumnos, comunicacin con
alumnos, padres, otros docentes), qu software utilizan (calculadora o planillas de clculo, bsqueda
de informacin, juegos educativos, creacin o edicin de fotos o sonidos, procesador de texto, progra-
ma de dibujo, etc.), las horas dedicadas a diferentes tipos de tareas (bsqueda de informacin, desa-
rrollo de textos y documentos, desarrollo de recursos multimedia, descarga de documentos o libros,
uso de software educativos, utilizacin de juegos educativos o no, trabajos colaborativos entre pares,
publicaciones, intercambio y difusin de producciones).
Asimismo, se espera que aporte informacin sobre el tipo de dinmicas mayormente desarrolladas en
clase con TIC (expositiva vs. participativa) y la modalidad de trabajo (consignas individuales vs grupa-
les; consignas abiertas vs. cerradas).
Se espera tambin conocer las posibilidades del trabajo con TIC para desarrollar capacidades de in-
vestigacin en los alumnos a travs de la formulacin y verificacin de hiptesis, anlisis y capacidad
de abstraccin.
Esta dimensin tambin incluye aquellos comportamientos asociados al trabajo colaborativo entre
alumnos y su participacin en iniciativas para el uso de las TIC con fines educativos, como concursos,
encuentros, festivales.
Impacto social
Aborda el tema de la extensin de los programas de inclusin de TIC en el mbito escolar hacia las fa-
milias y la comunidad. Se incluyen como indicadores en esta dimensin, la cantidad de computadoras
disponibles para el acceso y uso de las familias, la oferta de espacios de capacitacin o sensibilizacin
de las familias respecto al uso de las TIC en la escuela, etc.
Es aconsejable dejar registrado este proceso en una matriz de indicadores o matriz de evaluacin. El
siguiente cuadro muestra un ejemplo de cmo se podra operacionalizar la dimensin que se ha de-
nominado Ambiente TIC en la escuela. Los indicadores que se presentan en el siguiente cuadro son a
18
modo de ejemplo. Ser en el marco de la evaluacin cuando se podrn describir los indicadores que
mejor se ajusten a los objetivos previstos.
Cobertura del Cantidad de computadoras disponibles por tipo (PC con y sin
equipamiento informtico placas de red, netbooks, dispositivos WI-FI) por tipo de uso y lugar
de instalacin.
19
Variables o
Dimensin Indicadores
sub-dimensiones
Una vez que han sido definidos los indicadores a medir, se debern elegir las tcnicas que se utilizarn
para recoger la informacin. Pueden ser diversas y en la mayor parte de las evaluaciones se utilizan
tcnicas mixtas, es decir, diferentes tcnicas y diferentes fuentes de informacin.
Los instrumentos de medicin dan cuenta del conjunto de indicadores que permitirn alcanzar los ob-
jetivos especficos de la propuesta de evaluacin. En este sentido, la decisin de cul ser este conjun-
to de indicadores resulta muy importante. Esto es an ms importante cuando se trata de instrumen-
tos cuantificables, ya que en general son indagaciones altamente estructuradas, y una vez aplicado el
cuestionario ya no hay posibilidades de modificarlo.
20
Las preguntas de un instrumento surgen a partir de los indicadores seleccionados e incluidos en la
matriz de evaluacin.
Uno de los desafos importantes al momento del desarrollo de un cuestionario es que las preguntas no
excedan los objetivos de la evaluacin. En ocasiones aparece una tendencia a querer formular pregun-
tas interesantes pero fuera de estos objetivos. Estos agregados representan un gasto de recursos inne-
cesarios. En el intento de sumar informacin se puede estar perdiendo compromiso en las respuestas
y precisin en el dato.
Tanto la tcnica de entrevista y como la del grupo focal se han descripto brevemente como un tipo
de abordaje cualitativo que permite profundizar y conocer percepciones, motivaciones, valoraciones,
expectativas y razones profundas acerca de distintos temas.
En el documento Entrevistas en profundidad: gua y pautas para su desarrollo se presentan en detalle las
caractersticas de la tcnica de entrevista y en Grupos focales: gua y pautas para su desarrollo las de
grupo focal. En ambos casos, con guas de pautas que permitirn llevar adelante la indagacin propuesta.
Los ejemplos planteados persiguen el objetivo de conocer la opinin de directivos y maestros sobre la
inclusin de TIC en la escuela.
La tcnica de encuesta
En general, las encuestas se realizan a partir de instrumentos altamente estructurados. Esto implica un
desarrollo terico importante en el diseo y seleccin de indicadores.
21
Una vez construida la matriz de evaluacin y seleccionados los indicadores se procede a la confeccin
del cuestionario, al que tambin puede darse el nombre de formulario o protocolo.
Este documento tiene en general una estructura de bloques: encabezado, preguntas de clasificacin,
preguntas de indagacin sobre el tema de estudio.
Preguntas de indagacin Tratan del bloque ms extenso del cuestionario y est integrado por todas
las preguntas que refieren al estudio.
I. Tipos de preguntas
El tipo de pregunta que se incluir en el cuestionario depender del grado de libertad que sea necesario
otorgarle a los entrevistados para responder y del nivel de profundizacin que requiere el dato que se
est intentando construir.
A| De respuesta abierta:
Se da total libertad al entrevistado para que responda su opinin. Si la encuesta es aplicada por
un encuestador, ste debe registrar la respuesta del entrevistado con la mayor profundidad posi-
ble, dentro de un contexto cuantitativo, y de forma absolutamente textual.
Ejemplo:
22
En la pregunta anterior, se espera obtener un texto con la opinin del respondente.
Desventajas:
Variabilidad en la claridad de las respuestas. El nivel de profundidad depender de la
capacidad del entrevistado de expresarse con claridad y/o de la capacidad de la persona
que toma los datos de indagar y para escribir rpido y de forma exacta.
Insumen mucho tiempo durante la entrevista.
Insumen mucho tiempo para su posterior tabulacin y anlisis.
B| De respuesta cerrada:
Ejemplo:
Dicotmicas: Son aquellas preguntas que admiten dos posibles opciones de respuesta.
23
Ejemplo:
1. S
2. No (Pase a preg.3.8)
Ejemplo:
3.7.1. Indique las frases que mejor reflejan las caractersticas del laboratorio de informtica:
(Mltiple, puede marcar ms de una opcin)
Son preguntas donde siempre se demanda al respondente una eleccin nica y excluyente.
Las escalas se usan preferentemente para medir actitudes, representaciones, estilos y preferen-
cias; estados mentales de los individuos que estructuran la forma en la que perciben su medio.
Se asigna a cada categora de la escala un puntaje o valor. La opinin general sobre el tema sur-
gir del promedio de los valores asignados a cada categora.
Las escalas pueden contener una cantidad par o impar de categoras. La diferencia crucial es que
las impares incluyen un punto neutro de opinin. Esta alternativa es interesante en la medida que
se diferencia de la opcin Ns/Nc (no sabe / no contesta): no es lo mismo no responder por
desconocimiento que mostrar una actitud de indiferencia en relacin a determinados atributos.
En general, el rango de opinin puede oscilar entre 5, 7 y 10 categoras. Las escalas ms largas,
de 7/10 posiciones permiten captar ms matices y resultan ms sensibles cuando las respuestas
tienden a ser ms homogneas.
24
Distintas alternativas o modelos de escalas:
Pueden ser:
Unipolares: presentan un continuum que va acentundose en una sola direccin.
Bipolares: presentan dos extremos de sentido opuesto y un punto neutro en el centro.
Escala de evaluacin global: se utiliza sobre todo al inicio de la parte nodal de los cuestionarios
para captar una evaluacin general fuerte y espontnea del objeto a evaluar.
Ejemplo:
5. Excelente
4. Muy bueno
3. Bueno
2. Regular
1. Malo
Ejemplo:
5. Muy satisfecho
4. Bastante satisfecho
3. Satisfecho
2. Poco satisfecho
1. Nada satisfecho
Escala de comparacin: se utiliza para comparar situaciones en relacin a estados previos medir
cambios en el tiempo o para evaluar comparativamente proyectos, organizaciones, roles, etc.
Ejemplo:
5. Muy superior
4. Superior
3. Ni superior ni inferior
2. Inferior
1. Muy inferior
Escala de suma constante: requiere que los entrevistados distribuyan un nmero fijo de puntos
(generalmente 100) para reflejar la preferencia o importancia relativa de distintos elementos.
Sirven para rankear elementos dentro de un conjunto. Es una metodologa ms apta para utilizar
entre respondentes con un nivel de instruccin medio o superior.
25
Ejemplo:
A continuacin se presenta una lista de cualidades que se pueden tener en cuenta para elegir un colegio
para los nios.
Srvase dividir 100 puntos entre las siguientes caractersticas que se pueden tener en cuenta al elegir
una escuela. La divisin que Ud. haga reflejar la importancia relativa que cada aspecto tiene para Ud.
en la seleccin de la escuela.
Escala de inters: es muy til como pregunta de cierre en cuestionarios en los que se pretende
evaluar la expectativa de futuro en relacin al inters global frente a una idea o propuesta nueva.
Ejemplo:
48. Pensando en que tuviera la posibilidad de trabajar con esta propuesta La utilizara en el aula
para trabajar con los alumnos? (ADMITE UNA SOLA OPCIN)
1. S, seguramente lo utilizara
2. S, probablemente lo utilizara
3. No lo s
4. No, probablemente no la utilizara
5. No, seguramente no la utilizara
Escala de Likert para medir opiniones o representaciones: es un procedimiento muy til para
medir actitudes en distintos terrenos.
Consiste en formular una serie de proposiciones cuidadosamente seleccionadas, que son presen-
tadas a los respondentes para indicar su nivel de acuerdo o desacuerdo. Se asigna un valor num-
26
rico a cada una de las categoras de respuesta -3 -2 -1 0 +1 +2 +3, segn el sentido, desfavorable
y favorable. Un acuerdo con una proposicin resultar en un +3 y un desacuerdo absoluto un -3.
Ejemplo:
3 Totalmente de acuerdo
2 Bastante de acuerdo
1 Algo de acuerdo
0 Ni de acuerdo ni en desacuerdo
-1 Algo en desacuerdo
-2 Bastante de acuerdo
-3 Totalmente en desacuerdo
Esta escala resulta til para construir perfiles o la imagen asociada a una institucin, persona, rol
o proyecto.
Curiosos 1 2 3 4 5 6 7 Apticos
Extrovertidos 1 2 3 4 5 6 7 Introvertidos
Sensibles 1 2 3 4 5 6 7 Indiferentes
InterEsADOS por
la comunidad 1 2 3 4 5 6 7 IndiferenTES por la comunidad
No conflictivos 1 2 3 4 5 6 7 Conflictivos
27
II. La redaccin de las preguntas
El vocabulario debe ser sencillo, directo y familiar para todos los entrevistados. El desafo consiste
en redactar preguntas que puedan ser fcilmente comprendidas tanto en su formulacin/redaccin
como en los mecanismos de respuesta por todos los entrevistados, independientemente de su nivel
de educacin. No incluir tecnicismos.
Las palabras no pueden tener un significado vago o ambiguo. Un error frecuente consiste en no dar
al entrevistado un punto de referencia claro u objetivo en cuanto a tiempo o espacio.
Palabras tales como frecuentemente, usualmente y ocasionalmente no dan una referencia clara de tiempo
y cada entrevistado las leer a su manera, de acuerdo a su experiencia. Es preferible indicar en los
ltimos 30 das, en los ltimos dos meses.
Algunas palabras tienen muchas interpretaciones y es importante dar al respondente un marco claro
y concreto sobre a lo que se refieren. Por ejemplo: preguntar por los ingresos puede referirse, al salario
por hora, por da, por mes; se puede considerar slo el sueldo del que ms gana en la casa o todos los
ingresos de la familia.
Evitar las preguntas de doble efecto: el respondente puede estar de acuerdo con una parte de la pre-
gunta pero no con la otra. Por ejemplo: Planea retirar a su hijo de la escuela a la que concurre y buscar
otra institucin durante el ao siguiente? Ante una respuesta positiva, a qu estara respondiendo?
En trminos ideales, un cuestionario debe ser fluido, manteniendo un orden y una secuencia lgica que
facilite su respuesta.
Las preguntas sensibles que tratan de cuestiones personales u opiniones que pueden resultar de difcil
respuesta deben ubicarse preferentemente al final de los cuestionarios, en el momento en el que el
entrevistado ya ha entendido el sentido de la indagacin y ha adquirido confianza.
Hay que asegurarse de controlar el sesgo de ordenamiento: la posibilidad de que las preguntas influyan
en las respuestas de las preguntas subsecuentes. Por ejemplo: preguntar globalmente al inicio, dismi-
nuye el sesgo de cambio de enfoque por exposicin al tema.
28
Los primeros proyectos de cuestionarios suelen ser demasiado largos, a menudo exceden las variables
importantes y estn sujetos a todos los peligros de preguntas ambiguas, mal definidas. El objetivo de
esta prueba consiste en identificar y corregir tales deficiencias.
29
6. Evaluacin de los aprendizajes
En general, la preocupacin por el aprendizaje de los alumnos ocupa un lugar central en los proceso de
evaluacin que se desarrollan en el mbito educativo. En algunos casos este tema se aborda en forma
directa, pero en muchos otros se lo trata como parte de una problemtica ms amplia entendida como
la calidad de la educacin, en la medida en que sta contribuye a la mejora del ncleo de las acciones
pedaggicas: ensear y aprender.
Los proyectos de integracin de TIC en la escuela no escapan a esta cuestin y generalmente incluyen
entre sus objetivos el generar transformaciones en las prcticas escolares que tengan incidencia en el
quehacer de los docentes y en el aprendizaje de los alumnos.
No obstante esta recurrencia, el aprendizaje de los alumnos es uno de los aspectos sobre los cuales es
ms complejo generar evidencia emprica, ya que no se trata de un proceso simple ni lineal sino que,
por el contrario, es un proceso absolutamente mediado por un amplio conjunto de factores que inciden
en ste. En este sentido, la evaluacin de los aprendizajes es uno de los procesos ms complejos de
llevar a cabo y a la vez una de las prcticas ms desarrolladas, al menos parcialmente, como parte del
trabajo escolar.
Qu se evala?
El primero de los interrogantes que se plantea es: qu tipo de aprendizaje es el que se quiere evaluar, o
dicho de otro modo, sobre qu tipo de saberes se busca que las TIC tengan efecto. La investigacin y la
bibliografa desarrollada (Claro, 2010; ETS, 2002; Severin, 2010; Sunkel, 2010) dan cuenta de al menos
cuatro grupos diferentes de aprendizajes, o aspectos vinculados con los aprendizajes, que pueden ser
evaluados como parte de los efectos de los programas de inclusin de TIC:
30
A| Logros educativos en reas curriculares
Por lo general, el modo en que habitualmente se da cuenta de las mejoras en el rendimiento de los
alumnos es mediante la evaluacin de determinadas reas curriculares (Lengua, Matemtica, Ciencias,
por mencionar algunos ejemplos). Si bien esto genera ciertas controversias respecto de la seleccin de
ciertas reas y no otras, y de ciertos contenidos al interior de cada rea disciplinar y no otros, consti-
tuye un procedimiento habitual que se realiza con cierta sistematicidad, tanto en la labor cotidiana de
los docentes como a travs de pruebas estandarizadas de orden nacional y/o internacional.
A la hora de evaluar las TIC, este tipo de evaluacin asume la hiptesis de que el trabajo de los alum-
nos con la tecnologa contribuye a mejorar el rendimiento en reas curriculares, por lo que si se realiza
una evaluacin en Lengua o Matemtica y se observa una mejora, sta podra ser atribuida al tipo de
cambio en las estrategias de enseanza que favorecen las TIC. Esta relacin entre la incorporacin de
TIC y el rendimiento en determinadas reas disciplinares constituye de acuerdo con algunos autores
el principal objetivo de la escuela. Sin embargo, hay otros autores (Funkhouser, 2002) que plantean
que si se observaran mejores resultados esto no necesariamente podra suponer que gracias a las TIC
se trabaja de un modo distinto en el aula, favoreciendo mejores resultados, sino a que hay estrategias
que (con o sin la ayuda de las TIC) el docente puede estar desarrollando de un modo distinto.
En todos los casos, y tal como ser desarrollado posteriormente, hay distintos tipos de pruebas que pue-
den realizarse: en distinto formato (de lpiz y papel, o en la computadora), administradas desde un nivel
central (Ministerio o la propia escuela para todas las divisiones de un mismo ao, o en un grupo de aos)
o bien diseadas por el propio docente (como una evaluacin de las que habitualmente realiza en el aula).
B| Competencias
En este caso, ya no se prioriza un rea disciplinar en particular sino que lo que se pretende lograr a
travs del trabajo con las TIC, y por ende evaluar, es si lo alumnos adquieren determinadas competen-
cias. Por lo general, se hace referencia a un conjunto de competencias o habilidades que se han dado
a conocer como competencias del siglo XXI. Se considera que el uso de las TIC requiere otro tipo de
habilidades de orden superior, vinculadas con un uso reflexivo y creativo de las herramientas, en donde
se ponen en juego por ejemplo, la alfabetizacin digital, la gestin de la informacin, la comunicacin,
el trabajo en grupos, la iniciativa, la conciencia global, el compromiso cvico y la resolucin de proble-
mas. De este modo, el logro educativo en TIC se entiende como un rea de aprendizaje en s mismo,
asumiendo que hay ciertos saberes que van ms all de las reas curriculares y que contienen una
serie de competencias o habilidades que es posible transferir a otros contextos.
1 Esta definicin es equivalente a la formulada por ETS: ICT literacy is using digital technology communications tools, and/or networks to
access, manage, integrate, evaluate, and create information in order to function in a knowledge society.
32
Cmo se evalan los aprendizajes?
El segundo de los interrogantes se encuentra asociado al modo en que es posible evaluar el aprendi-
zaje de los alumnos. Al respecto tambin es posible diferenciar distintos tipos de tcnicas e instru-
mentos que, obviamente, estarn sujetos al modo en que sea definido el tipo de objeto a evaluar (el
tipo aprendizaje sobre el que se pretende incidir).
Se utilizan algunas tcnicas de indagacin de uso corriente y general en evaluacin, como por ejemplo la
observacin, cuyos instrumentos estn especializados y adaptados para evaluacin de los aprendizajes,
y otras como las tcnicas de comprobacin (pruebas) que son especficamente elaboradas con este fin.
De actuacin
Informes Abiertos
Guiados
Entrevistas Abiertas
Guiadas
Otros Portafolios
El uso de pruebas como instrumento para la comprobacin de los resultados de aprendizaje es una
prctica totalmente extendida en el mbito escolar, pero qu sucede cuando se trata de valorar
aprendizajes vinculados con la integracin de TIC? En algunos casos, se recurre a instrumentos de
lpiz y papel como se usan habitualmente y en otros se procura la inclusin, por ejemplo, de ejercicios
de comprensin de textos a partir de la lectura online o bien, mediante la resolucin de problemas
utilizando la computadora, siempre en procura de explorar la relacin entre la inclusin de las TIC en
el trabajo escolar y la mejora del desempeo de los alumnos en las diferentes reas disciplinarias.
Un modo de evaluar las competencias es el propuesto por el estudio internacional ICILS (International
Computer And Information Literacy Study)2, que procura evaluar lo que se ha dado en llamar alfabe-
tizacin asociada al uso de la computadora y al manejo de informacin (Computer and Information
Literacy). Este concepto es definido como la capacidad de los individuos de utilizar la computadora para
investigar, crear y comunicarse, de modo de participar efectivamente en el hogar, la escuela, el lugar de
2 Este estudio se encuentra en desarrollo y tiene previsto ser administrado en el 2012 (prueba piloto) y 2013 (aplicacin definitiva). Para
mayor informacin: www.acer.edu.au/research/projects/the-international-computer-and-information-literacy-study-icils/
33
trabajo y la comunidad. Este estudio contempla el desarrollo de tems como los que habitualmente se
utilizan en las pruebas estandarizadas (multiple choice o de produccin) utilizando la computadora, as
como tambin simulaciones en software de aplicaciones genricas de la computadora (cortar y pegar
texto, buscar cierta informacin en la web) y finalmente se introducen tems en donde los alumnos de-
bern modificar y crear productos utilizando aplicaciones tales como wikis, blogs, entre otros.
Por ltimo, es posible tambin medir algunas de estas competencias mediante rbricas especialmente
construidas para tal fin, que permitan dar cuenta de quines son los alumnos que utilizan la tecnologa,
el modo en que la misma es utilizada y el tipo de recursos utilizados para la enseanza.3
En la evaluacin de las destrezas de manejo funcional tambin se utilizan las pruebas; en este caso, las
pruebas de actuacin. Por ejemplo, muchos colegios bilinges cuentan con el examen de Cambridge
IGCSE ICT4. En este tipo de certificaciones se miden, fundamentalmente, destrezas tales como el uso
del procesador de textos, la creacin de presentaciones, el uso buscadores en la Web, y la utilizacin
de e-mail y hojas de clculo.
Escalas de observacin
Promedio semanal de horas dedicadas a tareas y trabajos escolares que son desarrollados con
apoyo de TIC.
Tiempo semanal de uso promedio que los estudiantes hacen de las TIC en trabajo fuera de la es-
cuela, segn tipo de actividad:
A| buscar y seleccionar informacin
B| desarrollar textos y documentos
C| desarrollar recursos multimedia
D| colaborar con pares
E| publicar y comunicarse
F| retroalimentar el trabajo
3 Para mayores referencias: Intel & Rockman et al. (2007). Full set of one to one evaluation toolkit. Recuperado de fttp://download.intel.
com/education/EvidenceOfImpact/EvaluationResourceDocuments/5_One_to_One_Computing_Evaluation_Toolkit/FullSet_of_One-to-
One_Evaluation_Toolkit.pdf
4 Cambridge International Examinations. Cambridge IGCSE ICT. Recuperado de
www.cie.org.uk/qualifications/academic/middlesec/igcse/subject?assdef_id=969
5 El listado de indicadores propuesto por el BID (Severin, op.cit.) considera los siguientes dominios: a) Infraestructura, b) Contenidos, c)
Recursos Humanos, d) Gestin, y e) Polticas, en funcin de distintos grados de maduracin: Emergencia, Aplicacin, Integracin y Trans-
formacin. Esta categorizacin de escenarios tambin est presente en el documento CETF ICT Digital Literacy Initiative Consensus Docu-
ment November, 2008 y fue extrada originalmente de Anderson, J, & Weert, T (2002). Information and communication technology in
education. A curriculum for schools and programme of teacher development.
34
Proporcin de los estudiantes que declara que las TIC son un apoyo a sus estudios escolares.
Proporcin de estudiantes usuarios del proyecto, que declara que sus clases son ms interesantes
desde que el profesor utiliza TIC para apoyar su quehacer, por rea geogrfica, tipo de colegio y ciclo
de enseanza.
Cuestionarios de auto-informe
Las encuestas tambin son un instrumento habitualmente utilizado para indagar la auto-percepcin
de destrezas o confianza en el uso de ciertas aplicaciones, por parte de los estudiantes. Por ejemplo,
a nivel internacional, PISA (The Program for International Student Assessment) pregunta a los estu-
diantes cun bien pueden realizar determinadas tareas, las que agrupa como tareas relacionadas a
Internet y tareas complejas o de alto-nivel. UNESCO tambin desarroll una encuesta que consulta a
los estudiantes sobre su nivel de destrezas en diversas aplicaciones (Claro, op.cit.).
Registros de observacin
Portafolios
Los portafolios, como sus sinnimos cartera o lbum lo indican, remiten al lugar fsico donde se puede
reunir una coleccin de objetos de diferente entidad. Como estrategia de evaluacin, el portafolios
constituye una herramienta de trabajo habitual en las escuelas y pueden ser utilizados con propsitos
de evaluacin o exposicin de las producciones de los alumnos (Klenowski, 2005).
35
7. Anlisis de la informacin:
Cmo se aplica, analiza y presenta la informacin?
El momento del anlisis ha sido descripto por algunos autores como el momento de soledad del
evaluador. Una vez recabada la informacin luego de las visitas en terreno, una vez ledo el material
documental, contabilizadas las cifras y repasadas las notas en las entrevistas es el momento en el
que se intenta dar respuesta a la pregunta que motiv la evaluacin. Esto es, sintetizar la cuantiosa
informacin que por diferentes vas o fuentes describe y explica lo visto, escuchado o conocido sobre
la situacin a evaluar (Nirenberg, 2008).
Esto requiere sacar conclusiones y emitir juicios sobre: Cmo se estn haciendo las actividades? Se
observan resultados positivos? Cules son las dificultades? Cules son las fortalezas?
La pregunta sobre cmo sern analizados los datos depende de la clase de informacin recolectada.
Se utilizarn estrategias diferentes segn el tipo de informacin. Por ejemplo, las entrevistas y grupos
focales sern analizados a travs de mtodos cualitativos. El producto de la aplicacin de esas tcnicas
es un texto con opiniones de los entrevistados. Analizar estos relatos requiere en principio la transcrip-
cin, lectura detenida y por ltimo, la categorizacin de las respuestas. En contraste, la informacin
proveniente de las encuestas ser analizada a travs de estadsticas descriptivas.
Independientemente del tipo de informacin que se obtenga, la gua principal del anlisis siempre ser
determinada por las preguntas de evaluacin. Es recomendable planear los procedimientos de anlisis
seleccionando los que sean ms productivos y econmicos en funcin de las metas de la evaluacin.
Cuando se han utilizado encuestas con preguntas cerradas para relevar la informacin, la primera tarea
es ordenar la informacin en matrices. Si se aplicaron cuestionarios con preguntas abiertas, entrevistas,
observaciones, etc., se requiere encontrar principios ordenadores de la informacin. Este procedimiento
consiste en la clasificacin de la informacin en unidades de sentido, asignacin de etiquetas a las
expresiones de manera de clasificar lo expresado/observado, y ordenarlo en tablas. Estas unidades de
significado deben responder al objetivo de la evaluacin y por lo tanto a la matriz de evaluacin. Las
primeras tareas que se presentan entonces son, la categorizacin, codificacin y tabulacin.
36
La categorizacin y codificacin
Codificacin significa asignar un rtulo (cdigo) a un registro. Existen tres posibilidades: se puede pre-
codificar la informacin a recolectar en una encuesta, o se puede pos-codificar. Es posible que las res-
puestas de los informantes no sean ni pre-codificables ni pos-codificables. En este caso, se registrar
textualmente la informacin original suministrada por el informante (Borsotti, 2006).
La pos-codificacin consiste en asignar un rtulo o etiqueta a la informacin en bruto, es decir tal como
ha sido capturada en el campo. Una vez que la informacin ha sido recolectada, el primer paso es con-
feccionar el listado total de respuestas por pregunta, o de un extracto de las mismas segn el tamao
de la muestra. Luego se comienza el proceso de agrupacin de las respuestas en funcin de los criterios
del evaluador y el marco terico que lo orienta. Este proceso debe observar una serie de reglas:
que sean mutuamente excluyentes, o sea, que ninguna unidad de anlisis est ubicada
en dos categoras a la vez
que sean inclusivas, esto es, que no queden unidades de anlisis que no estn incluidas
en alguna categora
En un estudio de evaluacin del Plan Ceibal, que es el programa de inclusin digital en Uruguay6, se
indag acerca de los problemas que se presentan a raz de la incorporacin de computadoras port-
tiles en el aula. Uno de los aspectos que se analiz en la evaluacin fue la incidencia de los factores
tcnicos en el proceso de apropiacin de la computadora por parte de los maestros. En las entrevistas,
los docentes expresaron lo siguiente:
6 Prez Gomar, G. Ravela, P. (2012). Impactos del Plan Ceibal en las prcticas de enseanza en las aulas de primaria, Universidad Catlica,
Universidad de Albany.
37
La mayor traba somos nosotros los docentes que nos resistimos Resistencia
al cambio. Los nios lo aceptaron rpido, lo entendieron rpido, al cambio
por parte de
andan ms rpido que nosotros ()
los docentes
(Maestra, escuela 6).
() es un gran desafo trabajar con ellas, porque te exige tiempo de Falta de tiempo
investigar y de buscar ayuda para saber cmo trabajar las distintas
actividades, aprender para qu sirve tal recurso
(Maestra, escuela 2).
Ellos trabajan con la XO, pero hay muchas cosas, por ejemplo de
Escribir, que ni siquiera las conocen y hay que estar dndoselas.
Parece sorprendente, porque ellos tendran que dominar eso mucho Conocimientos
ms que yo que soy bastante limitada y sin embargo, no, porque ellos tcnicos insuficientes
la usan para jugar. Ellos en realidad no tienen un conocimiento de
lo que es la informtica ms que para un chateo, para el Facebook
(Maestra, escuela 14).
Me falta la batera, tengo que esperar a que venga el del LATU Problemas de
para que me la cambie o me repare. Me falta el cargador, tengo que servicio de soporte
recorrer todos los Abitab () para que me la den. Se rompe la XO, la
tengo que mandar, demora veinte das (Maestra, escuela 13).
38
A partir de la lectura de las expresiones de los docentes, se busc identificar los tipos de problemas a
los que se referan los maestros (subrayados en verde). Se discriminaron categoras, es decir, se distin-
guieron las alternativas que presentaban las variables, y se les asign una etiqueta a cada una. Este es
el proceso de categorizacin y codificacin de las variables en estudio. El cdigo puede ser un nmero,
una letra, o como en este caso, una expresin.
Los autores de esta evaluacin llegaron a la conclusin de que las dificultades de inclusin de la com-
putadora en el aula se distribuyen en las siguientes categoras: resistencia al cambio, falta de tiempo,
falta de capacitacin, falta de conocimientos tcnicos, dificultades tcnicas y problemas en la provi-
sin de soporte tcnico.
Luego, reunieron estas categoras en tres conjuntos de sentido: competencias TIC de los docentes,
limitaciones propias de los docentes y limitaciones tcnicas que presenta la mquina.
Tomado de Prez Gomar, G. Ravela, P. (2012) Impactos del Plan Ceibal en las prcticas de enseanza en las aulas
de primaria (p.75). Universidad Catlica, Universidad de Albany.
Una vez obtenidas las categoras de sentido que ordenan, agrupan y sintetizan la informacin obtenida
se inicia la tarea de organizar y contabilizar la informacin para obtener una visin de conjunto (en
caso de que la informacin pueda ser cuantificable).
El ordenamiento de los datos comienza generalmente por la construccin de un cuadro de doble en-
trada (matriz de dos ejes): uno para cada una de los sujetos consultados (unidades informantes) y otro
para cada una de las variables en estudio. Este tipo de cuadros es llamado Matriz de datos y el tipo de
procedimiento que supone (tabulado de datos) es lo que se denomina obtencin de frecuencias sim-
ples y sus correspondientes porcentajes, que arrojan el primer panorama de la informacin obtenida.
La frecuencia simple se refiere a cuntas veces aparecen los valores de cada variable en estudio. Por
ejemplo, si se estudian las caractersticas de un grupo de nios y una de las variables considerada es el
sexo, la frecuencia simple refiere al conteo de mujeres y varones que se encuentran en el grupo.
Por ejemplo, en el caso de una de las variables del estudio sobre el Plan Ceibal, Disponibilidad de tiempo
para la implementacin de TIC en el aula, se define una columna para cada categora de esta variable y
se consigna el valor que asume para cada unidad informante: Suficiente, Regular, Insuficiente, como se
muestra en la tabla que figura a continuacin.
39
Docentes Disponibilidad de tiempo para la implementacin
entrevistados de TIC en el aula
Suficiente Moderado Insuficiente
Sujeto A X
Sujeto B X
Sujeto C X
Sujeto D X
Elaboracin propia sobre datos del informe Prez Gomar, G. Ravela, P. (op.cit.).
A partir del conteo de los datos se podra concluir, por ejemplo, que 60 docentes dicen disponer de
tiempo suficiente para la implementacin de TIC en el aula.
Esta informacin podra resumirse en un cuadro como el siguiente, con una distribucin de frecuencias
simples en el que se muestra el tiempo que expresan los distintos actores consultados (los valores no
responden a los datos reales del estudio).
Docentes 60 45 15 120
Directores 10 5 1 16
Total 70 50 16 136
Para profundizar el anlisis sera posible introducir variables adicionales que permitiran indagar si el
desempeo de los sujetos fue distinto segn alguna caracterstica adicional. Por ejemplo, se podra su-
poner que la edad de los docentes y directores puede ser un factor influyente en la cantidad de tiempo
que necesitan para la inclusin de TIC en el aula.
Entre 25 y 30 40 2 0 45
Entre 35 y 40 20 3 3 23
Entre 45 y 50 5 10 3 18
Entre 55 y 60 5 10 5 20
65 y ms 0 25 5 30
Total 70 50 16 136
Veamos todo el recorrido del proceso de tabulado desde la obtencin del dato en bruto, tomando un
ejemplo de la evaluacin del Plan Ceibal. En el estudio se realizaron 184 observaciones de clases, en
las que se tomaron registros de lo que suceda en el aula con respecto a la inclusin TIC. Se registraron
un total de 197 problemas. A continuacin, se reproducen algunos de esos registros:
40
"cinco nios no tienen su XO. Nos revisan y corrigen tareas Cantidad
anteriores en sus cuadernos, otro participan de la tarea de los insuficiente de
computadoras
compaeros (maestre escuela 28)
"un alumno dice: maestra no carga Internet (la maestra no Falta de conectividad
contesta, no lo soluciona)" (maestra escuela 20)
Estas observaciones fueron categorizadas en: falta de conectividad, cantidad insuficiente de computado-
ras, dificultades en el uso del programa, descarga de batera, se trancan. Se contabiliz la cantidad de veces
que se produca cada una de estas situaciones y se obtuvieron porcentajes sobre el total. La informa-
cin procesada se tabul de la siguiente manera:
41
Problema en el trabajo con la computadora
Falta de conectividad 12 6%
Se trancan 41 21%
Podemos decir que segn este estudio el problema ms frecuente que se observ en la inclusin de
TIC en el aula fue la cantidad insuficiente de computadoras. Es decir, el 35 % de los consultados sea-
laron este problema.
Una vez que trabajamos con los datos obtenidos, categorizando las preguntas abiertas y ordenado la
informacin en planillas, resulta fundamental resumir la informacin para poder comprender su signi-
ficado. Para ello, se utilizan las denominadas medidas de sntesis que permiten simplificar la lectura de
una gran cantidad de informacin.
Como observamos en el cuadro anterior, una de las medidas de sntesis de uso regular son los porcen-
tajes, que adems de permitir observar un panorama general de los datos obtenidos, facilita la compa-
racin con otros conjuntos de datos provenientes de otra poblacin, como comparar las mediciones en
dos escuelas sobre un mismo aspecto: opinin de los docentes sobre la implementacin de un programa.
Con el fin de avanzar en el anlisis, se cuenta tambin con unas medidas estadsticas, llamadas de
tendencia central, que permiten obtener una idea rpida de cmo son los datos (Kelmansky, 2009).
La informacin que se obtiene facilita la toma de decisiones sobre el rumbo del proyecto o programa
que se est evaluando. Ellas son: el promedio, la mediana, el modo.
42
Grupo A - Promedio de 4 aos de prcticas en informtica
1, 4, 1, 6, 4, 6, 4, 5, 4, 5
En el primer grupo nos encontramos con un valor mnimo de un ao y otro de cinco aos
En el segundo grupo encontramos personas que no tienen estudios en informtica y otros
que tienen ms de 10 aos de estudios en informtica.
Obviamente a pesar de tener un promedio igual, la variacin entre el mximo y el mnimo
nos llevar a utilizar tecnologas pedaggicas diferentes en ambos grupos
La mediana es el valor que se ubica en el punto central de los datos. Se calcula ordenando los datos de
menor a mayor y aquel valor que divide exactamente la mitad a las unidades de anlisis en la mediana.
Es una medida til para evitar el sesgo de casos extremos.
Veamos un ejemplo:
Un grupo de estudiantes ha obtenido las siguientes calificaciones en los exmenes de matemtica de
fin de trimestre, "considerando una escala de 10 puntos donde el lmite inferior para la aprobacin es 4":
4, 2, 8, 9, 4, 7, 3, 8, 3, 4, 9, 3, 10
Si obtenemos el promedio, el resultado es 5,6.
Sin embargo, si obtenemos la mediana el valor que se obtiene es 4, lo cual significa que el 50% de la
distribucin est por debajo de un rendimiento aceptable.
2, 3, 3, 3, 4, 4, 4, 7, 8, 8, 9, 9, 10
El modo es aquel valor en que la concentracin de tems es ms frecuente. La categora que presenta
mayor cantidad de unidades de anlisis. En nuestro ejemplo el modo es 3. Es decir, la calificacin
ms frecuente en este grupo es desaprobado. Esta informacin orientar seguramente nuestra labor
como docente en forma muy distinta de lo que hubiramos realizado si slo contramos con el pro-
medio del grupo.
Se presenta aqu un ejemplo de aplicacin de medidas de tendencia central, en este caso el promedio.
En el marco de un programa de inclusin digital en Chile, y con el objeto de conocer el nivel de conoci-
mientos TIC de los profesores, se realiz un estudio sobre buenas prcticas7. Para ello, se realiz una
consulta a 16 profesores sobre el nivel de desempeo que ellos crean poseer en el uso de distintas
herramientas y procesos informticos. Se indag acerca de su conocimiento en el manejo del correo
7 Estudio sobre buenas prcticas pedaggicas con uso de TICs al interior del Aula. Informe Final. Ministerio de Educacin. Gobierno de
Chile. Enlaces. Centro de Educacin y Tecnologa, Universidad de Chile, octubre, Santiago de Chile. pp60
43
electrnico, la navegacin por Internet, el uso de procesadores de texto, planillas de clculo y otras
habilidades asociadas.
El instrumento que se aplic para relevar la informacin es el que se muestra en el siguiente grfico.
Tomado de Estudio sobre buenas prcticas pedaggicas con uso de TIC al interior del Aula. Informe Final. (op.cit.) p.60.
Una vez procesados los datos, se obtuvo un valor mnimo de 14 y un mximo de 33, la mayora de los
profesores se agruparon en los puntajes superiores, con un promedio (media) general de 26 puntos.
Tal como se observa a continuacin:
44
Problema en el trabajo con la computadora N porcentaje
Avanzado 11 68.8
Experto 3 18.8
Total 16 100.0
Fragmento tomado de Estudio sobre buenas prcticas pedaggicas con uso de TIC al interior del Aula. Informe Final. (op.cit.) p.61.
Los rangos para cada categora se calcularon segn la amplitud de la escala (9 a 36 puntos), divididos en
4 categoras (27: 4). Estas categoras son: conocimiento nulo (9 a 15,7 puntos), bsico (15,8 a 22,5, pun-
tos), avanzado (22,6 a 29,3 puntos) y experto (29,4 a 36 puntos). De acuerdo a estas categoras, slo dos
profesores manifestaron un conocimiento nulo o bsico en las distintas herramientas TIC, 11 presentaron
un conocimiento avanzado y 3 conocimiento experto.
La lectura de este cuadro permite observar que la mayora de los profesores presentaron un conoci-
miento avanzado y que en segundo lugar, se ubic el grupo con conocimiento experto. Es decir, al analizar
en detalle cmo se distribuyen los datos, pudo observarse que el promedio obtenido describe con bas-
tante fidelidad el nivel de conocimientos de los profesores: en general, todos poseen buen desempeo.
A veces, cuando trabajamos con un abordaje puramente cualitativo no es posible o no interesa cuan-
tificar la informacin que obtenemos en campo, ya sea porque el nmero de casos es muy pequeo o
porque lo que interesa ms es comprender el fenmeno en profundidad. Frente a estas circunstancias,
puede no resultar tan importante saber cuntas personas presentan ciertas caractersticas, como s
realizar una descripcin pormenorizada de aquello que se estudia. La evaluacin en este caso se orienta
a la bsqueda de significados, ms que la descripcin de generalizaciones estadsticas.
Las tareas de anlisis, comienzan con la organizacin de la informacin que se registr por escrito,
en videos, a travs de grabaciones y a partir de diferentes instrumentos (entrevistas en profundidad,
diferente tipo de registros, observaciones, etc.), adems de la formulacin de categoras que permitan
clasificar la informacin. Estas tareas suelen ser anticipadas, a partir de las preguntas de evaluacin
que se presentan al momento del diseo del instrumento, o al momento de definir los conceptos gua
que orientan la indagacin.
En general, cuando hay predominio de la utilizacin de los mtodos cualitativos no existe un lmite
muy preciso entre la indagacin de campo y el anlisis de los datos, sino que este proceso se va produ-
ciendo en forma paralela. Estas categoras, al inicio, sern ms o menos amplias y se irn modificando
a medida que se realizan el anlisis as como los conceptos y preguntas gua de la indagacin. La
evaluacin cualitativa resulta de carcter ms abierto y adaptable a la realidad (Gmez Serra, 2004).
45
cuestin. De este modo, durante el proceso de indagacin surgen nuevas categoras que antes no ha-
ban sido pensadas por el evaluador. Con frecuencia, durante la instancia de anlisis se logran formular
nuevas preguntas de evaluacin o se reformulan las preguntas iniciales. El anlisis da como resultado
tanto descripciones de la situacin como interpretaciones de los sucesos registrados (Briones, 1998).
La triangulacin
La triangulacin es una estrategia que se utiliza muy frecuentemente para buscar una mejor aproxima-
cin al objeto de estudio. Parte de la idea de que cualquier estrategia individual de recoleccin de datos
presenta errores, por lo que la combinacin de estrategias permite corregir algunos de los aspectos
dbiles de la indagacin (Gmez Serra, op.cit.).
La triangulacin es un trmino que originalmente describa cmo los marineros usaban sus destrezas
y la simple trigonometra para localizar su posicin en la tierra. Puede comprenderse como la forma de
usar piezas independientes de informacin para formarse una mejor opinin acerca de algo que slo
se comprenda o se conoca de manera parcial (Ragin, 2007).
Esta tcnica consiste en la aplicacin de distintos abordajes de investigacin a partir de los cuales se ob-
tienen datos complementarios que permitan un abordaje completo y complejo del objeto de estudio, a
fin de lograr el conocimiento ms profundo de un fenmeno, dado a partir de una economa de recursos.
Los resultados de una evaluacin deben ser comunicados a distintos destinatarios con diferente grado
de preparacin. Es importante encontrar una forma de comunicar los resultados para que sean com-
prendidos por las distintas audiencias, independientemente de sus capacidades. En este sentido,
las representaciones grficas cumplen la misin de presentar una imagen que sintetiza de manera
elocuente la informacin que se quiere transmitir. Alguna de las formas de representacin son, por
46
ejemplo, los grficos circulares o de torta y de barras. Estos grficos permiten conocer la distribucin
de los valores de una variable categrica, que podrn ser expresados en cantidades o porcentajes.
Grfico de torta
El grfico de torta se utiliza para representar la distribucin de los valores de una variable categrica.
El crculo representa la totalidad de los datos, cada sector dentro del crculo es el porcentaje de cada
categora de la variable en consideracin (Kelmansky, 2009).
Por ejemplo, en el estudio sobre buenas prcticas pedaggicas se analizan las actitudes de los estu-
diantes a travs del tipo de preguntas que formulan, su estilo de trabajo y disposicin en el aula. Se
observ, en base a 94 registros, que la mayora de las preguntas de los nios se refieren a la consigna
de trabajo de la maestra, en segundo lugar, un 40%, a aspectos tcnicos de uso de la computadora y
slo el 14 % a contenidos temticos.
Las diferencias en la distribucin de las respuestas entre cada categora puede verse en forma muy
clara a travs de un grfico de torta, como se observa a continuacin.
Grfico de barras
Los grficos de barras se utilizan para representar la distribucin de los valores de una variable categ-
rica. Las categoras se disponen en el eje horizontal y la cantidad o porcentajes se distribuyen sobre el
eje vertical. La altura de las barras representa la cantidad de datos para cada una de estas.
Por ejemplo, en un estudio sobre el uso de los portales educativos se propuso como objetivo, conocer
cules son los usos y apropiaciones que le dan los docentes de las escuelas del conurbano e interior de
la provincia de Buenos Aires a las producciones de Educ.ar.
En el informe se utiliza el grafico de barras para visualizar cules son los recursos del portal que resul-
tan ms utilizados por los docentes, en este caso, en nmeros absolutos.
47
Qu secciones del portal utiliza?
Con la utilizacin de porcentajes es posible comparar universos distintos. En el ejemplo se utiliza el gr-
fico de barras para comparar los resultados obtenidos por los alumnos en un pre-test y post-test, a partir
de la implementacin de un programa de informtica educativa para promover una mejora en los apren-
dizajes en las reas de ingls y ciencias de la naturaleza, en seis establecimientos escolares de Chile.
Tomado de MIC (1:1): Modelo de Integracin Curricular con Estrategia 1 a 1. Resultados de la Implementacin. Informe Final. Gobierno de
Chile, Enlaces, Pas Digital, Santiago de Chile, 2009, p.91.
48
8. El informe de evaluacin
Se considera que la evaluacin proporciona herramientas para reflexionar sobre lo actuado, desarrollar
capacidades y obtener un mejor conocimiento de la realidad. En ese marco, el informe de resultados es
el espacio en donde se explicita el juicio valorativo fundamentado y comunicable sobre aquello sobre
lo cual se pretende informar.
Resultara ingenuo asumir que los resultados de una evaluacin sern utilizados de manera directa en
la toma de decisiones, se requiere que el equipo de evaluacin se esfuerce sistemticamente, y desde
el inicio de la evaluacin para promover su aprovechamiento. Esta bsqueda contnua de oportunida-
des para comunicar y promover la reflexin entre los distintos destinatarios debe realizarse tanto al
momento del diseo, como anticipando posibles resultados y discutiendo posibles cursos de accin
a tomar frente a escenarios alternativos, de modo tal de anticipar si el tipo de informacin a proveer
como resultado de la evaluacin resulta pertinente. Las oportunidades de brindar retroalimentacin a
lo largo del proceso de evaluacin requiere un vnculo de respeto y confianza entre el equipo evaluador
y los destinatarios, y a la vez posibilita contar con el aporte de quienes se encuentran ms familiariza-
dos con aquello que ser objeto de evaluacin, lo cual enriquece enormemente el diseo, la realizacin
y los resultados de la evaluacin.
Para el desarrollo de todos los aspectos contenidos en este apartado resulta una referencia significati-
va Los Estndares para la Evaluacin de Programas (1998)1.
1 Con el objeto de ampliar esta referencia se incluye en el anexo la enumeracin completa de los estndares contenidos en este material.
Ms informacin, en www.grade.org.pe/gtee-preal/boletines/Boletin_3_GTEE_PREAL.pdf.
49
Algunos de los aspectos a considerar pueden sistematizarse en la figura que se presenta a continuacin:
Es preciso tener presente que la evaluacin no produce mejoras por s misma ni de manera automtica.
Pero si se busca que los resultados de la evaluacin realizada puedan contribuir a modificar ciertos as-
pectos de la realidad educativa, y que generen algn tipo de cambio a partir de la misma, resulta esencial
que los actores involucrados conozcan y comprendan los resultados de la evaluacin.
De acuerdo con uno de los estndares para la evaluacin de programas, Las evaluaciones deberan
ser planificadas, llevadas a cabo y reportadas, de modo que propicien su seguimiento por parte de los
interesados, para que aumente la probabilidad de que se utilicen sus resultados. Los evaluadores de-
beran ayudar a los interesados a ver los programas evaluados de modos diferentes a como pudieran
hacerlo previamente. Los evaluadores no deberan asumir que las mejoras ocurrirn automticamente
una vez que se complete el informe de evaluacin. (Estndar U.7. Impacto de la evaluacin)
Al pensar en los destinatarios de un informe de evaluacin es importante distinguir tres actores cen-
trales: el que solicita y requiere la evaluacin, que en otros contextos se los identifica como clientes;
los destinarios; y los usuarios o interesados. El cliente es aquel que contrata la evaluacin y por ende, a
quien deben presentarse los resultados obtenidos. Los destinatarios son quienes leen los informes de
evaluacin y pueden utilizar de algn modo los hallazgos. Los usuarios o interesados, quienes reciben
el producto, el programa o la poltica, poniendo en juego sus intereses.
Algunos autores (Rossi, 2004; Scriven, 1991) identifican a los interesados como stakeholders en tanto
se trata de grupos o individuos que tienen intereses directos (a favor o en contra) y pueden verse
afectados por los resultados de la evaluacin. Por ejemplo, podra tratarse de grupos, individuos y or-
ganizaciones con poder de toma de decisiones acerca del programa, tales como fundadores, sponsors,
50
administradores, personal, clientes o incluso la propia poblacin beneficiarias. Los destinatarios son
la poblacin beneficiaria, a quien se dirigen las acciones de evaluacin. Por ejemplo, en una evaluacin
acerca del impacto de un proyecto de alfabetizacin digital en el desempeo de alumnos, los desti-
natarios podran ser los docentes a quienes se les envan los informes de resultados con la intencin
de que lo utilicen como insumo para mejorar sus prcticas, e incluso tambin los alumnos y/o sus fa-
milias, dependiendo del tipo de informe que se realice. En muchos casos, y tal como lo plantea House
(2001), con frecuencia, unos destinatarios son los mismos interesados.
Es por ello, y considerando la existencia de distintos posibles destinatarios (familias, docentes, alum-
nos, equipo directivo, autoridades educativas, opinin pblica, entre otros), reviste particular impor-
tancia la identificacin de quin es el destinatario en cada caso porque de ello dependern distintas
decisiones acerca de la estrategia de devolucin de resultados que se considere ms conveniente.
La identificacin de los destinatarios contribuye a conocer las motivaciones e incentivos que tienen
para tomar decisiones, a partir de los resultados de la evaluacin realizada. Tambin resulta conve-
niente reconocer que los distintos actores tienen objetivos, intereses y puntos de vista particulares
que se ponen en juego al momento de tomar decisiones. El conocimiento de las caractersticas de las
distintas audiencias debiera orientar la definicin acerca de la estrategia de comunicacin a adoptar.
Por ejemplo, algunos destinatarios pueden tener mayor familiaridad que otros con la interpretacin de
datos cuantitativos o con algunos soportes de la informacin (escrito, audiovisual).
La adecuacin del informe a las caractersticas especficas de las audiencias identificadas como desti-
natarios supone una complejidad adicional para el equipo evaluador, en tanto se deber prestar espe-
cial atencin a que esto no vaya en detrimento de la transparencia de los resultados de la evaluacin,
ante eventuales manipulaciones o distorsiones que podran producirse (Tiana Ferrer,1997).
Formatos
El modo en que se presentan los resultados de evaluacin puede utilizar uno o varios formatos. Puede
utilizarse material impreso, audiovisual, digital (blogs, redes sociales), entre otros, dependiendo de las
caractersticas de los destinatarios.
Un primer aspecto central a tener en cuenta, es la necesidad de incluir toda la informacin que se con-
sidere relevante para los destinatarios identificados. A su vez, el informe debe ser claro y conciso. Esta
claridad hace referencia al discurso, los ejemplos y las descripciones que deben ser explcitas y ntidas.
En los Estndares para la Evaluacin de Programas se sugiere complementar los informes escritos con
comunicacin oral continua y se explicita como estndar de utilidad a la claridad del informe (U.5)
51
haciendo referencia a que los informes de evaluacin deberan describir claramente el programa eva-
luado, incluyendo el contexto y el propsito, procedimientos y resultados de la evaluacin, de modo
que se proporcione informacin esencial y se entienda fcilmente.
En segundo lugar, la concisin remite a la necesidad de evitar la tentacin de incluir en los reportes
toda la informacin. Es muy importante saber seleccionar la informacin ms relevante, teniendo en
cuenta que un informe de gran extensin es probable que no sea ledo en su totalidad, atentando con-
tra las posibilidades de apropiacin y posterior utilizacin de los resultados en la toma de decisiones.
En este sentido, resulta conveniente desarrollar una estrategia de divulgacin en varias etapas con
menor cantidad de informacin que intentar entregar toda la informacin de una sola vez. En sntesis,
con independencia del formato seleccionado, todo informe debe resultar:
La decisin entre presentar la informacin una vez finalizada la totalidad de la evaluacin, o realizar
informes parciales depende, en primer lugar, del propsito de la evaluacin y del diseo de evaluacin
elegido, y en segundo lugar, de las necesidades del cliente y/o destinatario.
Un escenario posible podra ser la evaluacin de un proyecto que ya ha concluido y sobre el que se
quiere hacer una evaluacin de resultados, o bien, una evaluacin de un proyecto en marcha sobre el
cual sus responsables necesitan contar con informacin acerca del avance, con objeto de tomar deci-
siones que permitan mejorar la implementacin.
En los Estndares para la Evaluacin de Programas se establece como pauta Dar cuenta regularmente
de resultados provisionales, sealando cmo pueden ser aplicados por los diferentes interesados. De
este modo, una estrategia habitual para facilitar la apropiacin de los resultados por parte de los desti-
natarios consiste en presentar informes de avance, de modo que exista ms de una instancia de discu-
sin y reflexin acerca del alcance del proyecto evaluado, con mayores probabilidades de que aquello
sobre lo cual se est reportando sea comprendido por quienes se espera tomen decisiones al respecto.
52
Finalmente, y en funcin de los aspectos identificados anteriormente, resulta conveniente establecer
un cronograma claro de instancias de comunicacin de resultados. De este modo, el equipo evaluador
y los destinatarios tendrn en claro cundo y de qu modo conocern los resultados de la evaluacin.
Dependiendo del modo en que se entienda a la evaluacin, el espacio destinado a las recomendacio-
nes ocupar un lugar ms o menos destacado en la estructura del informe de evaluacin. En trminos
generales, hay un acuerdo entre varios autores en que el informe de evaluacin debe considerar2:
Sin embargo, hay autores (Glasman y Nevo, 1988)3 que reconocen que el informe de evaluacin
debe contribuir a la toma de decisiones, por lo que se incluye en primer lugar las recomendaciones
y resultados obtenidos:
53
Recomendaciones principales
Principales resultados
Resultados detallados
- Resultados acerca de cada una de las preguntas de la evaluacin
- Resultados adicionales
R ecomendaciones detalladas
- Recomendaciones para la toma de decisiones especficas
- Recomendaciones especficas acerca de las diversas partes de la actividad evaluada
Este reconocimiento de que la evaluacin no pretende slo conocer sino tambin orientar la accin,
supone una dificultad adicional para el equipo evaluador: la formulacin de recomendaciones razona-
bles, apoyadas en los anlisis realizados y, sobre todo, viables en la situacin concreta en que han de
aplicarse (Tiana Ferrer, 1997).
Es probable que los responsables de tomar de decisiones requieran de algn apoyo por parte del equi-
po evaluador, en caso en que necesiten discutir nuevamente los resultados de la evaluacin realizada y
prevenir una interpretacin errnea de los mismos (por ejemplo, la utilizacin de los resultados fuera
del contexto en el que los mismos fueron producidos, una sobre-generalizacin por mala interpreta-
cin del alcance de la muestra, entre otros).
54
Anexo
Estndares para la evaluacin de programas4
Comit conjunto de estndares para la evaluacin educativa (1998). Estndares para la Evaluacin
de Programas. Bilbao: Ediciones Mensajero.
Cada estndar mencionado incluye tres elementos: una breve descripcin, un conjunto de pautas
para su aplicacin y un conjunto de errores comunes que se cometen en las evaluaciones y que vio-
lan el estndar.
Estndares de UTILIDAD
La evaluacin debe ayudar a las personas o grupos interesados a que stos tengan acceso a las infor-
maciones que necesitan para el desempeo de su actividad. Debe ayudarles a identificar los defectos
y virtudes de lo evaluado y proponer soluciones a fin de mejorar el objeto que se evala.
Estndares de VIABILIDAD
Los procedimientos para llevar a cabo la evaluacin no deben ser excesivamente complicados y s
eficientes. Han de garantizar que la evaluacin se lleve a cabo de un modo realista, prudente y diplo-
mtico, que se hayan ponderado todos los puntos y tenido en cuenta los costes.
Estndares de PROPIEDAD
La evaluacin debe estar basada en compromisos explcitos que aseguren la necesaria cooperacin,
la proteccin de los derechos de las partes implicadas y la honradez de los resultados, adems debe
proporcionar un informe equilibrado que ponga de manifiesto tanto aciertos como errores del objeto
que se evala
4 www.grade.org.pe/gtee-preal/boletines/Boletin_3_GTEE_PREAL.pdf
55
P.1. Orientacin hacia el servicio
P.2. Acuerdos formales
P.3. Derechos de las personas
P.4. Relaciones humanas
P.5. Evaluacin completa y justa
P.6. Revelacin de los resultados
P.7. Conflicto de inters
P.8. Responsabilidad fiscal
Estndares de PRECISIN
El objeto, su evolucin y su contexto deben estar claramente descritos. Han de garantizar que la eva-
luacin presente y transmita las informaciones tcnicas adecuadas referentes al programa objeto de
evaluacin, resaltando tanto los aspectos positivos como negativos
56
Este manual ha sido elaborado con la intencin de brindar apoyo a las iniciativas de evaluacin de los
proyectos de inclusin de TIC en el mbito educativo. Con el objetivo principal de promover y asistir
las acciones de auto-evaluacin, ha pretendido ofrecer una gua prctica para los actores que se invo-
lucran cotidianamente en la tarea de ensear y aprender. Un aprendizaje que se basa en la propia prc-
tica e incorpora las experiencias para orientar y re-orientar el rumbo de la compleja pero ineludible
tarea que supone brindar a los nios, nias y adolescentes las herramientas necesarias para enfrentar
los desafos que impone el mundo actual. Esperamos haber alcanzado nuestro objetivo planteado y los
alentamos a continuar el recorrido iniciado.
/ Equipo de Evaluacin
57
Bibliografa
ANDERSON, J. y WEERT, T. (2002). Information and communication technology in education: A
curriculum for schools and programme of teacher development. Pars: UNESCO. Recuperado de
http://unesdoc.unesco.org/images/0012/001295/129538e.pdf
BRIONES, G. (1998). La investigacin social y educativa Colombia. Bogot: Convenio Andrs Bello.
CETF ICT DIGITAL LITERACY INITIATIVE (2008). Consensus Document. California: ICT Digital
Literacy Assessments and Curriculum Framework. Recuperado de www.ictliteracy.info/rf.pdf/
California%20ICT%20Assessments%20and%20Curriculum%20Framework.pdf
CLARO, M. (2010). Documento de proyecto: Impacto de las TIC en los aprendizajes de los estudiantes.
Estado del arte. Comisin Econmica para Amrica Latina y el Caribe (CEPAL). Divisin de Desarrollo
Social. Recuperado de www.eclac.org/publicaciones/xml/7/40947/dp-impacto-TICs-aprendizaje.pdf
CLARO, M.; PREISS, D.; SAN MARTIN, E; VALENZUELA, S y CORTS, F. (2010). Assessment of 21st
Century ICT Skills: Test Design and Results from a Chilean Sample of High School Students. Chile: Pontificia
Universidad Catlica de Chile (CEPPE).
COHEN, E. y FRANCO, R. (1991). Evaluacin de Proyectos Sociales. Mxico D.F.: Ed. Siglo XXI.
GARCA ANDRS, M. (2008). Leer y escribir en la era de Internet. Anlisis y propuestas para la
lectura y escritura en Secundaria. Blitz x Coleccin Bibliotecas Escolares. Serie amarilla. Pamplona:
Departamento de Educacin del Gobierno de Navarra.
HOUSE, E. y HOWE, K. (2001). Valores en evaluacin e investigacin social. Madrid: Ed. Morata.
INTEL & ROCKMAN ET AL. (2007). Full set of one to one evaluation toolkit. Recuperado de
ftp://download.intel.com/education/EvidenceOfImpact/EvaluationResourceDocuments/5_One_to_
One_Computing_Evaluation_Toolkit/FullSet_of_One-to-One_Evaluation_Toolkit.pdf
INTERNATIONAL ICT LITERACY PANEL (2007). Digital transformation . A Framework for ICT Literacy.
USA: Educational Testing Service.
LUGO, M. y KELLY, V. (2011). La matriz TIC. Una herramienta para planificar las Tecnologas de la
Informacin y Comunicacin en las instituciones educativas. Buenos Aires: IIPE UNESCO. Recuperado
de www.iipe-buenosaires.org.ar
59
MINISTERIO DE EDUCACIN DE CHILE (2008). Estudio sobre buenas prcticas pedaggicas con uso
de Tics al interior del Aula Informe Final. Santiago de Chile: Gobierno de Chile. Enlaces. Centro
de Educacin y Tecnologa., Universidad de Chile.
MINISTERIO DE EDUCACIN DE CHILE (2009). MIC (1:1) Modelo de Integracin Curricular con
estrategia 1 a 1.Resultados de la Implementacin Informe Final. Santiago de Chile: Gobierno de Chile.
Enlaces. Pas Digital.
NIRENBERG, O.; BRAWERMAN, J. y RUIZ, V. (2003). Evaluar para la transformacin, Buenos Aires: Paids.
PREZ GOMAR, G. RAVELA, P. (2012). Impactos del Plan Ceibal en las prcticas de enseanza en las
aulas de primaria. Montevideo: Universidad Catlica y Universidad de Albany.
SUNKEL, G. (2010). Las TIC para la educacin en Amrica Latina. Presentacin realizada en el Congreso
Iberoamericano de Educacin realizado en Buenos Aires entre el 13 y 15 de septiembre 2010.
60