MASTER INFORMACION Y COMUNICACION EN LA SOCIEDAD DEL CONOCIMIENTO.

Asignatura: METODOLOGIA DE INVESTIGACION

TAREA
Proyecto de Investigación
Proyecto de Evaluación de una
Intervención:
“Programa E-XXI. Enseñanza Digital
en 1º ESO”

Imagen: histeriaxlastics.blogspot.com

Alumna: Pilar Borraz Rozas

Curso 2012/2013.

1
 Proyecto de Evaluación de la intervención del Programa: E-XXI

INDICE
I.MARCO DEL DISEÑO DEL PROYECTO
Justificación
1 .Presentación

2. A la búsqueda de la coherencia en la estructura del proyecto.

 PREGUNTA DE INVESTIGACION
 AMBITO. MARCO Y NIVEL
 OBJETIVOS: PRIMARIOS Y SECUNDARIOS´
 HIPOTESIS
 TIPO DE INFORMACION NECESARIA
 FUENTES DE VERIFICACION
 LA METODOLOGIA. PROCEDIMIENTOS Y TECNICAS
2.1. Cuadro Resumen

3. La Evaluación en Modelos de proyectos: Herramientas EML y IAP

3.1 El enfoque del Marco Lógico (EML) Evaluación por Objetivos. Aportaciones de la
IAP
 EML
 Los contextos: controlados y conocidos
 Niveles de Planificación: plan,programa,proyecto
 Planificación y objetivos
 La matriz de planificación del proyecto en la evaluación: MPP
 Los Instrumentos en las fases del proyecto del EML
 Instrumentos para la Evaluación de la Intervención: El Informe final

II.LA EVALUACION DE LA INTERVENCION: PROYECTO E-XXI

4. Diseño metodológico en la producción de los datos: El Muestreo

4.1. Muestra no probabilística. Tamaño y representatividad
4.2 Datos de la muestra

2
5. Métodos de la Evaluación: Análisis de fuentes Secundarias de Datos

5.1 Técnicas e Instrumento preferentes de la evaluación (del EML y IAP): Análisis de

Fuentes secundarias de datos.
 Análisis de datos secundarios
 Tipología documentos fuentes secundarias
 Criterios utilización
 Ficha de Evaluación
 Cuadro Resumen del proceso
5.2. La Comisión Seguimiento y la participación en la Evaluación

6. Bases para evaluación de la Intervención de programas y proyectos.

6.1. Concepto y modelo de Evaluación: aproximación conceptual.

6.2. Evaluación como proceso
6.3. Los contextos
6.4. El diseño de la Evaluación en el proyecto EXXI
6.5. Criterios y Tipos de Evaluación.
 Evaluación simple antes y después
 La Evaluación según el propósito o agente evaluador
6.5. El modelo de EML

7. Diseño de la Evaluación
7.1. Justificación metodológica
7.2. Evaluador externo/interno
7.3. Aproximación formal al diseño

8. Etapas de la evaluación. Técnicas y documentos de Evaluación

8.1. Evaluación, Etapa y Técnicas y análisis Documental

8.2. Etapas
1. Identificación: Evaluación de los Contextos:
o Profesorado: capacitación en TICs
o Alumnado: datos del curriculum
o Institución convocante: Planes y programas similares
o Centros educativos participantes:
 Dotación de medios materiales
 Organización y recursos humanos
 Contexto social: nivel socio económico de las familias
2. Formulación del proyecto: La convocatoria del proyecto
3. Ejecución: Informe de Seguimiento
4. Resultados: Informe final. Informe de Evaluación

3
9. Aspectos organizativos:
9.1. Temporalización. Cronograma de actividades
9.2. Presupuesto. Medios y Recursos necesarios
9.3. Composición del Equipo de Investigación

10. Conclusiones

BIBLIOGRAFIA. WEBGRAFIA

ANEXOS:
o ANEXO I:CONVOCATORIA PROYECTO E-XXI (BORM)

4
 MASTER INFORMACION Y COMUNICACION EN LA SOCIEDAD DEL CONOCIMIENTO.
METODOLOGIA DE INVESTIGACION. TAREA: Proyecto de Investigación
Alumna: Pilar Borraz Rozas

“La
enseñanza
digital”
Tema del Proyecto: Evaluación de la
Intervención del Proyecto E-XXI

PREGUNTA DE INVESTIGACIÓN:
¿Cómo se lleva a cabo la enseñanza por medios
digitales en 1º de E.S.O?
¿Qué Tipología de actividades, qué metodología; qué recursos, medios
y plataformas digitales son utilizados, y que resultados se obtienen?

5
 “todas las investigaciones sociales se basan en la capacidad humana para
participar en la observación. Actuamos en el mundo social y entonces
estamos preparados para reflexionar sobre nosotros mismos y nuestras
acciones como objetos en su mundo. Sin embargo, más que hacernos dudar
acerca de si la investigación produce o no conocimiento, o sobre su
transformación en una empresa política, para nosotros esta reflexividad
proporciona la base para una indagación lógica reconstruida que une, más
que separa, al positivismo y al naturalismo.”
Martín Mammeersley y Paul Atkinson. Etnografía: Métodos de
investigación. Pág-36. Paidós. 1995, Barcelona.

I-MARCO DEL DISEÑO DEL PROYECTO

 Justificación

Me siento especialmente interesada como docente por saber como se puede llevar a cabo la
enseñanza por medios exclusiva o preferentemente virtual y digital. Estoy convencida de que
el curriculum escolar puede y debería desarrollarse de un modo más acorde con los intereses
del alumnado y con los recursos de la sociedad de la Información y el conocimiento. Al conocer
la convocatoria de este programa pensé que este era el tema sobre el que me gustaría
investigar porque considero que saber cómo se usan las TICs es el paso previo para poder
realizar otro tipo de investigación más centrada en las ventajas y comparaciones de una
enseñanza digital frente a otros modelos que no utilicen medios digitales. En este documento
presento la parte visible del resultado, porque es evidente que lo que he aprendido y conocido
al prepararlo ha sido de mucho mas alcance.

Siguiendo el documento de la convocatoria oficial del proyecto, las orientaciones del profesor
Viedma sobre mi borrador de proyecto y el marco teórico de los libros básicos de la asignatura,
he intentado anticipar qué información necesitaría y que métodos de recolección y análisis de
datos utilizaría para hacer la evaluación que pretendo. No tengo experiencia investigadora y
las dificultades de estructura, concreción del proyecto y decisiones acerca del tipo de diseño
metodológico a emplear, han sido obstáculos importantes pero espero finalmente haber
logrado presentar una base coherente para la posible Evaluación de la intervención real.

Este Proyecto de evaluación está enmarcado en un Proyecto de Investigación de mayor

amplitud sobre la Evaluación del Programa Institucional que correspondería al trabajo FDM.
Supone por tanto, el inicio de un camino para recoger datos encaminados a evaluar las
posibles ventajas y características de la enseñanza exclusivamente digital frente a la
tradicional con libros de texto en papel y metodologías fundamentalmente transmisivas a
nivel oral.

6
 Titulo:
Proyecto de Evaluación de la Intervención del Proyecto enseñanza E-XXI de la
Consejería Educación de la Región de Murcia en alumnado de 1ª E.S.O. con base en las
perspectivas cuantitativa y cualitativa.

1. Presentación del proyecto

Estudio dirigido a conocer y valorar el cumplimiento de los objetivos del Programa
Institucional Proyecto enseñanza EXXI, y a conocer los resultados que se anticipan. El
método central de la investigación es el Análisis de Datos Secundarios con integración de
técnicas y procedimientos tanto de la perspectiva cuantitativa como del enfoque cualitativo.

La propuesta de proyecto se enmarca en una intervención: la puesta en marcha del

Programa E-XXI que dará comienzo el próximo curso escolar 2013/2014. El objetivo de
este proyecto es diseñar una posible evaluación de intervención, así como los
contextos para ponerla en marcha y los resultados previsibles.
Se plantea en principio un proceso inductivo (de lo particular a lo general) por lo que
para que el error de muestreo sea el menor posible, utilizaré las fuentes secundarias
de la institución promotora del Programa E-XXI: Web Consejería de Educación y las
de los beneficiarios directos, que son Los Institutos participantes, ya que la
información producida será de mayor fiabilidad que la que pudiera llevar una sola
persona puesto que presupongo que disponen de los medios personales y técnicos
necesarios para ello.
Se trata pues de un estudio de enfoque cuantitativo basado fundamentalmente en el
análisis de la información recopilada por los procedimientos diseñados por la
Institución educativa que ejecuta el programa, que también utiliza procedimientos y
técnicas narrativos propios de la perspectiva cualitativa.
Considero que los dos paradigmas tienen presencia en este estudio: Por un lado, el
paradigma cualitativo, porque se pretende comprender motivaciones y expectativas
de las personas –alumnado, profesorado y familias-, a nivel micro. Por otra parte es
necesario un análisis de tipo homogeneizador y de carácter objetivo que permita la
posible generalización de los resultados y la posible ampliación del programa en
próximos cursos escolares, y es la perspectiva cuantitativa, quien nos permite este tipo
de estudio.1
Por otro lado, es necesario señalar que la investigación parte de conceptos y variables
de los que no se tienen datos en la Región, por lo que seria recomendable hacer una

1
La diferencia es que el método cuantitativo es más propio para estudiar los hechos y el cualitativo para lo que
se dice que se hace. ‘No obstante, siguiendo al profesor Ortí, parece acertada la división entre la pertinencia de las
perspectiva cuantitativa cuando se trata de investigar hechos o, al menos, opiniones fácticas (referencias a
comportamientos de los sujetos *…+) y la pertinencia de la perspectiva cualitativa cuando se trata de investigar
motivaciones, representaciones y, en general, aquellos objetivos cuya principal manera de manifestarse es a través del discurso de la gente’.
(Callejo Gallego y Viedma Rojas 2006) Pág. 102

7
exploración y contraste de los mismos con estudios similares si los hubiera o pudiera
accederse a ellos.

2. A LA BUSQUEDA DE COHERENCIA EN LA ESTRUCTURA DEL

DISEÑO. APARTADOS A CONSIDERAR:

PREGUNTA DE INVESTIGACIÓN:
¿Cómo se lleva a cabo la enseñanza por medios digitales en 1º de E.S.O?

Marco. Ámbito y nivel:

 1º de ESO
 25 Institutos de Educación Secundaria públicos de la Región de Murcia
 Selección mediante proyectos presentados a Convocatoria Publica
 Proyecto Piloto Enseñanza EXXI

Objetivos:
 Objetivos primarios:
1. Conocer el grado de cumplimiento de los objetivos del proyecto
2. Valorar los resultados del proyecto de Intervención
3. Conocer los contextos y aspectos organizativos de la intervención
4. Examinar los riesgos y/o dificultades de la intervención
5. Analizar la enseñanza con medios digitales en cuanto a la métodos del profesorado
6. Conocer valoración de los beneficiarios directos: alumnado y profesorado
7. Conocer el tipo de recursos digitales utilizados: libros de texto digitales, plataformas
virtuales; equipos y dispositivos electrónicos.

 Objetivos secundarios:
I. Conocer las actividades de enseñanza realizadas
II. Examinar relación entre el curriculum 1º ESO y los objetivos de la
intervención
III. Valorar logro de la(s) competencias básicas (CCBB): competencia
tratamiento Información digital.
IV. Valorar la Alfabetización Mediática/digital en el proceso educativo
V. Conocer los resultados académicos obtenidos en las materias 1ºESO
VI. Recoger información sobre Plataformas Virtuales y aulas virtuales
VII. Conocer los medios de comunicación/información digital con las familias.

Hipótesis:
o La enseñanza mediante soportes digitales y el uso de plataformas virtuales favorece
el aprendizaje y la motivación del alumnado.
o Con la enseñanza digital se utilizan metodologías innovadoras, más flexibles y
adecuadas a la diversidad de alumnado.
o Los profesor@s con preparación tecnológica y motivados por la enseñanza a través de
las TICs. obtienen buenos resultados en la intervención.
o Mediante la enseñanza digital se alcanzan los objetivos del currículo

8
 o La mayor parte de los alumnos/as tienen Ordenador y conexión a Internet en casa
o La enseñanza digital permite gran variedad de actividades de enseñanza, acceso a
distintas fuentes de información y recursos.
o Las familias reciben información académica de sus hij@s y se comunican con el
profesorado por medios digitales.

Tipo de información necesaria :

 Características de los contextos y del ambiente del proyecto
 Sobre el diagnostico de la situación y necesidades previas detectadas
 La presentación oficial Institucional del programa: contenidos y modo de exposición
 Todos los contenidos de la Convocatoria oficial del Programa: fundamentación,
requisitos, criterios de de participación, plazos, métodos y esquemas de evaluación…
 Los objetivos y compromisos que se programan
 Datos sobre los proyectos presentados seleccionados y no seleccionados: valoración y
propuestas de desarrollo
 Actividades realizadas y actividades programadas: comparación y valoración
 Examen de los análisis y datos del Informe de Seguimiento
 Análisis del Informe de Evaluación de Termino medio
 Contenidos, valoraciones y propuestas recogidas en el Informe final
 Documentos analizados y producidos durante todo el proceso
 MPP y Matriz de datos
 Autoevaluaciones y opiniones de los beneficiarios
 Valoraciones y datos de la Memoria e Informes finales
 Documentación y datos para el Informe de Evaluación
 La evaluación institucional: por parte de la consejería Educación y por parte de los
centros participantes.
 Modelos de Proyectos de Evaluación de intervenciones: AECID

Fuentes de Verificación:

 Principalmente los registros de la consejería de Educación del gobierno de Murcia:

o Contenidos públicos sobre el programa y otros programas similares,
accesibles a través de la Web
o Boletín oficial de la Región de Murcia (BORM)
o Portales Institutos Públicos Región de Murcia:
 Webs de los centros participantes: PCC y proyectos uso TICs
o Convocatoria del Programa y Anexos oficiales
 Los documentos e Informes de Seguimiento, Final, de Evaluación y Memorias,
producidos por los distintos actores del programa y por parte del evaluador
externo.
 Programaciones de los Departamentos didácticos
 BOE: Real Decreto Enseñanzas Mínimas ESO y Anexos: Currículo y Competencias
Básicas
 Web AECID

9
 La metodología. Procedimientos y técnicas para alcanzar los objetivos:

 Análisis Secundario y fuentes secundarias de Datos

 “Reanalisis” de los análisis efectuados por los demandantes y beneficiarios
 Interpretación narrativa y cuantitativa de los datos e Informes producidos
 Informes de Evaluación
 Técnicas procedentes de la Investigación Social en la perspectiva educativa: del
EML y de la IAP
 Recogida/recopilación/selección de información de distintas fuentes
 Revisiones de las programaciones y del curriculum
 Selección de los contenidos y objetivos que se relacionan con los objetivos
proyecto
 Reflexión e interpretación de los datos y de la información documental /digital

2.1. Resumen de Objetivos, Información a recoger y Métodos de recolección datos

Objetivos del proyecto Información Metodología

necesaria.
-Los Informes y datos de -Análisis de datos
Objetivos (Objetivos primarios): la evaluación Ex –ante: secundario:
+Características y datos *Recopilar
*Conocer el grado de cumplimiento de del ambiente del documentación
los objetivos del proyecto proyecto: * Análisis del contenido
*Valorar los resultados del proyecto de De los centros de la convocatoria del
Educativos, del Proyecto, de los
Intervención
profesorado, del Informes de
*Conocer los contextos y aspectos alumnado y de las Seguimiento y final o de
organizativos de la intervención familias. Resultados
*Examinar los riesgos y/o dificultades +Información en tres -Reanalizar los datos e
de la intervención ámbitos: informes analizados por
*Analizar la enseñanza con medios +Uso/competencia TICs. la Institución
digitales en cuanto a la metodología del +Dotación de material convocante.
tecnológico y -Cuestionarios
profesorado
conectividad +del uso/frecuencia y
*Recoger opiniones de los +Motivación tipo actividades con
beneficiarios: alumnado, profesorado y -Actividades del TICs.
las familias proyecto: de la gestión y +del tipo de actividades
*Conocer el tipo de recursos digitales del profesorado -Análisis textuales y no
utilizados: -libros de texto digitales, -Actas/Informes textuales
plataformas virtuales; equipos y comisión de -Comparación de lo
Seguimiento. programado y de
dispositivos electrónicos.
-La valoración de los ejecutado
proyectos seleccionados - Análisis descriptivo,
-La contenida en el donde primero
Informe de Seguimiento describiremos los datos
-Los resultados y y posteriormente:
propuestas recogidos en resumen e
el Informe Final interpretación de los
mismos.
-vaciado cuestionarios

10
3. LA EVALUACION EN MODELOS DE PROYECTOS:EML Y IAP

3.1. El enfoque del Marco Lógico (EML) en la Evaluación de Proyectos de

Intervención por Objetivos. Aportaciones de la IAP.

 El enfoque del marco Lógico (EML)

Es la estrategia de planificación del Programa. Es el enfoque mas adecuado para el

desarrollo de proyectos de intervención por objetivos. Se compone de una serie de
métodos, técnicas e instrumentos para intervención sistemática en cada una de las
etapas del ciclo de vida del proyecto diseñado. Este enfoque fue creado para mejorar
las intervenciones en el marco de la cooperación internacional y el desarrollo. La web
de la Agencia Española para la cooperación y el desarrollo tiene abundante
documentación2 al respecto.

 Los contextos en el EML: contextos controlados y contextos conocidos

Son esenciales en el diseño de la Evaluación de la Intervención. En la Matriz de

Planificación del Proyecto (MPP) deben estar diferenciados claramente los dos tipos de
contextos3 que citando a Calleja/Viedma son:

 Espacios conocidos pero no controlados son :

 Los objetivos
 El ambiente externo del Proyecto
 Espacios controlados:
 Las actividades y los resultados programados.

o Importancia de la participación del contexto social: ambiente

externo

En principio, los objetivos de la Intervención se conocen pero son impuestos por la

Institución que convoca el programa, y además, su alcance depende de distintos
factores del contexto social, sobre todo del entorno social donde se ubican los centros
educativos y de las características socioeconómicas de las familias cuyos hij@s son
sujetos sobre quienes recae la intervención.

Siendo conscientes de la importancia de conocer el contexto social del proyecto con el

fin de controlarlo hasta donde sea posible, el EML involucra en la intervención al los
“actores” protagonistas: Los Institutos de Educación Secundaria (ESO) a través de los
mecanismos de participación que establece en la convocatoria del programa, entre
ellos la obligatoriedad de presentar un PROYECTO de trabajo.

2
http://www.aecid.es/es/ última visita 1/6/2013 a los 20,00 h
3
Callejo/Viedma: 2006. Pag.145

11
No es pues una muestra de tipo aleatoria sino que se han seleccionado aquellos
institutos que cumplen unos requisitos respecto a recursos organizativos y materiales,
implicación, motivación y trayectoria en la utilización de medios tecnológicos y
digitales en la enseñanza. No se trata de una muestra en la que están representados
todos los IES de similares característica.

Los beneficiarios directos del proyecto de intervención son los alumnos/as de 1º ESO y
el profesorado que imparta clase a los grupos donde se desarrollen las actividades del
proyecto. Los beneficiarios indirectos son principalmente las familias quienes además
deben asumir una serie de compromisos en cuanto a la adquisición de los recursos
digitales. Otros beneficiarios indirectos son el resto de miembros de la comunidad
educativa: profesorado del Instituto que no imparte clase directamente y otros
alumn@s de ESO de distintos niveles.

Los grupos de no beneficiarios serían el resto de Institutos de la Región a quienes

podría extenderse la experiencia en próximos cursos.

 Niveles de Planificación en EML:

Dado que se emplean frecuentemente, durante la evaluación, se hace necesario
concretar los siguientes términos, los cuales son a veces empleados de forma errónea,
como sinónimos:
o Plan
o Programa
o Planificación
o Proyecto

La Planificación, en el ámbito de la intervención social se refiere al desarrollo de una

actuación que trata de dar a conocer una problemática/actividad desde una
perspectiva amplia, general. La Planificación se lleva a cabo también en otros niveles
superiores como son: los Planes y Programas.
Proyecto: Comparte la misma definición excepto en el enfoque que observa la realidad
social desde una perspectiva mas detallada y concreta. El proyecto se integra como un
resultado dentro de la finalidad general que es establecida en la planificación.
Ambos conceptos re refieren al hecho de anticipar la ejecución de una acción pero con
enfoques de amplitud diferentes. En mi proyecto utilizo también el término programa.

Planificación y objetivos en el EML

La relación de interdependencia entre los distintos niveles es evidente. La diferencia es
que en cada nivel encontramos relaciones causa efecto y formulación de objetivos
jerarquizados según el grado de concreción del nivel. El siguiente cuadro aportado en
por los profesores Callejo y Viedma puede aclarar los conceptos y niveles4:

4
Callejo/Viedma. Pag.142

12
La planificación tiene por lo tanto un sentido: de lo general a lo particular:
 Plan de actuación: Objetivos generales y grandes líneas de actuación
o Programa: Objetivos con mayor grado de concreción para cada línea
 Proyecto de investigación: objetivos con mayor operativizacion
 Ejecución del Proyecto: Intervención.
o Evaluación de la intervención
La Intervención e evaluar se ajusta al momento de la ejecución del proyecto

 La Matriz de Planificación del Proyecto: MPP

La Matriz de Planificación del proyecto es el instrumento más característico5 del MML.
Esta herramienta fue desarrollada debido al interés de la Agencia Internacional de
Desarrollo americana ( USAID) por optimizar el procesamiento de la información de sus
proyectos y llevar a cabo con mejor grado de eficacia su ejecución:

Los rasgos definitorios de este instrumento planificación, son principalmente el

facilitar la toma decisiones. Citando a Calleja/ Viedma6 seguimos su lógica
paralelamente al ciclo del proyecto: “Integra dos lógicas: una de creación y otra de

5
Callejo/Viedma: 2006. Pág. 135
6
Callejo/Viedma: 2006. Pág. 137

13
ejecución” ya que integra tanto el diseño y la formulación como el modo en que se
llevará a cabo el seguimiento:

 En el proceso de creación e identificación, Posibilita conocer la finalidad del

proyecto, su justificación y los agentes implicados.
 En la etapa de ejecución manifiesta la realización de actividades y el control de
los resultados.
 En los procesos de creación y de ejecución clarifica las necesidades de
información que se requieren.
Esta herramienta es de especial utilidad durante todo el proceso de evaluación ya que
posibilita analizar todo el entorno del mismo. Una de las críticas que se hacen al EML,
según Callejo /Viedma es la de su rigidez ya que la necesidad incuestionable de una
estructura de control en el programa, no presupone el control permanente sobre la
planificación. Siguiendo este modelo, la perspectiva evaluatoria que adopto en es te
proyecto de evaluación es de carácter sistémico pues es una característica definitoria
de la intervención social.

Este plan de Evaluación se centra en evaluar una intervención: Proyecto E-XXI de la

Consejería de Educación de Murcia. Este Programa se enmarca en el ámbito de la
planificación diferentes Programas y Planes específicos sobre las TICs en el proceso de
enseñanza y aprendizaje en la Región.
Los fines de los Proyectos para llevar a cabo la enseñanza digital presentados por los
Centros Educativos que desarrollaran el programa, en el marco de la convocatoria
oficial, suponen por tanto el nivel inferior en la planificación.

 Los Instrumentos en las fases del proyecto del EML

Los procedimientos e instrumentos para el control de la ejecución van a ser

elementos claves en la evaluación de la intervención. Se plantean dos tipos de
controles: uno interno enfocado a evaluar los objetivos y otro de carácter mas externo
que se dirige a rendir cuentas a la Institución convocante y a los participantes, del
trabajo realizado y de sus resultados.

Los instrumentos son los PECs y currículos de los centros, Las programaciones
didácticas, los Informes de Seguimiento, el documento oficial del proyecto
formalmente presentado en la Convocatoria de la Consejería de Educación. Otros
documentos objeto del Reanalisis son: el proyecto de actuación presentado por los
distintos centros educativos, y el Informe final/Memoria final. El siguiente cuadro
ilustra las fases y documentos elaborados en el EML7:

7
Callejo/Viedma 2006. Pag.156

14
 Instrumentos para la Evaluación de la Intervención: El Informe final ene l EML

Este es un informe claramente orientado a la Intervención, y como tal, debe estar

elaborado con un grado tal de detalle que se constituye en un instrumento principal
para la evaluación de la misma:

 Evalúa la intervención
 Difunde los resultados obtenidos
 Orienta con las necesarias Propuestas de mejora, futuras intervenciones

La estructura del Informe Final de cuyo “re-análisis” se obtendrán datos para la

redacción del Informe de Evaluación de la Intervención se desarrolla según el modelo
de la UE que proponen Callejo/Viedma8 de acuerdo a los siguientes bloques de
contenidos:

 Información general (temporalizacion, institución convocante, coste...)

 Características grupos objetos de la intervención. Tipo de Intervención.
 Objetivos, resultados y actividades: comparar lo propuesto en EML y lo
efectivamente realizado. Riesgos y dificultades detectadas.
 Detalles documentales: Proceso seguido, tipos de evaluación, Medios
materiales y humanos.
 Aspectos económicos y materiales
 Conclusiones y propuestas.

8
Callejo/Viedma: 2006. Pag,164

15
II. EVALUACION DE INTERVENCION.PROYECTO EXXI

4. Diseño metodológico en la producción datos: El muestreo

La Intervención que se evalúa con este proyecto de enseñanza digital E-XXI presentado
por un organismo oficial -la Consejería de Educación- está basado en la Técnica del
Muestreo, por lo cual se trata de observar a una parte de la población (n) para extraer
información sobre la totalidad (N). La definición de muestreo según Corbetta9:

“Procedimiento por el cual, de un conjunto de unidades que forma el objeto de estudio (la
población), se elige un numero reducido de unidades (muestra aplicando unos criterios
tales que permitan generalizar los resultados obtenidos del estudio de la muestra a toda la
población”

 Población: Todo el alumnado de 1º que se incorporan a la ESO en Los

Institutos Públicos de Educación Secundaria de la Región de Murcia
 Muestra: Alumnado de 25 Institutos
 Procedimiento de selección de la muestra: el tipo de muestra es No
probabilística

4.1. Muestra no probabilística. Tamaño y representatividad

Considero que tanto la técnica como el tamaño y tipo de muestra son adecuados para
la viabilidad del estudio y dada la heterogénea composición y el tamaño de la
población de la región en cuanto a los contextos, uso, integración y dotación de
medios tecnológicos, es una opción que tiene las ventajas de la evaluación por
muestreo:
Reducción costes, menor inversión de tiempo, ventajas organizativas y
posibilidad de estudios de mayor profundidad en el futuro. Tiene también las
limitaciones de una mayor subjetividad pues carece de las garantías de la
muestra probabilística.

El tamaño de la muestra es adecuado para minimizar el error típico de muestreo ya

que el número de alumnado beneficiario es suficiente para obtener fiabilidad en los
resultados y que el proyecto pueda ser viable en términos de costo-beneficio.

Es una muestra no probabilística pues no se ha producido selección aleatoria ni

considero que sea representativa pues NO están representados todos los
centros/alumnado:
 Los que no poseen trayectoria en formación y utilización de TICs
 Los que carecen del equipamiento mínimo
 Los que no estén dispuestos “a tirarse a la piscina” presentando un proyecto y
una propuesta organizativa basada solamente en sus propios medios

9
P.Corbetta: 2010.Pag.272

16
Del total de centros educativos han sido seleccionados aquellos que cumplían unos
requisitos que son distintos a los del total de la población. Por otra parte, aunque la
convocatoria se dirige a N, excluye intencionadamente a una parte de la población,
(n); aquella que no cuenta con las condiciones previas. De este modo, los proyectos
que cada unidad muestral debe presentar ya están enfocados a este ajuste a la
convocatoria y a los objetivos del programa.

Las características del diseño metodológico se enmarcan en el tipo de muestra no

probabilística: Muestreo subjetivo por decisión razonada. Según P. Corbetta10 en este
tipo de diseño, la elección de las unidades de la muestra se elige en función de alguna
de sus características como es el caso del proyecto que evaluó en cuanto a la
trayectoria de utilización de las TICs en la enseñanza por parte de los beneficiarios.
Como vemos, El procedimiento de elección de la muestra de Centros se basa en la
aplicación de criterios racionales, no causales.

 Los datos numéricos de la muestra:

 Total Institutos Educación Secundaria Región Murcia: 103 IES
 Total Centros seleccionados: 25 centros (25%)
 Total alumnado de 1º ESO: 5.600 alumnos/as
 Total alumnado 1º ESO beneficiario del proyecto:
o En cada IES hay dos grupos de promedio: 50 grupos
o una media de 27 alumn@s por grupo: total aproximado: 1.350 alumn@s
25%)
 Total profesorado: un profesor/a por materia da un total de 10 profesor@s que
suponemos imparten clase en los dos grupos de 1º ESO: 250 profesores/as.

Enmarcado en el tiempo es un tipo de investigación que presenta la característica de

los estudios de carácter longitudinal ya que se propone para cuatro años de
duración coincidente con los cuatro cursos de la etapa educativa de la Educación
Secundaria Obligatoria.
Previsiblemente, los beneficiarios directos del proyecto van a ser los mismos
alumnos/as durante este tiempo, pero en la práctica, no será así. Habrá que tener en
cuenta en cada curso escolar y al finalizar el periodo de los cuatro años, todo el
proceso de la intervención referido a:
 Porcentaje de alumnado que no promocione curso
 Alumnado que abandone el sistema educativo
 Alumnado que cambie de itinerario escolar
 Profesorado estable en el proyecto
 Profesorado que se incorpora nuevo cada curso (s)

Será preciso analizar y cuantificar todo este tipo de información con el fin de observar
las variaciones de variables en el tiempo y conferir mayor validez al estudio evaluativo.

10
P.Corbetta: 2010.pags. 288/289

17
Una Observación de interés en este punto:
Para un posible trabajo Fin de Máster, examino la posibilidad de realizar un estudio
cualitativo de Caso concreto en uno de los Institutos seleccionados, seleccionando
una muestra de tamaño reducido contrastando y comparando resultados de distintos
IES y produciendo información de primera mano mediante cuestionarios y entrevistas
estructuradas al profesorado, alumnado y familias implicadas en el Programa.

5. Métodos de la Evaluación: Análisis de Fuentes Secundarias

5.1. Técnicas e Instrumentos preferentes de la evaluación (EML y IAP): Análisis de

Fuentes secundarias de datos.

 Análisis de datos secundarios: Los medios preferentes para la Evaluación de la

Intervención.

Se trata del uso de técnicas basadas en datos que el investigador no ha recopilado, si

no que se los encuentra ya producidos. Esta técnica es el eje principal de la evaluación
de la intervención que planteo en este proyecto. Creo necesario señalar, que la
utilización de fuentes secundarias de datos, sin dejando de reconocer su interés, se
enmarca en una de las tendencias motivo de preocupación de la investigación social
pues es el de la separación entre el momento de producción empírica de los datos y el
de análisis de estos. Por otro lado, tampoco se produce la implicación necesaria entre
el investigador recopilando directamente los datos -o indirectamente a través de los
entrevistadores-. Todo ello se ha mostrado como un hecho que merma la calidad de la
investigación y la validez empírica.

La elección de esta opción se presenta como la mas adecuada a los objetivos que
persigo, y utilizar una serie de documentos informativos y de datos estandarizados de
distinto tipo producidos en este caso por la institución que lleva a cabo la intervención
y cuya finalidad podría no coincidir con la mía como evaluadora aunque en este caso la
finalidad de la intervención y la de la evaluación sí son coincidentes derivado de mi
condición de docente y especialmente motivada por el tema del estudio: Conocer las
posibilidades de la Enseñanza digital para el nivel educativo establecido. Extremo que
habrá que clarificar.

Como ya he señalado, mi rol como investigador es el de observar/analizar lo

producido por otros, la Consejería de Educación (EDUCARM). Sin olvidar ni mucho
menos la necesidad del compromiso personal y profesional que implica esta función.
Siguiendo a Calleja/Viedma, se trata de un observadores de 1º y de 2º orden11

11
Callejo/Viedma: 2006. Pág.3

18
Es preciso señalar que la utilización de fuentes secundarias se enmarcan dentro del
análisis secundario como técnica preferente en la evaluación de intervenciones, pero
que esta es una de las estrategias posibles del análisis secundario que no excluye otras
que en este caso no se dan ya que el programa que se va a llevar a cabo es pionero en
la Región a nivel institucional por lo que no se disponen de datos de otras
investigaciones similares. El esquema aportado en el libro de Callejo/Viedma aclara
esta cuestión12:

En esta propuesta de evaluación que presento se van a utilizar unidades de

información y datos producidos por fuentes institucionales sobre los que no se han
realizado anteriormente ningún tipo de análisis por otros evaluadores.

La tipología documentos para el análisis secundario que van a ser objeto de estudio se
basa en un criterio amplio ya que para alcanzar los objetivos planteados, existe la
necesidad de incluir más material que el meramente estadístico, del cual por otra
parte, no se dispone en este momento del proyecto de intervención, aun en fase de
Identificación y diagnóstico. Coincido en los argumentos de los profesores
Callejo/Viedma cuando afirman que: “la exclusiva concentración en el material
estadístico o cuantitativo aleja de la panorámica un rico material que también podría
ser usado por el investigador”13

12
Callejo/Viedma: 2006. Pág.3
13
Callejo/Viedma: 2006. Pág.7

19
  El siguiente esquema ilustra los tipos de fuentes secundarias que analizaré:

Unidades de información a Mensajes institucionales sobre el

través de la web de la
consejería:
www.educarm.es
Registros numéricos y
documentos estandarizados
programa(EDUCARM):
 Notas de prensa
 Entrevistas al consejero Educación y
responsables programa
 Convocatoria del proyecto
 Resoluciones oficiales relacionadas con la
puesta en marcha del programa.
 Anexos del BORM (Boletín oficial de la Región
de Murcia)
 Datos agregados: sosiodemográficos y
territoriales
Otras fuentes de información y documentos de
distinto tipo:
 Entrevistas con los agentes participantes:
Equipos Directivos y Familias.
 Observación de hechos, comportamientos,
opiniones…de agentes implicados.
Fuentes estadísticas de la Consejería Educación:
 Anexos con datos de los centros seleccionados
 Tablas de valoración numérica de los proyectos
presentados
 Encuestas
 Tablas numéricas de los Informes de Seguimiento
 Censos de la Red de Centros de la Región
 Estadísticas de alumnado 1º ESO curso 12/13

 Criterios de utilización de las fuentes secundarias de datos:

Se han tenido en cuenta los siguientes criterios para el uso de los datos de las fuentes
secundarias que propongo:

 Significado manifiesto y Concreción de los conceptos empleados en las categorías

de los datos.
 Validez de los datos respecto a los conceptos manejados en la propuesta de
evaluación
 La fechas y temporalizacion de los registros y de la publicación de documentos
 Representación de la muestra: población representada.

20
  La Ficha de Evaluación

La Ficha de Evaluación de Fuentes Secundarias es un instrumento de interés en una

primera fase de aproximación al proyecto. No la considero estrictamente necesaria
en mi caso por la coincidencia en cuanto a los objetivos de la investigación de la
institución y los míos propios como evaluadora y por tener confianza en la
fiabilidad de los datos registrados. No obstante, adjunto por ser revelador de la
importancia que tiene en esta técnica la comprobación de la validez y fiabilidad de
los datos, un modelo de ficha muy completo que aportó en el foro una
estudiante14:

Ficha para la evaluación de una fuente secundaria de datos

Nombre / identificación de la fuente

Nombre de la institución que recoge
los datos
Nombre de la institución que elabora
los datos
Grado de especialización en
investigación estadística (Institución)
Descripción de objetivos de la fuente
secundaria
Periodicidad de la fuente secundaria
a)Duración de los b)Fecha de origen a) b) c)
períodos de la periodicidad
c)Grado de
continuidad de la
periodicidad
Fecha del trabajo de campo
Modo de registro de los datos
Control de calidad de los registros
Ámbito territorial
La población
Diseño muestral (representatividad
de los indicadores)
Grado de desegregación (territorial)
Otras cuestiones metodológicas
Variables utilizadas
Matriz de datos en programa
informático (software)
Referencia de la fuente secundaria de
datos

En el proceso seguido para el uso de las fuentes secundarias es preciso destacar las
diferentes posiciones dentro de las etapas de la investigación que presenta este tipo
de análisis:

1º) Análisis realizado con anterioridad a la Intervención: Nos permite la

inmersión en el proyecto de intervención y facilita el diseño metodológico de la
evaluación.

14
Maria Isabel Díaz Guervos:13/03/13 10:33

21
 2º) Análisis dentro del diseño en la etapa inicial de la investigación: Es la base
para ensamblar y comparar los resultados que se van generando.

1º/2º/3º) Análisis de fuentes secundarias como principal técnica durante toda

la intervención: Es la estrategia prioritaria y el sostén fundamental de la
evaluación.

5.2. La Comisión de Seguimiento

Ya he señalado que el modelo de formulación del Proyecto objeto de esta Evaluación,

es el Enfoque de Marco Lógico (EML) que supone el mayor grado de formalización si lo
comparamos con otros modelos como el de Investigación Acción Participativa (IAP). No
obstante, en la convocatoria se prevé y concretan mecanismos de participación en la
evaluación del Programa como es la Comisión de Seguimiento que es quien
selecciona los proyectos presentados y realiza el Seguimiento formal del proyecto y la
Evaluación de resultados concretado con la elaboración del Informe Final.

Las informaciones, Actas de reunión y datos de distinto tipo producidos y analizados

por la Comisión de Seguimiento serán objeto preferente de analisis por mi parte para
evaluar la intervención del proyecto.

 Cuadro- Resumen del proceso a seguir:



Secuencia Tareas y Fuentes secundarias Tipos de documentos

temporal
1º Presentación del programa: Entrevista Fuentes con datos del contexto:
Consejero Noticias prensa
Lecturas de otros programas Web Educarm.es
institucionales relacionados Programas relacionados TICs

2º Convocatoria del Programa. Fuentes que aportan datos del objeto a

“Re-Recopilacion” datos:
-Censos alumnado 1º ESO
-Centros educativos.
-Análisis características
sosiodemográficos población
investigar:
BORM (Boletín Oficial Región Murcia)
Servicio de Estadística web Educarm.es:
Estadísticas

3º Identificación de las fuentes: Fuentes estadísticas y fuentes narrativas con

-Datos del seguimiento/ejecución y
resultados del programa
-Análisis de opiniones y hechos
datos referidos a hechos/obstáculos del
programa procedentes de:
-Cuestionarios auto cumplimentados
-Entrevistas estructuradas
-Valoraciones implicados

Fuente: P. Borraz. Elaboración propia.

22
6. Bases para la evaluación de programas y proyectos.

Como he señalado, mi proyecto y objeto de estudio es la evaluación de un proyecto

de Intervención. Dicho de otro modo, relato el proceso que intenta determinar los
cambios generados por el Programa E-XXI a partir de la comparación entre el estado
inicial y el estado al finalizar el primer curso de su implantación. Es decir, se intenta
conocer el grado de consecución de los objetivos y compromisos establecidos y
resultados manifiestos.

Así pues, pretendo conocer los efectos de la Intervención en los beneficiarios directos:
cumplimiento de objetivos y compromisos y resultados, es decir en los alumnos/as de
los 25 centros participantes. La finalidad evaluadora tiene la doble perspectiva:
pragmática y económica: La evaluación debe servir de base para mejorar los
programas futuros y poder ampliar la experiencia a otros centros y alumnado y por
otra parte debe permitir comprobar el logro de los criterios básicos de Eficacia y
Eficiencia.
Este proyecto trata de evaluar una intervención de una de las líneas de actuación
prioritarias del gobierno Regional en el ámbito educativo: Programas y proyectos para
Integración de las TICs en el proceso de enseñanza y aprendizaje, concretamente el
proyecto E-XXI: Enseñanza digital en 1º ESO.
La convocatoria del proyecto con las bases reguladoras para la participación y
beneficiarios potenciales presupone que ya se ha efectuado una primera evaluación
interna de la necesidad del programa por parte del equipo técnico de la Consejería de
Educación, mi estudio se centra por tanto, en la evaluación de la intervención, no del
proyecto en que esta necesariamente se basa.

6.1. Concepto y modelo de Evaluación. Aproximación conceptual

Se trata de una Evaluación de PROCESO. El modelo de evaluación que propongo se

ajusta al modelo Cíclico que según Callejo/Viedma 15 efectúa una evaluación en
proceso que entiende el proyecto como un ciclo con controles integrados en cada una
de las fases que extiende la evaluación a las distintas etapas, a diferencia de la
evaluación como un sistema de control al final del proyecto; que pretende mejora
durante la ejecución, así como la corrección de errores o posibles desviaciones.

Los tres objetivos característicos de la Evaluación de Programas son objeto de estudio:

1. Lograr sistemas de control para el desarrollo y la ejecución

2. Comprobar las transformaciones programadas
3. Adquirir conocimientos para sucesivas planificaciones

15
Callejo/Viedma: 2006. Pag.198

23
6.2. Evaluación como Proceso

Entendida como proceso paralelo a las distintas fases del proyecto, asumo las dos
definiciones puestas como ejemplo por Callejo/Viedma16 aceptadas en la actualidad y
que representan a los dos enfoques predominantes:

Definición de la OCDE orientada a resultados y enfatizando la importancia de los

criterios básicos (con base del EML):

“Apreciación sistemática y objetiva de un proyecto o programa en curso o

concluido; de su diseño, su puesta en práctica y sus resultados. El objetivo de la
Evaluación es determinar la pertinencia y el logro de sus objetivos, así como la
eficiencia, la eficacia, el impacto y las sostenibilidad para el desarrollo. Deberá
proporcionar información creíble y útil (…)”

Otro ejemplo de definición menos formalizada, orientada principalmente a la

transformación y al cambio social17 que comparte presupuestos del modelo de IAP:

“Un proceso continuo y programado de reflexión basado en procedimientos

sistemáticos de recolección, análisis e interpretación de información, para
formular juicios valorativos fundamentados que permitan reorientar la acción
para producir cambios deseados. En este proceso se atribuye alto protagonismo
a quienes, de un modo u otro se involucraron en la intervención”

En la evaluación de esta intervención que presento, hay aspectos que participan de las
dos concepciones de este proceso valorativo:

Por un lado, los objetivos, los criterios básicos: la pertinencia, eficiencia, eficacia,
impacto evidencian el aspecto más formal; Pero por otro, se contempla el
protagonismo y participación de los participantes en las distintas fases del proceso
evaluador (La Comisión de Seguimiento, la convocatoria de proyectos específicos
propios, ajustados a las condiciones y motivaciones particulares de cada uno de los
centros educativos, por ejemplo)

Es un Modelo de evaluación cíclico: Se evalúa a lo largo de todo el proceso de

intervención. En cuanto a los agentes, se trata de Evaluación Externa e Interna.

Los objetos de la Evaluación son los proyectos de cada IES y el Programa de

Intervención. El objetivo es realizar tanto una evaluación formativa como participativa
y de resultados. En cuanto a las fases del proyecto se llevarán a cabo las siguientes:
Evaluación ex-ante, Evaluación de procesos y Evaluación ex –post.

16
Callejo/Viedma: 2006. Pág. 202
17
Citados por Callejo/Viedma:O.Nirenberg/J. Brawerman/V.Ruíz: 2003

24
6.2. Los contextos

 LOS CONTEXTOS CONOCIDOS A EVALUAR:

Se definen por explicitar las características de:

o La población participante en cuanto a: problemas, recursos, necesidades,
prioridades,
o los relacionados con la entidad convocante: Actuaciones, Planes y
Programas en torno a la implantación TICs.

 CONTEXTOS CONTROLADOS:
o Evaluación del documento del Proyecto(s) : Convocatoria oficial,
Información sobre el Programa y Proyectos presentados
o Proyectos educativos de los Centros (PEC)
o Programaciones Didácticas
o Marco curricular

6.4. El diseño de Evaluación especificado en la convocatoria del Proyecto

En la convocatoria oficial18 se enuncia que se realizará un diseño de Evaluación y

Seguimiento del proyecto en el que se medirán indicadores antes del inicio, durante
su ejecución y al final de cada curso escolar. (…)Que permitan el análisis de su
evolución, eficiencia y el cumplimiento de los objetivos y compromisos establecidos en
el programa. La cuestión es que no concreta qué instrumentos y procedimientos
efectuará.

Interpretando los instrumentos de evaluación en relación con las etapas mencionadas,

el diseño propuesto por la entidad convocante del proyecto se adecua a esta
estructura ya que se lleva a cabo un tipo de evaluación centrada en el control en las
fases con un documento específico al finalizar cada una de ellas:

 Antes del Inicio: pretest mediante cuestionario estandarizado con preguntas

cerradas y/o con opción de respuesta múltiple.
 Durante la ejecución: Informe de Seguimiento
 Al final de cada curso escolar: El Informe Final

En una evaluación de proyectos siempre se produce distinto tipo de información para

la poder efectuar con criterio y fundamentación la toma de decisiones deseada, por lo
cual también se le puede considerar como una actividad orientada a mejorar la eficacia
de los proyectos en relación con sus fines, además de promover mayor eficiencia en la

18
Resolución proyecto E-XXI. BORM 18/2/2103

25
determinación de los recursos necesarios. En este sentido más restringido cabe
precisar que la evaluación no es un fin en sí misma, más bien es un medio para
optimizar la gestión de los proyectos

6.5. Criterios y Tipos de Evaluación

 Tipos de Evaluación

Podemos encontrar abundante información sobre las diferentes tipologías y

clasificaciones19 para la evaluación de programas:

Me ha parecido de interés y muy ilustrativo el siguiente grafico que recoge los tipos de
evaluación según el momento en que se realiza20 y que coincide casi plenamente con la que
proponen Callejo y Viedma excepto en que en este cuadro se recoge también la Evaluación del
Impacto que en la convocatoria del Proyecto es una etapa programada para cuatro años: es
decir, para todo el tramo de la Educación Secundaria Obligatoria, desde 1º a 4º curso:

19
Callejo/Viedma: 2006. Pág. 203
20
http://commons.wikimedia.org/wiki/File:Proyecto_de_desarrollo_-_Evaluacion.JPG

26
Una aproximación a los distintos tipos de en función de la etapa del proyecto.
Evaluación ex –ante, Evaluación de Diseño, Evaluación de Ejecución y Evaluación de
resultados:

 Evaluación Ex -ante : Se produce una evaluación de dos tipos:

 Evaluación diagnostico: Se efectúa antes de la aprobación del proyecto y

busca conocer su pertinencia, viabilidad y eficacia potencial. Este tipo de
evaluación consiste en seleccionar de entre varias alternativas
técnicamente factibles a la que produce el mayor impacto al mínimo costo.
 Evaluación de formulación/diseño del proyecto: coincide con la
Convocatoria Oficial del proyecto.
 Evaluación de proceso, ejecución, de medio término o continua: Se hace
mientras el proyecto se va desarrollando. Coincide con la Intervención.
Permite conocer en qué medida se viene logrando el logro de los objetivos
 Evaluación de Resultados. Evaluación ex-post, o de fin de proyecto: Se
realiza cuando culmina el proyecto. Se busca la evidencia del nivel de
cumplimiento de los objetivo y probar que los cambios producidos son
consecuencia de las actividades del proyecto (exclusivamente o en
interacción con otras fuentes); para esto suele recurrir a un diseño
experimental. No solo indaga por cambios positivos, también analiza e
interpreta los posibles efectos negativos e inesperados.

Este tipo de evaluación deberá concretarse en cada curso escolar, por lo que es mi
caso se centrara en los resultados obtenidos en el primer curso de ejecución, teniendo
en cuenta que el Programa prevé una duración de cuatro cursos escolares: de 1º hasta
4º ESO.

 Evaluación simple antes y después

Este diseño permite comparar la situación inicial de la población objetivo contra la
situación final, es decir luego de realizado el proyecto. La relación causa-efecto entre el
proyecto y sus resultados es más clara pero aún no es precisa ya que pueden haber
intervenido causas externas no controladas.

Su esquema es el siguiente:

A .......... X .......... A1

Donde:

o "X" es la intervención del proyecto

o "A" es la línea de base (situación inicial de la población objetivo)
o "A1" es la población objetivo del proyecto al final de la intervención

27
  Otros tipos de Evaluación según el propósito o agente evaluador:

Según el objetivo:
Evaluación Participativa:
Se trata de integrar a los beneficiarios en el proyecto ya que se busca la
valoración positiva del proyecto a través de la participación, y que el proyecto
sea sostenible en el futuro puesto que se presenta como un Plan que abarcará
cuatro cursos escolares.
Evaluación formativa:
Esta es la perspectiva educativa del proceso y la que más me interesa ya que en
la convocatoria se recoge la necesidad de Formar al profesorado participante.
En coherencia con esta medida se ha establecido en el Plan regional de
Formación del profesorado para el curso 201372014 una nueva línea de
actuación que es la Formación en el Proyecto EXXI y quienes soliciten distintas
modalidades de formación en grupo en este tema, van a tener preferencia en
los mecanismos de selección de participante en actividades de formación.
Según el nivel de gestión:
Política-estratégica y Administrativa. Será la que lleva a cabo la Institución
convocante, antes de la puesta en marcha del proyecto.
Evaluación de carácter técnico:
La que realizan los expertos de la Institución, es decir, los técnicos de la
Consejería de Educación y la que efectuaré yo como evaluadora externa.

6.5. La evaluación en el modelo del EML y la IAP

Diferencias en la Evaluación de Proyectos según el modelo EML y de la IAP:

El modelo según el enfoque del marco lógico (EML) presenta un grado mayor de
formalización, más necesidad de evaluadores EXPERTOS. Su referencia es la MPP y los
criterios básicos de la evaluación de proyectos (eficiencia, pertinencia…).
Los instrumentos y procedimientos son de carácter cuantitativo y la evaluación es un
proceso integrado que se lleva a cabo de forma paralela al proyecto.
En el caso de la investigación Acción Participativa (IAP), supone un menor grado de
formalización que evalúa lo formulado comparándolo con los resultados. Los
participantes evalúan y la evaluación es un ámbito más de la participación. Los
Instrumentos y procedimientos son de tipo cualitativo.
El modelo seguido en el diseño del proyecto E-XXI es el EML, pero también integra
elementos de la IAP, como por ejemplo la figura de la Comisión de Seguimiento y la
intervención de los participantes ya que son ellos los que deben implicarse en la
formulación de proyectos propios, con detalles organizativos específicos de sus
contextos.

28
7. Diseño de la Evaluación

7.1. Justificación metodológica

Como ya he puesto de manifiesto en el apartado de las bases para la evaluación, en

este proyecto de evaluación de una Intervención trato de seguir un proceso que
intenta establecer los posibles cambios generados por el Programa E-XXI a partir de
la comparación entre el estado inicial y el estado al finalizar el primer curso de su
implantación. Es decir, se intenta conocer el grado de consecución de los objetivos.

En una evaluación de proyectos se analiza información y se producen nuevas

informaciones enfocadas tanto a la toma de decisiones como a la mejora de
planificaciones futuras. Desde este punto de vista concreto se puede entender como
una actividad orientada a mejorar la eficacia de los proyectos en relación con sus fines,
además de promover la mayor eficiencia posible en la gestión y asignación de recursos
de distinto tipo.
De acuerdo a lo señalado respecto al proceso cíclico del proyecto se puede definir la
Evaluación, como un componente estratégico esencial, que, más allá del control final
de la intervención, supone, citando a Calleja/Viedma21 :
“un engranaje de transmisión anclado entre el final de los proyectos, los
programas y la planificación de nuevas acciones”
Que en el caso de este estudio supondría la incorporación de nuevos centros y/o
ampliación del programa Enseñanza EXXI.
Los objetivos generales que continúan formando parte de la concepción básica del
sistema de Evaluación actual de proyectos:
1. Establecer un sistema de control económico externo
2. Establecer las trasformaciones sociales de los participantes
3. Adquirir conocimientos nuevos para planificaciones futuras

El diseño metodológico que propongo para la evaluación:

La Técnica principal: El análisis de fuentes secundarias. Los instrumentos y

procedimientos, estandarizados, numéricos e interpretaciones narrativas de las
distintos tipos de documentos analizados en las fases del proyecto y durante la
intervención.

7.2. Evaluador externo/evaluador interno

La convocatoria oficial plantea un diseño de Evaluación y Seguimiento interno en el que se
medirán indicadores antes del inicio, durante su ejecución y al final de cada curso

21
Calleja/Viedma: 2006. Pág. 198

29
escolar. Espero poder disponer de los datos para “re-analizarlos” y que permitan la
evaluación su evolución, eficiencia y el cumplimiento de los objetivos y compromisos
establecidos en el programa. Mi figura es por tanto la de un evaluador externo,
objetivo, no vinculado a la institución convocante cuya finalidad es la de aplicar a nivel
teórico los contenidos de la asignatura “metodología de Investigación” en este
Proyecto de Evaluación de la Intervención del Proyecto Enseñanza E-XXI.

7.3. Aproximación formal al diseño

Una aproximación más formalizada al diseño metodológico para la evaluación de la

intervención:

 Metodología
Dado los objetivos e hipótesis plateadas, el diseño metodológico integra técnicas
cuantitativas porque es el instrumento preferente en al utilizar el Análisis de fuentes
Secundarias, y cualitativas porque desde mi modo de ver, necesariamente deben
interpretarse de forma narrativa los datos y las informaciones numéricas.

 Tipo de muestra.
Se utilizará una muestra intencional y no probabilística de estudiantes ESO. Se
considerarán como variables independientes el nivel curricular y las materias
obligatorias de 1º de ESO Tipo de estudio y diseño. Este proyecto se define como
exploratorio-descriptivo, con un diseño no experimental. Se realizará según modelo
coincidente con el tipo de evaluación de las etapas del proyecto y con técnicas
cuantitativas complementadas con narrativas e interpretaciones de corte cualitativo.

 Selección de la muestra:
Muestra no probabilística, de centros educativos que de forma voluntaria se han
presentado a la convocatoria y han sido seleccionados en base a unos requisitos
previos establecidos en la misma que no presentan –al menos no en el mismo grado-
el resto de centros no seleccionados y aquellos que no han respondido a la oferta
Institucional pero desconocemos si las causas están o no relacionadas con los objetivos
del proyecto.
 Recolección de datos:
Los producidos por las Instituciones convocantes y beneficiarios
 Análisis e interpretación de los datos:
Análisis secundario. Categorización y clasificación en relación con los Indicadores,
actividades y resultados en cada etapa del proyecto.
 Análisis informático de los datos:
El análisis estadístico de los datos se podría realizar mediante el Paquete Estadístico
para las Ciencias Sociales (SPSS) Las bases estadísticas: descriptiva e inferencial

30
  Otro tipo de Instrumentos:

ENCUESTA SOBRE USOS NUEVAS TECNOLOGÍAS DE LA INFORMACIÓN Y LA

COMUNICACIÓN22 Este instrumento está enmarcado en un extenso y complejo
estudio sobre la disponibilidad y usos de tecnología. Podré tener en cuenta y/o utilizar
esta Encuesta sobre TICs, que ha sido construida sobre la base de seis cuestionarios
utilizados por los principales observatorios de Tics (Voldemort, 2008) a nivel nacional y
europeo. En función de los objetivos que presenta este Proyecto, se incorporará a la
evaluación, para conocer algunas variables relativas al uso y frecuencia de uso TICs.
aplicadas al ámbito educativo y estableciendo comparativa con los resultados.

 BLOG del Proyecto de Evaluación de la Intervención

Lo planteo como una herramienta y un método de seguimiento para presentación de
los materiales producidos durante la evaluación de la Intervención es el Blog del
Proyecto de Evaluación donde se colgara la información y proceso del proyecto y al
mismo tiempo, servirá de enlace con los promotores y beneficiarios del proyecto.

8. ETAPAS DE LA EVALUACION EN EL CICLO DE VIDA DEL

PROYECTO
8.1.Relación entre el tipo Evaluación, Etapa y Técnicas y análisis Documental

Voy a evaluar de acuerdo a las distintas etapas del proyecto y las técnicas y procedimientos en
cada una de ella conformaran el sistema de Evaluación del proyecto de Evaluación de la
Intervención. La siguiente tabla resume los contenidos de este apartado:

Tipo de Evaluación según etapa de gestión del proyecto. Técnicas y Documentos

Tipo evaluación Etapa del proyecto Técnicas y Documentos

Evaluación Ex –ante: Análisis fuentes Secundarias:

.Evaluación diagnostica +Identificación Los contextos y el entorno
.Evaluación de formulación +Formulación Convocatoria del proyecto
Ficha del Proyecto

Evaluación de procesos: Ejecución (desde el inicio de Informe de Seguimiento

.Evaluación del Término
medio
Evaluación Ex –Post
.Evaluación de Resultados
la intervención hasta Informe
final)
Evaluación Informe Final
Recapitulación: “Reanalisis”
Análisis Económico
Informe de Evaluación
.Recomendaciones

22
Neri, 2008

31
8.2. Etapas y documentos Evaluación:

De acuerdo a este cuadro, los documentos de evaluación dentro del proceso cíclico del
proyecto23:

EVALUACION EX –ANTE

Etapa de Identificación y Etapa de formulación del proyecto

En estas fases se han llevado a cabo la evaluación de diagnostico y la de formulación

que son coincidentes con las citadas etapas. Estas evaluaciones se han realizado antes
de la puesta en marcha del proyecto.
La evaluación ex – ante se centrará en conocer la pertinencia de los objetivos del
proyecto, establecer la adecuación de las actividades programadas y la capacidad
organizativa de los centros para realizar la intervención de acuerdo a lo planificado. Los
Objetivos del proyecto son la base y referencia fundamental de la evaluación.
La información que la Consejería y los centros han producido es el objeto de mi
valoración en estas etapas.

1. Etapa Identificación
Evaluación diagnostica: A través de la documentación citada determinaré la
fundamentación del proyecto, sus propuestas de actuación y la coherencia con el
contexto. El objetivo será doble: Por un lado, hay que establecer la necesidad de la
enseñanza digital en el contexto de actuación y por otro, relacionado con lo anterior,
se deberá recoger información de las características de la población a quien se dirige el
proyecto: alumnado, profesorado, programas TICs. Institucionales
23
Callejo/Viedma:2006.pag.218

32
En un primer momento se trata de examinar los contextos: centros, profesorado,
equipamiento y líneas de actuación programas y proyectos de la Consejería Educación
en TICs principalmente. La información analizada deberá confirmar la necesidad del
proyecto y la coherencia de los objetivos con el contexto.

 Los contextos de la evaluación de esta etapa:

o Profesorado: capacitación en TICs
o Alumnado: datos desde el curriculum
o Institución convocante: Planes y programas similares
o Centros educativos participantes:
 Dotación de medios materiales
 Organización y recursos humanos
 Contexto social: nivel socio económico de las familias
 El profesorado:

La convocatoria prevé la formación del profesorado participante en el proyecto E-XXI.

Como esta formación se realizará durante el curso, habrá que evaluar su formación al
inicio mediante un cuestionario estandarizado que recoja datos sobre su nivel de
competencia tecnológica y opiniones sobre el uso didáctico de las tics.

Dos criterios para valorar los equipos docentes implicados:

 Perfil profesional y antecedentes en formación TICs.

 Mecanismos de carácter multidisciplinar establecidos para la coordinación

 El alumnado 1º ESO:

Se trata de una muestra no representativa, ya que el alumnado que se beneficiará de

la Enseñanza digital del proyecto EXXI lo hace condicionado por el criterio de
voluntariedad a la participación en el proyecto. Son las familias quienes deben decidir
la asignación de sus hijos/as al grupo piloto o al grupo ordinario.

Aproximación normativa curricular a las características del alumnado:

Voy a realizar una aproximación a la enseñanza digital en el marco curricular y

normativo del 1º ESO. 24 y uno de los objetivos generales de la Educación Secundaria
señala en relación con la enseñanza digital:

e) Desarrollar destrezas básicas en la utilización de las fuentes de información

para, con sentido crítico, adquirir nuevos conocimientos, así como una
preparación básica en el campo de las tecnologías, especialmente las de la
información y la comunicación.

24
D e c r e t o n ú m e r o 2 9 1 / 2 0 0 7 , d e 1 4 d e septiembre, por el que se establece el currículo de la Educación Secundaria
Obligatoria en la Comunidad Autónoma de la Región de Murcia

33
En el apartado 7 del RD de implantación del currículo de ESO, se establece lo siguiente
en relación con la importancia de las TICs en el proceso de enseñanza:

“Sin perjuicio del tratamiento específico en algunas de las materias de

estos cursos, la comprensión lectora, la expresión oral y escrita, la
comunicación audiovisual, las tecnologías de la información y la
comunicación, (…) se trabajarán en todas las materias obligatorias”.

En el actual curriculum, de las 10 materias que cursa el alumnado de 1º ESO,

solamente la asignatura de Tecnología es la que tiene relación directa con las TICs:
Ciencias de la naturaleza.
Ciencias sociales, geografía e historia.
Educación física.
Lengua castellana y literatura.
Lengua extranjera.
Matemáticas.
Educación plástica y visual
Tecnologías
Educación para la ciudadanía y los derechos humanos
Religión
(Y una asignatura optativa más dependiendo de la oferta específica en cada IES que puede estar
relacionada con las TICs)

En el área de Tecnologías encontramos los siguientes objetivos y bloques de

contenidos directamente relacionados con la enseñanza digital:

Objetivos de Tecnologías

5. Adoptar actitudes favorables a la resolución de problemas técnicos, desarrollando

interés y curiosidad hacia la actividad tecnológica, analizando y valorando críticamente
la investigación y el desarrollo tecnológico (…).

6. Comprender las funciones de los componentes físicos de un ordenador así como su

funcionamiento y formas de conectarlos y manejar con soltura aplicaciones
informáticas que permitan buscar, almacenar, organizar, manipular, recuperar y
presentar información, empleando de forma habitual las redes de comunicación.

7. Asumir de forma crítica y activa el avance y la aparición de nuevas Tecnologías,

incorporándolas a su quehacer cotidiano, analizando y valorando críticamente su

Influencia sobre la sociedad y el medio ambiente.

Contenidos

2. Hardware y software. Integra parte de los contenidos asociados a las

Tecnologías de la información y la comunicación.
8. Tecnologías de la comunicación e internet. Desarrolla los contenidos ligados
a las diversas Tecnologías, alámbricas e inalámbricas, que posibilitan el actual
modelo de sociedad de la información.

34
 12. Tecnología y sociedad. Trata de entender los aspectos sociales del
fenómeno tecnológico, tanto en lo que respecta a sus condicionantes sociales
como en lo que atañe a sus consecuencias sociales y ambientales.

BLOQUE 1. Proceso de resolución de problemas tecnológicos. Empleo de distintas

herramientas informáticas para la elaboración y difusión de proyectos técnicos.

BLOQUE 2. Hardware y software.- Elementos que constituyen un ordenador. Unidad

central y periféricos. Funcionamiento, manejo básico y conexión de los mismos

- Sistema operativo. Almacenamiento, organización y recuperación de la información

en soportes físicos, locales y extraíbles.

- El ordenador como herramienta de expresión y comunicación de ideas. Conocimiento

y aplicación de terminología y procedimientos básicos de programas como
procesadores de texto y herramientas de presentaciones

BLOQUE 8. Tecnologías de la comunicación. Internet.- Internet: conceptos,

terminología, estructura y funcionamiento.- Búsqueda de información a través de
Internet.- El ordenador como medio de comunicación: Internet y páginas web.
Herramientas y aplicaciones básicas para la búsqueda, descarga, intercambio y difusión
de la información. Correo electrónico, chats y videoconferencias.

BLOQUE 10. Tecnología y sociedad.- La Tecnología como respuesta a las necesidades

humanas: fundamento del quehacer tecnológico.- Introducción al estudio del entorno
tecnológico y productivo de la Región de Murcia.

En cuanto a criterios de evaluación de esta materia:

3. Identificar y conectar los componentes fundamentales del ordenador y sus

periféricos, explicando su misión en el conjunto.
4. Manejar el entorno gráfico de los sistemas operativos como interfaz de
comunicación con la máquina.
5. Emplear el ordenador como herramienta de trabajo, con el objeto de comunicar,
localizar y manejar información de diversas fuentes. Conocer y aplicar la terminología
y procedimientos básicos de los procesadores de texto y herramientas de
presentaciones
17. Emplear el ordenador como instrumento eficaz para localizar información en
Internet.
18. Acceder a Internet como medio de comunicación, empleando el correo electrónico,
chats o videoconferencias
Podemos afirmar que es pertinente el proyecto E-XXI en cuanto a las características de
la población a quien se dirige.

Tecnologías: su relación con las CCBB:

“La materia (Tecnologías) contribuye específicamente en el tratamiento de la
información y competencia digital mediante varios bloques específicos de contenidos.
Es imprescindible su empleo no como fin en si mismas, sino como herramientas del
proceso de aprendizaje”.

35
Importancia de Las CCBB en el curriculum y en la enseñanza digital

La incorporación de competencias básicas25 al currículo permite poner el acento en

aquellos aprendizajes que se consideran imprescindibles, desde un planteamiento
integrador y orientado a la aplicación de los saberes adquiridos. Son aquellas
competencias que debe haber desarrollado un joven o una joven al finalizar la
enseñanza obligatoria para (…) y ser capaz de desarrollar un aprendizaje permanente a
lo largo de la vida.
El trabajo en las áreas y materias del currículo para contribuir al desarrollo de
las competencias básicas debe complementarse con diversas medidas organizativas y
funcionales (…) ya que pueden favorecer o dificultar el desarrollo de competencias
asociadas a la comunicación, el análisis del entorno físico, la creación, la convivencia y
la ciudadanía, o la alfabetización digital.
En el marco de la propuesta realizada por la Unión Europea, y de acuerdo con las
consideraciones que se acaban de exponer, se han identificado ocho competencias
básicas que deberán trabajarse en todas las áreas y soportes de enseñanza:

1. Competencia en comunicación lingüística.

2. Competencia matemática.
3. Competencia en el conocimiento y la interacción con el mundo físico.
4. Tratamiento de la información y competencia digital.
5. Competencia social y ciudadana.
6. Competencia cultural y artística.
7. Competencia para aprender a aprender.
8. Autonomía e iniciativa personal.

La CCBB nº 4: Tratamiento de la información y competencia digital tiene un mayor

peso en el programa que evaluamos y si no en esta primara fase de ejecución, sí en
una posterior deberían plantearse objetivos e indicadores para evaluarla.

Adjunto a continuación una tabla con descriptores para la identificación CCBB26Las

actividades para el desarrollo de esta competencia deberían ser objetivo prioritario y
objeto de evaluación especifica en la Intervención.

25
REAL DECRETO 1631/2006, de 29 de diciembre, por el que se establecen las enseñanzas mínimas
correspondientes a la Educación Secundaria Obligatoria. Ministerio de Educación y Ciencia (BOE núm. 5,
viernes 5 de Enero de 2007)ANEXO I - COMPETENCIAS BÁSICAS

26
Fuente: elaboración propia. Febrero 2013.

36
Esta competencia consiste en disponer de habilidades para buscar, obtener, procesar y
comunicar información, y para transformarla en conocimiento. Implica: Ser una persona
autónoma, eficaz, responsable, crítica y reflexiva al seleccionar, tratar y utilizar “la
información y sus fuentes” “las distintas herramientas tecnológicas y los distintos
soportes.”

Obtener información, búsqueda, Transformar la información en Comunicar la información

selección, registro y tratamiento conocimiento

 Acceder a la información  Organizar la información,  Comunicar la información y los

utilizando técnicas y estrategias
específicas.
 Buscar, seleccionar, registrar,
tratar y analizar la información.
 Dominar y aplicar en distintas
situaciones y contextos lenguajes
específicos básicos: textual,
numérico, icónico, visual, gráfico
y sonoro.
 Dominar las pautas de
decodificación y transferencia.
 Aplicar en distintas situaciones y
contextos los diferentes tipos de
información, sus fuentes, sus
posibilidades y su localización,
así como los lenguajes y soportes
más frecuentes.
 Manejar estrategias para
identificar y resolver los problemas
habituales de software y hardware.
 Hacer uso habitual de los
recursos tecnológicos disponibles.
relacionarla, analizarla,
sintetizarla, hacer inferencias
y deducciones de distinto
nivel de complejidad.
 Resolver problemas reales de
modo
eficiente.
 Tomar decisiones
 Trabajar en entornos
colaborativos.
 Conseguir objetivos y fines de
aprendizaje, trabajo y ocio.
 Evaluar y seleccionar nuevas
fuentes de información e
innovaciones tecnológicas en
función de su utilidad para
acometer tareas.
 Procesar y gestionar
adecuadamente la información.
 Comprender e integrar la
información en los esquemas
previos de conocimiento.
conocimientos.
 Usar las tecnologías de la
información y la comunicación
como elemento esencial para
informarse, aprender y
comunicarse.
 Emplear diferentes recursos
expresivos además de las TICs.
 Utilizar las tecnologías de la
información y la comunicación
como instrumento de trabajo
intelectual (función transmisora
y generadora de información y
conocimientos.)
 Generar producciones
responsables y creativas.

 Planes, programas y proyectos de la Consejería Educación en materia de

utilización TICs.

Desde hace más de una década, la consejería de Educación tiene como líneas
prioritarias la implantación y desarrollo de las TICs. en el ámbito educativo 27. Con esta
finalidad desarrolla distintas actuaciones dirigidas en los últimos años al alumnado de
5º y 6º de Educación Primaria por lo que el programa E-XXI: Enseñanza digital dirigido
a 1º de ESO se entiende como la consecuencia lógica de estos planes.

27
Web educarm.es

37
Algunos de los proyectos más significativos en cuanto a dotación de medios técnicos
digitales implantados en la Región, son:

o Proyecto Plumier: dotación de ordenadores y conexión a Internet

o Internet en el aula: Dotación y formación profesorado
o Proyecto Piloto Aula XXI: Dotación para digitalizar aulas completas
o Proyectos TICs: Dotación de Pizarras Digitales
o Concursos TICs. Premios a los mejores recursos educativos digitales
o Plan Avanza-Red.es: Distintos programas y proyectos han dotado a los centros
de infraestructura, conexión Wi-fi, contenidos digitales y ordenadores
portátiles para los alumnos/as.
o Proyecto Diseño de Libros digitales
o Proyecto Agrega: Una plataforma “Agrega” con un conjunto de repositorios de
recursos digitales educativos
o Plataforma Virtual Aula XXI con base el la plataforma Moodle.
o Centros Educativos Avanzados: Formación a equipos docentes de Centros
o Convenio Marco de colaboración Consejería de Educación y Microsoft Ibérica
o Convenio marco de colaboración entre Consejería de Educación, y la Fundación
Isaac Albéniz: Plataforma Educativa I-Dea en Centros de Educación Secundaria
o Proyectos: mi E-escuela y cicerón-E para la utilización didáctica de
herramientas de la web 2.0

 Contexto: Centros educativos participantes:

Será necesaria una evaluación de cada uno de estos aspectos que son requerimientos
prescriptivos para participar en el proyecto EXXI. El análisis de los proyectos
presentados por los centros seleccionados, es un procedimiento esencial en la
evaluación de este contexto pues determinará su adecuación a criterios básicos y a los
indicadores que se establezcan para la evaluación de la etapa de Formulación.

La evaluación se dirigirá a la recogida de datos y posterior análisis de los siguientes

aspectos:

 Dotación de medios materiales necesarios y realmente disponibles. sobre

todo en cuanto a evitar la exclusión del proyecto de alumnado que no
pueda disponer de los medios electrónicos básicos.
 Organización y recursos humanos: previsión del profesorado y alumnado
que formara los grupos en que se llevará a cabo el proyecto EXXI.
 Contexto social: En función del nivel socio económico de las familias
analizado en el Proyecto Educativo del Centro, se podrá prever si todos los
padres/madres indirectamente beneficiarios, podrán acceder a los equipos
y libros electrónicos que sus hijos/as necesitan para participar en el EXXI.

38
A modo de resumen:
Todos los procesos de esta fase, supone una evaluación diagnóstica o de necesidades.
Implica el estudio base de la situación y las revisiones de otras evaluaciones y/o
programas. En esta fase me dirijo a evaluar, por una parte, LOS CONTEXTOS referidos
a las características de la población participante en cuanto a: problemas, recursos,
necesidades y prioridades, y por otra, los relacionados con la entidad convocante:
Actuaciones, Planes y Programas en torno a la implantación TICs.

Las técnicas:
Para la recogida de información en esta etapa de identificación utilizaremos como ya
he reiterado en apartados anteriores el Analisis de datos Secundario para llegar a
través de esta herramienta los restantes procedimientos: desde el análisis cuantitativo
y de fuentes estadísticas, hasta el interpretativo de Informes, textos, y documentos de
distinto tipo.
Este es pues, el momento de la evaluación ex –ante.
La Producción documental: FICHA DE IDENTIFICACION DEL PROYECTO

2. Formulacion del proyecto

En esta fase realizaremos la Evaluación del documento del Proyecto(s):

Convocatorias, Información sobre el Programa y Proyectos presentados. El EML es la
estrategia de planificación de esta unidad de información básica para la evaluación. Los
Aspectos a Evaluar son los criterios básicos e indicadores establecidos: Viabilidad,
sostenibilidad, impacto. El análisis económico-financiero y los posibles problemas de
financiación.

Técnicas:
Análisis de datos secundarios: Los datos numéricos obtenidos del pretest (vía
cuestionario) Las valoraciones y puntuaciones obtenidas por los distintos proyectos
presentados.
Técnicas proyectivas: estudios delphi y también los estudios de series temporales

Continuamos con el tipo de Evaluación simple (ex – ante), antes de la ejecución y

encaminada a la evaluación de la formulación del proyecto: Pretest.
Producción documental: LA CONVOCATORIA DEL PROYECTO ENSEÑANZA E-XXI y los
proyectos que han presentado los centros seleccionados.
El objeto del análisis documental son todos los documentos producidos durante todo
el proyecto y los proyectos presentados por los centros.

39
Los criterios básicos de evaluación de la intervención son en esta etapa:

PERTINENCIA:
Evaluaremos el grado de ajuste de los objetivos del proyecto a las condiciones de la
población a quien se dirige: alumnado de 1º ESO Institutos Públicos. ¿Cómo? :
Comparando la información del contexto con cada uno de los objetivos del proyecto y
valorando su adecuación.

EFICIENCIA:
Examinaremos la relación entre los objetivos y los recursos necesarios para
alcanzarlos. Analizaremos las actividades programadas y los resultados esperados en
interacción con los medios tecnológicos, humanos temporales y económicos.
necesarios. ¿Cómo? Mediante una tabla de doble entrada en la que pondremos en
relación cada bloque de actividad y resultados previsibles con los recursos
indispensables para llevarlos a cabo.

FACTIBILIDAD:
Implica la capacidad potencial de los demandantes y solicitantes del proyecto para
llevarlo a cabo tal como lo han planificado. ¿Cómo? Habrá que analizar los contenidos
de los proyectos presentados, tanto textuales como numéricos.

IMPACTO:
Hace referencia este criterio a los efectos previstos -que deberán enunciarse. De la
intervención en la población beneficiaria. Tendremos que formular los efectos
esperados tanto los positivos,- multiplicados y favorables- como los negativos que es
nuestro caso puede ser la posible exclusión de alumnados por falta de medios
económicos. ¿Cómo? El programa se diseña para un periodo de cuatro años por lo
que será preciso determinar el impacto en cada curso escolar. Comparando los datos
de los resultados del informe Final con los resultados programados.

VIABILIDAD:
Valorar el grado de éxito: Se refiere a la ejecución del proyecto dadas las condiciones
analizadas en los distintos contextos. ¿Cómo? : Del estudio de los contextos se deduce
que la posibilidad de éxito y sostenibilidad son muy altas ya que los objetivos,
necesidades y características de ambiente del proyecto, son congruentes.

SOSTENIBILIDAD: Se refiere a la capacidad del proyecto para mantener sus efectos y

transformaciones una vez finalizado. ¿Cómo?: Habrá que evaluar este criterio sobre
todo estudiando si los recursos materiales y humanos asignados, y las actuaciones
programadas se van a mantener en los cuatro cursos en que se va a desarrollar.

40
EVALUACION DE PROCESOS

3. Etapa de Ejecución

En esta etapa de la Evaluación llevamos a cabo el seguimiento continuado del

proyecto. Es la evaluación referida a los procesos que se están desarrollando.
En este momento examinamos detalladamente cuestiones tales como: la gestión del
proyecto, su organización, medios, costes y métodos de intervención. Supone
elaboración de esquemas de evaluación y seguimiento que son la base para la recogida
sistemática de información que permitirán la redacción del Informe de Seguimiento.

Las técnicas:
Formularios de evaluación de actividades concretas
Reflexión sobre el grado logro objetivos
Observación participante /cuestionarios para la evaluación del tipo de actividades a la
población participante concreta

Producción documental: EL INFORME DE SEGUIMIENTO

Es la evaluación de Procesos y coincide también con la evaluación del término medio
que se lleva a cabo desde la mitad hasta final de esta fase.

EVALUACION EX POST

1. Resultados

Es el inicio de la Evaluación de Resultados: Los ejecutadores del proyecto realizan el

Informe final. El Evaluador externo lleva a cabo la evaluación de este Informe y todas
las tareas preparatorias y de recopilación de informaciones para elaborar el Informe
de Evaluación y otros Informes con datos producidos por el evaluador interno,
técnicos de la Consejería de Educación, entidad convocante del proyecto en este caso.

Las técnicas:
Fundamentalmente son dos: el análisis económico y/o de medios y los análisis
documentales.
Los Resúmenes Ejecutivos van a ser decisivos para conferir mayor validez al estudio ya
que son fundamentales para el desarrollo de los resultados de la evaluación al poner
el foco en los indicadores básicos.
Los análisis de los informes económicos serán también un procedimiento
imprescindible en esta búsqueda de la validez y fiabilidad.
41
Es el momento de la evaluación Ex –Post

La producción documental se concreta en: EL INFORME DE EVALUACION

A modo de resumen
Los documentos objeto de estudio para la evaluación en esta fase son:

Tres tipos de documentos se producen en la exposición de la evaluación de

resultados:
1- Ficha del proyecto
2- Resumen ejecutivo del proyecto: contiene datos de los Informes de
Seguimiento y detallada información de la evaluación de la
Intervención centrada en los indicadores básicos (*)
3- Informe Final

(*)Pertinencia, Eficiencia, Eficacia, viabilidad, Impacto. Este Resumen (¿Informe de

Seguimiento?) despliega ampliamente el contenidos de los resultados de evaluación

El informe de evaluación.

Es el documento producido por el evaluador de la intervención y señala el final del

proyecto.
Se trata de presentar tanto descriptiva como explicativamente los diferentes aspectos
y contenidos del proyecto de intervención. Debe contener un estudio detallado de los
indicadores básicos de la evaluación (pertinencia, eficiencia, eficacia, viabilidad,
impacto)
Sus fuentes y documentos de información son el análisis secundario proveniente de
todas las evaluaciones y de los documentos producidos durante el proyecto. Debe
contemplar Conclusiones y Recomendaciones de cara tanto a la generalización del
proyecto como a su mejora en la planificación para los sucesivos cursos.

Para concluir, es necesario señalar que la perspectiva metodológica de la evaluación de

la Intervención del proyecto EXXI incluye técnicas de investigación diferenciadas que se
complementan y confieren mayor fiabilidad a la evaluación ya que en la práctica deben
efectuarse muchos y variados tipos de análisis así como el empleo de instrumentos y
fuentes de información diversa.

42
9. Aspectos organizativos:
 9.1. Aspectos temporales: Cronograma de la investigación

El diagrama de Grantt es una herramienta útil para registrar la temporalizacion

prevista y tener una visión clara de las tareas:
Tareas Stbre. Octbre. Novbre. Dic. enero Febrero. Marzo. Abril mayo Junio
Investigación/
Meses

ElaboracionPre x x
sent.proyecto
Contactar x
Recopilar x x x x x x x
fuentes
secundarias
datos
Registro y x
primer análisis
datos
Informe de x
seguimiento
Análisis datos x
seguimiento
Primeras x
reflexiones/con
clusiones
Entrevistas ED x
2ª Recopilación x
fuentes
secundarias
Análisis de x
materiales fin
primer curso
Elaborar x
conclusiones
Informe final x
Informe x
evaluación.

 9.2. Presupuesto y medios necesarios

En cada etapa del proyecto de evaluación van a ser necesarios unos medios u otros.
En un proyecto de investigación deben tenerse en cuenta en este apartado, las
categorías siguientes: Tipo de Recursos, Recursos disponible y Recursos demandados.
Para la realización de este estudio, dispondré principalmente los recursos personales
del evaluador.

 Los medios económicos necesarios:

o Recursos electrónicos: Ordenador, conexión Internet impresora y tintas.

Programas de tratamiento estadístico de datos.
o Gastos de impresión y copistería para: Cuestionarios, Informes y
Documentos impresos.

43
 o Material fungible de distinto tipo

Es necesario señalar que la mayoría de información, hasta donde sea posible en

cada momento del desarrollo del proyecto, se recopilará, analizara y
presentará por medios digitales, tanto por economía como por coherencia con
el planteamiento del estudio objeto de investigación –Evaluación.

o A través del correo electrónico

o En el Blog del Proyecto de Evaluación donde se colgara la información y
proceso del proyecto.
o Posible creación de una Wiki
o Video conferencia

 Los recursos humanos que se prevén :

o Informadores en la consejería de Educación y colaboradores en los

Centros Educativo

 Otros posibles recursos:

Solicitar en la convocatoria de Proyectos de Innovación e Investigación que

convoca la Consejería de Educación cada curso escolar, un proyecto de
Investigación para la Evaluación del EXXI. Dentro de este marco, tratar de obtener
los medios económicos señalados anteriormente, e incluir otros referentes a
bibliografía digital.

 9.3 Equipo de Investigación

La figura y responsable principal de este proyecto para la evaluación de la

Intervención del programa institucional de enseñanza digital EXXI, es Pilar Borraz
Rozas. Alumna y autora de este Proyecto de Investigación.

No son miembros del equipo pero considero necesaria la colaboración de:

o Informadores de la Consejería de Educación: un técnico responsable del
programa
o En los centros educativos: Jefatura de Estudios

44
CONCLUSIONES

Realizar esta propuesta de Evaluación de Intervención me ha resultado de una

complejidad importante por dos razones: Por un lado, mi inexperiencia en este tipo de
tareas y por otro la incertidumbre de no saber que procedimientos e instrumentos son
los mas adecuados para acceder a los datos de la Consejería De Educación y
reanalizarlos de acuerdo a los objetivos de mi proyecto.

Esta ultima cuestión tendrá que ser clarificada si para el trabajo Fin de Máster llevo a
cabo este proyecto de Evaluación del Programa de Enseñanza Digital EXXI. Conocer los
tipos de documentos de evaluación utilizados y los métodos de análisis de los datos
efectuados por la institución convocante es un requisito previo imprescindible para
acometer el estudio con unas mínimas condiciones de validez y fiabilidad.

No obstante y a pesar de las dificultades señaladas, al final soy consciente de algunos

de los aprendizajes adquiridos y de los errores cometidos en la formulación de este
proyecto. Considero necesario manifestar la indispensable información y
conocimientos recogidos en los dos libros básicos de la asignatura, principalmente en
el de los profesores Callejo y Viedma. Puedo afirmar que me han resultado esenciales
en la realización de este proyecto.

Con sincera humildad, espero del profesorado evaluador de este documento el

reconocimiento al empeño y esfuerzo evidentes al realizar este trabajo y su
comprensión a los errores producidos por la falta de pericia en estudios de
investigación. Gracias de antemano.

La estudiante:

Pilar Borraz Rozas.

Cartagena, 8 de Junio 2013

45
BIBLIOGRAFIA Y WEBGRAFIA

Bibliografía:

 PROYECTOS Y ESTRATEGIAS DE INVESTIGACIÓN SOCIAL: LA PERSPECTIVA DE LA

INTERVENCIÓN .Autor/es: Callejo Gallego, Javier; Viedma Rojas, Antonio; Editorial:
MC GRAW HILL. Madrid 2006
 METODOLOGÍAS Y TÉCNICAS DE INVESTIGACIÓN SOCIAL .Autor@s: Corbetta,
Piergiorgio; Editorial: MC GRAW HILL. Madrid 2010.
 METODOS DE INVESTIGACION EN EDUCACION SOCIAL. Autoras: Ballesteros
Velázquez, B.; Lara Guijarro, E. Editorial UNED. Madrid. 2009
 GUIA PRÁCTICA PARA LA INVESTIGACION EN EDUCACION. Autor: Gento palacios,
S.; Editorial Sanz y Torres. Madrid, 2004.

 COMPETENCIAS BÁSICAS - EDUCACIÓN SECUNDARIA OBLIGATORIA (ESO) -

MINISTERIO DE EDUCACIÓN Y CIENCIA REAL DECRETO 1631/2006, de 29 de
diciembre, por el que se establecen las enseñanzas mínimas correspondientes a la
Educación Secundaria Obligatoria.
 Ministerio de Educación y Ciencia (BOE núm. 5, viernes 5 de Enero de 2007)ANEXO
I - COMPETENCIAS BÁSICAS

WEBGRAFIA

 Educarm.es: Portal de la consejería de Educación Región Murcia

 http://www.e-torredebabel.com/leyes/Eso-Loe/competencias-basicas-Eso-
LOE.htm
 Proyecto 2010-2012. Usos de las TICS en estudiantes universitarios y su
relación con las estrategias de aprendizaje y estudio.
http://www.delconocimiento.com.ar/?page_id=113
 Datos del Censo de los IES Murcia:
http://www.alde.es/encuentros/anteriores/viiieea/trabajos/g/pdf/garciagarcia.
pdf
 Encuesta sobre uso TICs profesorado:
http://centros5.pntic.mec.es/ies.jose.maria.pereda/pretic_archivos/encuesta_TIC_200
9-2010.pdf (ultima visita 3/6/13)
 http://dcb.fi-c.unam.mx/ProyectoTICS/contenidos/encuestaDCB_TICS-2012-1.pdf
(ultima visita 3/6/13)
 Datos de La Encuesta sobre Equipamiento y Uso de Tecnologías de
Información y Comunicación en los Hogares, TIC-H 2011, ha sido realizada por

46
 el Instituto Nacional de Estadística (INE) en colaboración con Institutos de
Estadística de cinco CCAA.: http://www.ine.es/prensa/np678.pdf
 Datos sobre usos informática educativa en España y en el mundo:
http://www.peremarques.net/dadainfo.htm (ultima vista 3/6/13)
 Web de la Agencia Española para la cooperación y el Desarrollo:
http://www.aecid.es/galerias/programas/Vita/descargas/Metodologia2.pdf (última
visita 1/6/12 a los 19,00 h)

ANEXOS:
ANEXO I:

 Convocatoria Oficial del Proyecto E-XXI. Resolución del Boletín Región Murcia
(BORM)

47
 ANEXO I: CONVOCATORIA
DEL PROYECTO
(BORM. RESOLUCIÓN 18/2/2013)

48