Evaluación y planificación de programas 39

(2013) 1-9

Listas de contenidos disponibles en SciVerse ScienceDirect

Evaluación y planificación de programas

jo ur n al ho m ep ag e: www .els evier .c om /lo cat e/ evalp r og
p lan

Evaluación con métodos mixtos en programas complejos: El plan nacional de

lectura en Portugal
Anto' nio Firmino da Costa, Elsa Pegado, Patrı'cia A'vila, Ana Rita Coelho *
Instituto Universitario de Lisboa (ISCTE-IUL), CIES-IUL, Lisboa, Portugal

A R T Í C U L O E N F ORMA A B S T R A C TO

Historia del artículo: Este artículo destaca las estrategias de evaluación de un programa complejo, que se basaron
Recibido el 25 de julio de 2012 esencialmente en un enfoque pluralista e integrador fundamentado en el uso de métodos mixtos. El
Recibido en versión revisada el 14 de programa analizado es el Plan Nacional de Lectura (PNL), una iniciativa de política pública que pretende
diciembre de 2012 Aceptado el 10 de
aumentar los niveles de alfabetización y los hábitos de lectura de la población portuguesa. Fue evaluado
febrero de 2013
a lo largo de su primera fase, que duró cinco años (2006-2011), utilizando un modelo de evaluación que
Disponible en línea el 16 de febrero de 2013
permitió supervisar y analizar de forma continua y sistemática la forma en que se desarrolló e
implementó este programa. Diversas operaciones metodológicas cuantitativas y cualitativas recogieron
Palabras clave:
información de un amplio abanico de fuentes y actores sociales, abarcando el vasto conjunto de
Métodos mixtos
Evaluación de proyectos promovidos por el PNR. Nos detenemos especialmente en las aportaciones de los métodos
programas Política de mixtos a la evaluación de los impactos del programa, y señalamos sus potencialidades cuando se trata de
alfabetización evaluar programas de amplio alcance, largos y complejos.
Fomento de la lectura
2013 Elsevier Ltd. Todos los derechos reservados.

1. Introducción Diversos autores han considerado que una integración meditada

Los programas a gran escala, de larga duración, multisituados
y con múltiples actores plantean retos específicos a sus
evaluadores. Este es el caso del Plan Nacional de Lectura (PNL),
una iniciativa de política pública cuyo objetivo es aumentar los
niveles de alfabetización y los hábitos de lectura entre la
población portuguesa. Desde su inicio, el PNL siempre ha
previsto su propia evaluación externa, que los autores del
presente artículo llevaron a cabo a lo largo de los cinco años de
la primera fase del programa (2006-2011). El sistema de
evaluación diseñado para el PNR permitió realizar un
seguimiento continuo y sistemático del desarrollo y la aplicación
del programa. Las estrategias metodológicas elegidas se basaron
esencialmente en un enfoque de métodos mixtos. Este artículo
presenta las operaciones metodológicas que se llevaron a cabo y
las aportaciones obtenidas mediante la mezcla de métodos. Se
hace especial hincapié en el potencial de los métodos mixtos
para evaluar programas complejos y de gran alcance.
La teoría y la práctica actuales de la evaluación tienden a ser
pluralistas, abarcando una variedad de perspectivas, dimensiones
analíticas, métodos, datos y actores sociales. Se entiende la
necesidad de aplicar múltiples formas de conocimiento en cada
evaluación, en la medida en que los problemas sociales son cada
vez más complejos.
* Autor correspondiente en: Instituto Universita' rio de Lisboa (ISCTE-IUL),
CIES-IUL, Edifı'cio ISCTE, Av. das Forc¸as Armadas, 1649-026 Lisboa, Portugal.
Tel: +351 210464018; fax: +351 217940074.
Dirección de correo electrónico: ana.coelho@iscte.pt (A.R. Coelho).
de las fuentes de datos, los procedimientos metodológicos y las
estrategias analíticas es decisiva para poder generar una
evaluación más sostenida y perspicaz (Greene, Benjamin y
Goodyear, 2001; Stern, 2005).
El enfoque de métodos mixtos, ampliamente empleado y
debatido en la práctica de la evaluación, forma parte de esta
tendencia. Los métodos mixtos se han generalizado
progresivamente en el ámbito de la evaluación, con una tendencia a
un uso más sistemático desde finales de la década de 1980
(Creswell y Clark, 2006). Un gran número de estudios de
evaluación recientes sobre diversos programas han incluido el
u s o de métodos mixtos (por ejemplo, Berry et al., 2009; Celik,
Abma, Klinge y Widdershoven, 2011; Giannakaki, 2005;
Grammatikopoulos, Zachopoulou, Tsangaridou, Liukkonen y
Pickup, 2008; Luo y Dappen, 2005; Protheroe, Bower y Chew-
Graham, 2007; Siraj-Blatchford, Sammons, Taggart, Sylva y
Melhuish, 2006; Townsend, Floersch y Findling, 2010).
El enfoque de métodos mixtos ofrece muchas posibilidades a
la práctica de la evaluación. Greene, Caracelli y Graham (1989)
desarrollaron una tipología de propósitos para los diseños de
evaluación de métodos mixtos, que incluye la triangulación, la
complementariedad, el desarrollo, la iniciación y la expansión.
Posteriormente, Greene et al. (2001) especificaron que la mejor
comprensión de los fenómenos sociales, que es el propósito
general de la mezcla de métodos, significa una mayor validez y
credibilidad de las inferencias, una mayor exhaustividad de los
resultados, una comprensión más profunda y una mayor
conciencia de los valores y la diversidad.
Una idea central compartida por investigadores y especialistas
en el campo de la evaluación es que la combinación de métodos
proporciona un conocimiento más amplio y profundo que
cualquier método por sí solo. Cuantitativo
0149-7189/$ - see front matter © 2013 Elsevier Ltd. Todos los derechos reservados.
http://dx.doi.org/10.1016/j.evalprogplan.2013.02.001
2 A.F. Costa et al. / Evaluación y planificación de programas 39 (2013)
1-9
portuguesa. El PNL comprende un conjunto de medidas destinadas
La investigación cualitativa conduce a una generalización de los
a promover el desarrollo de las competencias y los hábitos de
resultados y proporciona información relativamente
lectura, especialmente entre los niños en edad escolar y los jóvenes,
estandarizada. La investigación cualitativa tiene más
pero también en las familias, las comunidades locales y la población
probabilidades de captar las circunstancias y los entornos en los
en general.
que hablan las personas, poniendo de relieve las dimensiones
culturales y contextuales. La investigación con métodos mixtos
permite capitalizar lo mejor de cada componente y aprovechar
los puntos fuertes de cada método (Creswell & Clark, 2006;
Protheroe et al., 2007; Stufflebeam, 2001).
Los investigadores también han destacado que la
investigación con métodos mixtos incentiva la ampliación y
confrontación de los puntos de vista de los actores sociales y
permite verificar la convergencia o discrepancia entre los datos
obtenidos por los distintos métodos (Creswell & Clark, 2006).
La combinación de métodos cuantitativos y cualitativos en un
mismo estudio ayuda a comprender de forma más exhaustiva el
fenómeno analizado y a aumentar la validez del proceso de
investigación o evaluación (Olsen, 2004; Teddlie & Tashakkori,
2003).
Los métodos mixtos han sido recientemente objeto de
importantes revisiones metodológicas (Bryman, 2012; Small, 2011;
Tashakkori & Teddlie, 2010). Estas revisiones han analizado los
debates sobre los métodos mixtos y las formas en que se han
utilizado tanto en la investigación científica social como en los
estudios de evaluación. En los estudios de recopilación de datos
mixtos, se emplean diferentes métodos por diferentes razones,
pero también en secuencias variadas dentro del proceso general
de investigación y con diferentes niveles de anidamiento de las
múltiples fuentes de datos. Además de los estudios mixtos de
recopilación de datos, que combinan diferentes tipos de datos,
Small (2011) distingue los estudios mixtos de análisis de datos,
que combinan diferentes estrategias analíticas. Este tipo de
estudio también combina métodos en la fase analítica, aplicando
técnicas cuantitativas a datos cualitativos, o viceversa, o
fusionando diferentes enfoques o técnicas analíticas en un mismo
estudio (Rihoux & Ragin, 2009). Las formas de combinar
diferentes métodos son variadas, como ha demostrado Bryman
(2006, 2012) en su investigación sistemática sobre métodos
mixtos. Identifica y analiza diferentes formas de combinar la
investigación cuantitativa y cualitativa: triangulación,
compensación, exhaustividad, proceso, diferentes preguntas de
investigación, explicación, resultados inesperados, desarrollo de
instrumentos, muestreo, credibilidad, contexto, ilustración,
utilidad, confirmar y descubrir, diversidad de puntos de vista y
mejora.
Al igual que la investigación empírica en general, los estudios de
evaluación se han
combinando métodos de las formas más diversas y a veces
innovadoras, así como desde múltiples perspectivas. En la
evaluación de programas complejos, el enfoque de métodos
mixtos se ha aplicado, por ejemplo, en el marco general de las
evaluaciones impulsadas por la teoría. Para Chen (1990, 2006),
gran parte de los resultados potenciales de un programa deben
basarse en la teoría, extraída de la teoría existente de las ciencias
sociales y de los modelos de programa que indican cómo se
supone que funciona cada programa. Chen propone recurrir a la
teoría y a los conocimientos previos para construir modelos del
sistema de ejecución de programas, de forma que se produzcan
evaluaciones que aporten más información sobre cómo conseguir
los efectos deseados. Subraya la articulación de la teoría -que
debe sustentar y fundamentar el diseño, la ejecución y la
evaluación de los programas- con el uso de métodos mixtos.

2. El Plan Nacional de Lectura: un programa

completo y polifacético

El Plan Nacional de Lectura (PNL) se creó en 2006. Es una

iniciativa de política pública que pretende aumentar los niveles
de alfabetización y los hábitos de lectura entre la población
 hábitos de
A.F. Costa et al. / Evaluación y planificación deprogramas
lectura,39así como el placer de leer, en las edades más
(2013) 3
El PNR tiene una duración prevista de diez 1-9
años, divididos
tempranas (Kraaykamp, 2003; Rvachew & Savage, 2006). La
en dos fases de cinco años cada una. Es responsabilidad del
lectura guiada en el aula es la actividad clave y más continuada del
Ministerio de Educación, que actúa en articulación con otros
PNR. Consiste en reservar un tiempo específico para la lectura en el
departamentos gubernamentales, en concreto Cultura y
aula, durante el cual el profesor promueve el contacto directo entre
Asuntos Parlamentarios, y goza de un amplio consenso entre
los alumnos y los libros. Lectura guiada
los partidos.
El PNR surgió del reconocimiento de dos cuestiones que
debían abordarse conjuntamente. Por un lado, la importancia
fundamental que tiene en el mundo actual superar el retraso de
la sociedad portuguesa en comparación con los países más
desarrollados en el ámbito de las competencias y los hábitos de
lectura (OCDE, 2000-2011, 2001, 2004, 2007; OCDE y
Statistics Canada, 2000). Por otro lado, la necesidad de abordar
los nuevos retos de la era de la información relacionados con la
aparición de la lectura en formatos electrónicos y entornos
digitales. Las competencias y prácticas lectoras son cada vez
más complejas y están vinculadas a una gama más amplia de
formatos, contextos y objetivos (Cassany, 2008).
El PNR es un programa muy amplio y polifacético.
Evaluar un programa como éste plantea diversos retos que
están esencialmente relacionados con su complejidad a varios
niveles: (a) es un programa de escala nacional que abarca todo
el país; (b) actúa en diferentes contextos, ya sean más
circunscritos, como las escuelas, las bibliotecas y las
comunidades locales, o más difusos, como la sociedad
portuguesa en general; (c) se dirige a diferentes públicos,
incluidos los niños en edad escolar y los jóvenes, los adultos, las
familias y la población en general; (d) también se dirige a una
pluralidad de actores sociales cuya participación es crucial
para la consecución de los objetivos del Plan, como los
profesores, los bibliotecarios y los profesionales de la salud;
(e) engloba un gran número y diversidad de proyectos, con
diferentes grados de cobertura e intensidad, objetivos,
públicos y duraciones; (f) se caracteriza por un dinamismo
constante, ya que alía la continuidad a través de sus proyectos
básicos con la innovación y la diversificación, invirtiendo en
el desarrollo de nuevas iniciativas y proyectos que fueron
apareciendo de forma escalonada a lo largo de los cinco
primeros años (2006-2011).
Como cualquier otro programa, la acción y los resultados del
PNR se ven influidos por el contexto circundante y las
dinámicas que lo atraviesan, así como por otros procesos
simultáneos vinculados a él (Davies, 2004; Moran, Rein y
Goodin, 2006; Pawson, 2002). Además, algunos de los procesos
sociales en cuestión se prolongan durante largos periodos de
tiempo, por lo que la evaluación de sus efectos -o al menos de
algunos de ellos- es una tarea larga.
El Cuadro 1 enumera los principales proyectos e ilustra el
alcance y la amplitud del PNR. El Plan incluye un vasto
conjunto de proyectos de contenido variado, dirigidos a
distintos grupos destinatarios y en cuya ejecución participan
múltiples agentes sociales.
El PNR trata de responder al objetivo de promover la lectura
y desarrollar las capacidades de lectura y escritura tanto en las
escuelas como en las familias, así como en las comunidades
locales y otros entornos sociales. Por lo tanto, los grupos
destinatarios finales son la población en general, y en
particular los niños y jóvenes que asisten a los distintos
niveles de enseñanza y los adultos matriculados en acciones
de educación y formación. En otro nivel, el Plan se centra en
los grupos destinatarios intermedios, que impulsan las
acciones del PNR sobre el terreno, como los profesores, los
bibliotecarios escolares, los bibliotecarios públicos, los
profesionales de la educación de adultos, los profesionales de
la salud, los medios de comunicación y los agentes de la
comunidad local. Entre los efectos previstos del Plan figuran
su participación en las actividades de fomento de la lectura y
los cambios en sus prácticas.
El fomento de la lectura en la escuela es el área prioritaria de
actuación del PNR, en consonancia con los estudios que han
demostrado que es crucial desarrollar prácticas, destrezas y
4 A.F. Costa et al. / Evaluación y planificación de programas 39 (2013)
1-9
Cuadro 1
Principales proyectos del PNR (2006-2011).

Nombre del proyecto Descripción Grupos destinatarios Duración Cobertura

Fomento de la lectura en las escuelas

Proyectos de lectura guiada
Red de Bibliotecas Escolares ( SLN) La SLN trabaja conjuntamente con la
Seguir leyendo
Semana de la lectura
Concursos de lectura y escritura
Periodos de lectura diarios o semanales como - Alumnos: preescolar; 2006-2011 - Todas las escuelas
parte del públicas hasta
currículo escolar; fondos para que las escuelas primaria; primer ciclo de el 3er ciclo (9000)
secundaria
adquirir libros (1 ejemplar para 2 estudiantes); - Profesores y bibliotecarios - Alrededor de 1,2 millones
pautas de lectura y listas de estudiantes
libros recomendados
- Estudiantes 1996-. . . - Unas 2000 bibliotecas
escuelas, donde ha instalado bibliotecas por todo - Profesores - 82% de las escuelas
públicas
del país. Estas bibliotecas fomentan la lectura - Familias niños, desde el 1er
y la alfabetización en las escuelas. Apoyan la - Comunidades locales ciclo a secundaria
planificación, organización y ejecución de educación
actividades de lectura
Desarrollo de un entorno de lectura en - Alumnos: preescolar; 2008-2011 - Acceso escolar por
escuelas con una lectura atractiva y continua primaria; inferior y superior invitación
actividades que impliquen a todo el sistema secundario - 80 centros escolares en
educativo 2011
comunidad. A tal fin, fondos, directrices, - Profesores y bibliotecarios
formación y se proponen actividades
disponible
Una semana para celebrar la lectura con varios - Alumnos: preescolar; 2007-2011 - Accesible a todas las
escuelas
actividades relacionadas primaria; inferior y superior - Alrededor de 5000
escuelas
segundo involucrado
- Profesores y bibliotecarios
Organización de la lectura y la escritura - Alumnos: preescolar; 2006-2011 - Accesible a todas las
escuelas
concursos, con premios primaria; inferior y superior - 16 concursos en 2011
segundo

Fomento de la lectura en la familia

Lee y gana Un libro para cada nuevo alumno de primaria - Los estudiantes que comiencen 2008-2011 - Estudiantes en la
el 1er y
domicilio (se aplica a los ciclos 1º y 2º) 2º ciclo (primario) y escuelas privadas
- 580.000 libros regalados
Lectura de ida y vuelta Circulación de libros entre las escuelas de los - Niños en edad preescolar 2007-2011 - 126.000 niños; 4.000
alumnos
y el hogar, para leer en familia. Pre- - Familias guarderías
primaria y los niños de primaria reciben - Profesores y bibliotecarios
Sé leer mochilas para llevar libros, sugerencias para - Niños de primaria (1er 2009-2011 - más de 16.000
estudiantes;
lectura de grabaciones y folletos informativos ciclo) 2000 establecimientos
para los padres - Familias
- Profesores y bibliotecarios
Leer es bueno para la salud Los profesionales de la salud aconsejan la - Niños en edad preescolar 2008-2011 - Accesible a todos
lectura en familia
durante las consultas rutinarias de atención - Familias unidades sanitarias
sanitaria infantil.
Los centros de salud reciben cajas de - Profesionales sanitarios - 144 centros de salud y
folletos, muestrarios y otros materiales hospitales registrados

Fomento de la lectura en la comunidad e iniciativas transversales

Sitio web del PNR
Campaña nacional de lectura
comunicación, información sobre la
Recursos digitales
Lectura en Nuevas Oportunidades Fomento de la lectura entre los adultos
implicados
Red de Bibliotecas Públicas ( R B L ) La RPL está formada por bibliotecas de todo
el mundo.
Área de comunicación virtual para - Profesore 2006-2011 - Acceso universal
difundir información, directrices y s - Alrededor de 100.000
actividades y proporcionar material de - Familias visitas al mes
lectura - Sociedad
Anuncios en los medios de - Sociedad 2006-2011 - Dirigido a toda la
población
televisión y en foros públicos
Recursos digitales para leer, aprender a leer y - Alumnos: preescolar; 2007-2011 - Acceso universal
compartir la lectura primaria; segundo ciclo - Biblioteca Digital con un
inferior y superior total de cerca de 1 millón
- Profesores y bibliotecarios de visitas
- Adultos en centros de 2009-2011 - Accesible para toda la vida
aprendizaje permanente centros de aprendizaje
en el aprendizaje permanente. El PNR - Familias - 183 centros (40%)
sugiere actividades y proporciona listas de - Profesionales de la educación
libros recomendados de adultos
- Comunidades locales 1987-. . . - Bibliotecas en 261
municipios (80%)
país. Las bibliotecas públicas tienen sus
propias actividades de fomento de la
lectura y apoyan a las bibliotecas
escolares

pública que imparten niveles comprendidos entre el preescolar y el

la lectura se incorpora a los proyectos básicos de fomento de la
primer ciclo de secundaria, y sus aproximadamente 1,2 millones
lectura en los distintos niveles educativos.
de alumnos. En algunos casos también se cubre el nivel de
En general, los proyectos se dirigen al conjunto del sistema
secundaria superior e incluso los centros privados (en Portugal, el
educativo. El público prioritario son los 9.000 centros de la red
80% de los alumnos hasta secundaria A.F. superior están
Costa et al.
/ Evaluación y planificación de programas 39 (2013)
1-9
enseñanza pública y el 20% en la privada). Otros proyectos más
sectoriales, dado su carácter más intensivo y experimental, se
llevan a cabo en un número limitado de escuelas.
en la
5
Entre toda la gama de proyectos que promueve, el PNR
contempla la lectura en diversos formatos, no sólo en papel, sino
también digital. Algunos proyectos se centran más en el uso del
libro, pero otros se dirigen específicamente a incentivar la lectura
de periódicos y revistas, y también el uso de las últimas
tecnologías (audiovisual e internet). En la mayoría de los casos
hay una combinación de distintos tipos de formato. Algunos
asocian la lectura y la escritura con otras actividades, como la
expresión plástica, el teatro y las visitas a la biblioteca.
Las acciones de fomento de la lectura en el contexto familiar
parten de las escuelas, pero también de otras entidades, como las
unidades sanitarias.
6 A.F. Costa et al. / Evaluación y planificación de programas 39 (2013)
1-9
Cuadro 2 En primer lugar, se trata de una evaluación de gran alcance.
Atributos del PNR y de su evaluación. PNR
Dado que el PNR era un programa a escala nacional, era
Evaluación importante que la teoría que sustentaba la evaluación considerase
Amplia Amplia
la escala de la sociedad en su conjunto, teniendo en cuenta el
Escala nacional Abarca una amplia gama de instituciones contexto social y cultural y abarcando los distintos sistemas
(escuelas, bibliotecas, ayuntamientos, etc.) institucionales. Asimismo, la evaluación debía ofrecer una visión
Contexto social y cultural de conjunto de todo el programa, analizando el PNR como un
Opinión pública (a nivel nacional)
todo, como un programa nacional y no sólo como un conjunto de
Largo Continuo
Programa a largo plazo Operaciones metodológicas realizadas varias veces proyectos individuales con contextos y públicos diferentes. Uno
a lo largo de los años de los objetivos de la evaluación era conocer la opinión pública
Análisis evolutivo nacional sobre el PNR.
Los datos de evaluación se envían
En segundo lugar, la evaluación era continua. La larga
periódicamente a la Comisión del PNR
Complejo Integrativo
duración del programa exigía una evaluación continua y sensible
Dinámico, cambiante Combinación de métodos cuantitativos y a las transformaciones que se producían a lo largo de su vida. Así
cualitativos D i f e r e n t e s contextos Diversos ámbitos de evaluación pues, la evaluación implicó la realización periódica de
operaciones metódico-lógicas que se aplicaron varias veces a lo
largo de la vida del programa.
Gran número y Análisis de los diferentes proyectos e iniciativas años, y adoptó una perspectiva evolutiva.
diversidad de Adaptación flexible a los cambios y a los El hecho de que se tratara de una evaluación continua significaba
proyectos nuevos proyectos que era
Pluralidad de actores Perspectivas de múltiples actores se enumeran los atributos que caracterizan este modelo.
Diferentes públicos Información recopilada sobre diferentes grupos
destinatarios

Estas entidades sirven de enlace para los contactos con las

familias, tratando de animar a los padres a leer con sus hijos. En
el ámbito escolar, destacan los proyectos de intercambio de
libros entre la escuela y los domicilios de los alumnos. Fuera del
ámbito escolar, otro proyecto destacado es el de los profesionales
de la salud, que aprovechan las consultas rutinarias de salud
infantil para aconsejar a las familias que lean juntas.
Algunas iniciativas, como el sitio web del PNR, otros
recursos electrónicos (libros digitales, etc.) y las campañas de
sensibilización, son transversales a sus distintos grupos
destinatarios. Otro proyecto se dirige a los adultos que participan
en procesos de aprendizaje permanente.
Para todos sus proyectos, el PNR proporciona directrices,
sugerencias de actividades, información y material publicitario.
En algunos casos también se proporciona ayuda financiera, sobre
todo en el caso de los programas de lectura guiada, en los que el
dinero se utiliza para comprar lotes de libros. A lo largo de los
años, este apoyo financiero se ha ido ampliando gradualmente a
las escuelas.
El PNR se ha basado en las estructuras organizativas
existentes. Su aplicación en el contexto escolar ha implicado
directa y sistemáticamente a las bibliotecas escolares, que trabajan
para promover la lectura y la alfabetización en sus centros. La
Red de Bibliotecas Escolares ya está bastante consolidada
(Saunders, 2006) y es un pilar fundamental para el desarrollo
sostenido de los diversos aspectos del PNR en las escuelas, así
como para la difusión de actividades innovadoras en las mismas.
Los proyectos del PNR dirigidos a
se promueven en gran medida en colaboración con la Escuela
Red de Bibliotecas (Costa, Pegado, A' vila, & Coelho, 2010). Las
bibliotecas públicas también han tratado de apoyar el trabajo del PNR,
tanto a través de sus propias actividades de promoción de la lectura,
como apoyando a las bibliotecas escolares.

3. Modelo de evaluación

En el transcurso de los cinco años de la Fase 1, el PNR fue el

objeto de un sistema de evaluación externa que se diseñó y probó
durante el primer año del propio Plan (Costa, Pegado, & A' vila,
2008). Esto hizo posible un seguimiento continuo y sistemático
del desarrollo y los avances del Plan.
La evaluación de un programa como el PNR se enfrentó a
diversos retos, relacionados con la complejidad del PNR a varios
niveles. Intentamos responder a estos retos utilizando un modelo
amplio, continuo e integrador (Cuadro 2). En el cuadro siguiente
 A.F. Costa et al. / Evaluación y planificación de programas 39 (2013) 7
La idea era contribuir simultáneamente a la 1-9
producción de
conocimiento y a la rendición pública de cuentas, y ayudar a
los actores implicados a aprender y contribuir a la mejora
continua del Plan y a la mejora de sus resultados e impactos.
La idea era contribuir simultáneamente a la producción de
conocimiento y a la rendición pública de cuentas, y ayudar a
los actores implicados a aprender y contribuir a la mejora
continua del Plan y a la potenciación de sus resultados e
impactos.
En tercer lugar, fue una evaluación integradora, que
combinó análisis descriptivos con análisis que interpretan y
explican procesos, resultados e impactos, y que articuló
análisis de indicadores con análisis de actores. Hizo uso de un
pluralismo metodológico, en la línea sugerida por varias
obras de referencia en el ámbito metodológico (Stern, 2005).
El enfoque es pluralista en un triple sentido: (i) incluye la
diversidad de puntos de vista al acceder a las perspectivas de
los distintos actores que participaron a distintos niveles y de
distintas maneras en el PNR; (ii) recurrió a una variedad de
fuentes de información (preexistentes, pero también algunas
que se produjeron en el marco de la propia evaluación); y (iii)
en la operacionalización de distintos procedimientos de
recogida y análisis de la información, ya sea de tipo extensivo
y cuantitativo, ya sea intensivo y cualitativo. En esa
perspectiva analítica se cruzan informaciones y opiniones
recogidas por diferentes procedimientos de los diversos
actores que intervienen en el Plan, lo que permite producir
proposiciones de evaluación más sustentadas.
En términos teóricos, la evaluación del PNR tuvo en cuenta
los conocimientos obtenidos en otros proyectos de investigación
vinculados a programas de fomento de la lectura. Algunos
ejemplos son los estudios sobre proyectos de lectura de otros
países, como Success for All y Reading Stars en el Reino Unido
(Hopkins, Youngman, Harris, & Wordsworth, 1999; Premier
League, Football Foundation, National Literacy Trust & Arts
Council England, 2010) y Reading First en EE.UU. (Bean, Draper,
Turner, & Zigmond, 2010; Carlisle, Cortina, & Zeng, 2010;
Dole, Hosp, Nelson, & Hosp, 2010; Foorman, Petscher, Lefsky,
& Toste, 2010; Gamse, Jacob, Horst, Boulay, & Unlu, 2008), así
como otros programas de intervención en lectura, como los que
se llevan a cabo a través de asociaciones entre el hogar y la
escuela (Hindin & Paratore, 2007; Kelly-Vance & Schreck,
2002).
La evaluación del PNR abarcó varios ámbitos de
evaluación, que correspondieron al diseño, la
operacionalización, la implementación, los resultados y los
impactos del programa. Así, incluye análisis sobre la
pertinencia del Plan ante el panorama nacional de la lectura y
la alfabetización, sobre la operacionalización e
implementación de los distintos aspectos del Plan, y sobre
ítems vinculados a la determinación de los resultados e
impactos del PNR. Los niveles de análisis abordados por el
modelo de evaluación incluían no sólo el PNR en su conjunto,
sino también los distintos proyectos e iniciativas que lo
componen.
La evaluación también fue dinámica. A lo largo de la vida
activa del PNR, analizamos los cambios y supervisamos las
nuevas
8 A.F. Costa et al. / Evaluación y planificación de programas 39 (2013)
1-9

actividades que fueron surgiendo con el tiempo. Esto supuso Cuadro 3

Métodos de recogida de datos y fuentes de información.
considerar nuevos objetos y preguntas de evaluación y
diversificar nuestros procedimientos de recogida de información, Métodos Fuentes de información
incorporando nuevos contextos de observación y nuevos actores. Extenso/cuantitativo
Encuesta escolar Profesores
4. Métodos Bibliotecarios escolares
Encuesta en hospitales y centros de saludMédicos y enfermeros
Barómetro de opinión p ú b l i c a Población general (edad
Nuestro modelo de evaluación, con los atributos descritos a partir de 15 años)
anteriormente,
adopta un enfoque de métodos mixtos. Utiliza diferentes Encuestas internacionales de Estudiantes (15 años)
operaciones metodológicas y fuentes de información. También evaluación de competencias (PISA)
incorpora información procedente de un amplio abanico de (análisis secundario) Estudiantes (niños y
Encuestas sobre hábitos de lectura j ó v e n e s ) Padres/familia
actores sociales -promotores del Plan, miembros de sus
(análisis secundario) Población general
destinatarios y otras personas que intervienen en él de algún
modo, desde la propia Comisión del Plan hasta la población en
general, pasando por profesores y
Intensivo/cualitativo
estudiantes, bibliotecarios (bibliotecas escolares y públicas),
autoridades locales
Análisis de documentos Comisión PNR
funcionarios, padres, asociaciones y profesionales de toda una Oficina de la Red de Bibliotecas
serie de ámbitos relacionados con la lectura y el PNR. Escolares Diversas instituciones
Las operaciones metodológicas que realizamos pueden Entrevistas Comisión PNR
Oficina de la Red de Bibliotecas
agruparse en dos bloques: extensivas/cuantitativas e
Escolares Responsables de
intensivas/cualitativas. En el Cuadro 3 se enumeran las asociaciones vinculadas a la
operaciones metodológicas que realizamos y el lectura
fuentes de información. Casos
La diversidad de las operaciones metodológicas dispuestas por prácticos Profesores
el
El equipo de evaluación del PNR, en función de sus objetivos, Escuelas Bibliotecarios
Bibliotecas escolares Estudiantes
alcance y complejidad, las llevó a cabo a intervalos diferentes:
Bibliotecas públicas Padres
algunas cada año, otras cada dos años y otras de forma puntual Autoridades municipales Profesionales de la educación de
(cuadro 4). Adoptamos un diseño concurrente para la secuencia adultos Hospitales y centros de salud Adultos en centros de aprendizaje
de recogida de datos (Small, 2011). Las operaciones permanente Centros de aprendizaje p e r m a n e n t e Profesionales de la
metodológicas cuantitativas y cualitativas se llevaron a cabo salud
Funcionarios municipales
simultáneamente en
Observación directa de la Población general
cada año de evaluación. publicidad
El análisis documental se realizó a lo largo de los cinco años campañas

de la Fase 1 del PNR. Analizamos sistemáticamente el sitio web

del PNR, los documentos del programa, los informes de
ejecución y los
bases de datos de proyectos.
La evaluación del PNR incluyó un componente en el que
escuchamos a los organismos coordinadores del PNR y a una
serie de especialistas vinculados a la promoción de la lectura en
distintos ámbitos. En términos generales, el objetivo era conocer
sus opiniones sobre el PNR, su pertinencia y sus resultados e
impactos, así como recabar información sobre el grado y las
formas de implicación de estos actores en el programa.
El objetivo de la encuesta escolar era analizar de forma
exhaustiva y cuantificable la aplicación del PNR en las escuelas
(desde preescolar hasta el primer ciclo de secundaria) y recoger
las percepciones de los profesores sobre sus repercusiones (tanto
en las escuelas y los propios profesores como en los alumnos y
sus familias). La encuesta, estructurada para respuestas en línea,
se dirigió al universo de las escuelas y contenía un conjunto de
preguntas, agrupadas en cinco bloques: (a) caracterización de las
escuelas; (b) ejecución de las actividades; (c) resultados e
impactos; (d) apoyo y orientaciones proporcionadas por la
Comisión del PNR; y (e) evaluación general de
el Plan. El cuestionario se puso a prueba durante el primer año de
vida del Plan (2006/07). Se envió con la ayuda de una de las
oficinas centrales del Ministerio de Educación. La adhesión de
las escuelas fue muy significativa, con tasas de respuesta que, en
general, rondaron el 70%. A la encuesta de 2008 respondieron
828 centros, y a la de 2010, 809, con tasas de respuesta del 75%
y el 72%, respectivamente.
La idea de la encuesta a hospitales y centros de salud era
obtener información cuantitativa sobre sus actividades en el
marco del p r o y e c t o Leer es bueno para la salud. El
cuestionario se envió por correo electrónico a las 126 unidades
sanitarias que participaban en ese momento en el proyecto, y
respondieron 71 (56%).
Se realizaron diversos estudios de casos en escuelas,
bibliotecas escolares, bibliotecas públicas, ayuntamientos,
hospitales y centros de salud y centros de aprendizaje permanente.
Esto nos permitió conocer directamente cómo se ponía en
práctica el PNR y cómo se experimentaba sobre el terreno.
Permitió obtener información cualitativa

Cuadro 4
Calendario de la evaluación.

Operaciones metodológicas Evaluación del PNR por año

Año 1 Año 2 Año 3 Año 4 Año 5

2006/07 2007/08 2008/09 2009/10 2010/11

Análisis de documentos X X X X X
Entrevistas de la Comisión PNR, Escuela X X X X X
Oficina y funcionarios de la Red de Bibliotecas
de asociaciones
Encuesta escolar X X X
Encuesta en hospitales y centros de salud A.F. Costa et al. / Evaluación y planificación de programas 39 (2013) X 9
Casos prácticos 1-9 X X X
Barómetro de opinión pública X X X
Observación directa de las campañas de sensibilización X X X X X
10 A.F. Costa et al. / Evaluación y planificación de programas 39 (2013)
1-9

información que complementaba los datos cuantitativos de la Cuadro 5

Combinación de métodos cuantitativos y cualitativos en la evaluación de las
encuesta sobre los resultados e impactos del programa.
repercusiones del PNR.
A la hora de seleccionar los casos, hemos procurado garantizar la cobertura geográfica.
diversidad y abarcar tanto los distintos proyectos del PNR como Impacto de los programas Operaciones metodológicas
la
diferentes fases de su aplicación. En cada proyecto se seleccionó Adhesión y participación en Encuesta escolar
un conjunto de casos para su análisis. Así, abarcamos los programas de fomento de la Encuesta en hospitales y centros
proyectos de fomento de la lectura en la escuela, en la familia y lectura por parte de grupos de salud Análisis
destinatarios intermedios documental
en la comunidad. Diseñamos guías de entrevista adaptadas a (profesores, bibliotecarios, Entrevistas
cada proyecto y actividades relacionadas, y a cada tipo de grupo profesionales de la educación Estudios de
destinatario. También garantizamos la diversidad en cuanto a los de adultos, casos
grupos destinatarios a entrevistar, teniendo en cuenta las profesionales de la salud)

diferencias en cuanto a competencias lectoras, origen social y Intensificación y mejora de las Encuesta escolar
experiencia profesional. prácticas de fomento de la Encuesta en hospitales y centros de
Entre 2006 y 2010, llevamos a cabo 80 estudios de casos, que lectura salud Entrevistas a la Comisión del
entre los grupos destinatarios PNR, a la Oficina de la Red de
incluyeron visitas sobre el terreno, entrevistas, conversaciones
intermedios (profesores, Bibliotecas Escolares y a
informales, recopilación de documentos y observación de bibliotecarios, profesionales de la responsables de asociaciones
espacios y actividades. Entrevistamos a profesores, bibliotecarios educación de adultos, Casos prácticos
escolares, estudiantes y padres, bibliotecarios públicos y otro profesionales de la salud)
Encuesta escolar
personal de bibliotecas públicas, funcionarios municipales, Cambios de actitud (interés, Encuesta e n hospitales y centros
médicos y enfermeros, coordinadores de centros de aprendizaje disfrute) hacia la lectura entre de salud Barómetro de opinión
permanente, formadores y otros profesionales, y adultos en vías los grupos destinatarios finales pública
(estudiantes - niños y Casos prácticos
de cualificación, hasta un total de 250 personas. Los testimonios
j ó v e n e s ; padres; adultos y Observación directa de las campañas de
de estos agentes sociales constituyeron importantes elementos de población en general). sensibilización
evaluación, ya que reflejaban sus perspectivas sobre el PNR, que
Intensificación de las prácticas de Encuesta escolar
se recogieron de forma reflexiva y en profundidad en el contexto
lectura entre los grupos Encuesta en hospitales y centros
directo de su trabajo o actividades y su participación en el Plan. destinatarios finales (estudiantes - de salud Estudios de casos
El barómetro de la opinión pública se diseñó para evaluar lo niños y j ó v e n e s ; padres;
que pensaba la gente en general en todo el país sobre el Plan. El adultos y población en general).
instrumento en el que se basó el barómetro fue una pequeña Desarrollo de las capacidades de Encuesta escolar
encuesta basada en un cuestionario a la población residente en lectura de los grupos Encuesta en hospitales y centros de
Portugal mayor de 15 años. Esta encuesta se aplicó destinatarios finales salud Encuestas internacionales de
(estudiantes - niños y evaluación de competencias Estudios
repetidamente a muestras representativas (aproximadamente
j ó v e n e s ; padres; adultos y de casos
1.100 individuos), en 2007, 2009 y 2011, con el fin de supervisar población en general)
la variación de la visibilidad del Plan en la sociedad portuguesa,
junto con la evolución
en las percepciones y actitudes de la población con respecto a la La combinación de métodos cuantitativos y cualitativos aportó
la lectura y su fomento. importantes contribuciones a la evaluación del PNR, en concreto con
También observamos directamente las campañas de
sensibilización promovidas por el PNR, algunas de alcance
nacional y otras más localizadas. Esta observación se dirigió
esencialmente a analizar las formas en que los individuos
reaccionaban ante estas campañas.
La información recogida mediante las operaciones
metodológicas indicadas se sometió a los análisis cuantitativos
(univariantes y bivariantes) y cualitativos (temáticos e
interpretativos) adecuados.
Además de los estudios realizados por el equipo de evaluación
del PNR, otros estudios, organizados o no en el marco del Plan,
también aportaron una valiosa serie de datos que f u e r o n objeto
de análisis secundarios en el marco de nuestro trabajo de evaluación
global. Los resultados de algunos de estos estudios -a saber, las
encuestas sobre los hábitos de lectura de la población en general
(Santos, Neves, Lima, & Carvalho, 2007) y de la población escolar
en particular (Lages, Liz, Anto' nio, & Correia, 2007)-
constituyeron hitos para la caracterización de la situación inicial
antes de que el Plan se pusiera en marcha. Otros -por ejemplo,
PISA (Programme for International Student Assessment) (OCDE,
2001, 2004, 2007, 2010a), que es un estudio de la OCDE sobre las
competencias de alfabetización de los alumnos- también aportaron
elementos a la evaluación de los impactos del PNR. PISA ofrecía el
interés añadido de las comparaciones internacionales. El hecho de
que proporcionara una serie temporal que coincidía con la fase de
aplicación del PNR nos permitió analizar los resultados de PISA en
el marco general de nuestra evaluación de las repercusiones del
Plan.

5. Evaluar las repercusiones con métodos mixtos

respecto a la identificación y el análisis de sus impactos.
A.F. Costa El uso y planificación de programas 39 (2013)
et al. / Evaluación 11
de 1-9
Los métodos mixtos permitieron recoger información sobre
los múltiples impactos del Plan en la sociedad portuguesa a lo
largo del tiempo, y facilitaron su interpretación y
corroboración. Aunque el objetivo principal de este artículo
no es presentar los resultados de la evaluación, a continuación
se mencionan algunos de ellos en relación con las estrategias
metodológicas, explicando cómo los métodos mixtos
contribuyeron a obtener datos sobre distintos tipos de
impacto.
Recopilamos información con respecto a cinco dimensiones
de impacto (Costa, Pegado, A' vila, & Coelho, 2011). La primera
dos se refieren a las repercusiones del PNR en los grupos
destinatarios intermedios (profesores, bibliotecarios, padres,
profesionales de la educación de adultos, profesionales de la
salud), incluyendo: (i) la adhesión y participación de estos
actores en los programas de promoción de la lectura; y (ii) la
intensificación y mejora de sus prácticas de promoción de la
lectura. Los otros tres se refieren a los impactos del PNR en
los grupos destinatarios finales (estudiantes, ya sean niños o
jóvenes; padres; adultos y población en general), incluyendo:
(iii) los cambios de actitud hacia la lectura; (iv) la
intensificación de las prácticas lectoras; y (v) el desarrollo de
las competencias lectoras. En el cuadro 5 se exponen los
métodos utilizados para evaluar cada una de las dimensiones
de los impactos del PNR.
Por lo que respecta a la adhesión e implicación de los
grupos destinatarios intermedios en los programas de fomento
de la lectura del PNR, los resultados de la encuesta realizada
en las escuelas mostraron que existía una adhesión
generalizada a la aplicación de las prácticas recomendadas
entre los profesores y otros agentes, en particular los
bibliotecarios escolares. Los testimonios obtenidos en las
entrevistas realizadas en el marco de los estudios de casos
permitieron profundizar, aclarar e ilustrar estos resultados y
nos aportaron una mayor sensibilidad ante la diversidad de
situaciones.
La evaluación de este ámbito también incluyó el análisis de
documentos, en particular de los expedientes de los proyectos
y de los artículos sobre el PNR aparecidos en los medios de
comunicación. Las entrevistas a los gestores del PNR y a los
12 A.F. Costa et al. / Evaluación y planificación de programas 39 (2013)
1-9
los hábitos de lectura de los alumnos, sobre todo en el aula, pero
Los agentes que sirvieron de intermediarios entre ellos y las
también durante otros momentos y en otros lugares de la escuela.
personas que promueven las acciones sobre el terreno también
Según
nos permitieron recoger percepciones sobre la receptividad de
los agentes hacia los distintos proyectos del PNR.
En cuanto al tema de la intensificación y la mejora de las
prácticas de promoción de la lectura por parte de los grupos
destinatarios intermedios, la información que obtuvimos de la
encuesta escolar sugería que el PNR provocó un aumento de las
actividades de promoción de la lectura en prácticamente todas
las escuelas. También reveló que la innovación en las prácticas
de enseñanza fue uno de los efectos que más aumentó en
términos porcentuales entre e l primer y el cuarto año del PNR.
Además de una visión amplia y extensa de la situación, la
encuesta nos proporcionó una perspectiva evolutiva sobre una
serie de indicadores.
Al mismo tiempo, los estudios de caso nos permitieron
obtener una imagen social y culturalmente contextualizada de las
subjetividades y experiencias, lo que ayudó a interpretar
determinados indicadores. Comprendimos mejor la creación o el
fortalecimiento de dinámicas entre profesionales encargados de
promover la lectura, y las formas en que esto ocurría. Vimos con
mucha frecuencia relatos de profesores que expresaban su
satisfacción por el hecho de trabajar, por primera vez, en
articulación con otras disciplinas. También recogimos ejemplos
de las actividades y estrategias que se desarrollaban y empleaban
para exponer a los alumnos a la lectura. Tanto los elementos que
facilitaron el proceso como los que lo dificultaron se
comprendieron mejor como resultado de la observación y las
entrevistas que realizamos como parte de los estudios de caso, y
de las entrevistas a actores clave. Estas últimas proporcionaron
información sobre la forma en que se desarrollaban en el país las
dinámicas relacionadas con la lectura y el fomento de la lectura.
En este mismo ámbito, cabe destacar la utilidad de los
resultados de la encuesta realizada a hospitales y centros de
salud. Además de aportar datos sobre las prácticas relacionadas
con la PRN en el ámbito sanitario, fueron muy útiles a la hora de
seleccionar una muestra diversificada para determinados estudios
de casos. Permitieron abarcar un abanico más amplio de
situaciones.
En cuanto a las repercusiones en los grupos destinatarios
finales -más concretamente en el ámbito de las actitudes-, los
resultados de la encuesta escolar mostraron que casi todos los
profesores consideran que ha aumentado el interés de los
alumnos por los libros. El barómetro permitió comprobar que ha
aumentado la percepción de la importancia de la lectura entre los
jóvenes de 15 a 24 años. Entre otros aspectos, el barómetro
facilitó la comparación entre grupos sociales, y este grupo de
edad en particular destacó por ser aquel en el que el indicador
varió más a lo largo del tiempo. Las entrevistas de los estudios
de caso corroboraron esencialmente estos datos, proporcionando
información en profundidad sobre la forma en que los grupos
destinatarios finales experimentaban las actividades del programa
y se veían afectados positivamente por él. Por ejemplo, la
mayoría de los estudiantes entrevistados afirmaron estar
satisfechos con las actividades del PNR.
Tanto los estudios de casos como la observación directa de
las campañas de concienciación revelaron también el importante
impacto de la creación de una imagen gráfica que representara al
PNR entre grupos destinatarios como las familias. Esta imagen
estaba presente, por ejemplo, en los libros recomendados por el
Plan, que llevaban una pegatina con el logotipo del Plan. Las
entrevistas y la observación indican que esta pegatina del PNR
en los libros era ampliamente reconocida y asociada a su calidad
e idoneidad.
Los resultados de las encuestas y los estudios de casos
también nos permitieron comprender cómo habían evolucionado
las prácticas lectoras de los grupos destinatarios finales. En sus
respuestas a la encuesta, los profesores manifestaron tener una
opinión muy favorable del impacto del PNR en la intensificación de
 caso dedelprogramas
PNR, 39 como
(2013)la duración del programa fue larga, fue
13
El PNR también ha contribuido a que losA.F.1-9
Costa et al. / Evaluación y planificación
estudiantes utilicen
necesario obtener
más las bibliotecas, sobre todo las escolares. Del mismo modo,
nuestros estudios de casos mostraron que los bibliotecarios
escolares notaron un aumento significativo de los préstamos de
libros para leer en casa tras la puesta en marcha del PNR.
Algunos bibliotecarios escolares informaron de que el número
se había duplicado.
Esta intensificación de las prácticas de lectura también fue
evidente entre la población adulta, en particular los adultos de
los centros de aprendizaje permanente. Algunos de los
entrevistados en los estudios de casos afirmaron haber
redescubierto la lectura en el transcurso del proceso que
experimentaron en los centros y haber desarrollado prácticas
lectoras que antes no poseían. Los estudios de casos mostraron
los esfuerzos del personal del centro por orientar a los adultos
hacia material de lectura que respondiera a sus intereses y hacia
el desarrollo de hábitos de lectura.
En cuanto a los efectos sobre las competencias lectoras, el
uso de métodos mixtos es especialmente relevante, ya que hasta
ahora no se han aplicado en el sistema escolar portugués
instrumentos normalizados para evaluar el rendimiento en
lectura, como pruebas de fluidez o comprensión lectora. En el
ámbito de la competencia lectora, cabe destacar el análisis de
los resultados del estudio PISA dirigido a alumnos de 15 años
(muestras representativas). Según sus resultados, hubo una
variación positiva en el rendimiento medio en el dominio de la
lectura en Portugal entre 2000 y 2009. Portugal fue uno de los
seis países de la OCDE en los que mejoró el rendimiento en
lectura en 2009. Esta evolución significa que Portugal se sitúa
ahora al lado de países como Suecia, Francia y el Reino Unido y
dentro de la media de la OCDE (OCDE, 2010a). El propio
informe internacional sobre PISA 2009 afirma que el PNR fue
uno de los factores que contribuyeron a esta mejora (OCDE,
2010b, p. 69).
Los resultados de nuestra investigación, extraídos de
encuestas y estudios de casos, convergen con los datos de
PISA. En la encuesta que se aplicó en 2010, la gran mayoría de
las escuelas señalaron una mejora significativa en las
competencias de lectura y escritura de sus alumnos. Los
testimonios de los profesores entrevistados revelan la idea de
que el trabajo realizado en el marco del PNR se reflejó
positivamente en la motivación de los alumnos por la lectura y,
por tanto, en sus resultados escolares. Los profesores y los
responsables de las asociaciones relacionadas con la lectura se
mostraron optimistas de cara al futuro, en la medida en que no
sólo se están cubriendo los primeros años de escolarización,
sino que se les está dando prioridad. Se espera que la
continuación de estas prácticas tenga efectos sostenidos en las
competencias de los alumnos a largo plazo.

6. Lecciones aprendidas

La combinación de métodos cuantitativos y cualitativos

contribuyó notablemente a la evaluación de las repercusiones
del PNR. La integración de métodos mixtos es útil para los
evaluadores e investigadores que se ocupan de la evaluación de
programas amplios y complejos. Una estrategia metodológica
de este tipo puede ayudarles a cumplir los requisitos de una
evaluación satisfactoria.
Una de las principales ventajas de combinar métodos es la
complementariedad de la información. La recopilación de
información cuantitativa normalizada permite la generalización
y el análisis de patrones sociales. La recopilación de
información cualitativa pone de relieve las dimensiones
culturales y contextuales y revela los significados que los
actores atribuyen a las situaciones, acciones y procesos. La
combinación de estos distintos tipos de información permite
comprender e interpretar mejor las repercusiones de los
programas.
La mezcla de métodos facilita la construcción de una
perspectiva evolutiva de los impactos de los programas. En el
14
elementos de evaluación
produciendo a lo largo de
A.F. Costa et al. / Evaluación y planificación de programas 39 (2013)
1-9
Chen, H. T. (1990). Theory-driven evaluations. Thousand Oaks, CA: Sage.
sobre los cambios que se fueron Chen, H. T. (2006). A theory-driven evaluation perspective on mixed-methods research.
los años, identificando y explicando Investigación en las escuelas, 13(1), 75-83.

así las tendencias. Las operaciones cuantitativas y cualitativas

ayudan a identificar e interpretar tanto las repercusiones
inmediatas de los proyectos como las que sólo se hacen
evidentes al cabo de varios años. La devolución periódica de los
resultados de la evaluación puede ser útil para el proceso
continuo de mejora de los programas.
El enfoque de métodos mixtos favorece el análisis
contextualizado de los impactos de los programas. En la
evaluación de los impactos del PNR consideramos tanto la escala
nacional como la local. La combinación de operaciones
metodológicas cuantitativas y cualitativas permite un uso
integrado de la información en estas diferentes escalas. Esto, a su
vez, permite no sólo esbozar un marco general de los impactos de
los programas, sino también identificar e interpretar las
especificidades a la luz del contexto social y cultural en el que se
desarrollan.
El proceso de cartografiar la diversidad de proyectos,
situaciones, actores y puntos de vista también se beneficia de la
combinación de métodos. En la evaluación de programas
complejos, como el PNR , es necesario abarcar una amplia gama
de proyectos e iniciativas, que en algunos casos se ponen en
marcha gradualmente. También es importante recabar información
de y sobre distintos actores sociales, y buscar diferentes
opiniones y puntos de vista. La integración de información
procedente de operaciones metodológicas tanto cuantitativas
como cualitativas garantiza la pluralidad en estos niveles.
La combinación de métodos, que produce las aportaciones que
hemos descrito, facilita la corroboración de los resultados. Esto fue
especialmente cierto en lo que respecta a la recopilación y el
análisis de información sobre las repercusiones del PNR en las
prácticas, actitudes, representaciones, conocimientos,
competencias y procesos. Este enfoque metodo- lógico refuerza
la reflexividad de los actores y permite la identificación de las
mejores prácticas.

Agradecimientos

Esta investigación ha contado con el apoyo de la Oficina de

Estadística y Planificación Educativa del Ministerio de Educación
portugués. El contenido de este artículo representa las opiniones
de los autores y no refleja necesariamente las opiniones oficiales
de la Oficina de Estadística y Planificación Educativa . Los
autores desean agradecer a los revisores anónimos sus
comentarios constructivos y sugerencias sobre una versión
anterior de este artículo.

Referencias

Costa, A. F., Pegado, E., & A' vila, P. (2008). Avaliac¸a˜o do Plano Nacional de Leitura.
Lisboa: GEPE - Ministe'rio da Educac¸a˜o.
Costa, A. F., Pegado, E., A' vila, P., & Coelho, A. R. (2010). Avaliac¸a˜o do programa Rede de
Bibliotecas Escolares. Lisboa: RBE - Ministe'rio da Educac¸a˜o.
Costa, A. F., Pegado, E., A' vila, P., & Coelho, A. R. (2011). Avaliac¸a˜o do Plano Nacional
de Leitura: os primeiros cinco anos. Lisboa: GEPE - Ministe'rio da Educac¸a˜o.
Bean, R., Draper, J., Turner, G., & Zigmond, N. (2010). Leer primero en Pensilvania:
Achievement findings after five years. Journal of Literacy Research, 42(1), 5-26
http://dx.doi.org/10.1080/10862960903583244.
Berry, T. R., Spence, J. C., Plotnikoff, R. C., Bauman, A., McCargar, L., Witcher, C., et
al. (2009). A mixed methods evaluation of televised health promotion advertisements
targeted at older a d u l t s . Evaluation and Program Planning, 32, 278-288.
Bryman, A. (2006). Integración de la investigación cuantitativa y cualitativa: ¿Cómo
se hace?
Qualitative Research, 6, 97-113 http://dx.doi.org/10.1177/1468794106058877.
Bryman, A. (2012). Investigación con métodos mixtos: Combinando investigación
cuantitativa y cualitativa. En A. Bryman (Ed.), Social research methods (4ª ed., pp.
627-652). Oxford: Oxford University Press.
Carlisle, J. F., Cortina, K. S., & Zeng, J. (2010). Reading achievement in Reading First
Schools in Michigan. Journal of Literacy Research, 42(1), 49-70 http://dx.doi.org/
10.1080/10862960903583236.
Cassany, D. (2008). Pra'cticas letradas contemporaˆneas. Me' xico: Rı'os de Tinta.
Celik, H., Abma, T. A., Klinge, I., & Widdershoven, G. A. M. (2011). Evaluación del proceso
de un programa de formación en diversidad: El valor de una estrategia de método
mixto. Evaluación y planificación de programas, 35, 54-65.
Creswell, J. W., & Clark, V. L. P. (2006). Designing and conducting A.F.mixed
Costamethods
et al. / Evaluación
research. y planificación de programas 39 (2013) 15
1-9
Thousand Oaks, CA: Sage.
Davies, P. (2004). ¿Es posible un gobierno basado en pruebas? Ponencia
presentada en el 4º coloquio anual de colaboración campbell.
Dole, J. A., Hosp, J. L., Nelson, K. L., & Hosp, M. K. (2010). Segundas opiniones sobre
la iniciativa Reading First: El punto de vista de Utah. Journal of Literacy
Research, 42(1), 27-48 http:// dx.doi.org/10.1080/10862960903583277.
Foorman, B. R., Petscher, Y., Lefsky, E. B., & Toste, J. R. (2010). Reading First en
Florida: Cinco años de mejora. Journal of Literacy Research, 42(1), 71-93 http://
dx.doi.org/10.1080/10862960903583202.
Gamse, B. C., Jacob, R. T., Horst, M., Boulay, B., & Unlu, F. (2008). Reading first
impact study final report. Washington, DC: Departamento de Educación de
Estados Unidos. Obtenido de http://ies.ed.gov/ncee/pdf/20094038.pdf
Giannakaki, M. S. (2005). Using mixed-methods to examine teachers' attitudes to
educational change: The case of the Skills for Life strategy for improving
adult literacy and numeracy skills in England. Educational Research and
Evaluation, 11(4), 323-348 http://dx.doi.org/10.1080/13803610500110687.
Grammatikopoulos, V., Zachopoulou, E., Tsangaridou, N., Liukkonen, J., & Pickup,
I. (2008). Applying a mixed method design to evaluate training seminars within
an early childhood education project. Evaluation & Research in Education, 21(1),
4-17 http://dx.doi.org/10.2167/eri417.0.
Greene, J. C., Benjamin, L., & Goodyear, L. (2001). The merits of mixing methods in
evaluation. Evaluation, 7(1), 25-44
http://dx.doi.org/10.1177/1356389012220
9504.
Greene, J. C., Caracelli, V. J., & Graham, W. F. (1989). Toward a conceptual
framework for mixed-method evaluation designs. Educational Evaluation and
Policy Analysis, 11(3), 255-274 http://dx.doi.org/10.2307/1163620.
Hindin, A., y Paratore, J. R. (2007). Supporting young children's literacy learning
through home-school partnerships: The effectiveness of a home repeated-reading
i n t e r v e n t i o n . Journal of Literacy Research, 39(3), 307-333
http://dx.doi.org/ 10.1080/10862960701613102.
Hopkins, D., Youngman, M., Harris, A., & Wordsworth, J. (1999). Evaluation of the
initial effects and implementation of success for all in England. Journal of
Research in Reading, 22(3), 257-270 http://dx.doi.org/10.1111/1467-
9817.00089.
Kelly-Vance, L., y Schreck, D. (2002). The impact of a collaborative family/school
reading programme on student reading r a t e . Journal of Research in Reading,
25(1), 43-53 http://dx.doi.org/10.1111/1467-9817.00157.
Kraaykamp, G. (2003). Socialización literaria y preferencias de lectura: Effects of
par- ents, the library, and the school. Poetics, 31, 235-257
http://dx.doi.org/10.1016/ S0304-422X(03)00033-40.
Lages, M. F., Liz, C., Anto' nio, J. H. C., & Correia, T. S. (2007). Os estudantes e a leitura.
Lisboa: GEPE - Ministe'rio da Educac¸a˜o.
Luo, M., y Dappen, L. (2005). Mixed-methods design for an objective-based evalua-
tion of a magnet school assistance project. Evaluation and Program Planning, 28,
109-118.
Moran, M., Rein, M., & Goodin, R. E. (Eds.). (2006). The Oxford handbook of public policy.
Oxford: Oxford University Press.
OCDE. (2000-2011). Panorama de la educación. París: OCDE.
OCDE. (2001). Conocimientos y capacidades para la vida: Primeros resultados de
PISA 2000. París: OCDE. OCDE. (2004). Aprender para el mundo de mañana:
Primeros resultados de PISA 2003. París: OCDE. OCDE. (2007). PISA 2006,
competencias científicas para el mundo de mañana. París: OCDE.
OCDE. (2010a). Resultados de PISA 2009: Lo que los alumnos saben y pueden hacer.
Rendimiento de los alumnos en lectura, matemáticas y ciencias (Vol. I). París: OCDE.
OCDE. (2010b). Resultados de PISA 2009: Tendencias de aprendizaje. Cambios en el
rendimiento de los alumnos desde 2000 (Vol. V). París: OCDE.
OCDE y Statistics Canada (2000). La alfabetización en la era de la información:
Informe final de la encuesta internacional sobre alfabetización de adultos. París:
OCDE.
Olsen, W. (2004). Triangulación en la investigación social: Qualitative and
quantitative meth- ods can really be mixed. En M. Holborn (Ed.),
Developments in sociology (pp. 103- 121). Ormskirk: Causeway Press.
Pawson, R. (2002). Política basada en la evidencia: En busca de un método.
Evaluation, 8(2), 157- 181 http://dx.doi.org/10.1177/1358902002008002512.
Premier League, Football Foundation, National Literacy Trust y Arts Council
England. (2010). Estrellas de la lectura de la Premier League: Annual review
2010. Obtenido de http:// www.literacytrust.org.uk
Protheroe, J., Bower, P., & Chew-Graham, C. (2007). El uso de metodología mixta en
la evaluación de intervenciones complejas: Identifying patient factors that
moderate the effects of a decision aid. Family Practice, 24, 594-600.
Rihoux, B., & Ragin, C. C. (2009). Métodos comparativos configuracionales: Qualitative
Comparative Analysis (QCA) and related techniques. Thousand Oaks, CA: Sage.
Rvachew, S., & Savage, R. (2006). Fundamentos preescolares de la adquisición temprana
de la lectura.
Pediatría y Salud Infantil, 11(9), 589-593.
Santos, M.L.L, Neves, J. S., Lima, M. J., & Carvalho, M. (2007). A leitura em Portugal.
Lisboa: GEPE - Ministe'rio da Educac¸a˜o.
Saunders, J. (2006). La Red de Bibliotecas Escolares en Portugal. School Libraries in
View22 Obtenido del sitio Web: http://www.cilip.org.uk/get-involved/special-
interest-groups/school/ publications/journal/sliv-22/pages/sliv22e.aspx.
Siraj-Blatchford, I., Sammons, P., Taggart, B., Sylva, K., & Melhuish, E. (2006).
Educa- tional research and evidence-based policy: The mixed-method approach
of the EPPE project. Evaluation & Research in Education, 19(2), 63-82.
Small, M. L. (2011). Cómo realizar un estudio de métodos mixtos: Tendencias
recientes en una literatura en rápido crecimiento. Annual Review of Sociology,
37, 57-86 http://dx.doi.org/ 10.1146/annurev.soc.012809.102657.
Stern, E. (2005). Evaluation research methods (4 vols). Londres: Sage.
Stufflebeam, D. L. (2001). Modelos de evaluación. New Directions for Evaluation,
89, 7-98 http://dx.doi.org/10.1002/ev.3.
16 A.F. Costa et al. / Evaluación y planificación de programas 39 (2013)
1-9
Teddlie, C., & Tashakkori, A. (2003). Major issues and controversies in the use of mixed
methods in the social and behavioral sciences. En A. Tashakkori & C. Teddlie (Eds.),
Handbook of mixed methods in social and behavioral research (pp. 3-50). Thousand
Oaks, CA: Sage.
Tashakkori, A., y Teddlie, C. (Eds.). (2010). Handbook of mixed methods in social and
behavioral research (2ª ed.). Thousand Oaks, CA: Sage.
Townsend, L., Floersch, J., & Findling, R. L. (2010). The conceptual adequacy of the drug
attitude inventory for measuring youth attitudes toward psychotropic medica- tions: A
mixed methods evaluation. Journal of Mixed Methods Research, 4(1), 32-55
http://dx.doi.org/10.1177/1558689809352469.
Anto' nio Firmino da Costa es profesor de Sociología en el Instituto Universitario de
Lisboa (ISCTE-IUL), investigador en el Centro de Investigaciones y Estudios en
Sociología (CIES-IUL) y director del Observatorio de las Desigualdades (Observato'
rio das Desigualdades). Sus principales áreas de investigación son Desigualdad Social,
Alfabetización y Educación, Ciencia y Sociedad, y Culturas Urbanas.
Elsa Pegado es investigadora del Centro de Investigaciones y Estudios Sociológicos
(CIES- IUL) y profesora ayudante de Sociología en la Universidad Lusófona de
Humanidades y Tecnologías (ULHT). Sus principales áreas de investigación son
Evaluación de Políticas Públicas, Pobreza y Exclusión Social y Sociología de la Salud.
Patrı'cia A' vila es profesora de métodos de investigación social y sociología en el
I n s t i t u t o Universitario de Lisboa (ISCTE-IUL) e investigadora en el Centro de
Investigaciones y Estudios en Sociología (CIES-IUL). Sus principales a'reas de
investigacio' n son la alfabetizacio' n, la educacio' n y la ciencia y la sociedad.
Ana Rita Coelho es investigadora del Centro de Investigaciones y Estudios en
Sociología (CIES-IUL), del Instituto Universitario de Lisboa (ISCTE-IUL). Sus áreas
de investigación son modos de vida y políticas públicas, alfabetización y educación, y
ciencia y sociedad.