04-Capítulos 1 Al 3

Anlisis cientimtrico, conceptual y metodolgico de la investigacin espaola sobre evaluacin
de programas educativos (1975/2000).

3

CAPTULO I. INVESTIGACIN EVALUATIVA
Y EVALUACIN DE PROGRAMAS.

Una de las actividades bsicas de todo profesional de la
educacin es disear y aplicar programas para dar
respuesta a la cada vez ms numerosa demanda
educativa por parte de la sociedad...
... Por tanto el diseo y evaluacin de programas es una
actividad fundamental, hoy da, del profesional de la
educacin.
(Cols, 2000)

1.1. INTRODUCCIN.

En cualquier mbito social, en cualquier Sistema Educativo, no puede
entenderse una intervencin sin el establecimiento de un programa, de unas lneas
claras de actuacin ordenadas temtica y temporalmente que ofrezcan coherencia
y sentido a dicha intervencin (Forner y Latorre, 1996). Sobre todo
encontrndonos en un periodo de reordenacin educativa en el que hay que
justificar poltica, econmica y socialmente las actuaciones de intervencin.

Captulo I. Investigacin evaluativa y evaluacin de programas.

4
En el mismo sentido, puede entenderse lo necesario de la evaluacin de
las intervenciones pedaggicas para promover su eficacia, mejora y justificar su
rendimiento. La evaluacin que desde la L.G.E.
1
de 1970 ha recibido una atencin
creciente, no solo como medio a travs del cual mejorar el rendimiento de los
estudiantes sino tambin de todo el proceso educativo, como criterio de su calidad
(Prez Carbonell et al., 1999).

En 1987, con el proyecto de Reforma de la enseanza, la evaluacin
sigue considerndose en trminos semejantes, aunque se ampla su mbito
introducindose la evaluacin de todas las personas involucradas en la accin
educativa. Es un periodo en el que se producen grandes cambios sociales que
generan innumerables demandas del proceso evaluativo. Siendo en estos
momentos la LOGSE
2
el mejor marco para fomentar y favorecer la Evaluacin
Educativa y de forma ms concreta la Evaluacin de Programas.

En el mismo sentido que se plantea la necesidad del diseo e
implementacin de planes y programas como medio de intervencin educativa, lo
hace la evaluacin de stos, por lo que podra decirse que la evaluacin de
programas es, en la actualidad, inherente al hecho educativo.

Los contenidos de este primer captulo aluden a la gnesis de los estudios
evaluativos y a la delimitacin de evaluacin de programas como campo
disciplinar en la investigacin educativa.

En su primer epgrafe se realiza una introduccin a la caracterizacin de
la Investigacin Educativa (IE, en adelante) en general, y particularmente, a
aquella orientada hacia un sentido evaluativo de las realidades analizadas.
Haciendo mencin especfica a los estudios de sntesis, como mecanismos de
obtencin de visiones globales acerca de un campo de investigacin.

1
L.G.E.: Ley General de Educacin.
2
L.O.G.S.E.: Ley de ordenacin general del sistema Educativo.

5
A continuacin, se describe como los procesos de investigacin
evaluativa aplicados al campo de la evaluacin de programas han alcanzado unas
caractersticas especficas en cuanto a su objeto de estudio y los medios para
estudiarlo, de forma que se ha constituido en un campo disciplinar diferenciado de
la I.E.

Este campo de investigacin posee ciertas peculiaridades derivadas de la
convergencia en l de numerosas disciplinas pedaggicas, que han determinado su
desarrollo. Las relaciones que mantiene con ellas son analizadas en un epgrafe
especfico de este captulo.

Captulo que finaliza, con una visin en sentido diacrnico y sincrnico,
del desarrollo histrico de la disciplina de la evaluacin de programas en el
mbito internacional y en el contexto especfico espaol.

1.2. LA INVESTIGACIN EDUCATIVA, LA INVESTIGACIN
EVALUATIVA Y LOS ESTUDIOS DE SNTESIS.

El origen de la investigacin educativa se halla estrechamente vinculado
al nacimiento de la pedagoga como disciplina cientfica (Cols y Buenda, 1998),
que por reivindicar tal carcter pretende generar conocimientos cientficamente
aceptables de los hechos educativos.

Pero este establecimiento de una ciencia de la educacin como
disciplina social estuvo asociado a numerosas dificultades, como el abandono de
una perspectiva moral, para adoptar una adecuacin positivista en la que se hiciera
posible la objetivacin y por tanto un carcter emprico consustancial al mtodo
cientfico. Y tambin, el abandono de los planteamientos, metafricos y
simbolistas, basados en la descripcin de la accin educativa; por la posibilidad de
actuacin y transformacin con vistas al desarrollo y mejora.


6
Esta incorporacin del mtodo cientfico-experimental al estudio de la
educacin, lo relaciona Garca Hoz (1978) con la transferencia desde disciplinas
afines como la medicina y la psicologa, al intentar desvelar cuestiones
relacionadas con temas educativos.

Desde este particular origen, el enraizamiento y desarrollo de la
investigacin educativa no se produce simultneamente en los distintos contextos,
sino que ha dependiendo en gran cuanta de las condiciones socio-polticas
particulares.

As, en Estados Unidos la investigacin pedaggica ha alcanzado un alto
nivel de desarrollo, siendo precisamente all dnde en 1882 apareci el primer
seminario con el propsito de crear una pedagoga de carcter cientfico.

Bartolom (1984) sintetiza los logros generales de la investigacin
educativa norteamericana en la introduccin de instrumentos de medida y
evaluacin, desde los tests de rendimiento a los ms recientes de carcter
ecolgico. Desde la incorporacin del mtodo experimental a los estudios
pedaggicos (Campbell y Stanley, 1982), la introduccin de nuevos diseos
mejor adaptados a las peculiares condiciones de los contextos educativos,
cuasiexperimentales de Cook y Campbell (1979) y de caso nico de Kratochwill
(1978).

Y tambin, desde una perspectiva funcional, la mejora del tratamiento de
datos mediante la incorporacin de mtodos multivariados apoyados por los
soportes informticos; o la potenciacin de la difusin de la informacin a travs
de diversos soportes como la realizada por la A.E.R.A.
3
, que sintetiza, recopila y
publica las principales aportaciones empricas en el mbito educativo. Todo ello
en un fuerte mbito de apoyo econmico y poltico.

3
A.E.R.A.: American Educational Research Association.

7
En Europa, sin embargo, la investigacin educativa se ha realizado en
general de una forma mucho ms aislada, con escaso reconocimiento e
insuficiente colaboracin de las instituciones oficiales, de una manera dispar.

La tradicin investigadora sobre educacin se remonta, en Gran Bretaa,
a la creacin del Instituto de Pedagoga de la Universidad de Londres en 1931.
Destacando entre sus contribuciones ms relevantes, por medio de la creacin de
centros de prestigio y la relevancia de ciertas figuras, o la publicacin de revistas
de prestigio mundial como British Journal of Educational Tecnology, Research
into Higher Education, Educational Research o British Journal of Educational
Psychology, la construccin de tests, la exploracin de la inteligencia y
delimitacin de diferencias individuales, el diagnstico de aptitudes escolares o la
prediccin del rendimiento, tomando como factor las implicaciones sociales.

En Alemania, la investigacin educativa tiene sus orgenes en los
institutos psicolgicos que han tratado aspectos diferenciales y psicolgicos del
desarrollo, siendo de gran importancia las aportaciones metodolgicas cualitativas
y la filosofa humanista, bajo el liderazgo de la escuela de Franckfurt y autores
como Habermas y Dilthey.

Cabe citar, en el mbito francfono, el prolfico pasado en la primera
veintena del siglo veinte, de las instituciones educativas belgas, como la
Universidad de Bruselas. Y de las francesas a partir de los aos cuarenta.

Desde la revolucin bolchevique de 1923, en Rusia, se hace patente la
preocupacin por la pedagoga, que lleva a fundar en 1943 la Academia de las
Ciencias Pedaggicas. Enmarcndose todos sus estudios en planes quinquenales
con planes de evaluacin, centrados en el estudio de los contenidos curriculares,
de mtodos de enseanza y formacin del profesorado.

En el caso de Espaa, desde el primer tercio del siglo veinte se aprecia
una sensibilizacin hacia la investigacin educativa, plasmada en los aos treinta

8
con la creacin de las secciones de pedagoga en las Universidades, o con la
edicin de la Revista Espaola de Pedagoga una dcada ms tarde.

Si embargo no es hasta los movimientos polticos, econmicos y sociales
de los aos sesenta, que culminan con el establecimiento de una poltica educativa
regida por la Ley General de Educacin de 1970, cuando se comienza a hacer
hincapi en ella coordinndola, asignndole fondos y creando instituciones como
los ICEs
4
encargados de llevarla a cabo.

La investigacin en estos centros se caracteriza por su conexin con la
formacin del profesorado y la bsqueda de nuevas soluciones a los problemas de
la sociedad y de la educacin, el predominio del enfoque descriptivo, apoyado
especialmente en la encuesta, observacin y elaboracin de pruebas y materiales,
con una introduccin creciente de mtodos explicativos, predictivos y
experimentales. Aunque de importancia, Tejedor, Castro y Mnguez (1988)
caracteriza estas aportaciones de irregulares y declinantes.

Con posterioridad, el perfeccionamiento del profesorado, de los niveles
bsicos y secundarios, pasa a los CEPs
5
. Asignndole tambin a stos funciones
de investigacin aplicada, que Escolano (1982) describe con una clara orientacin
prctica y corte didctico, con la adopcin de una metodologa eminentemente
empirista, realizada por equipos de investigacin y con una proyeccin de planes
en el mbito nacional.

Este tipo de actuaciones para el desarrollo de la investigacin
pedaggica, en los niveles primarios y secundarios del sistema educativo, segn
Tejedor, Castro y Mnguez (1988) apenas ha tenido incidencia efectiva en la
realidad educativa, ni influencia en las estructuras administrativas, ni generado
innovaciones en las instituciones.

4
I.C.E.: Instituto de Ciencias de la Educacin, asociados a las Universidades.
5
C.E.P.: Centros de Profesores.

9
La labor investigativa en educacin ha quedado sobre todo relegada al
mbito universitario, por medio de trabajos que Cols y Buenda (1998)
describen como trabajos personales, no de equipo; con temticas que pudieran
tener gran importancia cientfica y el uso de avanzadas y sofisticadas
metodologas, pero con escaso inters prctico; y con una escasa continuidad, que
dificulta la generalizacin y profundizacin de lneas de investigacin.

Todos estos graves problemas de la investigacin educativa, han tratado
de solucionarse en las ltimas dcadas del siglo veinte, por medio de su
reconsideracin conceptual y metodolgica, y el desarrollo de nuevos
planteamientos sobre la autntica finalidad de la investigacin y la relacin que
sta debe guardar con la prctica educativa.

La dinamizacin de todas estas propuestas debe comenzar por la
formacin y desarrollo profesional, en el que las tcnicas y mtodos de
investigacin ocupan un papel relevante. Formacin que debe comenzar por los
estudios universitarios sobre educacin, alcanzando tambin a la prctica
profesional.

De forma concreta deben plantearse concepciones y aproximaciones
metodolgicas ms adecuadas a la realidad educativa actual, que permitan un
mayor impacto de los hallazgos.

En este sentido, Cols y Buenda (1998), describen la evolucin
metodolgica en los ltimos aos hacia la ampliacin de las formas de proceder,
una investigacin orientada a la toma de decisiones que va ganando terreno a la
investigacin orientada a la obtencin de decisiones. Y la apertura de nuevos
campos de investigacin tales como la investigacin evaluativa, y la potenciacin
de la investigacin-accin como forma de vincular la innovacin y la prctica
escolar.


10
Estas nuevas prcticas profesionales, generadas desde los intereses y
necesidades de los propios profesionales, conciben la investigacin como una
actividad prxima a la prctica educativa e imprescindible en el que hacer
profesional, desde nuevos planteamientos metodolgicos, como es el caso de las
perspectivas cualitativas o de la investigacin-accin.

Perspectiva desde la que a los profesionales de la educacin, como queda
patente en los nuevos diseos curriculares de las enseanzas, se les asigna un
nuevo rol en la participacin de construccin del conocimiento cientfico.
Conocimiento para solucionar problemas y promover el desarrollo de la calidad
educativa.

Es desde esta perspectiva, desde dnde puede entenderse la autntica
finalidad de la investigacin en el campo educativo, en los trminos que
especfica Hernndez Pina (1998a), como el estudio de los mtodos, los
procedimientos y las tcnicas utilizadas par obtener un conocimiento, una
explicacin y una comprensin cientfica de los fenmenos educativos, as como
para solucionar los problemas educativos y sociales. Orientndose ms hacia
planteamientos prcticos, que a la generacin y resolucin de problemas tericos.

Tambin en la organizacin y financiacin de la investigacin se observa
tambin una mayor diversificacin de centros y programas y la ampliacin de los
canales de financiacin y difusin, con el incremento de los seminarios y
congresos y la generacin de fuentes de publicacin de gran importancia, como es
el caso de la Revista de Investigacin Educativa.

Sin embargo, en general, la investigacin educativa sigue adoleciendo de
las limitaciones de las disciplinas incipientes o en proceso de reestructuracin.
Slo una enorme seriedad en las fundamentaciones tericas, mayor rigor en los
procesos metodolgicos, aumento de los canales y estilos en la comunicacin
harn generar la suficiente consistencia cientfica como para ofrecer mayor

11
credibilidad y mejorar las posibilidades de difusin (Slavin, 1997; Klein, 1997 y
Pogrow, 1998).

La caracterizacin de la investigacin evaluativa, entendiendo sta como
aquella que posee una finalidad valorativa, en cualquiera de los objetos de estudio
a los que pueda referirse, sigue como investigacin educativa un proceso similar
de implantacin y desarrollo.

Arnal et al. (1992), muestran estas coincidencias entre la investigacin
educativa general, la investigacin evaluativa y de forma especfica la referida al
campo de la evaluacin de programas, en la que se puede apreciar tambin un
periodo de profundos cambios.

La investigacin evaluativa bebe entenderse como un proceso riguroso,
controlado y sistemtico de recogida y anlisis de informacin valida y fiable para
tomar decisiones acerca del programa educativo; y as aumentar la racionalidad de
las decisiones acerca de la puesta en marcha, sobre su desarrollo y evaluacin
evitando la excesiva dependencia de las decisiones polticas (Tejedor, Garca-
Varcrcel y Rodrguez, 1994).

En su aspecto general es similar a cualquier proceso investigativo,
distinguindose ms por los objetivos que por los mtodos empleados; por lo que
podramos entenderla como una mera extensin, con ciertas caracterizaciones
propias, hacia un campo prctico concreto. Sin embargo, siendo algunas sus
diferencias, como seala De la Orden en 1985, conviene resaltar ciertas
caractersticas propias de la investigacin evaluativa:

En todo el proceso de investigacin evaluativo, desde la seleccin
del problema hasta la aplicacin de una metodologa concreta, viene acompaado
de juicios de valor acerca del programa.


12
La complejidad de su objeto de conocimiento y los contextos en
que se desempean hacen enormemente complejo tanto la formulacin de
hiptesis precisas, como un completo control de las variables intervinientes,
limitndose el uso de los diseos con carcter ms experimental.

La recogida de datos queda condicionada a la viabilidad del
proceso y posibilidades de los sujetos intervinientes.

La replicacin, dadas las peculiares e irrepetibles caractersticas de
la ejecucin, es prcticamente imposible.

La toma de decisiones sobre la paralizacin, sustitucin o
repeticin del programa no queda en manos del evaluador; adaptndose al igual
que el informe a las exigencias de quien lo financia.

Tambin, Tejedor, Garca-Varcrcel y Rodrguez (1994), caracterizan la
investigacin evaluativa, en una comparacin con la investigacin educativa
general, en algunos aspectos fundamentales:

Mientras el propsito de la investigacin es el incremento del
conocimiento para sacar conclusiones generalizables a otros mbitos, el proceso
de evaluacin de programas es de intervencin en la toma de decisiones de
problemas prcticos limitados a un grupo de referencia.

En la investigacin el inters personal o cientfico delimita el
problema sobre el que se lanzan unas hiptesis explcitas. Por medio de un
proceso replicable, basado en un diseo preestablecido y una metodologa
usualmente cuantitativa, el investigador controla y manipula las variables para
obtener datos de una muestra aleatorizada, e intentar alcanzar de manera
autnoma un conocimiento objetivo.


13
Sin embargo, en la investigacin evaluativa, son numerosos los aspectos
que pueden venir asignados por condicionantes externos, como son el tema y/o el
grupo de inters, impidiendo un muestreo aleatorizado. Es un proceso
difcilmente replicable el que sin hiptesis explcitas, a travs de diseos
flexibles en los que difcilmente se van a poder controlar las variables, y por
medio de metodologas diversas, el investigador intenta asignar criterios de valor
a un determinado programa.

En otros aspectos, mientras la investigacin encuentra su validez
internamente, externamente y mediante constructos tericos, se interpretan los
datos de acuerdo a reglas definidas, adaptando los informes a la comunidad
cientfica; la evaluacin de programas, basa su credibilidad en la propia utilidad
que permita valorar el programa, adaptando sus interpretaciones a los gestores y
usuarios.

Precisamente en periodos de transicin como stos, en los que han
variado las cosas en evaluacin educativa, su uso se ha profesionalizado e
institucionalizado (Madaus, 1983), han aumentado sus objetos, mtodos y
audiencias (Stufflebean, 1987), y se proponen la elaboracin de estudios de
evaluacin o metaevaluacin (Scriven, 1974; Stufflebean, 1974,1978; Cook y
Gruder, 1978).

1.3. LA EVALUACIN EDUCATIVA Y LA EVALUACIN DE
PROGRAMAS COMO CAMPO DISCIPLINAR.

El origen de la palabra evaluacin se encuentra en valore, del latn tasar,
valorar o atribuir valor a una cosa.

En la lengua espaola muestra, por tanto, una clara descendencia
etimolgica al considerar sinnimos los trminos valorar y evaluacin. Aunque
pese a tal sinonimia, existen matices y diferencias en su aplicacin, puesto que
incluso atendiendo a cuestiones de valoracin social, se estima ms el trmino

14
valorar. En otras lenguas, como la inglesa, se realizan distinciones entre trminos,
como evaluation o assessment, si se evalan objetos o personas.

Como en su origen, no existe una definicin nica de evaluacin de
programas, pues la aceptacin de una, presupone la aceptacin de algunas
consideraciones bsicas que determinan a sta. As puede ser entendida, como el
proceso de determinar en qu medida los objetivos de un programa se han
cumplido (Tyler, 1950), suponer la estimacin del mrito de un objeto (Scriven,
1967) o poner a examen los resultados o efectos de un programa (Levin, 1975).

Funcionalmente, la evaluacin de programas comienza a ser una
preocupacin dentro del mbito educativo en los aos setenta, como medio par
valorar la eficacia de los programas de accin social que se estaban llevando a
cabo y comprobar la consecucin de sus objetivos previstos.

Este accin de estimacin o juicio de valor de un determinado programa
exige un proceso contextualizado de anlisis normativo cientfico, en el que se
recoja, analice e interprete informaciones validas y fiables que conduzca a la
evaluacin de dichos procesos y a la toma de decisiones (Mateo, 1991). Es decir,
una evaluacin debera poseer los rasgos caractersticos de una investigacin
cientfica.

As, la evaluacin de programas hay que entenderla como un proceso
sistemtico de obtencin y anlisis de informaciones significativas en las que
basar juicios de valor sobre estos programas. De forma ms especfica (Fernndez
Ballesteros, 1996) como un conjunto de conocimientos tericos y metodolgicos,
con mbito de aplicacin en las Ciencias Sociales, para dar respuesta a la
necesidad de enjuiciamiento de ciertas decisiones polticas cuyo fin es el beneficio
de la intervencin social. Pero dicho mecanismo debe suponer una secuencia
dinmica de diseo, aplicacin, evaluacin, re-diseo (Alvarez Rojo y Hernndez
Fernndez, 1997).


15
Este proceso puede llegar a ser enormemente complejo, como seala
Cols (1993) ya que en la medida que un programa de actuacin pblica o
carcter social sea ms ambicioso, ms complejas son las realidades a analizar que
adems se desarrollan dinmicamente en sistemas interdependientes.

La gran diversidad de propuestas y planteamientos hace de ste un campo
difcil de concretar y conceptualizar, resaltando cada autor los aspectos que le
resultan ms relevantes. Aunque buscando patrones de similitud podemos
encontrar dos tipos bsicos de apreciaciones: los que ponen hincapi en la
dimensin tcnica y los que ponen el nfasis en los aspectos ideolgicos, aunque
ni siquiera estas caracterizaciones extremas pueden considerarse tan distintas
puesto que realmente no son opuestas ni contradictorias, resultando en el fondo
complementarias y de importancia ms sustancial, dependiendo del momento del
proceso evaluativo: seleccin del contenido del programa, toma de decisiones,
implicacin de los participantes, recogida y anlisis de la informacin, etc.

En esta diversidad de propuestas sobre evaluacin de programas existen
algunos aspectos claves que se han pretendido enmarcar en unos parmetros o
estndares claros que la delimitasen (Sanders, 1985; Stufflebean, 1987; Joint
Committe, 1998). Aunque este esfuerzo de definicin ha recibido numerosas
crticas (Cronbach et. al., 1980; Stake, 1981; Talmage, 1982 y Guba, 1988), por
considerarlo como una restriccin conceptual del campo disciplinar.

Aunque se parta de una gran diversidad epistemolgica y/o
metodolgica, de forma comn, la evaluacin se entiende un proceso dinmico, en
el que aplicando procedimientos cientficos, se recogen informaciones vlidas y
fiables, se realizan juicios de valor para tomar decisiones contextualizadas sobre
un determinado programa.

Su finalidad puede entenderse desde la medicin de la implementacin y
resultados de un programa (Rutman, 1980) a la toma de decisiones para una
intervencin (Cronbach, 1982), que puede servir a una intervencin poltica

16
(Talmage, 1982). As podremos definir, la evaluacin de programas como un
conjunto de conocimientos tericos y metodolgicos con mbito de aplicacin en
las ciencias sociales, pretende dar respuesta a la necesidad de enjuiciamiento de
ciertas decisiones polticas cuyo fin es el beneficio de la intervencin social
(Fernndez-Ballesteros, 1996). Pero no slo describe los resultados de la
evaluacin, en otro sentido tambin pretende explicar los hallazgos encontrados
(relacin entre variables, incidencia de unas en otras,...) construyendo su propio
campo de conocimiento (Tejedor, Garca-Varcrcel y Rodrguez, 1994).

Para Alvira (1991), algunas de las circunstancias que han contribuido a
conformar este campo de actuacin seran:

Mayor interrelacin entre las actividades de evaluacin y
programacin. Si en una perspectiva clsica, las actividades evaluativas se
posponan a la planificacin y desarrollo del programa, en la actualidad son
procesos paralelos.

La evaluacin de programas desde una perspectiva metodolgica es
investigacin evaluativa. Es investigacin, con todos los condicionamientos
epistemolgicos, metodolgicos y tcnicos; centrada en el carcter evaluativo.

En la evaluacin de programas se produce una mayor implicacin
de las partes interesadas, tanto de quienes patrocinan el trabajo, como de los
potenciales beneficiarios.

En la evaluacin de programas pueden integrarse estrategias de
investigacin muy diversas y complementarias, siendo la naturaleza del programa
y la habilidad del evaluador, la que determine una o varias opciones.

En los ltimos aos la evaluacin de programas, aunque de forma rpida
y desordenada, se ha desarrollado como campo disciplinar con gran potencial de
crecimiento en el futuro (Municio, 1992). Es un campo disciplinar porque en l

17
precipitan mltiples disciplinas (Psicologa, pedagoga, sociologa,...). Y ha ido
perfilndose como un campo concreto, delimitado por una terminologa propia, un
conjunto de herramientas conceptuales y analticas especficas, y unos procesos y
fases tambin especficos.

En su desarrollo se ha tendido a consolidar una teora de sntesis
(Shadish, Cook y Levinton, 1991), la realizacin de evaluaciones sofisticadas y la
publicacin de gran cantidad de libros, artculos e informes de evaluacin.

Algunos autores como Cols (1993), Gairn (1991) o Prez Juste (2000)
sealan aspectos bsicos de caracterizacin general la investigacin y evaluacin
de programas y que facilitan su delimitacin como campo disciplinar especfico:

La evaluacin de programas no debe entenderse como un proceso
uniforme con un modelo nico de evaluacin o con una nica metodologa.

La evaluacin de programas se ajustar inicialmente a la idea que
se tenga de la evaluacin. La concepcin ms amplia es aquella que entiende que
evaluacin es el conocimiento emprico del mrito o valor de las actividades y
objetivos de un programa.

Ir referida a un programa o conjunto sistemtico de actuaciones
que se ponen en marcha para alcanzar unos objetivos.

Junto a la funcin educativa, el programa debe estar cumpliendo
otras funciones de carcter ideolgico o poltico.

Planificacin y evaluacin deben pensarse simultneamente.
Considerando incluso la evaluacin de necesidades como un tarea previa a la
planificacin de un programa.


18
Los modelos de evaluacin deben ser al mismo tiempo modelo de
anlisis y de toma de decisiones. Detallando la planificacinevaluacin de un
programa para facilitar las tareas de un control posterior.

El evaluador debe estar familiarizado con el objeto de la evaluacin
procurando, mediante el contacto y la negociacin previa, la participacin de los
interesados, ya que aportan validez al proceso y garanta de utilidad y
aplicabilidad a los resultados. Aunque en algunos diseos no se incluye de forma
explcita o se duda de su utilidad, el problema actual no se plantea en trminos de
admitir o rechazar la participacin de los interesados (gestores y destinatarios) en
el proceso evaluativo, sino en delimitar la forma y el grado en que debe realizarse.

Los criterios o indicadores son bsicos en la evaluacin as como el
establecimiento de estndares o grados aceptables de xito.

La evaluacin se entiende como proceso, confirindole un carcter
dinmico. El concepto concreto de evaluacin que se adopte marcar la eleccin
de posibles modelos tericos y enfoques metodolgicos a seguir, as como otros
aspectos a considerar (tema, actividades, rol del evaluador, audiencia o informes).

Deben aplicarse procedimientos cientficos, que incluyan
estrategias de diseo, recogida y anlisis de informacin rigurosos y
sistematizados, lo que no excluye en modo alguno la diversidad de enfoques
metodolgicos (tcnicas de recogida y anlisis de datos o estrategias de toma de
decisiones). Tampoco el carcter cientfico del proceso evaluador debe hacernos
concebir dicho proceso como una actividad exclusivamente terica, mera
aplicacin de los procedimientos cientficos.

Actualmente el nfasis de la tarea evaluativa se pone en la emisin
del juicio de valor, a partir de una adecuada recogida y anlisis de la informacin
pertinente.


19
Deben superarse las opciones excluyentes de metodologas
especficas, la evaluacin de programas permite utilizar de forma conjunta y
coordinada metodologas distintas.

No todos los diseos son vlidos, debiendo responder a criterios de
validez y utilidad. Adems de a diversas tipologas dependiendo del momento o
fase del programa que quiera analizarse: de necesidades, de proceso, de
producto...

Debe tener como proyeccin la toma de decisiones, lo que implica
otorgarle una utilidad a la evaluacin.

Se remarca el carcter contextualizado, en el sentido que ha de
estar condicionada por las circunstancias y ha de ajustarse a las condiciones reales
en las que se aplica el programa objeto de la evaluacin.

Hay que prestar especial atencin a los efectos no previstos, ya que
pueden deberse tanto a la potencialidad del programa como a su incorrecta
aplicacin. El xito del programa no se mide nicamente por la consecucin de
los objetivos ya que hay programas que no los formulan o que se plantean desde
otras perspectivas menos funcionales.

Todos estos aspectos dejan patente la delimitacin de la investigacin
sobre evaluacin de programas como un campo de la investigacin educativa con
caractersticas especficas diferenciales. No sin dificultades, como sealan Cols y
Rebollo (1993), por las escasas realizaciones sistemticas y el predominio de
determinados enfoques. Siendo una consecuencia de este panorama la dificultad
de su conceptualizacin, encontrndose mltiples definiciones en la que cada
autor destaca lo que ms le interesa.


20
1.4. RELACIN ENTRE LA EVALUACIN DE PROGRAMAS
Y LAS DISCIPLINAS PEDAGGICAS.

La Evaluacin de Programas podra ser uno de los campos disciplinares
del mbito educativo que reciben un mayor nmero de influencias de diversas
disciplinas pedaggicas. Esta multiplicidad produce variadas interacciones entre
ellas.

As en un sentido, stas ofrecen su corpus axiolgico como principios de
ordenacin de las realizaciones terico prcticas delimitando consistentes diseos
de investigacin y facilitan procesos metodolgicos, aportando instrumentos de
recogida y anlisis de informaciones vlidos y fiables. En definitiva, vierten toda
una serie de principios que orientan la investigacin en E.P.

Pero a su vez todas stas disciplinas requieren de la E.P. que sta centre
su objeto de conocimiento en contenidos especficos del inters particular,
mediante aproximaciones y realizaciones investigativas acordes con los principios
terico prcticos especficos de cada una de ellas.

Por ello es comn que en la investigacin sobre E.P. se recurran a teoras
propias de la Orientacin o de la Didctica, se empleen procesos examinados en
la Metodologa de la Evaluacin o se apliquen instrumentos caractersticos de
multitud de disciplinas pedaggicas. Centrando a su vez su objeto de
conocimiento en aspectos del inters de cada una de estas disciplinas.

Esta actuacin de diversas reas en un mismo mbito puede entenderse
como un rasgo de riqueza disciplinar o plantear contradicciones si en lugar del
empleo de aproximaciones complementaristas se acude a absurdas posturas
solapadas y/o excluyentes.

El origen de la evaluacin de programas se encuentra muy vinculado a la
Orientacin Educativa, puesto que los modelos de intervencin por programas

21
comienzan a utilizarse en EEUU en los aos sesenta, introducindose su
implementacin en Espaa en los aos ochenta con la implementacin de los
servicios de orientacin educativa (lvarez Rojo y Hernndez Fernndez, 1997).
Es por ello que es sta un rea de conocimiento habitual en las temticas
evaluativas.

La E.P. como campo disciplinar eminentemente emprico y aplicado, en
el que vierten sus conocimientos numerosas disciplinas, ha sido un caldo de
cultivo excelente en el que plantear diseos y mtodos de la ms diversa ndole
desde perspectivas complementarias y eclcticas, por lo que tambin ha sido foco
de atencin para la Metodologa de la Investigacin. Prueba palpable de ello es el
papel crucial que juegan los Departamentos de Mtodos de Investigacin como
filiacin institucional de los autores ms importantes en este campo.

Las intervenciones por programas limitados y las consiguientes
evaluaciones de stos, ofrecen tambin una oportunidad excelente a la Didctica
de considerar y experimentar diversos aspectos. Es por ello que son comunes las
evaluaciones de programas que centran gran parte de su inters en cuestiones
especficas, como la Didctica de Idiomas, la Didctica para la atencin a N.E.E.
o las Didcticas para la intervencin en contextos sociales desfavorecidos.

Pero quizs una de las relaciones ms paradjicas de la E.P. es la que
establece con la Teora de la Pedagoga. Puesto que pese a ser la E.P. un campo de
experimentacin prctica no se ha desarrollado especialmente como centro de
ensayo de las teoras pedaggicas, sino que ms bien se ha limitado a emplear un
puado relativamente pequeo de ellas como justificacin epistemolgica de sus
realizaciones. Es precisamente sta una de las debilidades de este campo,
denotando las en ocasiones difciles relaciones entre la terica y la prctica
educativa real y aplicada, suponiendo una prdida de oportunidades por parte de
los investigadores educativos.


22
Para completar esta demarcacin, desde una perspectiva diacrnica, se
considera su gnesis y desarrollo histrico como disciplina en el siguiente
epgrafe.

1.5. LA EVALUACIN DE PROGRAMAS EN EL MBITO
INTERNACIONAL. DESARROLLO HISTRICO.

El empleo de programas como estrategia de intervencin educativa tiene
una historia relativamente reciente, en la que es posible constatar la evolucin de
la propia concepcin de los que es un programa y cmo debe ser su evaluacin,
como los avatares de su coexistencia con el resto de la investigacin educativa.

Como en muchos otros campos de la investigacin educativa, la
evaluacin de programas encuentra a sus pioneros en EEUU, donde desde finales
del siglo XIX el sentido de la evaluacin era entendido como sinnimo de
aplicacin de test para marcar diferencias individuales dentro de un grupo
normativo, con poca relacin con la evaluacin de programas (Guba y Lincoln,
1985).

En los aos 30 del siglo XX, se comienzan a promover modelos
centrados en la experimentacin para comprobar la relacin entre objetivos/
resultados. Focalizando la evaluacin su atencin en la deteccin de diferencias
individuales, mediante puntuaciones especficas y comprobar el nivel de
cumplimiento de parmetros previamente establecidos. Consolidndose esta etapa
entorno a los aos cincuenta, en los trabajos de Tyler, que hacen referencia a los
objetivos del programa y a la descripcin de la medida.

Para algunos autores es aqu dnde comienza y se consolida la
Evaluacin de Programas, tal y como hoy se entiende, en el entorno de las
actividades de evaluacin de objetivos desarrolladas por Tyler. Modelo que ha
tenido una gran influencia posterior debido a su lgica bsica, y a que era
cientficamente aceptable y fcil de aplicar (Carballo, 1990).

23

En los planteamientos de este autor, el principal papel de la evaluacin
consista en verificar la consecucin de los objetivos propuestos de forma previa a
la realizacin de la actividad. Y cuanto ms claramente estaban especificados
estos objetivos, ms sencilla resultara su evaluacin, mediante la medidas pre y
post programa.

La sustitucin de estos modelos basados en las concepciones taylerianas
se produce precisamente por su reduccionismo, ya que la consideracin exclusiva
de la consecucin de objetivos no parece un factor para medir el xito global de
un programa.

En los aos sesenta con la promulgacin de la Ley E.S.E.A. en la que se
concede gran importancia a los mecanismos evaluativos dentro del propio proceso
educativo, se comienza a hablar de programas, sobre todo en el mbito de la
orientacin psicoeducativa, en su doble faceta profesional de guidance y
counseling. Siendo en esta segunda mitad del s. XX, cuando se produce un gran
auge de la disciplina, evolucionando de la etapa de inocencia al realismo.

Las nuevas pretensiones no alcanzan tan slo a aspectos como la medida,
sino que adems se pretende describir e interpretar; aunque todava bajo el
predominio de la evaluacin como investigacin positivista, mediante el empleo
de procedimientos estandarizados para la recogida y el anlisis de datos
orientados a la toma de decisiones.

Durante los aos 70, la evaluacin centra su objeto y atencin en los
programas formativos, existiendo una gran demanda y voluntad de rendir cuentas
sobre el mrito y efectividad de los programas educativos accountability; y
realizndose un gran esfuerzo por garantizar la exactitud de las medidas que se
toman, mediante el establecimiento de unas claras pautas metodolgicas, que
como las ofrecidas por Campbell y Stanley (1982), siguen orientando en cierto
sentido, la investigacin evaluativa actual.

24

Incluso durante este periodo, se produce una profesionalizacin de la
evaluacin, y se elaboran normas para la evaluacin de programas y materiales
(Joint Committee on Standars for Educational Evaluation, 1981/1998).

Este desarrollo culmina en EEUU, Canad y algunos pases europeos
durante los aos ochenta, cuando comienza a producirse un asentamiento
cientfico y la aceptacin social de la evaluacin de programas educativos. Y
aunque se cuestiona la viabilidad de los estudios experimentales en el mbito de
las Ciencias Sociales, se abren nuevas perspectivas que suponen la incorporacin
de nuevos modelos evaluativos y de nuevas estrategias metodolgicas, tanto
cuantitativas (diseos correlacionales, series, tcnicas de clasificacin,...) como
cualitativas.

Algunas de estas mltiples concepciones, propuestas desde una
pluralidad de perspectivas, han sido en ocasiones consideradas exageradamente
como modelos (Alvira, 1991), sin tener el rigor y validez propio de stos. Siendo
ste uno de los principales handicaps en el desarrollo de la disciplina como campo
cientfico.

Hoy en da, nadie duda de lo complejo del objeto de estudio de las
Ciencias Sociales, de las diversidades metodolgicas de su investigacin y los
problemas que plantea su evaluacin. Y tampoco, que esta situacin encuentra
algunas dificultades al no existir una concepcin paradigmtica lo suficientemente
fuerte y unitaria que oriente la teora y sustente la prctica investigativa y
evaluativa de forma diferencial a otras. Las posibilidades de la evaluacin de la
investigacin como proceso de mejora, se ven empaadas por una escasa
mentalidad y concienciacin evaluativas.

A escala internacional, la situacin actual se define por la utilizacin de
mltiples modelos que se aplican a distintos contenidos (necesidades, diagnstico,
productos o impacto), la multidisciplinaridad (anlisis etnogrfico y estadstico), y

25
la multidimensionalidad en objetivos, en perspectivas y niveles de valoracin
(validez, credibilidad, costes, rentabilidad, aplicabilidad). En sntesis, mltiples
metodologas, mltiples impactos, mltiples formatos de informa,... Es una
multiplicidad de lo mltiple (Cols y Rebollo, 1993, citando a Corner).

Una consecuencia de este panorama es sin duda la dificultad de
conceptualizar la evaluacin de programa como campo, encontrndose mltiples
definiciones en la que cada autor destaca lo que ms le interesa. Sin embargo,
prueba de la importancia que se le comienza a ofrecer a esta tarea evaluativa es
que en algunos pases la evaluacin de programas est institucionalizada, no slo
como ajuste de las intervenciones pblicas a unos estndares o criterios y a un
gasto pblico, sino como proceso de mejora y perfeccionamiento.

Algunos de estos problemas de la evaluacin educativa en general y de la
evaluacin de programas en concreto, lo expresan Worthen et. al. (1997), en los
siguientes trminos:

Los modelos de evaluacin fracasan como modelos cientficos. Para Cook y
Reichardt (1986) la relacin entre paradigmas y mtodos es instrumental, siendo
la metodologa una simple coleccin de tcnicas y procedimientos, no siendo
axiomticos ni deductivos y con limitaciones en su generalizacin.

Es necesario imprimir una dinmica evaluativa como proceso constructivo
formativo/sumativo, utilizando metodologas complementarias, diversidad de
instrumentos y tcnicas, que permitan una evaluacin vlida y eficaz con alto
grado de responsabilidad social. Su valor reside en ayudarnos a pensar, ser fuente
de nuevas ideas o tcnicas y servir de esquema mental de cuestiones a considerar
o que no debemos olvidar.

Se hacen necesarias fuentes de triangulacin en diversos aspectos del proceso:
datos, investigador, teora y metodologa (Denzin, 1989). Existiendo dos
tendencias actuales, una hacia la complementariedad metodolgica, pero

26
primando las metodologas cualitativas, y otra el "amateurismo" al considerar
que cualquier docente puede investigar, an sin preparacin especfica.

Y desde la perspectiva de la prctica evaluativa, los problemas que habr
que cuidar en la evaluacin de programas se refieren sobre todo a la tendencia del
programa o centro a cambiar mientras se est siendo evaluado, las relaciones entre
evaluadores/evaluados y el hecho de que el sistema socio poltico en el que se
inserta el programa determine ste incluso en cuestiones que no debera.

Por tanto, en general, la investigacin evaluativa sigue adoleciendo de
las limitaciones de las disciplinas incipientes o en ciernes de reestructuracin.
Slo una enorme seriedad en las fundamentaciones tericas, mayor rigor en los
procesos metodolgicos, aumento de los canales y estilos en la comunicacin
harn generar la suficiente consistencia cientfica como para ofrecer mayor
credibilidad y mejorar las posibilidades de difusin (Slavin, 1997; Klein, 1997 y
Pogrow, 1998).

1.6. LA INVESTIGACIN SOBRE EVALUACIN DE PROGRAMAS EN
ESPAA.

1.6.1. El contexto diacrnico. Una perspectiva histrica.

La evolucin de la investigacin educativa en nuestro pas guarda
semejanzas con los desarrollos de sta en el mbito internacional, pero con ciertas
peculiaridades especficas.

Prueba de la importancia ofrecida en sta a la evaluacin y por extensin
a la evaluacin de programas, puede encontrarse en la relevancia del marco legal
desarrollado y dedicado en ciertos aspectos a su orientacin.


27
A partir de 1970 con la Ley General de Educacin, la evaluacin recibe
una atencin creciente, no slo como medio a travs del cual mejorar el
rendimiento de los estudiantes sino tambin todo el proceso educativo, y reflejar
su calidad.

Aunque en ella se habla explcitamente de evaluacin no slo para
valorar el rendimiento de los alumnos sino tambin como proceso educativo de
mejorar, y concretamente en la O.M. 16/11/70
6
algunos procesos de esta
evaluacin se refieren a evaluacin de programas, son muy escasos los estudios
durante este periodo.

Con esta Orden Ministerial de 16/11/1970 se regulan los principios que
deben regir los procesos de evaluacin e indirectamente se refiere a la Evaluacin
de Programas. En su apartado de principios y normas generales ya se define la
evaluacin como una actividad sistemtica, integrada en un proceso educativo,
cuya finalidad es el mejoramiento del mismo mediante un conocimiento lo ms
exacto posible del alumno en todos sus aspectos de personalidad y una
informacin ajustada sobre el proceso educativo y los factores personales y
ambientales que en ste inciden.

Algunas de las finalidades de la evaluacin all previstas son: Valorar los
mtodos y procedimientos empleados, determinar el contenido de los programas
seleccionndolos por su valor formativo, determinar en que medida se alcanzan
los objetivos previstos en la programacin educativa y contrastar su validez.

Mientras en EEUU parece perderse cierto inters por la evaluacin de
programas durante los aos 80, sobre todo por una restriccin de los fondos
dedicada a esta tarea investigativa, en otros pases comienza a surgir los modelos
de intervencin y la preocupacin de evaluacin de programas.

6
O.M.: Orden Ministerial.

28
En Espaa comienza a cobrar auge, a existir preocupacin por el tema y
a cobrar significacin esta lnea de investigacin educativa (Garanto, 1989), con
un nfasis creciente en que las evaluaciones sean tiles. Producindose un rpido
pero descompensado crecimiento.

Los Reales Decretos 69/1981 y 710/1982 ordenan la E.G.B. en tres ciclos
a efectos de programacin y evaluacin de los alumnos y se insiste de nuevo en la
necesidad de una evaluacin no limitada exclusivamente a la comprobacin de
los resultados obtenidos al trmino de unos periodos ms o menos amplios, sino
que centrada en el grado de cumplimiento de los objetivos propuestos, durante el
desarrollo del proceso educativo, con el fin de hacer posible una reordenacin del
mismo.

Durante esta dcada se producen grandes cambios sociales que requieren
cambios educativos en el propio sistema, desde los procedimientos metodolgicos
hasta nuevas demandas al proceso evaluativo.

En 1987, con el proyecto de Reforma de la enseanza y la
implementacin de la LOGSE, los poderes pblicos comienzan a prestar una
atencin mayor a la evaluacin del sistema educativo, como uno de los factores
favorecedores de la calidad y mejora de la enseanza. La evaluacin sigue
considerndose en los mismos trminos, aunque se introduce la evaluacin de
todas las personas involucradas en la accin educativa.

Este marco legal es en esos momentos el mejor marco para fomentar y
favorecer la Evaluacin Educativa, al quedar especificado en algunos de sus
artculos, como el 55, la importancia y funcionalidad que se le concede:

Los poderes pblicos prestarn una atencin
prioritaria al conjunto de factores que favorecen la calidad y
mejora de la enseanza, entre ellos la evaluacin del sistema
educativo". (Art. 55)

29

De manera mucho ms explcita y ampliando el artculo anterior en
cuanto a los mbitos evaluativos:

"La evaluacin del sistema educativo se orientar a
la permanente adecuacin del mismo a las demandas sociales
y a las necesidades educativas y se aplicar sobre los
alumnos, el profesorado, los centros, los procesos educativos y
la propia administracin.
( Art. 62)

Incluso en el art. 28 se plantea la creacin de un centro especfico para la
evaluacin general del sistema educativo, el I.N.C.E.
7
.

De esta forma, el mbito de la evaluacin se desarrolla desde los
procesos de enseanza / aprendizaje a todo lo que se refiera al sistema educativo
en su totalidad y a los agentes que intervienen en l. Se produce un gran auge de
la evaluacin, de proyectos experimentales, se convierte en un instrumento
imprescindible para implementar la reforma educativa experimental, 1981/1989
empiezan a aparecer trabajos en el campo de la salud y de los servicios sociales.

Pese a este apoyo de la Administracin, patente desde la normativa legal
establecida, no fue la comunidad cientfica el principal canal de comunicacin y
debate, siendo en los 90 cuando se produce un periodo de expansin del modelo
de intervencin por programas en el mbito educativo - orientador y de servicios
sociales, aumentando el nmero de reuniones y congresos dedicados a la
evaluacin (AEDES
8
, AIDIPE
9
...).

7
I.N.C.E.: Instituto Nacional de Calidad y Evaluacin.
8
A.D.E.S.: Asociacin Espaola de Desarrollo de la Educacin Especial.
9
A.I.D.I.P.E.: Asociacin Interuniversitaria De Investigacin Pedaggica Experimental.

30
A finales del 95, con la aprobacin de la L.O.P.E.G.
10
adems de
ampliar los mbitos de la evaluacin se plantea como un proceso con carcter
continuo, implantando procesos amplios para la evaluacin de Centros Pblicos
(Orden 29 de febrero de 1996). Encontrndose en un momento trascendental de
clara preocupacin por la calidad educativa de las instituciones y del sistema
educativo, reflejado en el propio marco legal, en el que la evaluacin de
programas es una exigencia ineludible para la bsqueda progresiva y permanente
de una mejor educacin.

La situacin actual de la evaluacin, que ya denotaron Tejedor, Garca-
Varcrcel y Rodrguez (1994) y confirma este mismo autor (Tejedor, 2000),
podra calificarse de plural y compleja, en la que las nuevas perspectivas no
sustituyen, complementan a las anteriores. Se ha pasado de la postura tradicional
de la evaluacin como el empleo de mtodos cientficos para medir los logros
educativos e iluminar la toma de decisiones; a la situacin actual, en la que la
evaluacin es entendida como el conocimiento del mrito o valor de un programa
para tomar decisiones ajustadas a las necesidades de los usuarios y/o responsables.

1.6.2. El contexto sincrnico. La situacin actual.

En Espaa la fase de evaluacin de programas ha recibido
paradjicamente mayor atencin que las de diseo e implementacin, por la
necesidad de demostrar, por parte de los gestores de los programas, la efectividad
de sus propuestas.

Velaz de Medrano et. al. (1996) sealan que hasta esa fecha el 73% de
las investigaciones financiadas por el C.I.D.E. se referan a evaluacin de
programas y de forma especfica: 17% Reformas y programas experimentales,
60% Programas curriculares de aplicacin restringida y 22.8% Programas de
formacin del profesorado.

10
L.O.P.E.G.: Ley de Participacin, Evaluacin y Gobierno de los Centros Educativos.

31
Es por tanto un campo consolidado y con entidad propia, que produce
evaluaciones externas, formativas, globales, normativas y criteriales al mismo
tiempo, fundamentalmente cuantitativas experimentales, con mtodos mixtos en
algunos casos. Bartolom (1990) seala un notable aumento de los estudios
evaluativos, sobre todo al amparo de la LOGSE, aunque en los ltimos aos se ha
realizado una sola metaevaluacin.

Tambin se ha producido en Espaa importante literatura sobre el tpico
(Gelpi, 1987; Repetto, 1987; Alvira, 1991; Cols y Rebollo, 1993; Medina y
Angulo, 1994; Rodrguez, 1995; Sanz Oro, 1996; Cruz, 1997; Sobrado y Ocampo,
1998), utilizando unos pocos modelos (CIPP de Stufflebean, evaluacin
democrtica, iluminativa...). Sin embargo, se requiere ampliar el mbito de la
evaluacin de programas al propio mundo acadmico y a la difusin cientfica y
tcnica, para que los informes de evaluacin no queden en las bibliotecas y
puedan ser discutidos por los tcnicos y los propios interesados.

Como afirmaba Garanto (1989) estamos asistiendo a un gran desarrollo
de la evaluacin de programas educativos, similar al proceso ocurrido en EEUU
hace algunos aos, en el que concurren factores similares a los sealados por
Talmage (1982): preocupacin por la mejora de la enseanza, necesidad de
controlar el gasto pblico y la participacin de los ciudadanos en la gestin y
dinmica de las estructuras formativas.

En la actualidad y en nuestro contexto estos factores sobre la necesidad
de evaluacin de las intervenciones educativas quedan justificados (Cols, 2000)
en aspectos concretos:

Por la necesidad de justificar la rentabilidad poltica y econmica
de los programas educativos.


32
Por los cambios sociales de valores, en el proceso de construccin
europeo y autonmico, que requieren la puesta en marcha / evaluacin de
nuevas y mltiples intervenciones.

Por los nuevos retos generados por el gran avance tecnolgico en el
ltimo cuarto de siglo, entre los que aparecen nuevos tipos de intervenciones,
metodologas y materiales educativos.

Es decir, la evaluacin de programas educativos, como principio de
calidad, ms que en una necesidad se ha convertido en una exigencia econmica,
poltica y social. Por tanto la actividad cientfica en este campo necesita del
establecimiento de pautas y criterios de orientacin claros que permiten un firme
desarrollo de la disciplina, aspectos que intentan establecerse en el siguiente
captulo de este trabajo.


33

CAPTULO II. LA EVALUACIN DE
PROGRAMAS COMO ACTIVIDAD
CIENTFICA.

La evaluacin de programas, como tcnica de investigacin
sobre los procesos de intervencin socioeducativos, es una estrategia
que contempla en su realizacin un potencial riqusimo para contribuir
a la mejora de la calidad educativa pues tiene todos los requerimientos
exigibles a la investigacin educativa til.
(Tejedor, Garca Varcrcel y Rodrguez, 1994)

2.1. INTRODUCCIN.

La evaluacin de programas o educational evaluation, en trminos
anglosajones, desde los aos sesenta que emergi con fuerza, se ha convertido en
un ncleo terico-prctico de la investigacin educativa, que al igual que toda ella
se rige por unos principios propios del conocimiento cientfico.

Adems de estos requerimientos generales, la investigacin sobre
evaluacin de programas se fundamenta en una gran diversidad y complejidad de
teoras y modelos, derivados de las ciencias sociales, que exigen unos adecuados
conocimientos tcnicos para llevarla a cabo con garantas.


34
El propsito en este captulo es ofrecer el marco oportuno para realizar
una delimitacin tcnica de la disciplina de la evaluacin de programas, en
aquellos rasgos que permiten caracterizar las investigaciones.

Se parte, en el primer epgrafe, del establecimiento de unos conceptos
bsicos y planteamientos generales, haciendo mencin de los elementos
diferenciales que distinguen alas investigaciones en este campo evaluativo.

Estas investigaciones, por las propias caractersticas de la disciplina y de
su objeto de estudio, se enfrentan a una serie de problemas, que se describen a
continuacin.

En el origen de estos procesos de evaluacin se origina una cuestin
clave entorno a qu evaluar. Esta cuestin requiere, en el cuarto epgrafe del
captulo, el desarrollo de los contenidos objeto de estudio en las evaluaciones de
programas (necesidades, contextos, procesos, productos...), que pueden plantearse
en distintas fases o momentos del programa y cuya finalidad en ltima instancia
es la toma de decisiones acerca del desarrollo de ste.

Procesos que se fundamentan en unas determinadas posiciones
epistemolgicas y paradigmticas, que ofrecen modelos prcticos de evaluacin
que delimitan y orientan el funcionamiento emprico investigativo. Adems en
este captulo se describen las principales consideraciones metodolgicas propias
de la investigacin en evaluacin de programas, como son los diseos, las fuentes
de datos y las tcnicas ms adecuadas para la recogida de informacin, y los
anlisis y presentaciones de datos ms usuales.

La intencin al ofrecer todas estas informaciones es delimitar la
investigacin sobre evaluacin de programas como disciplina cientfica,
ofreciendo para ello aproximaciones y categorizaciones generales a distintos
aspectos de ella, remitindose a la consulta de literatura especializada y de
manuales especficos para una mayor profundizacin.

35

Para finalizar esta caracterizacin de la investigacin en este campo
disciplinar ofrecida en este captulo, se sealan los principales avances en
evaluacin de programas. Haciendo mencin especial a los estudios
metaevaluativos y de sntesis.

2.2. CONCEPTOS BSICOS, PLANTEAMIENTOS
GENERALES Y ELEMENTOS DIFERENCIALES EN LA
INVESTIGACIN SOBRE EVALUACIN DE PROGRAMAS.

La educacin, como actividad humana sistemtica, se orienta al
perfeccionamiento y mejora de las personas, por medio de acciones intencionadas
de los educadores generalmente concretadas en planes o programas.

Como en cualquier mbito, el ser humano ha propuesto el conocimiento
del mbito educativo. Y aunque el saber pedaggico ha partido de planteamientos
y conocimientos cercanos a procesos casi artsticos, pronto se observ la
necesidad del establecimiento de mtodos rigurosos, que permitieran respuestas
vlidas a los mltiples problemas y cuestiones que se plantean en este campo con
rigor cientfico.

En la actualidad la educacin puede entenderse como tecnologa, en el
sentido ofrecido por Bunge (1981), aplicada a la mejora de la vida de las
personas; aunque en un sentido amplio como planteaba lvarez Rojo (1994).
Generando conocimientos a los que se le asignan finalidades para su comprensin
profunda, explicacin y transformacin de la realidad natural o social.

As, la investigacin evaluativa ha sido uno de los campos ms
desarrollados dentro de las Ciencias Sociales. En concreto, la evaluacin de
programas reclama procesos de anlisis y reflexin que nos ayuden a precisar su
alcance y significado en un contexto general de investigacin cientfica (De
Miguel, 1999).

36

La delimitacin de las intervenciones educativas mediante el empleo de
programas hay que entenderla desde la lgica que considera a stos planes
sistemticos diseados por el educador como medio al servicio del desarrollo de
las metas educativas. No debiendo faltar en ellos (Prez Juste, 2000): Unas metas
u objetivos, acomodados a las caractersticas de los destinatarios; un
establecimiento claro y exhaustivo en cuanto a estrategias, medios y recursos
suficientes y adecuados para llevarlo a cabo; y la consideracin de un sistema que
permita su valoracin.

Este concepto de actuacin mediante la elaboracin de programas, queda
justificada en cualquier accin de tipo educativa para autores como Barr y Cuyjet
(1991) o lvarez Rojo, et al. (1994). Y se puede especificar en definiciones como
las ofrecidas por diversos autores para este trmino:

Actividad educativa continua diseada para producir cambios
esperados en la conducta de los sujetos que se exponen a ella
(Astin y Panos, 1971)

Conjunto especificado de acciones humanas y recursos
materiales diseados e implementados organizadamente en una
determinada realidad social con el propsito de resolver algn problema.
(Fernndez Ballesteros, 1992)

Sistemticos esfuerzos realizados para lograr objetivos
planificados con el fin de mejorar la salud, el conocimiento, las actitudes y
la prctica.
(Fink, 1993)

Es decir los procesos educativos quedaran establecidos en acciones
sistemticas y planificadas, especificando acciones y recursos materiales, para
cambiar su conducta y/o actitud, mejorar su salud o su conocimiento y en
definitiva solucionar sus problemas.

37

Este mismo razonamiento aboca a la evaluacin de tales intervenciones
mediante procesos evaluativos, que de forma general se han venido justificando a
partir de dos funciones: la rendicin de cuentas (accountability) y la mejora del
programa (improvement) y los procesos. Pero adems, resaltando el carcter
investigativo de esta evaluacin, se puede generar una comprensin ms profunda
de este objeto de conocimiento a la que no se debe renunciar, ya que permite una
mayor comprensin y explicacin de los fenmenos sociales (Chelimsky, 1997).

Estos procesos de evaluacin no deben entenderse como una medida
puntual, sino como instrumento de valoracin crtica y formativa que puede
ayudar a mejorar el proceso de enseanza (Carrera, 1987; Bartolom, 1990).

As, la valoracin de los programas tiene como finalidad especfica la
facilitacin de la toma de decisiones orientada a la consecucin de la calidad para
la mejora (Wroeijenstijn y Acherman, 1990). Entendindose en este sentido, la
evaluacin como un proceso de bsqueda de conocimientos respecto a las
estrategias y factores que facilitan o inhiben los procesos de mejora,
comprometindose como mecanismo fundamental del cambio social.

Por ello, debe orientar sus intervenciones a promover el desarrollo de las
polticas ms adecuadas o conseguir programas ms eficaces, mediante la
participacin activa y democrtica de los protagonistas en los propios procesos
evaluativos. Siendo ste un compromiso del evaluador con la educacin cvica, el
desarrollo humano y la emancipacin social (Smith, 1998).

Fernndez Ballesteros (1996) realiza una conceptualizacin entorno a
otras cuestiones bsicas que rodean la evaluacin de programas entorno a qu es,
cmo se realiza, para qu se hace y qu se evala en los procesos.

La primera cuestin sobre a qu se refiere la evaluacin de programas se
plantea desde la consideracin que se ha dado a la investigacin evaluativa desde

38
su desarrollo histrico, que parte desde la obra de autores como Tyler (1957),
Scriven (1967) o Levin (1975) que asociaban la evaluacin a la estimacin del
mrito de un objeto y especficamente en la evaluacin de los programas a la
consecucin y cumplimiento de las metas planteadas y al examen de sus
resultados. Hasta las ms relacionadas con la toma de decisiones para la mejora de
las personas y contexto donde se aplican. Actuaciones que el Joint Committe trata
de sistematizar en 1981.

Evaluar un programa consiste, por tanto, en recoger informacin
sistemtica sobre las operaciones implicadas en ese conjunto de acciones
encaminadas a unos objetivos (Hernndez, 1990). Dicha informacin debe servir
para establecer un juicio acerca de la bondad, mrito o valor de dicho programa
(Fernndez Ballesteros, 1983), que permita a los encargados tomar decisiones
acerca de lo que dio resultado y lo que no sirvi para nada, qu es lo que debera
adaptarse en todo sistema o de lo contrario modificarse. Cuestiones a las que slo
puede responderse fundamentadamente y presentando pruebas mediante la
evaluacin (Weiss, 1975).

En este mismo sentido ha evolucionado la funcionalidad de la
evaluacin, desde esta justificacin de las decisiones evaluativas ofrecida por
Weiss, a planteamientos para medir la implementacin y los resultados (Rutman,
1980), para la toma de decisiones sobre intervencin (Cronbach, 1982) o para la
justificacin da las actuaciones y gastos pblicos (Fernndez Ballesteros, 1984).

Este mismo autor, delimita la funcionalidad de estas evaluaciones en
diversos campos adems de la contabilidad pblica o base para decisiones
presupuestarias y el de la justificacin de decisiones, en la realizacin de ajustes
del propio programa y la constatacin de teoras que subyacen en los propios
modelos evaluativos.

Los modelos de ingeniera en la utilizacin de la evaluacin (Alback,
1988 y Fischer, 1990) utilizan la evaluacin de programas como procesos en los

39
que los usuarios identifican problemas sociales, establecen objetivos y formula
preguntas, para juzgar los resultados y emplearlos en la toma de decisiones.

Los modelos de iluminacin o uso conceptual de la evaluacin
incorporan los resultados gradualmente al marco del usuario influyendo ms en su
pensamiento que en la accin directa (Weiss, 1975).

Incluso podran delimitarse empleos de la evaluacin como mera
legitimacin del poder y medio de racionalizacin de la toma de decisiones, que
en un sentido poco lcito, permitira su uso tctico en la eliminacin de
responsabilidades.

Esta necesidad de la evaluacin de los planes y programas, queda incluso
especificada en la normativa legal, ya que en el artculo 2.3 de la LOGSE habla
de la evaluacin de nuestro sistema educativo, la valoracin de los procesos
educativos y de la propia enseanza y aprendizaje.

Es ste un tipo de investigacin, al que Briones (1991) delimita su
objeto, en el anlisis de la estructura, del funcionamiento y de los resultados de
un programa con el fin de proporcionar informacin de la cual se deriven criterios
tiles para la toma de decisiones en relacin con su administracin y desarrollo.
Para Cook y Shadish (1986), la evaluacin de programas es un modelo racional de
solucin de problemas de carcter psicolgico, social o educativo, que requiere
que:

Los problemas se definan con claridad y a partir de los
que....
Se genere una amplia variedad de soluciones potenciales...
Algunas de las cuales se implementan y...
Finalmente se evalan.
El conocimiento de las soluciones positivas se presenta a los
responsables polticos quienes...

40
Lo utilizarn para tomar las decisiones polticas que
correspondan.

Pero como se puede constatar en la descripcin de estos procesos,
suponen situaciones complejas en las que se relacionan elementos de diversas
naturalezas, lo que implica una serie de dificultades, descritas por Prez Juste
(2000).

La primera de ellas se relaciona precisamente con la complejidad de las
acciones evaluativas que requiere la existencia de profesionales expertos en el
campo, que no siempre se encuentran en nmero necesario, ni con la formacin
adecuada. En muchas ocasiones no son reconocidos en competencia y experiencia
por los evaluados, lo que unido al recelo que levanta en personas e instituciones a
ser evaluado, hace que estas acciones pierdan una enorme efectividad.

En cierto sentido, las relaciones necesarias entre los distintos implicados
en los procesos evaluativos son las que determinan la mayora de sus dificultades.
As la necesaria participacin de todos ellos o la complementariedad
metodolgica, conducen a un problema sin resolver sobre quienes deben tomar las
decisiones definitivas que rigen estos procesos, en el que no siempre es posible
llegar a consensos en sesiones evaluativas y que stos sean aceptados por las
instituciones.

Estos problemas tambin se refieren a la relacin entre los expertos
contratados para la realizacin de evaluaciones y las instituciones que las
encargan, pues aunque a stos se le suponga honradez o probidad legal y tica en
sus acciones, la desigualdad de condiciones con las grandes instituciones y la falta
de fuertes asociaciones profesionales, hacen que las evaluaciones asuman las
condiciones de quienes las contratan. Incluso se pueden constatar influencias de
carcter eminentemente poltico.


41
Otra dificultad se relaciona con la consecucin de evaluaciones factibles,
en el sentido ofrecido a este estndar por el Joint Committe, que relaciona la
adquisicin de informaciones relevantes y los recursos empleados para
conseguirlas, que no siempre son suficientes y adecuados.

Y por ltimo, el problema tpico de la investigacin social referido a la
comparabilidad de los datos, en momentos en los que se opta por la
descentralizacin curricular y la autonoma de centros y profesores, debe
solucionarse no por la comparacin en estndares nacionales o externos, sino por
la comparacin diacrnica con valores propios y especficos, cuya finalidad sea
siempre las opciones de mejora y calidad.

Este aspecto, es slo parte de las dificultades derivadas de la diversidad
de teoras, modelos y metodologas, que ha embarcado a muchos autores en
polmicas sobre su uso (Guba, 1978), solo superable por un multiplismo necesario
en acciones investigativas en situaciones complejas como son las que se
encuentran en los entornos sociales.

Todas estas peculiaridades, del objeto de estudio y los procesos
evaluativos en E.P., hacen que la investigacin evaluativa en este campo posea
unas peculiaridades especficas y elementos diferenciales con respecto al resto de
la investigacin educativa.

Una de estas caractersticas que distingue la investigacin evaluativa
sobre programas es la de su realizacin en un marco de accin. Es decir, adems
de la investigacin, su objeto el programa, est ocurriendo simultneamente. Para
Weiss (1975) hay que tener claro que la investigacin es secundaria, no
supeditarla al desarrollo del propio programa. Es por tanto un campo en el que
domina la investigacin aplicada.

Este objeto de conocimiento, aunque se plantee en una nica forma como
programa, posee naturalezas diversas, puesto que el contenido de stos puede

42
abarcar conceptos propios de cualquiera de las disciplinas pedaggicas. Esta
diversidad plantea situaciones en las que an respetando las condiciones generales
evaluativas, se plantee la necesidad de adaptacin a cada disciplina concreta en
aspectos como sus conceptos bsicos, temticas, mtodos e incluso vocabulario
especfico.

Las investigaciones sobre E.P. quedan delimitadas en modelos tericos,
que fundamentados en los paradigmas usuales de la investigacin educativa,
establecen unas condiciones o criterios bsicos de accin que orientan los
procesos evaluativos de forma global ofreciendo coherencia de las acciones
evaluativas.

Desde algunos de estos modelos bsicos, en los que es usual la
eponimidad, como son el modelo de Tyler o el de Scriven entre otros, se realizan
adaptaciones casi tan diversas y especficas a situaciones concretas como autores
transitorios caracterizan las realizaciones en este campo. Aplicaciones empricas
que por la dificultad que contemplan y la carencia de experiencia no siempre
poseen las garantas suficientes, lo que en definitiva supone un detrimento de la
credibilidad del propio campo disciplinar.

Con cierta lgica, los contenidos de las evaluaciones guardan coherencia
con el rea o disciplina en la que se desarrolla el programa evaluado y los
contenidos desarrollados en la implementacin de ste. Es por ello que siendo ste
un campo disciplinar en el que convergen numerosas reas de conocimiento, los
contenidos evaluativos puedan ser muy diversos en distintas evaluaciones e
incluso posean cierta variedad en la evaluacin de un mismo programa por ser
abordado ste desde perspectivas dispares pero complementarias.

Adems esos contenidos quedan relacionados con los momentos del
proceso de implementacin del programa a los que se refieran, pudiendo referirse
al contexto a necesidades de implementacin, diseo o planificacin, evaluacin
del proceso y del producto.

43

En cuanto a los procesos empricos concretos se suelen emplear una
extensa variedad de diseos y metodologas de investigacin usuales en cualquier
otra rea de la investigacin educativa. En la que, dado lo complejo de los
contextos en que se desarrollan, las dificultades de aleatorizacin y
manipulacin/control de variables, abundan los diseos cusiexperimentales con
connotaciones descriptivas orientadas a la descripcin de procesos.

Estas caractersticas metodolgicas determinan el uso de tcnicas de
recogida de informacin y anlisis e interpretacin de datos tpicos de los estudios
descriptivos. Siendo el cuestionario un instrumento casi omnipresente en este tipo
de trabajos, hasta el punto que puede considerarse de cierto abuso (Fernndez
Cano, 2002a) por el reduccionismo emprico que supone.

Las peculiaridades diferenciales de las investigaciones sobre E.P. llegan
hasta la elaboracin y uso de los informes de investigacin. Ya que si la finalidad
de la evaluacin del programa es aportar informacin vlida para valorar una
intervencin educativa, el uso y explotacin de estas informaciones debe quedar al
alcance de las audiencias a las que se dirige (Worthen y Sanders, 1987; Santos,
1990 o Alkin y Ellett, 1990). Siendo por tanto determinante quin evala e
programa, para qu, cmo lo hace y sobre todo para quin.

En la mayora de ocasiones, la finalidad ltima de las investigaciones
educativas es revertir los conocimientos adquiridos en el corpus terico de
conocimiento de la disciplina tratada, para a partir de ah promover acciones
prcticas para el cambio y mejora en la educacin. Sin embargo, en la
investigacin sobre E.P. la aplicacin es ms directa es sobre la propia prctica
educativa, pues en primer lugar se plantea la mejora del programa desarrollado,
para con posterioridad realizar generalizaciones e inferencias que pueden alcanzar
los principios tericos desde los que se derivan las diversas acciones
implementadas en el programa o desarrolladas en las acciones evaluativas.


44
2.3. PROBLEMAS CENTRALES EN LA EVALUACIN DE
PROGRAMAS.

El campo de la evaluacin de programas supone la puesta en marcha de
situaciones complejas en las que se relacionan elementos de diversas naturalezas,
adoleciendo estos procesos de una serie de problemas centrales paralelos al propio
desarrollo de la investigacin educativa en general y de la investigacin sobre
evaluacin de programas en particular. Estas dificultades, descritas en algunos
aspectos por Prez Juste (2000), son de diversa ndole y pueden agruparse en los
siguientes aspectos:

El primero de ellos se deriva del propio carcter semntico de la
evaluacin, que como proceso de emisin de juicios y valores se basa en la
asignacin de significados previos: de su carcter, proceso y criterios valorativos.
As dependiendo de lo que se entienda por evaluacin, cmo debe llevarse a cabo,
con qu finalidad, qu criterios se emplean para ello, los procesos adoptaran y
requerirn una dinmica determinada.

Muestra de las caractersticas semnticas asignadas al campo de la E.P.
es la diversidad de definiciones adoptadas por cada uno de los autores, desde qu
se entiende por programa o evaluacin, hasta cmo debe realizarse sta.
Significados planteados de forma acorde a sus propuestas tericas y adaptadas a
los desarrollos evaluativos que plantean.

Este aspecto, es slo parte de las dificultades derivadas de la diversidad
de teoras, modelos y metodologas, que ha embarcado a muchos autores en
polmicas sobre su uso (Guba, 1987), solo superable por un multiplismo necesario
en acciones investigativas en situaciones complejas como son las que se
encuentran en los entornos sociales.


45
Existe una clara tendencia a valorar la investigacin aplicada frente a la
bsica o fundamental, lo que a la larga limita las posibilidades de impactar
transformando la prctica y poltica educativa (Fernndez Cano, 1997).

El propio objeto de conocimiento de la investigacin sobre evaluacin de
programas puede ser, como ente social, adems de enormemente complejo en
continua evolucin. Esto dificulta los procesos de investigacin pues requiere
combinar la fortaleza y credibilidad de la metodologa cientfica con la
flexibilidad de procesos con la suficiente capacidad adaptativa. As, las nuevas
necesidades sociales demandan nuevos modelos de intervencin y por tanto
nuevos modelos evaluativos (Bartolom et. al., 2000).

Otro de los principales problemas para Wholey (1983 y 1987) es que
como en la mayora de prcticas evaluativas, existe una resistencia por parte de
los individuos e instituciones a participar en procesos evaluativos y a desarrollar
procesos de cambio mientras se est siendo evaluado.

Las dificultades metodolgicas en los procesos de evaluacin de
programas son numerosas, comenzando por la falta de claridad en el
establecimiento de asunciones tericas y prioridades de la evaluacin, y de lgica
entre las acciones y los resultados esperados. Las, en ocasiones, difciles
relaciones entre los evaluadores y el personal del programa o centro. Las
dificultades de plantear procesos de revisin adecuados o la escasa utilizacin de
los resultados de las evaluaciones.

Los procesos que con una naturaleza eminentemente emprica se asocian
a hechos distintos al de la propia investigacin, como es la existencia de un
programa, deben establecerse de forma concurrente a ste. La evaluacin no debe
entenderse como un proceso paralelo o ajeno al desarrollo del programa, ni
supeditarse a la implementacin de ste, si no que forma parte de l en todas sus
fases requiriendo un constante esfuerzo de crtica constructiva.


46
El hecho de que el programa se encuentre insertado en un sistema
psicosocial ms amplio y de que la naturaleza de dicho sistema determine de
alguna manera la evaluacin, hace que este proceso pueda encontrar un mayor
nmero de dificultades.

Estos procesos evaluativos en contextos sociales se encuentran
delimitados por la toma de numerosas decisiones evaluativas acerca de quin
establece el valor de un programa educativo, con qu criterios de esfuerzo,
efectividad o impacto se realiza, o cmo se emplea la informacin obtenida, lo
que puede acarrear numerosos problemas de ndole tico y deontolgico
(Suchman, 1967; Talmage, 1982).

Estas acciones complejas para el desarrollo de la evaluacin tambin
encuentran en su sentido ms material dificultades de tipo logstico. Puesto que
aunque en el mejor de los casos se cuenten con los suficientes recursos humanos y
materiales para realizar un conveniente proceso evaluativo, en ocasiones ste
queda tan slo sujeto a la voluntad y decisin de la autoridad poltica o
institucional.

Pese a lo complejo de los procesos evaluativos, la produccin cientfica
sobre evaluacin de programas descansa en manos de demasiados autores
ocasionales con escasa especializacin en el campo. As la existencia de
profesionales expertos en el campo, no siempre se encuentran en nmero
necesario, ni con la formacin adecuada.

Esta falta de experiencia hace que en muchas ocasiones los profesionales
de la evaluacin no son reconocidos en competencia y experiencia por los
evaluados, lo que unido al recelo que levanta en personas e instituciones a ser
examinado, hace que estas acciones pierdan una enorme efectividad.


47
En cierto sentido, las relaciones necesarias entre los distintos implicados
en los procesos evaluativos son las que determinan la mayora de sus dificultades.
As la necesaria participacin de todos ellos o la complementariedad
metodolgica, conducen a un problema sin resolver sobre quienes deben tomar las
decisiones definitivas que rigen estos procesos, en el que no siempre es posible
llegar a consensos en sesiones evaluativas y que stos sean aceptados por las
instituciones.

Estos problemas tambin se refieren a la relacin entre los expertos
contratados para la realizacin de evaluaciones y las instituciones que las
encargan, pues aunque a stos se le suponga honradez o probidad legal y tica en
sus acciones, la desigualdad de condiciones con las grandes instituciones y la falta
de fuertes asociaciones profesionales, hacen que las evaluaciones asuman las
condiciones de quienes las contratan. Incluso se pueden constatar influencias de
carcter eminentemente poltico.

As, la investigacin queda en ocasiones supeditada a agendas o lneas de
investigacin prioritarias establecidas centralmente por autoridades autonmicas,
nacionales o internacionales. Siendo ste un problema tpico de la investigacin
social referido a la comparabilidad de los datos, en momentos en los que se opta
por la descentralizacin curricular y la autonoma de centros y profesores, debe
solucionarse no por la comparacin en estndares nacionales o externos, sino por
la comparacin diacrnica con valores propios y especficos, cuya finalidad sea
siempre las opciones de mejora y calidad.

Otra dificultad se relaciona con la consecucin de evaluaciones factibles,
en el sentido ofrecido a este estndar por el Joint Committe, que relaciona la
adquisicin de informaciones relevantes y los recursos empleados para
conseguirlas, que no siempre son suficientes y adecuados.

Adems existen dificultades de difusin y utilizacin de la investigacin
que podran calificarse casi de endmicas, limitando o incluso haciendo estril su

48
uso. Sobre todo debido a la escasa difusin e impacto internacional de las fuentes
de publicacin espaolas, que provocan por la dependencia de ciertas fuentes de
gran relevancia un colonialismo investigativo.

2.4. FASES Y CONTENIDOS DEL PROCESO EVALUATIVO.

La evaluacin de los programas puede plantearse en muy diversos
momentos: durante su planificacin, en el desarrollo del mismo o en sus logros y
resultados. Dependiendo adems del momento del contenido asignado a cada uno
de ellos, una gran diversidad de propuestas.

Los procesos evaluativos deben partir para Prez Juste (2000) de la
consideracin de aspectos como lo educativo como referente, el tamao y
complejidad del programa, el papel que adoptar el evaluador, cual sern las
unidades de anlisis y qu informaciones se recogern. Y se concretan en diversos
momentos:

1. El primer momento de evaluacin abarca al programa en su
globalidad, aportando opciones preventivas de mejora y optimizacin, incluso
antes de su puesta en marcha.

Su finalidad es establecer formativamente la calidad tcnica del
programa, recogiendo datos sobre su fundamentacin, formulacin y relacin con
las demandas e intereses de los destinatarios.

Emplea metodologas basadas en el anlisis de contenido, estudios
prospectivos, tcnica Delphi, juicios de expertos y el empleo de pruebas diversas
de evaluacin inicial. Y criterios de calidad, pertinencia y realismo de objetivos y
su adecuacin a los destinatarios. Suficiencia de apoyos y compromiso e
implicacin de los agentes relacionados.


49
Y sobre la calidad tcnica, tanto del proceso de evaluacin, como del
propio programa, en aspectos relacionados con la coherencia y congruencia de sus
componentes y sus facilidades para ser evaluado; para tomar decisiones
eminentemente formativas.

Este momento evaluativo, previo a la puesta en marcha del mismo
programa, esta orientado para Cols y Rebollo (1993) a dos contenidos
prioritarios y diferenciados: La evaluacin del contexto y de necesidades del
programa y la evaluacin del diseo y planificacin del programa.

La evaluacin del contexto y de necesidades tiene por objeto servir de
gua para la seleccin de problemas y asignacin de prioridades. Abarca
cuestiones sobre las caractersticas especficas del entorno donde se desarrollar el
programa; quines son los participantes; qu condiciones exigen su realizacin y
qu recursos materiales, temporales y humanos son necesarios; qu necesidades
pretende cubrir o qu expectativas tienen los receptores.

Para Stufflebean y Shinkfield (1987) esta es una etapa de diagnstico de
necesidades del contexto institucional y poblacional.

La evaluacin del diseo y planificacin del programa se cie a
identificar y valorarla planificacin de estrategias y procedimientos que el
programa plantea para su desarrollo, atendiendo a cuestiones como la correcta
definicin de objetivos, si la secuencia de actividades est expresada claramente
para su puesta en marcha y su temporalidad est ajustada, o si la planificacin
general del programa se ajusta al contexto donde se desarrollar.

La omisin de algunos de estos aspectos (conceptos, organizacin,
materiales, etc.) en la evaluacin pude. Como planteaba lvarez Rojo (1991),
incluso falsear el resto de la evaluacin.


50
Para la valoracin y juicio de estos objetos Fernndez Ballesteros (1996)
propone juicios relativos a su pertinencia (si responden a necesidades concretas
bien establecidas) y suficiencia (si los medios que se proponen son los
suficientes).

2. Como segundo momento hace referencia a las medidas evaluativas
de la implementacin del programa, para la toma formativa de decisiones de
mejora.

Se recogen informaciones sobre el desarrollo del programa, sus efectos
intermedios y los no deseados; mediante instrumentos como la observacin,
dilogos, entrevistas o pruebas intermedias, que se analizan en sesiones de grupo
y debates.

La pretensin es descubrir durante el proceso los defectos de
planificacin y describir y juzgar las actividades que se estn realizando. Es decir,
los criterios de evaluacin giran entorno al progreso propuesto por King, Morris y
Fitz-Gibbon (1987) y cumplimiento de los planes previstos, a su eficiencia y a la
satisfaccin de los usuarios. Para promover medidas de ajuste.

Los contenidos de la evaluacin se refieren a cuestiones como cul es la
percepcin que tienen los interesados de la ejecucin del programa, si se ajustan
las actividades al plan previsto, cules son las dificultades y logros ms
importantes, cmo funcionan los grupos y cmo es el nivel de participacin; y en
definitiva, cul es el desarrollo real del programa.

3. El tercer momento de evaluacin posee un carcter sumativo para
comprobar la eficacia del programa y los resultados de su aplicacin.

Se basa en el anlisis de la consecucin de objetivos, mediante criterios
de eficacia (logro de objetivos propuestos), eficiencia (logros en relacin con los

51
medios disponibles) y efectividad (efectos beneficiosos no previstos). Satisfaccin
de los implicados e impacto del programa sobre el contexto en el que se aplica.

4. Suponiendo un cuarto momento para la institucionalizacin de
la evaluacin del programa, basada en procesos cclicos de evaluacin y mejora,
en el que los individuos e instituciones asimilan los cambios que el programa
pretenda provocar.

La finalidad de todo proceso evaluativo es valorar, interpretar y juzgar
los logros de un programa. Esta valoracin no slo hay que considerarla
sumativamente tras su implementacin, sino que como se ha sealado con un
carcter formativo, parte incluso antes de la propia elaboracin del proyecto y
afecta a cada una de sus fases.

Como efecto patente de esta toma de decisiones, las acciones a realizar
se pueden enmarcar en tres posibles mbitos: Sobre la valoracin del programa en
cada momento evaluativo puede decidirse que en lneas generales es positiva,
neutra o negativa; esta valoracin determina a su vez acciones relativas a la
modificacin de las actuaciones diseadas o que incluso se estn implementando,
en cuanto a mantenerlas o modificarlas si no se consideran adecuadas o al menos
se consideran mejorables; el tercer mbito de decisin implica la continuidad o
abandono del proceso evaluativo y del propio diseo, desarrollo e implementacin
del programa, por los juicios considerados y generados desde la consideracin de
su inadecuidad total o parcial en aspectos humanos o materiales.

ESTOS MBITOS DE DECISIN Y LAS POSIBLES
ACCIONES DERIVADAS EN ELLOS AFECTAN AL
PROCESO EVALUATIVO EN CUALQUIERA DE SUS FASES,
ESTABLECIDAS ECLCTICAMENTE POR LAS
CONSIDERACIONES DE COLS Y REBOLLO (1993) Y
PREZ JUSTE (2000).

52
2.5. ENFOQUES TERICOS Y MODELOS EN EVALUACIN
DE PROGRAMAS.

Existe un gran intento de formalizacin de modelos sobre la evaluacin
de programas en funcin de mltiples factores como el objetivo de la evaluacin,
los tpicos y metodologas, las funciones e incluso el propio concepto de
evaluacin. Esta proliferacin ha supuesto un cierto confusionismo para el
usuario. Incluso para algunos autores (Alvira, 1991), en la mayora de los casos no
se puede hablar de modelos en sentido estricto, sino ms bien de diferentes
aproximaciones a unas pocas variantes bsicas de la metodologa investigativa.

En evaluacin de programas, el paradigma evaluativo supone una
conceptualizacin general del modo ms apropiado para llevar a cabo. Es decir,
las resoluciones que se tomen en el mbito terico determinarn la prctica
evaluativa desde aspectos generales como el diseo de investigacin, el modelo,
contenidos y objetivos evaluativos y metodologa; hasta aspectos tan concretos
como el plan, secuencia, proceso recogida, anlisis e interpretacin de datos o el
tipo de informe de evaluacin.

Aunque esta seleccin del modelo se realice siguiendo las caractersticas
especficas del programa ha desarrollar, existen pautas de carcter general que
pueden ayudar a realizar tal seleccin, como la propuesta de Daniels, et al. (1981),
que se muestra en la figura 2.1.

De la Orden (1985) hace un repaso de las principales tipologas de
modelos de evaluacin mostrando la multiplicidad de modelos existentes. De
igual modo Talmage (1982) ensaya una clasificacin haciendo referencia a
clasificaciones previas de Ross y Cronbach (1976), Guba (1978), Stufflebeam y
Webster (1980), House (1980) y Popham (1980). Utilizndose mltiples
consideraciones, tanto en el mbito terico como prctico (finalidad, contenidos,
efectos de la evaluacin o enfoque evaluativo), para clasificar los diversos
modelos de evaluacin.

53

Atenindose tal diversidad a la lgica de la propia evolucin del concepto
de evaluacin y del desarrollo histrico de la investigacin educativa, como
seala Carballo (1990).

Figura 2.1. Meta-modelo de evaluacin de programas (Daniels, 1981)

6. Evaluacin del
programa orientador.
3A. OBJETIVOS DE
LA EVALUACIN.
3b. Problemas que
la evaluacin
pretende resolver.
3C.
SUPUESTOS
CONSENSUA
DOS DEL
MODELO
4a. Poblacin que
se pretende evale.
4b. Mtodos de
recogida viables.
4c.Competencia
tcnica y habilidad
5. Seleccin del modelo
de evaluacin.
7. Modificacin
del programa.
3. Obstculos
internos.
4. Obstculos
externos.
2. Decidir la seleccin
de un modelo
d d
1. Decisin de evaluar
un programa.

54
Popham (1980) clasifica los modelos de evaluacin de programas por los
siguientes aspectos:

Modelos de concrecin de metas, como el Modelo de Tyler,
caracterizado por el establecimiento de metas y objetivos definidos en
trminos operativos, la ordenacin de los objetos en amplias clasificaciones,
establecer en qu condiciones puede demostrarse la consecucin de objetivos,
explicar los propsitos de la evaluacin a los destinatarios, recopilar datos y
realizar comparaciones de los datos con los objetivos del programa.

Modelos de enjuiciamiento que acentan criterios intrnsecos, en
los que el evaluador tiene un papel muy importante, al realizar un
planteamiento tcnico-profesional, pero sin conexin con el contexto.

Modelos de enjuiciamiento que acentan criterios extrnsecos.
Como el Modelo de Scriven, el que se realiza una distincin entre la
evaluacin formativa y sumativa, demandando especialmente el inters de los
objetivos. O el modelo de evaluacin respondente de Stake.

Modelos orientados a la toma de decisiones como el Modelo de
Cronbach, el Modelo CIPP de Stufflebeam o el Modelo CSE de Alkin
(variante CIPP).

Modelos que se basan en la negociacin como el Modelo
respondente constructivista de Guba y Lincoln.

En ocasiones resulta difcil delimitar los diferentes paradigmas y
encontrar modelos que puedan incluirse en una sola de estas categoras. Para
Cols y Rebollo, (1993) los principales modelos en evaluacin pueden agruparse
atendiendo a criterios tales como su finalidad, su contenido, a quin se evala,
quin toma las decisiones o qu papel tiene el evaluador en objetivistas o

55
positivistas, subjetivistas o interpretativos y crticos; incluyendo en cada categora
los modelos que ms se ajusten. (Tabla 2.1.)

Los modelos de evaluacin objetivistas, ya sea la basada en objetivos de
Tyler, la planificacin evaluativa de Cronbach, el modelo C.I.P.P. de Stufflebean
o la evaluacin sin referencia a objetivos de Scriven; poseen un determinismo
hacia la eficacia. Propugnan evaluaciones promovidas externamente, en la que
analizando con neutralidad y rigor los datos intentan explicar, predecir y controlar.

Mientras, la finalidad de los modelos subjetivistas, como el de evaluacin
respondente de Stake, la evaluacin iluminativa de Parlett y Hamilton o la
evaluacin democrtica propuesta por Mc Donald; se diferencian sobre todo en la
concepcin de la realidad y en la forma de entender el conocimiento. De forma
que, es la colaboracin con los sujetos centros o instituciones la que permite la
comprensin de las relaciones internas profundas. Mediante una concepcin
voluntarista y creativa se buscan visiones globales en las que el contexto en el que
se desarrolla el programa juega un papel importante.

Si embargo, es en los modelos crticos (Parley, McKinney o Brown)
donde ms implicacin se requiere con el objetivo principal de transformar la
realidad mediante la evaluacin. La evaluacin se centra en el anlisis de las
circunstancias personales, sociales y polticas y posee una finalidad emancipativa
de los destinatarios del programa.

Para algunos autores no hay modelos explcitamente vinculados a esta
modalidad, aunque si hay experiencias que siguen las pautas marcadas (Martnez
et al., 1990; Pozo et al., 1990).

Cada modelo presenta tambin caractersticas diferenciales en cuanto a la
metodologa y diseo de evaluacin a emplear, descritas en la Tabla 2.2.


56
Las evaluaciones cientificistas se basan en modelos cientficos clsicos
en los que se intenta recoger informaciones vlidas y fiables, para que con un
anlisis de tipo estadstico comprobar si se cumplen las hiptesis de partida.

Los modelos interpretativos son ms abiertos y flexibles, su pretensin
no es la generalizacin, sino el proporcionar un conocimiento comprensivo desde
la ptica de los implicados en el desarrollo del programa evaluado.

Los procesos de tipo crtico se fundamentan en procesos dialcticos, slo
aplicables en un contexto determinado, en el que se buscan explicaciones
consensuadas, vlidas y prcticas con una finalidad transformadora.

En definitiva, estas concepciones tericas que pueden servir de marco
orientativo y delimitador del proceso evaluativo no deben ser excluyentes ni
hermticas. Debe ser el evaluador/es los que decidan y utilicen aquellas tcnicas,
procedimientos y concepciones que se adecuen ms al problema y contexto de
evaluacin planteado.

Las aproximaciones complementaristas o eclcticas pretenden mediante
un conocimiento terico-prctico generar teoras o resolver problemas. En sus
prcticas evaluativas se incorporan los valores y los supuestos contextuales, as
como la labor del evaluador como factor humano.


57
Tabla 2.1. Modelos para la evaluacin de programas.
DENOMINACI
N
DEL MODELO
FINALIDAD CONTENIDO
UNIDADES
EVALUACION
TOMA
DECISIONES
PAPEL
EVALUADOR
TAYLER Producto
CRONBACH
Proceso
Producto
STUFFLEBEAN
C: Contexto
I: Inputs,
Diseo
Planificacin
P: Proceso
P: Producto
Autoridad
que encarga
la evaluacin

O
B
J
E
T
I
V
I
S
T
A
S

SCRIVEN
Sin referencia a
objetivos

Prescripcin

Contexto
Proceso
Producto
Beneficiarios
del programa

Contrato
autoridad/
evaluador
Externo

STAKE
Diseo
respondente
Descripcin,
relato
completo y
holstico del
programa
Proceso
Producto
Sujetos y
centros
Contrato
evaluador/
clientes

Cooperacin
PARLET
Y
HAMILTON
Modelo
Iluminativo
Prescripcin

Proceso
Contexto

Centros e
instituciones

Cooperacin

S
U
B
J
E
T
I
V
I
S
T
A
S

McDONALD
Evaluacin
Democrtica
Transformar

Participantes
Autoridad:
Evaluador/
clientes

C
R
I
T
I
C
O

PARLEY
COLAS
McKINNEY
BROWN

Todos los
participantes
Implicacin y
compromiso


58

Tabla 2.2. Metodologas y diseos en los distintos modelos de evaluacin de programas.
TIPO DE MODELO EVALUATIVO
Aspectos
metodolgicos
OBJ ETI VI STAS
SUBJ ETIVISTAS
CRI TI COS
C
r
i
t
e
r
i
o

e
v
a
l
u
a
c
i
n

Grado de productividad.
Grado de eficacia
resultados/coste.
Comprensin y
valoracin de los
procesos y los resultados
del programa.
Grado de transformacin
de los participantes en el
programa.
F
u
n
c
i
n

e
v
a
l
u
a
c
i
n

Valorar la productividad
para conseguir los
objetivos marcados.
Centrada tambin en la
valoracin de los efectos
secundarios, a largo
plazo, as como los
procesos explcitos y
ocultos.
Anlisis profundo de las
circunstancias
personales, sociales,
polticas y econmicas
que rodean a los
individuos en las propias
acciones.
C
o
n
t
e
n
i
d
o
s

e
v
a
l
u
a
c
i
n

Inputs y resultados segn
esas entradas.
Procesos, con la
intencin de reformular
las acciones educativas.
Tanto el proceso de la
toma de decisiones,
como el resultado de las
acciones derivadas de
stas.
M
e
t
o
d
o
l
o
g
a

d
e

l
a

e
v
a
l
u
a
c
i
n

M
t
o
d
o
s

e
v
a
l
u
a
c
i
n

Cientficos clsicos
(hipottico deductivo)
Se valora la rigurosidad,
capacidad de replicacin
y posibilidades de
generalizacin.
Centrados en entender y
valorar las situaciones
particulares o singulares,
no busca generalizacin.
Carcter cclico y no
predeterminado, se altera
durante el proceso.
D
i
s
e
o

Estructurado, prefijado
en el proyecto inicial.
Abierto, flexible y
emergente.
Dialctico, se genera
mediante la reflexin y
discusin crtica.
D
i
s
e
o

d
e

l
a

e
v
a
l
u
a
c
i
n

S
e
l
e
c
c
i
n

m
u
e
s
t
r
e
o

Representativo
estadsticamente.
Ajustado al tipo y
cantidad de informacin,
no prefijado.
Propio grupo que aborda
la investigacin
(no generalizable).


59
I
n
s
t
r
u
m
.

r
e
c
o
g
i
d
a

d
a
t
o
s

Vlidos y fiables.
Carcter abierto en
interpretacin y enfoque.
Tcnicas cuantitativas,
pero sobre todo
cualitativas.

A
n
l
i
s
i
s

d
a
t
o
s

Estadstico.
Proceso cclico
interactivo para delimitar
el problema y la
hiptesis.
Proceso cclico grupal.
Alto ndice de
abstraccin
(relacionan factores
personales, sociales...).
F
a
c
t
o
r
e
s

c
l
a
v
e
s

Validez interna y
externa.
Preocupacin por la
credibilidad de
resultados (triangulacin,
rplica paso a paso).
Explicaciones validadas
consensualmente.

F
i
n
a
l
i
d
a
d

Comprobar si se cumple
la hiptesis de partida.
Proporcionar
conocimiento y
comprensin desde la
ptica de los implicados.
Dar una explicacin
prctica y
transformadora.

Actualmente hay una clara tendencia a la bsqueda de la
complementariedad de los diferentes enfoques, evitando la oposicin y
descalificacin, para acogerse a esta posicin eclctica, que vinculada a mayores
dosis de pragmatismo, entiende que la relacin entre paradigmas y mtodos es
meramente instrumental, siendo la metodologa una simple recoleccin de
tcnicas y procedimientos (Cook y Reichardt, 1986). Pareciendo ms que
evidente, que cualquier problema puede ser abordado desde diversas perspectivas.

Esta complementariedad se genera en aspectos funcionales de los
procesos evaluativos. Siendo la propia necesidad social la que ha solicitado de la
investigacin evaluativa argumentos firmes para la resolucin de sus problemas
reales, recurriendo si fuera necesario a planteamientos pragmticos y heterodoxos
frente a consideraciones ms cercanas a la filosofa de la ciencia.


60
Es por tanto, de esta necesidad, de dnde surge la disposicin para
utilizar todos los planteamientos, metodologas e instrumentos necesarios para
resolver dichas situaciones en un contexto plural.

Como argumenta De Miguel (1999), la consecuencia lgica de toda
evolucin hacia una evaluacin pluralista ha tenido claras repercusiones sobre los
paradigmas de investigacin, siendo la evaluacin de programas uno de los
mbitos de la investigacin social donde se hace ms patente la superacin del
debate entre metodologa cualitativa y cuantitativa (Cook, 1997).

Las caractersticas especiales y especficas de los programas obligan a
abordar los procesos evaluativos con planteamientos integradores y enfoques
multimtodos, dejando la polmica paradigmtica en un segundo plano, como ya
planteaban (Fetterman, Kaftarian y Wandersman, 1966), frente a la necesidad de
avanzar en el conocimiento de la realidad social.

As, se ha venido consolidando una corriente epistemolgica que intenta
promover como marco terico para este tipo de investigacin un paradigma
orientado hacia la explicacin social realista (Pawson y Tilley, 1997) siguiendo la
tradicin que sita la explicacin cientfica entre el positivismo y el relativismo
(Sayer, 1984).

2.6. CONSIDERACIONES METODOLGICAS EN LA
EVALUACIN DE PROGRAMAS EDUCATIVOS.

2.6.1. Los diseos de investigacin evaluativa para su aplicacin en
evaluacin de programas.

La evaluacin de programas es un proceso de generacin de
explicaciones tiles sobre una determinada intervencin innovadora. Que en un
sentido crtico de su utilidad puede emplearse para mejorar los procesos de accin

61
educativa, razn por la que en el mbito metodolgico, puede entenderse como un
proceso de investigacin evaluativa (Tejedor, Garca-Varcrcel y Rodrguez,
1994; Prez Juste, 1995; Amzcua, 1996; Martnez Mediano, 1996 y Tejedor,
2000).

Se entiende como diseo a un plan o esquema del investigador que
recoge las estrategias que se utilizarn en el estudio. En los diseos evaluativos se
fijan qu medidas y cuando sern tomadas en el curso del proceso de evaluacin.

Estos planes, conllevan una resolucin terica determinada en los
principios que fundamenten el proceso investigativo reflejados en el modelo
terico seleccionado, aspectos especificados en el anterior epgrafe de este mismo
captulo.

Anguera (1992) define al diseo de investigacin como estrategia
integral de proceso y en consecuencia el curso de accin o secuencia de decisiones
acerca de cmo recoger, ordenar y analizar los datos, siempre subordinado al
cumplimiento de los fines del programa.

En su concrecin, la variedad de diseos de investigacin y de intentos
de clasificar stos es amplsima, pero es cierto que dadas las peculiares
caractersticas de la investigacin educativa hay diseos ms adecuados para
investigar la intervencin mediante programas. Aunque su tratamiento minucioso
supondra una tarea compleja, ardua e intil, dada la abundancia de manuales
monogrficos, se exponen a continuacin unas clasificaciones generales en las que
se puedan fundamentar los datos de esta investigacin en este aspecto concreto.

Fitz-Gibbon y Morris (1987) hacen referencia en su propuesta a siete
modalidades de diseo:

Diseos pretest post-test con grupo de control.
Diseo post-test (nicamente) con grupo de control.

62
Diseo pretest post-test con grupo de control no
equivalente.
Diseo de series temporales con un nico grupo de control
(experimental solamente).
Diseo de series temporales con grupo de control no
equivalente.
Diseo antes-despus.

Es sta una clasificacin simple, en la que se olvidan determinadas
estrategias que Tejedor diferencia (1994) y actualiza (2000).

Por lo que para ofrecer una perspectiva completa, todas estas propuestas
de ordenacin son asimiladas y contextualizadas aqu en los diseos clsicos de
investigacin, sealados por Cols y Rebollo (1993), para la evaluacin de
programas:

a. Diseos para la investigacin cuantitativa, agrupados en descriptivos,
correlacionales y experimentales:

a.1. Diseos descriptivos que tienen como principal objeto la descripcin
sistemtica de hechos y caractersticas de una poblacin o rea de inters de
forma objetiva y comprobable. Poseen gran capacidad para identificar aspectos
relevantes o sugerir factores explicativos de situaciones.

Entre ellos destacan los de tipo Descriptivos - comparativos (Tipo
survey) con diversa temporalidad: Longitudinales secuenciales (diacrnico) y
transversal (sincrnico).

a.2. Diseos correlacionales, que trabajando en entornos naturales y sin
manipulacin previa de variables, tratan de investigar las relaciones entre ellas.


63
Son una amplia familia tanto en la forma de proceder como en los
objetivos cientficos que pretenden alcanzar. Entre ellos destacan los que analizan
la correlacin y regresin (discontinuidad en la regresin), los estudios predictivos
y las tcnicas de clasificacin, entre las que se pueden considerar los anlisis
factoriales (simplificar y organizar estructuras), los anlisis discriminantes
(diferenciar grupos por perfiles) y los anlisis de conglomerados (clasificar sujetos
en grupos). As como los diseos causales.

a.3. Diseos tcnicos experimentales, que integran numerosas modalidades, pero
que Pereda (1987) diferencia por la manipulacin directa de la variable
independiente o tratamiento y por el control de las posibles variables
contaminadoras. Atendiendo a criterios sobre su validez interna y externa se
clasifican en:

Preexperimentales: Pretest con un solo grupo, Pretest -
postest con un solo grupo y Diseo de comparacin
esttica.
Cuasiexperimentales: Pretest postest con grupo de
control no equivalente y de Series temporales con pretest
y postest con un solo grupo o con grupo de control
Experimentales (intergrupo e intragrupo): Pretest con
grupo de control, Pretest postest con grupo de control,
N=1 (lnea base), Intrasujetos y Diseos Complejos.

b. Diseos para la investigacin cualitativa que siguen una secuencia
interactiva flexible y abierta, propia de esta metodologa, entre las fases de
recogida de datos, hiptesis, muestreo y elaboracin de teoras.

Se basan fundamentalmente en tcnicas observacionales y pueden
clasificarse de modos muy diversos teniendo en cuenta diversos aspectos.
Atendiendo al nmero de sujetos sobre los que se focaliza la atencin pueden

64
destacarse; estudio de casos, estudios de grupo, estudios de comunidades o
etnogrficos y estudios de situaciones o contextos.

c. Diseos de investigacin desde la perspectiva crtica, muy vinculados a la
accin e intervencin, como el de investigacin- accin. Con procesos cclicos de
naturaleza dialctica en los que los implicados se convierten en agentes activos, se
realizan interpretaciones colectivas de las situaciones para la mejora.

Los planteamientos establecidos para la seleccin de un diseo en una
determinada situacin investigativa son muy diversos. En la tradicin
experimental clsica se ha venido ateniendo a criterios exclusivamente
metodolgicos relacionados con cuestiones como su precisin, simplicidad o
validez.

Cols y Rebollo (1993) adecuan estos criterios a las peculiaridades en la
evaluacin de programas, contemplando como criterios para su seleccin el
anlisis previo de las cuestiones a evaluar y el examen de la situacin real donde
se va aplicar. Para seleccionar el diseo que mejor se adapte a la situacin y
contexto especfico (lvarez Rojo, 1991).

Pero en ocasiones, la complejidad de los contextos sociales en los que
deben aplicarse estos diseos de investigacin hace que ninguno de ellos se
adapte completamente o respete las condiciones de stos, por lo que autores como
Fernndez Ballesteros (1996) propugnan una necesaria complementariedad
metodolgica en estos casos.

Adems de las cuestiones referidas al diseo de investigacin, en los
procesos de evaluacin de programas hay que tomar decisiones sobre aspectos
referidos a las fuentes de informacin de las que se extraern las informaciones,
qu instrumentos se emplearn para ello, y a qu tipo de anlisis se sometern
estos datos. Todo ellos bajo la perspectiva del control de los posibles sesgos que
se puedan asumir como corresponde a los procesos de investigacin educativa.

65
2.6.2. Fuentes de datos.

Un problema asociado al diseo y que se relaciona a los instrumentos de
recogida de informacin es la delimitacin de las fuentes de datos y los lugares de
los que se extraen las informaciones.

Cuando se aborda la evaluacin de programas se siente la tentacin de
evaluar a todos y cada uno de los individuos sobre los que acta ste, lo que no
siempre es posible. Apareciendo la extraccin de muestras como mecanismos
plausibles que permiten segn Som (1996) una mayor economa de costos y
temporal, el tratamiento de espectros ms amplios de informaciones, una mayor
fiabilidad y una mejor calidad general de los trabajos.

Existen formas muy diversas de seleccionar la muestra, que se pueden
agrupar de forma muy general en mtodos probabilsticos y no probabilsticos.
Los primeros son importantes en la evaluacin de programas, ya que cubren
extensas poblaciones, pudiendo ofrecer resultados vlidos y fiables y con
capacidad de generalizacin. Mientras que los segundos, y en concreto el
intencional muy utilizado en los enfoques cualitativos, se hace recomendable
cuando se desea obtener informaciones extensas y profundas sobre una
determinada cuestin.

El tipo de muestreo que se puede plantear para la seleccin de la muestra
en los procesos de investigacin, siguiendo a Gaviria (2000) que los relaciona
especficamente con la evaluacin de programas institucionales, planteando
adems de las numerosas ventajas que supone la extraccin de muestras, los
problemas derivados de su representatividad poblacional.

Para este autor, los procesos y tcnicas concretas de seleccin de la
muestra deben partir de un establecimiento claro de la poblacin objetivo y una
delimitacin de las poblaciones implcita y explcitamente excluidas. As como
del establecimiento de un tamao muestral, no determinado por el tamao de la

66
poblacin, sino por el error que se est dispuesto a sumir, la desviacin tpica de
la variable medida y la correlacin intra-clase en el caso de muestreos por
conglomerados.

Igualmente asume la necesidad del establecimiento de ponderaciones en
los muestreos por dominios o subdivisones de la muestra (estratos o
conglomerados) para que stos posean una representacin real y acorde con su
tamao especfico.

2.6.3. Tcnicas e instrumentos de recogida de informacin.

El esfuerzo econmico, temporal y personal realizado en la
implementacin de un programa, debe ser evaluado. Lo que supone, para
Fernndez Ballesteros (1996), el uso de instrumentos y procedimientos de
recogida de informacin y el anlisis y la interpretacin de los datos obtenidos.

El empleo de estas tcnicas, queda determinada para Cook (1984), por la
necesidad de su complementariedad como medio de captacin de un nmero de
informaciones lo suficientemente amplio o completo, como para permitir la
descripcin de los complejos contextos sociales en los que tiene lugar el hecho
educativo.

Complementariedad que a su vez facilita la triangulacin de tcnicas y
procedimientos, necesarios como para que estas informaciones posean una
fiabilidad adecuada a procesos de carcter investigativo (Denzin, 1970). Esta
complementariedad como enfoque ms acertado debe llevarse a cabo empleando
de forma complementaria enfoques, mtodos y tcnicas tambin en el anlisis de
datos (Lizasoain y Joaristi, 2000).

Existen numerosas clasificaciones atendiendo a diversos criterios.
Fernndez Ballesteros (1996) categoriza estos procedimientos para la recogida de

67
informacin en tcnicas cualitativas y cuantitativas. Existiendo evaluaciones en
las que se intenta integrar datos desde ambas perspectivas, aunque slo sea porque
por separado ambos comparten el mismo reduccionismo en su intento de
descubrir la realidad (Dvila, 1994). Cuantitativa para extraer datos
aprovechables, y cualitativa para organizar las cantidades obtenidas, pues es
imposible dejar a un lado lo subjetivo incluso en el plan ms estructurado, como
supona Patton (1984).

En el mismo trabajo de Fernndez Ballesteros se describen los
principales instrumentos de recogida de informacin en evaluacin de programas
atendiendo al sujeto de la evaluacin. Por su parte Cols y Rebollo (1993),
basndose en lo expuesto por Pourtois y Desmest (1988), describen los
instrumentos de recogida de informacin de una manera aplicada, segn las
cuestiones que se pretenden evaluar.

Aqu se intentan integrar ambas perspectivas resumindolas en la
presentacin de tcnicas sintetizadas en la tabla 2.3.y 2.4.

Esta diversidad de tcnicas no debe llevar a la confusin, pues hay que
aplicar todas aquellas que sean tiles sin ms limitacin que las restricciones
derivadas de sus propias caractersticas, basndose los criterios de seleccin de
una tcnica o instrumento concreto en algunas de sus caractersticas como:

Aplicabilidad (que el procedimiento se pueda llevar a cabo en
el programa).
Adecuacin (a las condiciones del objeto de estudio e
hiptesis de trabajo).
Rigor (conocer las condiciones propias de aplicacin).
Competencia tcnica del evaluador/es y asequibilidad de las
tcnicas.
Obtencin de la mxima riqueza y precisin de los datos.
Rentabilidad temporal, de esfuerzo y econmica.

68
Adaptabilidad (dar respuesta a las expectativas del personal,
cliente o audiencias a las que se dirige).

Y sobre todo, teniendo en cuenta las dimensiones evaluativas de las que
se desea o necesita extraer informacin, como la inteligencia; las aptitudes
particulares y personalidad, conductas y acciones; el conocimiento; situaciones y
procesos de intervencin o dimensiones sociales del grupo, valores, intereses y
roles; unas pruebas sern ms adecuadas que otras.

Tabla 2.3. Tcnicas de recogida de informacin en evaluacin de programas (I)
TCNICAS Y
PROCEDIMIENTOS
SUJETO DE
EVALUACIN
FORMA Y PROCESO DE
APLICACIN
MBITO DE
APLICACIN
Entrevista estructurada
Responsables.

Gestores.
Entrevistador experto,
delimita el propsito y
objetivos, que convierte en
cuestiones.
Evaluacin diagnstica.

Evaluacin producto.
Encuesta/ Cuestionario
Gestores.

Usuarios.
Personal experto que define
objetivos, disea la prueba,
decide la muestra de
aplicacin, codifica e
interpreta las informaciones,
aplicada por Encuestadores
entrenados.
Evaluacin diagnstica

Evaluacin producto
(aptitudes, percepciones o
posiciones personales).
Tcnicas de autoinforme Usuarios. Autoaplicacin.
Evaluacin formativa o
procesual.
Observacin
Contextos de
aplicacin de programas.

Observadores expertos
registran aspectos concretos
de las conductas o del
contexto.
procesual.
Evaluacin del producto
(Interpretacin de xito y
fracaso de acciones).
C
U
A
N
T
I
T
A
T
I
V
A
S
Indicadores sociales,
econmicos y de salud
Poblacin General.
Poblacin Objetivo.
Personal contratado recoge
informacin en plantillas
estructuradas.


69
Test
Poblacin Objetivo.

Usuarios.
Personal experto que
selecciona la prueba, aplica
y corrige en condiciones y
normas especficas.

Evaluacin producto.
Escalas de actitud
Poblacin

Objetivo.

Usuarios.
Personal experto que
determina la actitud a medir,
redacta y elabora la prueba,
y analiza e interpreta los
datos.

Evaluacin producto.

Fuentes documentales y
Datos de archivo sobre
usuarios o el programa
Usuarios.

Documentacin escrita
sobre el programa.
Personal contratado recoge
informacin. en plantillas
estructuradas.

Evaluadores expertos.
Evaluacin personal sobre
realizacin de actividades
Evaluacin de productos.

Tabla 2.4. Tcnicas de recogida de informacin en evaluacin de programas (II)
TCNICAS Y
PROCED.
SUJETO DE
EVALUACIN
FORMA Y PROCESO DE APLICACIN
MBITO DE
APLICACIN
Grupos de
discusin
Responsables.

Gestores.

Usuarios.
Moderador con dominio de tcnicas de
animacin.

Evaluacin procesual.

Observacin
participante
Contexto de
aplicacin de los
programas.
Agente de campo u observador participante
que se introduce en el contexto de aplicacin
del programa como un miembro ms del
mismo.

procesual.

Analizadores
sociales y
tcnicas
sociomtricas
Poblacin objetivo.
Obtencin de analizadores en cuanto a claves
explicativas del funcionamiento de los grupos.
Evaluacin diagnstica del
grupo.

Evaluacin procesual
(dimensiones educativas,
clima social y gua de
acciones).
C
U
A
L
I
T
A
T
I
V
A
S
Mtodo Delphi
Expertos.

Gestores.

Responsables.
Grupos de expertos a los que el evaluador
enva cuestionarios y resultados de los
mismos.



70
2.6.4. Anlisis e interpretacin de datos.

Todo el proceso de evaluacin caracterizado hasta aqu requiere un
continuo procesamiento de informaciones, que si no se organizan y tratan de la
forma correcta pueden convertirse en una tarea ardua, derivar en interpretaciones
incorrectas y conseguir que la evaluacin sea infructuosa.

Por tanto, las principales funciones asignadas a los procesos de anlisis
de datos son:

Describir de forma comprensiva los datos brutos.
Ayudar a decidir si la relacin entre datos se puede admitir
con confianza o azar.
Estimar magnitudes, cantidades de cambio o diferencias.
Determinar si los efectos que aparecen en la informacin
alcanzan un nivel relevante en el contexto de aplicacin del
programa.

Con todo ello, el propsito de la interpretacin es combinar los resultados
obtenidos con los valores asumidos, en criterios y patrones, para elaborar
conclusiones juicios y recomendaciones. En este proceso de interpretacin
influyen tanto los mtodos lgicos empricos, propios de las ciencias estadsticas,
como los valores del investigador (Worthen y Sanders, 1987).

Pero antes de hacer explcito cualquier procedimiento concreto para el
anlisis de datos es necesario realizar una serie de consideraciones preliminares
acerca de la perspectiva de anlisis a emplear, establecer unas fases ordenadas
acordes con ste enfoque, y seleccionar las tcnicas y procedimientos ms
adecuados a los datos de los que se disponga.

Existen diversas formas de realizar los procesos de anlisis de datos,
determinadas por ejemplo por la naturaleza cuantitativa o cualitativa de stos. En

71
lneas generales, basndose en la propuesta fundamentada de Fernndez
Ballesteros (1996) un procedimiento de anlisis de datos posee las siguientes
fases:

1. Preparacin y organizacin de los datos, que en datos de tipo
cuantitativo consiste en el vaciado y organizacin de la informacin en
variables y categoras, y en los de tipo cualitativo en la determinacin de las
unidades bsicas de anlisis.

En esta etapa es muy importante la creacin de matrices de datos bien
organizadas y en caso necesario el establecimiento de las escalas de medida
que sern necesarias para analizar los datos.

2. Introduccin de los datos en un procesador informtico, que
permite con el apoyo del software adecuado, una enorme posibilidad de
anlisis. Existiendo programas adecuados tanto para el tratamiento de datos
cuantitativos (S.P.S.S., B.M.D.P. o Statistics) y cualitativos (The etnograph,
Aquad o Nudist Vivo).

3. Aplicacin de estndares parea fijar categoras y definiciones
comunes. Categorizacin y conceptualizacin de los datos cualitativos.

4. Seleccin del tipo de anlisis a realizar dependiendo de la
naturaleza de los datos y del tipo de conclusiones a las que se quiere llegar.

5. Aplicacin de los primeros resultados. En los procesos
cuantitativos se suele comenzar por un anlisis descriptivo de las variables por
medio de estadsticos como porcentajes, frecuencias o moda.

6. Anlisis inferencial de datos, que permite la extrapolacin de los
datos de la muestra a la poblacin.


72
En los anlisis cuantitativos de datos, se realiza un contraste de hiptesis
para determinar si un resultado se debe al azar al cumplir ciertas hiptesis, se
utilizan estadsticos muestrales para estimar y determinar su valor probable en la
poblacin y para determinar la significacin estadstica de los resultados
obtenidos.

En los procesos cualitativos se realiza una inferencia con los datos
obtenidos para elaborar hiptesis o proposiciones lgicas que expliquen diversos
aspectos de la realidad descrita.

En ambos procesos, ya sean referidos a datos de naturaleza cuantitativa o
cualitativa, la finalidad es el establecimiento de teoras, explicaciones o
razonamientos fundamentados que permitan la toma de decisiones acerca del
programa evaluado.

A estas fases primarias puede aadirse fases de carcter secundario
propias de los procesos metaanalticos. En los que se trabaja con resmenes de
estudios o investigaciones primarias, recuperados tras la revisin de la literatura, y
seleccionados atenindose a unos criterios especficos.

Esta metodologa de revisin puede considerarse como una respuesta a la
necesidad de desarrollar procedimientos objetivos y cuantificables en la revisin
evaluativa de la investigacin (Glass, 1976; Wolf, 1987 y Snchez Meca y Ato,
1989).

La interpretacin sucede al anlisis de datos y supone la asignacin de
significados otorgndole sentido a los resultados obtenidos. sta debe partir de
una lectura lo ms exacta posible de los datos, incluso en los casos ms negativos,
pues de ellos se pueden extraer jugosas e interesantes conclusiones.

Los datos deben contrastarse con los objetivos propuestos en la
evaluacin y con los extrados en situaciones similares, intentando conectarlos

73
con explicaciones generales ofrecidas por teoras explicativas. Todas las
interpretaciones realizadas deben a su vez estar fundamentadas y avaladas por los
datos obtenidos.

Una ltima consideracin a tener en cuenta en el anlisis de datos y la
discusin de sus resultados es la contemplacin de las distintas perspectivas de los
agentes implicados y relacionados con la evaluacin del programa. Este aspecto
no slo debe considerarse en la comunicacin final de conclusiones, atendiendo a
criterios estticos y de contenido del informe, sino que debe originarse en el
propio proceso de tratamiento de datos previo, mediante el uso de procedimientos
adecuados como son los grupos de discusin.

2.7. AVANCES Y NUEVAS PERSPECTIVAS EN LA INVESTIGACIN
SOBRE EVALUACIN DE PROGRAMAS. LOS ESTUDIOS
METAEVALUATIVOS Y DE SNTESIS.

La evolucin y desarrollo de la investigacin sobre evaluacin de
programas se encuentra ligada al de la propia investigacin educativa en general.

Desde el punto de vista epistemolgico, las aproximaciones eclcticas o
integradoras suponen un avance en la superacin de los principios excluyentes. En
el sentido que ofrece Merton (citado en Wittrock, 1989) las nuevas teoras no
sustituyen a las anteriores sino que las complementan, permitiendo prestar
atencin a hechos y fenmenos que podran pasar desapercibidos desde un nico
punto de vista.

Este principio permite ofrecer una visin cada vez ms completa y
adecuada de las realidades examinadas. Sobre todo teniendo en cuenta que el
objeto de conocimiento de las ciencias educativas se centra en contextos y
realidades de enorme complejidad humana y social en mbitos interculturales. Por
lo que en estos estudios se requieren el empleo de diseos complementarios, cada

74
vez ms aceptados y empleados por los investigadores, como medios adecuados
de investigacin de estos entornos.

Desde un punto de vista eminentemente emprico se ha producido la
superacin del debate cuantitativo vs. cualitativo (Reichardt y Rallis, 1994 y
Cook, 1997). Permitiendo la metodologa de base cuantitativa la bsqueda de
relaciones entre las variables bajo precisas condiciones de control, aleatorizacin,
medida y diseo, para alcanzar mejores niveles de generalizacin; mientras que
los mtodos cualitativos ofrecen mejores y ms detalladas descripciones de los
procesos. Consiguiendo con una conjugacin de ambos estudios muy compactos.

Es desde estas nuevas consideraciones tericas y procesos de
investigacin desarrollados, desde donde se han ido considerando una mayor
participacin de los destinatarios y afectados por los programas evaluados tanto
como informantes de los procesos como su conversin en agentes activos de ellos.
Ofreciendo informaciones ms profundas desde la perspectiva interpretativo
humanstica y una tica de participacin ms democrtica.

Esta evolucin de la investigacin sobre E.P. como realidad
compleja ha derivado en la aplicacin de anlisis de datos ms sofisticados que
permiten alcanzar unas interpretaciones de mayor calado, riqueza y especificidad.
Jugando en estos procesos un papel crucial la aplicacin de nuevas tecnologas
que permiten la gestin de grandes cantidades de informaciones y el tratamiento
de mltiples datos por medio de variados anlisis.

La consideracin de procesos de investigacin amplios como medio de
explicacin de contextos complejos ha desarrollado la atribucin de nuevas
funciones a la evaluacin de los programas mediante los que se interviene en
dichos mbitos. As, como indica Chelimnsky (1997) o De Miguel (1999), adems
de funciones como rendicin de cuentas (accountability) o mejora del programa
(improvement), las evaluaciones tambin comienzan a considerarse generadoras

75
de conocimientos y explicaciones de los problemas sociales, y por tanto
determinantes para promover sus cambios y mejoras.

Al igual que en el resto de la investigacin educativa las nuevas
tecnologas aplicadas al proceso de bsqueda, registro y tratamiento de
informaciones basados en redes informticas, desarrollo y disponibilidad del
hardware o aplicabilidad de software especfico, han supuesto una revolucin al
poner en manos de los investigadores educativos potentes medios que facilitan
enormemente los procesos de investigacin en Evaluacin de Programas.
Implicaciones que incluso afectan a aspectos posteriores al propio proceso de
investigacin como es agilizar la difusin de los hallazgos y facilitar mayores
mbitos de impacto.

Como investigacin en el mbito social de carcter eminentemente
prctico, son numerosos los factores sociales que han influenciado el desarrollo de
la investigacin sobre evaluacin de programas, siendo uno de los de mayor
importancia el derivado de la mayor preocupacin social por aspectos sobre la
cualidad de la educacin. Preocupacin que ha hecho que las instituciones
desarrollen procesos de intervencin por programas de espectro ms amplio y de
aplicacin a contextos especficos por medio de mecanismos en los que la cultura
evaluativa se acepta y considera como mecanismo ineludible para la consecucin
de la ansiada calidad educativa.

Uno de los mayores avances alcanzado en E.P. supone un refinamiento
metodolgico, como es el caso de las investigaciones mediante metaanlisis y
estudios de sntesis, que permiten realizar inferencias desde supuestos ms
amplios ofreciendo una mayor extensin de los resultados obtenidos.

Los estudios de sntesis de carcter secundario se distinguen por el
empleo como fuentes de datos de investigaciones primarias sobre un tpico
determinado, para por medio del empleo de estadsticos que permitan realizar
sntesis de los resultados obtenidos, permitir y facilitar el replanteamiento del

76
campo de investigacin de una disciplina al ofrecer visiones globales y replantear
nuevas lneas de actuacin.

La pertinencia de estudios metaevaluativos y de sntesis es usualmente
sealada e indicada por autores en el mbito internacional (Scriven, 1974;
Stufflebean, 1978, 1981; Shadish, Cook y Levinton, 1991) y nacional (Bartolom,
1990; De la Orden y Martnez de Toda, 1992 o Fernndez Cano y Bueno, 1998).

El desarrollo actual de los servicios evaluativos, hasta alcanzar un grado
de profesionalizacin (Madaus et. al., 1983), es una muestra de la patente
preocupacin social por la educacin en la que el empleo de estos servicios se
muestra como aval de su calidad. Sin embargo, a pesar de las muchas razones para
ello no ha existido tradicionalmente una cultura evaluativa, sino ms bien como
sealaba Scriven (1974) una resistencia a ser evaluado y una escasez de revisin
de los estudios de evaluacin.

Si evaluacin es la emisin de un juicio sobre el valor o mrito de algo,
metaevaluacin es enjuiciar la propia evaluacin. De la Orden y Martnez de Toda
(1992) conceptualizan los procesos de metaevaluacin como sistema de garanta y
responsabilizacin ante la sociedad de los servicios evaluativos ofrecidos,
basndose en el desarrollo especfico de las normas establecidas por el Joint
Committee (1998).

As los procesos metaevaluativos pueden adoptar diferentes funciones o
utilidades en la investigacin educativa:

La primera de ellas hace referencia a la metaevaluacin como
evaluacin de la evaluacin (Stufflebean, 1981; Landsheere, 1982 y Joint
Committee, 1998) incluso en el sentido de revisin para el cumplimiento de
los procesos evaluativos desde una perspectiva de profesionalidad
(Stufflebeam, 1987).


77
Esta valoracin de la evaluacin para atestiguar su calidad, puede
proceder de una perspectiva sumativa (Cook y Gruder, 1978) o formativa
(Scwandt y Halpern, 1988), convirtindose la metaevaluacin en una
herramienta de mejora de la evaluacin mediante un proceso de identificacin
de sus sesgos.

Los procesos metaevaluativos poseen un carcter unificador al
proveer procedimientos para resumir y sintetizar los resultados de varias
valoraciones referidas al mismo programa o conjunto de programas
(Stufflebean, 1981). Procesos que permiten ofrecer visiones amplias desde
distintos planos como la funcin valorativa general de una organizacin o las
realizaciones en un determinado campo o disciplina. Siendo muy tiles, sobre
todo en procesos de reconstitucin y reforma, los estudios de sntesis.

Los contextos y mbitos de intervencin necesitan de
intervenciones por programas cada vez ms amplias y complejas, que a su vez
delimitan procesos evaluativos de caractersticas similares, por lo que si cabe,
la revisin metaevaluativa adquiere an un sentido mayor.

Estos procesos insertos en una dinmica constante de crtica
constructiva, hacen trascender la prctica evaluativa particular hacia aspectos
ms amplios como vehculo potenciador de mejoras educativas (Worthen y
Sanders, 1987).

La importancia y trascendencia que puede derivarse de cada una de estas
funciones, hace que el desarrollo de procesos metaevaluativos y estudios de
sntesis en la investigacin sobre evaluacin de programas parezca tan
irrenunciable como el de la propia evaluacin de stos.

En algunas de estas caractersticas, como la complementariedad, su
carcter de sntesis y el empleo de nuevas tecnologas, los procesos desarrollados

78
en esta Tesis Doctoral se basan en los nuevos desarrollos y pueden suponer un
avance en el campo de la E.P.

Complementariedad que puede ser entendida desde mltiples aspectos
tericos y empricos, como la consideracin de anlisis de aspectos cientimtricos,
conceptuales y metodolgicos de la investigacin; el empleo de una metodologa
descriptiva desde una perspectiva sincrnica y diacrnica o los anlisis de datos,
que aunque eminentemente cuantitativos, se recurre al empleo de procesos
cualitativos en aquellos aspectos en los que la naturaleza especfica de los datos lo
requiere. No existiendo precedentes en el campo de la E.P. de estudios de sntesis
de este tipo.

Tambin puede parecer novedoso el empleo de las nuevas tecnologas en
todas las fases del proceso investigativo, desde la bsqueda por medio de enlaces
electrnicos on line en diversas bases de datos mediante el empleo de motores de
bsqueda basados en palabras clave, el registro de datos en bases digitales y
tratamiento por medio del empleo de software especfico, a la elaboracin de
informes de conclusiones.


79

CAPTULO III. CIENCIOMETRA Y
EDUCACIN.

Los indicadores cienciomtricos pueden ser un
instrumento til para la evaluacin de la investigacin
educativa. Pero se ha de poner el mximo cuidado para
su uso correcto, evitando simplificaciones excesivas como
intiles refinamientos.
(Maltrs, Quintanilla y Vidal, 1998)

3.1. INTRODUCCIN.

Uno de los apelativos que definen con mayor claridad la poca actual es
el que la denomina como Era de las Comunicaciones. Sea cual sea la disciplina en
la que nos situemos, la cantidad de informacin generada y sus posibilidades de
difusin son tan elevadas que se requiere un esfuerzo de estructuracin (Galante y
Sanchidrian, 1996). De hecho, ya en el segundo Congreso de la Ciencia, celebrado
en Londres en 1931, se perfilaban lo que seran las directrices bsicas de este
anlisis estructural de la informacin que posteriormente constituira el cuerpo
metodolgico conocido con el nombre de Bibliometra o Cienciometra.

La importancia que la ciencia y la tecnologa han llegado a adquirir en la
sociedad, ha ido imponiendo la necesidad de su evaluacin. Son numerosos los

80
recursos humanos y econmicos que la sociedad dedica a la investigacin en el
desarrollo de trabajos cientficos, como medio de su propia evolucin y
sostenimiento, que a su vez sta exige un control y evaluacin de sus tareas que
justifiquen tal aporte. Siendo la metodologa cienciomtrica una de las ms
comnmente utilizadas.

Se trata de estudiar cientficamente la actividad de la investigacin no
para discernir su naturaleza o para relativizar su alcance, sino para favorecer su
desarrollo.

La Cienciometra o cientimetra, tambin denominada Metodologa
Bibliomtrica es ante todo un corpus metodolgico inicialmente centrado en el
anlisis estructural y prognosis de la informacin, contenida principalmente en
publicaciones de investigacin cientfica.

Lpez Piero (1972) la denominaba "ciencia de la ciencia",
considerndola como un autntico programa de investigacin de carcter
interdisciplinar que interesaba a disciplinas complementarias: la informacin
cientfica propia de los documentalistas, la historia de la ciencia y la sociologa de
la ciencia; dimensiones a las que se podra aadir la evaluacin cientfica de las
producciones, propia de la Metodologa de la Investigacin (Fernndez Cano y
Bueno, 1998).

Debido a su metodologa los estudios cienciomtricos poseen un carcter
eminentemente descriptivo, por lo que poseen gran importancia para obtener
visiones globales de un determinado campo de estudio.

Se suele partir, en estos estudios, del anlisis de la frecuencia de aspectos
tales como: autores; fechas y fuentes de publicacin; nmero, lengua, antigedad
y variabilidad de las citaciones. Para, mediante el clculo de valores promedio y
porcentajes, realizar una descripcin diacrnica de la produccin de una disciplina
o de un campo determinado de una disciplina cientfica.

81
3.2. LA COMUNICACIN EN CIENCIA Y TECNOLOGA.

El desarrollo de la Cienciometra ha sido posible gracias a un rasgo
caracterstico de la ciencia desde el siglo XVII: la comunicacin cientfica (Lpez
Lpez, 1996). Quedando as el desarrollo cientfico ntimamente asociado a su
comunicabilidad.

Para Ziman (1980) la ciencia slo puede existir en estrecha dependencia
con la comunicacin, ya que es esencial para establecer criterios de registro de
resultados, observaciones o teoras que sirvan como referencia a los cientficos.
Facilitando a su vez la crtica, refutacin y perfeccionamiento de los hechos y
trabajos cientficos.

Aunque es sta una postura abierta a muchas crticas, Price (1973, p.69)
tambin asocia la existencia, de la ciencia a la de la comunicacin hasta tal punto
que no podra existir sin ella, definiendo la ciencia como lo que se edita en las
publicaciones cientficas y al cientfico como el hombre que en algn momento de
su vida ha colaborado escribiendo alguna de esas publicaciones.

Incluso desde una perspectiva sociolgica la comunicacin cientfica
parte de la consideracin de la ciencia como una organizacin dentro de la propia
estructura social. Y en todo sistema organizativo de carcter social, como seala
Gtor (1982), el establecimiento de un sistema de comunicacin es inherente al
propio desarrollo de la organizacin.

Pero en palabras de Carpintero y Peir (1981), incluso la comunicacin
cientfica ofrece caractersticas significativamente diferentes a la comunicacin en
cualquier otra organizacin, puesto que al convertirse en la prueba ms efectiva de
las realizaciones y productos de los cientficos, se ha convertido en un fin en s
misma.


82
Es decir, como planteaba Price (1973), el hecho y proceso cientfico
quedara incompleto sin la comunicacin, mediante la publicacin, de los
hallazgos para su discusin y aceptacin por la comunidad cientfica. Y por tanto
una de las finalidades de la ciencia, debe ser su comunicacin y su publicacin.

Partiendo de este papel central asignado a la comunicacin en la ciencia
(Carpintero y Peir, 1981), el estudio de dicha comunicacin puede facilitar
informaciones tiles acerca de su estructura organizativa. Convirtindose este
planteamiento en uno de los pilares que ofrecen racionalidad al empleo de la
metodologa cientimtrica.

En este proceso de comunicacin, que hace de la ciencia un
conocimiento compartido, el anlisis de los canales de comunicacin es prueba y
medida del desarrollo cientfico en un determinado contexto. Estos pueden poseer
para Montoro y Carbonell (1989) naturalezas muy diversas adoptando desde
aspectos informales como la correspondencia o entrevistas; o eminentemente
formales como Tesis Doctorales, literaturas de congresos, informes o revistas de
investigacin.

Estas ltimas convertidas en el vehculo por excelencia de la
comunicacin cientfica, han aumentado de forma ingente como canal
comunicativo (Callon, Courtial y Penan, 1995).

Queda por tanto, patente la relacin unvoca entre ciencia, comunicacin
y publicacin en fuentes cientficas, principalmente revistas especializadas.
Siendo este el principal objeto de estudio de la Bibliometra/Cienciometra, que
Garfield (1979a) define como la cuantificacin de la informacin bibliogrfica
susceptible de ser analizada.

Esta asociacin entre el trabajo cientfico y la necesidad de publicar en el
mundo de la ciencia ligada a la industria necesita adems de otra literatura
tecnolgica como son las patentes. Estas pese a soportar un gran volumen de la

83
produccin cientfica mundial, quedan restringidas enormemente por lo poco
accesible de su lenguaje.

3.3. LA CIENCIOMETRA. NOTAS HISTRICAS Y
DELIMITACIN CONCEPTUAL.

El origen de esta disciplina surge de la convergencia de estudios de
diversas disciplinas, en momentos y lugares distintos. Solapndose trminos
utilizados para definir este tipo de trabajos desde su origen, que algunos autores
utilizan indistintamente, como son los de Ciencia de la Ciencia, Bibliografa
Estadstica, Bibliometra, Cienciometra o Infometra. No siendo ms que fruto de
su propio desarrollo, desde las aplicaciones espordicas hasta la conceptualizacin
metodolgica de la disciplina, que cada vez se hace ms amplia, tanto en su objeto
como en el campo de conocimiento.

Desde la antigedad se han venido realizando estudios bibliomtricos,
aunque sin el desarrollo lgico de una disciplina establecida. Mndez (1986),
indica que el primero en utilizar un enfoque de este tipo fue Alphonse de
Condolle, que en 1885, en su trabajo Histoire des sciencies et des savants depuis
deux siecles realiza un estudio sobre catorce pases europeos y Estados Unidos,
aplicando mtodos matemticos a factores relacionados con el desarrollo
cientfico.

El primer estudio en el que podramos determinar rasgos ciertamente
bibliomtricos es el de Cole y Eales, que en 1917, realizaron un anlisis
estadstico de las publicaciones sobre anatoma comparativa entre 1543 y 1860
con la distribucin por pases y campos, cmputos, categoras y las divisiones del
reino animal; trabajos que segn (Sancho, 1990) todava tienen cierto inters
bibliomtrico.


84
Pero hasta 1923, no se realizan referencias literarias a ste tipo de
estudios atribuyndoles un carcter especfico, mediante el trmino de
bibliografa estadstica. Referencias realizadas por Hulme en sus conferencias en
la Universidad de Cambridge o en sus estudios de historia de la ciencia, en los que
analiza autores y revistas referenciadas en el International Catalogue of Scientific
Literature en el periodo 1910-1913, analizando la relacin entre publicaciones
cientficas, condiciones econmicas y crecimiento de la civilizacin moderna.

Tambin Gross y Gross (1927), comienza a utilizar este trmino como
primer paso diferenciador de una materia emergente, al analizar las referencias
hechas en artculos de revistas sobre qumica indizadas en The Journal of
American Chemistry Society. En 1926, el ruso Borichevski esboza en un artculo
la constitucin de un nuevo campo de investigacin cuyo objeto es el estudio de
la naturaleza intrnseca de la ciencia, considerndola como ciencia de la ciencia
(naukovodemia).

Tambin en este mismo ao, Lotka (1926) formula su conocida ley de la
productividad de los autores cientficos; y todava en 1934, cuando Bradford
realiz su trabajo sobre la distribucin de artculos en revistas sobre geofsica
aplicada y en investigaciones sobre lubricantes, ahora conocido como Ley de
Bradford segua utilizndose el trmino de bibliografa estadstica para describir
este tipo de trabajos de la ciencia de la ciencia. Sin embargo, con posterioridad, se
consider que no era un trmino satisfactorio para describir esta actividad
cientfica, debido a que poda ser interpretado errneamente como bibliografa
sobre estadstica.

Al margen de su denominacin, el desarrollo de la disciplina continu
afianzndose, basndose en el carcter prctico de sus realizaciones. Pues es
comn la asociacin del desarrollo de una ciencia, por empleo de bibliografa o el
nmero de descubrimientos, con el desarrollo social y econmico.


85
Y aunque el origen de su denominacin especfica se lo atribuyen
algunos autores a Paul Olet, no es hasta 1969, cuando Alan Pritchard
considerando tosco y poco descriptivo ese trmino, acua el de bibliometra.
Pritchard defini la bibliometra como la aplicacin de la matemtica y los
mtodos estadsticos para analizar el curso de la comunicacin escrita y de una
disciplina. Es decir, la aplicacin de tratamientos cuantitativos a las propiedades
del discurso escrito y los comportamientos tpicos de ste.

Pero al abogar por una ciencia de la ciencia, ampliaba considerablemente
la perspectiva de la Bibliometra, ms restringida a recuentos de producciones en
determinadas disciplinas o incluso a estudios ms detallados. La ciencia de la
ciencia debera ir ms all en la elaboracin y aplicacin de instrumentos
estadsticos. Su finalidad es identificar las leyes y regularidades sobre el
funcionamiento de la actividad cientfica en su globalidad.

El pleno desarrollo de esta disciplina est asociado a los trabajos de dos
grandes pioneros, que realizaron sus trabajos de forma paralela. Price, que en
1963 y 1964, apoyndose en toda una serie de estudios de carcter bibliomtrico
anteriores, publica respectivamente: Little Science, Big Science y Science since
Babylon. Y Garfield, que desde la aparicin en 1963 del Science Citation Index,
publicado por el Institute for Scientific Information (ISI) fundado por l mismo en
Filadelfia, ha contribuido enormemente al desarrollo de este campo cientfico.

As mismo, de gran importancia para la transformacin profunda y
diversificacin fue la aparicin, en 1979 de una fuente de publicacin especfica,
como fue la revista Scientometrics que ofreca una existencia visible a esta rea
de conocimiento.

El trmino Cientimetra o Cienciometra surgi en la URSS y Europa
Oriental (Naukometriya) y fue practicado especialmente en Hungra.
Originalmente se refera a la aplicacin de mtodos cuantitativos a la ciencia y el
progreso tecnolgico (Egghe, 1988).

86
En 1935 aparece bajo la pluma de Ossowski la expresin Nauka o nause,
designando un amplio programa de investigacin que subraya la necesidad de
impulsar estudios histricos, sociolgicos y psicolgicos consagrados al estudio
de las ciencias. Pero el cambio hacia anlisis eminentemente cuantitativos no se
produce hasta que Dobrov entra en relacin con Price y sistematiza las intuiciones
de ste ltimo. Crendose rpidamente un Instituto dedicado a la investigacin
sobre estos aspectos y apareciendo los primeros libros sobre la nueva materia.

Diferencialmente la bibliometra estudia la organizacin de los sectores
cientficos y tecnolgicos a partir de las fuentes bibliogrficas y patentes para
identificar a los actores, sus relaciones y tendencias. Mientras que la
cienciometra, por el contrario, se encarga de la evaluacin de la produccin
cientfica mediante diversos indicadores numricos como pueden ser de
publicacin o patentes, entre otros.

En las primeras definiciones y delimitaciones conceptuales se
consideraba la cienciometra como la medicin del proceso informtico, donde
el trmino informtico no posea las connotaciones actuales referidas a equipos
informticos, sino a la ciencia que estudia la estructura y las propiedades de la
informacin cientfica y las leyes del proceso de comunicacin (Mikhilov et al,
1984).

El significado ampliado que tiene hoy en da el trmino cienciometra,
que sustituye al de ciencia de la ciencia, fue promovido por Price, quien impuls
este campo de la investigacin en la dcada de los aos sesenta desde la
Universidad de Columbia, en Estados Unidos.

La cienciometra aplica tcnicas bibliomtricas, de carcter matemtico y
anlisis estadstico, para investigar las caractersticas de las ciencias, tanto fsicas,
naturales como sociales. Pero la Cienciometra va ms all de las tcnicas
bibliomtricas, pues tambin examina el desarrollo y las polticas cientficas. Sus
anlisis cuantitativos consideran a la ciencia como una disciplina o actividad

87
eminentemente social, en algunos de sus mltiples aspectos econmicos y
polticos, por lo que podra considerarse como un instrumento de la sociologa de
la ciencia.

Pero este campo de conocimiento sigue en evolucin con el desarrollo de
nuevas consideraciones, como muestra la aparicin de nuevas denominaciones
como la Infometra, que amplan su campo de accin.

Algunos autores usan bibliometra e infometra como sinnimo
(Rousseau, 1990), aunque otros consideran que la segunda incluye un rea mucho
ms amplia.

La infometra se basa en las investigaciones de la bibliometra y
cienciometra, y comprende asuntos tales como el desarrollo de modelos tericos
y las medidas de informacin, para hallar regularidades en los datos asociados con
la produccin y el uso de la informacin registrada.

De acuerdo con Brookes (1990), el trmino infometra fue propuesto por
primera vez por Nacke, director del Institut fr Infometrie und Scientometrie de
Bielfeld, Alemania en 1979. Trmino que fue inmediatamente adoptado por el
VINITI de la URSS, cuyos estudios consideran que la infometra comprende a la
bibliometra y la cienciometra (Gorkova, 1986).

La infometra trata de la medicin de todos los aspectos de la
informacin, el almacenamiento y su recuperacin, por lo que incluye la teora
matemtica y la modelizacin. En sentido amplio estudia los aspectos
cuantitativos de la informacin, no solamente la registrada como los registros
bibliogrficos, sino todos los aspectos de la comunicacin formal o informal, oral
o escrita.


88
Las aplicaciones prcticas de todos estos tipos de estudios evaluativos se
dan en contextos tan variados como la recuperacin de la informacin, la
administracin de archivos o bibliotecas, la historia de la ciencia, la poltica
cientfica, la lingstica cuantitativa, la econometra. Y en cuanto a su contenido,
absolutamente en todas las reas o disciplinas cientficas.

La cienciometra ha alcanzado su edad adulta siendo su crecimiento
espectacular. Y aunque la variedad de sus orientaciones y aplicaciones podra
haber puesto en tela de juicio su integridad como disciplina, sta se ha mantenido,
ya que los estudios cienciomtrico comparten tres convicciones inamovibles:

La primera de ellas es que el estudio de las ciencias y de las tcnicas pasa
necesariamente por el anlisis sistemtico de las producciones literarias de los
investigadores: ciertamente, la cienciometra no se limita exclusivamente a este
objeto, pero le concede un lugar esencial.

La segunda es que los estudios cuantitativos, siempre que no constituyan
un fin en s, enriquecen la comprensin y la descripcin de la dinmica de las
tecnociencias.

Y la tercera es la prioridad absoluta y casi obsesiva que conceden a la
concepcin de instrumentos de anlisis slidos y fiables.

Actualmente las investigaciones de cienciometra y bibliometra se
realizan con mayor intensidad en Estados Unidos, Canad y Europa Oriental.
Destacando tambin por su importancia las elaboradas en Japn y Europa
Occidental.


89
3.4. LA CIENCIOMETRA EN ESPAA.

Aunque contemporneamente a los estudios de Bradford, Ortega y
Gasset plantea en su obra La misin de bibliotecario de 1935 (Riao, 1991) la
necesidad de una estadstica de las ideas que permita facilitar la comprensin de
su origen, su periodo de desarrollo y expansin y declive, no es hasta la dcada de
los setenta en la que comienza a tomar cuerpo esta idea en nuestro pas.

Durante el desarrollo de la dcada de los setenta se conforman tres
grandes grupos de investigacin desde los que comienza a desarrollarse esta
metodologa cientimtrica:

A principios de la dcada, y entorno a la figura de Lpez Piero y
Terrada, pertenecientes a la Facultad de Medicina y al Instituto de Estudios
Documentales e Histricos sobre la Ciencia de la Universidad de Valencia y
C.S.I.C.
11
, se comienzan a publicar trabajos de este tipo. Entre los que destacan El
anlisis estadstico y sociomtrico de la literatura cientfica o Hacia una Ciencia
de la Ciencia - Traduccin de la obra de Price, Little Science - (Lpez Piero,
1972 y 1973) y tambin, un estudio desarrollado por Terrada (1973), que bajo el
ttulo La literatura mdica espaola contempornea, se centra en un anlisis
estadstico y sociomtrico.

ste es el germen de la cientimtria en nuestro pas, publicndose varios
artculos atendiendo a este enfoque por parte de discpulos de estos autores, como
los realizados por Carpintero (1981) o Carpintero y Tortosa (1993), desde la
Facultad de Filosofa y CC. E. de Valencia.

El segundo de los grupos mencionados, liderado por Prez lvarez-
Ossorio y Lara Guitard desde el I.C.Y.T./C.I.N.D.O.C.
12
en Madrid, posee una
perspectiva ms dirigida al anlisis de la poltica cientfica, de cuya lnea de

11
CSIC.: Centro Superior de Investigaciones Cientficas.

90
investigacin es muestra alguno de los trabajos realizados por autores como
Gmez y Bordons (1996a,b).

El tercer grupo desde cuyos planteamientos se ha desarrollado esta
disciplina en nuestro pas, desarrolla trabajos desde la Universidad de Salamanca
centrados en aspectos relativos a la difusin del conocimiento, como los de
Maltrs y Quintanilla (1992), Vidal (1993) o Maltrs (1996).

Todos estos trabajos establecen el germen del desarrollo de la
metodologa de esta disciplina, determinando lneas de investigacin todava
activas y consolidadas en la dcada de los noventa, como queda patente en las
numerosa y diversa literatura producida por autores como Alonso y Gra (1994),
Jimnez Contreras (1994) o Lpez Yepes (1995).

En la Universidad de Granada, comienzan a desarrollarse algunos trabajos
fundamentados en esta perspectiva. Como son los elaborados por autores como
Delgado Lpez-Czar (1999), Fernndez Cano y Bueno (1998, 1999) o Torralbo
(2001). Siendo precisamente en este contexto concreto, en el que se desarrolla la
lnea de trabajo del grupo de investigacin sobre Evaluacin de la investigacin y
de programas educativos andaluces, desde el que parte el desarrollo de esta tesis
doctoral.

Parece por tanto, que en la investigacin espaola sobre este campo
disciplinar, realizada desde estos centros universitarios, se pueden estar
comenzando a establecer lneas de investigacin con cierta especializacin o
cuanto menos con cierta especificidad.

12
I.C.Y.T. /C.I.N.D.O.C.: Instituto de Informacin y Documentacin en Ciencia y Tecnologa,

91
3.5. INDICADORES BSICOS Y LEYES CIENTIMTRICAS.

Un indicador es un parmetro empleado en la evaluacin de cualquier
actividad, que puede ajustarse a patrones tericos establecidos en investigaciones
previas en enunciados o leyes de algn campo de la ciencia, en este caso la
Cienciometra. La informacin cientfica puede por tanto adquirir una serie de
caractersticas, mediante el uso de unos indicadores descritas mediante el
establecimiento de las que se han venido en llamarse, quizs con alguna licencia
lingstica, Leyes Cientimtricas.

Mediante el empleo de una serie de indicadores bibliomtricos y la
comprobacin de su ajuste a los patrones propuestos en las leyes cientimtricas se
pretende, en este estudio, describir algunos aspectos de la produccin cientfica
en el campo de evaluacin de programas en el mbito y periodos estudiados, tales
como la productividad y la citacin.

En el primer nmero de Newsletter publicado por el Comit de
Infometra de la Federacin Internacional de Documentacin, Rivicandra Rao
consider que entre los diversos patrones de la bibliometra, los siguientes
pueden ser estimados como significativos: Ley de Dispersin, Ley cuadrtica
inversa de la productividad cientfica o Ley de Lotka, Ley del mnimo esfuerzo o
Ley de Zipf, Modelos logartmicos y Proceso de la ventaja acumulativa de Price.

Teniendo en cuenta que el nmero de indicadores que puede emplearse
para describir estos aspectos es enorme, a lo que habra que aadir las
peculiaridades al referirse a autores personales, institucionales o editoriales, su
enumeracin se limita aqu a una descripcin general de los empleados de manera
especfica. Por lo que la descripcin realizada es de tipo general, remitiendo a
referencias de manuales especficos.

actualmente Centro de Informacin y Documentacin Cientfica.

92
Sancho (1990) ordena estos indicadores por su referencia a la calidad de
la investigacin establecida por jueces expertos, a la actividad o nivel de
productividad cientfica de los autores, del impacto de su investigacin mediante
anlisis de las citas; y de las asociaciones temticas, por la citacin, referencias y
palabras comunes.

Por su parte, Callon, Courtial y Penan (1995) clasifican los anlisis
cienciomtricos en dos categoras, atendiendo a si la referencia de los indicadores
es la actividad o la relacin entre los autores. As, mientras los primeros
proporcionan datos sobre el volumen e impacto de la investigacin; los segundos
rastrean los lazos e interacciones entre autores, instituciones y reas de
conocimiento.

Partiendo de estas clasificaciones y basndose en la ofrecida por
Fernndez Cano y Bueno (1998), se establece una priorizacin y ordenacin de
indicadores y leyes bibliomtricas bsica, ya experimentadas en trabajos previos
(Expsito, 2000).

3.5.1. Indicadores de productividad.

Los indicadores de produccin informan cuantitativamente sobre el
tamao de la produccin cientfica de una determinada fuente institucional o
personal. Aunque de forma general, puede referirse a la produccin sobre una
disciplina o tpico de investigacin en un mbito o periodo temporal concreto.

Los indicadores cientficos de productividad pretenden medir la cantidad
de investigacin producida por los cientficos. Suele referirse a la cantidad de
publicaciones producidas por un autor, institucin o pas; aunque otras medidas
incluyen la cantidad de investigadores por disciplina.


93
El empleo de informaciones sobre la produccin suele partir de
distribuciones de frecuencias y porcentajes empleando diversos tipos de
intervalos. Si estos poseen naturaleza temporal, su estudio ofrecer una visin
diacrnica y si se limitan a un campo, mbito o disciplina, una perspectiva
sincrnica.

Productividad general: Referida a cmputo del nmero y distribucin de
publicaciones de una disciplina, temtica o mbito geogrfico es uno de los
indicadores bsicos en los estudios cienciomtricos.

Aunque se ha encontrado correlacin entre el nmero de publicaciones y
la consistencia o calidad de sta, el empleo exclusivo de indicadores
cienciomtricos puede limitar la consideracin de su calidad (Bellavista et al.
1997).

Productividad de autores: generalmente mensurada a partir del nmero
de trabajos originales que publica. Para la aplicacin de este indicador es
necesario un nmero lo suficientemente completo de referencias y que stas
cubran un periodo diacrnico lo suficientemente amplio.

A partir de este indicador o asociados a l pueden aparecer otros que
describan la colaboracin y coautora, ya sea por medio del establecimiento de
promedios generales, estableciendo diferencias por gnero, lugares de firma.

Existen ndices de proporcionalidad que relacionan el nmero de autores
con el nmero de pginas del informe. Y tambin, que establecen los autores con
una determinado porcentaje de la produccin total considerada, como el ndice de
transitoriedad o de autores transitorios.


94
En este mismo sentido, el anlisis de la productividad queda muy
determinado por los supuestos tericos establecidos en algunas leyes
cientimtricas, descritas a continuacin, como la de crecimiento exponencial de
Price o la Ley de Lotka.

Productividad institucional/reas de Conocimiento: en los mismos
trminos que la referida a autores, pero partiendo del registro de la Institucin o
del rea de Conocimiento a la que stos pertenecen.

Productividad de fuentes editoras: los indicadores relativos al estudio
de la productividad de las fuentes de publicacin quedan muy determinados por su
clasificacin entorno a un tpico o disciplina. Suponiendo un principio terico de
relevante importancia la distribucin propuesta por Bradford, referida al vehculo
por excelencia de comunicacin cientfica, la revista de investigacin.

En general, todos estos indicadores e ndices de productividad giran
entorno a la idea de la hiptesis enunciada por Cole y Cole (1972), que atribuyen
al filsofo Ortega y Gasset la produccin/colaboracin entre cientficos. Est de
acuerdo con un principio estratificado de la ciencia, opera con un criterio
universal por el que los cientficos que publican trabajos ms significativos
reciben el reconocimiento amplio que merecen, mientras que los que no publican
trabajos de significacin son ignorados.

Aunque tambin Turner y Chubin (1976, 1979) presentan una
interpretacin alternativa de tal hiptesis, que basada en una paradoja del
Eclesiasts, asigna el 80% de la produccin cientfica de los autores a slo el 20%
de stos.


95
3.5.2. Indicadores de citacin.

El anlisis de citacin suele referirse a patrones y frecuencias de las citas
hechas y recibidas por autores, revistas, disciplinas o de las relaciones entre
documentos citados.

En los estudios de citacin se consideran dos supuestos bsicos (Spinak,
1996): Que un artculo cientfico no es una entidad aislada, sino que est inmerso
en una literatura sobre el tema del que trata, por lo que la obra del autor se
construye sobre la obra de sus predecesores. Y que en el estudio del impacto de la
investigacin, a travs de su nivel de citacin, hay que tener en cuenta que estas
citas se hacen no a la literatura usada sino a la publicada.

Este anlisis, usualmente de la frecuencia y patrones a los que se ajustan
las citas recibidas por autores, fuentes o disciplinas, es asumida por algunos
autores como una rama de la propia bibliometra.

Su permite determinar el conjunto de autores o documentos que
constituyen significativamente una disciplina, el promedio de referencias por
documento, formas de la literatura citada (monografas, artculos, etc.) y la
distribucin geogrfica o idiomtica de los documentos citados, desde
distribuciones diacrnicas o sincrnicas.

Algunos autores (Garfield, 1979) asumen el ndice de citacin como una
caracterizacin de la excelencia del trabajo de un determinado autor, empleado
incluso para la distincin de premios de gran prestigio internacional como los
Premios Nobel.

Sin embargo, no faltan las crticas al anlisis de la citacin y al anlisis
cientimtrico general, fundamentas tanto en el desarrollo de mtodos sin una
investigacin adecuada de sus supuestos (Brooks, 1985); como a problemas
inherentes a citaciones incompletas, sesgadas o negativas (McRoberts y

96
McRoberts, 1989); a trabajos que rompiendo con paradigmas dominantes planteen
cambios radicales sin la adecuada fundamentacin (Lindsay, 1989), o a las
dificultades derivadas del intento de operativizar las citaciones en sistemas de
investigacin no vinculados al mbito anglo-americano (Fernndez Cano y
Bueno, 2002).

Pero tanto, crticos como proponentes de estos mtodos estn de acuerdo
que el uso de indicadores, como la citacin de un trabajo, no es aplicable para
medir la calidad del trabajo de un individuo en particular. Ya que el trabajo
cientfico como trabajo social, que describe hechos en no inmutablemente
objetivos, mide su calidad en la medida que es importante para la comunidad
cientfica y por lo tanto es citable por ella.

Citacin general: A partir del estudio de la distribucin de citas se
pueden establecer ndices generales como promedio del nmero de citas, de su
antigedad o su variabilidad. Siendo, en ocasiones, de importancia relevante el
anlisis del desarrollo diacrnico de los mencionados ndices.

Factores de impacto: Referidos a la aceptacin u uso de los
hallazgos de un autor por otros, puede referirse a dos ndices diferentes: Al que
resulta del cociente de la cantidad de citaciones de un autor por el nmero de
artculos que ha escrito. Y otro, ms elaborado al factor de impacto de revistas.

En los mismos trminos puede referirse a la importancia o impacto de
una determinada fuente de publicacin o revista dentro de una disciplina concreta
al relacionar mediante su cociente, el nmero de citas que reciben las fuentes que
se consideran ncleo de tal disciplina y la cantidad de artculos publicados por la
fuente. Mediciones que pueden establecerse en periodos temporales arbitrarios.

Citacin especfica: Estudio de citacin por criterios/aspectos
concretos como el tipo de fuentes citadas (libros, revistas, otros o literatura gris) o
el idioma de las referencias a las que se citas.

97

Para ofrecer una visin descriptiva por medio de la metodologa
cienciomtrica, adems del empleo de unos indicadores bsicos como los
descritos, tambin se hace necesario comprobar el ajuste de la distribucin de sus
datos a los patrones tericos ofrecidos en hiptesis, postulados y leyes bsicos de
tal metodologa.

3.5.3. Ley de crecimiento exponencial de la literatura cientfica.

Dentro de los estudios sobre capacidad investigadora, existe una amplia
tradicin sobre medicin de tal capacidad haciendo uso de la variable frecuencia
de publicaciones o productividad (Fernndez Cano, 1995).

As, siempre ha sido convencionalmente aceptado un crecimiento
exponencial de la produccin cientfica, expresado como Ley de desarrollo
acelerado, pero no es hasta 1956, en el que Price plasma este principio en la Ley
de Crecimiento Exponencial de la Ciencia.

En sta, Price constata que el nivel de crecimiento de la informacin
cientfica es muy superior al de otros fenmenos sociales como pueden ser el de la
poblacin o nivel de su renta. De forma que, en un periodo temporal de entre diez
y quince aos tales informaciones se duplican.

Esta tasa se puede apreciar de manera similar en el nmero de revistas
cientficas, repertorios de resmenes (ejemplificados en el grfico 3.1), libros
editados, bases de datos, nmero de investigadores y otros muchos indicadores de
crecimiento cientfico.


98

Sin embargo el nivel de crecimiento no puede ser indefinido sino que posee
lmites que Price explica relacionndolos con los recursos limitados de la sociedad
para duplicar cada pocos aos los recursos asignados a la ciencia. As, como
queda patente en el grfico 3.2, la curva de crecimiento exponencial adquiere un
punto de inflexin en el que se transforma un crecimiento logstico, ms afn con
la explicacin de fenmenos naturales.

Grfico 3.1. Nmero total de revistas cientficas y de repertorio de resmenes, en
funcin de la fecha. Reproducido de D.J. de Solla Price (1965)

99

3.5.4. Ley de envejecimiento u obsolescencia de la literatura
cientfica.

Mediante el estudio diacrnico de las referencias bibliogrficas en
distintas especialidades, Price observ que mientras el nmero de publicaciones se
multiplica por dos aproximadamente cada 13,5 aos, el nmero de citas que
reciben tales publicaciones se divide por la mitad aproximadamente cada trece
aos.

Profundizando en la medida del envejecimiento, Burton y Kebler (en Lpez
Piero, 1972) idean el concepto de semiperiodo, que referido al tiempo en que ha
sido publicada la mitad de la literatura cientfica de una determinada disciplina, se
define como la mediana de la distribucin de frecuencias segn el ao de
procedencia. Encontrando que la vida media de las referencias, en los aos
setenta, eran en Fsica 4,6; en Ingeniera Qumica 4,8; en Fisiologa 7,2; en
Matemticas 10,5 y en Geologa 11,8 aos; diferenciaron entre literatura efmera y
clsica.
Grfico 3.2. Forma General de la Curva Logstica. Reproducido de D.J. de Solla Price (1965)

100
Estos estudios de Price, basados en los primeros estudios sobre citacin
de Garfield, establecen diferencias en la citacin a la literatura cientfica en una
disciplina: Un 50% se distribuye entre la totalidad de la literatura anterior, y otro
50% en un nmero reducido de trabajos anteriores, producido por autores
importantes en la disciplina o tpico investigativo (colegio invisible), de
referencias que enlazan los artculos cientficos de un ao con los trabajos del
colegio invisible, lo llam Price frente de investigacin.

Otra indicador tpico de medida de la obsolescencia de la literatura
cientfica es el ndice de Price
13
, que indica cun recientes son las citas en un
documento o disciplina, calculando la proporcin del nmero de referencias que
no poseen ms de cinco aos de antigedad.

3.5.5. Leyes de dispersin de la literatura cientfica.

3.5.5.1. Ley de Bradford.

Formulada por Bradford en 1934 en un trabajo clsico, aunque con escaso
impacto hasta que la public en su libro Documentacin (1948).

Este autor plantea una preocupacin por la duplicacin de esfuerzos, y la
insuficiencia de cobertura por parte de las agencias de indizacin y resmenes, de
los artculos de revistas cientficas. Y en un esfuerzo de optimizacin, analiza la
produccin de artculos en Geofsica y Lubricacin.

Mediante la representacin grfica semilogartmica de las frecuencias de
los artculos por revistas, comprueba la relacin entre el logaritmo de la
acumulacin de stas y la cantidad de artculos que se ajustaba a una recta, lo que
le llev a enunciar la siguiente formulacin terica o verbal:

13
No confundir con el ndice de inmediatez de una revista cientfica, que se refiere al nmero de
citas realizadas en ao n a artculos publicados en este ao, dividido por el nmero de artculos
publicados slo en ese ao. (Para tasas de impacto por citacin, vase Fernndez Cano, 1995,
pp.226-230).

101
Si las revistas cientficas se ordenan en secuencia
decreciente de productividad de artculos sobre un tema dado,
stas pueden dividirse en un ncleo dedicadas ms en
particular al tema y varias zonas concntricas que con el
mismo nmero de artculos que el ncleo presentan un nmero
de revistas con relacin 1: n : n
2
...
(Bradford, 1934:75)

Esta formulacin ha generado bastante literatura, pues existen ciertas
incongruencias entre la formulacin terica y su expresin grfica, que Bradford
no advirti.

Vickery (1948) comprob tomando datos de 1600 publicaciones, que la parte
rectilnea de la grfica slo se ajustaba a la parte superior de la distribucin.
Demostrndose en estudios posteriores que la distribucin de Bradford no era
logartmica en toda su extensin, sino potencial en este ncleo y exponencial en
las zonas exteriores. Incluso Ferreiro (1993) determina otros valores de
composicin de la distribucin.

Estas desavenencias entre el modelo terico o verbal y grfico han generado
una gran diversidad de modelos matemticos, identificando Quiu en 1990 hasta
veintids. Algunos ofrecen ms consistencia a la ley grfica (Brookes, 1968 o
Wilkinson, 1972) y otros a la terica (Leimkuhler, 1967).

A principio de los sesenta, el matemtico ingls Kendall demostr que la
dispersin propuesta por Bradford es en realidad un caso particular de una
distribucin elaborada por Zipf (1935) que expresa cierta propiedad universal,
inherente a cualquier lengua del mundo, conforme a la cual la parte ms
importante de cualquier texto queda conformada por unas pocas palabras de uso
frecuente. Cualidad que algunos autores no slo consideran aplicable a palabras,
sino tambin a segmentos ms amplios como artculos de revistas, por lo que la
Ley de Bradford sera un caso particular de la Ley de Zipf.

102

En cualquier caso lo importante de las propuestas de Bradford es la idea de
distribucin o dispersin de fuentes por zonas de diferente intensidad productiva
con respecto a un tema determinado.

Garfield (1979) simplifica una ley elaborada por Bradford (1950), la Ley
de Bradford en; las revistas ordenadas en orden decreciente de la calidad de los
artculos (calculada sta por la frecuencia de citacin), sobre un tema dado, tales
revistas podran dividirse en un ncleo, que recibe la mayor parte de las
citaciones, y varias zonas concntricas que, conteniendo el mismo nmero de
artculos del ncleo, siguen una sucesin de productividad (1, 1/a, 1/a
2
...), dnde
a se refiere al nmero de artculos.

Grfico 3.3. Productividad de revistas en reas de dispersin (Bradford,
1934)
258 revistas
(79,14%)

59 revistas
(18,10%)

9 revistas
(2,76%)

NUCLEO

429 artculos
(32,21%)

ZONA 1
499 artculos
(37,46%)

ZONA 2

103
3.5.5.2. Ley de Lotka

La cienciometra ha generado ciertos patrones sobre productividad, uno
de los cuales es la Ley de Lotka, que viene a decir que la productividad de autores
sigue una ley cuadrtica inversa, o lo que es lo mismo, que el nmero de autores
que hacen n contribuciones es alrededor de 1/n2 de los que hacen una sola (Lotka,
1926).

Esta es una ley fundamental de la cientimetra verificada en estudios de
productividad en psicologa y pedagoga (Budd, 1991), aunque no se tiene
constancia de verificacin en la variable impacto por conteo de citaciones.

Aunque en algunos estudios espaoles (Blasco y Benavent, 1993) no se
verifica, en general, en distribuciones amplias parece ajustarse bastante bien a
datos empricos de nmero de artculos publicados, excepto en sus extremos.

Su interpretacin recuerda que la mayora de la produccin cientfica acerca
de un tpico de investigacin se realiza por un nmero significativamente escaso
de autores consagrados como expertos en ese campo.
Grfica 3.4. Funcin grfica de la Ley de Lotka, para 100 autores y tabular
para 2000.
Tomada de Fernndez Cano (1995, pp. 51-52).

0
20
40
60
80
100
120
1 10
n de artculos/autor
n

d
e

a
u
t
o
r
e
s

Autores Artculos/autor
Si 2000 1
500 (2000/2x2) 2
222 (2000/3x3) 3
125 (2000/4x4) 4
80 (2000/4x4) 5


104
3.6. ANLISIS CIENTIMTRICOS EN ESTUDIOS
EDUCATIVOS. UTILIDAD DE LOS INDICADORES MS
USUALES Y DIFICULTADES DE EMPLEO.

Los estudios bibliomtricos permiten construir visiones generales y
sistemticas de un campo, en nuestro caso de cmo se ha venido acometiendo en
el contexto espaol la investigacin acerca de la evaluacin de programas
educativos. Aunque no se debe sacralizar sus indicadores pues poseen abundantes
limitaciones (Gmez y Bordons, 1996). Sin embargo, por su carcter descriptivo
pueden ser tiles como estudios pre-evaluativos o como mecanismos
complementarios y correctores de otras aproximaciones.

Las dificultades asociadas al empleo de este tipo de indicadores las sita
Maltrs (1996) en la propia naturaleza de su origen, pues la literatura cientfica no
tiene entre sus funciones prioritarias la evaluacin externa de la ciencia. No
careciendo la propia disciplina, en la realizacin de anlisis estadsticos y
sociomtricos de la literatura cientfica, de puntos dbiles asociados a una
insuficiente base emprica; al empleo de mtodos en ocasiones improvisados y
poco precisos; explicaciones poco consistentes, por su superficialidad o por su
osada; y en general, por la audiencia de lneas de investigacin lo suficientemente
claras.

En Espaa en los aos sesenta y setenta la actitud de rechazo por parte de la
comunidad cientfica hacia el uso de estos indicadores, Terrada y Piero (1990) la
relacionan con el desconocimiento de la actividad cientfica y objetivos de la
Cienciometra y con una ideologa poco evaluativa al considerar una prdida de
privilegios sociales del cientfico la revisin/evaluacin de su trabajo. Y de forma
muy importante por la asimilacin de principios y valores ajenos, inculcados por
el dominio cientfico anglosajn, que bloqueando la tradicin cientfica propia
parece dejar como opcin una resignacin al dominio y globalidad cientfica de
las grandes potencias.


105
En el polo opuesto se sita una actitud realmente positiva hacia el anlisis
cienciomtrico que permita el estudio realmente objetivo de la realidad
cientfica, quizs con cierta ingenuidad acerca de la posibilidad de una ciencia
absolutamente neutra.

As, en los ltimos aos las ideas bsicas de la Cienciometra han recibido
mltiples crticas, y sus mtodos se han sometido a continuos cambios, debido
sobre todo a diversidad de trabajos sobre el tpico y a la ampliacin de su base
emprica. Siendo stas caractersticas propias de una disciplina emergente, a la
que ms que criticar su valor se critica el uso inadecuado que puede hacerse de
ella.

En cuanto a los estudios cienciomtricos en investigacin educativa realizados
en Espaa, la mayora se refieren a investigaciones universitarias o al estudio de
los artculos publicados en revistas determinadas, siendo la Orientacin una de las
disciplinas ms atendidas. No existiendo ningn estudio referido a la evaluacin
de programas (Fernndez Cano y Bueno, 1998).

De entre la gran diversidad de indicadores bibliomtricos utilizados en
Cienciometra, en nuestro contexto los ms utilizados se refieren a la
productividad, ya sea individual o institucional, y a la citacin.

Algunas de las dificultades que podemos encontrar para realizar anlisis
cientimtricos en educacin, adems de las propias de la disciplina, se refieren a
cuestiones acerca de la bsqueda, acceso y tratamiento de la informacin.

Las revistas de investigacin educativa espaolas no estn indizadas en
ndices internacionales (SSCI, Eas y CIJE)
14
, siendo escasas las que poseen un
prestigio cientfico internacional, y tan slo a escala nacional.

14
S.S.C.I.: Social Sciencies Citation Index (Indice de citacin en Ciencias Sociales).
C.I.J.E.: Current Index to Journal in Education (Indice actualizado de Revistas Educativas).
E.A.: Educational Abstracts (Resmenes de investigacin educativa).


106

En este mismo sentido, tradicionalmente los trabajos de investigacin
educativos no han estado registrados en base de datos, o incipientemente lo han
estado en algunas poco consistentes y diseminadas.

El registro de los datos e informaciones necesarios para elaborar estudio
cienciomtricos no es en ocasiones todo lo riguroso que debiera o puede
encontrarse con las dificultades y sesgos como los sealados por Spinak (1996) en
los anlisis de citaciones:

La auto citacin puede ensombrecer los ndices de citacin en una
disciplina, tanto como los sesgos y propensin de autores y revistas a
citar a trabajos, idiomas o autores determinados (Campbell, 1990).

La autora mltiple, los homgrafos por el empleo de un solo apellido
o iniciales y sinnimos dificultan el registro de este tipo de datos.

Suelen darse enormes variaciones y errores en el registro de las
referencias bibliogrficas, incluso realizndose algunas de manera
implcita o mediante el uso de epnimos.

En ocasiones no existen o se siguen parmetros claros en el registro de
informaciones, existiendo variaciones en la forma de registro segn
las disciplinas o los pases (Muruguesan y Moravssik, 1978; Irvine y
Martin, 1985).

En general, la mayora de problemas y dificultades se derivan de la
escasa consideracin del registro de la informacin como un valor cientfico
importante (Fernndez Cano, 2000). Y por lo tanto la realizacin de esta tarea de
forma muy laxa.


107
3.7. EL ARTCULO DE REVISTA CIENTFICA COMO
FUENTE DE INFORMACIN.

Una de las principales formas de comunicacin de los hallazgos
cientficos a la comunidad es la publicacin de un informe/artculo en una revista
especializada. Formato de edicin que adoptan la mayora de informes de
investigacin identificados como posible muestra en esta Tesis, como se indica en
las secciones dedicadas al estudio emprico, y que recuperados, son la principal
fuente de datos.

El origen histrico de la publicacin de revistas cientficas hay que buscarlo
en la necesidad de comunicacin entre los cientficos para mejorar tanto el
desarrollo de sus trabajos como la difusin de stos. Comunicacin que con un
origen epistolar deriv en una comunicacin publica, organizada y formal
asociadas al desarrollo de los colegios profesionales.

Este inicio gremial de las revistas ha hecho, en palabras de Crane (1972),
que se tornen en un lobby epistemolgico, smbolo de un colegio invisible de
investigadores que comparten intereses comunes. Cuestin que puede ser
enormemente positiva al permitir el desarrollo de disciplinas especficas; y no
tanto, si endogmicamente limitan la publicacin en aspectos temticos,
metodolgicos o de autora.

Las dos revistas ms antiguas, que datan de 1665, fueron Journal des
Savants de Pars
15
y Philosophical Transactions of the Royal Society of Medicine
de Edimburgo.

La funcionalidad de estas fuentes parte de la superacin de las
limitaciones que ofrecan las cartas, folletos y libros como vehculos de

15
El Diario de los sabios, ya recomendada por Feijoo en su Teatro Crtico Universal
(1726-40/1988, p. 12).

108
comunicacin cientfica, con perspectivas sociales y didcticas, que no
epistmicas; aunque su uso como fuente de publicacin de nuevos conocimientos
es relativamente reciente.

En la actualidad, con una visin ciertamente papirocntrica, el punto final de
cualquier investigacin es su publicacin en una revista cientfica, como medio de
reivindicacin de la propiedad intelectual de los trabajos. Hecho, que
condicionado y mediado usualmente por una revisin previa de expertos o
revisin por pares, es tomado como una declaracin y reconocimiento de la
comunidad cientfica de la originalidad y valor del trabajo publicado.

Esta condicin, que transform estas fuentes de un artefacto social en una
tcnica de acumulacin de la informacin, ha planteado que la motivacin inicial
para leer sus contenidos parezca, como plantea Fernndez Cano (1995b) menor
que la motivacin para publicar en ellas.

Pero para publicar en una fuente determinada, adems de la revisin del
contenido de los informes/artculos, se requiere la adopcin de unas condiciones,
estructura de los trabajos, y adecuacin de las caractersticas del trabajo a aspectos
propios de la fuente de publicacin en la que se editan, establecidas por los
Consejos Editoriales de stas.

Este aspecto, que en cierto sentido puede procurar una cierta
homogeneidad de formatos que facilitaran su revisin y registro en trabajos de
revisin; a su vez provocan una serie de limitaciones relacionadas con el estilo de
publicacin en el que se tiende en numerosas ocasiones a la realizacin de
sntesis, por el limitado espacio ofrecido a cada trabajo, que puede dificultar la
apreciacin de matices y cuestiones fundamentales para la comprensin de las
investigaciones desde una perspectiva global.


109
En algunos casos, la necesidad de publicacin como reconocimiento de la
labor cientfica, como en la investigacin educativa y en el mbito espaol,
presenta serias dificultades por la escasez de fuentes con un reconocido prestigio
internacional.


110

04-Capítulos 1 Al 3

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

04-Capítulos 1 Al 3

Cargado por

Copyright:

Formatos disponibles

Anlisis cientimtrico, conceptual y metodolgico de la investigacin espaola sobre evaluacin

de programas educativos (1975/2000).

También podría gustarte