Analisis Cientimetrico de La Evaluacion de Programas Pedagógicos

UNIVERSIDAD DE GRANADA
Facultad de Ciencias de la Educación

Dpto. Métodos de Investigación y Diagnóstico en Educación
Grupo de Investigación:
"Evaluación de la Investigación y de Programas Educativos Andaluces."
ANÁLISIS CIENTIMÉTRICO, CONCEPTUAL Y

METODOLÓGICO DE LA INVESTIGACIÓN ESPAÑOLA
SOBRE EVALUACIÓN DE PROGRAMAS EDUCATIVOS
(1975/2000).
TESIS DOCTORAL
Jorge Expósito López
2002
UNIVERSIDAD DE GRANADA
Facultad de Ciencias de la Educación

Dpto. Métodos de Investigación y Diagnóstico en Educación
Grupo de Investigación:
"Evaluación de la Investigación y de Programas Educativos Andaluces."
ANÁLISIS CIENTIMÉTRICO, CONCEPTUAL Y METODOLÓGICO DE

LA INVESTIGACIÓN ESPAÑOLA SOBRE EVALUACIÓN DE
PROGRAMAS EDUCATIVOS (1975/2000).
Tesis doctoral presentada por

Jorge Expósito López, para
aspirar al grado de doctor.
Bajo la dirección del

Dr. Antonio Fernández Cano.
Fdo. Dr. Antonio Fernández Cano. Fdo. Jorge Expósito López.
Granada, 15 de Septiembre del 2002.

D. Antonio Fernández Cano, Doctor en Filosofía y Ciencias de la
Educación y profesor titular del Dpto. de Métodos de Investigación y
Diagnóstico en Educación de la Universidad de Granada, como director de
la tesis doctoral presentada para aspirar al grado de doctor por Jorge
Expósito López.
HACE CONSTAR:
Que la tesis "Análisis cientimétrico, conceptual y metodológico de la

investigación española sobre evaluación de programas educativos
(1975/2000)" realizada por el citado doctorando, reúne las condiciones
científicas y académicas necesarias para su presentación.
Fdo. Dr. Antonio Fernández Cano.
Granada, 15 de Septiembre del 2002.

Agradecimientos
Todo el trabajo que supone la realización de una tesis doctoral comienza mucho
tiempo antes de escribir estas páginas, en las que se plasman un largo proceso en el que
uno se hace deudor, en lo académico y personal, de numerosas personas.
En primer lugar quisiera agradecer al director de esta tesis, Dr. D. Antonio

Fernández Cano, por sus atenciones y aportaciones, que trascendiendo lo meramente
académico han permitido no sólo el fluido desarrollo de la investigación, sino que han
facilitado mi formación en un contexto de constructiva crítica científica, en el que
siempre he sentido valorado mi trabajo, incluso desde mucho antes de comenzar los
estudio de Tercer Ciclo.
Quisiera hacer extensivo este agradecimiento a los componentes del grupo de

investigación y a todo el profesorado del Departamento M.I.D.E. de la Universidad de
Granada por el interés que han prestado a mi trabajo, poniéndose a mi disposición
siempre que se lo he requerido, resolviendo mis innumerables dudas y aconsejándome
sincera y cabalmente.
También he de agradecer a mis compañeros de trabajo y amigos su paciencia

para tolerar mis ausencias incluso en su compañía.
Y en lo personal a toda mi familia, especialmente a mi madre y a mi hermano

Antonio, a los que todo debo y de los que tanto he recibido y aprendido, entre otras
cosas que con tesón y esfuerzo se pueden alcanzar grandes metas. Gracias por recordar
cuando tú eras el pequeño, procuraré no olvidar que siempre lo he sido yo.
De manera especial quisiera agradecer a Eva, mi compañera, su disposición para

mantenerme siempre al día en todos esos asuntos a los que no siempre se le presta la
atención que precisan, por escuchar incansablemente mis preocupaciones, desidias, y en
más de una ocasión, hacerme superar mis carencias a base de una comprensión infinita,
y mucho más afecto, ánimo e ilusión. A lo que sólo puedo responder con...
A ti, Eva.
Análisis cientimétrico, conceptual y metodológico de la investigación española sobre evaluación
de programas educativos (1975/2000).
INDICE
PRESENTACIÓN............................................................................................. XI
PARTE I. FUNDAMENTOS TEÓRICOS
CAPÍTULO I. INVESTIGACIÓN EVALUATIVA Y EVALUACIÓN DE

PROGRAMAS.
1.1. Introducción ................................................................................................ 3

1.2. La investigación educativa, la investigación evaluativa y los estudios de
síntesis................................................................................................................... 5
1.3. La evaluación educativa y la evaluación de programas como campo
disciplinar............................................................................................................ 13
1.4. Relación entre la investigación sobre evaluación de programas
y las disciplinas pedagógicas ............................................................................. 20
1.5. Desarrollo histórico de la evaluación de programas en el ámbito
internacional ....................................................................................................... 22
I
Índice.
1.6. La evaluación de programas en España.

1.6.1. El contexto diacrónico. Una perspectiva histórica............................... 26
1.6.2. El contexto sincrónico. La situación actual.......................................... 30
CAPÍTULO II. LA EVALUACIÓN DE PROGRAMAS COMO

ACTIVIDAD CIENTÍFICA.
2.1. Introducción ................................................................................................ 33

2.2. Conceptos básicos, planteamientos generales y elementos diferenciales en
la investigación sobre evaluación de programas............................................. 35
2.3. Problemas centrales en evaluación de programas................................... 44
2.4. Fases y contenidos del proceso evaluativo............................................... 48
2.5. Enfoques teóricos y modelos en evaluación de programas................... 52
2.6. Consideraciones metodológicas en la evaluación de programas
educativos.
2.6.1. Los diseños de investigación evaluativa para su aplicación en
evaluación de programas............................................................................ 60
2.6.2. Fuentes de datos.............................................................................. 65
2.6.3. Técnicas e instrumentos de recogida de información...................... 66
2.6.4. Análisis e interpretación de datos.................................................... 70
2.7. Avances y nuevas perspectivas en la investigación sobre evaluación de
programas. Los estudios de metaevaluación y síntesis............................ 73
CAPÍTULO III. CIENCIOMETRÍA Y EDUCACIÓN.
3.1. Introducción ................................................................................................ 79

3.2. La comunicación en ciencia y tecnología.................................................. 81
3.3. La Cienciometría. Notas históricas y delimitación conceptual............... 83
3.4. La Cienciometría en España...................................................................... 89
3.5. Indicadores básicos y leyes cientimétricas................................................ 91
3.5.1. Indicadores de productividad............................................................ 92
3.5.2. Indicadores de citación...................................................................... 95
II
3.5.3. Ley de crecimiento exponencial de la literatura científica................ 97

3.5.4. Ley de envejecimiento u obsolescencia de la literatura científica.... 99
3.5.5. Leyes de dispersión de la literatura científica.
3.5.5.1. Ley de Bradford................................................................. 100
3.5.5.2. Ley de Lotka ...................................................................... 103
3.6. Análisis cientimétricos en estudios educativos. Utilidad de los
indicadores más usuales y dificultades de empleo............................... 104
3.7. El artículo de revista científica como fuente de información. .......... 107
PARTE II. ESTUDIO EMPÍRICO.
INTRODUCCIÓN AL ESTUDIO EMPÍRICO............................................ 113
CAPÍTULO IV. MARCO EMPÍRICO DEL ESTUDIO.
4.1. El problema genérico a estudio. Racionalidad....................................... 115

4.2. Revisión de la literatura .......................................................................... 117
4.2.1. Revisión de la literatura conceptual.................................................. 120
4.2.2. Revisión de la literatura de investigación.......................................... 122
4.3. Delimitación y enunciado de problemas y objetivos específicos............ 127
4.4. Hipótesis a verificar .................................................................................. 130
4.5. Aporte del estudio al campo de la evaluación de programas................. 132
4.6. Definición de términos clave..................................................................... 134
CAPÍTULO V. MÉTODO.
5.1. Indicadores y variables del estudio.

5.1.1. Indicadores y variables cientimétricas............................................... 139
5.1.1.1. Indicadores y variables de productividad............................. 140
5.1.1.2. Indicadores y variables de citación...................................... 141
5.1.2. Indicadores y variables conceptuales................................................. 143
III
Índice.
5.1.3. Indicadores y variables metodológicas..................................................... 144

5.1.3.1. Aspectos relativos a la teoría y fundamentación
de las investigaciones................................................................... 144
5.1.3.2. Características de los instrumentos de recogida de datos........... 154
5.1.3.3. Población y muestra de las investigaciones................................. 160
5.1.3.4. Diseño de las investigaciones..................................................... 164
5.1.3.5. Aspectos cronológicos de la investigación.................................. 172
5.1.3.6. Análisis de datos ......................................................................... 173
5.1.3.7. Decisiones tras la evaluación...................................................... 184
5.1.3.8. Otros aspectos ............................................................................. 185
5.1.4. Dificultades detectadas en la concepción de los indicadores y el
establecimiento de las variables de investigación............................................... 186
5.2. Instrumento de recogida de datos.
5.2.1. Descripción general ........................................................................... 187
5.2.2. Proceso de construcción del instrumento y dificultades en su
concepción ......................................................................................... 191
5.2.3. Aspectos de Validez y Fiabilidad del instrumento de
recogida de datos .............................................................................. 192
5.3. Población y muestra.
5.3.1. Identificación de la población y proceso para la selección de la
muestra ............................................................................................ 193
5.3.2. Dificultades para la selección muestra............................................... 196
5.4. Diseño.
5.4.1. Selección del diseño .......................................................................... 197
5.4.2. Amenazas al diseño y mecanismos de control................................... 198
5.4.3. Procedimiento diacrónico y dificultades en el desarrollo de
la investigación .................................................................................. 200
5.5. ANÁLISIS DE DATOS.
5.5.1. Tratamiento de datos. Uso y gestión de las bases de datos................ 203
5.5.2. Técnicas y estadísticos a emplear en el tratamiento de los datos....... 204
IV
CAPÍTULO VI. ANÁLISIS E INTERPRETACIÓN DE

RESULTADOS DE INDICADORES CIENTIMÉTRICOS
6.1. Introducción................................................................................................ 207

6.2. Productividad.
6.2.1. Productividad diacrónica.................................................................... 209
6.2.2. Productividad múltiple y coautoría.................................................... 215
6.2.2.1. Número de autores y promedio e índice de colaboración.... 215
6.2.3. Productividad personal o de autores.................................................. 219
6.2.3.1. Clasificación de autores productores................................... 219
6.2.3.2. Ajuste de la producción a la Ley de Lotka
y Ley de Bradford.................................................................. 221
6.2.3.3. Género en la autoría............................................................. 223
6.2.3.4. Sesgos relativos al género..................................................... 228
6.2.4. Productividad Institucional................................................................ 230
6.2.4.1. Clasificación de las instituciones productora....................... 231
6.2.4.2. Ajuste de la producción institucional a la ley de Bradford...238
6.2.4.3. Producción por áreas de conocimiento................................ 240
6.2.5. Producción por fuentes de publicación.............................................. 243
6.2.5.1. Tipos de fuentes productivas................................................. 243
6.2.5.2. Identificación de las fuentes de publicación......................... 244
6.2.5.3. Ajuste de la productividad por fuentes
a la ley de Bradford............................................................... 248
6.3. Citación en los trabajos revisados.
6.3.1. Citación general, promedio y desarrollo diacrónico.......................... 250
6.3.2. Antigüedad de las citas....................................................................... 253
6.3.3. Tipos de fuentes de las citas realizadas.............................................. 259
6.3.4. Idioma de las citas realizadas............................................................. 262
6.3.5. Tipo de fuentes x idioma de las citas realizadas................................ 265
6.3.6. Citación personal o de autores........................................................... 267
6.3.6.1. Ajuste de la citación a la ley de Lotka.................................. 271
V
Índice.
CAPÍTULO VII. ANÁLISIS DE DATOS CONCEPTUALES.
7.1. Introducción ............................................................................................... 275

7.2. Análisis de los títulos y palabras clave de las investigaciones sobre
evaluación de programas.
7.2.1. Análisis de títulos............................................................................... 276
7.2.2. Palabras clave..................................................................................... 280
7.3. Áreas de contenido de las investigaciones sobre evaluación de
programas.................................................................................................. 283
7.4. Contenidos de los programas evaluados.................................................. 285
CAPÍTULO VIII. ANÁLISIS DE RESULTADOS DE LOS INDICADORES

METODOLÓGICOS.
8.1. Introducción................................................................................................ 287

8.2. Teoría y fundamentación de las evaluaciones.
8.2.1. Paradigma y/o enfoque metodológico................................................ 289
8.2.2. Ámbitos de fundamentación teórica.................................................. 290
8.2.3. Establecimiento de hipótesis.............................................................. 292
8.2.4. Metodología empleada....................................................................... 293
8.2.5. Modelos evaluativos.......................................................................... 295
8.2.6. Facetas evaluadas............................................................................... 298
8.2.7. Productos de la evaluación................................................................. 305
8.3. Instrumentos de recogida de datos.
8.3.1. Estandarización de los instrumentos.................................................. 307
8.3.2. Nombres y tipos de instrumentos....................................................... 308
8.3.3. Validez en los instrumentos de recogida de datos............................ 313
8.3.4. Fiabilidad en los instrumentos de recogida de datos......................... 316
8.4. Población y muestra.
8.4.1. Población............................................................................................ 318
8.4.2. Selección de la muestra...................................................................... 319
8.4.3. Tamaño muestral............................................................................... 321
VI
8.4.4. Género de la muestra.......................................................................... 323

8.4.5. Edad de las muestras.......................................................................... 325
8.4.6. Nivel académico de las muestras....................................................... 326
8.5. Diseños de investigación.
8.5.1. Tipos de diseños de investigación...................................................... 329
8.5.2. Temporalización de los diseños de investigación.............................. 334
8.5.3. Agentes evaluadores.......................................................................... 335
8.5.4. Amenazas a la validez de los diseños y mecanismos de control....... 337
8.6. Cronología de las actuaciones.
8.6.1. Seguimiento evaluativo...................................................................... 339
8.6.2. Duración de la implementación......................................................... 340
8.7. Análisis de datos.
8.7.1. Unidades de análisis........................................................................... 343
8.7.2. Estadístico descriptivos...................................................................... 345
8.7.3. Estadísticos correlacionales y multivariados..................................... 348
8.7.4. Estadísticos inferenciales................................................................... 351
8.7.5. Análisis cualitativo............................................................................. 354
8.7.6. Valores o estándares externos de comparación.................................. 356
8.7.7. Triangulación..................................................................................... 357
8.8. Decisiones tras la evaluación..................................................................... 359
8.9. Soportes de los programas evaluados....................................................... 363
CAPÍTULO IX. DISCUSIÓN DE RESULTADOS.
9.1. Introducción................................................................................................ 367

9.2. Resultados de la productividad de la investigación sobre E.P.
9.2.1. Productividad general y de autores................................................... 369
9.2.2. Productividad institucional y por áreas de conocimiento.................. 374
9.2.3. Productividad por fuentes de publicación.......................................... 379
9.3. Resultados sobre citación en la investigación sobre E.P.
9.3.1. Desarrollo diacrónico de la citación.................................................. 382
9.3.2. Antigüedad de la citación................................................................. 383
VII
Índice.
9.3.3. Citación por fuentes de edición y lengua empleada......................... 386

9.3.4. Citación personal o de autores......................................................... 389
9.4. Resultados sobre aspectos conceptuales en la
investigación sobre E.P............................................................................ 393
9.5. Resultados de aspectos metodológicos en las
investigaciones sobre E.P.
9.5.1. Ámbitos de fundamentación teórica................................................. 398
9.5.2. Instrumentos para la recogida de información................................. 401
9.5.3. Población y muestra......................................................................... 402
9.5.4. Diseños de investigación.................................................................. 403
9.5.5. Aspectos cronológicos y de implementación de los programas....... 404
9.5.6. Tratamiento y análisis de datos........................................................ 405
9.5.7. Decisiones tras la evaluación........................................................... 406
CAPÍTULO X. VALORACIÓN DE LOS HALLAZGOS Y APERTURA

DEL ESTUDIO.
10.1. Cumplimiento de objetivos de investigación y adecuación de los

resultados a las hipótesis planteadas...................................................... 411
10.2. Limitaciones y aperturas del estudio...................................................... 416
10.3. Aperturas y recomendaciones................................................................. 418
REFERENCIAS BIBLIOGRÁFICAS.
1. Trabajos citados............................................................................................ 425
2. Trabajos tomados como muestra del estudio................................................ 456
3. Referencias y enlaces electrónicos.
3.1. Bases de datos........................................................................................ 476
3.2. Instituciones y centros oficiales............................................................. 476
3.3. Fuentes de publicación........................................................................... 477
3.4. Asociaciones de educación.................................................................... 477
3.5. Universidades......................................................................................... 477
VIII
INDICES Y ANEXOS
Índice de tablas gráficos y figuras....................................................................... 479
Índice onomástico............................................................................................... 489
Glosario de abreviaturas, siglas y acrónimos...................................................... 495
Anexo 1. Datos cientimétricos de productividad................................................ 497

Anexo 2. Autores productores............................................................................. 503
Anexo 3. Instituciones/áreas productoras........................................................... 511
Anexo 4. Datos cientimétricos de citación.......................................................... 521
Anexo 5. Autores citados ................................................................................... 529
Anexo 6. Codificación, categorización y longitud de los títulos........................ 565
Anexo 7. Palabras clave...................................................................................... 579
Anexo 8. Contenidos específicos........................................................................ 583
Anexo 9. Datos metodológicos........................................................................... 585
Anexo 10. Datos metodológicos (continuación)................................................. 591
IX
Índice.
X
Análisis cientimétrico, conceptual y metodológico de la investigación española sobre la
evaluación de programas educativos (1975-2000).
PRESENTACIÓN
La evaluación de programas se ha ido definiendo, a lo largo de los últimos

veinticinco años, como un campo disciplinar de primer orden, desde el punto de
vista académico o profesional y con una clara utilidad práctica.
Paulatinamente se ha ido reconociendo la necesidad de valorar las

intervenciones educativas, con el fin no sólo de conocer la propia acción, sino
también como proceso de mejora de los propios programas y las políticas de su
implementación, rendir cuentas sobre los mismos y ofrecer perspectivas válidas
sobre acciones futuras.
Desde el punto de vista eminentemente pedagógico, basta con remitirse a

una lógica elemental de todo proceso de enseñanza, para establecer la
racionalidad básica asignada a la evaluación de programas educativos. Ya sea por
las enormes exigencias sociales requeridas a estos procesos, en el sistema
educativo formal y fuera de él; por la complejidad de los contextos de
intervención o la necesidad de optimización de recursos; no puede entenderse una
intervención, sin un proceso evaluativo mediante el que se establezcan pautas que
tiendan a su mejora y calidad, apoyadas y justificadas en criterios fundamentados.
XI
Presentación.
La evaluación, es por tanto, una herramienta metodológica que facilita,

por un lado, el proceso de toma de decisiones en torno a las intervenciones,
programas y organizaciones que las planifican, mejorando sus acciones
inmediatas, y por otro, un medio de desarrollar la capacidad de reflexión crítica de
éstas haciéndolas más conocedoras y responsables del entorno en el que actúan, y
convirtiéndolas en agentes activos de su progreso.
Aunque es éste un campo profesional y académico que se ha desarrollado

más en otros países que en el nuestro, en la actualidad y de forma creciente, se
reconoce su necesidad y utilidad, demandándose un replanteamiento, para
promover una actividad especializada.
Esta reconsideración disciplinar puede plantearse, en algunos aspectos,

desde la revisión de la investigación que sobre este campo se desarrollan, como
plantean numerosos autores (Scriven, 1974; Stufflebean, 1974 y 1978; Cook y
Gruder, 1978), que señalan y especifican los estudios de revisión y síntesis, como
procesos de reconstitución de un campo o disciplina científica (De la Orden y
Martínez de Toda, 1992).
Ya en 1929 Ortega y Gasset hacía mención a la necesidad de la

investigación sobre la propia ciencia como mecanismo de control de ella.
Investigación que Fernández Cano (1995) delimita en un sentido inductivo, como
es el caso de la investigación de síntesis, y la evaluación de la investigación como
medio de revisión de ésta. Estando la metodología cientimétrica empleada aquí a
medio camino entre ambas.
XII
El campo a indagar aquí se refiere, por tanto, a la revisión de la

investigación centrada en la evaluación de programas educativos. Al interrogarse
sobre evaluación, en cierta medida, se está planteando metaevaluación.
Esta Tesis Doctoral en concreto, es una revisión que trata de sintetizar

desde aspectos cientimétricos, conceptuales y metodológicos las realizaciones de
la investigación, realizadas en el ámbito español, sobre evaluación de programas
en el campo de la educación, durante el periodo que abarca desde 1975 al 2000.
Por lo que posee un carácter de investigación secundaria.
Su estructura se articula en dos partes fundamentales. Una primera que

trata de establecer los fundamentos teóricos de la investigación sobre Evaluación
de Programas, delimitando este campo como disciplina con peculiaridades
particulares y diferenciales del resto de la Investigación Educativa, y
especificando los aspectos básicos en la investigación de carácter cienciométrico.
En la segunda se establecen los parámetros en los que se desarrolla el estudio
empírico, se realizan los análisis de datos y se explotan los datos mediante su
discusión y comparación con estudios afines.
Además, se ofrecen una serie de epígrafes que, facilitan la lectura como

el glosario de acrónimos, siglas y abreviaturas; permiten la localización de
informaciones concretas como el índice de tablas, gráficos y figuras; o completan
la información ofrecida, como la bibliografía, las direcciones y vínculos
electrónicos, y los documentos anexos a la investigación.
De forma pormenorizada, en el capítulo primero, se introducen los

procesos de investigación evaluativa, estableciendo las características generales de
la investigación sobre evaluación de programas como campo disciplinar, su
peculiar relación con el resto de disciplinas pedagógicas, y un análisis diacrónico
XIII
Presentación.
y sincrónico en su origen y desarrollo en ámbito internacional y en el contexto

español.
Esta actividad científica sobre un campo tan concreto posee

características específicas, que intentan establecerse en el segundo capítulo. En él
se parten de los conceptos básicos y elementos diferenciales que delimitan la
evaluación de programas, así como las problemáticas habituales en los procesos
evaluativos. Estos procesos responden a unos modelos de orientación teóricos, se
apoyan en unos diseños de investigación concretos, realizan la selección de sus
muestras por procesos específicos y emplean de manera usual unos instrumentos
de recogida y análisis de las informaciones. Aspectos que de igual forma intentan
reflejarse de manera sintética en este capítulo. Para finalizar con los avances y
nuevas perspectivas en este tipo de investigaciones.
El tercer capítulo y último de la sección teórica responde a la

fundamentación de los aspectos cientimétricos, fundamentales en la lógica y
desarrollo general de este trabajo. Se introduce la Cientimetría como ciencia desde
la perspectiva de su desarrollo histórico, se señalan los conceptos y leyes
fundamentales de esta disciplina y de forma general se analizan la utilidad y
aplicación de este tipo de análisis.
El marco empírico comienza en el capítulo cuarto señalando y

justificando la realización del estudio, desde el proceso de revisión de la literatura.
Se plantean aspectos generales del proceso como los objetivos a conseguir o las
leyes e hipótesis a verificar. Y se señala el aporte que su realización podría arrojar
sobre el campo de la Evaluación de Programas.
En el quinto capítulo se establecen de forma concreta los aspectos

metodológicos del proceso de investigación que se va a llevar a cabo. Se definen y
especifican las variables e indicadores, los instrumentos para recoger información
XIV
sobre ellos, la población y muestra de referencia, el diseño general y los procesos

de análisis y tratamiento de los datos.
Este proceso parte fundamentalmente de una búsqueda en diversas bases

de datos, como la base de datos del I.S.O.C. /C.S.I.C.1 complementada con
búsquedas cruzadas manuales y tras la que se realiza la revisión de 208 estudios,
la mayoría publicados como artículos de investigación en revistas científicas, se
procede al registro en el instrumento especificado de una serie de indicadores,
desde los que se podrían inferir tras su estudio ciertas consideraciones sobre
evaluación de programas en educación en este ámbito y periodo.
Los indicadores se refieren fundamentalmente a aspectos cientimétricos,

conceptuales y metodológicos de las investigaciones revisadas. Los análisis e
interpretación de resultados de datos e indicadores de cada uno de ellos se realiza
en los capítulos sexto, séptimo y octavo respectivamente.
Resultados que se discuten y comparan con estudios afines, en el noveno

capítulo, para comprobar su ajuste a los principios teóricos de la disciplina y
realizar inferencias desde planteamientos más amplios.
El décimo y último capítulo, se intentan establecer de forma sincrética las

inferencias evaluativas generales, estando dedicado a comprobar el nivel de
cumplimiento alcanzado de cada uno de los objetivos de la investigación y la
aceptación o rechazo de las hipótesis planteadas. Se plantean tanto las
limitaciones del estudio como las posibles aperturas de éste. Finalizando con el
establecimiento de una serie de consideraciones que podrían mejorar la
investigación educativa sobre Evaluación de Programas.
1
I.S.O.C.: Instituto de Información y Documentación en Ciencias Sociales y Humanidades.
C.S.I.C.: Centro Superior de Investigaciones Científicas.
XV
Presentación.
En el planteamiento del desarrollo de esta Tesis Doctoral subyace la

finalidad descriptiva, en los indicadores y variables considerados, de los trabajos
revisados. Para con las debidas precauciones, realizar una serie de inferencias
evaluativas en el campo de la investigación sobre evaluación de programas,
apoyadas y fundamentadas en datos empíricos y no en planteamientos teóricos,
práctica que ha venido siendo demasiado usual en este campo disciplinar
(Fernández Cano, 2002,a y b).
XVI
PRIMERA PARTE:
FUNDAMENTOS TEÓRICOS
CAPÍTULO I. INVESTIGACIÓN EVALUATIVA

Y EVALUACIÓN DE PROGRAMAS.
“Una de las actividades básicas de todo profesional de la

educación es diseñar y aplicar programas para dar
respuesta a la cada vez más numerosa demanda
educativa por parte de la sociedad...
... Por tanto el diseño y evaluación de programas es una
actividad fundamental, hoy día, del profesional de la
educación.”
(Colás, 2000)
1.1. INTRODUCCIÓN.
En cualquier ámbito social, en cualquier Sistema Educativo, no puede

entenderse una intervención sin el establecimiento de un programa, de unas líneas
claras de actuación ordenadas temática y temporalmente que ofrezcan coherencia
y sentido a dicha intervención (Forner y Latorre, 1996). Sobre todo
encontrándonos en un periodo de reordenación educativa en el que hay que
justificar política, económica y socialmente las actuaciones de intervención.
3
Capítulo I. Investigación evaluativa y evaluación de programas.
En el mismo sentido, puede entenderse lo necesario de la evaluación de

las intervenciones pedagógicas para promover su eficacia, mejora y justificar su
rendimiento. La evaluación que desde la L.G.E.1 de 1970 ha recibido una atención
creciente, no solo como medio a través del cual mejorar el rendimiento de los
estudiantes sino también de todo el proceso educativo, como criterio de su calidad
(Pérez Carbonell et al., 1999).
En 1987, con el proyecto de Reforma de la enseñanza, la evaluación

sigue considerándose en términos semejantes, aunque se amplía su ámbito
introduciéndose la evaluación de todas las personas involucradas en la acción
educativa. Es un periodo en el que se producen grandes cambios sociales que
generan innumerables demandas del proceso evaluativo. Siendo en estos
momentos la LOGSE2 el mejor marco para fomentar y favorecer la Evaluación
Educativa y de forma más concreta la Evaluación de Programas.
En el mismo sentido que se plantea la necesidad del diseño e

implementación de planes y programas como medio de intervención educativa, lo
hace la evaluación de éstos, por lo que podría decirse que la evaluación de
programas es, en la actualidad, inherente al hecho educativo.
Los contenidos de este primer capítulo aluden a la génesis de los estudios

evaluativos y a la delimitación de evaluación de programas como campo
disciplinar en la investigación educativa.
En su primer epígrafe se realiza una introducción a la caracterización de

la Investigación Educativa (IE, en adelante) en general, y particularmente, a
aquella orientada hacia un sentido evaluativo de las realidades analizadas.
Haciendo mención específica a los estudios de síntesis, como mecanismos de
obtención de visiones globales acerca de un campo de investigación.
1
L.G.E.: Ley General de Educación.
2
L.O.G.S.E.: Ley de ordenación general del sistema Educativo.
4
A continuación, se describe como los procesos de investigación

evaluativa aplicados al campo de la evaluación de programas han alcanzado unas
características específicas en cuanto a su objeto de estudio y los medios para
estudiarlo, de forma que se ha constituido en un campo disciplinar diferenciado de
la I.E.
Este campo de investigación posee ciertas peculiaridades derivadas de la

convergencia en él de numerosas disciplinas pedagógicas, que han determinado su
desarrollo. Las relaciones que mantiene con ellas son analizadas en un epígrafe
específico de este capítulo.
Capítulo que finaliza, con una visión en sentido diacrónico y sincrónico,

del desarrollo histórico de la disciplina de la evaluación de programas en el
ámbito internacional y en el contexto específico español.
1.2. LA INVESTIGACIÓN EDUCATIVA, LA INVESTIGACIÓN

EVALUATIVA Y LOS ESTUDIOS DE SÍNTESIS.
El origen de la investigación educativa se halla estrechamente vinculado

al nacimiento de la pedagogía como disciplina científica (Colás y Buendía, 1998),
que por reivindicar tal carácter pretende generar conocimientos científicamente
aceptables de los hechos educativos.
Pero este establecimiento de una ciencia de la educación como

disciplina social estuvo asociado a numerosas dificultades, como el abandono de
una perspectiva moral, para adoptar una adecuación positivista en la que se hiciera
posible la objetivación y por tanto un carácter empírico consustancial al método
científico. Y también, el abandono de los planteamientos, metafóricos y
simbolistas, basados en la descripción de la acción educativa; por la posibilidad de
actuación y transformación con vistas al desarrollo y mejora.
5
Esta incorporación del método científico-experimental al estudio de la

educación, lo relaciona García Hoz (1978) con la transferencia desde disciplinas
afines como la medicina y la psicología, al intentar desvelar cuestiones
relacionadas con temas educativos.
Desde este particular origen, el enraizamiento y desarrollo de la

investigación educativa no se produce simultáneamente en los distintos contextos,
sino que ha dependiendo en gran cuantía de las condiciones socio-políticas
particulares.
Así, en Estados Unidos la investigación pedagógica ha alcanzado un alto

nivel de desarrollo, siendo precisamente allí dónde en 1882 apareció el primer
seminario con el propósito de crear una pedagogía de carácter científico.
Bartolomé (1984) sintetiza los logros generales de la investigación

educativa norteamericana en la introducción de instrumentos de medida y
evaluación, desde los tests de rendimiento a los más recientes de carácter
ecológico. Desde la incorporación del método experimental a los estudios
pedagógicos (Campbell y Stanley, 1982), la introducción de nuevos diseños
mejor adaptados a las peculiares condiciones de los contextos educativos,
cuasiexperimentales de Cook y Campbell (1979) y de caso único de Kratochwill
(1978).
Y también, desde una perspectiva funcional, la mejora del tratamiento de

datos mediante la incorporación de métodos multivariados apoyados por los
soportes informáticos; o la potenciación de la difusión de la información a través
de diversos soportes como la realizada por la A.E.R.A.3, que sintetiza, recopila y
publica las principales aportaciones empíricas en el ámbito educativo. Todo ello
en un fuerte ámbito de apoyo económico y político.
3
A.E.R.A.: American Educational Research Association.
6
En Europa, sin embargo, la investigación educativa se ha realizado en

general de una forma mucho más aislada, con escaso reconocimiento e
insuficiente colaboración de las instituciones oficiales, de una manera dispar.
La tradición investigadora sobre educación se remonta, en Gran Bretaña,

a la creación del Instituto de Pedagogía de la Universidad de Londres en 1931.
Destacando entre sus contribuciones más relevantes, por medio de la creación de
centros de prestigio y la relevancia de ciertas figuras, o la publicación de revistas
de prestigio mundial como British Journal of Educational Tecnology, Research
into Higher Education, Educational Research o British Journal of Educational
Psychology, la construcción de tests, la exploración de la inteligencia y
delimitación de diferencias individuales, el diagnóstico de aptitudes escolares o la
predicción del rendimiento, tomando como factor las implicaciones sociales.
En Alemania, la investigación educativa tiene sus orígenes en los

institutos psicológicos que han tratado aspectos diferenciales y psicológicos del
desarrollo, siendo de gran importancia las aportaciones metodológicas cualitativas
y la filosofía humanista, bajo el liderazgo de la escuela de Franckfurt y autores
como Habermas y Dilthey.
Cabe citar, en el ámbito francófono, el prolífico pasado en la primera

veintena del siglo veinte, de las instituciones educativas belgas, como la
Universidad de Bruselas. Y de las francesas a partir de los años cuarenta.
Desde la revolución bolchevique de 1923, en Rusia, se hace patente la

preocupación por la pedagogía, que lleva a fundar en 1943 la Academia de las
Ciencias Pedagógicas. Enmarcándose todos sus estudios en planes quinquenales
con planes de evaluación, centrados en el estudio de los contenidos curriculares,
de métodos de enseñanza y formación del profesorado.
En el caso de España, desde el primer tercio del siglo veinte se aprecia

una sensibilización hacia la investigación educativa, plasmada en los años treinta
7
con la creación de las secciones de pedagogía en las Universidades, o con la

edición de la Revista Española de Pedagogía una década más tarde.
Si embargo no es hasta los movimientos políticos, económicos y sociales

de los años sesenta, que culminan con el establecimiento de una política educativa
regida por la Ley General de Educación de 1970, cuando se comienza a hacer
hincapié en ella coordinándola, asignándole fondos y creando instituciones como
los ICEs4 encargados de llevarla a cabo.
La investigación en estos centros se caracteriza por su conexión con la

formación del profesorado y la búsqueda de nuevas soluciones a los problemas de
la sociedad y de la educación, el predominio del enfoque descriptivo, apoyado
especialmente en la encuesta, observación y elaboración de pruebas y materiales,
con una introducción creciente de métodos explicativos, predictivos y
experimentales. Aunque de importancia, Tejedor, Castro y Mínguez (1988)
caracteriza estas aportaciones de irregulares y declinantes.
Con posterioridad, el perfeccionamiento del profesorado, de los niveles

básicos y secundarios, pasa a los CEPs5. Asignándole también a éstos funciones
de investigación aplicada, que Escolano (1982) describe con una clara orientación
práctica y corte didáctico, con la adopción de una metodología eminentemente
empirista, realizada por equipos de investigación y con una proyección de planes
en el ámbito nacional.
Este tipo de actuaciones para el desarrollo de la investigación

pedagógica, en los niveles primarios y secundarios del sistema educativo, según
Tejedor, Castro y Mínguez (1988) apenas ha tenido incidencia efectiva en la
realidad educativa, ni influencia en las estructuras administrativas, ni generado
innovaciones en las instituciones.
4
I.C.E.: Instituto de Ciencias de la Educación, asociados a las Universidades.
5
C.E.P.: Centros de Profesores.
8
La labor investigativa en educación ha quedado sobre todo relegada al

ámbito universitario, por medio de trabajos que Colás y Buendía (1998)
describen como trabajos personales, no de equipo; con temáticas que pudieran
tener gran importancia científica y el uso de avanzadas y sofisticadas
metodologías, pero con escaso interés práctico; y con una escasa continuidad, que
dificulta la generalización y profundización de líneas de investigación.
Todos estos graves problemas de la investigación educativa, han tratado

de solucionarse en las últimas décadas del siglo veinte, por medio de su
reconsideración conceptual y metodológica, y el desarrollo de nuevos
planteamientos sobre la auténtica finalidad de la investigación y la relación que
ésta debe guardar con la práctica educativa.
La dinamización de todas estas propuestas debe comenzar por la

formación y desarrollo profesional, en el que las técnicas y métodos de
investigación ocupan un papel relevante. Formación que debe comenzar por los
estudios universitarios sobre educación, alcanzando también a la práctica
profesional.
De forma concreta deben plantearse concepciones y aproximaciones

metodológicas más adecuadas a la realidad educativa actual, que permitan un
mayor impacto de los hallazgos.
En este sentido, Colás y Buendía (1998), describen la evolución

metodológica en los últimos años hacia la ampliación de las formas de proceder,
una investigación orientada a la toma de decisiones que va ganando terreno a la
investigación orientada a la obtención de decisiones. Y la apertura de nuevos
campos de investigación tales como la investigación evaluativa, y la potenciación
de la investigación-acción como forma de vincular la innovación y la práctica
escolar.
9
Estas nuevas prácticas profesionales, generadas desde los intereses y

necesidades de los propios profesionales, conciben la investigación como una
actividad próxima a la práctica educativa e imprescindible en el que hacer
profesional, desde nuevos planteamientos metodológicos, como es el caso de las
perspectivas cualitativas o de la investigación-acción.
Perspectiva desde la que a los profesionales de la educación, como queda

patente en los nuevos diseños curriculares de las enseñanzas, se les asigna un
nuevo rol en la participación de construcción del conocimiento científico.
Conocimiento para solucionar problemas y promover el desarrollo de la calidad
educativa.
Es desde esta perspectiva, desde dónde puede entenderse la auténtica

finalidad de la investigación en el campo educativo, en los términos que
específica Hernández Pina (1998a), como el estudio de los métodos, los
procedimientos y las técnicas utilizadas par obtener un conocimiento, una
explicación y una comprensión científica de los fenómenos educativos, así como
para solucionar los problemas educativos y sociales. Orientándose más hacia
planteamientos prácticos, que a la generación y resolución de problemas teóricos.
También en la organización y financiación de la investigación se observa

también una mayor diversificación de centros y programas y la ampliación de los
canales de financiación y difusión, con el incremento de los seminarios y
congresos y la generación de fuentes de publicación de gran importancia, como es
el caso de la Revista de Investigación Educativa.
Sin embargo, en general, la investigación educativa sigue adoleciendo de

las limitaciones de las disciplinas incipientes o en proceso de reestructuración.
Sólo una enorme seriedad en las fundamentaciones teóricas, mayor rigor en los
procesos metodológicos, aumento de los canales y estilos en la comunicación
harán generar la suficiente consistencia científica como para ofrecer mayor
10
credibilidad y mejorar las posibilidades de difusión (Slavin, 1997; Klein, 1997 y

Pogrow, 1998).
La caracterización de la investigación evaluativa, entendiendo ésta como

aquella que posee una finalidad valorativa, en cualquiera de los objetos de estudio
a los que pueda referirse, sigue como investigación educativa un proceso similar
de implantación y desarrollo.
Arnal et al. (1992), muestran estas coincidencias entre la investigación

educativa general, la investigación evaluativa y de forma específica la referida al
campo de la evaluación de programas, en la que se puede apreciar también un
periodo de profundos cambios.
La investigación evaluativa bebe entenderse como un proceso riguroso,

controlado y sistemático de recogida y análisis de información valida y fiable para
tomar decisiones acerca del programa educativo; y así aumentar la racionalidad de
las decisiones acerca de la puesta en marcha, sobre su desarrollo y evaluación
evitando la excesiva dependencia de las decisiones políticas (Tejedor, García-
Varcárcel y Rodríguez, 1994).
En su aspecto general es similar a cualquier proceso investigativo,

distinguiéndose más por los objetivos que por los métodos empleados; por lo que
podríamos entenderla como una mera extensión, con ciertas caracterizaciones
propias, hacia un campo práctico concreto. Sin embargo, siendo algunas sus
diferencias, como señala De la Orden en 1985, conviene resaltar ciertas
características propias de la investigación evaluativa:
• En todo el proceso de investigación evaluativo, desde la selección

del problema hasta la aplicación de una metodología concreta, viene acompañado
de juicios de valor acerca del programa.
11
• La complejidad de su objeto de conocimiento y los contextos en

que se desempeñan hacen enormemente complejo tanto la formulación de
hipótesis precisas, como un completo control de las variables intervinientes,
limitándose el uso de los diseños con carácter más experimental.
• La recogida de datos queda condicionada a la viabilidad del

proceso y posibilidades de los sujetos intervinientes.
• La replicación, dadas las peculiares e irrepetibles características de

la ejecución, es prácticamente imposible.
• La toma de decisiones sobre la paralización, sustitución o

repetición del programa no queda en manos del evaluador; adaptándose al igual
que el informe a las exigencias de quien lo financia.
También, Tejedor, García-Varcárcel y Rodríguez (1994), caracterizan la

investigación evaluativa, en una comparación con la investigación educativa
general, en algunos aspectos fundamentales:
• Mientras el propósito de la investigación es el incremento del

conocimiento para sacar conclusiones generalizables a otros ámbitos, el proceso
de evaluación de programas es de intervención en la toma de decisiones de
problemas prácticos limitados a un grupo de referencia.
• En la investigación el interés personal o científico delimita el

problema sobre el que se lanzan unas hipótesis explícitas. Por medio de un
proceso replicable, basado en un diseño preestablecido y una metodología
usualmente cuantitativa, el investigador controla y manipula las variables para
obtener datos de una muestra aleatorizada, e intentar alcanzar de manera
autónoma un conocimiento objetivo.
12
Sin embargo, en la investigación evaluativa, son numerosos los aspectos

que pueden venir asignados por condicionantes externos, como son el tema y/o el
grupo de interés, impidiendo un muestreo aleatorizado. Es un proceso
difícilmente replicable el que sin hipótesis explícitas, a través de diseños
flexibles en los que difícilmente se van a poder controlar las variables, y por
medio de metodologías diversas, el investigador intenta asignar criterios de valor
a un determinado programa.
• En otros aspectos, mientras la investigación encuentra su validez

internamente, externamente y mediante constructos teóricos, se interpretan los
datos de acuerdo a reglas definidas, adaptando los informes a la comunidad
científica; la evaluación de programas, basa su credibilidad en la propia utilidad
que permita valorar el programa, adaptando sus interpretaciones a los gestores y
usuarios.
Precisamente en periodos de transición como éstos, en los que han

variado las cosas en evaluación educativa, su uso se ha profesionalizado e
institucionalizado (Madaus, 1983), han aumentado sus objetos, métodos y
audiencias (Stufflebean, 1987), y se proponen la elaboración de estudios de
evaluación o metaevaluación (Scriven, 1974; Stufflebean, 1974,1978; Cook y
Gruder, 1978).
1.3. LA EVALUACIÓN EDUCATIVA Y LA EVALUACIÓN DE

PROGRAMAS COMO CAMPO DISCIPLINAR.
El origen de la palabra evaluación se encuentra en valore, del latín tasar,

valorar o atribuir valor a una cosa.
En la lengua española muestra, por tanto, una clara descendencia

etimológica al considerar sinónimos los términos valorar y evaluación. Aunque
pese a tal sinonimia, existen matices y diferencias en su aplicación, puesto que
incluso atendiendo a cuestiones de valoración social, se estima más el término
13
valorar. En otras lenguas, como la inglesa, se realizan distinciones entre términos,

como evaluation o assessment, si se evalúan objetos o personas.
Como en su origen, no existe una definición única de evaluación de

programas, pues la aceptación de una, presupone la aceptación de algunas
consideraciones básicas que determinan a ésta. Así puede ser entendida, como el
proceso de determinar en qué medida los objetivos de un programa se han
cumplido (Tyler, 1950), suponer la estimación del mérito de un objeto (Scriven,
1967) o poner a examen los resultados o efectos de un programa (Levin, 1975).
Funcionalmente, la evaluación de programas comienza a ser una

preocupación dentro del ámbito educativo en los años setenta, como medio par
valorar la eficacia de los programas de acción social que se estaban llevando a
cabo y comprobar la consecución de sus objetivos previstos.
Este acción de estimación o juicio de valor de un determinado programa

exige un proceso contextualizado de análisis normativo científico, en el que se
recoja, analice e interprete informaciones validas y fiables que conduzca a la
evaluación de dichos procesos y a la toma de decisiones (Mateo, 1991). Es decir,
una evaluación debería poseer los rasgos característicos de una investigación
científica.
Así, la evaluación de programas hay que entenderla como un proceso

sistemático de obtención y análisis de informaciones significativas en las que
basar juicios de valor sobre estos programas. De forma más específica (Fernández
Ballesteros, 1996) como un conjunto de conocimientos teóricos y metodológicos,
con ámbito de aplicación en las Ciencias Sociales, para dar respuesta a la
necesidad de enjuiciamiento de ciertas decisiones políticas cuyo fin es el beneficio
de la intervención social. Pero dicho mecanismo debe suponer una secuencia
dinámica de diseño, aplicación, evaluación, re-diseño (Alvarez Rojo y Hernández
Fernández, 1997).
14
Este proceso puede llegar a ser enormemente complejo, como señala

Colás (1993) ya que en la medida que un programa de actuación pública o
carácter social sea más ambicioso, más complejas son las realidades a analizar que
además se desarrollan dinámicamente en sistemas interdependientes.
La gran diversidad de propuestas y planteamientos hace de éste un campo

difícil de concretar y conceptualizar, resaltando cada autor los aspectos que le
resultan más relevantes. Aunque buscando patrones de similitud podemos
encontrar dos tipos básicos de apreciaciones: los que ponen hincapié en la
dimensión técnica y los que ponen el énfasis en los aspectos ideológicos, aunque
ni siquiera estas caracterizaciones extremas pueden considerarse tan distintas
puesto que realmente no son opuestas ni contradictorias, resultando en el fondo
complementarias y de importancia más sustancial, dependiendo del momento del
proceso evaluativo: selección del contenido del programa, toma de decisiones,
implicación de los participantes, recogida y análisis de la información, etc.
En esta diversidad de propuestas sobre evaluación de programas existen

algunos aspectos claves que se han pretendido enmarcar en unos parámetros o
estándares claros que la delimitasen (Sanders, 1985; Stufflebean, 1987; Joint
Committe, 1998). Aunque este esfuerzo de definición ha recibido numerosas
críticas (Cronbach et. al., 1980; Stake, 1981; Talmage, 1982 y Guba, 1988), por
considerarlo como una restricción conceptual del campo disciplinar.
Aunque se parta de una gran diversidad epistemológica y/o

metodológica, de forma común, la evaluación se entiende un proceso dinámico, en
el que aplicando procedimientos científicos, se recogen informaciones válidas y
fiables, se realizan juicios de valor para tomar decisiones contextualizadas sobre
un determinado programa.
Su finalidad puede entenderse desde la medición de la implementación y

resultados de un programa (Rutman, 1980) a la toma de decisiones para una
intervención (Cronbach, 1982), que puede servir a una intervención política
15
(Talmage, 1982). Así podremos definir, la evaluación de programas como un

conjunto de conocimientos teóricos y metodológicos con ámbito de aplicación en
las ciencias sociales, pretende dar respuesta a la necesidad de enjuiciamiento de
ciertas decisiones políticas cuyo fin es el beneficio de la intervención social
(Fernández-Ballesteros, 1996). Pero no sólo describe los resultados de la
evaluación, en otro sentido también pretende explicar los hallazgos encontrados
(relación entre variables, incidencia de unas en otras,...) construyendo su propio
campo de conocimiento (Tejedor, García-Varcárcel y Rodríguez, 1994).
Para Alvira (1991), algunas de las circunstancias que han contribuido a

conformar este campo de actuación serían:
• Mayor interrelación entre las actividades de evaluación y

programación. Si en una perspectiva clásica, las actividades evaluativas se
posponían a la planificación y desarrollo del programa, en la actualidad son
procesos paralelos.
• La evaluación de programas desde una perspectiva metodológica es

investigación evaluativa. Es investigación, con todos los condicionamientos
epistemológicos, metodológicos y técnicos; centrada en el carácter evaluativo.
• En la evaluación de programas se produce una mayor implicación

de las partes interesadas, tanto de quienes patrocinan el trabajo, como de los
potenciales beneficiarios.
• En la evaluación de programas pueden integrarse estrategias de

investigación muy diversas y complementarias, siendo la naturaleza del programa
y la habilidad del evaluador, la que determine una o varias opciones.
En los últimos años la evaluación de programas, aunque de forma rápida

y desordenada, se ha desarrollado como campo disciplinar con gran potencial de
crecimiento en el futuro (Municio, 1992). Es un campo disciplinar porque en él
16
precipitan múltiples disciplinas (Psicología, pedagogía, sociología,...). Y ha ido

perfilándose como un campo concreto, delimitado por una terminología propia, un
conjunto de herramientas conceptuales y analíticas específicas, y unos procesos y
fases también específicos.
En su desarrollo se ha tendido a consolidar una teoría de síntesis

(Shadish, Cook y Levinton, 1991), la realización de evaluaciones sofisticadas y la
publicación de gran cantidad de libros, artículos e informes de evaluación.
Algunos autores como Colás (1993), Gairín (1991) o Pérez Juste (2000)
señalan aspectos básicos de caracterización general la investigación y evaluación
de programas y que facilitan su delimitación como campo disciplinar específico:
• La evaluación de programas no debe entenderse como un proceso

uniforme con un modelo único de evaluación o con una única metodología.
• La evaluación de programas se ajustará inicialmente a la idea que

se tenga de la evaluación. La concepción más amplia es aquella que entiende que
evaluación es el conocimiento empírico del mérito o valor de las actividades y
objetivos de un programa.
• Irá referida a un programa o conjunto sistemático de actuaciones

que se ponen en marcha para alcanzar unos objetivos.
• Junto a la función educativa, el programa debe estar cumpliendo

otras funciones de carácter ideológico o político.
• Planificación y evaluación deben pensarse simultáneamente.

Considerando incluso la evaluación de necesidades como un tarea previa a la
planificación de un programa.
17
• Los modelos de evaluación deben ser al mismo tiempo modelo de

análisis y de toma de decisiones. Detallando la planificación–evaluación de un
programa para facilitar las tareas de un control posterior.
• El evaluador debe estar familiarizado con el objeto de la evaluación

procurando, mediante el contacto y la negociación previa, la participación de los
interesados, ya que aportan validez al proceso y garantía de utilidad y
aplicabilidad a los resultados. Aunque en algunos diseños no se incluye de forma
explícita o se duda de su utilidad, el problema actual no se plantea en términos de
admitir o rechazar la participación de los interesados (gestores y destinatarios) en
el proceso evaluativo, sino en delimitar la forma y el grado en que debe realizarse.
• Los criterios o indicadores son básicos en la evaluación así como el

establecimiento de estándares o grados aceptables de éxito.
• La evaluación se entiende como proceso, confiriéndole un carácter

dinámico. El concepto concreto de evaluación que se adopte marcará la elección
de posibles modelos teóricos y enfoques metodológicos a seguir, así como otros
aspectos a considerar (tema, actividades, rol del evaluador, audiencia o informes).
• Deben aplicarse procedimientos científicos, que incluyan

estrategias de diseño, recogida y análisis de información rigurosos y
sistematizados, lo que no excluye en modo alguno la diversidad de enfoques
metodológicos (técnicas de recogida y análisis de datos o estrategias de toma de
decisiones). Tampoco el carácter científico del proceso evaluador debe hacernos
concebir dicho proceso como una actividad exclusivamente teórica, mera
aplicación de los procedimientos científicos.
• Actualmente el énfasis de la tarea evaluativa se pone en la emisión

del juicio de valor, a partir de una adecuada recogida y análisis de la información
pertinente.
18
• Deben superarse las opciones excluyentes de metodologías

específicas, la evaluación de programas permite utilizar de forma conjunta y
coordinada metodologías distintas.
• No todos los diseños son válidos, debiendo responder a criterios de

validez y utilidad. Además de a diversas tipologías dependiendo del momento o
fase del programa que quiera analizarse: de necesidades, de proceso, de
producto...
• Debe tener como proyección la toma de decisiones, lo que implica

otorgarle una utilidad a la evaluación.
• Se remarca el carácter contextualizado, en el sentido que ha de

estar condicionada por las circunstancias y ha de ajustarse a las condiciones reales
en las que se aplica el programa objeto de la evaluación.
• Hay que prestar especial atención a los efectos no previstos, ya que

pueden deberse tanto a la potencialidad del programa como a su incorrecta
aplicación. El éxito del programa no se mide únicamente por la consecución de
los objetivos ya que hay programas que no los formulan o que se plantean desde
otras perspectivas menos funcionales.
Todos estos aspectos dejan patente la delimitación de la investigación

sobre evaluación de programas como un campo de la investigación educativa con
características específicas diferenciales. No sin dificultades, como señalan Colás y
Rebollo (1993), por las escasas realizaciones sistemáticas y el predominio de
determinados enfoques. Siendo una consecuencia de este panorama la dificultad
de su conceptualización, encontrándose múltiples definiciones en la que cada
autor destaca lo que más le interesa.
19
1.4. RELACIÓN ENTRE LA EVALUACIÓN DE PROGRAMAS

Y LAS DISCIPLINAS PEDAGÓGICAS.
La Evaluación de Programas podría ser uno de los campos disciplinares

del ámbito educativo que reciben un mayor número de influencias de diversas
disciplinas pedagógicas. Esta multiplicidad produce variadas interacciones entre
ellas.
Así en un sentido, éstas ofrecen su corpus axiológico como principios de

ordenación de las realizaciones teórico prácticas delimitando consistentes diseños
de investigación y facilitan procesos metodológicos, aportando instrumentos de
recogida y análisis de informaciones válidos y fiables. En definitiva, vierten toda
una serie de principios que orientan la investigación en E.P.
Pero a su vez todas éstas disciplinas requieren de la E.P. que ésta centre
su objeto de conocimiento en contenidos específicos del interés particular,
mediante aproximaciones y realizaciones investigativas acordes con los principios
teórico prácticos específicos de cada una de ellas.
Por ello es común que en la investigación sobre E.P. se recurran a teorías

propias de la Orientación o de la Didáctica, se empleen procesos examinados en
la Metodología de la Evaluación o se apliquen instrumentos característicos de
multitud de disciplinas pedagógicas. Centrando a su vez su objeto de
conocimiento en aspectos del interés de cada una de estas disciplinas.
Esta actuación de diversas áreas en un mismo ámbito puede entenderse

como un rasgo de riqueza disciplinar o plantear contradicciones si en lugar del
empleo de aproximaciones complementaristas se acude a absurdas posturas
solapadas y/o excluyentes.
El origen de la evaluación de programas se encuentra muy vinculado a la

Orientación Educativa, puesto que los modelos de intervención por programas
20
comienzan a utilizarse en EEUU en los años sesenta, introduciéndose su

implementación en España en los años ochenta con la implementación de los
servicios de orientación educativa (Álvarez Rojo y Hernández Fernández, 1997).
Es por ello que es ésta un área de conocimiento habitual en las temáticas
evaluativas.
La E.P. como campo disciplinar eminentemente empírico y aplicado, en

el que vierten sus conocimientos numerosas disciplinas, ha sido un caldo de
cultivo excelente en el que plantear diseños y métodos de la más diversa índole
desde perspectivas complementarias y eclécticas, por lo que también ha sido foco
de atención para la Metodología de la Investigación. Prueba palpable de ello es el
papel crucial que juegan los Departamentos de Métodos de Investigación como
filiación institucional de los autores más importantes en este campo.
Las intervenciones por programas limitados y las consiguientes

evaluaciones de éstos, ofrecen también una oportunidad excelente a la Didáctica
de considerar y experimentar diversos aspectos. Es por ello que son comunes las
evaluaciones de programas que centran gran parte de su interés en cuestiones
específicas, como la Didáctica de Idiomas, la Didáctica para la atención a N.E.E.
o las Didácticas para la intervención en contextos sociales desfavorecidos.
Pero quizás una de las relaciones más paradójicas de la E.P. es la que

establece con la Teoría de la Pedagogía. Puesto que pese a ser la E.P. un campo de
experimentación práctica no se ha desarrollado especialmente como centro de
ensayo de las teorías pedagógicas, sino que más bien se ha limitado a emplear un
puñado relativamente pequeño de ellas como justificación epistemológica de sus
realizaciones. Es precisamente ésta una de las debilidades de este campo,
denotando las en ocasiones difíciles relaciones entre la teórica y la práctica
educativa real y aplicada, suponiendo una pérdida de oportunidades por parte de
los investigadores educativos.
21
Para completar esta demarcación, desde una perspectiva diacrónica, se

considera su génesis y desarrollo histórico como disciplina en el siguiente
epígrafe.
1.5. LA EVALUACIÓN DE PROGRAMAS EN EL ÁMBITO

INTERNACIONAL. DESARROLLO HISTÓRICO.
El empleo de programas como estrategia de intervención educativa tiene

una historia relativamente reciente, en la que es posible constatar la evolución de
la propia concepción de los que es un programa y cómo debe ser su evaluación,
como los avatares de su coexistencia con el resto de la investigación educativa.
Como en muchos otros campos de la investigación educativa, la

evaluación de programas encuentra a sus pioneros en EEUU, donde desde finales
del siglo XIX el sentido de la evaluación era entendido como sinónimo de
aplicación de test para marcar diferencias individuales dentro de un grupo
normativo, con poca relación con la evaluación de programas (Guba y Lincoln,
1985).
En los años 30 del siglo XX, se comienzan a promover modelos

centrados en la experimentación para comprobar la relación entre objetivos/
resultados. Focalizando la evaluación su atención en la detección de diferencias
individuales, mediante puntuaciones específicas y comprobar el nivel de
cumplimiento de parámetros previamente establecidos. Consolidándose esta etapa
entorno a los años cincuenta, en los trabajos de Tyler, que hacen referencia a los
objetivos del programa y a la descripción de la medida.
Para algunos autores es aquí dónde comienza y se consolida la

Evaluación de Programas, tal y como hoy se entiende, en el entorno de las
actividades de evaluación de objetivos desarrolladas por Tyler. Modelo que ha
tenido una gran influencia posterior debido a su lógica básica, y a que era
científicamente aceptable y fácil de aplicar (Carballo, 1990).
22
En los planteamientos de este autor, el principal papel de la evaluación

consistía en verificar la consecución de los objetivos propuestos de forma previa a
la realización de la actividad. Y cuanto más claramente estaban especificados
estos objetivos, más sencilla resultaría su evaluación, mediante la medidas pre y
post programa.
La sustitución de estos modelos basados en las concepciones taylerianas

se produce precisamente por su reduccionismo, ya que la consideración exclusiva
de la consecución de objetivos no parece un factor para medir el éxito global de
un programa.
En los años sesenta con la promulgación de la Ley E.S.E.A. en la que se

concede gran importancia a los mecanismos evaluativos dentro del propio proceso
educativo, se comienza a hablar de programas, sobre todo en el ámbito de la
orientación psicoeducativa, en su doble faceta profesional de guidance y
counseling. Siendo en esta segunda mitad del s. XX, cuando se produce un gran
auge de la disciplina, evolucionando de la etapa de inocencia al realismo.
Las nuevas pretensiones no alcanzan tan sólo a aspectos como la medida,

sino que además se pretende describir e interpretar; aunque todavía bajo el
predominio de la evaluación como investigación positivista, mediante el empleo
de procedimientos estandarizados para la recogida y el análisis de datos
orientados a la toma de decisiones.
Durante los años 70, la evaluación centra su objeto y atención en los

programas formativos, existiendo una gran demanda y voluntad de rendir cuentas
sobre el mérito y efectividad de los programas educativos accountability; y
realizándose un gran esfuerzo por garantizar la exactitud de las medidas que se
toman, mediante el establecimiento de unas claras pautas metodológicas, que
como las ofrecidas por Campbell y Stanley (1982), siguen orientando en cierto
sentido, la investigación evaluativa actual.
23
Incluso durante este periodo, se produce una profesionalización de la

evaluación, y se elaboran normas para la evaluación de programas y materiales
(Joint Committee on Standars for Educational Evaluation, 1981/1998).
Este desarrollo culmina en EEUU, Canadá y algunos países europeos

durante los años ochenta, cuando comienza a producirse un asentamiento
científico y la aceptación social de la evaluación de programas educativos. Y
aunque se cuestiona la viabilidad de los estudios experimentales en el ámbito de
las Ciencias Sociales, se abren nuevas perspectivas que suponen la incorporación
de nuevos modelos evaluativos y de nuevas estrategias metodológicas, tanto
cuantitativas (diseños correlacionales, series, técnicas de clasificación,...) como
cualitativas.
Algunas de estas múltiples concepciones, propuestas desde una

pluralidad de perspectivas, han sido en ocasiones consideradas exageradamente
como modelos (Alvira, 1991), sin tener el rigor y validez propio de éstos. Siendo
éste uno de los principales handicaps en el desarrollo de la disciplina como campo
científico.
Hoy en día, nadie duda de lo complejo del objeto de estudio de las

Ciencias Sociales, de las diversidades metodológicas de su investigación y los
problemas que plantea su evaluación. Y tampoco, que esta situación encuentra
algunas dificultades al no existir una concepción paradigmática lo suficientemente
fuerte y unitaria que oriente la teoría y sustente la práctica investigativa y
evaluativa de forma diferencial a otras. Las posibilidades de la evaluación de la
investigación como proceso de mejora, se ven empañadas por una escasa
mentalidad y concienciación evaluativas.
A escala internacional, la situación actual se define por la utilización de

múltiples modelos que se aplican a distintos contenidos (necesidades, diagnóstico,
productos o impacto), la multidisciplinaridad (análisis etnográfico y estadístico), y
24
la multidimensionalidad en objetivos, en perspectivas y niveles de valoración

(validez, credibilidad, costes, rentabilidad, aplicabilidad). En síntesis, múltiples
metodologías, múltiples impactos, múltiples formatos de informa,... Es una
multiplicidad de lo múltiple (Colás y Rebollo, 1993, citando a Corner).
Una consecuencia de este panorama es sin duda la dificultad de

conceptualizar la evaluación de programa como campo, encontrándose múltiples
definiciones en la que cada autor destaca lo que más le interesa. Sin embargo,
prueba de la importancia que se le comienza a ofrecer a esta tarea evaluativa es
que en algunos países la evaluación de programas está institucionalizada, no sólo
como ajuste de las intervenciones públicas a unos estándares o criterios y a un
gasto público, sino como proceso de mejora y perfeccionamiento.
Algunos de estos problemas de la evaluación educativa en general y de la

evaluación de programas en concreto, lo expresan Worthen et. al. (1997), en los
siguientes términos:
• Los modelos de evaluación fracasan como modelos científicos. Para Cook y

Reichardt (1986) la relación entre paradigmas y métodos es instrumental, siendo
la metodología una simple colección de técnicas y procedimientos, no siendo
axiomáticos ni deductivos y con limitaciones en su generalización.
• Es necesario imprimir una dinámica evaluativa como proceso constructivo

formativo/sumativo, utilizando metodologías complementarias, diversidad de
instrumentos y técnicas, que permitan una evaluación válida y eficaz con alto
grado de responsabilidad social. Su valor reside en ayudarnos a pensar, ser fuente
de nuevas ideas o técnicas y servir de esquema mental de cuestiones a considerar
o que no debemos olvidar.
• Se hacen necesarias fuentes de triangulación en diversos aspectos del proceso:

datos, investigador, teoría y metodología (Denzin, 1989). Existiendo dos
tendencias actuales, una hacia la complementariedad metodológica, pero
25
primando las metodologías cualitativas, y otra el "amateurismo" al considerar

que cualquier docente puede investigar, aún sin preparación específica.
Y desde la perspectiva de la práctica evaluativa, los problemas que habrá

que cuidar en la evaluación de programas se refieren sobre todo a la tendencia del
programa o centro a cambiar mientras se está siendo evaluado, las relaciones entre
evaluadores/evaluados y el hecho de que el sistema socio político en el que se
inserta el programa determine éste incluso en cuestiones que no debería.
Por tanto, en general, la investigación evaluativa sigue adoleciendo de

las limitaciones de las disciplinas incipientes o en ciernes de reestructuración.
Sólo una enorme seriedad en las fundamentaciones teóricas, mayor rigor en los
procesos metodológicos, aumento de los canales y estilos en la comunicación
harán generar la suficiente consistencia científica como para ofrecer mayor
credibilidad y mejorar las posibilidades de difusión (Slavin, 1997; Klein, 1997 y
Pogrow, 1998).
1.6. LA INVESTIGACIÓN SOBRE EVALUACIÓN DE PROGRAMAS EN

ESPAÑA.
1.6.1. El contexto diacrónico. Una perspectiva histórica.
La evolución de la investigación educativa en nuestro país guarda

semejanzas con los desarrollos de ésta en el ámbito internacional, pero con ciertas
peculiaridades específicas.
Prueba de la importancia ofrecida en ésta a la evaluación y por extensión

a la evaluación de programas, puede encontrarse en la relevancia del marco legal
desarrollado y dedicado en ciertos aspectos a su orientación.
26
A partir de 1970 con la Ley General de Educación, la evaluación recibe

una atención creciente, no sólo como medio a través del cual mejorar el
rendimiento de los estudiantes sino también todo el proceso educativo, y reflejar
su calidad.
Aunque en ella se habla explícitamente de evaluación no sólo para

valorar el rendimiento de los alumnos sino también como proceso educativo de
mejorar, y concretamente en la O.M. 16/11/706 algunos procesos de esta
evaluación se refieren a evaluación de programas, son muy escasos los estudios
durante este periodo.
Con esta Orden Ministerial de 16/11/1970 se regulan los principios que

deben regir los procesos de evaluación e indirectamente se refiere a la Evaluación
de Programas. En su apartado de principios y normas generales ya se define la
evaluación como una actividad sistemática, integrada en un proceso educativo,
cuya finalidad es el mejoramiento del mismo mediante un conocimiento lo más
exacto posible del alumno en todos sus aspectos de personalidad y una
información ajustada sobre el proceso educativo y los factores personales y
ambientales que en éste inciden.
Algunas de las finalidades de la evaluación allí previstas son: Valorar los

métodos y procedimientos empleados, determinar el contenido de los programas
seleccionándolos por su valor formativo, determinar en que medida se alcanzan
los objetivos previstos en la programación educativa y contrastar su validez.
Mientras en EEUU parece perderse cierto interés por la evaluación de

programas durante los años 80, sobre todo por una restricción de los fondos
dedicada a esta tarea investigativa, en otros países comienza a surgir los modelos
de intervención y la preocupación de evaluación de programas.
6
O.M.: Orden Ministerial.
27
En España comienza a cobrar auge, a existir preocupación por el tema y

a cobrar significación esta línea de investigación educativa (Garanto, 1989), con
un énfasis creciente en que las evaluaciones sean útiles. Produciéndose un rápido
pero descompensado crecimiento.
Los Reales Decretos 69/1981 y 710/1982 ordenan la E.G.B. en tres ciclos

a efectos de programación y evaluación de los alumnos y se insiste de nuevo en la
necesidad de una evaluación no limitada exclusivamente a la comprobación de
los resultados obtenidos al término de unos periodos más o menos amplios, sino
que centrada en el grado de cumplimiento de los objetivos propuestos, durante el
desarrollo del proceso educativo, con el fin de hacer posible una reordenación del
mismo.
Durante esta década se producen grandes cambios sociales que requieren

cambios educativos en el propio sistema, desde los procedimientos metodológicos
hasta nuevas demandas al proceso evaluativo.
En 1987, con el proyecto de Reforma de la enseñanza y la

implementación de la LOGSE, los poderes públicos comienzan a prestar una
atención mayor a la evaluación del sistema educativo, como uno de los factores
favorecedores de la calidad y mejora de la enseñanza. La evaluación sigue
considerándose en los mismos términos, aunque se introduce la evaluación de
todas las personas involucradas en la acción educativa.
Este marco legal es en esos momentos el mejor marco para fomentar y

favorecer la Evaluación Educativa, al quedar especificado en algunos de sus
artículos, como el 55, la importancia y funcionalidad que se le concede:
“Los poderes públicos prestarán una atención

prioritaria al conjunto de factores que favorecen la calidad y
mejora de la enseñanza, entre ellos la evaluación del sistema
educativo". (Art. 55)
28
De manera mucho más explícita y ampliando el artículo anterior en

cuanto a los ámbitos evaluativos:
"La evaluación del sistema educativo se orientará a

la permanente adecuación del mismo a las demandas sociales
y a las necesidades educativas y se aplicará sobre los
alumnos, el profesorado, los centros, los procesos educativos y
la propia administración”.
( Art. 62)
Incluso en el art. 28 se plantea la creación de un centro específico para la

evaluación general del sistema educativo, el I.N.C.E.7.
De esta forma, el ámbito de la evaluación se desarrolla desde los

procesos de enseñanza / aprendizaje a todo lo que se refiera al sistema educativo
en su totalidad y a los agentes que intervienen en él. Se produce un gran auge de
la evaluación, de proyectos experimentales, se convierte en un instrumento
imprescindible para implementar la reforma educativa experimental, 1981/1989
empiezan a aparecer trabajos en el campo de la salud y de los servicios sociales.
Pese a este apoyo de la Administración, patente desde la normativa legal

establecida, no fue la comunidad científica el principal canal de comunicación y
debate, siendo en los 90 cuando se produce un periodo de expansión del modelo
de intervención por programas en el ámbito educativo - orientador y de servicios
sociales, aumentando el número de reuniones y congresos dedicados a la
evaluación (AEDES8, AIDIPE9...).
7
I.N.C.E.: Instituto Nacional de Calidad y Evaluación.
8
A.D.E.S.: Asociación Española de Desarrollo de la Educación Especial.
9
A.I.D.I.P.E.: Asociación Interuniversitaria De Investigación Pedagógica Experimental.
29
A finales del 95, con la aprobación de la L.O.P.E.G.10 además de

ampliar los ámbitos de la evaluación se plantea como un proceso con carácter
continuo, implantando procesos amplios para la evaluación de Centros Públicos
(Orden 29 de febrero de 1996). Encontrándose en un momento trascendental de
clara preocupación por la calidad educativa de las instituciones y del sistema
educativo, reflejado en el propio marco legal, en el que la evaluación de
programas es una exigencia ineludible para la búsqueda progresiva y permanente
de una mejor educación.
La situación actual de la evaluación, que ya denotaron Tejedor, García-

Varcárcel y Rodríguez (1994) y confirma este mismo autor (Tejedor, 2000),
podría calificarse de plural y compleja, en la que las nuevas perspectivas no
sustituyen, complementan a las anteriores. Se ha pasado de la postura tradicional
de la evaluación como el empleo de métodos científicos para medir los logros
educativos e iluminar la toma de decisiones; a la situación actual, en la que la
evaluación es entendida como el conocimiento del mérito o valor de un programa
para tomar decisiones ajustadas a las necesidades de los usuarios y/o responsables.
1.6.2. El contexto sincrónico. La situación actual.
En España la fase de evaluación de programas ha recibido

paradójicamente mayor atención que las de diseño e implementación, por la
necesidad de demostrar, por parte de los gestores de los programas, la efectividad
de sus propuestas.
Velaz de Medrano et. al. (1996) señalan que hasta esa fecha el 73% de
las investigaciones financiadas por el C.I.D.E. se referían a evaluación de
programas y de forma específica: 17% Reformas y programas experimentales,
60% Programas curriculares de aplicación restringida y 22.8% Programas de
formación del profesorado.
10
L.O.P.E.G.: Ley de Participación, Evaluación y Gobierno de los Centros Educativos.
30
Es por tanto un campo consolidado y con entidad propia, que produce

evaluaciones externas, formativas, globales, normativas y criteriales al mismo
tiempo, fundamentalmente cuantitativas experimentales, con métodos mixtos en
algunos casos. Bartolomé (1990) señala un notable aumento de los estudios
evaluativos, sobre todo al amparo de la LOGSE, aunque en los últimos años se ha
realizado una sola metaevaluación.
También se ha producido en España importante literatura sobre el tópico

(Gelpi, 1987; Repetto, 1987; Alvira, 1991; Colás y Rebollo, 1993; Medina y
Angulo, 1994; Rodríguez, 1995; Sanz Oro, 1996; Cruz, 1997; Sobrado y Ocampo,
1998), utilizando unos pocos modelos (CIPP de Stufflebean, evaluación
democrática, iluminativa...). Sin embargo, se requiere ampliar el ámbito de la
evaluación de programas al propio mundo académico y a la difusión científica y
técnica, para que los informes de evaluación no queden en las bibliotecas y
puedan ser discutidos por los técnicos y los propios interesados.
Como afirmaba Garanto (1989) estamos asistiendo a un gran desarrollo

de la evaluación de programas educativos, similar al proceso ocurrido en EEUU
hace algunos años, en el que concurren factores similares a los señalados por
Talmage (1982): “preocupación por la mejora de la enseñanza, necesidad de
controlar el gasto público y la participación de los ciudadanos en la gestión y
dinámica de las estructuras formativas”.
En la actualidad y en nuestro contexto estos factores sobre la necesidad

de evaluación de las intervenciones educativas quedan justificados (Colás, 2000)
en aspectos concretos:
• Por la necesidad de justificar la rentabilidad política y económica

de los programas educativos.
31
• Por los cambios sociales de valores, en el proceso de construcción

europeo y autonómico, que requieren la puesta en marcha / evaluación de
nuevas y múltiples intervenciones.
• Por los nuevos retos generados por el gran avance tecnológico en el

último cuarto de siglo, entre los que aparecen nuevos tipos de intervenciones,
metodologías y materiales educativos.
Es decir, la evaluación de programas educativos, como principio de

calidad, más que en una necesidad se ha convertido en una exigencia económica,
política y social. Por tanto la actividad científica en este campo necesita del
establecimiento de pautas y criterios de orientación claros que permiten un firme
desarrollo de la disciplina, aspectos que intentan establecerse en el siguiente
capítulo de este trabajo.
32
CAPÍTULO II. LA EVALUACIÓN DE

PROGRAMAS COMO ACTIVIDAD
CIENTÍFICA.
La evaluación de programas, como técnica de investigación

sobre los procesos de intervención socioeducativos, es una estrategia
que contempla en su realización un potencial riquísimo para contribuir
a la mejora de la calidad educativa pues tiene todos los requerimientos
exigibles a la investigación educativa útil.
(Tejedor, García – Varcárcel y Rodríguez, 1994)
2.1. INTRODUCCIÓN.
La evaluación de programas o educational evaluation, en términos

anglosajones, desde los años sesenta que emergió con fuerza, se ha convertido en
un núcleo teórico-práctico de la investigación educativa, que al igual que toda ella
se rige por unos principios propios del conocimiento científico.
Además de estos requerimientos generales, la investigación sobre

evaluación de programas se fundamenta en una gran diversidad y complejidad de
teorías y modelos, derivados de las ciencias sociales, que exigen unos adecuados
conocimientos técnicos para llevarla a cabo con garantías.
33
El propósito en este capítulo es ofrecer el marco oportuno para realizar

una delimitación técnica de la disciplina de la evaluación de programas, en
aquellos rasgos que permiten caracterizar las investigaciones.
Se parte, en el primer epígrafe, del establecimiento de unos conceptos

básicos y planteamientos generales, haciendo mención de los elementos
diferenciales que distinguen alas investigaciones en este campo evaluativo.
Estas investigaciones, por las propias características de la disciplina y de

su objeto de estudio, se enfrentan a una serie de problemas, que se describen a
continuación.
En el origen de estos procesos de evaluación se origina una cuestión

clave entorno a qué evaluar. Esta cuestión requiere, en el cuarto epígrafe del
capítulo, el desarrollo de los contenidos objeto de estudio en las evaluaciones de
programas (necesidades, contextos, procesos, productos...), que pueden plantearse
en distintas fases o momentos del programa y cuya finalidad en última instancia
es la toma de decisiones acerca del desarrollo de éste.
Procesos que se fundamentan en unas determinadas posiciones

epistemológicas y paradigmáticas, que ofrecen modelos prácticos de evaluación
que delimitan y orientan el funcionamiento empírico investigativo. Además en
este capítulo se describen las principales consideraciones metodológicas propias
de la investigación en evaluación de programas, como son los diseños, las fuentes
de datos y las técnicas más adecuadas para la recogida de información, y los
análisis y presentaciones de datos más usuales.
La intención al ofrecer todas estas informaciones es delimitar la

investigación sobre evaluación de programas como disciplina científica,
ofreciendo para ello aproximaciones y categorizaciones generales a distintos
aspectos de ella, remitiéndose a la consulta de literatura especializada y de
manuales específicos para una mayor profundización.
34
Para finalizar esta caracterización de la investigación en este campo

disciplinar ofrecida en este capítulo, se señalan los principales avances en
evaluación de programas. Haciendo mención especial a los estudios
metaevaluativos y de síntesis.
2.2. CONCEPTOS BÁSICOS, PLANTEAMIENTOS

GENERALES Y ELEMENTOS DIFERENCIALES EN LA
INVESTIGACIÓN SOBRE EVALUACIÓN DE PROGRAMAS.
La educación, como actividad humana sistemática, se orienta al

perfeccionamiento y mejora de las personas, por medio de acciones intencionadas
de los educadores generalmente concretadas en planes o programas.
Como en cualquier ámbito, el ser humano ha propuesto el conocimiento

del ámbito educativo. Y aunque el saber pedagógico ha partido de planteamientos
y conocimientos cercanos a procesos casi artísticos, pronto se observó la
necesidad del establecimiento de métodos rigurosos, que permitieran respuestas
válidas a los múltiples problemas y cuestiones que se plantean en este campo con
rigor científico.
En la actualidad la educación puede entenderse como tecnología, en el

sentido ofrecido por Bunge (1981), aplicada a la mejora de la vida de las
personas; aunque en un sentido amplio como planteaba Álvarez Rojo (1994).
Generando conocimientos a los que se le asignan finalidades para su comprensión
profunda, explicación y transformación de la realidad natural o social.
Así, la investigación evaluativa ha sido uno de los campos más

desarrollados dentro de las Ciencias Sociales. En concreto, la evaluación de
programas reclama procesos de análisis y reflexión que nos ayuden a precisar su
alcance y significado en un contexto general de investigación científica (De
Miguel, 1999).
35
La delimitación de las intervenciones educativas mediante el empleo de

programas hay que entenderla desde la lógica que considera a éstos planes
sistemáticos diseñados por el educador como medio al servicio del desarrollo de
las metas educativas. No debiendo faltar en ellos (Pérez Juste, 2000): Unas metas
u objetivos, acomodados a las características de los destinatarios; un
establecimiento claro y exhaustivo en cuanto a estrategias, medios y recursos
suficientes y adecuados para llevarlo a cabo; y la consideración de un sistema que
permita su valoración.
Este concepto de actuación mediante la elaboración de programas, queda

justificada en cualquier acción de tipo educativa para autores como Barr y Cuyjet
(1991) o Álvarez Rojo, et al. (1994). Y se puede especificar en definiciones como
las ofrecidas por diversos autores para este término:
Actividad educativa continua diseñada para producir cambios

esperados en la conducta de los sujetos que se exponen a ella
(Astin y Panos, 1971)
Conjunto especificado de acciones humanas y recursos

materiales diseñados e implementados organizadamente en una
determinada realidad social con el propósito de resolver algún problema.
(Fernández Ballesteros, 1992)
Sistemáticos esfuerzos realizados para lograr objetivos

planificados con el fin de mejorar la salud, el conocimiento, las actitudes y
la práctica.
(Fink, 1993)
Es decir los procesos educativos quedarían establecidos en acciones

sistemáticas y planificadas, especificando acciones y recursos materiales, para
cambiar su conducta y/o actitud, mejorar su salud o su conocimiento y en
definitiva solucionar sus problemas.
36
Este mismo razonamiento aboca a la evaluación de tales intervenciones

mediante procesos evaluativos, que de forma general se han venido justificando a
partir de dos funciones: la rendición de cuentas (accountability) y la mejora del
programa (improvement) y los procesos. Pero además, resaltando el carácter
investigativo de esta evaluación, se puede generar una comprensión más profunda
de este objeto de conocimiento a la que no se debe renunciar, ya que permite una
mayor comprensión y explicación de los fenómenos sociales (Chelimsky, 1997).
Estos procesos de evaluación no deben entenderse como una medida

puntual, sino como instrumento de valoración crítica y formativa que puede
ayudar a mejorar el proceso de enseñanza (Carrera, 1987; Bartolomé, 1990).
Así, la valoración de los programas tiene como finalidad específica la

facilitación de la toma de decisiones orientada a la consecución de la calidad para
la mejora (Wroeijenstijn y Acherman, 1990). Entendiéndose en este sentido, la
evaluación como un proceso de búsqueda de conocimientos respecto a las
estrategias y factores que facilitan o inhiben los procesos de mejora,
comprometiéndose como mecanismo fundamental del cambio social.
Por ello, debe orientar sus intervenciones a promover el desarrollo de las

políticas más adecuadas o conseguir programas más eficaces, mediante la
participación activa y democrática de los protagonistas en los propios procesos
evaluativos. Siendo éste un compromiso del evaluador con la educación cívica, el
desarrollo humano y la emancipación social (Smith, 1998).
Fernández Ballesteros (1996) realiza una conceptualización entorno a

otras cuestiones básicas que rodean la evaluación de programas entorno a qué es,
cómo se realiza, para qué se hace y qué se evalúa en los procesos.
La primera cuestión sobre a qué se refiere la evaluación de programas se

plantea desde la consideración que se ha dado a la investigación evaluativa desde
37
su desarrollo histórico, que parte desde la obra de autores como Tyler (1957),
Scriven (1967) o Levin (1975) que asociaban la evaluación a la estimación del
mérito de un objeto y específicamente en la evaluación de los programas a la
consecución y cumplimiento de las metas planteadas y al examen de sus
resultados. Hasta las más relacionadas con la toma de decisiones para la mejora de
las personas y contexto donde se aplican. Actuaciones que el Joint Committe trata
de sistematizar en 1981.
Evaluar un programa consiste, por tanto, en recoger información

sistemática sobre las operaciones implicadas en ese conjunto de acciones
encaminadas a unos objetivos (Hernández, 1990). Dicha información debe servir
para establecer un juicio acerca de la bondad, mérito o valor de dicho programa
(Fernández Ballesteros, 1983), que permita a los encargados tomar decisiones
acerca de lo que dio resultado y lo que no sirvió para nada, qué es lo que debería
adaptarse en todo sistema o de lo contrario modificarse. Cuestiones a las que sólo
puede responderse fundamentadamente y presentando pruebas mediante la
evaluación (Weiss, 1975).
En este mismo sentido ha evolucionado la funcionalidad de la

evaluación, desde esta justificación de las decisiones evaluativas ofrecida por
Weiss, a planteamientos para medir la implementación y los resultados (Rutman,
1980), para la toma de decisiones sobre intervención (Cronbach, 1982) o para la
justificación da las actuaciones y gastos públicos (Fernández Ballesteros, 1984).
Este mismo autor, delimita la funcionalidad de estas evaluaciones en

diversos campos además de la contabilidad pública o base para decisiones
presupuestarias y el de la justificación de decisiones, en la realización de ajustes
del propio programa y la constatación de teorías que subyacen en los propios
modelos evaluativos.
Los modelos de ingeniería en la utilización de la evaluación (Alback,

1988 y Fischer, 1990) utilizan la evaluación de programas como procesos en los
38
que los usuarios identifican problemas sociales, establecen objetivos y formula

preguntas, para juzgar los resultados y emplearlos en la toma de decisiones.
Los modelos de iluminación o uso conceptual de la evaluación

incorporan los resultados gradualmente al marco del usuario influyendo más en su
pensamiento que en la acción directa (Weiss, 1975).
Incluso podrían delimitarse empleos de la evaluación como mera

legitimación del poder y medio de racionalización de la toma de decisiones, que
en un sentido poco lícito, permitiría su uso táctico en la eliminación de
responsabilidades.
Esta necesidad de la evaluación de los planes y programas, queda incluso

especificada en la normativa legal, ya que en el artículo 2.3 de la LOGSE habla
de la evaluación de nuestro sistema educativo, la valoración de los procesos
educativos y de la propia enseñanza y aprendizaje.
Es éste un tipo de investigación, al que Briones (1991) delimita su

objeto, en el análisis de la estructura, del funcionamiento y de los resultados de
un programa con el fin de proporcionar información de la cual se deriven criterios
útiles para la toma de decisiones en relación con su administración y desarrollo.
Para Cook y Shadish (1986), la evaluación de programas es un modelo racional de
solución de problemas de carácter psicológico, social o educativo, que requiere
que:
• Los problemas se definan con claridad y a partir de los

que....
• Se genere una amplia variedad de soluciones potenciales...
• Algunas de las cuales se implementan y...
• Finalmente se evalúan.
• El conocimiento de las soluciones positivas se presenta a los
responsables políticos quienes...
39
• Lo utilizarán para tomar las decisiones políticas que

correspondan.
Pero como se puede constatar en la descripción de estos procesos,

suponen situaciones complejas en las que se relacionan elementos de diversas
naturalezas, lo que implica una serie de dificultades, descritas por Pérez Juste
(2000).
La primera de ellas se relaciona precisamente con la complejidad de las

acciones evaluativas que requiere la existencia de profesionales expertos en el
campo, que no siempre se encuentran en número necesario, ni con la formación
adecuada. En muchas ocasiones no son reconocidos en competencia y experiencia
por los evaluados, lo que unido al recelo que levanta en personas e instituciones a
ser evaluado, hace que estas acciones pierdan una enorme efectividad.
En cierto sentido, las relaciones necesarias entre los distintos implicados

en los procesos evaluativos son las que determinan la mayoría de sus dificultades.
Así la necesaria participación de todos ellos o la complementariedad
metodológica, conducen a un problema sin resolver sobre quienes deben tomar las
decisiones definitivas que rigen estos procesos, en el que no siempre es posible
llegar a consensos en sesiones evaluativas y que éstos sean aceptados por las
instituciones.
Estos problemas también se refieren a la relación entre los expertos

contratados para la realización de evaluaciones y las instituciones que las
encargan, pues aunque a éstos se le suponga honradez o probidad legal y ética en
sus acciones, la desigualdad de condiciones con las grandes instituciones y la falta
de fuertes asociaciones profesionales, hacen que las evaluaciones asuman las
condiciones de quienes las contratan. Incluso se pueden constatar influencias de
carácter eminentemente político.
40
Otra dificultad se relaciona con la consecución de evaluaciones factibles,

en el sentido ofrecido a este estándar por el Joint Committe, que relaciona la
adquisición de informaciones relevantes y los recursos empleados para
conseguirlas, que no siempre son suficientes y adecuados.
Y por último, el problema típico de la investigación social referido a la

comparabilidad de los datos, en momentos en los que se opta por la
descentralización curricular y la autonomía de centros y profesores, debe
solucionarse no por la comparación en estándares nacionales o externos, sino por
la comparación diacrónica con valores propios y específicos, cuya finalidad sea
siempre las opciones de mejora y calidad.
Este aspecto, es sólo parte de las dificultades derivadas de la diversidad

de teorías, modelos y metodologías, que ha embarcado a muchos autores en
polémicas sobre su uso (Guba, 1978), solo superable por un multiplismo necesario
en acciones investigativas en situaciones complejas como son las que se
encuentran en los entornos sociales.
Todas estas peculiaridades, del objeto de estudio y los procesos

evaluativos en E.P., hacen que la investigación evaluativa en este campo posea
unas peculiaridades específicas y elementos diferenciales con respecto al resto de
la investigación educativa.
Una de estas características que distingue la investigación evaluativa

sobre programas es la de su realización en un marco de acción. Es decir, además
de la investigación, su objeto el programa, está ocurriendo simultáneamente. Para
Weiss (1975) hay que tener claro que la investigación es secundaria, no
supeditarla al desarrollo del propio programa. Es por tanto un campo en el que
domina la investigación aplicada.
Este objeto de conocimiento, aunque se plantee en una única forma como

programa, posee naturalezas diversas, puesto que el contenido de éstos puede
41
abarcar conceptos propios de cualquiera de las disciplinas pedagógicas. Esta

diversidad plantea situaciones en las que aún respetando las condiciones generales
evaluativas, se plantee la necesidad de adaptación a cada disciplina concreta en
aspectos como sus conceptos básicos, temáticas, métodos e incluso vocabulario
específico.
Las investigaciones sobre E.P. quedan delimitadas en modelos teóricos,

que fundamentados en los paradigmas usuales de la investigación educativa,
establecen unas condiciones o criterios básicos de acción que orientan los
procesos evaluativos de forma global ofreciendo coherencia de las acciones
evaluativas.
Desde algunos de estos modelos básicos, en los que es usual la

eponimidad, como son el modelo de Tyler o el de Scriven entre otros, se realizan
adaptaciones casi tan diversas y específicas a situaciones concretas como autores
transitorios caracterizan las realizaciones en este campo. Aplicaciones empíricas
que por la dificultad que contemplan y la carencia de experiencia no siempre
poseen las garantías suficientes, lo que en definitiva supone un detrimento de la
credibilidad del propio campo disciplinar.
Con cierta lógica, los contenidos de las evaluaciones guardan coherencia

con el área o disciplina en la que se desarrolla el programa evaluado y los
contenidos desarrollados en la implementación de éste. Es por ello que siendo éste
un campo disciplinar en el que convergen numerosas áreas de conocimiento, los
contenidos evaluativos puedan ser muy diversos en distintas evaluaciones e
incluso posean cierta variedad en la evaluación de un mismo programa por ser
abordado éste desde perspectivas dispares pero complementarias.
Además esos contenidos quedan relacionados con los momentos del

proceso de implementación del programa a los que se refieran, pudiendo referirse
al contexto a necesidades de implementación, diseño o planificación, evaluación
del proceso y del producto.
42
En cuanto a los procesos empíricos concretos se suelen emplear una

extensa variedad de diseños y metodologías de investigación usuales en cualquier
otra área de la investigación educativa. En la que, dado lo complejo de los
contextos en que se desarrollan, las dificultades de aleatorización y
manipulación/control de variables, abundan los diseños cusiexperimentales con
connotaciones descriptivas orientadas a la descripción de procesos.
Estas características metodológicas determinan el uso de técnicas de

recogida de información y análisis e interpretación de datos típicos de los estudios
descriptivos. Siendo el cuestionario un instrumento casi omnipresente en este tipo
de trabajos, hasta el punto que puede considerarse de cierto abuso (Fernández
Cano, 2002a) por el reduccionismo empírico que supone.
Las peculiaridades diferenciales de las investigaciones sobre E.P. llegan

hasta la elaboración y uso de los informes de investigación. Ya que si la finalidad
de la evaluación del programa es aportar información válida para valorar una
intervención educativa, el uso y explotación de estas informaciones debe quedar al
alcance de las audiencias a las que se dirige (Worthen y Sanders, 1987; Santos,
1990 o Alkin y Ellett, 1990). Siendo por tanto determinante quién evalúa e
programa, para qué, cómo lo hace y sobre todo para quién.
En la mayoría de ocasiones, la finalidad última de las investigaciones

educativas es revertir los conocimientos adquiridos en el corpus teórico de
conocimiento de la disciplina tratada, para a partir de ahí promover acciones
prácticas para el cambio y mejora en la educación. Sin embargo, en la
investigación sobre E.P. la aplicación es más directa es sobre la propia práctica
educativa, pues en primer lugar se plantea la mejora del programa desarrollado,
para con posterioridad realizar generalizaciones e inferencias que pueden alcanzar
los principios teóricos desde los que se derivan las diversas acciones
implementadas en el programa o desarrolladas en las acciones evaluativas.
43
2.3. PROBLEMAS CENTRALES EN LA EVALUACIÓN DE

PROGRAMAS.
El campo de la evaluación de programas supone la puesta en marcha de

situaciones complejas en las que se relacionan elementos de diversas naturalezas,
adoleciendo estos procesos de una serie de problemas centrales paralelos al propio
desarrollo de la investigación educativa en general y de la investigación sobre
evaluación de programas en particular. Estas dificultades, descritas en algunos
aspectos por Pérez Juste (2000), son de diversa índole y pueden agruparse en los
siguientes aspectos:
El primero de ellos se deriva del propio carácter semántico de la

evaluación, que como proceso de emisión de juicios y valores se basa en la
asignación de significados previos: de su carácter, proceso y criterios valorativos.
Así dependiendo de lo que se entienda por evaluación, cómo debe llevarse a cabo,
con qué finalidad, qué criterios se emplean para ello, los procesos adoptaran y
requerirán una dinámica determinada.
Muestra de las características semánticas asignadas al campo de la E.P.

es la diversidad de definiciones adoptadas por cada uno de los autores, desde qué
se entiende por programa o evaluación, hasta cómo debe realizarse ésta.
Significados planteados de forma acorde a sus propuestas teóricas y adaptadas a
los desarrollos evaluativos que plantean.
Este aspecto, es sólo parte de las dificultades derivadas de la diversidad

de teorías, modelos y metodologías, que ha embarcado a muchos autores en
polémicas sobre su uso (Guba, 1987), solo superable por un multiplismo necesario
en acciones investigativas en situaciones complejas como son las que se
encuentran en los entornos sociales.
44
Existe una clara tendencia a valorar la investigación aplicada frente a la

básica o fundamental, lo que a la larga limita las posibilidades de impactar
transformando la práctica y política educativa (Fernández Cano, 1997).
El propio objeto de conocimiento de la investigación sobre evaluación de

programas puede ser, como ente social, además de enormemente complejo en
continua evolución. Esto dificulta los procesos de investigación pues requiere
combinar la fortaleza y credibilidad de la metodología científica con la
flexibilidad de procesos con la suficiente capacidad adaptativa. Así, las nuevas
necesidades sociales demandan nuevos modelos de intervención y por tanto
nuevos modelos evaluativos (Bartolomé et. al., 2000).
Otro de los principales problemas para Wholey (1983 y 1987) es que

como en la mayoría de prácticas evaluativas, existe una resistencia por parte de
los individuos e instituciones a participar en procesos evaluativos y a desarrollar
procesos de cambio mientras se está siendo evaluado.
Las dificultades metodológicas en los procesos de evaluación de

programas son numerosas, comenzando por la falta de claridad en el
establecimiento de asunciones teóricas y prioridades de la evaluación, y de lógica
entre las acciones y los resultados esperados. Las, en ocasiones, difíciles
relaciones entre los evaluadores y el personal del programa o centro. Las
dificultades de plantear procesos de revisión adecuados o la escasa utilización de
los resultados de las evaluaciones.
Los procesos que con una naturaleza eminentemente empírica se asocian

a hechos distintos al de la propia investigación, como es la existencia de un
programa, deben establecerse de forma concurrente a éste. La evaluación no debe
entenderse como un proceso paralelo o ajeno al desarrollo del programa, ni
supeditarse a la implementación de éste, si no que forma parte de él en todas sus
fases requiriendo un constante esfuerzo de crítica constructiva.
45
El hecho de que el programa se encuentre insertado en un sistema

psicosocial más amplio y de que la naturaleza de dicho sistema determine de
alguna manera la evaluación, hace que este proceso pueda encontrar un mayor
número de dificultades.
Estos procesos evaluativos en contextos sociales se encuentran

delimitados por la toma de numerosas decisiones evaluativas acerca de quién
establece el valor de un programa educativo, con qué criterios de esfuerzo,
efectividad o impacto se realiza, o cómo se emplea la información obtenida, lo
que puede acarrear numerosos problemas de índole ético y deontológico
(Suchman, 1967; Talmage, 1982).
Estas acciones complejas para el desarrollo de la evaluación también

encuentran en su sentido más material dificultades de tipo logístico. Puesto que
aunque en el mejor de los casos se cuenten con los suficientes recursos humanos y
materiales para realizar un conveniente proceso evaluativo, en ocasiones éste
queda tan sólo sujeto a la voluntad y decisión de la autoridad política o
institucional.
Pese a lo complejo de los procesos evaluativos, la producción científica

sobre evaluación de programas descansa en manos de demasiados autores
ocasionales con escasa especialización en el campo. Así la existencia de
profesionales expertos en el campo, no siempre se encuentran en número
necesario, ni con la formación adecuada.
Esta falta de experiencia hace que en muchas ocasiones los profesionales

de la evaluación no son reconocidos en competencia y experiencia por los
evaluados, lo que unido al recelo que levanta en personas e instituciones a ser
examinado, hace que estas acciones pierdan una enorme efectividad.
46
En cierto sentido, las relaciones necesarias entre los distintos implicados

en los procesos evaluativos son las que determinan la mayoría de sus dificultades.
Así la necesaria participación de todos ellos o la complementariedad
metodológica, conducen a un problema sin resolver sobre quienes deben tomar las
decisiones definitivas que rigen estos procesos, en el que no siempre es posible
llegar a consensos en sesiones evaluativas y que éstos sean aceptados por las
instituciones.
Estos problemas también se refieren a la relación entre los expertos

contratados para la realización de evaluaciones y las instituciones que las
encargan, pues aunque a éstos se le suponga honradez o probidad legal y ética en
sus acciones, la desigualdad de condiciones con las grandes instituciones y la falta
de fuertes asociaciones profesionales, hacen que las evaluaciones asuman las
condiciones de quienes las contratan. Incluso se pueden constatar influencias de
carácter eminentemente político.
Así, la investigación queda en ocasiones supeditada a agendas o líneas de

investigación prioritarias establecidas centralmente por autoridades autonómicas,
nacionales o internacionales. Siendo éste un problema típico de la investigación
social referido a la comparabilidad de los datos, en momentos en los que se opta
por la descentralización curricular y la autonomía de centros y profesores, debe
solucionarse no por la comparación en estándares nacionales o externos, sino por
la comparación diacrónica con valores propios y específicos, cuya finalidad sea
siempre las opciones de mejora y calidad.
Otra dificultad se relaciona con la consecución de evaluaciones factibles,

en el sentido ofrecido a este estándar por el Joint Committe, que relaciona la
adquisición de informaciones relevantes y los recursos empleados para
conseguirlas, que no siempre son suficientes y adecuados.
Además existen dificultades de difusión y utilización de la investigación

que podrían calificarse casi de endémicas, limitando o incluso haciendo estéril su
47
uso. Sobre todo debido a la escasa difusión e impacto internacional de las fuentes
de publicación españolas, que provocan por la dependencia de ciertas fuentes de
gran relevancia un colonialismo investigativo.
2.4. FASES Y CONTENIDOS DEL PROCESO EVALUATIVO.
La evaluación de los programas puede plantearse en muy diversos

momentos: durante su planificación, en el desarrollo del mismo o en sus logros y
resultados. Dependiendo además del momento del contenido asignado a cada uno
de ellos, una gran diversidad de propuestas.
Los procesos evaluativos deben partir para Pérez Juste (2000) de la

consideración de aspectos como lo educativo como referente, el tamaño y
complejidad del programa, el papel que adoptará el evaluador, cual serán las
unidades de análisis y qué informaciones se recogerán. Y se concretan en diversos
momentos:
1. El primer momento de evaluación abarca al programa en su

globalidad, aportando opciones preventivas de mejora y optimización, incluso
antes de su puesta en marcha.
Su finalidad es establecer formativamente la calidad técnica del

programa, recogiendo datos sobre su fundamentación, formulación y relación con
las demandas e intereses de los destinatarios.
Emplea metodologías basadas en el análisis de contenido, estudios

prospectivos, técnica Delphi, juicios de expertos y el empleo de pruebas diversas
de evaluación inicial. Y criterios de calidad, pertinencia y realismo de objetivos y
su adecuación a los destinatarios. Suficiencia de apoyos y compromiso e
implicación de los agentes relacionados.
48
Y sobre la calidad técnica, tanto del proceso de evaluación, como del

propio programa, en aspectos relacionados con la coherencia y congruencia de sus
componentes y sus facilidades para ser evaluado; para tomar decisiones
eminentemente formativas.
Este momento evaluativo, previo a la puesta en marcha del mismo

programa, esta orientado para Colás y Rebollo (1993) a dos contenidos
prioritarios y diferenciados: La evaluación del contexto y de necesidades del
programa y la evaluación del diseño y planificación del programa.
La evaluación del contexto y de necesidades tiene por objeto servir de

guía para la selección de problemas y asignación de prioridades. Abarca
cuestiones sobre las características específicas del entorno donde se desarrollará el
programa; quiénes son los participantes; qué condiciones exigen su realización y
qué recursos materiales, temporales y humanos son necesarios; qué necesidades
pretende cubrir o qué expectativas tienen los receptores.
Para Stufflebean y Shinkfield (1987) esta es una etapa de diagnóstico de

necesidades del contexto institucional y poblacional.
La evaluación del diseño y planificación del programa se ciñe a

identificar y valorarla planificación de estrategias y procedimientos que el
programa plantea para su desarrollo, atendiendo a cuestiones como la correcta
definición de objetivos, si la secuencia de actividades está expresada claramente
para su puesta en marcha y su temporalidad está ajustada, o si la planificación
general del programa se ajusta al contexto donde se desarrollará.
La omisión de algunos de estos aspectos (conceptos, organización,

materiales, etc.) en la evaluación pude. Como planteaba Álvarez Rojo (1991),
incluso falsear el resto de la evaluación.
49
Para la valoración y juicio de estos objetos Fernández Ballesteros (1996)

propone juicios relativos a su pertinencia (si responden a necesidades concretas
bien establecidas) y suficiencia (si los medios que se proponen son los
suficientes).
2. Como segundo momento hace referencia a las medidas evaluativas

de la implementación del programa, para la toma formativa de decisiones de
mejora.
Se recogen informaciones sobre el desarrollo del programa, sus efectos

intermedios y los no deseados; mediante instrumentos como la observación,
diálogos, entrevistas o pruebas intermedias, que se analizan en sesiones de grupo
y debates.
La pretensión es descubrir durante el proceso los defectos de

planificación y describir y juzgar las actividades que se están realizando. Es decir,
los criterios de evaluación giran entorno al progreso propuesto por King, Morris y
Fitz-Gibbon (1987) y cumplimiento de los planes previstos, a su eficiencia y a la
satisfacción de los usuarios. Para promover medidas de ajuste.
Los contenidos de la evaluación se refieren a cuestiones como cuál es la

percepción que tienen los interesados de la ejecución del programa, si se ajustan
las actividades al plan previsto, cuáles son las dificultades y logros más
importantes, cómo funcionan los grupos y cómo es el nivel de participación; y en
definitiva, cuál es el desarrollo real del programa.
3. El tercer momento de evaluación posee un carácter sumativo para

comprobar la eficacia del programa y los resultados de su aplicación.
Se basa en el análisis de la consecución de objetivos, mediante criterios

de eficacia (logro de objetivos propuestos), eficiencia (logros en relación con los
50
medios disponibles) y efectividad (efectos beneficiosos no previstos). Satisfacción

de los implicados e impacto del programa sobre el contexto en el que se aplica.
4. Suponiendo un cuarto momento para la institucionalización de

la evaluación del programa, basada en procesos cíclicos de evaluación y mejora,
en el que los individuos e instituciones asimilan los cambios que el programa
pretendía provocar.
La finalidad de todo proceso evaluativo es valorar, interpretar y juzgar

los logros de un programa. Esta valoración no sólo hay que considerarla
sumativamente tras su implementación, sino que como se ha señalado con un
carácter formativo, parte incluso antes de la propia elaboración del proyecto y
afecta a cada una de sus fases.
Como efecto patente de esta toma de decisiones, las acciones a realizar

se pueden enmarcar en tres posibles ámbitos: Sobre la valoración del programa en
cada momento evaluativo puede decidirse que en líneas generales es positiva,
neutra o negativa; esta valoración determina a su vez acciones relativas a la
modificación de las actuaciones diseñadas o que incluso se están implementando,
en cuanto a mantenerlas o modificarlas si no se consideran adecuadas o al menos
se consideran mejorables; el tercer ámbito de decisión implica la continuidad o
abandono del proceso evaluativo y del propio diseño, desarrollo e implementación
del programa, por los juicios considerados y generados desde la consideración de
su inadecuidad total o parcial en aspectos humanos o materiales.
ESTOS ÁMBITOS DE DECISIÓN Y LAS POSIBLES

ACCIONES DERIVADAS EN ELLOS AFECTAN AL
PROCESO EVALUATIVO EN CUALQUIERA DE SUS FASES,
ESTABLECIDAS ECLÉCTICAMENTE POR LAS
CONSIDERACIONES DE COLÁS Y REBOLLO (1993) Y
PÉREZ JUSTE (2000).
51
2.5. ENFOQUES TEÓRICOS Y MODELOS EN EVALUACIÓN

DE PROGRAMAS.
Existe un gran intento de formalización de modelos sobre la evaluación

de programas en función de múltiples factores como el objetivo de la evaluación,
los tópicos y metodologías, las funciones e incluso el propio concepto de
evaluación. Esta proliferación ha supuesto un cierto confusionismo para el
usuario. Incluso para algunos autores (Alvira, 1991), en la mayoría de los casos no
se puede hablar de modelos en sentido estricto, sino más bien de diferentes
aproximaciones a unas pocas variantes básicas de la metodología investigativa.
En evaluación de programas, el paradigma evaluativo supone una

conceptualización general del modo más apropiado para llevar a cabo. Es decir,
las resoluciones que se tomen en el ámbito teórico determinarán la práctica
evaluativa desde aspectos generales como el diseño de investigación, el modelo,
contenidos y objetivos evaluativos y metodología; hasta aspectos tan concretos
como el plan, secuencia, proceso recogida, análisis e interpretación de datos o el
tipo de informe de evaluación.
Aunque esta selección del modelo se realice siguiendo las características

específicas del programa ha desarrollar, existen pautas de carácter general que
pueden ayudar a realizar tal selección, como la propuesta de Daniels, et al. (1981),
que se muestra en la figura 2.1.
De la Orden (1985) hace un repaso de las principales tipologías de

modelos de evaluación mostrando la multiplicidad de modelos existentes. De
igual modo Talmage (1982) ensaya una clasificación haciendo referencia a
clasificaciones previas de Ross y Cronbach (1976), Guba (1978), Stufflebeam y
Webster (1980), House (1980) y Popham (1980). Utilizándose múltiples
consideraciones, tanto en el ámbito teórico como práctico (finalidad, contenidos,
efectos de la evaluación o enfoque evaluativo), para clasificar los diversos
modelos de evaluación.
52
Figura 2.1. Meta-modelo de evaluación de programas (Daniels, 1981)
1. Decisión de evaluar
un programa.
3. Obstáculos 4. Obstáculos
internos. 2. Decidir la selección externos.
de un modelo
d d
3A. OBJETIVOS DE 4a. Población que
se pretende evalúe.
LA EVALUACIÓN.
3b. Problemas que

la evaluación 4b. Métodos de
recogida viables.
pretende resolver.
3C.
SUPUESTOS 4c.Competencia
CONSENSUA técnica y habilidad
DOS DEL
MODELO
5. Selección del modelo
de evaluación.
6. Evaluación del 7. Modificación

programa orientador. del programa.
Ateniéndose tal diversidad a la lógica de la propia evolución del concepto

de evaluación y del desarrollo histórico de la investigación educativa, como
señala Carballo (1990).
53
Popham (1980) clasifica los modelos de evaluación de programas por los

siguientes aspectos:
• Modelos de concreción de metas, como el Modelo de Tyler,

caracterizado por el establecimiento de metas y objetivos definidos en
términos operativos, la ordenación de los objetos en amplias clasificaciones,
establecer en qué condiciones puede demostrarse la consecución de objetivos,
explicar los propósitos de la evaluación a los destinatarios, recopilar datos y
realizar comparaciones de los datos con los objetivos del programa.
• Modelos de enjuiciamiento que acentúan criterios intrínsecos, en

los que el evaluador tiene un papel muy importante, al realizar un
planteamiento técnico-profesional, pero sin conexión con el contexto.
• Modelos de enjuiciamiento que acentúan criterios extrínsecos.

Como el Modelo de Scriven, el que se realiza una distinción entre la
evaluación formativa y sumativa, demandando especialmente el interés de los
objetivos. O el modelo de evaluación respondente de Stake.
• Modelos orientados a la toma de decisiones como el Modelo de

Cronbach, el Modelo CIPP de Stufflebeam o el Modelo CSE de Alkin
(variante CIPP).
• Modelos que se basan en la negociación como el Modelo

respondente constructivista de Guba y Lincoln.
En ocasiones resulta difícil delimitar los diferentes paradigmas y

encontrar modelos que puedan incluirse en una sola de estas categorías. Para
Colás y Rebollo, (1993) los principales modelos en evaluación pueden agruparse
atendiendo a criterios tales como su finalidad, su contenido, a quién se evalúa,
quién toma las decisiones o qué papel tiene el evaluador en objetivistas o
54
positivistas, subjetivistas o interpretativos y críticos; incluyendo en cada categoría

los modelos que más se ajusten. (Tabla 2.1.)
Los modelos de evaluación objetivistas, ya sea la basada en objetivos de

Tyler, la planificación evaluativa de Cronbach, el modelo C.I.P.P. de Stufflebean
o la evaluación sin referencia a objetivos de Scriven; poseen un determinismo
hacia la eficacia. Propugnan evaluaciones promovidas externamente, en la que
analizando con neutralidad y rigor los datos intentan explicar, predecir y controlar.
Mientras, la finalidad de los modelos subjetivistas, como el de evaluación

respondente de Stake, la evaluación iluminativa de Parlett y Hamilton o la
evaluación democrática propuesta por Mc Donald; se diferencian sobre todo en la
concepción de la realidad y en la forma de entender el conocimiento. De forma
que, es la colaboración con los sujetos centros o instituciones la que permite la
comprensión de las relaciones internas profundas. Mediante una concepción
voluntarista y creativa se buscan visiones globales en las que el contexto en el que
se desarrolla el programa juega un papel importante.
Si embargo, es en los modelos críticos (Parley, McKinney o Brown)

donde más implicación se requiere con el objetivo principal de transformar la
realidad mediante la evaluación. La evaluación se centra en el análisis de las
circunstancias personales, sociales y políticas y posee una finalidad emancipativa
de los destinatarios del programa.
Para algunos autores no hay modelos explícitamente vinculados a esta

modalidad, aunque si hay experiencias que siguen las pautas marcadas (Martínez
et al., 1990; Pozo et al., 1990).
Cada modelo presenta también características diferenciales en cuanto a la

metodología y diseño de evaluación a emplear, descritas en la Tabla 2.2.
55
Las evaluaciones cientificistas se basan en modelos científicos clásicos

en los que se intenta recoger informaciones válidas y fiables, para que con un
análisis de tipo estadístico comprobar si se cumplen las hipótesis de partida.
Los modelos interpretativos son más abiertos y flexibles, su pretensión

no es la generalización, sino el proporcionar un conocimiento comprensivo desde
la óptica de los implicados en el desarrollo del programa evaluado.
Los procesos de tipo crítico se fundamentan en procesos dialécticos, sólo

aplicables en un contexto determinado, en el que se buscan explicaciones
consensuadas, válidas y prácticas con una finalidad transformadora.
En definitiva, estas concepciones teóricas que pueden servir de marco

orientativo y delimitador del proceso evaluativo no deben ser excluyentes ni
herméticas. Debe ser el evaluador/es los que decidan y utilicen aquellas técnicas,
procedimientos y concepciones que se adecuen más al problema y contexto de
evaluación planteado.
Las aproximaciones complementaristas o eclécticas pretenden mediante

un conocimiento teórico-práctico generar teorías o resolver problemas. En sus
prácticas evaluativas se incorporan los valores y los supuestos contextuales, así
como la labor del evaluador como “factor humano”.
56
Tabla 2.1. Modelos para la evaluación de programas.
DENOMINACI FINALIDAD CONTENIDO

UNIDADES TOMA PAPEL
ÓN EVALUACION DECISIONES EVALUADOR

DEL MODELO
TAYLER Producto
Proceso
CRONBACH
Producto Autoridad
C: Contexto que encarga

OBJETIVISTAS
I: Inputs, Beneficiarios la evaluación

Externo
Prescripción Diseño del programa
STUFFLEBEAN
Planificación
P: Proceso
P: Producto
SCRIVEN Contexto Contrato

Sin referencia a Proceso autoridad/
objetivos Producto evaluador
Descripción,
Contrato
STAKE relato
Proceso Sujetos y evaluador/
Diseño completo y Cooperación
Producto centros clientes
respondente holístico del
programa
SUBJETIVISTAS
PARLET
Y
Proceso Centros e Cooperación
HAMILTON Prescripción
Contexto instituciones
Modelo
Iluminativo
Participantes
McDONALD
Transformar Autoridad:
Evaluación
Evaluador/
Democrática
clientes
PARLEY
CRITICO
COLAS Todos los Implicación y

McKINNEY participantes compromiso
BROWN
57
Tabla 2.2. Metodologías y diseños en los distintos modelos de evaluación de programas.

Aspectos
metodológicos TIPO DE MODELO EVALUATIVO
OBJETIVISTAS SUBJETIVISTAS CRITICOS
Comprensión y
Grado de productividad. Grado de transformación
evaluación
Criterio
valoración de los
Grado de eficacia de los participantes en el
procesos y los resultados
resultados/coste. programa.
del programa.
Análisis profundo de las
Centrada también en la
circunstancias
valoración de los efectos
Valorar la productividad personales, sociales,
evaluación
Función
secundarios, a largo
para conseguir los políticas y económicas
Metodología de la evaluación
plazo, así como los

objetivos marcados. que rodean a los
procesos explícitos y
individuos en las propias
ocultos.
acciones.
Tanto el proceso de la
Procesos, con la toma de decisiones,
Contenidos
evaluación
Inputs y resultados según

intención de reformular como el resultado de las
esas entradas.
las acciones educativas. acciones derivadas de
éstas.
Científicos clásicos
(hipotético – deductivo) Centrados en entender y
Carácter cíclico y no
evaluación
Métodos
Se valora la rigurosidad, valorar las situaciones

predeterminado, se altera
capacidad de replicación particulares o singulares,
durante el proceso.
y posibilidades de no busca generalización.
generalización.
Dialéctico, se genera
Estructurado, prefijado Abierto, flexible y
Diseño
mediante la reflexión y
Diseño de la
en el proyecto inicial. emergente.

evaluación
discusión crítica.
Ajustado al tipo y Propio grupo que aborda
Selección
muestreo
Representativo
cantidad de información, la investigación
estadísticamente.
no prefijado. (no generalizable).
58
Técnicas cuantitativas,
recogida
Instrum.
Carácter abierto en pero sobre todo
datos
Válidos y fiables.
interpretación y enfoque. cualitativas.
Proceso cíclico grupal.

Proceso cíclico
Análisis datos
Alto índice de
interactivo para delimitar
Estadístico. abstracción
el problema y la
(relacionan factores
hipótesis.
personales, sociales...).
Preocupación por la
Factores
Validez interna y credibilidad de Explicaciones validadas

claves
externa. resultados (triangulación, consensualmente.

réplica paso a paso).
Proporcionar
Dar una explicación
Finalidad
Comprobar si se cumple conocimiento y

práctica y
la hipótesis de partida. comprensión desde la
transformadora.
óptica de los implicados.
Actualmente hay una clara tendencia a la búsqueda de la

complementariedad de los diferentes enfoques, evitando la oposición y
descalificación, para acogerse a esta posición ecléctica, que vinculada a mayores
dosis de pragmatismo, entiende que la relación entre paradigmas y métodos es
meramente instrumental, siendo la metodología una simple recolección de
técnicas y procedimientos (Cook y Reichardt, 1986). Pareciendo más que
evidente, que cualquier problema puede ser abordado desde diversas perspectivas.
Esta complementariedad se genera en aspectos funcionales de los

procesos evaluativos. Siendo la propia necesidad social la que ha solicitado de la
investigación evaluativa argumentos firmes para la resolución de sus problemas
reales, recurriendo si fuera necesario a planteamientos pragmáticos y heterodoxos
frente a consideraciones más cercanas a la filosofía de la ciencia.
59
Es por tanto, de esta necesidad, de dónde surge la disposición para

utilizar todos los planteamientos, metodologías e instrumentos necesarios para
resolver dichas situaciones en un contexto plural.
Como argumenta De Miguel (1999), la consecuencia lógica de toda

evolución hacia una evaluación pluralista ha tenido claras repercusiones sobre los
paradigmas de investigación, siendo la evaluación de programas uno de los
ámbitos de la investigación social donde se hace más patente la superación del
debate entre metodología cualitativa y cuantitativa (Cook, 1997).
Las características especiales y específicas de los programas obligan a

abordar los procesos evaluativos con planteamientos integradores y enfoques
multimétodos, dejando la polémica paradigmática en un segundo plano, como ya
planteaban (Fetterman, Kaftarian y Wandersman, 1966), frente a la necesidad de
avanzar en el conocimiento de la realidad social.
Así, se ha venido consolidando una corriente epistemológica que intenta

promover como marco teórico para este tipo de investigación un paradigma
orientado hacia la explicación social realista (Pawson y Tilley, 1997) siguiendo la
tradición que sitúa la explicación científica entre el positivismo y el relativismo
(Sayer, 1984).
2.6. CONSIDERACIONES METODOLÓGICAS EN LA

EVALUACIÓN DE PROGRAMAS EDUCATIVOS.
2.6.1. Los diseños de investigación evaluativa para su aplicación en

La evaluación de programas es un proceso de generación de

explicaciones útiles sobre una determinada intervención innovadora. Que en un
sentido crítico de su utilidad puede emplearse para mejorar los procesos de acción
60
educativa, razón por la que en el ámbito metodológico, puede entenderse como un

proceso de investigación evaluativa (Tejedor, García-Varcárcel y Rodríguez,
1994; Pérez Juste, 1995; Amézcua, 1996; Martínez Mediano, 1996 y Tejedor,
2000).
Se entiende como diseño a un plan o esquema del investigador que

recoge las estrategias que se utilizarán en el estudio. En los diseños evaluativos se
fijan qué medidas y cuando serán tomadas en el curso del proceso de evaluación.
Estos planes, conllevan una resolución teórica determinada en los

principios que fundamenten el proceso investigativo reflejados en el modelo
teórico seleccionado, aspectos especificados en el anterior epígrafe de este mismo
capítulo.
Anguera (1992) define al diseño de investigación como estrategia

integral de proceso y en consecuencia el curso de acción o secuencia de decisiones
acerca de cómo recoger, ordenar y analizar los datos, siempre subordinado al
cumplimiento de los fines del programa.
En su concreción, la variedad de diseños de investigación y de intentos

de clasificar éstos es amplísima, pero es cierto que dadas las peculiares
características de la investigación educativa hay diseños más adecuados para
investigar la intervención mediante programas. Aunque su tratamiento minucioso
supondría una tarea compleja, ardua e inútil, dada la abundancia de manuales
monográficos, se exponen a continuación unas clasificaciones generales en las que
se puedan fundamentar los datos de esta investigación en este aspecto concreto.
Fitz-Gibbon y Morris (1987) hacen referencia en su propuesta a siete

modalidades de diseño:
• Diseños pretest post-test con grupo de control.

• Diseño post-test (únicamente) con grupo de control.
61
• Diseño pretest post-test con grupo de control no

equivalente.
• Diseño de series temporales con un único grupo de control
(experimental solamente).
• Diseño de series temporales con grupo de control no
equivalente.
• Diseño antes-después.
Es ésta una clasificación simple, en la que se olvidan determinadas

estrategias que Tejedor diferencia (1994) y actualiza (2000).
Por lo que para ofrecer una perspectiva completa, todas estas propuestas
de ordenación son asimiladas y contextualizadas aquí en los diseños clásicos de
investigación, señalados por Colás y Rebollo (1993), para la evaluación de
programas:
a. Diseños para la investigación cuantitativa, agrupados en descriptivos,

correlacionales y experimentales:
a.1. Diseños descriptivos que tienen como principal objeto la descripción

sistemática de hechos y características de una población o área de interés de
forma objetiva y comprobable. Poseen gran capacidad para identificar aspectos
relevantes o sugerir factores explicativos de situaciones.
Entre ellos destacan los de tipo Descriptivos - comparativos (Tipo

survey) con diversa temporalidad: Longitudinales secuenciales (diacrónico) y
transversal (sincrónico).
a.2. Diseños correlacionales, que trabajando en entornos naturales y sin

manipulación previa de variables, tratan de investigar las relaciones entre ellas.
62
Son una amplia familia tanto en la forma de proceder como en los

objetivos científicos que pretenden alcanzar. Entre ellos destacan los que analizan
la correlación y regresión (discontinuidad en la regresión), los estudios predictivos
y las técnicas de clasificación, entre las que se pueden considerar los análisis
factoriales (simplificar y organizar estructuras), los análisis discriminantes
(diferenciar grupos por perfiles) y los análisis de conglomerados (clasificar sujetos
en grupos). Así como los diseños causales.
a.3. Diseños técnicos experimentales, que integran numerosas modalidades, pero

que Pereda (1987) diferencia por la manipulación directa de la variable
independiente o tratamiento y por el control de las posibles variables
contaminadoras. Atendiendo a criterios sobre su validez interna y externa se
clasifican en:
• Preexperimentales: Pretest con un solo grupo, Pretest -

postest con un solo grupo y Diseño de comparación
estática.
• Cuasiexperimentales: Pretest postest con grupo de
control no equivalente y de Series temporales con pretest
y postest con un solo grupo o con grupo de control
• Experimentales (intergrupo e intragrupo): Pretest con
grupo de control, Pretest postest con grupo de control,
N=1 (línea base), Intrasujetos y Diseños Complejos.
b. Diseños para la investigación cualitativa que siguen una secuencia

interactiva flexible y abierta, propia de esta metodología, entre las fases de
recogida de datos, hipótesis, muestreo y elaboración de teorías.
Se basan fundamentalmente en técnicas observacionales y pueden

clasificarse de modos muy diversos teniendo en cuenta diversos aspectos.
Atendiendo al número de sujetos sobre los que se focaliza la atención pueden
63
destacarse; estudio de casos, estudios de grupo, estudios de comunidades o

etnográficos y estudios de situaciones o contextos.
c. Diseños de investigación desde la perspectiva crítica, muy vinculados a la

acción e intervención, como el de investigación- acción. Con procesos cíclicos de
naturaleza dialéctica en los que los implicados se convierten en agentes activos, se
realizan interpretaciones colectivas de las situaciones para la mejora.
Los planteamientos establecidos para la selección de un diseño en una

determinada situación investigativa son muy diversos. En la tradición
experimental clásica se ha venido ateniendo a criterios exclusivamente
metodológicos relacionados con cuestiones como su precisión, simplicidad o
validez.
Colás y Rebollo (1993) adecuan estos criterios a las peculiaridades en la

evaluación de programas, contemplando como criterios para su selección el
análisis previo de las cuestiones a evaluar y el examen de la situación real donde
se va aplicar. Para seleccionar el diseño que mejor se adapte a la situación y
contexto específico (Álvarez Rojo, 1991).
Pero en ocasiones, la complejidad de los contextos sociales en los que

deben aplicarse estos diseños de investigación hace que ninguno de ellos se
adapte completamente o respete las condiciones de éstos, por lo que autores como
Fernández Ballesteros (1996) propugnan una necesaria complementariedad
metodológica en estos casos.
Además de las cuestiones referidas al diseño de investigación, en los

procesos de evaluación de programas hay que tomar decisiones sobre aspectos
referidos a las fuentes de información de las que se extraerán las informaciones,
qué instrumentos se emplearán para ello, y a qué tipo de análisis se someterán
estos datos. Todo ellos bajo la perspectiva del control de los posibles sesgos que
se puedan asumir como corresponde a los procesos de investigación educativa.
64
2.6.2. Fuentes de datos.
Un problema asociado al diseño y que se relaciona a los instrumentos de

recogida de información es la delimitación de las fuentes de datos y los lugares de
los que se extraen las informaciones.
Cuando se aborda la evaluación de programas se siente la tentación de

evaluar a todos y cada uno de los individuos sobre los que actúa éste, lo que no
siempre es posible. Apareciendo la extracción de muestras como mecanismos
plausibles que permiten según Som (1996) una mayor economía de costos y
temporal, el tratamiento de espectros más amplios de informaciones, una mayor
fiabilidad y una mejor calidad general de los trabajos.
Existen formas muy diversas de seleccionar la muestra, que se pueden

agrupar de forma muy general en métodos probabilísticos y no probabilísticos.
Los primeros son importantes en la evaluación de programas, ya que cubren
extensas poblaciones, pudiendo ofrecer resultados válidos y fiables y con
capacidad de generalización. Mientras que los segundos, y en concreto el
intencional muy utilizado en los enfoques cualitativos, se hace recomendable
cuando se desea obtener informaciones extensas y profundas sobre una
determinada cuestión.
El tipo de muestreo que se puede plantear para la selección de la muestra

en los procesos de investigación, siguiendo a Gaviria (2000) que los relaciona
específicamente con la evaluación de programas institucionales, planteando
además de las numerosas ventajas que supone la extracción de muestras, los
problemas derivados de su representatividad poblacional.
Para este autor, los procesos y técnicas concretas de selección de la

muestra deben partir de un establecimiento claro de la población objetivo y una
delimitación de las poblaciones implícita y explícitamente excluidas. Así como
del establecimiento de un tamaño muestral, no determinado por el tamaño de la
65
población, sino por el error que se está dispuesto a sumir, la desviación típica de
la variable medida y la correlación intra-clase en el caso de muestreos por
conglomerados.
Igualmente asume la necesidad del establecimiento de ponderaciones en

los muestreos por dominios o subdivisones de la muestra (estratos o
conglomerados) para que éstos posean una representación real y acorde con su
tamaño específico.
2.6.3. Técnicas e instrumentos de recogida de información.
El esfuerzo económico, temporal y personal realizado en la

implementación de un programa, debe ser evaluado. Lo que supone, para
Fernández Ballesteros (1996), el uso de instrumentos y procedimientos de
recogida de información y el análisis y la interpretación de los datos obtenidos.
El empleo de estas técnicas, queda determinada para Cook (1984), por la

necesidad de su complementariedad como medio de captación de un número de
informaciones lo suficientemente amplio o completo, como para permitir la
descripción de los complejos contextos sociales en los que tiene lugar el hecho
educativo.
Complementariedad que a su vez facilita la triangulación de técnicas y

procedimientos, necesarios como para que estas informaciones posean una
fiabilidad adecuada a procesos de carácter investigativo (Denzin, 1970). Esta
complementariedad como enfoque más acertado debe llevarse a cabo empleando
de forma complementaria enfoques, métodos y técnicas también en el análisis de
datos (Lizasoain y Joaristi, 2000).
Existen numerosas clasificaciones atendiendo a diversos criterios.

Fernández Ballesteros (1996) categoriza estos procedimientos para la recogida de
66
información en técnicas cualitativas y cuantitativas. Existiendo evaluaciones en

las que se intenta integrar datos desde ambas perspectivas, aunque sólo sea porque
por separado ambos comparten el mismo reduccionismo en su intento de
descubrir la realidad (Dávila, 1994). Cuantitativa para extraer datos
aprovechables, y cualitativa para organizar las cantidades obtenidas, pues es
imposible dejar a un lado lo subjetivo incluso en el plan más estructurado, como
suponía Patton (1984).
En el mismo trabajo de Fernández Ballesteros se describen los

principales instrumentos de recogida de información en evaluación de programas
atendiendo al sujeto de la evaluación. Por su parte Colás y Rebollo (1993),
basándose en lo expuesto por Pourtois y Desmest (1988), describen los
instrumentos de recogida de información de una manera aplicada, según las
cuestiones que se pretenden evaluar.
Aquí se intentan integrar ambas perspectivas resumiéndolas en la

presentación de técnicas sintetizadas en la tabla 2.3.y 2.4.
Esta diversidad de técnicas no debe llevar a la confusión, pues hay que

aplicar todas aquellas que sean útiles sin más limitación que las restricciones
derivadas de sus propias características, basándose los criterios de selección de
una técnica o instrumento concreto en algunas de sus características como:
• Aplicabilidad (que el procedimiento se pueda llevar a cabo en

el programa).
• Adecuación (a las condiciones del objeto de estudio e
hipótesis de trabajo).
• Rigor (conocer las condiciones propias de aplicación).
• Competencia técnica del evaluador/es y asequibilidad de las
técnicas.
• Obtención de la máxima riqueza y precisión de los datos.
• Rentabilidad temporal, de esfuerzo y económica.
67
• Adaptabilidad (dar respuesta a las expectativas del personal,

cliente o audiencias a las que se dirige).
Y sobre todo, teniendo en cuenta las dimensiones evaluativas de las que

se desea o necesita extraer información, como la inteligencia; las aptitudes
particulares y personalidad, conductas y acciones; el conocimiento; situaciones y
procesos de intervención o dimensiones sociales del grupo, valores, intereses y
roles; unas pruebas serán más adecuadas que otras.
Tabla 2.3. Técnicas de recogida de información en evaluación de programas (I)
TÉCNICAS Y SUJETO DE FORMA Y PROCESO DE ÁMBITO DE

PROCEDIMIENTOS EVALUACIÓN APLICACIÓN APLICACIÓN
Entrevistador experto,
Responsables. Evaluación diagnóstica.
delimita el propósito y
Entrevista estructurada
objetivos, que convierte en
Gestores. Evaluación producto.
cuestiones.
Personal experto que define
objetivos, diseña la prueba, Evaluación diagnóstica
Gestores. decide la muestra de
Encuesta/ Cuestionario aplicación, codifica e Evaluación producto
Usuarios. interpreta las informaciones, (aptitudes, percepciones o
aplicada por Encuestadores posiciones personales).
C entrenados.
U Técnicas de autoinforme Usuarios. Autoaplicación.

Evaluación formativa o
procesual.
A Evaluación formativa o
N Contextos de
Observadores expertos procesual.
registran aspectos concretos Evaluación diagnóstica.
T Observación aplicación de programas.
de las conductas o del Evaluación del producto
I contexto. (Interpretación de éxito y
fracaso de acciones).
T Personal contratado recoge
Indicadores sociales, Población General.
A económicos y de salud Población Objetivo.
información en plantillas Evaluación diagnóstica.
estructuradas.
T
I
V
A
S
68
Personal experto que

Población Objetivo. Evaluación diagnóstica.
selecciona la prueba, aplica
Test
y corrige en condiciones y
Usuarios. Evaluación producto.
normas específicas.
Población Personal experto que
determina la actitud a medir, Evaluación diagnóstica.
Escalas de actitud Objetivo. redacta y elabora la prueba,
y analiza e interpreta los Evaluación producto.
Usuarios. datos.
Personal contratado recoge
Usuarios. Evaluación diagnóstica.
Fuentes documentales y información. en plantillas
Evaluación personal sobre
Datos de archivo sobre estructuradas.
Documentación escrita realización de actividades
usuarios o el programa
sobre el programa. Evaluación de productos.
Evaluadores expertos.
Tabla 2.4. Técnicas de recogida de información en evaluación de programas (II)

TÉCNICAS Y SUJETO DE ÁMBITO DE
FORMA Y PROCESO DE APLICACIÓN
PROCED. EVALUACIÓN APLICACIÓN
Responsables. Evaluación diagnóstica.
Grupos de Moderador con dominio de técnicas de

C Gestores. Evaluación procesual.
discusión animación.
U
Usuarios. Evaluación de productos.
A Evaluación diagnóstica.
L Agente de campo u observador participante

Contexto de
Observación que se introduce en el contexto de aplicación Evaluación formativa o
I aplicación de los
participante del programa como un miembro más del procesual.
programas.
T mismo.
Evaluación de productos.
A Evaluación diagnóstica del
T grupo.
Analizadores
I sociales y Obtención de analizadores en cuanto a claves

Población objetivo. Evaluación procesual
técnicas explicativas del funcionamiento de los grupos.
V (dimensiones educativas,
sociométricas
clima social y guía de
A acciones).
S Expertos.
Grupos de expertos a los que el evaluador Evaluación diagnóstica.
Método Delphi Gestores. envía cuestionarios y resultados de los
mismos. Evaluación de productos.
Responsables.
69
2.6.4. Análisis e interpretación de datos.
Todo el proceso de evaluación caracterizado hasta aquí requiere un

continuo procesamiento de informaciones, que si no se organizan y tratan de la
forma correcta pueden convertirse en una tarea ardua, derivar en interpretaciones
incorrectas y conseguir que la evaluación sea infructuosa.
Por tanto, las principales funciones asignadas a los procesos de análisis

de datos son:
• Describir de forma comprensiva los datos brutos.

• Ayudar a decidir si la relación entre datos se puede admitir
con confianza o azar.
• Estimar magnitudes, cantidades de cambio o diferencias.
• Determinar si los efectos que aparecen en la información
alcanzan un nivel relevante en el contexto de aplicación del
programa.
Con todo ello, el propósito de la interpretación es combinar los resultados

obtenidos con los valores asumidos, en criterios y patrones, para elaborar
conclusiones juicios y recomendaciones. En este proceso de interpretación
influyen tanto los métodos lógicos empíricos, propios de las ciencias estadísticas,
como los valores del investigador (Worthen y Sanders, 1987).
Pero antes de hacer explícito cualquier procedimiento concreto para el

análisis de datos es necesario realizar una serie de consideraciones preliminares
acerca de la perspectiva de análisis a emplear, establecer unas fases ordenadas
acordes con éste enfoque, y seleccionar las técnicas y procedimientos más
adecuados a los datos de los que se disponga.
Existen diversas formas de realizar los procesos de análisis de datos,

determinadas por ejemplo por la naturaleza cuantitativa o cualitativa de éstos. En
70
líneas generales, basándose en la propuesta fundamentada de Fernández

Ballesteros (1996) un procedimiento de análisis de datos posee las siguientes
fases:
1. Preparación y organización de los datos, que en datos de tipo

cuantitativo consiste en el vaciado y organización de la información en
variables y categorías, y en los de tipo cualitativo en la determinación de las
unidades básicas de análisis.
En esta etapa es muy importante la creación de matrices de datos bien

organizadas y en caso necesario el establecimiento de las escalas de medida
que serán necesarias para analizar los datos.
2. Introducción de los datos en un procesador informático, que

permite con el apoyo del software adecuado, una enorme posibilidad de
análisis. Existiendo programas adecuados tanto para el tratamiento de datos
cuantitativos (S.P.S.S., B.M.D.P. o Statistics) y cualitativos (The etnograph,
Aquad o Nudist Vivo).
3. Aplicación de estándares parea fijar categorías y definiciones

comunes. Categorización y conceptualización de los datos cualitativos.
4. Selección del tipo de análisis a realizar dependiendo de la

naturaleza de los datos y del tipo de conclusiones a las que se quiere llegar.
5. Aplicación de los primeros resultados. En los procesos

cuantitativos se suele comenzar por un análisis descriptivo de las variables por
medio de estadísticos como porcentajes, frecuencias o moda.
6. Análisis inferencial de datos, que permite la extrapolación de los

datos de la muestra a la población.
71
En los análisis cuantitativos de datos, se realiza un contraste de hipótesis

para determinar si un resultado se debe al azar al cumplir ciertas hipótesis, se
utilizan estadísticos muestrales para estimar y determinar su valor probable en la
población y para determinar la significación estadística de los resultados
obtenidos.
En los procesos cualitativos se realiza una inferencia con los datos

obtenidos para elaborar hipótesis o proposiciones lógicas que expliquen diversos
aspectos de la realidad descrita.
En ambos procesos, ya sean referidos a datos de naturaleza cuantitativa o

cualitativa, la finalidad es el establecimiento de teorías, explicaciones o
razonamientos fundamentados que permitan la toma de decisiones acerca del
programa evaluado.
A estas fases primarias puede añadirse fases de carácter secundario

propias de los procesos metaanalíticos. En los que se trabaja con resúmenes de
estudios o investigaciones primarias, recuperados tras la revisión de la literatura, y
seleccionados ateniéndose a unos criterios específicos.
Esta metodología de revisión puede considerarse como una respuesta a la

necesidad de desarrollar procedimientos objetivos y cuantificables en la revisión
evaluativa de la investigación (Glass, 1976; Wolf, 1987 y Sánchez Meca y Ato,
1989).
La interpretación sucede al análisis de datos y supone la asignación de

significados otorgándole sentido a los resultados obtenidos. Ésta debe partir de
una lectura lo más exacta posible de los datos, incluso en los casos más negativos,
pues de ellos se pueden extraer jugosas e interesantes conclusiones.
Los datos deben contrastarse con los objetivos propuestos en la

evaluación y con los extraídos en situaciones similares, intentando conectarlos
72
con explicaciones generales ofrecidas por teorías explicativas. Todas las

interpretaciones realizadas deben a su vez estar fundamentadas y avaladas por los
datos obtenidos.
Una última consideración a tener en cuenta en el análisis de datos y la

discusión de sus resultados es la contemplación de las distintas perspectivas de los
agentes implicados y relacionados con la evaluación del programa. Este aspecto
no sólo debe considerarse en la comunicación final de conclusiones, atendiendo a
criterios estéticos y de contenido del informe, sino que debe originarse en el
propio proceso de tratamiento de datos previo, mediante el uso de procedimientos
adecuados como son los grupos de discusión.
2.7. AVANCES Y NUEVAS PERSPECTIVAS EN LA INVESTIGACIÓN

SOBRE EVALUACIÓN DE PROGRAMAS. LOS ESTUDIOS
METAEVALUATIVOS Y DE SÍNTESIS.
La evolución y desarrollo de la investigación sobre evaluación de

programas se encuentra ligada al de la propia investigación educativa en general.
Desde el punto de vista epistemológico, las aproximaciones eclécticas o

integradoras suponen un avance en la superación de los principios excluyentes. En
el sentido que ofrece Merton (citado en Wittrock, 1989) las nuevas teorías no
sustituyen a las anteriores sino que las complementan, permitiendo prestar
atención a hechos y fenómenos que podrían pasar desapercibidos desde un único
punto de vista.
Este principio permite ofrecer una visión cada vez más completa y
adecuada de las realidades examinadas. Sobre todo teniendo en cuenta que el
objeto de conocimiento de las ciencias educativas se centra en contextos y
realidades de enorme complejidad humana y social en ámbitos interculturales. Por
lo que en estos estudios se requieren el empleo de diseños complementarios, cada
73
vez más aceptados y empleados por los investigadores, como medios adecuados
de investigación de estos entornos.
Desde un punto de vista eminentemente empírico se ha producido la

superación del debate cuantitativo vs. cualitativo (Reichardt y Rallis, 1994 y
Cook, 1997). Permitiendo la metodología de base cuantitativa la búsqueda de
relaciones entre las variables bajo precisas condiciones de control, aleatorización,
medida y diseño, para alcanzar mejores niveles de generalización; mientras que
los métodos cualitativos ofrecen mejores y más detalladas descripciones de los
procesos. Consiguiendo con una conjugación de ambos estudios muy compactos.
Es desde estas nuevas consideraciones teóricas y procesos de

investigación desarrollados, desde donde se han ido considerando una mayor
participación de los destinatarios y afectados por los programas evaluados tanto
como informantes de los procesos como su conversión en agentes activos de ellos.
Ofreciendo informaciones más profundas desde la perspectiva interpretativo
humanística y una ética de participación más democrática.
Esta evolución de la investigación sobre E.P. como realidad

compleja ha derivado en la aplicación de análisis de datos más sofisticados que
permiten alcanzar unas interpretaciones de mayor calado, riqueza y especificidad.
Jugando en estos procesos un papel crucial la aplicación de nuevas tecnologías
que permiten la gestión de grandes cantidades de informaciones y el tratamiento
de múltiples datos por medio de variados análisis.
La consideración de procesos de investigación amplios como medio de

explicación de contextos complejos ha desarrollado la atribución de nuevas
funciones a la evaluación de los programas mediante los que se interviene en
dichos ámbitos. Así, como indica Chelimnsky (1997) o De Miguel (1999), además
de funciones como rendición de cuentas (accountability) o mejora del programa
(improvement), las evaluaciones también comienzan a considerarse generadoras
74
de conocimientos y explicaciones de los problemas sociales, y por tanto

determinantes para promover sus cambios y mejoras.
Al igual que en el resto de la investigación educativa las nuevas

tecnologías aplicadas al proceso de búsqueda, registro y tratamiento de
informaciones basados en redes informáticas, desarrollo y disponibilidad del
hardware o aplicabilidad de software específico, han supuesto una revolución al
poner en manos de los investigadores educativos potentes medios que facilitan
enormemente los procesos de investigación en Evaluación de Programas.
Implicaciones que incluso afectan a aspectos posteriores al propio proceso de
investigación como es agilizar la difusión de los hallazgos y facilitar mayores
ámbitos de impacto.
Como investigación en el ámbito social de carácter eminentemente

práctico, son numerosos los factores sociales que han influenciado el desarrollo de
la investigación sobre evaluación de programas, siendo uno de los de mayor
importancia el derivado de la mayor preocupación social por aspectos sobre la
cualidad de la educación. Preocupación que ha hecho que las instituciones
desarrollen procesos de intervención por programas de espectro más amplio y de
aplicación a contextos específicos por medio de mecanismos en los que la cultura
evaluativa se acepta y considera como mecanismo ineludible para la consecución
de la ansiada calidad educativa.
Uno de los mayores avances alcanzado en E.P. supone un refinamiento

metodológico, como es el caso de las investigaciones mediante metaanálisis y
estudios de síntesis, que permiten realizar inferencias desde supuestos más
amplios ofreciendo una mayor extensión de los resultados obtenidos.
Los estudios de síntesis de carácter secundario se distinguen por el

empleo como fuentes de datos de investigaciones primarias sobre un tópico
determinado, para por medio del empleo de estadísticos que permitan realizar
síntesis de los resultados obtenidos, permitir y facilitar el replanteamiento del
75
campo de investigación de una disciplina al ofrecer visiones globales y replantear

nuevas líneas de actuación.
La pertinencia de estudios metaevaluativos y de síntesis es usualmente

señalada e indicada por autores en el ámbito internacional (Scriven, 1974;
Stufflebean, 1978, 1981; Shadish, Cook y Levinton, 1991) y nacional (Bartolomé,
1990; De la Orden y Martínez de Toda, 1992 o Fernández Cano y Bueno, 1998).
El desarrollo actual de los servicios evaluativos, hasta alcanzar un grado

de profesionalización (Madaus et. al., 1983), es una muestra de la patente
preocupación social por la educación en la que el empleo de estos servicios se
muestra como aval de su calidad. Sin embargo, a pesar de las muchas razones para
ello no ha existido tradicionalmente una cultura evaluativa, sino más bien como
señalaba Scriven (1974) una resistencia a ser evaluado y una escasez de revisión
de los estudios de evaluación.
Si evaluación es la emisión de un juicio sobre el valor o mérito de algo,

metaevaluación es enjuiciar la propia evaluación. De la Orden y Martínez de Toda
(1992) conceptualizan los procesos de metaevaluación como sistema de garantía y
responsabilización ante la sociedad de los servicios evaluativos ofrecidos,
basándose en el desarrollo específico de las normas establecidas por el Joint
Committee (1998).
Así los procesos metaevaluativos pueden adoptar diferentes funciones o

utilidades en la investigación educativa:
• La primera de ellas hace referencia a la metaevaluación como

evaluación de la evaluación (Stufflebean, 1981; Landsheere, 1982 y Joint
Committee, 1998) incluso en el sentido de revisión para el cumplimiento de
los procesos evaluativos desde una perspectiva de profesionalidad
(Stufflebeam, 1987).
76
• Esta valoración de la evaluación para atestiguar su calidad, puede

proceder de una perspectiva sumativa (Cook y Gruder, 1978) o formativa
(Scwandt y Halpern, 1988), convirtiéndose la metaevaluación en una
herramienta de mejora de la evaluación mediante un proceso de identificación
de sus sesgos.
• Los procesos metaevaluativos poseen un carácter unificador al

proveer procedimientos para resumir y sintetizar los resultados de varias
valoraciones referidas al mismo programa o conjunto de programas
(Stufflebean, 1981). Procesos que permiten ofrecer visiones amplias desde
distintos planos como la función valorativa general de una organización o las
realizaciones en un determinado campo o disciplina. Siendo muy útiles, sobre
todo en procesos de reconstitución y reforma, los estudios de síntesis.
• Los contextos y ámbitos de intervención necesitan de

intervenciones por programas cada vez más amplias y complejas, que a su vez
delimitan procesos evaluativos de características similares, por lo que si cabe,
la revisión metaevaluativa adquiere aún un sentido mayor.
• Estos procesos insertos en una dinámica constante de crítica

constructiva, hacen trascender la práctica evaluativa particular hacia aspectos
más amplios como vehículo potenciador de mejoras educativas (Worthen y
Sanders, 1987).
La importancia y trascendencia que puede derivarse de cada una de estas

funciones, hace que el desarrollo de procesos metaevaluativos y estudios de
síntesis en la investigación sobre evaluación de programas parezca tan
irrenunciable como el de la propia evaluación de éstos.
En algunas de estas características, como la complementariedad, su

carácter de síntesis y el empleo de nuevas tecnologías, los procesos desarrollados
77
en esta Tesis Doctoral se basan en los nuevos desarrollos y pueden suponer un

avance en el campo de la E.P.
Complementariedad que puede ser entendida desde múltiples aspectos

teóricos y empíricos, como la consideración de análisis de aspectos cientimétricos,
conceptuales y metodológicos de la investigación; el empleo de una metodología
descriptiva desde una perspectiva sincrónica y diacrónica o los análisis de datos,
que aunque eminentemente cuantitativos, se recurre al empleo de procesos
cualitativos en aquellos aspectos en los que la naturaleza específica de los datos lo
requiere. No existiendo precedentes en el campo de la E.P. de estudios de síntesis
de este tipo.
También puede parecer novedoso el empleo de las nuevas tecnologías en

todas las fases del proceso investigativo, desde la búsqueda por medio de enlaces
electrónicos on line en diversas bases de datos mediante el empleo de motores de
búsqueda basados en palabras clave, el registro de datos en bases digitales y
tratamiento por medio del empleo de software específico, a la elaboración de
informes de conclusiones.
78
CAPÍTULO III. CIENCIOMETRÍA Y

EDUCACIÓN.
“Los indicadores cienciométricos pueden ser un

instrumento útil para la evaluación de la investigación
educativa. Pero se ha de poner el máximo cuidado para
su uso correcto, evitando simplificaciones excesivas como
inútiles refinamientos”.
(Maltrás, Quintanilla y Vidal, 1998)
3.1. INTRODUCCIÓN.
Uno de los apelativos que definen con mayor claridad la época actual es
el que la denomina como Era de las Comunicaciones. Sea cual sea la disciplina en
la que nos situemos, la cantidad de información generada y sus posibilidades de
difusión son tan elevadas que se requiere un esfuerzo de estructuración (Galante y
Sanchidrian, 1996). De hecho, ya en el segundo Congreso de la Ciencia, celebrado
en Londres en 1931, se perfilaban lo que serían las directrices básicas de este
análisis estructural de la información que posteriormente constituiría el cuerpo
metodológico conocido con el nombre de Bibliometría o Cienciometría.
La importancia que la ciencia y la tecnología han llegado a adquirir en la

sociedad, ha ido imponiendo la necesidad de su evaluación. Son numerosos los
79
recursos humanos y económicos que la sociedad dedica a la investigación en el

desarrollo de trabajos científicos, como medio de su propia evolución y
sostenimiento, que a su vez ésta exige un control y evaluación de sus tareas que
justifiquen tal aporte. Siendo la metodología cienciométrica una de las más
comúnmente utilizadas.
Se trata de estudiar científicamente la actividad de la investigación no

para discernir su naturaleza o para relativizar su alcance, sino para favorecer su
desarrollo.
La Cienciometría o cientimetría, también denominada Metodología

Bibliométrica es ante todo un corpus metodológico inicialmente centrado en el
análisis estructural y prognosis de la información, contenida principalmente en
publicaciones de investigación científica.
López Piñero (1972) la denominaba "ciencia de la ciencia",

considerándola como un auténtico programa de investigación de carácter
interdisciplinar que interesaba a disciplinas complementarias: la información
científica propia de los documentalistas, la historia de la ciencia y la sociología de
la ciencia; dimensiones a las que se podría añadir la evaluación científica de las
producciones, propia de la Metodología de la Investigación (Fernández Cano y
Bueno, 1998).
Debido a su metodología los estudios cienciométricos poseen un carácter

eminentemente descriptivo, por lo que poseen gran importancia para obtener
visiones globales de un determinado campo de estudio.
Se suele partir, en estos estudios, del análisis de la frecuencia de aspectos

tales como: autores; fechas y fuentes de publicación; número, lengua, antigüedad
y variabilidad de las citaciones. Para, mediante el cálculo de valores promedio y
porcentajes, realizar una descripción diacrónica de la producción de una disciplina
o de un campo determinado de una disciplina científica.
80
3.2. LA COMUNICACIÓN EN CIENCIA Y TECNOLOGÍA.
El desarrollo de la Cienciometría ha sido posible gracias a un rasgo

característico de la ciencia desde el siglo XVII: la comunicación científica (López
López, 1996). Quedando así el desarrollo científico íntimamente asociado a su
comunicabilidad.
Para Ziman (1980) la ciencia sólo puede existir en estrecha dependencia

con la comunicación, ya que es esencial para establecer criterios de registro de
resultados, observaciones o teorías que sirvan como referencia a los científicos.
Facilitando a su vez la crítica, refutación y perfeccionamiento de los hechos y
trabajos científicos.
Aunque es ésta una postura abierta a muchas críticas, Price (1973, p.69)
también asocia la existencia, de la ciencia a la de la comunicación hasta tal punto
que no podría existir sin ella, definiendo la ciencia como “lo que se edita en las
publicaciones científicas y al científico como el hombre que en algún momento de
su vida ha colaborado escribiendo alguna de esas publicaciones”.
Incluso desde una perspectiva sociológica la comunicación científica

parte de la consideración de la ciencia como una organización dentro de la propia
estructura social. Y en todo sistema organizativo de carácter social, como señala
Gótor (1982), el establecimiento de un sistema de comunicación es inherente al
propio desarrollo de la organización.
Pero en palabras de Carpintero y Peiró (1981), incluso la comunicación

científica ofrece características significativamente diferentes a la comunicación en
cualquier otra organización, puesto que al convertirse en la prueba más efectiva de
las realizaciones y productos de los científicos, se ha convertido en un fin en sí
misma.
81
Es decir, como planteaba Price (1973), el hecho y proceso científico

quedaría incompleto sin la comunicación, mediante la publicación, de los
hallazgos para su discusión y aceptación por la comunidad científica. Y por tanto
una de las finalidades de la ciencia, debe ser su comunicación y su publicación.
Partiendo de este papel central asignado a la comunicación en la ciencia

(Carpintero y Peiró, 1981), el estudio de dicha comunicación puede facilitar
informaciones útiles acerca de su estructura organizativa. Convirtiéndose este
planteamiento en uno de los pilares que ofrecen racionalidad al empleo de la
metodología cientimétrica.
En este proceso de comunicación, que hace de la ciencia un

conocimiento compartido, el análisis de los canales de comunicación es prueba y
medida del desarrollo científico en un determinado contexto. Estos pueden poseer
para Montoro y Carbonell (1989) naturalezas muy diversas adoptando desde
aspectos informales como la correspondencia o entrevistas; o eminentemente
formales como Tesis Doctorales, literaturas de congresos, informes o revistas de
investigación.
Estas últimas convertidas en el vehículo por excelencia de la

comunicación científica, han aumentado de forma ingente como canal
comunicativo (Callon, Courtial y Penan, 1995).
Queda por tanto, patente la relación unívoca entre ciencia, comunicación

y publicación en fuentes científicas, principalmente revistas especializadas.
Siendo este el principal objeto de estudio de la Bibliometría/Cienciometría, que
Garfield (1979a) define como la cuantificación de la información bibliográfica
susceptible de ser analizada.
Esta asociación entre el trabajo científico y la necesidad de publicar en el

mundo de la ciencia ligada a la industria necesita además de otra literatura
tecnológica como son las patentes. Estas pese a soportar un gran volumen de la
82
producción científica mundial, quedan restringidas enormemente por lo poco

accesible de su lenguaje.
3.3. LA CIENCIOMETRÍA. NOTAS HISTÓRICAS Y

DELIMITACIÓN CONCEPTUAL.
El origen de esta disciplina surge de la convergencia de estudios de

diversas disciplinas, en momentos y lugares distintos. Solapándose términos
utilizados para definir este tipo de trabajos desde su origen, que algunos autores
utilizan indistintamente, como son los de Ciencia de la Ciencia, Bibliografía
Estadística, Bibliometría, Cienciometría o Infometría. No siendo más que fruto de
su propio desarrollo, desde las aplicaciones esporádicas hasta la conceptualización
metodológica de la disciplina, que cada vez se hace más amplia, tanto en su objeto
como en el campo de conocimiento.
Desde la antigüedad se han venido realizando estudios bibliométricos,

aunque sin el desarrollo lógico de una disciplina establecida. Méndez (1986),
indica que el primero en utilizar un enfoque de este tipo fue Alphonse de
Condolle, que en 1885, en su trabajo Histoire des sciencies et des savants depuis
deux siecles realiza un estudio sobre catorce países europeos y Estados Unidos,
aplicando métodos matemáticos a factores relacionados con el desarrollo
científico.
El primer estudio en el que podríamos determinar rasgos ciertamente

bibliométricos es el de Cole y Eales, que en 1917, realizaron un análisis
estadístico de las publicaciones sobre anatomía comparativa entre 1543 y 1860
con la distribución por países y campos, cómputos, categorías y las divisiones del
reino animal; trabajos que según (Sancho, 1990) todavía tienen cierto interés
bibliométrico.
83
Pero hasta 1923, no se realizan referencias literarias a éste tipo de

estudios atribuyéndoles un carácter específico, mediante el término de
bibliografía estadística. Referencias realizadas por Hulme en sus conferencias en
la Universidad de Cambridge o en sus estudios de historia de la ciencia, en los que
analiza autores y revistas referenciadas en el International Catalogue of Scientific
Literature en el periodo 1910-1913, analizando la relación entre publicaciones
científicas, condiciones económicas y crecimiento de la civilización moderna.
También Gross y Gross (1927), comienza a utilizar este término como

primer paso diferenciador de una materia emergente, al analizar las referencias
hechas en artículos de revistas sobre química indizadas en The Journal of
American Chemistry Society. En 1926, el ruso Borichevski esboza en un artículo
la constitución de un nuevo campo de investigación cuyo objeto es “el estudio de
la naturaleza intrínseca de la ciencia”, considerándola como ciencia de la ciencia
(naukovodemia).
También en este mismo año, Lotka (1926) formula su conocida ley de la

productividad de los autores científicos; y todavía en 1934, cuando Bradford
realizó su trabajo sobre la distribución de artículos en revistas sobre geofísica
aplicada y en investigaciones sobre lubricantes, ahora conocido como Ley de
Bradford seguía utilizándose el término de bibliografía estadística para describir
este tipo de trabajos de la ciencia de la ciencia. Sin embargo, con posterioridad, se
consideró que no era un término satisfactorio para describir esta actividad
científica, debido a que podía ser interpretado erróneamente como bibliografía
sobre estadística.
Al margen de su denominación, el desarrollo de la disciplina continuó

afianzándose, basándose en el carácter práctico de sus realizaciones. Pues es
común la asociación del desarrollo de una ciencia, por empleo de bibliografía o el
número de descubrimientos, con el desarrollo social y económico.
84
Y aunque el origen de su denominación específica se lo atribuyen

algunos autores a Paul Olet, no es hasta 1969, cuando Alan Pritchard
considerando tosco y poco descriptivo ese término, acuña el de bibliometría.
Pritchard definió la bibliometría como la aplicación de la matemática y los
métodos estadísticos para analizar el curso de la comunicación escrita y de una
disciplina. Es decir, la aplicación de tratamientos cuantitativos a las propiedades
del discurso escrito y los comportamientos típicos de éste.
Pero al abogar por una ciencia de la ciencia, ampliaba considerablemente

la perspectiva de la Bibliometría, más restringida a recuentos de producciones en
determinadas disciplinas o incluso a estudios más detallados. La ciencia de la
ciencia debería ir más allá en la elaboración y aplicación de instrumentos
estadísticos. Su finalidad es identificar las leyes y regularidades sobre el
funcionamiento de la actividad científica en su globalidad.
El pleno desarrollo de esta disciplina está asociado a los trabajos de dos

grandes pioneros, que realizaron sus trabajos de forma paralela. Price, que en
1963 y 1964, apoyándose en toda una serie de estudios de carácter bibliométrico
anteriores, publica respectivamente: Little Science, Big Science y Science since
Babylon. Y Garfield, que desde la aparición en 1963 del Science Citation Index,
publicado por el Institute for Scientific Information (ISI) fundado por él mismo en
Filadelfia, ha contribuido enormemente al desarrollo de este campo científico.
Así mismo, de gran importancia para la transformación profunda y

diversificación fue la aparición, en 1979 de una fuente de publicación específica,
como fue la revista Scientometrics que ofrecía una existencia visible a esta Área
de conocimiento.
El término Cientimetría o Cienciometría surgió en la URSS y Europa

Oriental (Naukometriya) y fue practicado especialmente en Hungría.
Originalmente se refería a la aplicación de métodos cuantitativos a la ciencia y el
progreso tecnológico (Egghe, 1988).
85
En 1935 aparece bajo la pluma de Ossowski la expresión Nauka o nause,

designando un amplio programa de investigación que subraya la necesidad de
impulsar estudios históricos, sociológicos y psicológicos consagrados al estudio
de las ciencias. Pero el cambio hacia análisis eminentemente cuantitativos no se
produce hasta que Dobrov entra en relación con Price y sistematiza las intuiciones
de éste último. Creándose rápidamente un Instituto dedicado a la investigación
sobre estos aspectos y apareciendo los primeros libros sobre la “nueva materia”.
Diferencialmente la bibliometría estudia la organización de los sectores

científicos y tecnológicos a partir de las fuentes bibliográficas y patentes para
identificar a los actores, sus relaciones y tendencias. Mientras que la
cienciometría, por el contrario, se encarga de la evaluación de la producción
científica mediante diversos indicadores numéricos como pueden ser de
publicación o patentes, entre otros.
En las primeras definiciones y delimitaciones conceptuales se

consideraba la cienciometría como “la medición del proceso informático”, donde
el término informático no poseía las connotaciones actuales referidas a equipos
informáticos, sino a la ciencia que estudia la estructura y las propiedades de la
información científica y las leyes del proceso de comunicación (Mikhilov et al,
1984).
El significado ampliado que tiene hoy en día el término cienciometría,

que sustituye al de ciencia de la ciencia, fue promovido por Price, quien impulsó
este campo de la investigación en la década de los años sesenta desde la
Universidad de Columbia, en Estados Unidos.
La cienciometría aplica técnicas bibliométricas, de carácter matemático y

análisis estadístico, para investigar las características de las ciencias, tanto físicas,
naturales como sociales. Pero la Cienciometría va más allá de las técnicas
bibliométricas, pues también examina el desarrollo y las políticas científicas. Sus
análisis cuantitativos consideran a la ciencia como una disciplina o actividad
86
eminentemente social, en algunos de sus múltiples aspectos económicos y

políticos, por lo que podría considerarse como un instrumento de la sociología de
la ciencia.
Pero este campo de conocimiento sigue en evolución con el desarrollo de

nuevas consideraciones, como muestra la aparición de nuevas denominaciones
como la Infometría, que amplían su campo de acción.
Algunos autores usan bibliometría e infometría como sinónimo

(Rousseau, 1990), aunque otros consideran que la segunda incluye un área mucho
más amplia.
La infometría se basa en las investigaciones de la bibliometría y

cienciometría, y comprende asuntos tales como el desarrollo de modelos teóricos
y las medidas de información, para hallar regularidades en los datos asociados con
la producción y el uso de la información registrada.
De acuerdo con Brookes (1990), el término infometría fue propuesto por

primera vez por Nacke, director del Institut für Infometrie und Scientometrie de
Bielfeld, Alemania en 1979. Término que fue inmediatamente adoptado por el
VINITI de la URSS, cuyos estudios consideran que la infometría comprende a la
bibliometría y la cienciometría (Gorkova, 1986).
La infometría trata de la medición de todos los aspectos de la

información, el almacenamiento y su recuperación, por lo que incluye la teoría
matemática y la modelización. En sentido amplio estudia los aspectos
cuantitativos de la información, no solamente la registrada como los registros
bibliográficos, sino todos los aspectos de la comunicación formal o informal, oral
o escrita.
87
Las aplicaciones prácticas de todos estos tipos de estudios evaluativos se

dan en contextos tan variados como la recuperación de la información, la
administración de archivos o bibliotecas, la historia de la ciencia, la política
científica, la lingüística cuantitativa, la econometría. Y en cuanto a su contenido,
absolutamente en todas las áreas o disciplinas científicas.
La cienciometría ha alcanzado su edad adulta siendo su crecimiento

espectacular. Y aunque la variedad de sus orientaciones y aplicaciones podría
haber puesto en tela de juicio su integridad como disciplina, ésta se ha mantenido,
ya que los estudios cienciométrico comparten tres convicciones inamovibles:
La primera de ellas es que el estudio de las ciencias y de las técnicas pasa

necesariamente por el análisis sistemático de las producciones literarias de los
investigadores: ciertamente, la cienciometría no se limita exclusivamente a este
objeto, pero le concede un lugar esencial.
La segunda es que los estudios cuantitativos, siempre que no constituyan

un fin en sí, enriquecen la comprensión y la descripción de la dinámica de las
tecnociencias.
Y la tercera es la prioridad absoluta y casi obsesiva que conceden a la

concepción de instrumentos de análisis sólidos y fiables.
Actualmente las investigaciones de cienciometría y bibliometría se

realizan con mayor intensidad en Estados Unidos, Canadá y Europa Oriental.
Destacando también por su importancia las elaboradas en Japón y Europa
Occidental.
88
3.4. LA CIENCIOMETRÍA EN ESPAÑA.
Aunque contemporáneamente a los estudios de Bradford, Ortega y

Gasset plantea en su obra La misión de bibliotecario de 1935 (Riaño, 1991) la
necesidad de una “estadística de las ideas” que permita facilitar la comprensión de
su origen, su periodo de desarrollo y expansión y declive, no es hasta la década de
los setenta en la que comienza a tomar cuerpo esta idea en nuestro país.
Durante el desarrollo de la década de los setenta se conforman tres

grandes grupos de investigación desde los que comienza a desarrollarse esta
metodología cientimétrica:
A principios de la década, y entorno a la figura de López Piñero y

Terrada, pertenecientes a la Facultad de Medicina y al Instituto de Estudios
Documentales e Históricos sobre la Ciencia de la Universidad de Valencia y
C.S.I.C.11, se comienzan a publicar trabajos de este tipo. Entre los que destacan El
análisis estadístico y sociométrico de la literatura científica o Hacia una Ciencia
de la Ciencia - Traducción de la obra de Price, Little Science - (López Piñero,
1972 y 1973) y también, un estudio desarrollado por Terrada (1973), que bajo el
título La literatura médica española contemporánea, se centra en un análisis
estadístico y sociométrico.
Éste es el germen de la cientimétria en nuestro país, publicándose varios

artículos atendiendo a este enfoque por parte de discípulos de estos autores, como
los realizados por Carpintero (1981) o Carpintero y Tortosa (1993), desde la
Facultad de Filosofía y CC. E. de Valencia.
El segundo de los grupos mencionados, liderado por Pérez Álvarez-

Ossorio y Lara Guitard desde el I.C.Y.T./C.I.N.D.O.C.12 en Madrid, posee una
perspectiva más dirigida al análisis de la política científica, de cuya línea de
11
CSIC.: Centro Superior de Investigaciones Científicas.
89
investigación es muestra alguno de los trabajos realizados por autores como

Gómez y Bordons (1996a,b).
El tercer grupo desde cuyos planteamientos se ha desarrollado esta

disciplina en nuestro país, desarrolla trabajos desde la Universidad de Salamanca
centrados en aspectos relativos a la difusión del conocimiento, como los de
Maltrás y Quintanilla (1992), Vidal (1993) o Maltrás (1996).
Todos estos trabajos establecen el germen del desarrollo de la

metodología de esta disciplina, determinando líneas de investigación todavía
activas y consolidadas en la década de los noventa, como queda patente en las
numerosa y diversa literatura producida por autores como Alonso y Gra (1994),
Jiménez Contreras (1994) o López Yepes (1995).
En la Universidad de Granada, comienzan a desarrollarse algunos trabajos

fundamentados en esta perspectiva. Como son los elaborados por autores como
Delgado López-Cózar (1999), Fernández Cano y Bueno (1998, 1999) o Torralbo
(2001). Siendo precisamente en este contexto concreto, en el que se desarrolla la
línea de trabajo del grupo de investigación sobre Evaluación de la investigación y
de programas educativos andaluces, desde el que parte el desarrollo de esta tesis
doctoral.
Parece por tanto, que en la investigación española sobre este campo

disciplinar, realizada desde estos centros universitarios, se pueden estar
comenzando a establecer líneas de investigación con cierta especialización o
cuanto menos con cierta especificidad.
12
I.C.Y.T. /C.I.N.D.O.C.: Instituto de Información y Documentación en Ciencia y Tecnología,
90
3.5. INDICADORES BÁSICOS Y LEYES CIENTIMÉTRICAS.
Un indicador es un parámetro empleado en la evaluación de cualquier

actividad, que puede ajustarse a patrones teóricos establecidos en investigaciones
previas en enunciados o leyes de algún campo de la ciencia, en este caso la
Cienciometría. La información científica puede por tanto adquirir una serie de
características, mediante el uso de unos indicadores descritas mediante el
establecimiento de las que se han venido en llamarse, quizás con alguna licencia
lingüística, Leyes Cientimétricas.
Mediante el empleo de una serie de indicadores bibliométricos y la

comprobación de su ajuste a los patrones propuestos en las leyes cientimétricas se
pretende, en este estudio, describir algunos aspectos de la producción científica
en el campo de evaluación de programas en el ámbito y periodos estudiados, tales
como la productividad y la citación.
En el primer número de Newsletter publicado por el Comité de

Infometría de la Federación Internacional de Documentación, Rivicandra Rao
consideró que “entre los diversos patrones de la bibliometría, los siguientes
pueden ser estimados como significativos: Ley de Dispersión, Ley cuadrática
inversa de la productividad científica o Ley de Lotka, Ley del mínimo esfuerzo o
Ley de Zipf, Modelos logarítmicos y Proceso de la ventaja acumulativa de Price.
Teniendo en cuenta que el número de indicadores que puede emplearse

para describir estos aspectos es enorme, a lo que habría que añadir las
peculiaridades al referirse a autores personales, institucionales o editoriales, su
enumeración se limita aquí a una descripción general de los empleados de manera
específica. Por lo que la descripción realizada es de tipo general, remitiendo a
referencias de manuales específicos.
actualmente Centro de Información y Documentación Científica.
91
Sancho (1990) ordena estos indicadores por su referencia a la calidad de

la investigación establecida por jueces expertos, a la actividad o nivel de
productividad científica de los autores, del impacto de su investigación mediante
análisis de las citas; y de las asociaciones temáticas, por la citación, referencias y
palabras comunes.
Por su parte, Callon, Courtial y Penan (1995) clasifican los análisis

cienciométricos en dos categorías, atendiendo a si la referencia de los indicadores
es la actividad o la relación entre los autores. Así, mientras los primeros
proporcionan datos sobre el volumen e impacto de la investigación; los segundos
rastrean los lazos e interacciones entre autores, instituciones y áreas de
conocimiento.
Partiendo de estas clasificaciones y basándose en la ofrecida por

Fernández Cano y Bueno (1998), se establece una priorización y ordenación de
indicadores y leyes bibliométricas básica, ya experimentadas en trabajos previos
(Expósito, 2000).
3.5.1. Indicadores de productividad.
Los indicadores de producción informan cuantitativamente sobre el

tamaño de la producción científica de una determinada fuente institucional o
personal. Aunque de forma general, puede referirse a la producción sobre una
disciplina o tópico de investigación en un ámbito o periodo temporal concreto.
Los indicadores científicos de productividad pretenden medir la cantidad

de investigación producida por los científicos. Suele referirse a la cantidad de
publicaciones producidas por un autor, institución o país; aunque otras medidas
incluyen la cantidad de investigadores por disciplina.
92
El empleo de informaciones sobre la producción suele partir de

distribuciones de frecuencias y porcentajes empleando diversos tipos de
intervalos. Si estos poseen naturaleza temporal, su estudio ofrecerá una visión
diacrónica y si se limitan a un campo, ámbito o disciplina, una perspectiva
sincrónica.
• Productividad general: Referida a cómputo del número y distribución de

publicaciones de una disciplina, temática o ámbito geográfico es uno de los
indicadores básicos en los estudios cienciométricos.
Aunque se ha encontrado correlación entre el número de publicaciones y

la consistencia o calidad de ésta, el empleo exclusivo de indicadores
cienciométricos puede limitar la consideración de su calidad (Bellavista et al.
1997).
• Productividad de autores: generalmente mensurada a partir del número

de trabajos originales que publica. Para la aplicación de este indicador es
necesario un número lo suficientemente completo de referencias y que éstas
cubran un periodo diacrónico lo suficientemente amplio.
A partir de este indicador o asociados a él pueden aparecer otros que

describan la colaboración y coautoría, ya sea por medio del establecimiento de
promedios generales, estableciendo diferencias por género, lugares de firma.
Existen índices de proporcionalidad que relacionan el número de autores

con el número de páginas del informe. Y también, que establecen los autores con
una determinado porcentaje de la producción total considerada, como el índice de
transitoriedad o de autores transitorios.
93
En este mismo sentido, el análisis de la productividad queda muy

determinado por los supuestos teóricos establecidos en algunas leyes
cientimétricas, descritas a continuación, como la de crecimiento exponencial de
Price o la Ley de Lotka.
• Productividad institucional/Áreas de Conocimiento: en los mismos

términos que la referida a autores, pero partiendo del registro de la Institución o
del Área de Conocimiento a la que éstos pertenecen.
• Productividad de fuentes editoras: los indicadores relativos al estudio

de la productividad de las fuentes de publicación quedan muy determinados por su
clasificación entorno a un tópico o disciplina. Suponiendo un principio teórico de
relevante importancia la distribución propuesta por Bradford, referida al vehículo
por excelencia de comunicación científica, la revista de investigación.
En general, todos estos indicadores e índices de productividad giran

entorno a la idea de la hipótesis enunciada por Cole y Cole (1972), que atribuyen
al filósofo Ortega y Gasset la producción/colaboración entre científicos. Está de
acuerdo con un principio estratificado de la ciencia, opera con un criterio
universal por el que los científicos que publican trabajos más significativos
reciben el reconocimiento amplio que merecen, mientras que los que no publican
trabajos de significación son ignorados.
Aunque también Turner y Chubin (1976, 1979) presentan una

interpretación alternativa de tal hipótesis, que basada en una paradoja del
Eclesiastés, asigna el 80% de la producción científica de los autores a sólo el 20%
de éstos.
94
3.5.2. Indicadores de citación.
El análisis de citación suele referirse a patrones y frecuencias de las citas

hechas y recibidas por autores, revistas, disciplinas o de las relaciones entre
documentos citados.
En los estudios de citación se consideran dos supuestos básicos (Spinak,

1996): Que un artículo científico no es una entidad aislada, sino que está inmerso
en una literatura sobre el tema del que trata, por lo que la obra del autor se
construye sobre la obra de sus predecesores. Y que en el estudio del impacto de la
investigación, a través de su nivel de citación, hay que tener en cuenta que estas
citas se hacen no a la literatura usada sino a la publicada.
Este análisis, usualmente de la frecuencia y patrones a los que se ajustan

las citas recibidas por autores, fuentes o disciplinas, es asumida por algunos
autores como una rama de la propia bibliometría.
Su permite determinar el conjunto de autores o documentos que

constituyen significativamente una disciplina, el promedio de referencias por
documento, formas de la literatura citada (monografías, artículos, etc.) y la
distribución geográfica o idiomática de los documentos citados, desde
distribuciones diacrónicas o sincrónicas.
Algunos autores (Garfield, 1979) asumen el índice de citación como una

caracterización de la excelencia del trabajo de un determinado autor, empleado
incluso para la distinción de premios de gran prestigio internacional como los
Premios Nobel.
Sin embargo, no faltan las críticas al análisis de la citación y al análisis

cientimétrico general, fundamentas tanto en el desarrollo de métodos sin una
investigación adecuada de sus supuestos (Brooks, 1985); como a problemas
inherentes a citaciones incompletas, sesgadas o negativas (McRoberts y
95
McRoberts, 1989); a trabajos que rompiendo con paradigmas dominantes planteen

cambios radicales sin la adecuada fundamentación (Lindsay, 1989), o a las
dificultades derivadas del intento de operativizar las citaciones en sistemas de
investigación no vinculados al ámbito anglo-americano (Fernández Cano y
Bueno, 2002).
Pero tanto, críticos como proponentes de estos métodos están de acuerdo

que el uso de indicadores, como la citación de un trabajo, no es aplicable para
medir la calidad del trabajo de un individuo en particular. Ya que el trabajo
científico como trabajo social, que describe hechos en no inmutablemente
objetivos, mide su “calidad” en la medida que es importante para la comunidad
científica y por lo tanto es “citable” por ella.
• Citación general: A partir del estudio de la distribución de citas se

pueden establecer índices generales como promedio del número de citas, de su
antigüedad o su variabilidad. Siendo, en ocasiones, de importancia relevante el
análisis del desarrollo diacrónico de los mencionados índices.
• Factores de impacto: Referidos a la aceptación u uso de los

hallazgos de un autor por otros, puede referirse a dos índices diferentes: Al que
resulta del cociente de la cantidad de citaciones de un autor por el número de
artículos que ha escrito. Y otro, más elaborado al factor de impacto de revistas.
En los mismos términos puede referirse a la importancia o impacto de

una determinada fuente de publicación o revista dentro de una disciplina concreta
al relacionar mediante su cociente, el número de citas que reciben las fuentes que
se consideran núcleo de tal disciplina y la cantidad de artículos publicados por la
fuente. Mediciones que pueden establecerse en periodos temporales arbitrarios.
• Citación específica: Estudio de citación por criterios/aspectos

concretos como el tipo de fuentes citadas (libros, revistas, otros o literatura gris) o
el idioma de las referencias a las que se citas.
96
Para ofrecer una visión descriptiva por medio de la metodología

cienciométrica, además del empleo de unos indicadores básicos como los
descritos, también se hace necesario comprobar el ajuste de la distribución de sus
datos a los patrones teóricos ofrecidos en hipótesis, postulados y leyes básicos de
tal metodología.
3.5.3. Ley de crecimiento exponencial de la literatura científica.
Dentro de los estudios sobre capacidad investigadora, existe una amplia

tradición sobre medición de tal capacidad haciendo uso de la variable frecuencia
de publicaciones o productividad (Fernández Cano, 1995).
Así, siempre ha sido convencionalmente aceptado un crecimiento

exponencial de la producción científica, expresado como Ley de desarrollo
acelerado, pero no es hasta 1956, en el que Price plasma este principio en la Ley
de Crecimiento Exponencial de la Ciencia.
En ésta, Price constata que el nivel de crecimiento de la información

científica es muy superior al de otros fenómenos sociales como pueden ser el de la
población o nivel de su renta. De forma que, en un periodo temporal de entre diez
y quince años tales informaciones se duplican.
Esta tasa se puede apreciar de manera similar en el número de revistas

científicas, repertorios de resúmenes (ejemplificados en el gráfico 3.1), libros
editados, bases de datos, número de investigadores y otros muchos indicadores de
crecimiento científico.
97
Gráfico 3.1. Número total de revistas científicas y de repertorio de resúmenes, en

función de la fecha. Reproducido de D.J. de Solla Price (1965)
Sin embargo el nivel de crecimiento no puede ser indefinido sino que posee
límites que Price explica relacionándolos con los recursos limitados de la sociedad
para duplicar cada pocos años los recursos asignados a la ciencia. Así, como
queda patente en el gráfico 3.2, la curva de crecimiento exponencial adquiere un
punto de inflexión en el que se transforma un crecimiento logístico, más afín con
la explicación de fenómenos naturales.
98
Gráfico 3.2. Forma General de la Curva Logística. Reproducido de D.J. de Solla Price (1965)
3.5.4. Ley de envejecimiento u obsolescencia de la literatura

científica.
Mediante el estudio diacrónico de las referencias bibliográficas en

distintas especialidades, Price observó que mientras el número de publicaciones se
multiplica por dos aproximadamente cada 13,5 años, el número de citas que
reciben tales publicaciones se divide por la mitad aproximadamente cada trece
años.
Profundizando en la medida del envejecimiento, Burton y Kebler (en López

Piñero, 1972) idean el concepto de semiperiodo, que referido al tiempo en que ha
sido publicada la mitad de la literatura científica de una determinada disciplina, se
define como la mediana de la distribución de frecuencias según el año de
procedencia. Encontrando que la vida media de las referencias, en los años
setenta, eran en Física 4,6; en Ingeniería Química 4,8; en Fisiología 7,2; en
Matemáticas 10,5 y en Geología 11,8 años; diferenciaron entre literatura efímera y
clásica.
99
Estos estudios de Price, basados en los primeros estudios sobre citación

de Garfield, establecen diferencias en la citación a la literatura científica en una
disciplina: Un 50% se distribuye entre la totalidad de la literatura anterior, y otro
50% en un número reducido de trabajos anteriores, producido por autores
importantes en la disciplina o tópico investigativo (colegio invisible), de
referencias que enlazan los artículos científicos de un año con los trabajos del
colegio invisible, lo llamó Price frente de investigación.
Otra indicador típico de medida de la obsolescencia de la literatura

científica es el Índice de Price13, que indica cuán recientes son las citas en un
documento o disciplina, calculando la proporción del número de referencias que
no poseen más de cinco años de antigüedad.
3.5.5. Leyes de dispersión de la literatura científica.
3.5.5.1. Ley de Bradford.
Formulada por Bradford en 1934 en un trabajo clásico, aunque con escaso

impacto hasta que la publicó en su libro Documentación (1948).
Este autor plantea una preocupación por la duplicación de esfuerzos, y la

insuficiencia de cobertura por parte de las agencias de indización y resúmenes, de
los artículos de revistas científicas. Y en un esfuerzo de optimización, analiza la
producción de artículos en Geofísica y Lubricación.
Mediante la representación gráfica semilogarítmica de las frecuencias de

los artículos por revistas, comprueba la relación entre el logaritmo de la
acumulación de éstas y la cantidad de artículos que se ajustaba a una recta, lo que
le llevó a enunciar la siguiente formulación teórica o verbal:
13
No confundir con el índice de inmediatez de una revista científica, que se refiere al número de
citas realizadas en año n a artículos publicados en este año, dividido por el número de artículos
publicados sólo en ese año. (Para tasas de impacto por citación, véase Fernández Cano, 1995,
pp.226-230).
100
Si las revistas científicas se ordenan en secuencia

decreciente de productividad de artículos sobre un tema dado,
éstas pueden dividirse en un núcleo dedicadas más en
particular al tema y varias zonas concéntricas que con el
mismo número de artículos que el núcleo presentan un número
de revistas con relación 1: n : n2 ...
(Bradford, 1934:75)
Esta formulación ha generado bastante literatura, pues existen ciertas

incongruencias entre la formulación teórica y su expresión gráfica, que Bradford
no advirtió.
Vickery (1948) comprobó tomando datos de 1600 publicaciones, que la parte

rectilínea de la gráfica sólo se ajustaba a la parte superior de la distribución.
Demostrándose en estudios posteriores que la distribución de Bradford no era
logarítmica en toda su extensión, sino potencial en este núcleo y exponencial en
las zonas exteriores. Incluso Ferreiro (1993) determina otros valores de
composición de la distribución.
Estas desavenencias entre el modelo teórico o verbal y gráfico han generado

una gran diversidad de modelos matemáticos, identificando Quiu en 1990 hasta
veintidós. Algunos ofrecen más consistencia a la ley gráfica (Brookes, 1968 o
Wilkinson, 1972) y otros a la teórica (Leimkuhler, 1967).
A principio de los sesenta, el matemático inglés Kendall demostró que la

dispersión propuesta por Bradford es en realidad un caso particular de una
distribución elaborada por Zipf (1935) que expresa cierta propiedad universal,
inherente a cualquier lengua del mundo, conforme a la cual la parte más
importante de cualquier texto queda conformada por unas pocas palabras de uso
frecuente. Cualidad que algunos autores no sólo consideran aplicable a palabras,
sino también a segmentos más amplios como artículos de revistas, por lo que la
Ley de Bradford sería un caso particular de la Ley de Zipf.
101
En cualquier caso lo importante de las propuestas de Bradford es la idea de

distribución o dispersión de fuentes por zonas de diferente intensidad productiva
con respecto a un tema determinado.
Gráfico 3.3. Productividad de revistas en Áreas de dispersión (Bradford,

1934)
258 revistas
(79,14%)
59 revistas
(18,10%)
9 revistas
(2,76%)
NUCLEO
429 artículos
(32,21%)
ZONA 1
499 artículos
(37,46%)
ZONA 2
Garfield (1979) simplifica una ley elaborada por Bradford (1950), la Ley
de Bradford en; las revistas ordenadas en orden decreciente de la calidad de los
artículos (calculada ésta por la frecuencia de citación), sobre un tema dado, tales
revistas podrían dividirse en un núcleo, que recibe la mayor parte de las
citaciones, y varias zonas concéntricas que, conteniendo el mismo número de
artículos del núcleo, siguen una sucesión de productividad (1, 1/a, 1/a2...), dónde
a se refiere al número de artículos.
102
3.5.5.2. Ley de Lotka
La cienciometría ha generado ciertos patrones sobre productividad, uno

de los cuales es la Ley de Lotka, que viene a decir que la productividad de autores
sigue una ley cuadrática inversa, o lo que es lo mismo, que el número de autores
que hacen n contribuciones es alrededor de 1/n2 de los que hacen una sola (Lotka,
1926).
Gráfica 3.4. Función gráfica de la Ley de Lotka, para 100 autores y tabular
para 2000.
Tomada de Fernández Cano (1995, pp. 51-52).
120
100 Autores Artículos/autor
nº de autores
80 Si 2000 1
60 500 (2000/2x2) 2
40 222 (2000/3x3) 3
20 125 (2000/4x4) 4
0 80 (2000/4x4) 5
1 10
nº de artículos/autor
Esta es una ley fundamental de la cientimetría verificada en estudios de

productividad en psicología y pedagogía (Budd, 1991), aunque no se tiene
constancia de verificación en la variable impacto por conteo de citaciones.
Aunque en algunos estudios españoles (Blasco y Benavent, 1993) no se

verifica, en general, en distribuciones amplias parece ajustarse bastante bien a
datos empíricos de número de artículos publicados, excepto en sus extremos.
Su interpretación recuerda que la mayoría de la producción científica acerca

de un tópico de investigación se realiza por un número significativamente escaso
de autores consagrados como expertos en ese campo.
103
3.6. ANÁLISIS CIENTIMÉTRICOS EN ESTUDIOS

EDUCATIVOS. UTILIDAD DE LOS INDICADORES MÁS
USUALES Y DIFICULTADES DE EMPLEO.
Los estudios bibliométricos permiten construir visiones generales y

sistemáticas de un campo, en nuestro caso de cómo se ha venido acometiendo en
el contexto español la investigación acerca de la evaluación de programas
educativos. Aunque no se debe sacralizar sus indicadores pues poseen abundantes
limitaciones (Gómez y Bordons, 1996). Sin embargo, por su carácter descriptivo
pueden ser útiles como estudios pre-evaluativos o como mecanismos
complementarios y correctores de otras aproximaciones.
Las dificultades asociadas al empleo de este tipo de indicadores las sitúa

Maltrás (1996) en la propia naturaleza de su origen, pues la literatura científica no
tiene entre sus funciones prioritarias la evaluación externa de la ciencia. No
careciendo la propia disciplina, en la realización de análisis estadísticos y
sociométricos de la literatura científica, de puntos débiles asociados a una
insuficiente base empírica; al empleo de métodos en ocasiones improvisados y
poco precisos; explicaciones poco consistentes, por su superficialidad o por su
osadía; y en general, por la audiencia de líneas de investigación lo suficientemente
claras.
En España en los años sesenta y setenta la actitud de rechazo por parte de la

comunidad científica hacia el uso de estos indicadores, Terrada y Piñero (1990) la
relacionan con el desconocimiento de la actividad científica y objetivos de la
Cienciometría y con una ideología poco evaluativa al considerar una pérdida de
privilegios sociales del científico la revisión/evaluación de su trabajo. Y de forma
muy importante por la asimilación de principios y valores ajenos, inculcados por
el dominio científico anglosajón, que bloqueando la tradición científica propia
parece dejar como opción una resignación al dominio y globalidad científica de
las grandes potencias.
104
En el polo opuesto se sitúa una actitud realmente positiva hacia el análisis

cienciométrico que permita el estudio “realmente objetivo” de la realidad
científica, quizás con cierta ingenuidad acerca de la posibilidad de una ciencia
absolutamente neutra.
Así, en los últimos años las ideas básicas de la Cienciometría han recibido
múltiples críticas, y sus métodos se han sometido a continuos cambios, debido
sobre todo a diversidad de trabajos sobre el tópico y a la ampliación de su base
empírica. Siendo éstas características propias de una disciplina emergente, a la
que más que criticar su valor se critica el uso inadecuado que puede hacerse de
ella.
En cuanto a los estudios cienciométricos en investigación educativa realizados

en España, la mayoría se refieren a investigaciones universitarias o al estudio de
los artículos publicados en revistas determinadas, siendo la Orientación una de las
disciplinas más atendidas. No existiendo ningún estudio referido a la evaluación
de programas (Fernández Cano y Bueno, 1998).
De entre la gran diversidad de indicadores bibliométricos utilizados en

Cienciometría, en nuestro contexto los más utilizados se refieren a la
productividad, ya sea individual o institucional, y a la citación.
Algunas de las dificultades que podemos encontrar para realizar análisis

cientimétricos en educación, además de las propias de la disciplina, se refieren a
cuestiones acerca de la búsqueda, acceso y tratamiento de la información.
Las revistas de investigación educativa españolas no están indizadas en

índices internacionales (SSCI, Eas y CIJE)14, siendo escasas las que poseen un
prestigio científico internacional, y tan sólo a escala nacional.
14
S.S.C.I.: Social Sciencies Citation Index (Indice de citación en Ciencias Sociales).
C.I.J.E.: Current Index to Journal in Education (Indice actualizado de Revistas Educativas).
E.A.: Educational Abstracts (Resúmenes de investigación educativa).
105
En este mismo sentido, tradicionalmente los trabajos de investigación

educativos no han estado registrados en base de datos, o incipientemente lo han
estado en algunas poco consistentes y diseminadas.
El registro de los datos e informaciones necesarios para elaborar estudio

cienciométricos no es en ocasiones todo lo riguroso que debiera o puede
encontrarse con las dificultades y sesgos como los señalados por Spinak (1996) en
los análisis de citaciones:
• La auto citación puede ensombrecer los índices de citación en una

disciplina, tanto como los sesgos y propensión de autores y revistas a
citar a trabajos, idiomas o autores determinados (Campbell, 1990).
• La autoría múltiple, los homógrafos por el empleo de un solo apellido

o iniciales y sinónimos dificultan el registro de este tipo de datos.
• Suelen darse enormes variaciones y errores en el registro de las

referencias bibliográficas, incluso realizándose algunas de manera
implícita o mediante el uso de epónimos.
• En ocasiones no existen o se siguen parámetros claros en el registro de

informaciones, existiendo variaciones en la forma de registro según
las disciplinas o los países (Muruguesan y Moravssik, 1978; Irvine y
Martin, 1985).
En general, la mayoría de problemas y dificultades se derivan de la

escasa consideración del registro de la información como un valor científico
importante (Fernández Cano, 2000). Y por lo tanto la realización de esta tarea de
forma muy laxa.
106
3.7. EL ARTÍCULO DE REVISTA CIENTÍFICA COMO

FUENTE DE INFORMACIÓN.
Una de las principales formas de comunicación de los hallazgos

científicos a la comunidad es la publicación de un informe/artículo en una revista
especializada. Formato de edición que adoptan la mayoría de informes de
investigación identificados como posible muestra en esta Tesis, como se indica en
las secciones dedicadas al estudio empírico, y que recuperados, son la principal
fuente de datos.
El origen histórico de la publicación de revistas científicas hay que buscarlo

en la necesidad de comunicación entre los científicos para mejorar tanto el
desarrollo de sus trabajos como la difusión de éstos. Comunicación que con un
origen epistolar derivó en una comunicación publica, organizada y formal
asociadas al desarrollo de los colegios profesionales.
Este inicio gremial de las revistas ha hecho, en palabras de Crane (1972),

que se tornen en un lobby epistemológico, símbolo de un colegio invisible de
investigadores que comparten intereses comunes. Cuestión que puede ser
enormemente positiva al permitir el desarrollo de disciplinas específicas; y no
tanto, si endogámicamente limitan la publicación en aspectos temáticos,
metodológicos o de autoría.
Las dos revistas más antiguas, que datan de 1665, fueron Journal des
Savants de París15 y Philosophical Transactions of the Royal Society of Medicine
de Edimburgo.
La funcionalidad de estas fuentes parte de la superación de las

limitaciones que ofrecían las cartas, folletos y libros como vehículos de
15
“El Diario de los sabios”, ya recomendada por Feijoo en su Teatro Crítico Universal
(1726-40/1988, p. 12).
107
comunicación científica, con perspectivas sociales y didácticas, que no

epistémicas; aunque su uso como fuente de publicación de nuevos conocimientos
es relativamente reciente.
En la actualidad, con una visión ciertamente papirocéntrica, el punto final de

cualquier investigación es su publicación en una revista científica, como medio de
reivindicación de la propiedad intelectual de los trabajos. Hecho, que
condicionado y mediado usualmente por una revisión previa de expertos o
revisión por pares, es tomado como una declaración y reconocimiento de la
comunidad científica de la originalidad y valor del trabajo publicado.
Esta condición, que transformó estas fuentes de un artefacto social en una

técnica de acumulación de la información, ha planteado que la motivación inicial
para leer sus contenidos parezca, como plantea Fernández Cano (1995b) menor
que la motivación para publicar en ellas.
Pero para publicar en una fuente determinada, además de la revisión del

contenido de los informes/artículos, se requiere la adopción de unas condiciones,
estructura de los trabajos, y adecuación de las características del trabajo a aspectos
propios de la fuente de publicación en la que se editan, establecidas por los
Consejos Editoriales de éstas.
Este aspecto, que en cierto sentido puede procurar una cierta

homogeneidad de formatos que facilitarían su revisión y registro en trabajos de
revisión; a su vez provocan una serie de limitaciones relacionadas con el estilo de
publicación en el que se tiende en numerosas ocasiones a la realización de
síntesis, por el limitado espacio ofrecido a cada trabajo, que puede dificultar la
apreciación de matices y cuestiones fundamentales para la comprensión de las
investigaciones desde una perspectiva global.
108
En algunos casos, la necesidad de publicación como reconocimiento de la

labor científica, como en la investigación educativa y en el ámbito español,
presenta serias dificultades por la escasez de fuentes con un reconocido prestigio
internacional.
109
110
SEGUNDA PARTE:
ESTUDIO EMPÍRICO
INTRODUCCIÓN AL ESTUDIO EMPÍRICO.
Si bien en la primera parte de esta Tesis Doctoral se han delimitado los

aspectos teóricos en los que se fundamenta este estudio, en esta segunda parte se
establecen tanto los rasgos técnicos que orientan todo el proceso investigativo,
como los resultados obtenidos de tal proceso.
Este marco empírico comienza, en el capítulo cuarto, con la definición de

la racionalidad del estudio, así como los aportes de éste al campo de la evaluación
de programas al que se refiere. Para ello, partiendo del planteamiento de algunas
cuestiones de investigación se establecen los objetivos que se pretenden alcanzar.
Siendo éste un proceso en el que se hace necesaria la revisión de la literatura
científica existente que permita exponer las supuestos y leyes a verificar.
El estudio es una revisión que trata de realizar un análisis conceptual y

sintetizar, en cuanto indicadores cientimétricos y metodológicos, las realizaciones
de la investigación educativa española sobre evaluación de programas durante el
periodo 1975 - 2000. Estos indicadores son propuestos, no sin dificultad en su
establecimiento, como variables del estudio, especificándose en el primer epígrafe
del capítulo quinto dedicado al Método de Investigación.
Este quinto capítulo queda asimismo constituido por los apartados en los
que se describe el instrumento de recogida de datos, aquellos en los que se
113
Introducción al marco empírico.
especifica la población y los mecanismos para la selección de la muestra, y en los

que se establece el diseño investigativo y los procesos de análisis de datos que se
emplearan.
Partiendo fundamentalmente de una búsqueda en la base de datos del

I.S.O.C./C.S.I.C.1 complementada con búsquedas cruzadas manuales, se realiza la
revisión de estudios publicados, en su mayoría, como artículos de investigación
en revistas científicas. Considerando que una serie de indicadores compilados
podrían ayudar a inferir ciertas consideraciones sobre evaluación de programas en
educación, en este campo y periodo.
El análisis de los datos de carácter cientimétrico, conceptual y

metodológico se realiza en los capítulos seis, siete y ocho, respectivamente. Es un
análisis eminentemente descriptivo, para en un posterior capítulo noveno, realizar
su discusión conjunta y comparada con otros estudios afines.
La sección empírica finaliza en el capítulo décimo, en el que además de

unas conclusiones de carácter general se ofrecen posibles aperturas del estudio y
nuevas propuestas en las que continuar esta línea investigativa.
1
I.S.O.C. : Instituto de Información y Documentación en Ciencias Sociales y Humanidades.
C.S.I.C. : Centro Superior de Investigaciones Científicas.
114
CAPÍTULO IV. MARCO EMPÍRICO DEL

ESTUDIO.
4.1. EL PROBLEMA GENÉRICO A ESTUDIO.

RACIONALIDAD.
En 1929, Ortega y Gasset escribía en su libro La rebelión de las masas

que:
“Ésta [la ciencia] necesita de tiempo en tiempo, como orgánica

regulación de su incremento, una labor de reconstitución, y,..., esto
requiere un esfuerzo de unificación, cada vez más difícil que complica
regiones más bastas del saber total”.
Esa labor de reconstitución pasa básicamente por dos caminos: La

investigación de síntesis a la búsqueda de la verdad definitiva por inducción, y la
propia evaluación de la investigación, como medio de denotar la validez y
fecundidad de los hallazgos, primarios o secundarios, que se infieren (Fernández
Cano, 1995a). A medio camino de ambas vías surge la metodología cientimétrica
con profundas implicaciones para la síntesis formal, que no de contenido, y con
pautas de racionalidad paraevaluativas denotadas por el ajuste a patrones propios
de la ciencia.
115
Capítulo IV. Marco empírico del estudio.
El campo de estudio a indagar aquí es el de la evaluación de programas

educativos. Por tanto, cuando nos interrogamos sobre evaluación estamos en
cierta medida realizando metaevaluación, lo que hay más allá de la evaluación, en
analogía al planteamiento terminológico aristotélico de la metafísica. Proceso que
podemos considerar necesariamente resolutivo dentro del propio diseño general
en la evaluación de un programa (Tejedor, 2000), como pauta de cambio
estratégico en la intervención y planificación evaluativa.
De la Orden y Martínez de Toda (1992) señalan la pertinencia de los

estudios de síntesis en investigación educativa. Ésta debe ser objeto de evaluación
o metaevaluación, ya que se han producido notables cambios en evaluación
educativa: En su objeto, método y audiencias; profesionalizándose e
institucionalizándose su uso. Sin embargo, son pocos los estudios de evaluación
que son evaluados, existe una resistencia a ser evaluado que pone en tela de juicio
esta práctica.
En otros países, como U.S.A., la evaluación de programas es una

candente línea de investigación, como se demuestra en los sucesivos trabajos de
Slavin (1997 y 1999), Klein (1997) y Pogrow (1998 y 1999) o que la NDCA1,
posee un servicio que anualmente revisa los trabajos de intervención e
investigación en esta área.
En España, aunque no admite comparación, ya que las revisiones

aparecidas en la década de los 90 sobre evaluación de programas son
relativamente limitadas (Rodríguez, 1993; Arruabarrena y Paul, 1994 y Repetto,
1993 y 1995), referidas en su mayor parte a lo producido en el ámbito anglosajón;
además de realizar revisiones sobre programas específicos, se comienzan a
estructurar algunas bases de datos como ISIS y a realizar compendios
bibliográficos como Bordón y R.I.E., abordando cuestiones primordiales para esta
disciplina.
1
N.D.C.A.: National Development and Career Association. (Asociación de Orientadores
Norteamericana).
116
Son ya numerosos los autores que abogan por priorizar los trabajos de
síntesis frente a los individuales en esta práctica evaluativa (Lipsey y Wilson,
1996; Cook, 1997), incluso considerándose como una de las connotaciones más
actuales (De Miguel, 2000; pp. 4-5) “la mejor forma de avanzar y profundizar
sobre el marco teórico de nuestra disciplina y nuestra tarea es a través de la
evaluación del trabajo que realizamos. De ahí que debamos someter a control
todos nuestros trabajos con el fin de que, al detectar sus puntos fuertes y débiles,
podamos tener una visión realista sobre la calidad del mismo y las limitaciones
que presentan para su utilización posterior”.
Pero como afirman Álvarez Rojo y Hernández (1997, pp. 21-22) "no
estamos sobrados en nuestro país de trabajos que lleven a cabo revisiones
sistemáticas" y "una revisión consiste en esencia en el análisis de los trabajos
publicados (libros, artículos y otros materiales) sobre un determinado tema en un
periodo de tiempo dado con objeto de determinar la estructura subyacente y las
líneas de desarrollo de ese tópico en ese lapsus temporal".
4.2. REVISIÓN DE LA LITERATURA.
En todo proceso de investigación tras delimitar el campo de interés se

hace necesario revisar los estudios anteriores pues este proceso permite detectar
lagunas en el conocimiento, establecer relaciones aparentes de contradicción en
investigaciones anteriores o la observación de nuevos fenómenos (McGuigan,
1977).
Aún siendo una tarea ardua, alcanza gran importancia dentro del proceso
de investigación que puede hacer de sus argumentos la justificación sobre su
pertinencia o prioridad, ofrecernos consideraciones para orientar su desarrollo,
ajustar ciertos aspectos técnicos o incluso abandonar el tema de estudio.
117
De forma concreta se han seguido las siguientes fases, estableciendo unas

pautas concretas para cada una de ellas:
1. Búsqueda de fuentes secundarias: Documentos con bibliografía conceptual

que expone el estado de la cuestión sobre el área problemática de una manera
general. Siendo este un proceso de conocimiento global que permite una primera
delimitación de aspectos concretos en los que se orientará la investigación.
2. Referencias generales: Libros, CDROM o bases de datos en los que se pueden

localizar referencias bibliográficas de libros o artículos, normalmente ordenados
por tópicos o descriptores. Destacando bases de datos como I.S.O.C., Psyclit,
Biblioteca Nacional, E.R.I.C.2 o S.S.C.I3.
3. Búsqueda de fuentes primarias: Bibliografía de investigación o

investigaciones. La mayor parte de las fuentes primarias se localizan en forma de
artículos, informes de investigación o evaluaciones de las investigaciones en
revistas científicas especializadas.
4. Recuperación de la fuente primaria, artículo o investigación de interés

recurriendo a su recuperación en hemeroteca, préstamo interbibliotecario o
solicitándolo bases de fondos documentales.
5. Revisión de la literatura. Una vez recuperada la información, comienza el

estudio o examen crítico de esa literatura. En esta Tesis, la revisión posee dos
funciones, la selección de los trabajos como fundamentación del estudio o como
muestra.
En este último caso, una primera lectura para emitir un juicio sobre si
sus características lo hacen ajustarse a las condiciones para su selección definitiva
como muestra; y una segunda revisión con profundidad para cumplimentar las
2
E.R.I.C. : Educational Resources Information Center.
3
S.S.C.I. : Social Sciences Citation Index
118
diversas variables cientimétricas, conceptuales y metodológicas consideradas,

conformadas en los diversos apartados que forman las bases de registro de datos.
Todos estos aspectos adquieren un nivel de significación de relevante

importancia como para hacer necesaria la delimitación conceptual que se le asigna
a la revisión de la literatura, explicitar las expectativas depositadas en el proceso
seguido y argumentar los hallazgos localizados en él.
Mediante el proceso de revisión de la literatura se pretende satisfacer

algunas de las siguientes expectativas:
En primer lugar, delimitar el campo de trabajo acotándolo al máximo,

pues aunque la literatura existente sobre el tópico de investigación es amplia en
cuanto a su contenido, se localizan un buen número de estudios de tipo teórico
con escasas fundamentaciones empíricas.
Así mismo, la exploración del conocimiento previo o de trabajos

similares, permite encuadrar al problema dentro de un marco general o área
problemática, situando dentro de este corpus de conocimiento las aportaciones
que se puedan ofrecer.
Mediante una revisión crítica de los estudios anteriores, se pueden

elaborar referencias metodológicas, ofreciendo argumentaciones y criterios para la
selección de diseños, para el establecimiento de las posibles variables o el uso de
los instrumentos de medida más aconsejables.
Además de todas estas aportaciones ofrecidas por la revisión de la

literatura, referidas a cuestiones teórico prácticas que fundamentan y facilitan la
realización de la investigación; en un estudio de síntesis como éste, el proceso de
revisión adopta otra perspectiva, pues se convierte en el principal mecanismo de
acceso a las referencias primarias o informes de investigaciones sobre evaluación
de programas, muestra y fuente de datos de este estudio de síntesis.
119
Por último, partiendo de la revisión de la literatura se puede realizar una

mejor integración de los hallazgos encontrados, clarificando o incluso generando
un corpus más amplio de conocimientos.
Todo este proceso no ha estado exento de algunas dificultades relacionadas

con dificultades de acceso y gestión de las fuentes e informaciones consideradas
población del estudio.
4.2.1. Revisión de la literatura conceptual.
Es éste el campo de la evaluación de programas educativos un ámbito de

estudio de enorme importancia y gran potencial de desarrollo dentro de la
investigación pedagógica española actual (Pérez Juste, 2000), como queda patente
por el seguimiento de este tópico por parte de fuentes de publicación de la
importancia de la Revista de Investigación Educativa en la difusión científica en
nuestro país, que incluso dedica su segundo número del año 2000,
monográficamente a esta disciplina.
Sin embargo, desde una perspectiva de valoración cualitativa global no

parece haber demasiadas investigaciones serias y profundas sobre evaluación de
programas educativos. Existiendo más artículos de opinión que estudios que
puedan considerarse con una argumentación fundamentada o metodología
científica. Es este un rasgo propio de disciplinas incipientes, que parece corregirse
apoyándose precisamente en estudios de revisión y síntesis.
En una primera aproximación a la producción científica española sobre

evaluación de programas educativos con carácter de síntesis, se comprueba la
realización de algunas clasificaciones de la producción diacrónica de trabajos
sobre las tendencias de la investigación educativa en nuestro país (Pérez, Jornet,
Suárez y González Surch; 1999). Algunas de ellas con carácter terciario
(Fernández Cano y Bueno, 1998).
120
Incluso se han realizado algunos estudios desde planteamientos

cientimétricos en investigación educativa general (Fernández Cano y Bueno, 1998
y 1999). Y en campos específicos como la logopedia (Fernández Cano, Lorite y
Machuca, 2000) o las líneas de investigación en psicología (Fernández, García-
Pérez, Igoa o Sanz; todos ellos con trabajos publicados en el 2002).
Sin embargo, el campo de la evaluación de programas no ha sido sometido

a un análisis sistemático en la triple vertiente, conceptual, metodológica y
cientimétrica, que permita ofrecer una visión panorámica del tópico del campo o
disciplina, abundando los trabajos impresionistas muy distintos de las revisiones
literarias clásicas.
Cada uno de los apartados de esta Tesis se fundamenta en principios

teóricos aprehendidos a través de este proceso de revisión, realizando su
referenciación en cada desarrollo concreto pertinente. Sin embargo hay
referencias que por su importancia poseen un valor central que puede
comprobarse al estar citadas en numerosas ocasiones.
Entre éstas destacan algunos manuales básicos de investigación educativa

empleados son los elaborados por Cohen y Manion (1990); Fernández Cano
(1995a); Arnal et. al. (1995); Colás y Buendía (1998); Buendía, Colas y
Hernández Pina (1998) o Buendía (1999).
Y otros textos especializados para el desarrollo de aspectos específicos,

como el análisis de datos, como los de Botella, León y San Martín (1993) y Pardo
y San Martín (1994). Sobre evaluación de programas los de Colás y Rebollo
(1993), Fernández Ballesteros (1996), Velaz de Medrano et. al. (1996) o Joint
Committee (1998). Y tratados de introducción a la Cientimetría, como los
firmados por Callon, Courtial y Penan (1995); López López (1996) y Spinak
(1996).
121
Tras el proceso de revisión de la literatura que fundamenta los principios

conceptuales generales de este trabajo, se plantea la revisión de la bibliografía de
investigación específica.
4.2.2. Revisión de la literatura de investigación.
Una primera aproximación a la investigación educativa española sobre

evaluación de programas educativos, permite apreciar la ausencia de
investigaciones serias y profundas sobre evaluación de programas educativos.
Existiendo más artículos de opinión que estudios que puedan considerarse con una
argumentación fundamentada o metodología científica.
En esta línea se han realizado algunas clasificaciones por años y tipos de

trabajo sobre las tendencias de la investigación educativa en nuestro país (Pérez,
Jornet, Suárez y González Surch; 1999) o (Fernández Cano, 1997).
Los estudios de evaluación de la investigación, estudios de revisión o de

tipo secundario en el contexto español se han referido en su mayoría a la
Pedagogía General y a la gestión y organización de la investigación (Pineda, 1985
y Colás, García y Rodríguez, 1995). Destacando también algunos estudios sobre
la evaluación de la producción investigadora de Centros o publicaciones
específicas. (Fernández Huerta, 1985; García Garrido y Pedró, 1983).
Incluso se dispone de un estudio (Fernández Cano, 1999) en el que se

analiza a nivel conceptual la producción educativa española, contenido en la base
Social Sciences Citation Index del Institute for Scientific Information, para el
periodo 1988-1997.
En la Tabla 4.1. se realiza una clasificación de los estudios atendiendo al

tipo de análisis realizado y disciplina revisada, tomada de Fernández Cano (1997)
y ampliada.
122
Con estos estudios, eminentemente descriptivos, se comprueba la

existencia de líneas de investigación poco consolidadas y patrones difusos de
productividad institucional y personal.
Tabla 4.1. Revisión de estudios relativos a la evaluación de la investigación educativa española.

Disciplina
Autor/es Año Tipo de análisis Hallazgos tras la revisión
examen/literatura revisada
Sociológico
GLEZ. BLASCO et al. 1979 Ciencia en general.
Histórico
- Predominio de
Métodos cualitativos para estudios de la literatura estudios descriptivos.
CARPINTERO y PEIRÓ 1981
científica
- Patrones difusos de
Investigaciones empíricas productividad
ECHEVERRÍA 1983 Exploratorio
educativas. institucional y
Educación comparada. personal.
GARCÍA GARRIDO y
1983 Examen diacrónico Artículos adhoc en revistas
PEDRÓ
de pedagogía (1940/83). - Ausencia de “colegios
Orientación Escolar invisibles”, sólo
LÁZARO 1983
Publicaciones (1950/76). detectables mediante
Perspectiva Investigaciones realizadas índices de citación y
FDEZ. HUERTA 1985
Heurística en la U.N.E.D. (1978/85). no por indicadores de
Estructura de productividad. Círculos científicos. productividad.
PINEDA 1985 Conglomerados de investigadores. Publicaciones
periódicas. - Existencia de líneas de
Historia de la Educación. investigación aunque
PINEDA 1986 Bibliométrico poco consolidadas y
Publicaciones (1949/1976)
SÁNCHEZ VALLE 1987 Análisis documental. Pedagogía General. estables.
Educación Especial
ROMERA 1992
Revistas pedagógicas (1950/84).
- Uso predominante de
metodologías
cuantitativas.
Revisión de trabajos
- Temáticas: niveles de
ÁLVAREZ ROJO 1993 publicados en Orientación
los alumnos,
revistas científicas.
problemas del
orientador y madurez
vocacional.
- Líneas de indagación
prioritarias.
- Tendencias temáticas.
COLÁS, GARCÍA y Empíricos. Organización y gestión de la - Aproximación
1995
RODRÍGUEZ investigación metodológicas
preferentes.
- Calidad y cantidad de
la investigación.
- Perspectiva eminentemente métrica.

- Centralización en el indicador productividad.
- Pretensión de denotar círculos científicos.
GALANTE y Historia de la - Mayor o menor ajuste a normas de información
1996
SANCHIDRIAN Educación científica.
- Descripción de la evaluación diacrónica de la
producción evaluada en el seno de su respectiva
disciplina científica.
ÁLVAREZ ROJO 1998 Revisión literatura Orientación Caracterización temática.

FERNÁNDEZ, GARCÍA- Caracterización del periodo
2002 Líneas de investigación en la psicología española
PÉREZ, IGOA, y SANZ 1989-1998.
123
Aunque en la investigación educativa española se han realizado algunos

estudios bibliométricos en investigación educativa general (Fernández Cano y
Bueno, 1998 y 1999), en evaluación de programas educativos son escasos los
análisis cientimétricos de su producción específica (Expósito y Fernández Cano,
2002), como de la citación (Fernández Cano y Expósito, 2001).
Estos estudios de síntesis cientimétrica quedan reflejados en la siguiente

tabla 4.2 que tomada de Fernández Cano y Bueno (1999), y que ha sido
actualizada en este trabajo.
Tabla 4.2. Estudios de síntesis cientimétrica en la investigación educativa española.

Autor/es Año Foco del estudio Periodo
ALVAREZ et al. 1995 Investigación sobre orientación desde la universidad 1990-95
BARTOLOMÉ y La investigación en ciencias de la educación de la
1997 1990-95
SANCHO Universidad de Barcelona.
BENAYAS 1997 Investigación en educación ambiental. 1978-96
BENEDITO 1983 La investigación en los ICE´s. 1970-82
Análisis bibliométrico en la Revista de Psicología General y
BLASCO 1991 1946-84
Aplicada
BLASCO y La Orientación educativa desde perspectiva Bibliométrica en
1993 1946-84
BENAVENT la Revista de Psicología General y Aplicada.
CALATAYUD y Revista Española de Pedagogía. Una aproximación
1992 1943-90
SALA bibliométrica.
CALATAYUD y Evolución y desarrollo de los contenidos pedagógicos en la
1984 1943-83
SALA revista Bordón
COLÁS, GARCÍA Organización de la investigación en el área MIDE de las
1995 1995
y RODRÍGUEZ universidades españolas.
La investigación empírica de carácter educativo en las
ECHEVERRÍA 1982 1980-83
universidades españolas
ESCOLANO,
La investigación pedagógica universitaria en España. Estudio
GARCÍA y 1980 1940-76
PINEDA.
histórico documental
ESCOLANO 1982 La revista interuniversitaria Historia de la Educación 1970-77

ESCRIHUELA y La orientación educativa en la revista de Ciencias de la
1988 1955-85
BENAVENT educación, antigua “Revista Calasancia”
124
ESCRIHUELA y Estudio bibliométrico de la revista de Ciencias de la

1988 1955-85
BENAVENT Educación.
ESCUDERO y
FERNÁNDEZ 1976 Investigación en los ICE´s. 1970-75
URÍA
FERNÁNDEZ
1985 Investigación didáctica – pedagógica en la UNED. 1978-85
HUERTA
FUEYO, y
Análisis de la documentación sobre evaluación de centros en
FERNÁNDEZ 1989 1970-87
RAIGOSO
España.
GALANTE, y Evaluación de los trabajos de grado en historia de la

1996 1980-90
SANCHIDRIAN educación desde una perspectiva bibliométrica
GANDARA 1992 La investigación en enseñanza de las ciencias en España. 1983-91
GARCÍA
La evaluación Comparada a través de las revistas
GARRIDO y 1983 1940-83
PEDRÓ
pedagógicas españolas
GONZÁLEZ
1978 La investigación educativa en los ICE´s. 1970-77
GARCÍA
Tendencias temáticas en los estudios sobre orientación

LÁZARO 1983 1952-76
escolar en España.
MARÍN,
La investigación empírica sobre el rendimiento en España en
MARTÍNEZ Y 1985 1975-85
RAJADELL
la década de 1975-1985.
MATA y La renovación didáctica en las ciencias experimentales. Un

1985 1975-83
MÉNDEZ estudio bibliométrico.
Diez años de la revista “enseñanza de las Ciencias”. De una
MOREIRA 1994 1983-92
ilusión a una realidad.
MURILLO et al. 1995 La investigación española en educación multicultural. 1992-95
NIETO y PÉREZ Estudios e investigaciones sobre rendimiento académico).
1994 1970-90
SERRANO Análisis estadístico y bibliométrico.
Libros de pedagogía extranjeros traducidos y publicados en 1898-
ORTEGA 1983
España. 1936
1988 Perspectiva de la educación infantil en España a partir del
PEREA et al. 1976-92
. análisis bibliométrico de su producción.
PÉREZ SERRANO 1985 Evaluación de la investigación educativa. 1970-83
PÉREZ SERRANO
1992 Análisis acerca del rendimiento en España 1976-86
y NIETO
PINEDA 1986 Artículos de Historia de la Educación 1949-76

PINEDA 1986 Artículos sobre Organización Escolar 1949-76
PINEDA 1986 Artículos sobre dirección de centros 1949-76
125
RIBES y Estudio bibliométrico de la revista “Perspectivas

1991 1958-84
BENAVENT pedagógicas”
Bibliografía española sobre familia y ciencias de la
RIOS, J.A. 1978 1966-76
educación.
La investigación experimental y diferencial a través de los 1968,72,
RIVAS et al. 1985
congresos nacionales de pedagogía. 76
Potencialidad de la bibliometría para el estudio de la ciencia.
ROMERA 1992 1950-84
Aplicación a la educación especial.
SÁNCHEZ
1987 Libros de texto universitarios de pedagogía. 1932-82
VALLE
SARRAMONA 1988 Situación de la investigación educativa en Cataluña. 1986-95

1983-
BUENO 2001 Evaluación de la Revista RIE
2000
FDEZ. CANO,
Exploración cientimétrica de la producción española en 1987-
LORITE Y 2000
MACHUCA
logopedia educativa. 1998
FDEZ. CANO Y Patrones de citación en la investigación educativa española 1975-

2001
EXPÓSITO sobre evaluación de programas educativos. 2000
Análisis cientimétrico, conceptual y metodológico de las 1976-
TORRALBO 2001
Tesis Doctorales Españolas en educación matemática 1978
En
EXPÓSITO Y Productividad en la investigación educativa española sobre 1975-
pren
FDEZ. CANO evaluación de programas educativos. 2000
sa
En esta revisión sobre la bibliografía existente tan sólo se ha detectado un

estudio que con una perspectiva globalizante, plantee un análisis vertebrado desde
aspectos conceptuales, metodológicos y cientimétrico sobre la producción
científica española. Elaborado por Torralbo (2001), y referenciado en la tabla 4.2,
se refiere a las tesis doctorales españolas.
Aunque existen algunos estudios que realizan un tratamiento parcial en

evaluación de programas educativos, desde aproximaciones exclusivamente
cientimétricas. Sin embargo, no se ha localizado estudio alguno que desde esta
triple perspectiva se refiera a este tópico de investigación.
126
4.3. DELIMITACIÓN Y ENUNCIADO DE PROBLEMAS Y

OBJETIVOS ESPECÍFICOS.
Partiendo de los planteamientos establecidos en epígrafes anteriores

dedicados al establecimiento de la racionalidad de la investigación fundamentada
en el proceso de revisión de la literatura, se plantean algunos interrogantes a los
que se pretende dar respuesta en el desarrollo de la investigación.
En el mismo sentido se orientan las especificaciones de planteamiento

establecidas por Colás y Buendía (1998) en cuanto a la necesidad de claridad de
formulación que facilite su lectura y comprensión de las cuestiones a las que se
pretende responder con la investigación. Concisión en la formulación, con una
buena adecuación al lenguaje técnico y precisión científica. Y operatividad, en
cuanto a la descripción del fenómeno que se intenta describir y las unidades de
análisis empleadas en su descripción.
Siguiendo las anteriores pautas para la delimitación del problema de

investigación, y siendo este un estudio en el que se pretende sintetizar la
producción investigativa en evaluación de programas educativos en el ámbito
español durante el periodo 1975-2000, desde una triple vertiente (conceptual,
cientimétrica y metodológica), nos planteamos los siguientes interrogantes:
• ¿Qué indicadores cientimétricos, conceptuales y metodológicos

caracterizan la investigación educativa española en evaluación de programas?
• ¿Qué valores adquieren los indicadores cientimétricos,

conceptuales y metodológicos que caracterizan la investigación educativa
española en evaluación de programas?
• ¿Cómo evolucionan diacrónicamente los patrones de los

indicadores cientimétricos, conceptuales y metodológicos que caracterizan la
127
investigación educativa española en evaluación de programas, durante el último

cuarto de siglo?
En sentido paralelo a la formulación de interrogantes, el establecimiento

de objetivos debe plasmar con claridad el proceso de investigación, iluminándolo
(Zabalza, 1987), facilitando la calidad y eficacia del proceso a seguir y
expresando de forma general el desarrollo de éste (Buendía, Colás y Hernández
Pina, 1998).
El planteamiento de estos interrogantes determina el establecimiento de

los objetivos que se pretenden alcanzar en la realización de esta investigación,
entre los que además de objetivos de carácter general, se establecen otros
específicos en estos tres ámbitos en los que se vertebra el estudio.
Objetivos generales:
• Ofrecer una visión panorámica acerca de la investigación

científica en este campo y periodo.
• Dar una visión diacrónica de las investigaciones sobre evaluación

de programas educativos en el ámbito español, exponiendo su
evolución.
Y específicamente en sus aspectos conceptuales los objetivos son:
• Analizar y categorizar los títulos, palabras clave y conceptos

básicos desde los que parten las investigaciones sobre evaluación
de programas.
• Extraer y delimitar las áreas de mayor interés para la

investigación dentro de la evaluación de programas.
128
En los aspectos cientimétricos, los objetivos son:
• Denotar patrones de productividad en autores tanto en cuantía

como en tipo.
• Indagar patrones de productividad institucional.
• Señalar las fuentes más utilizadas para la publicación de estos

trabajos científicos.
• Describir las pautas de citación en cuanto a cantidad, antigüedad,

autoría, tipo y lengua de la cita.
• Caracterizar la investigación educativa en este campo y periodo,

según normas cientimétricas, comprobando si se verifican las leyes
más relevantes a partir de los indicadores básicos de
productividad y citación.
En los aspectos metodológicos, los objetivos son:
• Denotar los paradigmas o enfoques metodológicos más utilizados.
• Señalar las teorías de las que parten los estudios y los tipos de
hipótesis u objetivos que se plantean.
• Analizar qué modelos evaluativos son utilizados, qué metodologías

se siguen y qué facetas de los programas son evaluadas.
• Indicar los tipos de instrumentos requeridos en cada tipo de

evaluación, su validez y fiabilidad, así como las escalas de
medida utilizadas.
129
• Comprobar los tipos y técnicas de selección muestral, denotando

características típicas de la muestra como sexo, edad, nivel
académico y cualquier otra característica señalada en los estudios
para describirla. Así como las poblaciones a las que pretenden
generalizarse.
• Describir los diseños utilizados en las investigaciones en cuanto a

tipo, denominación específica y temporalización, agentes
evaluadores, amenazas a su validez y mecanismos para su control.
• Indicar las unidades básicas de análisis, los estadísticos utilizados

y tipos de análisis realizados en las investigaciones sobre
evaluaciones de programas.
• Describir los programas evaluados en las investigaciones

revisadas en cuanto a su contenido, duración y seguimiento,
soporte, efectos sobre los usuarios y decisiones que se toman tras
su implementación.
• Establecer inferencias evaluativas globales sobre la

caracterización metodológica de la investigación española en
4.4. HIPÓTESIS A VERIFICAR.
Para la caracterización de la investigación sobre evaluación de programas

educativos en el ámbito español mediante el estudio de sus aspectos
cientimétricos, conceptuales y metodológicos, se realiza una aproximación no
normativa. No se pretende el estudio de programas estándares, sino de sus
informes de evaluación atendiendo a los tres aspectos mencionados.
130
Estos tres ámbitos (cienciométrico, conceptual y metodológico) que

delimitan en el capítulo anterior se establecen los principales indicadores y leyes
cienciométricas empleadas en este estudio, y en el próximo se establecen las
variables, cuyas distribuciones de datos se pretende ajustar a los patrones teóricos
propuestos por éstas. Parece oportuno definir además los tres ámbitos y los
supuestos que vertebrarán el establecimiento de las variables.
Estas hipótesis de naturaleza descriptiva son conjeturas sobre patrones de

la actividad investigadora que se esperan verificar en un ámbito científico bien
acotado como es el de la evaluación de programas educativos en España.
De manera explícita los supuestos o hipótesis establecidas son las

siguientes:
H1: La producción española de investigaciones sobre evaluación de

programas educativos es susceptible de identificación a través de una serie de
indicadores cientimétricos, conceptuales y metodológicos.

programas educativos cumple un amplio rango de marcos conceptuales y
metodológicos.

programas educativos se ajusta a los patrones teóricos propuestos en la leyes
básicas de la Cientimetría.
La racionalidad del planteamiento de estas hipótesis descansa en diversos

aspectos relacionados tanto con la revisión de los supuestos teóricos en el campo
de la E.P.E. revisados en el apartado anterior, como por experiencias de trabajos
de investigación previos (Expósito, 2000; Expósito y Fernández Cano, 2002;
Fernández Cano y Bueno, 1999; Fernández Cano y Expósito, 2002 o Fernández
Cano, Lorite y Machuca, 2000).
131
4.5. APORTE DEL ESTUDIO AL CAMPO DE LA

EVALUACIÓN DE PROGRAMAS.
La evaluación de programas educativos se encuentra en un momento de

replanteamiento en el que las investigaciones de síntesis pueden arrojar cierta luz.
Parece un comienzo adecuado, teniendo en cuenta que este tipo de estudios no
existe en el campo de la evaluación de programas, realizar un estudio
eminentemente descriptivo atendiendo a cuestiones conceptuales, metodológicas y
cientimétricas (Fernández Cano y Bueno, 1998).
El análisis conceptual de las investigaciones en tres niveles: títulos,

palabras clave y conceptos básicos, permitirá delimitar las áreas de mayor interés
para la investigación dentro de la evaluación de programas, clarificando este
campo de estudio e indicando itinerarios de investigación.
Los registros metodológicos informarían, además de las cuestiones sobre

la fundamentación en unas determinadas posiciones paradigmáticas y teorías, del
uso de ciertos modelos y metodologías evaluativas. Igualmente de ciertas
cuestiones sobre el nivel o grado de desarrollo técnico dentro de esta área de
conocimiento como la adecuación de algunos instrumentos, en aspectos como su
validez, fiabilidad o escalas de medida empleadas y tipos de análisis; los diseños
de investigación y los análisis de datos empleados.
Así mismo, la consideración y descripción de resultados referidos a

ciertas variables como la población de referencia, características de las muestras,
productos o efectos y resultados de los programas, permiten alcanzar una
perspectiva próxima al examen del rendimiento de resultados, aunque sin alcanzar
la sofisticación de los procesos meta-analíticos.
Permitiendo una visión de conjunto de los aspectos metodológicos

obtener una evaluación de la investigación española en este tópico evaluativo.
132
Por su parte, la Cientimetría permite vislumbrar el estado de la cuestión,

no sólo en un sentido cuantitativo y ordinal de la producción o la citación; sino
que también informa, acerca del impacto de la investigación sobre la práctica
evaluativa y de la capacidad de difusión de ésta (López López, 1996),
determinando el dinamismo y vigencia de una línea de investigación dentro del
sistema.
Los estudios cientimétricos aportan, en definitiva, una homologación

científica si éstos denotan ajustes a patrones científicos comúnmente aceptados.
La pretensión general de este trabajo no es más que ofrecer una

caracterización de la investigación sobre evaluación de programas sintetizando
algunos aspectos de los estudios que se han realizado, para poder ofrecer una
visión panorámica (background, utilizando el término anglosajón) y justificar los
planteamientos que permitan el desarrollo de nuevas opciones y líneas de trabajo
en este campo (Fernández Cano; Bueno; González y Olmedo, 2000).
Además, la pertinencia e importancia de este tipo de trabajo podemos

encontrarla no sólo en el ámbito de la investigación educativa (Colás; García y
Rodríguez, 1995), sino desde una perspectiva aplicada, desde la propia práctica de
la enseñanza para la mejora dentro del aula o evaluación ordinaria (Pérez Juste,
2000).
Un claro ejemplo de la importancia que se le otorga a esta disciplina de la

evaluación de programas dentro de la formación pedagógica, puede encontrase en
los planes de formación de la Universidad de Granada, que plantea en quinto
curso de esta licenciatura una asignatura de tipo troncal, “Evaluación de
programas, centros y profesores”, referida en parte, a este campo de conocimiento.
133
4.6. DEFINICIÓN DE TÉRMINOS CLAVE.
Tras la introducción al marco empírico de la investigación realizada en

este capítulo cuarto en el que se han definido aspectos generales de ésta como su
racionalidad y motivación, objetivos e hipótesis e incluso los aportes que podría
ofrecer a la disciplina científica; es necesaria la definición de términos en torno a
la que gira la realización este proceso.
No se pretende la definición normativa de tales términos, sino especificar

la asignación de significados a cada uno de ellos. Siendo tales apreciaciones los
condicionantes para su empleo en el resto del informe.
Revisión de la literatura: Se entiende por revisión de la literatura al

proceso de búsqueda y recuperación, en su caso, de las referencias bibliográficas
del tópico tratado, en este caso la evaluación de programas educativos españoles,
en el periodo diacrónico 1975-2000.
A este término se le asigna en este proceso de estudio una doble

finalidad. La relacionada con la búsqueda general de informaciones de la
disciplina y la recuperación de estudios primarios como muestra de este estudio de
síntesis.
Evaluación de programas educativos: Campo o disciplina en la que se

plantea desde diversas perspectivas epistemológicas la valoración o juicio del
mérito o valor de un programa, programación o plan, cuya finalidad sea
eminentemente la educación o formación de los destinatarios/usuarios de ese
programa.
Investigación educativa: Aquella en la que estableciendo unos

objetivos o hipótesis de trabajo, y recogiendo informaciones mediante procesos
válidos y fiables, se alcanzan unas conclusiones. Al referirse específicamente al
campo de la educación, posee unas peculiaridades propias y cercanas al resto de
disciplinas del ámbito Social y de las Humanidades.
134
Además para establecer las dimensiones o aproximaciones que permiten

la organización general de este trabajo, se hace necesario añadir los supuestos
propuestos por Hernández Pina (1995) sobre el estudio de los métodos, los
procedimientos y las técnicas utilizados para obtener un conocimiento, una
explicación y una comprensión científica de los fenómenos educativos.
Trabajos de investigación/investigaciones: Informe de investigación

mediante el que se comunica a la comunidad científica los hallazgos encontrados
en un proceso investigativo. Usualmente los principales canales de comunicación
son la edición como monografía, la publicación en una revista científica, o su
notificación/publicación en un seminario o congreso y en las actas de éste.
Revista científica: Fuente en la que usualmente se publican trabajos

teóricos o de investigación de una temática específica. El prestigio que la
comunidad científica asigna a cada una de estas fuentes se convierte en la base de
su credibilidad.
Literatura gris: Espectro amplio de documentos no convencionales

(Spinak, 1996) entre los que se incluyen informes (separatas, informes
preliminares, técnicos, o internos), tesis doctorales, actas de congresos,
documentos oficiales, informaciones electrónicas y documentos no publicados. En
general, cualquier publicación que carezca de ISSN4 (propio de una revista) o
ISBN5 (propio de un libro)
También es conocida como literatura informal, subterránea, invisible,

efímera o semipublicada (Alberani et al, 1990)
Análisis cientimétrico: Análisis para el estudio de la producción

científica en el tópico y periodo reseñados, sobre la base de diferentes indicadores
de producción y citación, tales como: Nombre y números de autores, nombre y
4
I.S.S.N.: International Standard Serial Number.
135
número de las instituciones y áreas a las que éstos pertenecen, número y tipo de
citas o lengua en la que se realizan.
Análisis Conceptual: Análisis para el estudio de la producción científica

en el tópico y periodo reseñados atendiendo a los contenidos desarrollados en los
programas evaluados, los resultados que se obtienen de ellos y se registran para su
evaluación o las palabras claves que definen sus informes de investigación.
Análisis Metodológico: Análisis para el estudio de la producción

científica en el tópico y periodo reseñados estudiando diversos aspectos técnicos
del proceso investigativo referidos principalmente a su fundamentación teórica,
del instrumento/s de recogida de datos, características de la población y muestra
considerada para el estudio, diseño de la investigación o análisis empleados en el
tratamiento de los datos.
Aunque estas definiciones se han adaptado a las especificaciones

concretas de este estudio, se pueden considerar afines a las realizadas en manuales
básicos de investigación educativa descritos en el apartado de revisión de la
literatura.
Dato / indicador: Aunque usualmente todas las informaciones

empleadas en el origen de una investigación reciben el nombre de dato. Sin
embargo, algunos autores como Fernández Cano (1995a) distinguen en dato un
carácter más cualitativo y en indicador un dato exclusivamente numérico.
Estudios de revisión y síntesis: Aquellos en los que se examinan

trabajos sobre una disciplina o tópico concreto tratando, sin llegar al rigor
metodológico del metaanálisis propuestos por Glass (1976), sintetizar sus
resultados.
5
I.S.B.N.: International Standard Book Number.
136
Además de un carácter evaluativo-sumativo, poseen grandes cualidades

exploratorias y permiten visiones amplias sobre el estado de la cuestión en
ámbitos de investigación específicos.
En el mismo sentido que la conceptualización de términos permitirá

establecer con claridad los parámetros en los que definir las variables o el ámbito
de empleo de los diversos indicadores cienciométricos, parece necesario el
establecimiento de unos determinados supuestos que facilitará la definición de
aspectos referidos al método y diseño de la investigación. Aspectos de
delimitación general que tienen su continuidad en el capítulo quinto dedicado a la
exposición explícita del Método de Investigación.
137
138
CAPÍTULO V. MÉTODO.
Algunas de las consideraciones realizadas en el capítulo anterior relativas

a la introducción del estudio empírico y concretamente en algunos de los epígrafes
en los que se plantean los objetivos y las hipótesis y leyes a verificar, se emplean
como criterios para el establecimiento de los distintos aspectos que definen el
método de investigación.
5.1. INDICADORES Y VARIABLES DEL ESTUDIO.
En el establecimiento de las variables es necesario su definición clara

para evitar ambigüedades e imprecisiones. Atendiendo a esa triple perspectiva del
estudio, declarada en apartados anteriores, referida a aspectos cientimétricos,
conceptuales y metodológicos, se organiza la definición operativa de los
indicadores y variables del estudio.
5.1.1. Indicadores y variables cientimétricas.
En los estudios descriptivos se utilizan indicadores expresados mediante

estadísticos como frecuencias, porcentajes y medias aritméticas (Briones, 1991).
Adaptados en estudios de tipo cientimétrico por los indicadores específicos
referenciados a continuación y referidos tanto a aspectos de productividad como
de citación (López López, 1996).
139
5.1.1.1. Indicadores y variables de productividad.
1. Fecha de publicación (Carácter: Numérico/Valor: 1975 – 2000)

Registro de la fecha de publicación de cada trabajo tomado como muestra de este
estudio, en un intervalo diacrónico cerrado referido en los valores que puede
adoptar la variable.
2. Registro de autores (Carácter: Nominal/Valor: indefinido).

Registro de apellidos e inicial del autor/es de cada documento.
3. Número de autores (Carácter: Numérico/Valor: 1 - ∞). Registro

del número de autores de cada documento.
4. Institución/es productora/s (Carácter: Nominal/Valor:

indefinido). Registro del nombre de la institución/es a la que pertenece el autor/es.
5. Número de Institución/es productora/s (Carácter:

Numérico/Valor: 1 - ∞). Registro del número de la institución/es a la que
pertenece el autor/es.
6. Área/s productora/s (Carácter: Nominal/Valor: indefinido).

Registro del nombre del área/s de conocimiento a la que pertenece el autor/es.
7. Número de área/s productora/s (Carácter: Numérico/Valor: 1 -

∞). Registro del número de la institución/es a la que pertenece el autor/es.
8. Fuente de publicación (Carácter: Nominal/Valor: indefinido).

Nombre propio de la fuente en que se publica el estudio considerado para su
revisión como unidad de muestra.
9. Tipo de fuente (Carácter: Nominal/Valor: artículos,

comunicaciones y capítulos de libros).
140
10. Número de páginas del informe (Carácter: Numérico/Valor: 1 -

∞). Registro del número de páginas del informe de investigación.
Se pueden realizar análisis de las producciones de una disciplina, como la

evaluación de programas, de acuerdo con el rango de sus páginas en asociación
con el impacto, el costo o su crecimiento diacrónico (Fisher, 1991).
Las variables catalogadas con un valor indefinido no poseen categorías

de registro cerradas a priori, sino que la revisión de la distribución de datos
permite el establecimiento concreto del sistema de ordenación categorial.
Especificándose por tanto éste en el mismo análisis de datos referido a cada
variable.
5.1.1.2. Indicadores y variables de citación.
Los indicadores y variables referidos a la citación se concretan en dos

ámbitos. Los primeros, desde la variable ocho a once, se refieren aspectos
distribucionales de cada una de las referencias citadas en los trabajos revisados y
tomados como muestra de este estudio. Y los siguientes, desde la doce a la quince,
al cómputo global de los datos referidos a estas distribuciones en cada documento.
11. Distribución nominal de autores citados (Carácter:

Nominal/Valor: indefinido). Registro del apellido e inicial del nombre del autor de
cada una de las referencias bibliográficas realizadas en cada uno de los estudios
revisados como muestra.
12. Distribución de fechas de las citas (Carácter: Numérico/Valor:

indefinido - 2000). Distribución de datos con las fechas de publicación de cada
una de las referencias citadas en cada estudio revisado. Su posible valor se registra
en un intervalo mixto, puesto que aunque las fechas de publicación se establezcan
141
de forma cerrada entre 1975-2000, las citaciones que se realizan pueden ser
anteriores a 1975.
13. Distribución del tipo de fuente citada (Carácter: Nominal/Valor:

libro, revista u otra fuente). Distribución de datos con registros del tipo de fuente
de cada una de las referencias citadas en cada estudio revisado.
14. Distribución de idioma de la cita (Carácter: Nominal/Valor:

español, inglés y otro idioma). Distribución de datos con registros del idioma de
publicación de cada una de las referencias citadas en cada estudio revisado.
15. Total de referencias citadas (Carácter: Numérico/Valor: 0 - ∞).

Número total de referencias citadas en cada uno de los trabajos tomado como
muestra.
16. Antigüedad promedio (Carácter: Numérico/Valor: 0 - ∞).

Promedio de la antigüedad de las citas de cada trabajo citado y tomado como
unidad muestral.
17. Variabilidad promedio (Carácter: Numérico/Valor: 0 - ∞).

Promedio de la variabilidad de las citas de cada trabajo revisado y tomado como
unidad muestral.
18. Total de citas por tipo e idioma de publicación (Carácter:

Numérico/Valor: 0 - ∞). Número de citas realizado en cada idioma registrado
(español, inglés y otro) y por cada tipo de fuentes de publicación (libro, revista,
otra).
142
5.1.2. Indicadores y variables conceptuales.
El análisis de los aspectos conceptuales de los programas evaluados se

obtiene del registro y análisis de datos considerado en las siguientes variables:
1. Títulos de los trabajos revisados (Carácter: Nominal/Valor:

indefinido). Se registra el título completo de los trabajos tomados como muestra
de este estudio. Permitiendo el análisis de este dato además de aspectos
cientimétricos, relacionados con la extensión de éste, aspectos relacionados con su
contenido.
2. Contenidos representativos del programa (Carácter:

Nominal/Valor: indefinido). Contenidos específicos declarados en el diseño y
desarrollados en el proceso de implementación del programa evaluado.
3. Áreas o disciplinas a las que afectan los programas. (Carácter:

Nominal/Valor: indefinido). Áreas o disciplinas sobre las que inciden las
intervenciones propuestas en los programas evaluados.
4. Palabras clave (Carácter: Mixto/Valor: 0 - ∞ + indefinido).

Registro de palabras clave que describen nominalmente el informe de
investigación, usualmente publicado en formato de artículos en revistas
científicas, y considerados como muestra de este estudio.
Los posibles valores, que puede adoptar la distribución de esta variable

aunque indefinidos, se pueden registrar tanto por su frecuencia numérica para
cada categoría considerada y tras una clasificación nominal de las palabras clave
más usuales en cada una de ellas.
Al ser esta una variable que no se presenta en la totalidad de trabajos

considerados como muestra, mediante el consenso de expertos se elabora el
registro de palabras clave a partir de la revisión del informe de investigación.
143
La naturaleza de todas estas variables de tipo conceptual determina que

los análisis propuestos sean eminentemente cualitativos. Sus valores de registro
quedan a priori indefinidos, para su categorización a partir del propio análisis
combinado de los contenidos de éstas.
5.1.3. Indicadores y variables metodológicas.
Los indicadores y variables de carácter metodológico, detallados a

continuación, pretenden describir el proceso empírico de investigación de cada
uno de los trabajos revisados y tomado como muestra.
Como afirma Colás (1998) la investigación educativa actual aglutina

múltiples formas de lenguaje y de lógicas subyacentes. La diversidad de
denominaciones aplicadas a trabajos de investigación (estudios correlacionales,
cualitativos, investigación-acción, diseños ATI, etc.) provoca, la mayoría de las
veces, confusiones...
Por ello su definición y ordenación a priori en macro categorías se

sustenta en las apreciaciones de estructuración que ofrecen manuales básicos de la
investigación educativa para la elaboración de los informes de investigación y con
posterioridad en la categorización a posteriori de las informaciones ofrecidas por
los propios informes revisados.
5.1.3.1. Aspectos relativos a la teoría y fundamentación de las

investigaciones:
1. Paradigma/enfoque metodológico. (Carácter: Nominal/Valor:

Científico, Interpretativo, crítico y mixto). Se registra el paradigma desde o para
el que se trabaja, declarado por los autores de cada informe o en su ausencia
inferido tras la lectura del informe.
144
Basándose en algunas de las apreciaciones de Colás y Buendía (1998) se

establece, de forma previa, la siguiente categorización paradigmática:
• Paradigma científico, también denominado positivista, nomotético o

normativo y fundamentado en la filosofía positivista.
Esta corriente lleva implícita la aceptación de unos determinados

principios y marco conceptual de referencia bajo el que trabaja la comunidad de
investigadores (Popkewitz, 1988) y que determina unas explicaciones de la
realidad basadas en una realidad simple, tangible y fragmentable; con procesos
investigativos libres de los valores y fines de los individuos; basados en el método
científico que partiendo de un sistema de variables operativo toma medidas
válidas y fiables; y que genera teorías de carácter normativo, generalizables y
universales.
• Paradigma interpretativo, también denominado ideográfico, naturalista o

fenomenológico, de gran tradición en las ciencias sociales, engloba un conjunto
de corrientes humanístico - interpretativas que se centran en el estudio de los
significados de las acciones humanas y la vida social (Erickson, 1989) y en la
comprensión de los fenómenos.
Asume la ciencia no como algo aislado del mundo, sino dependiente del
contexto social y una mayor complejidad en la explicación de la conducta
humana, que difícilmente puede explicarse por los mismos medios que los
fenómenos naturales. Generando conocimientos y teorías relativos de una realidad
múltiple e intangible que únicamente puede estudiarse de manera holística y
global.
• Enfoque sociocrítico o dialéctico, parte de la crítica y alternativa a los

modelos positivistas e interpretativos, pretendiendo superar el reduccionismo de la
primera y el conservadurismo de la segunda, y admitiendo la posibilidad de una
ciencia social ni puramente empírica ni puramente interpretativa (Foster, 1980).
145
Algunas de las características de este planteamiento giran entorno a la

creencia de que ni la ciencia ni los procesos metodológicos son asépticos y
objetivos, por lo tanto las explicaciones ofrecidas no son objetivas ni neutrales,
sino dependientes del interés humano.
Propugna una metodología desde la crítica ideológica para, además de

describir y comprender la realidad como en el paradigma interpretativo con un
carácter emancipador, transformar las organizaciones y los procesos educativos.
• Paradigma mixto, multiplista o complementarista. Las limitaciones de

cada uno de los paradigmas anteriores a provocado lo que algunos autores
interpretan como la emergencia de una nueva posición paradigmática,
denominada como “paradigma del cambio” (De Miguel, 1988) o “paradigma
emergente” al encontrarse en proceso de consolidación (Schwartz y Ogilvy, 1979;
Guba, 1985).
Asume una síntesis ecléctica de posicionamientos epistemológicos,

métodos y procedimientos desde un uso complementarista, no sólo para explicar y
comprender el fenómeno educativo, sino también para transformar el sistema.
Tabla 5.1. Caracterización epistemológica de los enfoques actuales en E.P.

ENFOQUES CIENTÍFICO INTERPRETATIVO CRÍTICO MIXTO
Naturaleza del Única Múltiple

Dinámica Plural
programa Fragmentable Intangible
Comprensión
Explicar Contribuir a la Generar teorías
Finalidad de la de relaciones
Predecir transformación de Resolver
evaluación internas
Controlar la realidad problemas
profundas
Técnico Práctico
Teórico/
CARACTERÍSTICAS
Tipo de conocimiento
Nomotético Concreto Emancipativo
que genera la E.P. práctico
Ideográfico
Los valores se
Neutralidad Influencia de incorporan a la
Rol de los valores en Ideología y valores
Rigor de los los valores en E.P. como una
la E.P. tras la E.P.
datos la E.P. adherencia
contextual
El evaluador es El evaluador
Relación Interacción
Distanciamiento también objeto de como “factor
evaluador/programa entre ambos
evaluación humano”
Consideración de Asume lo dado Indaga lo dado Transforma lo Incorpora los
supuestos por supuesto por supuesto dado por supuesto supuestos
Concepción del Determinista Voluntarista Crítica Contextualizada
programa Eficacia Creativa Liberadora Relativista
146
2. Ámbitos de fundamentación teórica. (Carácter: Nominal/Valor: No

específico, a categorizar tras el registro de datos).
La idea que subyace en el registro de todas estas variables de carácter

teórico es la delimitación del marco epistemológico de las investigaciones. Pero
mientras la asignación a un determinado posicionamiento paradigmático general
no plantea excesivos problemas, delimitar la teoría concreta de fundamentación
resulta en ocasiones una tarea compleja si no se declara de forma explícita en el
informe de investigación, que en ocasiones no ofrece toda la información que
sería oportuna.
El objeto de estudio de la investigación educativa es lo suficientemente

amplio y complejo como para que coexistan una gran diversidad de teorías que
pretenden explicarlo. Estas teorías, que a su vez se convierten en pilar de
fundamentación de nuevas realizaciones investigativas, son variadas y se pueden
encuadrar en diversas clasificaciones atendiendo a distintos aspectos.
En la tabla 5.2, se presenta una disposición de diversos ámbitos de

fundamentación en los que se suelen establecer las investigaciones sobre
evaluación de programas. Es una clasificación sencilla, cuya única pretensión es
junto al establecimiento del resto de las variables de este epígrafe, permitir la
comprensión de los procesos de investigación para la evaluación de programas, ya
que la categorización de los datos se realizará tras el registro de éstos.
147
Tabla 5.2. Ámbitos de fundamentación teórica en la investigación sobre E.P.

ÁMBITOS
Conductismo. Su objeto de estudio es cómo aprendemos respuestas

observables. Entre los autores más destacados encontramos a Pavlov, Thordike,
Skinner y Bandura, desde los estudios basados en el aprendizaje animal y su
paso al humano, posteriormente.
Cognitivismo: Tiene como objeto identificar los procesos mentales en el
APRENDIZAJE procesamiento, almacenamiento y extracción de la información. Se basa en los
niveles superiores evolutivos y sistemas complejos de respuesta. Entre algunos
de los autores más destacados encontramos a Novak, Ausubel y Piaget.
Constructivismo: Asume que el conocimiento es construido por las personas en
interacción con la realidad, mediante su interacción. Es lo que Beltrán (1996)
denomina como metáfora de la construcción de significado.Su representante
más cualificado y alma mater fue el pensador ruso Lev S. Vygotsky (Ver
Fernández Cano; Shaikjieva, Guerrero y Ujaque, 2000).
Teorías del pensamiento: Conjunto de teorías que trata de explicar como se
producen los fenómenos del pensamiento humano o procesos metacognitivos.
DESARROLLO Desarrollo infantil/adulto: Aquellas que intentan explicar el desarrollo en
PSICOLÓGICO distintas etapas del individuo.
Psicolingüísticas: Las referidas al procesamiento de informaciones en el ámbito
lingüístico del individuo.
Socio familiar/ afectiva y valores: Intentan explicar y mejorar las relaciones
sociales y/o familiares, haciendo especial énfasis en el desarrollo afectivo y la
aprehensión de valores adecuados por parte del individuo.
Salud y prevención: Propugnan el desarrollo de medidas, valores y conductas
SOCIAL
sociales tendentes a la prevención (especialmente drogodependencias y
enfermedades de transmisión sexual) y a la mejora general de la salud.
Laboral: Proponen modelos de educación, integración y mejora del ámbito
laboral.
Didáctica general: Teorías y principios didácticos de carácter general que por
medio de una relación dialéctica explican los procesos de enseñanza-aprendizaje
(Carr, 1990).
Cambio e innovación curricular: Su finalidad son las propuestas de cambios e
DIDÁCTICAS
innovaciones en la implementación de programas y en última instancia su
impacto sobre la práctica para el cambio curricular.
Desarrollo docente: Fundamentan el desarrollo de las tareas docentes en
diversos ámbitos orientación, acción tutorial, nuevas técnicas y metodologías.
Atención a N.E.E.: Establecen mecanismos, técnicas, metodologías y
orientaciones para la atención de alumnos que presentan necesidades educativas
especiales. Presentando en la mayoría de los casos la integración de los sujetos
en sus contextos.
DIDÁCTICAS
Idiomas: Referentes a la enseñanza y aprendizaje de idiomas y lenguas
ESPECIALES
diferentes a la lengua materna, ya sean oficiales en las distintas autonomías o
extranjeras.
Expresión física y corporal: Principios para el desarrollo físico corporal de los
individuos.
148
3. Establecimiento de hipótesis (Carácter: Nominal/Valor: sí, no).

Registro dicotómico sobre el establecimiento explícito de hipótesis en el informe
de investigación.
Por hipótesis se puede entender cualquier predicción o conjetura que el

investigador propone como respuesta provisional a su problema de investigación,
convirtiéndose en un experimento en el hilo conductor de la investigación cuya
finalidad será descubrir las relaciones causales entre variables (Buendía, Colás y
Hernández Pina, 1998).
Para McGuigan (1977) y Bunge (1981) el establecimiento de hipótesis

debe cumplir una serie de condiciones: Deben ser comprobables o empíricamente
demostrables. Estar en armonía con el marco teórico y con otras hipótesis del
campo de investigación, y por tanto, fundamentada en conocimientos previos.
Cumplir el principio de “parsimonia”, que permite seleccionar la hipótesis más
sencilla entre dos hipótesis iguales. Permitir responder al problema o ser aplicable
a él. Poseer simplicidad lógica, expresión cuantitativa o cuantificable y generar un
gran número de consecuencias.
4. Metodología. (Carácter: Nominal/Valor: Cuantitativa, cualitativa y

mixta). Las distintas posiciones epistemológicas desarrolladas a lo largo de la
historia han generado procedimientos propios para resolver los problemas de
investigación en el ámbito educativo.
Tomando la propuesta de Colás (1986), se pueden distinguir tres

metodologías de investigación que derivan directamente de los paradigmas
anteriormente expuestos: la metodología científica tradicional, la cualitativa y la
crítica. Propuesta a la que parece lógico, al igual que en el establecimiento de los
paradigmas, añadir una perspectiva ecléctica, como queda reseñado en la siguiente
tabla 5.3.
149
Tabla 5.3.Caracterización de las aproximaciones metodológicas en E.P.
INTERPRETATIVA
CIENTÍFICA
ECLÉPTICA
CRÍTICA
CARACTERÍSTICA
Fenomenolog
Filosofía Subyacente Positivismo Materialismo Postpositivismo
ía
Percepciones
Cuestión a evaluar Teórica Vivencial Comprehensiva
y sensaciones
Hipótesis Deductivas Inductivas Deductivas Múltiples
Abierto y
Diseño Estructurado Dialéctico Complejo
flexible
Según
No
Estadística/re necesidad e Amplia y
Muestra determinada
presentativa intereses del multicultural
e informante
grupo
Faceta o dimensión Producto Proceso Impacto Todas
Instrumentos
Notas de Comunicación Múltiples y
Recogida de datos válidos y
campo personal variadas
fiables
Reducción Discusión Estadística
Técnicas
Análisis de los datos Exposición dialéctica Modelos
estadísticas
Conclusiones grupal Bayesianos
Credibilidad
Validez Transferencia Validez “post
Criterios de validez de la Validez
interna y Dependencia hoc” a largo
evaluación consensual
externa Confirmabili plazo
dad
Comte
Dilthey Habermax Wittgenstein
Representantes doctrinales Durkheim
Husserl Marx Lakatos
Rusell
La obtención de datos en esta variable puede ser empleada como

mecanismo de corroboración de los hallazgos obtenidos en la Variable 1,
referida al paradigma o enfoque metodológico. Pues por propia lógica
investigativa, ambas distribuciones deberían ser congruentes.
La amplia aceptación de estas cuatro categorías metodológicas,

permite su empleo como criterio de clasificación establecido de forma previa
al registro de los datos.
150
5. Modelo evaluativo: (Carácter: Nominal/Valor: Categorías

especificadas en la tabla 5.4.).
El paradigma o enfoque epistemológico genera una metodología de

actuación general para todo proceso de investigación que puede adoptar así
múltiples variantes. En los procesos de evaluación de programas el énfasis en
unas u otras de estas posibles variantes determinan lo que se conoce como modelo
evaluativo.
Estos modelos, aunque descritos en el capítulo dos de esta Tesis de forma

general, se nominan siguiendo planteamientos similares a los ofrecidos por Arnal
et. al. (1992) para describir los posibles valores que pueda adoptar esta variable.
Pero ante la diversidad de clasificaciones ofrecidas por numerosos autores y para
operativizar el tratamiento de esta variable, la ordenación de modelos se realiza
tras la categorización de los registros obtenidos.
PRINCIPIO EPISTEMOLÓGICO MODELO ESPECÍFICO

Basada en objetivos
OBJETIVISTAS
Planificación evaluativa
Respondente
SUBJETIVISTAS Iluminativo
Democrática
CRÍTICOS Crítica
CIPP
ECLÉPTICOS
Mixtos sin especificar
N.R. o N.I.: No Registran esta información o No la Indican en el informe.
6. Facetas evaluadas (Carácter: Nominal/Valor: Si o no, para las

categorías Contexto y/o necesidades, entradas, proceso, producto e impacto).
La evaluación de un programa educativo por puede ser una tarea

enormemente compleja por la amplitud de ámbitos, facetas y momentos en la que
éste puede desenvolverse y a los que la evaluación puede afectar.
151
Municio (1992) plantea una evaluación de los programas segmentando

éstos en distintas partes diferenciadas, con lo que aún conservando una estructura
y nexo entre ellas y en el proceso evaluativo, permita establecer en cada una
estrategias concretas y diferenciadas.
Una adaptación de estos planteamientos permite el establecimiento de los

posibles valores que pueda adoptar esta variable, reseñados y definidos en la
siguiente tabla 5.5.
Tabla 5.5. Facetas evaluadas.
FACETA ASPECTOS EVALUATIVOS

Si se evalúan las necesidades que el programa pretende satisfacer. No en
sentido diagnóstico para la planificación o need assessment (McKipllip, 1987;
NECESIDADES
Kaufman y English, 1979; Kaufman et. al., 1983 y Witkin, 1984), sino como
evaluación del producto nedd evaluation por el propio equipo programador.
Los programas educativos y sociales poseen un carácter comunitario que
implica algo más que la satisfacción de unas necesidades individuales. Por lo
CONTEXTO tanto la evaluación del contexto en el que se desarrollará el programa, supone
la valoración de los problemas que existen para cubrir las necesidades de las
personas.
Si en la evaluación se juzga la elaboración del proyecto del programa en el
que debe especificarse el establecimiento de los objetivos fijados en la
DISEÑO
definición del programa y los pasos que deberían realizarse para conseguirlos,
tanto las estrategias como la estructura de las propias actividades.
ENTRADAS Si se valora la situación de partida de los usuarios del programa.

Si se valora el proceso total de implementación práctico del programa o
algunas de sus componentes. Va más allá del seguimiento del diseño o plan
PROCESO
previo, pues las actuaciones en la estructura de tareas y relaciones, supone la
resolución de problemas y toma de decisiones.
PRODUCTO Si se valoran los productos obtenidos tras la implementación del programa.

Si se valoran los resultados del programa más allá de una medición inmediata
tras su implementación; pues la evaluación del impacto supone apreciar la
IMPACTO
consecución de cambios más o menos permanentes en los aspectos reflejados
en los objetivos del programa. (Fernández Cano, 2001)
152
7. Productos obtenidos del programa en su evaluación. (Carácter:

Nominal/Valor: indefinido, a categorizar tras el registro de datos). La evaluación
de los programas educativos como proceso investigativo, arroja el registro de una
serie de variables dependientes o productos a valorar para enjuiciar el programa.
El rango de posibilidades de valores que puede presentar esta variable es

amplio, por lo que tras una primera revisión de la distribución de datos y el
análisis de contenido se realiza la siguiente categorización a posteriori mediante
el consenso y triangulación de expertos. El registro referido a tales categorías
posee carácter numérico referido a frecuencias y porcentajes.
Tabla 5.6. Posibles valores de la variable “Productos de los Programas evaluados”.

Categorías Aspectos de referencia
• Variable rendimiento.
Desempeño escolar • Innovación escolar.
• Calidad docente.
• Mental-cognitiva.
• Física y sanitaria.
Promoción personal/individual
• Modificación conductual.
• Desarrollo afectivo.
• Integración/ adaptación escolar.
Ajuste social • Integración/ adaptación social.
• Integración/ adaptación socio - laboral.
La primera macro categoría se refiere al desempeño escolar de los

sujetos, unidades de análisis o usuarios de los programas evaluados; en aspectos
categoriales diferenciados como son la variable de su rendimiento, aspectos
relacionados con la aplicación de nuevas metodologías e innovación escolar o los
desarrollos de aspectos de calidad docente.
En segundo lugar, la macro categoría de productos referidos al desarrollo

personal e individual de los usuarios sobre los que se implementa el programa
evaluado. En diversos aspectos como su desarrollo metal y cognitivo, la
153
modificación de su conducta, sus relaciones afectivas o aspectos de tipo físico y

sanitario.
Y por último la referida a productos relacionados con el ajuste social e

integración de los individuos, en diversos ámbitos de actuación como el entorno
escolar, el social y familiar o el laboral.
5.1.3.2. Características de los instrumentos de recogida de datos.
8. Estandarización del instrumento. (Carácter: Nominal/Valor: Si,

no, mixto, No registra o no indica).
Al igual que otros ámbitos de la investigación, la selección de los

instrumentos para la recogida de informaciones por parte del investigador, queda
determinada por el propio enfoque o metodología desde y para la que se plantea el
trabajo.
Los posibles valores de adopción de esta variable se refieren a la

estandarización de los instrumentos empleados o a su elaboración adhoc para la
propia investigación. Planteando además de la posibilidad de no registrar o
indicar el carácter del instrumento/os, la posibilidad del empleo de instrumentos
mixtos o el uso de varios de ellos con características diferentes.
9. Nombre y tipo del instrumento. (Carácter: Nominal/Valor: Sin

valores a priori, determinando su establecimiento tras la categorización de los
registros obtenidos).
Aunque no se plantea el establecimiento cerrado de categorías de forma

previa a la obtención de la distribución de datos referidos a esta variable.
Siguiendo los planteamientos de Colás et al. (1993), se plantean algunos campos
de registro, que durante el proceso de análisis de datos mediante un proceso
inductivo se completan y categorizan, quedando especificados en la tabla 5.7.
154
Tabla 5.7. Instrumentos de recogida de datos.

TIPO FUENTE INSTRUMENTO OTRAS DENOMINACIONES ACEPTADAS
Informes oficiales, actas, calificaciones, libros de
INDIRECTAS Documentos escolaridad, fichas de alumnos, historias clínicas,
proyectos, memorias.
Anotaciones del alumno, cuadernos, registros
Notas de campo anecdóticos, diarios, informes narrativos,
cronogramas, mapas cognitivos.
Listas de control, audio - vídeo grabaciones, parrillas
Observación de observación, dibujos, pruebas conductuales,
sociométricas (tipo role - playing).
Entrevistas Protocolos, debates, grupos de discusión.
DIRECTAS Escalas Likert, de actitudes, clasificación y/o valoración.
Cuestionarios Encuestas, Cuestionarios sociométricos.
Test Baterías, pruebas estándares, rejillas.
Inventarios
Exámenes, ejercicios, pruebas inductivas, de
Pruebas Ad hoc
rendimiento, de conocimiento.
Programas
Bases de datos.
informáticos
• Documentos: Se entiende por documentos a aquellos que normalmente

establecidos de forma ajena a la investigación, prestan a ésta una importante
fuente de información. Por ejemplo informes oficiales, actas de sesiones o
calificaciones, libros de escolaridad, fichas de alumnos, historias clínicas,
proyectos y memorias.
• Notas de campo: Anotaciones realizadas por los gestores e investigadores

(registros anecdóticos, diarios, informes narrativos, cronogramas o mapas
cognitivos); o por los elementos investigados (notas del alumno o registros de los
cuadernos).
• Observación: Todos los hechos de la vida pueden ser objeto de

observación, pero no todas las observaciones son susceptibles de ser
caracterizadas como conocimiento científico, al carecer del rigor necesario en
estos procesos. Buendía, Colás y Hernández Pina (1998) caracterizan la
observación como método de investigación, delimitando sus tipologías
(participante/no participante), estableciendo criterios para su empleo (contextuales
155
y metodológicos) y señalando los diseños e instrumentos propios de esta

metodología.
Entre estos instrumentos se pueden señalar los registros anecdóticos,

listas de rasgos y listas de control, escalas de estimación, plantillas de registro o
parrillas de observación. Y otros cuyo proceso o técnica se basan prioritariamente
en la observación, como audio - vídeo grabaciones, dibujos y pruebas
conductuales o sociométricas (tipo role - playing).
• Entrevistas: Como cualquier otro instrumento su finalidad es la recogida

de informaciones, en este caso a través de preguntas que el encuestador realiza al
encuestado. Según el régimen de establecimiento de éstas, la entrevista puede
adoptar diversas modalidades de apertura.
La entrevista permite la recogida en un ambiente natural de una amplia

diversidad de informaciones que incluso pueden abarcar el estado de ánimo del
encuestado. Pero para que éstas posean una cierta rigurosidad científica se deben
acomodar al establecimiento de unos criterios básicos de planificación (Bisquerra,
1999).
• Cuestionarios: Consisten en listados de cuestiones o preguntas,

intencionalmente redactadas y organizadas por el investigador, para recoger
informaciones sistemáticas y ordenadas sobre las variables objeto de
investigación.
Requieren un trabajo previo de definición y operativización, en el que se

deben adoptar decisiones sobre ciertas cuestiones básicas (Cohen y Manion,
1990). A saber: La correcta ordenación lógica de las cuestiones, la adecuación del
lenguaje y formato que facilite su comprensión, la adopción de la forma de
respuesta más adecuada (abierta/cerrada, dicotómica/múltiple...) y su
planteamiento para cubrir las informaciones realmente necesarias.
156
• Escalas: Una de las principales finalidades atribuidas a los programas de

intervención educativa y/o social se plantean en términos de cambios
conductuales. Por lo que la medida de estas conductas, como datos de las
investigaciones evaluativas de tales programas, resultan relevantes.
Uno de los instrumentos más habituales en la medida de las conductas,

sobre todo cuando se rebasan los caudales de información aceptados por las
entrevistas, son las escalas de actitudes, que Colás y Rebollo (1993) definen
como conjunto de proposiciones graduadas que el sujeto puede rechazar o no, e
incluso, señalar el grado de aceptación o rechazo de cada una. Siendo
precisamente esta posibilidad de graduación del registro, su principal diferencia
con los cuestionarios.
• Test: El test o baterías de tests son pruebas de carácter estandarizado que

permiten la valoración y medida de la conducta de un individuo ante una
determinada situación mediante procedimientos estadísticos. En evaluación de
programas su empleo es usual en la evaluación diagnóstica y de resultados.
Existen gran diversidad y clasificaciones sobre estos instrumentos, que

Cabrera y Espín (1986) diferencian según el tipo de comportamiento que
pretenden valorar en: de capacidad y de personalidad. Esta diversidad, su
fiabilidad, validez y facilidades para la interpretación de los datos, son algunas de
sus principales ventajas. Estando entre sus inconvenientes, su poca adaptabilidad
y escasa sensibilidad a ciertas peculiaridades y aspectos de los comportamientos
sociales.
• Inventarios: Registros específicos de conductas y/o situaciones, que no

responden al planteamiento de cuestiones como en los cuestionarios, ni su ponen
su graduación como en las escalas.
• Pruebas Ad hoc: Pruebas elaboradas y/o validadas por el investigador

para la propia investigación.
157
• Programas informáticos: Instrumentos de recogida de datos basados en

software informático.
Además de la frecuencia y/o porcentaje de cada categoría, se plantea para

el registro de esta variable la denominación específica y nominativa de los
instrumentos empleados, en aquellos casos en los que el informe de investigación
ofrezca una información de referencia lo suficientemente completa.
10. Validez del instrumento. (Carácter: Nominal/Valor: Instrumento

estandarizado, denominación genérica sin especificar, pruebas piloto, de
contenido, de constructo, de criterio y No registra o no indica).
Uno de los principales requisitos que debe reunir un instrumento de

recogida de datos se refiere a su validez o capacidad para medir realmente lo que
pretende medir. Adoptando en esta variable los siguientes valores de respuesta:
En los primeros no se especifica el mecanismo adoptado para establecer

la validez del instrumento, ya sea por referirse a pruebas o instrumentos
estandarizados en los que se ha realizado en investigaciones previas, o por
limitaciones de las informaciones ofrecidas en el informe de investigación en las
que no se especifica este mecanismo. Refiriéndose el tercero, a ensayos en los que
se pone a prueba las características del instrumento siguiendo cualquiera de los
criterios de validez, como los establecidos por Colás y Buendía (1998).
La validez de contenido de un instrumento se debe a la medida en la que

la cuidadosa selección de sus ítems sea una buena representación de las conductas
o contenidos que se pretenden medir. Es una característica de gran importancia en
pruebas de rendimiento, que suele mensurarse a partir del consenso entre
expertos.
158
La validez de criterio suele obtenerse a través de la correlación entre la

distribución de datos obtenida a partir del registro por medio del instrumento en
cuestión y otras pruebas que se supone que mide lo mismo y actúa como criterio.
Este criterio puede referirse a otro instrumento (validez concurrente) o al
desempeño real (validez predictiva).
La validez de constructo se refiere a la adecuación del instrumento a un

constructo teórico que permita demostrar qué es los que se mide, cuestión
realmente compleja en variables de tipos humanístico y social.
Otro de los posibles valores aceptados para el registro de este variable es

el referido a todos los casos en los que no se registra o no se indican
informaciones acerca de la validez del instrumento.
11. Fiabilidad del instrumento. (Carácter: Nominal/Valor:

Instrumentos estandarizados, denominación genérica sin especificar, por
consistencia interna, por estabilidad, por equivalencia, por concordancia entre
observadores y No registra o no indica).
La fiabilidad es otra de las características fundamentales de los

instrumentos de recogida de información, refiriéndose a aspectos sobre su
precisión y su capacidad para realizar medidas consistentes.
Al igual que en la variable anterior, referida a la validez, se reflejan

categorías en las que no se especifican criterios específicos de fiabilidad sino que
se hace referencia a ella indirectamente al tratarse de instrumentos estandarizados,
o directamente pero en sentido genérico.
Los mecanismos para establecerla se basan en la concordancia y

correlación entre medidas. Estableciendo esta relación en la fiabilidad por
estabilidad, entre las medidas obtenidas por la aplicación de un mismo
instrumento a un grupo de sujetos en dos momentos diferentes.
159
Las ocasiones en las que el número de ítems es lo suficientemente

elevado como para hacer dos o más formas paralelas de un mismo instrumento,
permite establecer correlaciones entre las medidas obtenidas con ellas para
determinar su fiabilidad por equivalencia.
Esta concordancia puede también producirse por la medida, acuerdo y

consenso establecido entre diferentes observadores.
La fiabilidad por consistencia interna puede establecerse desde una sola

aplicación del instrumento. Ésta puede establecerse por correlación entre partes
del instrumento, o mediante la aplicación de formulas que miden la homogeneidad
entre elementos como las ecuaciones de Kuder-Richarson o el Alpha (α) de
Cronbach.
También se considera como categoría de registro aquellos casos en los

que no se registra o indica mecanismo de fiabilidad alguno para los instrumentos
de recogida de datos empleados.
5.1.3.3. Población y muestra de las investigaciones.
El concepto de población y muestra pueden variar en función de la

definición del campo en el que se realice la investigación (Colás y Buendía,
1998). Aunque genéricamente, puede definirse la población como el conjunto de
todos los individuos o casos que cumplen unas características o propiedades y
sobre los que se desea estudiar un fenómeno.
Pero en la mayoría de ocasiones no es posible acceder a toda la

población, por lo que es necesario seleccionar un grupo o subconjunto
representativo de ésta, al que se denomina muestra y sobre el que se medirá la
característica a investigar, que posteriormente se generalizará a toda la población.
160
Esta extracción es especialmente beneficiosa, para Gaviria (2000), al

permitir mayor economía, aumentar el espectro de la información, disminuir los
intervalos de tiempo de trabajo y en general aumentar la calidad del trabajo. Pero
para ello, el proceso de selección debe poseer unas características concretas y
ajustarse a procedimientos establecidos.
12. Selección aleatoria de la muestra. (Carácter: Nominal/Valor:

aleatoria, no aleatoria, otros procedimientos y no registra o no indica).
En el registro de esta variable se indica si el procedimiento de selección

es aleatorio, si no lo es y se realiza por medios en los que el azar no es un
referente, y aquellos casos en los que no se registra e indica la información
pertinente, en el informe revisado, para poder determinarlo.
13. Técnica de selección muestral. (Carácter: Nominal /Valor:

aleatoria simple, estratificado aleatorio, conglomerados aleatorizados, sistemático,
estratificado por cuotas, conglomerados no aleatorizados, conveniencia,
intencional, mixta, estudios censales y no registra o no indica).
Tabla 5.8. Categorías de registro de las técnicas de selección de la muestra.
TIPO TÉCNICA
Aleatoria Simple: Procedimiento ampliamente utilizado que consiste en la selección
totalmente al azar de los casos, pero teniendo en cuenta que todos los sujetos deben
tener la misma posibilidad de ser seleccionados, sin interferir la selección de uno en
otro.
Estratificado aleatorio: en ocasiones la característica objeto de estudio se distribuye
homogéneamente en la población, por la existencia de grupos o estratos heterogéneos
Aleatorio entre sí. Por lo que, en este procedimiento, se seleccionan tantas muestras al azar como
estratos existan en la población.
Conglomerados aleatorizados: Cuando la selección no se realiza sobre sujetos, sino
sobre grupos con alguna afinidad o característica común (departamento, clase, centro,
etc.). Definido el conglomerado la forma de extraer la muestra se realiza
aleatoriamente.
Sistemático: A partir de un primer elemento tomado al azar, se toman los restantes
según un valor K establecido de antemano.
161
Por cuotas: Se sigue el mismo proceso que en el estratificado aleatorio, pero

extrayendo de cada estrato o subgrupo una cuota proporcional no al azar.
Conglomerados no aleatorizados: Tras la definición de conglomerados o grupos en la
No población, la extracción o selección de la muestra se realiza mediante procedimientos
aleatoria no ajustados al azar.
Conveniencia: Selección de muestra de acuerdo con la disponibilidad de casos o
individuos de la población.
Intencional: Selección de muestra ajustada por el investigador a ciertos casos o sujetos
que ofrecen, por su especial interés, datos relevantes para la investigación.
Mixta: Proceso de selección en el que por las características especiales de la muestra se
combinan dos o más de estas técnicas.
Otras Estudios censales o cuasi-censales: No se realiza proceso de extracción de muestra,
pues las características de la población o de la investigación, permiten el acceso a toda
la población.
No Registra o No Indica: No registra ninguno de los anteriores procedimientos de selección
muestral o no lo indica con información suficiente en el informe de investigación.
Las siguientes variables, numeradas de la catorce a la dieciocho, se

refieren exclusivamente a la descripción de características de la muestra en los
informes de investigación considerados como fuente de datos de este estudio y no
a su posible uso como variable en cada uno de ellos.
14. Tamaño muestral. (Carácter: Numérico /Valor: 1 a ∞). El tamaño

muestral hace referencia directa al número de unidades básicas de análisis.
Dependiendo su tamaño del tipo de estudio o de la estructura del diseño empleado
para realizarlo y de la homogeneidad de la muestra. Así los trabajos de corte
experimental permiten muestras más pequeñas que los de corte descriptivo, en los
que el aumento del número de casos es el único mecanismo de control de
numerosos factores extraños en la investigación (Colás y Buendía, 1998).
El cálculo de su tamaño concreto se ajusta al error que se está dispuesto asumir

al realizar las inferencias o generalizaciones desde las características de la muestra (datos
registrados) a los parámetros de la población (suposición teórica).
162
15. Género de la muestra. (Carácter: Nominal/Valor: hombres,

mujeres, mixta, no pertinente el registro del género y no registra o indica esta
información).
Los estudios de género son una temática de actualidad en la

investigación educativa, revelando el empleo de esta variable en la evaluación de
programas datos de interés (Expósito, 2001).
Además de los valores de género en el registro de esta variable se

establecen como categorías diferenciadas los casos en los que no se realiza tal
registro. Distinguiendo los casos en los que no se realiza por no ser pertinente, al
no considerar personas como unidades de análisis; y aquellos, en los que no se
realiza por una carencia de informaciones o indicaciones en los informes
revisados.
16. Edad de la muestra. (Carácter: Numérico /Valor: Indefinido).
Registro de la edad de la muestra ofrecida en el informe, ya sea en

términos absolutos, media o intervalos. La categorización de esta variable se
realiza tras el registro de los datos y su posible acomodación a intervalos
concretos.
17. Nivel académico de la muestra. (Carácter: Nominal /Valor:

educación infantil, primaria, secundaria, formación profesional, universidad,
educación especial y compensatoria, educación de adultos, otros y no registra o
indica).
Para el registro de esta variable, las categorías referidas a los niveles

educativos establecidos en el Sistema Educativo (educación infantil, primaria,
secundaria, formación profesional y universidad), se completan con Educación
especial y compensatoria referida a diversos niveles, Educación de personas
163
adultas y otros niveles. Permitiendo esta estructuración ofrecer una clara

categorización a priori.
Ésta última categoría se refiere a aquellos programas en los que el nivel

educativo de los destinatarios no guarda relación con la ordenación sistemática
establecida en un sistema formal o la principal referencia es una materia o
temática sin especificar un nivel concreto, como educación de padres, programas
de postgrado o cursos referidos a diversos niveles. Así mismo, hace referencia a
aquellos casos en los que por no referirse las unidades de análisis a personas, no
resulta pertinente el registro de su nivel académico.
18. Población. (Carácter: Nominal /Valor: indica, describe y no

registra o no indica).
El investigador debe delimitar la investigación a un determinado ámbito

poblacional, desde el que se realizará una selección de muestra dado el caso, y
hacia el que se podrá generalizar los hallazgos.
Esta delimitación puede realizarse indicando tan sólo este grupo de

referencia o describiendo algunos de sus parámetros. Refiriéndose tales
descripciones a cuestiones tales como su nivel académico, situación geográfica o
condiciones socioeconómicas.
5.1.3.4. Diseño de las investigaciones.
Los planes evaluativos considerados en los informes de investigación

revisados y tomados como fuente de datos de este estudio, parten de ciertas
consideraciones teóricas que demarcan el concepto de evaluación considerado, el
modelo propuesto para realizarla y los contenidos y objetivos evaluativos.
Habiéndose considerado estos aspectos en la definición de las variables anteriores.
164
Estas consideraciones teóricas generan un proceso de investigación

científica con unas características determinadas, en aspectos tales como el
establecimiento de los instrumentos de recogida de datos o la propia
interpretación que se hace de ellos. A este plan, secuencia o esquema de la
investigación, en el que se recogen las estrategias empleadas en un estudio, se le
denomina diseño.
19. Diseño (tipo). (Carácter: Nominal /Valor: descriptivo,

correlacional, preexperimental, cuasiexperimental, experimental, cualitativo,
crítico/cooperativo, flexible/mixto y no registra/no indica).
Asumir un diseño supone, para Anguera (1992), el establecimiento de un

plan o estrategia en la que se especifican y determinan aspectos tales como la
forma de recoger, ordenar y analizar los datos en función de las finalidades del
programa. Estas consideraciones sobre la recogida y análisis de datos son
asumidas y ampliadas por Tejedor (2000) al relacionar con el diseño aspectos
relacionados con el desarrollo del programa, manejo de la información o incluso
realización del informe de investigación.
Tradicionalmente la evaluación de programas se ha servido de los

diseños de investigación propios de las Ciencias Sociales. Y aunque el predominio
del enfoque cuantitativo, así como su mayor enraizamiento en a cultura
investigativa debido a su más largo recorrido histórico, ha posibilitado una
prioritaria orientación experimentalista de los diseños de investigación, su
diversidad es enorme. Estableciéndose tres grandes familias: los diseños
descriptivos, los correlacionales y los experimentales (Colás, 1993)
165
Tabla 5.9. Categorización de los tipos de diseños de investigación.

DISEÑOS
Descriptivo: constituyen el primer nivel de conocimiento científico al considerar la
descripción de hechos y características de una población de forma objetiva y comprobable, por
medio de la inducción, fundamentalmente empleando la observación y teniendo como objeto el
descubrimiento de hipótesis (Bartolomé, 1984).
Van Dalen y Meyer (1984) los consideran especialmente oportunos para la recogida de
información detallada, la identificación de problemas, la realización de comparaciones y
evaluaciones y la planificación de cambios y toma de decisiones. Por lo que se suelen aplicar en la
evaluación y diagnóstico escolar, organización y planificación educativa, orientación
psicopedagógica, educación especial o formación del profesorado.
Correlacional: Métodos diversos que caracterizados comúnmente por el trabajo de los
investigadores en ambientes naturales y en funcionamiento, sin manipulación previa de las
variables, intentando hallar explicaciones por la relación entre ellas.
Aunque hay autores que los consideran una modalidad de los métodos descriptivos
(Van Dalen y Meyer, 1984), son numerosos los que le asignan una identidad específica y
diferenciada (Cohen y Manion, 1990; García Hoz y Pérez Juste, 1984).
Su empleo es aconsejable cuando se pretende descubrir el grado de relación entre

variables o la interacción simultánea entre gran número de ellas, elaborar y refinar constructos o
instrumentos de evaluación. Y cuando las variables a estudiar por su complejidad no permiten
otros procedimientos de manipulación y control.
Preexperimental: En investigación educativa hay multitud de ocasiones en las que no
pueden establecerse las condiciones para que el diseño pueda considerarse experimental. Estos
requisitos son para Castro (1980):
• Debe permitir al menos la comparación entre dos series de datos.
• Presupone la intervención del investigador para la asignación aleatoria de sujetos a
grupos o de tratamientos a sujetos.
• Requiere una correspondencia unívoca entre los valores de la variable dependiente y el
evento medido.
• Requiere que el investigador manipule directamente la variable independiente.
• Se deben controlar las variables extrañas, eliminándolas o manteniéndolas constantes.
Cuando los diseños no cumplen alguno de estos requisitos se consideran pre-experimentales.
166
Cuasiexperimental: Aquellos en lo que teniendo en cuanta las condiciones anteriores

no se puede manipular la variable independiente, sino únicamente seleccionarla y esperar a
recoger los datos sobre la variable dependiente. Suelen por tanto emplearse en contextos
naturales/sociales para minimizar la intervención del investigador.
La carencia de control experimental y validez interna, que permita atribuir

inequívocamente los cambios en la variable dependiente a la independiente, intenta minimizarse
usualmente por la realización de múltiples observaciones.
Experimental: Diseños que controlan más factores que atentan contra la validez
interna y por tanto permiten poner de relieve el efecto de la variable experimental en la variable
dependiente, cumpliendo las condiciones señaladas anteriormente (Castro, 1980) o señaladas por
Pereda (1987).
Cualitativo/Estudio de caso: Estos diseños pueden calificarse, en palabras de Colás y
Buendía (1998), de abiertos, flexibles y emergentes; ya que no se basan en procesos
preestablecidos, sino en el progreso a partir del análisis, la observación y el conocimiento de las
situaciones Permiten procesos interactivos que partiendo generalmente, de la recogida de datos,
plantean hipótesis, para establecer una nueva recogida de informaciones.
Crítico/cooperativo: Son diseños estrechamente vinculados conceptual y
prácticamente con la acción-intervención, convirtiéndose los receptores del programa en agentes
de la evaluación. Los procesos evaluativos sirven a los implicados, basándose en procesos
espirales que comienzan por el diagnóstico, para pasando por una discusión colectiva
contextualizada personal y socialmente, para finalizar en la valoración global de los contextos.
Flexible/Mixto: Composiciones eclécticas de diseños adaptadas a las condiciones
complejas o al empleo de procesos investigativos con partes diferenciadas.
No Registra o No Indica: No registra ninguno de los anteriores diseños o no lo indica
con información suficiente en el informe de investigación.
Las condiciones experimentales concretas determinan el empleo de

determinados diseños de investigación. En éstos se deben asumir unos
determinadas requisitos, sobre el empleo de procedimientos para la asignación de
sujetos y tratamientos basados en el azar y el empleo de grupos de comparación,
especificados en la siguiente tabla.
167
Tabla 5.10. Condiciones determinadas en la selección de diseños de investigación.
Asignación aleatoria Asignación aleatoria

TIPO DE DISEÑO Grupo de comparación
de sujetos de tratamientos
Experimental SI SI SI
Cuasiexperimental NO SI SI
Preexperimental NO NO SI
Estudios de caso NO NO NO
Los diseños intragrupos de medidas múltiples se suelen considerar cusiexperimentales.
20. Diseño (denominación específica). (Carácter: Nominal /Valor: no

establecido a priori). Basándose en la categorización general del tipo de los
diseños de evaluación realizada por Colás y Buendía (1998), considerada en la
variable anterior, y en las especificaciones ofrecidas por Colás y Rebollo (1993) y
por Tejedor (2000), para su adecuación al campo de la evaluación de programas,
se establece el sistema de categorías abierto, reflejado en la tabla 5.11, para el
registro de esta variable. Es por tanto ésta una ordenación que sirve tan sólo como
orientación a la categorización definitiva, realizada tras el análisis de la
distribución de datos.
168
Tabla 5.11. Denominación específica del diseño de investigación, basada en Campbell y Stanley, 1982 y Tejedor, 2000.
TIPO DISEÑOS ESPECÍFICOS (conceptualización y proceso gráfico).
Tipo encuesta o survey: Por medio de cuestionario y entrevistas pretenden descubrir la naturaleza de las condiciones existentes y sus
relaciones, así como la identificación de valores estándares.
Descriptivo:
Describen hechos y Estudios exploratorios
características de
forma objetiva y Estudios analíticos en profundidad: Extracción de información a través del análisis minuciosos y profundo de determinados contextos,
comprobable. sujetos o materiales.
Estudios observacionales: Para describir sujetos o ambientes la técnica observacional debe ser intencional, estructurada y controlada.
Estudios sobre el desarrollo: su objeto de estudio son los patrones y secuencias de desarrollo y/o cambio como una función de tiempo.
X O (1 grupo postest)
Estudios comparativo causales: tienen como finalidad la detección de factores que
puedan hallarse asociados a ciertos hechos.
Correlacional: Entre estos se pueden incluir los modelos ex post facto. X O (2 grupos postest)
Investigan relaciones O
entre variables.
Estudios correlacionales: pretenden descubrir la relación entre variables
Estudios predictivos/explicativos: Predicen conductas ateniéndose a los valores de otras consideradas predictoras.
Preexperimental: Bajo De un solo grupo con postest. XO
nivel de control y validez
interna y externa. De un solo grupo con pretest y postest. O 1 X O2
Con dos grupos X O1

(G.C. no equivalente) y postest. O2
Con dos grupos X O1
(G.C. equivalente) y postest. O1
Con dos grupos O1 X O 2
(G.C. no equivalente) y pretest postest. O3 O4
Cuasiexperimental.
O1 X O 2
Experimentalistas: Manipulación de V.I.
Con dos grupos

Control de variables (selección aleatoria, G.C.)
(G.C. equivalente) y pretest postest O1 O2

Series temporales O1O2O3 X O4O5O6
Jerárquico
N=1: Diseños en los que se utiliza un solo sujeto, utilizando a este como control, constituyendo una
alternativa al control por grupos.
Con dos grupos R: X O1
(G.E. y G.C.) y postest R: O2
Con dos grupos R: O1 X O2
(G.E. y G.C.) y pretest postest R: O1 O2
R: O1 X1 O2
R: O1 O2
Con múltiples grupos y pretest postest R: O1 X 2 O2
Experimental. R: O1 O2
Diseños factoriales: Se introduce más de una variable Ejemplo Factor 1
independiente, y ésta puede presentarse con más de un 2x2
valor o factor. A1 A2
B1 A1 B1 A2 B1
Factor 2
B2 A1 B2 A2 B2
Estudio de casos: Se caracterizan por el acopio de la máxima información y de la forma más detallada
posible de su objeto de estudio (sujeto, organización, comunidad, etc.)
Cualitativo/Colaborativo: abierto, flexibles y
Estudio de casos múltiples: Tratan de descubrir la convergencia o coincidencias entre diferentes casos.
cooperativos. Muy basados en la observación.
Estudios etnográficos: Estudia unidades organizativas
Investigación acción: Procesos planeados y ejecutados por los propios participantes en el programa, forma
Crítico/cooperativo parte del propio desarrollo de éste y su finalidad es la transformación.
Flexible/Mixto
No Registra o No Indica
Glosario de siglas.
X: Tratamiento O: Observación/registro de datos
G.E.: Grupo experimental G.C.: Grupo control R: Asignación aleatoria a los grupos.
169
Un modelo que no suele aparecer en muchas de las clasificaciones

ofrecidas por numerosos autores y que sin embargo es usualmente empleado en la
investigación educativa es el denominado contrabalanceado, que sigue el proceso
que se señala en la siguiente representación:
G: X1 O X2 O
G: X2 O X1 O
21. Diseño temporalización. (Carácter: Nominal /Valor: longitudinal,

transversal, mixto y no registra o no indica).
Los métodos y diseños de investigación son susceptibles de clasificación

atendiendo a numerosos aspectos sin ser éstos excluyentes, tales como nivel de
abstracción, procesos formales o naturaleza de sus datos. Una de estas
características es la ordenación temporal de sus procesos en la que se podrían
distinguir valores longitudinales, transversales o mixtos.
En los estudios longitudinales se realiza el análisis de los mismos sujetos

o grupos en distintos momentos o durante un cierto intervalo temporal. Estos
intervalos pueden ser enormemente variables, desde un año como máximo en los
estudios a corto plazo, hasta varias décadas en los realizados a largo plazo.
Los estudios transversales muestran una disposición sincrónica, en la que

en un mismo momento se estudian distintos individuos o grupos que representan
etapas de desarrollo de la variable/es investigada diferenciadas. Es necesario por
tanto la selección de muestras significativas de cada categoría.
Los estudios mixtos, también denominados de cohortes6, disponen sus

procesos longitudinal y transversalmente tomando distintas medidas al mismo o
distinto grupo.
6
Cohorte: Característica común y notoria de un grupo.
170
Se completan los posibles valores de registro de esta variable con la

categorización de todos aquellos trabajos en los que no se registran o indican las
informaciones suficientes como para cumplimentar el registro temporal de su
diseño.
22. Agentes evaluadores. (Carácter: Nominal /Valor: Agentes

externos, implementadores, usuarios, mixtos y no registran o no indican).
Los procesos de evaluación de programas, al igual que otros procesos

investigativos, requieren la toma de determinadas decisiones entorno a quién,
cómo, dónde, de qué forma van a realizarse (Municio, 1992). La responsabilidad
de quién toma tales decisiones determinará un posicionamiento que repercutirá en
todo el proceso.
Los principales agentes relacionados con los procesos de toma de

decisiones que pueden afectar tanto al diseño, implementación como a la
evaluación de los programas son los siguientes:
• Agentes externos o ajenos al contexto en el que se desarrolla el

programa, usualmente expertos en procesos evaluativos contratados al efecto de
enjuiciar la validez de los programas, prescribiendo medidas oportunas para su
mejora.
• Implementadores del programa. Son los encargados de realizar las

acciones prácticas y desarrollar las medidas establecidas en los planes y
programas, poseyendo una clara visión sobre los procesos prácticos.
• Usuarios o sujetos sobre los que recaen tales acciones y sobre los
que se pretende causar efectos con la implementación de un programa concreto y
las actividades desarrolladas a su amparo.
171
En ocasiones, la toma de decisiones no recae sobre unos sujetos o grupos

determinados, sino que dependiendo de los principios teóricos que fundamentan
los procesos evaluativos, se asocian a la colaboración y/o acuerdos entre varios de
ellos. Registrándose en tal caso como agentes mixtos.
Se completan los posibles valores de registro de esta variable con la

categorización de todos aquellos trabajos en los que no se registran o indican las
informaciones suficientes como para determinar que agentes toman las decisiones
en el proceso de evaluación.
23. Amenazas a la validez del diseño y control. (Carácter: Nominal

/Valor: Plantea amenazas y su control, plantea amenazas pero no su control, no
plantea amenazas ni su control).
A los procesos evaluativos que recaen sobre los programas se les requiere
el mismo grado de control, rigor y sistematización que se le exige a cualquier otro
tipo de investigación (Jornet, Suárez y Pérez Carbonell, 2000).
Las amenazas a las que puede verse sometido un diseño de investigación

y los sesgos que pueden producirse en su empleo son múltiples, siendo diversas
las técnicas para su control. Por ello, las informaciones requeridas para el registro
de esta variable se especifican en la relación existente en la consideración de estas
amenazas en las investigaciones/informes revisados y en la toma de medidas
destinadas a su control.
5.1.3.5. Aspectos cronológicos de la investigación.
24. Seguimiento del programa. (Carácter: Nominal /Valor:

Seguimiento durante su implementación, seguimiento sólo posteriormente,
seguimiento del programa durante su implementación y posteriormente, y no
registra o indica el tipo de seguimiento realizado).
172
Los procesos de evaluación del programa abarcan una serie de medidas

que en su temporalidad, pueden realizarse en diversos momentos de desarrollo de
ésta. Así, para Salmerón (1997) pueden afectar en un momento inicial al programa
en sí mismo (Calidad intrínseca y adecuación a las situaciones y contextos), a la
puesta en marcha y ejecución del programa, o en sentido sumativo a la medida de
los logros y decisiones sobre su valoración y continuidad.
Teniendo en cuenta las consideraciones realizadas por Hernández y

Rubio (1992), se establecen como momentos de seguimiento de la evaluación de
los programas y valores de registro para esta variable: Aquellos que, con carácter
formativo, se realizan exclusivamente durante su implementación; los realizados a
posteriori con carácter sumativo; y los que en sentido ecléctico abarcan la
implementación y aspectos posteriores a ésta. Además de todos aquellos en los
que no se consideran o al menos no se indican estas informaciones en los informes
revisados.
25. Duración. (Carácter: Nominal /Valor: no especificado, a delimitar

y categorizar a partir de la distribución de datos obtenida).
Los registros de esta variable se refieren a la duración temporal de los

procesos de implementación/evaluación de los programas cuyas evaluaciones se
revisan este trabajo.
5.1.3.6. Análisis de datos.
Tras la recogida de diversas informaciones por medio de los instrumentos

adecuados, en los procesos de investigación, se hace necesario su procesamiento
mediante su reducción y síntesis para adjudicarle sentido.
El análisis de datos es un proceso vinculado a su interpretación (Worthen

y Sanders, 1987), en el que entran en liza valores asumidos por los investigadores
173
y patrones de comparación, que permiten elaborar conclusiones, emitir juicios y

realizar recomendaciones.
Para Colás y Rebollo (1993) el análisis e interpretación de datos abarca

amplios y complejos procesos en los que se hace necesaria la delimitación de
perspectivas, que con cierto enraizamiento epistemológico, orienten las fases,
muestren las técnicas y aclaren los procedimientos concretos para su aplicación.
En este sentido, el análisis de datos se deriva de la selección de

planteamientos teóricos que desde diversas posturas cuantitativas, cualitativas o
mixtas delimitan los procesos generales de la investigación. Siendo esta
diversidad especialmente característica en el ámbito de la en evaluación de
programas, en el que Lizasoain y Joaristi (2000) consideran como términos
usuales la complementariedad metodológica, el enfoque multimétodo o
multiplista según la definición de Cook, y la superación del debate entre
paradigmas.
Aunque, como afirma Tejedor (1994), no se puede hablar de técnicas

específicas para el análisis de datos en evaluación de programas algunas son más
convenientes que otras, dependiendo de los principios de fundamentación, el
diseño adoptado o la metodología empleada.
26. Unidades primarias de análisis. (Carácter: Nominal /Valor:

Sujetos, grupos, centros, programas y no registra o indica).
Las unidades básicas de análisis hacen referencia a cada uno de los

elementos que constituyen las poblaciones consideradas y las muestras
seleccionadas. Pueden poseer un carácter personal (individual o colectivo) o
impersonal (institucional o documental).
Ateniéndose a estas características se elaboran las siguientes categorías

de valor para el registro de esta variable:
174
• Sujetos, normalmente referida a los individuos relacionados con el ámbito de

aplicación de los programas evaluados y que constituyen las poblaciones
usuales en los contextos educativos, tales como alumnos, padres y profesores.
• Grupos y agrupamientos de diverso orden, que con unas características

comunes (nivel educativo, edad, interés formativo o contexto) que en el
ámbito educativo suelen establecerse en grupos clase.
• Centros e instituciones en los que se realiza la implementación de los

programas, tomados como unidades de análisis en evaluaciones amplias que
implican aspectos de su organización.
• Programas, proyectos o planes, son tomados como unidades de análisis en

evaluaciones comparativas y de segundo orden, en cuyo caso las unidades
básicas son las investigaciones primarias.
• Y todos aquellos trabajos en los que no se registra o no se indican las

informaciones necesarias para el registro de esta variable.
27. Estadísticos descriptivos. (Carácter: Nominal /Valor: No

especificado, a delimitar y categorizar a partir de la distribución de datos
obtenida).
Los procedimientos de análisis de datos suelen comenzar por la

descripción de las variables observadas, mediante el uso de estadísticos
apropiados que mediante la tabulación y representación gráfica permiten visiones
claras y globales de éstas. Permitiendo estos procesos la corrección de errores de
tabulación, de registro o la depuración de datos, que de otra forma no tendrían
valor (Bisquerra, 1989).
Las clasificaciones de estadísticos pueden variar atendiendo a aspectos

como la propia naturaleza de los datos sobre los que trabajan
175
(cualitativos/cuantitativos) o las prioridades y finalidad que éstos siguen

(descriptivos/inferenciales/correlacionales y multivariados). Diferenciando
(Botella, León y San Martín., 1999) en los primeros los tipos especificados en la
Tabla 5.12. Tipos de estadísticos descriptivos.

TIPO ESTADÍSTICOS USUALES
DISTRIBUCIONALES: Ofrecen información
sobre la organización de los datos, su forma de
Frecuencias y Porcentajes.
mostrarse o la frecuencia en que aparece una
variable o característica.
TENDENCIA CENTRAL: Describen de
forma resumida las distribuciones, ofreciendo
Media, Mediana y Moda.
valores medios que representan a un conjunto o
grupo.
Desviación Típica, Error Típico,
VARIABILIDAD Y POSICIÓN: Revelan la
Varianza, Puntuación Típica,
situación de las puntuaciones con respecto a las
Rango, Valores máximos y
demás, indicando la variación, separación y
mínimos, Centiles, Cuartiles y
dispersión de los datos
Percentiles.
ÍNDICES: Facilitan la comprensión de
diferencias entre grupos, mostrando como se Asimetría, Curtosis, Dificultad y
reparten los datos y el grado que puede tener Tamaño del Efecto7.
una variable o característica.
Es esta una clasificación, aunque general, parece oportuna tanto para la

especificación y asignación de significados a esta variable, como para facilitar la
posterior categorización y clasificación de los datos obtenidos a partir del análisis
de la distribución. Remitiéndose a manuales específicos, como el señalado, para
una mayor concreción.
28. Estadísticos correlacionales y/o multivariados. (Carácter:

Nominal /Valor: No especificado, a delimitar y categorizar a partir de la
distribución de datos obtenida).
7
Tamaño del Efecto. Es un estadístico básico en investigación sobre E.P. que entre dos grupos se
calcula se calcula por la diferencia promedio estandarizada: T.E. = ( x1- x2 )/ S1,2 , donde x1- x2 son
medias grupales y S1,2 es la desviación típica entre grupos.
176
Los estadísticos correlacionales ofrecen información sobre la existencia o

no de relaciones entre las variables o tipos de datos, la dirección de tal relación
(positiva o negativa) y su magnitud.
De igual forma que en los estadísticos descriptivos, se ofrece a

continuación en la tabla 5.13 una clasificación general para mejorar la
comprensión de la variable y facilitar la posterior categorización en el proceso de
análisis de datos.
Tabla 5.13. Tipos de estadísticos correlacionales.

TIPO ESTADÍSTICOS Y PROCEDIMIENTOS USUALES
r de Pearson: Expresa la correlación lineal entre dos variables
cuantitativas y de distribución normal.
δ de Spearman. Indica el grado de relación entre variables medidas con
escala ordinal.
Bivariados: C de contingencia: indica el grado de asociación entre dos variables
Expresan cualitativas.
relaciones entre Phi: coeficiente de correlación t entre dos variables dicotómicas
dos variables. naturales.
V de Cramer: coeficiente de correlación entre dos variables nominales
policotómicas.
Alfa de Cronbach: prueba estadística para estimar la consistencia
interna de una prueba.
Regresión múltiple: Analiza la relación entre variables independientes
(predictores) y una variable dependiente (criterio).
Análisis Factorial: A partir de un numerosos conjunto de variables (V)
que explican una proporción de la varianza de los casos, se trata de
reducir a un mínimo de factores (F), de forma que F<V.
Análisis Discriminante: Permite la clasificación en grupos atendiendo a
Multivariados: las observaciones sobre un conjunto de variables independientes,
Expresan discriminado igualmente a los casos que no pertenecen a grupos
relaciones entre conformados.
múltiples Análisis de Conglomerados/ Cluster: Permite agrupar casos (sujetos o
variables variables) sobre la base de su proximidad, mediante la medida de
múltiples variables y su representación en un diagrama arbóreo. Permite
al investigador marcar un punto de corte, que facilite la observación de
similitudes y diferencias entre los sujetos o variables analizadas.
W de Kendall (Kendall y Babington-Smith, 1939; Wallis, 1939)
estadístico correlacional que estudia la relación, acuerdo o concordancia
entre más de dos conjuntos de rangos.
177
29. Análisis cualitativo. (Carácter: Nominal /Valor: No especificado, a

delimitar y categorizar a partir de la distribución de datos obtenida).
El análisis de datos cualitativo ha generado técnicas propias que se han

constituido en una metodología o “forma específica de hacer” diferenciada (Colás,
1999). Esta especificidad viene marcada por la propia idiosincrasia de la
metodología cualitativa en relación con las unidades de registro de datos y a la
forma de tratarlos.
Este tipo de análisis maneja datos que hacen referencia a cualquier

forma de expresividad humana, aunque usualmente se presentan en forma de
texto. Y no se encuentra delimitado a una fase concreta de la investigación, como
los análisis cuantitativos, sino que operando por ciclos tiene lugar a lo largo de
toda ella.
En general los datos verbales o escritos se segmentan en unidades

relevantes significativas, son categorizados en un sistema abierto y derivado de la
propia lectura de los datos. Por medio de un proceso de comparación constante se
sintetizan las informaciones e intenta descubrir patrones, que en última instancia
permitan generar una teoría.
Esta funcionalidad, señalada por Colás (1998b), le otorga al análisis de

datos cualitativo tres actividades intelectuales: “procesos de generación teórica,
procesos de contrastación de hipótesis/teorías y procedimientos analíticos
manipulativos.
178
Tabla 5.14. Análisis cualitativo de datos.

OBJETO DE ANÁLISIS PROCESO DE ANÁLISIS
CONTENIDO: El análisis de las producciones escritas tiene Análisis general
por objeto la abstracción del contenido conceptual de las Análisis del discurso
mismas, sin tener en cuenta sus aspectos estrictamente Análisis de protocolo o
lingüísticos. documento
NARRACIÓN: El investigador recoge datos, por medio de
preguntas, sobre los sujetos y a través de ellos. Otorga gran
Análisis narrativo
importancia a la reconstrucción de la relación entre el
investigador y el objeto de la investigación
DESEMPEÑO: Conjunto de técnicas de protocolo cognitivo
por medio de la apelación estimulada al recuerdo. Se emplean
mediante técnicas de elicitación (pensar en voz alta, recuerdo Análisis de tareas
estimulado, entrevista retrospectiva) o con auxilio de soporte
papel (análisis de producciones).
SEMIOLOGÍA GRÁFICA: Mediante el empleo de
Mapas de contenido
herramientas propias de la teoría de grafos (usualmente nudos,
nexos o redes), se representan y modelizan las estructuras de
situaciones y fenómenos, para su estudio y la resolución de Diagramas de flujo
problemas.
30. Estadísticos inferenciales. (Carácter: Nominal /Valor: No

especificado, a delimitar y categorizar a partir de la distribución de datos
obtenida).
Los estadístico inferenciales permiten considerar la extrapolación de

características estudiadas en una muestra a la población de origen y de la que se
extrajo ésta. Aunque para su estudio y definición se hace necesario la remisión a
manuales específicos, aquí se ofrece una clasificación general atendiendo al
cumplimiento de ciertos supuestos teóricos y a la finalidad de su empleo.
Los estadísticos inferenciales, como muestra la tabla 5.15, de carácter

paramétrico asumen que las distribuciones de origen de las variables que se están
estudiando y sobre las que se van a aplicar, deben cumplir los supuestos de
homogeneidad (igualdad en valores característicos), normalidad (ajuste de la
distribución a la curva normal) y homocedasticidad (homogeneidad estadística de
varianzas).
179
Sin embargo, las pruebas no paramétricas se aplican sin necesidad de

supuestos sobre las distribuciones origen de las variables que se están estudiando.
Y suelen emplearse con variables cualitativas, aunque también se aplican a
variables cuantitativas que no cumplen los supuestos paramétricos.
Entre la gran variedad de pruebas y estadísticos inferenciales se pueden

encontrar algunas cuya finalidad es comprobar la bondad de ajuste o verificación
a supuestos, ya sea en patrones teóricos o elementos derivados del estudio de otras
distribuciones empíricas. Y aquellos que permiten la comparación entre diversos
pares de niveles de una misma V.I. (procedimientos de comparación múltiple:
PCMs).
Tabla 5.15. Estadísticos inferenciales.

TIPO ESTADÍSTICO ESPECÍFICO
t de Student: Se emplea para la comparación de medias
correspondientes a dos distribuciones con N< 30 que siguen una
distribución específica t. Al cumplirse la hipótesis nula (no existen
diferencias significativas entre dos grupos), puede considerarse
que las distintas muestras proceden de la misma población,
debiéndose las diferencias al azar.
Z normal: ídem pero para N > 30
Simple: Análisis de la varianza para comparar
las medias de dos o más grupos. Al cumplirse
Paramétricos. la hipótesis nula (no existen diferencias
ANOVA
significativas entre las medias observadas),
Razón F de puede considerarse que las distintas muestras
Fisher-Snedecor proceden de la misma población.
Factorial: Compara dos o más variables
independientes respecto a una única V.D.
ANCOVA: Análisis de varianza simple con covariante.
MANOVA: Análisis de varianza sobre dos o más grupos medidos
en varias variables.
MANCOVA: Ídem. a MANOVA pero con covariantes.
Kruskal-Wallis o ANOVA por rangos sobre una V.D. ordinal
respecto a un factor (V.I.) con dos o más niveles
Q de Cochran: Contraste para dos o más distribuciones
dependientes (Correlacionadas)
T de Wilcoxon permite contrastar la misma hipótesis que la
prueba de los signos, pero aprovechando las propiedades ordinales
No paramétricos.
de los datos, lo que permite mayor precisión
U de Mann-Whitney: alternativa a la prueba t sobre diferencias
de medias cuando no se cumplen los supuestos paramétricos o el
nivel de medidad de los datos es ordinal.
Chi cuadrado: Se emplea para comprobar si existen diferencias
significativas entre dos distribuciones con variables categóricas.
180
T de Barlett: Verifica supuestos de homogeneidad de las

varianzas.
Prueba de Kolmgorov-Smirnov: Verifica normalidad de una
distribución.
Bondad de ajuste Prueba A de Sandler: Verifica supuesto de homogeneidad de las
y verificación de varianzas.
supuestos. Probabilidad de Mantel-Haenzel: Verifica independencia de las
distribuciones usando razones impropias “odd-ratios”.
T de Fisher: Verifica independencia de distribuciones
dicotómicas. Se ha usado un tanto impropiamente para comparar
pares de niveles de dos variables nominales-policotómicas.
Método de Scheffé (1953) permite estudiar no solo las posibles
comparaciones entre medias, sino cualquier tipo de comparación.
Se basa en el estadístico F, por lo que requiere normalidad y
Comparación homocedasticidad en las poblaciones de origen.
múltiple. Prueba de Tukey: El procedimiento de Tukey (1977) ha sido
diseñado para estudiar todas las posibles comparaciones entre
pares de medias, basándose en la distribución del rango
estandarizado, derivado de la t de Student.
31. Valor del efecto. (Carácter: Nominal dicotómica/Valor: Si lo

adelanta, no lo adelanta o no lo registra en el informe).
La investigación evaluativa intenta valorar, como en el caso de los

programas educativos, un objeto ateniéndose a criterios o patrones que en
ocasiones pueden establecerse de forma previa. Si la valoración se refiere en
concreto al valor o efecto que debería producir el programa para considerarlo
satisfactorio, suele adelantarse en forma de porcentaje, puntuación derivada,
Tamaño del Efecto, coeficiente de correlación o porcentaje de la varianza
explicada.
Como segunda opción en los valores de respuesta de esta variable

dicotómica se considera todos aquellos trabajos en los que no puede inferirse el
dato, ya sea porque no adelantan estos valores al proceso evaluativo o porque no
se registra tal dato en el informe revisado.
32. Valores o estándares externos de comparación. (Carácter:

Nominal /Valor: Si utiliza, pero no especifica; si utiliza, de corte cualitativo; si
utiliza, de corte cuantitativo estadístico; y no utiliza, no registra o no indica).
181
Si en la variable anterior se consideraba el enjuiciamiento de los

programas basándose en la predeterminación de cual debería ser su efecto, en ésta
se establece la posibilidad de su comparación con criterios, patrones o estándares
externos. Para ello se establecen las siguientes categorías de respuesta:
La primera de ellas abarca a todos aquellos trabajos en los que se

consideran estándares externos de comparación, pero sin especificar, ofreciendo
información en sentido general sobre este aspecto concreto.
En segundo lugar estarían todos aquellos en los que los patrones de

comparación son de corte cualitativo, establecido por ejemplo por niveles básicos
de referencia curricular, otros programas o la literatura especializada en el tópico.
Aunque en su momento estos criterios de comparación se derivaran de
investigaciones empíricas. Dentro de esta categoría hay que hacer mención
específica al seguimiento de los estándares o recomendaciones evaluativas
establecidas por el Joint Committee (Comité Conjunto de estándares para la
evaluación de programas, 1998).
Un tercer conjunto de trabajos estaría conformado por aquellos en los que

los estándares externos a la evaluación se fijan, en un sentido empírico
cuantitativo, a partir de estadísticos como puntuaciones típicas o notas de corte.
Siendo éste el sentido del anterior indicador 32, sobre si se adelanta el valor del
efecto esperado.
Y por último aquellos trabajos en los que no se registra, no consideran

estas informaciones o al menos no se muestran de forma lo suficientemente
explícita como para considerar su registro en otra categoría de esta variable.
182
33. Triangulación. (Carácter: Nominal /Valor: Fuentes, instrumentos,

temporal y no registra o no indica).
Uno de los mecanismos más empleado como proceso de consecución de

medidas válidas de la metodología cualitativa es la triangulación. Inicialmente
consistió en la recogida y análisis de datos desde diferentes ángulos para
compararlos y contrastarlos entre sí.
Pero los aspectos de una investigación sobre los que pueden tomarse
observaciones/medidas trianguladas son numerosos, no sólo restringidos al
análisis de datos, pudiéndose referir a diversos aspectos de ésta.
Además de la consideración de todos aquellos trabajos en los que no se

registra o indica triangulación alguna. Para operativizar el registro y posterior
análisis de los datos referidos a esta variable, se categorizan los posibles objetos
de triangulación en los siguientes ámbitos:
• Triangulación de fuentes de datos, ya sean éstos referidos a sujetos,

audiencias, contextos o cualquier otra unidad de análisis.
• Triangulación de instrumentos, medidas o mecanismos por los que

se registran los datos, como registros, evaluadores, etc.
• Triangulación técnica, referida a aspectos tales como las

disciplinas, teorías, metodologías, diseños de investigación, modelos evaluativos
• Triangulación temporal, referida al estudio de la estabilidad

temporal de los resultados mediante la repetición de los momentos de medida.
Además de permitir comprobar esta constancia en el tiempo descubre la aparición
de nuevos elementos. Una posible variante de la triangulación temporal sería la
aplicación del mismo diseño en momentos diferentes.
183
5.1.3.7. Decisiones tras la evaluación.
Todo el proceso de evaluación de los programas educativos, basados en

procesos de investigación, tiene por objeto su enjuiciamiento para la toma de
decisiones, que en última instancia delimiten actuaciones para el bien social.
Fernández Ballesteros (1996) asigna valores para la toma de decisiones

tras la evaluación de un programa en aspectos tales como su continuidad y
necesidad de modificación. Consideraciones a las que parece oportuno añadir
como punto de partida los efectos declarados del programa. Sin que deba
entenderse la consideración de tal variable como un rasgo distintivo de una
valoración positivista, sumativa o centrada en resultados, sino como una
triangulación de aspectos lógicos que permita una consideración global de las
decisiones tomadas tras la evaluación del programa.
Esta apreciación general de decisiones queda por tanto determinada por

el registro de las siguientes variables y sus posibles opciones de respuesta:
34. Efectos del programa. (Carácter: Nominal /Valor: Positivos,

nulos, negativos y no registra o no indica).
35. Continuidad. (Carácter: Nominal /Valor: Continuar con la

implementación/evaluación del programa; no continuar debido a circunstancias
reflejadas en el indicador 35 y 36; y no registra o no indica).
36. Decisión de modificación. (Carácter: Nominal /Valor: Modificar,

no modificar y no registra o no indica). Para su consideración conjunta se propone
un modelo de registro factorial en el que se relacionan todos los posibles valores
de respuesta establecidos para cada una de las variables consideradas.
184
La lógica congruencia que debiera existir entre las informaciones

ofrecidas por estos tres indicadores y la necesidad de considerar los resultados que
se derivan de ellos de forma global, permite que aunque su registro se realice de
forma segmentada, su tratamiento y discusión se elabore de forma conjunta.
Tabla 5.16. Categorización y registro conjunto de las variables 34,35 y 36, referidas a
resultados de la evaluación, decisión de continuidad y modificación del programa.
CONTINUIDAD
Aspectos de decisión
Si No NR o NI
No Modificar
No Modificar
No modificar
Modificar
Modificar
Modificar
DECISIÓN
NR o NI
NR o NI
NR o NI
Positivos
RESULTADOS
Neutros
Negativos
NR o NI
5.1.3.8. Otros aspectos.
37. Soporte del programa. (Carácter: Nominal /Valor: sin

especificación previa, a determinar tras la categorización en el análisis de datos).
El soporte del programa hace referencia a su naturaleza material y sobre

la que se delimita su proceso de implementación. Tradicionalmente los programas
educativos y sociales se han venido basando en soportes de lápiz y papel, en los
que las informaciones/tratamientos a los individuos se le ofrecían en forma de
libros, cuadernillos o fichas, realizándose normalmente el registro de datos
mediante instrumentos de la misma naturaleza material.
185
La revolución tecnológica a permitido el rápido desarrollo de elementos

de presentación/recogida de informaciones basados en tecnologías audiovisuales e
informáticas que permiten además de la transmisión y recepción de grandes
caudales de información, facilitar y acelerar enormemente su tratamiento.
Sin embargo, la complejidad de las actuaciones de intervención

delimitadas en la implementación de programas educativos y sociales, hace que
sea complejo establecer un formato material concreto, puesto que muchas de las
acciones y relaciones se desarrollan desde planos abstractos de la intervención
personal.
5.1.4. Dificultades detectadas en la concepción de los indicadores y

el establecimiento de las variables de investigación.
Los estudios de carácter cienciométrico pueden establecerse desde dos

perspectivas: eminentemente descriptiva, tratando aspectos puramente
cuantitativos, como distribución geográfica, documental, temática y
productividad; o evaluativa, que añade a la primera estudios de evaluación de la
actividad científica. Esta segunda puede implicar el empleo de técnicas
estadísticas y programas informáticos de mayor complejidad, teniendo que
manejarse los resultados con extrema precaución, sobre todo en Ciencias Sociales,
donde factores sociales, económicos y políticos actúan sobre los indicadores
cienciométricos, pudiendo desviar sus resultados.
En el caso de los aspectos cientimétricos, al tratarse de indicadores

básicos y muy estandarizados no se han detectado grandes dificultades en su
concepción o establecimiento teórico. Derivándose los mayores problemas en su
aplicación empírica a las dificultades de acceso a informaciones, a su registro
incompleto o sesgado, y al caudal de información generado.
186
Algunos casos que ejemplifiquen estas situaciones son los de trabajos en

los que no se señala el nombre completo del autor; en los que las citas no se
registran completa o convenientemente, teniendo que recurrir en el mejor de los
casos para su revisión a otras fuentes. Todo referido a caudales de información
que en el caso de las citas realizadas superan los tres mil quinientos registros.
En este mismo sentido, las mayores dificultades generadas por los

indicadores de tipo conceptual se han relacionado más con el registro y gestión de
la información, que con la delimitación de conceptos y asignación de significados.
5.2. INSTRUMENTO DE RECOGIDA DE DATOS.
5.2.1. Descripción general.
El instrumento para la recogida de datos se basaba en una hoja de registro

informatizada mediante el programa Microsoft Excel (1985-1997), perteneciente
al paquete informático Microsoft Office 97 que permitía el registro de datos, su
gestión básica y realización de cálculos preliminares.
El empleo de un programa de cálculo como fuente básica de registro de

datos, frente a otros de tipo Microsoft Access (1989-1997), se debe a que la
mayoría de acciones a realizar de tipo aritmético quedan tremendamente
facilitadas en datos numéricos, la mayoría en una revisión bibliométrica, y
aceptablemente gestionados los de tipo alfabético. Permitiendo su compatibilidad
con el resto de aplicaciones informáticas del paquete informático, una gran
versatilidad desde el registro, al tratamiento e incluso presentación de
informaciones.
Como ha quedado indicado en apartados anteriores este trabajo aborda el

análisis de la investigación científica española sobre evaluación de programas
educativos desde una triple perspectiva cientimétrica, conceptual y metodológica.
Este aspecto que ha vertebrado el establecimiento de variables, considerado en el
187
primer epígrafe de este mismo capítulo, delimita también la elaboración por

separado de los instrumentos de recogida de información:
• Instrumento de recogida de datos cientimétricos (Ver Tabla 5.17.).
Tabla 5.17. Campos de registro en el instrumento de recogida de datos cientimétricos.
ÁMBITO CAMPO ESPECÍFICO
1. Fecha de publicación.
2. Registro de autores.
3. Número de autores.
4. Institución/es productora/as.
5. Número de institución/es productora/as.

A. Registros de productividad
6. Áreas productora/as.
7. Número de áreas productora/as.
8. Fuente de publicación.
9. Tipo de fuente de publicación.
10. Número de páginas del informe.
11. Distribución nominal de autores citados.
12. Distribución de fechas de las citas.
13. Distribución del tipo de fuente citada.
14. Distribución del idioma de las citas.

B. Registros de citación.
15. Número total de referencias citadas.
16. Antigüedad promedio de las citas realizadas.
17. Variabilidad promedio de las citas realizadas.
18. Número total de citas por idioma y tipo de publicación.
188
Figura 5.1. Instrumento de recogida de datos cientimétricos.
• Instrumento de recogida de datos conceptuales y metodológicos

(Ver Tabla 5.18).
Los campos de registro de cada uno de ellos quedan así mismo

delimitados y establecidos en el mencionado apartado referido a las variables e
indicadores de este estudio.
189
Tabla 5.18. Campos de registro en el instrumento de recogida de datos conceptuales y

metodológicos.
ÁMBITO CAMPO ESPECÍFICO
1. Título.
2. Paradigma/enfoque metodológico.
3. Teoría desde o para la que trabaja.
4. Establecimiento de hipótesis.
A. Teoría y fundamentación 5. Modelo evaluativo.
6. Metodología.
7. Facetas evaluadas.
8. Productos de la evaluación.
B. Instrumentos de recogida 9. Instrumento (estandarización). 10. Instrumento
11. Validez Instrumento. 12. Fiabilidad Instrumento.
de datos
13. Escala de medida.
14. Selección aleatoria. 15. Técnica de selección
16. Tamaño muestral (N).
17. Género de la muestra.
C. Población y muestra
18. Edad de la muestra.
19. Nivel académico de la muestra.
20. Población.
21. Tipo de diseño. 22. Denominación específica del
23. Temporalización del diseño.
D. Diseño de investigación
24. Agentes evaluadores.
25. Amenazas a la validez del diseño. 26. Control de amenazas.
E. Aspectos cronológicos de 27. Seguimiento.
la investigación. 28. Duración.
29. Unidades básicas de análisis.
30. Estadísticos descriptivos.
31. Estadísticos correlacionales y multivariados.
32. Análisis cualitativo.
F. Análisis de datos.
33. Estadísticos inferenciales.
34. Adelanto de valor del efecto.
35. Valores o estándares externos de comparación.
36. Triangulación.
G. Decisiones tras la 37. Efectos del programa.
38. Continuidad.
evaluación.
39. Decisión de modificación.
40. Área o disciplina del programa.
41. Contenidos del programa.
H. Aspectos conceptuales
42. Palabras clave.
43. Soporte del programa.
190
Figura 5.2. Instrumento de recogida de datos conceptuales y metodológicos.
5.2.2. Proceso de construcción del instrumento y dificultades en su

concepción.
Los instrumentos de recogida de datos se han elaborado, para cada uno

de los campos que los constituyen, a partir de las revisiones bibliográficas
realizadas en la primera fase de este estudio. Esta revisión ha orientado su
construcción en dos aspectos básicos:
En primer lugar la revisión de trabajos afines (Expósito, 2000; Torralbo,

2001), por medio del examen de sus virtudes y carencias, ha facilitado la
construcción, adaptación y delimitación de los campos que constituyen cada uno
de los instrumentos.
191
Y en segundo lugar, este proceso de revisión de la literatura científica ha

fundamentado teóricamente y facilitado la asignación de significados a cada uno
de los términos, campos y aspectos que constituyen los registros cientimétricos,
conceptuales y metodológicos específicos de este estudio.
Este instrumento ha sometido a una dinámica de modificación y mejora

durante el proceso de registro para adaptarlo mejor a los requerimientos de los
distintos datos. Así, se han ido afinando y homogeneizando los campos de registro
para que los datos de todos los trabajos revisados pudieran quedar
convenientemente registrados. Este ajuste se ha realizado incluso en aspectos
como el tamaño físico del campo, que en algún caso como en los datos referidos a
las referencias bibliográficas citadas, con distinto número en cada ficha de
artículo, se ha recurrido a programar instrucciones con formatos variables que
permitiesen posteriores conteos homogéneos.
Al ser éste un instrumento informatizado desde su propia concepción se

han flexibilizado tanto las opciones de cambio, como facilitado las anotaciones y
el posterior tratamiento en las hojas de análisis de datos y en general el
tratamiento de la información.
5.2.3. Aspectos de validez y fiabilidad del instrumento de recogida

de datos.
La validez del instrumento puede quedar determinada, en alguno de los

aspectos que determinan Colás y Buendía (1998), en dos momentos de la
investigación: En cuanto a su contenido, durante el diseño se atendió a cuestiones
relevantes expresadas en estudios afines y a la revisión de expertos. Y en su
utilización, por el registro de múltiples observadores/registradores expertos que lo
han ido afinando a lo largo del proceso de registro.
192
La parte o el instrumento de registro referido a aspectos cientimétricos

ha sido empleado con éxito en un estudio previo de este mismo autor (Expósito,
2000), por lo que puede considerarse sometido a una prueba piloto.
En cuanto a su fiabilidad, queda patente ya sea por su consistencia al

tratarse de un instrumento descriptivo, para aspectos bibliométricos cuantitativos
de valor único o por la adquisición de valores siempre obtenidos en triangulación
de revisores y obtención de posterior consenso en datos discrepantes.
5.3. POBLACIÓN Y MUESTRA.
Cuando se plantea el conocimiento de una determinada realidad social,

no siempre es posible acceder a todos los casos que comparten características
comunes, teniendo que seleccionar una parte de ellos a la que se denomina
muestra (Buendía, 1998). Si ésta selección se ha realizado mediante los
procedimientos adecuados, los datos obtenidos en su estudio podrían generalizarse
a totalidad de los casos.
5.3.1. Identificación de la población y proceso para la selección de

la muestra.
La población a considerar aquí es la investigación educativa española

sobre la evaluación de programas educativos, delimitando este campo en sus
principios teóricos por medio del proceso de revisión de la literatura. Para ello, se
establecen una serie de criterios que delimiten la población considerada, de la
producción global sobre evaluación de programas educativos. Siendo las
principales condiciones para su selección:
193
• Las unidades básicas debían ser programas que tratasen cualquier

aspecto educativo. Desarrollo curricular, educación para la salud, para la
convivencia o cualquier otro aspecto desarrollado tanto en el ámbito escolar,
familiar como social.
• Los programas o las evaluaciones debían realizarse en el ámbito

español. Y si se referían a programas extranjeros, se habían aplicado y/o la
publicación del informe debía realizarse en revistas de investigación españolas.
Asumimos además, el supuesto conceptual que asimila la investigación realizada
con su presentación como artículo en revista científica. Este isomorfismo no es
descabellado, ya que el artículo es el vehículo habitual por excelencia para
difundir los informes de una investigación.
• Que se tratase de evaluaciones reales realizadas a programas

implantados totalmente, o estuviesen en alguna de sus fases.
• Las evaluaciones debían tener unos criterios mínimos de

“investigación educativa”, en la que se estableciesen unos objetivos o fines,
metodología, instrumentos, se realizase una recogida y análisis de datos, que
permitiesen emitir unas conclusiones y tomar decisiones acerca del programa.
Desestimando los artículos de opinión o con argumentaciones no fundamentadas.
Tras la delimitación teórica de la población y basándose en los mismos

criterios de inclusión de trabajos en ella, se identifican aquellos que podrían
adecuarse a las características de este estudio fundamentalmente partiendo de una
búsqueda en la base de datos del ISOC, con los siguientes términos:
“Investigación + evaluación + programa + educación + español8”
8
Término empleado exclusivamente en bases de datos extranjeras o con registros internacionales.
194
Además esta búsqueda quedó complementada con los registros

seleccionados de otras bases de datos y con una búsqueda manual de referencias
cruzadas. Siendo el número total de registros para la búsqueda, teniendo en cuanta
los diferentes términos, los registrados en la siguiente tabla.
Tabla 5.19. Muestra selecciona y muestra productora de datos.

NÚMERO DE
ÁMBITO Y PROCESOS DE SELECCIÓN DE MUESTRA
REGISTROS
I.S.O.C. 1363
Psyclit 11
Búsqueda automatizada en bases de datos. Biblioteca Nacional 95
E.R.I.C. 163
S.S.C.I. 43
Búsqueda cruzada manual 123
TOTAL 1798
REGISTROS SELECCIONADOS 300
REGISTROS PRODUCTORES DE DATOS (69,3%) 208
Como las revisiones nunca son asépticas (Álvarez Rojo y Hernández,

1998) sino que implican una toma de decisiones por parte del revisor a la hora de
seleccionar los trabajos a revisar, corriendo el riesgo de omitir alguno realmente
significativo. Se utilizó un mecanismo de fiabilidad usual en los estudios de
síntesis, en el que cada lectura era revisada detenidamente por dos recolectores /
lectores que decidían y resolvían conjuntamente las discrepancias sobre su
selección definitiva.
Aunque a priori, por el empleo de criterios de búsqueda específicos, todos

los trabajos seleccionados (1798 trabajos) cumplían las condiciones establecidas
previamente y señaladas en este mismo apartado. Mediante un proceso de revisión
en profundidad, basado en la concordancia entre revisores, se comprueba que el
ajuste real a las condiciones de esta investigación es de 300 registros,
convirtiéndose en la muestra seleccionada.
195
La técnica de muestreo es por tanto censal, tratando de recuperar los 300

trabajos de investigación seleccionados. Sin embargo la tasa de omisión, por no
accesibilidad o por incumplimiento de las condiciones específicas de selección,
rondó el 30% determinó una muestra productora de datos de 208 trabajos.
Especificándose algunas de estas dificultades en el siguiente epígrafe.
5.3.2. Dificultades para la selección muestra.
Los problemas más habituales tras la búsqueda automatizada y la

selección en el proceso de recuperación y nueva búsqueda manual de referencias,
se relacionan con cuestiones como:
• En algunas referencias de la base ISOC los datos, como año de

publicación o número de publicación, no se correspondían con los datos reales del
trabajo o algunas referencias se encontraban en las lenguas autonómicas.
• Aunque todos los trabajos hacían referencia al mismo tópico o

asunto, la dispersión de la información es evidente, teniendo que recurrir al
préstamo interbibliotecario o al apoyo externo para la recuperación de
referencias. En algunas ocasiones, los trabajos no pudieron ser localizados por
tratarse de literatura gris de escasa difusión, o por la fugacidad y/o mortalidad de
las fuentes en las que fueron publicados.
• Pese a la adecuación a priori del trabajo a los indicadores de

búsqueda establecidos, algunos fueron desestimados por ser eminentemente
teóricos, de opinión o no realizar ningún proceso investigativo.
• En otros trabajos las dificultades se relacionan con la presentación

de las informaciones en los informes de investigación. Como no realizar las
citaciones y referencias bibliográficas completas o por ser una compilación de
estudios y no una evaluación específica.
196
5.4. DISEÑO.
El establecimiento del diseño adoptado y los procesos de acción y toma

de decisiones desarrollados, se ajusta a las características especificas delimitadas a
continuación.
5.4.1. Selección del diseño.
Este trabajo intenta sintetizar desde una triple perspectiva cientimétrica,

conceptual y metodológica la investigación educativa española sobre evaluación
de programas educativos. Pretendiendo ofrecer una visión general y sistemática de
cómo se ha abordado la investigación sobre este tópico en un periodo diacrónico
contenido entre los años 1975 y 2000.
Por tanto, se ajusta a la caracterización que ofrece Colás (1998) de los

estudios descriptivos, que tienen como principal objeto describir
sistemáticamente hechos y características de una población o área de interés de
forma objetiva y comprobable.
En concreto según la clasificación que ofrecen Van Dalen y Meyer,

(1984) resultaría un estudio analítico documental y de desarrollo, puesto que se
pretende analizar el fenómeno de la investigación española sobre evaluación de
programas en algunos de sus componentes básicos, como son en este caso sus
aspectos cientimétricos, conceptuales y metodológicos; y por otro lado, se
pretenden buscar patrones de desarrollo a lo largo del periodo temporal
1975/2000.
A la vez posee un carácter de síntesis o estudio secundario, puesto que el

contenido de estudio es la producción científica primaria, expresada en su mayoría
por trabajos publicados en revistas especializadas, acerca del tópico de interés;
tratadas mediante una metodología cienciométrica.
197
Aunque en su realización abundan las aproximaciones cuantitativas, no

se renuncia a la aplicación de técnicas y procedimientos cualitativos cuando la
naturaleza de los datos y las necesidades de los análisis lo requieran, pudiéndose
calificar en cierta medida por el empleo de una metodología ecléctica.
Con respecto a la fuente de la investigación posee un carácter

documental/bibliográfico, al constituir esta la base de las informaciones y datos
recogidas para indagar el estado de la cuestión. Tratándose de un estudio con
pretensiones censales, aunque limitadas por la disponibilidad de los trabajos
revisados.
La temporalidad del diseño atiende a criterios eminentemente

longitudinales, al intentar delimitar tendencias temporales de los distintos casos
recopilados. Mediante el empleo de instrumentos documentales, como es el caso
de las bases de datos, y análisis determinados por las informaciones obtenidas en
las revisiones preliminares de las distribuciones de datos.
5.4.2. Amenazas al diseño y mecanismos de control.
La consecución de un proceso de investigación válido tiene como

premisas la consideración de las amenazas a las que puede verse sometido el
diseño empleado y el establecimiento de las medidas oportunas para su control.
La validez externa de este tipo de estudios de naturaleza documental,

delimitada en la autenticidad y pertinencia de los trabajos seleccionados para la
revisión, queda establecida mediante el acceso a fuentes de reconocido prestigio
científico, con mecanismos de selección de trabajos basados en la revisión por
expertos.
198
La principal amenaza en esta revisión puede derivarse del proceso de

búsqueda y selección de la población y muestra. Es decir, en los posibles sesgos
en la selección de los estudios primarios a revisar. Procurando su control por
medio de:
A escala poblacional, la selección de los artículos a revisar quedaba

determinada por los registros en diversas bases de datos y de las posibles
referencias cruzadas localizadas manualmente. Para evitar posibles sesgos, se
procedió a una búsqueda utilizando todas las combinaciones posibles de las
palabras clave “evaluación + programas + educativo + investigación +español”.
A nivel muestral, tanto la selección de los artículos para su revisión tras

su recuperación, como la posible selección de nuevas referencias por búsqueda
manual que se adecuasen a los criterios establecidos para su selección, se realizó
por medio de múltiples revisores y la resolución mediante el consenso de casos
discrepantes.
Las características específicas establecidas para la adecuación de los

trabajos revisados o su consideración como elementos poblacionales, dificultan el
establecimiento numérico de su tamaño. Sin embargo, los sesgos debidos a la
mortalidad muestral o atrición quedan los suficientemente controlados al suponer
la muestra productora de datos más del 69% del total de muestra total
seleccionada y que cumple estos parámetros de calificación como investigaciones
empíricas españolas sobre evaluación de programas educativos.
Con respecto a los problemas derivados del deterioro instrumental, se

asignan e identifican claramente los significados y valores para cada variable
mediante una explicación fundamentada en la literatura especializada, de forma
que, se minimicen las modificaciones de registro.
199
Pese a esta exhaustividad en el establecimiento de las variables, su

registro puede verse alterado por las propias características individuales y
expectativas de los recolectores/revisores, recurriéndose para su control a la
triangulación de expertos y a la discusión/acuerdo sobre casos discrepantes. Y a
su vez en el establecimiento de parámetros y procedimientos de registro lo más
estandarizados posible.
En cuanto a la validez del diseño para generalizar los resultados de esta

revisión a toda la producción investigativa referente a la evaluación de programas,
lo que Hernández Pina (1998a) llama Validez de la población, se realiza este
proceso de inferencia con las precauciones derivadas que la muestra no fuese lo
suficientemente significativa de la población que pretende describir.
5.4.3. Procedimiento diacrónico y dificultades en el desarrollo de

la investigación.
Este trabajo ha tenido el siguiente desarrollo temporal, muy similar al

esquema lógico para el desarrollo de investigaciones educativas propuesto por
Hernández Pina (1998a):
CLARIFICACIÓN DEL ÁREA PROBLEMÁTICA.
• Identificación del problema: Dentro de las lecturas generales sobre

investigación educativa, se centra la atención sobre la evaluación de programas
educativos.
• Búsqueda de información relevante. Primera revisión

bibliográfica: Para concretar el problema y comprobar la escasez de revisiones
cienciométricas en este campo.
200
• Formulación del trabajo: Se resuelve realizar una revisión acerca

de las investigaciones sobre evaluación de programas educativos españoles.
PLANIFICACIÓN DE LA INVESTIGACIÓN.
• Elaboración del proyecto de la investigación: viabilidad,

objetivos, diseño de investigación y procedimientos: Establecimiento de las pautas
de trabajo generales y tomando decisiones referidas al material a revisar.
• Búsqueda de referencias en bases de datos: Segunda revisión

bibliográfica: Búsqueda de referencias sobre investigaciones sobre evaluación de
programas educativos. Por una parte nos sirve para seleccionar los materiales a
revisar como datos de la investigación; y por otra, como fuente básica de lecturas
adecuadas acerca del tópico a investigar.
• Selección de la población y muestra: Comprobación de la

diversidad de la literatura acerca de evaluación de programas, siendo más
abundantes las de tipo teórico que las realizaciones con carácter de investigación.
• Diseño del instrumento de registro de datos: Diseño del

instrumento de recogida de datos con los campos pertinentes, ajustados en la
revisión de la literatura y por la realización de estudios afines.
TRABAJO DE CAMPO.
• Búsqueda y recuperación de los artículos de investigación: Tercera

revisión bibliográfica: Recuperación de las referencias obtenidas en distintas
hemerotecas o por préstamo interbibliotecario.
• Construcción del instrumento y base de datos de registro:

Construcción del instrumento en formato informático que permitiría ir
reformando/mejorándolo a lo largo de todo el periodo de registro de datos. Se
201
realiza un pequeño estudio piloto, con un número limitado de registros, para

comprobar el buen funcionamiento de la base de datos.
• Lectura de los artículos y registro de datos: Se procede a la

lectura/revisión de los artículos de investigación y a su registro en la base de
datos informática.
ANÁLISIS DE DATOS E INFORME DE LA INVESTIGACIÓN.
• Elaboración de un plan de análisis de datos: Basándose en la

revisión de la literatura, en el establecimiento de las variables del estudio y en
análisis preliminares de datos, se elaboraran se acotan y establece la disposición
de los rasgos de estudio pertinentes y los cruces de campos necesarios para
cumplir los objetivos del estudio.
• Construcción de hojas para el tratamiento y análisis de datos:

Secciones de las bases de datos, que vinculadas a programas de cálculo y
tratamiento estadístico, permiten el análisis de los datos registrados.
• Obtención y análisis de resultados: Mediante la aplicación de los

estadísticos pertinentes en cada caso y basándose en las pautas establecidas en el
diseño de la investigación, se analizan y organiza el análisis de datos.
• Discusión de datos, extracción de conclusiones y elaboración del

informe: A partir de las informaciones ofrecidas por el análisis de los datos, su
comparación con otros estudios y con los valores y patrones ofrecidos por la
literatura especializada, se elabora una discusión de resultados cuya finalidad se
dirige a la extracción de conclusiones que pudieran ser relevantes en el campo de
la evaluación de programas.
202
Todo el proceso de investigación, así como las informaciones resultantes

de él, se sintetizan en el presente informe de investigación, que ajustándose al
formato de Tesis Doctoral, sigue las recomendaciones compiladas por Rebollo
(1993) para la elaboración de informes evaluativos de algunos autores clásicos en
la investigación sobre evaluación de programas (Lee y Holley, 1978; Parlett y
Hamilton, 1983; Worthen y Sanders, 1987; Morris, 1987 o Santos, 1990).
5.5.1. Tratamiento de datos. Uso y gestión de las bases de datos.
Los datos cientimétricos, conceptuales y metodológicos de cada trabajo

revisado se cuantifican y/o relacionan para su registro en los campos solicitados
en cada uno de los instrumentos, ateniéndose a la definición establecida par cada
variable y los valores otorgados como posibilidades de registro.
El registro de los datos se realiza al menos por duplicado y por

registradores diferentes para cada uno de los trabajos revisados. Tras su revisión
conjunta y el acuerdo sobre datos discrepantes, se introducen éstos en la base de
datos informatizada realizada mediante el programa Microsoft Excel(1985-1997).
Resultando por tanto 208 fichas de registro para el instrumento cientimétrico y
208 para el metodológico y conceptual.
El registro informatizado en hojas de cálculo, facilita la elaboración de

cálculos preliminares, como los realizados en cada hoja/trabajo o elemento
muestral del instrumento cientimétrico que permite el conteo de las referencias
citadas, su total por fuentes y por idiomas; su antigüedad promedio y su
variabilidad.
203
Con posterioridad y a partir de cada una de las hojas de cada uno de los
artículos revisados, se abre otro libro, en la misma base de datos para realizar los
cálculos totales en cada una de las variables descritas en el primer epígrafe de este
mismo capítulo. Así mismo, la compatibilidad del software empleado facilita la
elaboración de matrices de datos para su empleo en otros programas estadísticos
como S.P.S.S.10.0 y de tratamiento de datos cualitativos como Aquadfive.
5.5.2. Técnicas y estadísticos a emplear en el tratamiento de los

datos.
Aunque no se puedan establecer técnicas específicas para el análisis de

datos en evaluación de programas (Tejedor et. al., 1994), si es cierto que en
función del carácter de la evaluación, tipo de instrumento y naturaleza de los
datos, unas son más convenientes que otras.
Al tratarse de un estudio de corte descriptivo, los estadísticos usualmente

empleados son precisamente los que permiten la descripción de las distribuciones
en aspectos como su tendencia y variabilidad: frecuencias, frecuencias absolutas,
valores medios, medias aritméticas y porcentajes. Expresados en algunas
ocasiones de forma específica por la terminología propia de una revisión
cienciométrica y constituidos como indicadores específicos.
Para comprobar la bondad de ajuste de la distribución de frecuencias

patrones teóricos como el propuesto en la Ley de Lotka, se recurre a estadísticos
de tipo correlacional, ya que el número limitado de casos y las frecuencias
registradas iguales a cero o menores de cinco, hace inviable la aplicación de la
prueba χ2 (Chi cuadrado).
Sin embargo, este estadístico sí es empleado para establecer la

independencia de las distribuciones de autores y comprobar la inexistencia de
sesgos producidos debidos al género.
204
Además de los estadísticos desarrollados en análisis cuantitativos, se

recurre complementariamente a los análisis cualitativos de contenido para el
análisis de datos referidos a aspectos conceptuales. Principalmente al análisis de
contenido.
En el análisis de datos metodológicos se realiza, además del uso de todos

los estadísticos de corte descriptivo, un análisis de componentes principales para
comprobar las relaciones entre las facetas que son evaluadas de cada programa en
los trabajos evaluativos tomados como muestra en esta Tesis.
En general, como señalaban en su propuesta González, Buendía y

Gutiérrez (1993), se recurre a técnicas eclécticas en las que de forma
complementaria no se renuncia al empleo de cualquier estadístico siempre que sea
pertinente su aplicación y facilite el análisis e interpretación de los datos.
205
206
CAPÍTULO VI. ANÁLISIS E

INTERPRETACIÓN DE RESULTADOS DE
INDICADORES CIENTIMÉTRICOS.
La función de los indicadores de actividad científica

(indicadores cientimétricos) no puede limitarse a amontonar
datos estadísticos yuxtapuestos. Hay que integrarlos para
conseguir explicaciones lo más sólidas que sea posible acerca
de las actividades relacionadas con la ciencia.
(López Piñero y Terrada, 1992)
6.1. INTRODUCCIÓN.
Debido a la diversidad de las informaciones analizadas, y para mejorar

tanto su tratamiento y presentación como su comprensión, la realización del
análisis de datos referidos a aspectos cientimétricos, metodológicos y
conceptuales se ha distribuido en dos capítulos diferenciados.
En este capítulo seis, se presentan los análisis de los datos cientimétricos

y en el capítulo siete, los referidos a aspectos metodológicos y conceptuales. Con
posterioridad, en el capítulo ocho se realizará una discusión de datos conjunta, que
basada en criterios establecidos en la bibliografía previa, y presentados en la
fundamentación teórica, permitan extraer ciertas inferencias de carácter global
207
Capítulo VI. Análisis de datos cientimétricos.
acerca de la producción científica en el campo de la evaluación de programas

educativos.
Los datos reflejados a continuación se refieren en concreto a los

indicadores y variables cientimétricas, declarados en el apartado 5.1.1 de este
trabajo y contenido en el capítulo quinto relativo al método de investigación.
Abarcando dos cuestiones principales como son la productividad y la citación,
referidos en trabajos que recurren principalmente a la utilización de técnicas
cientimétricas (Fernández Cano y Bueno, 1998 y 1999).
En el análisis de la productividad se considera tanto la productividad

global, como su distribución por autores, número y género de éstos, la institución
a la que pertenecen y el área de trabajo en la que desarrollan su labor, y las fuentes
en la que publican su trabajo.
En cuanto al análisis de la citación realizada en los diversos trabajos

revisados y registrados como muestra, se analiza tanto su frecuencia, los autores
citados, así como el idioma y la fuente de publicación de sus realizaciones.
Considerando las pautas establecidas en algunos manuales de

bibliometría (López López, 1996 y Spinak, 1996) y hechas explícitas en estudios
de carácter empírico como los de Torralbo (2001) o Bueno (2001), se orienta la
siguiente exposición de datos en cuanto a su secuencia y ordenación, recurriendo
a numerosas tablas de síntesis, representaciones gráficas y calculando índices
promedio o porcentajes del total de su distribución. En cierto sentido, esta
ordenación queda igualmente determinada por el seguimiento de los diversos
campos de registro establecidos en el instrumento de recogida de datos.
En algunos de los indicadores se considera de interés profundizar en su

estudio, mediante la descripción de su desarrollo diacrónico o recurriendo a
comprobar su ajuste a las leyes y patrones bibliométricos básicos, definidos
208
explícitamente en el apartado de fundamentación teórica y exposición de las

variables.
En definitiva, como principio básico de investigación, se intenta realizar

una exposición lo más clara y precisa posible de una gran diversidad de datos,
pero de forma lo suficientemente sintetizada como para que permita una adecuada
visión global del campo analizado.
6.2. PRODUCTIVIDAD.
El estudio de la productividad en la investigación es un indicador básico

en los trabajos de carácter cientimétrico, distinguiéndose en diversos tipos:
personal o de autores, institucional y múltiple o coautoría.
6.2.1. Productividad diacrónica.
Uno de los principales factores considerados es la variación en el tiempo

o el desarrollo diacrónico de las variables consideradas. Así, entendiendo esta
primera variable como el año de publicación de los trabajos revisados e integrados
en este estudio de síntesis se recogen las frecuencias (f) y porcentajes (%),
reflejados en la tabla 6.1. Se consideran de igual forma la frecuencia acumulada
(fa), la frecuencia bianual (f bianual) y el porcentaje acumulado (%a).
209
Tabla 6.1. Productividad diacrónica.

AÑO de publicación f fa f (bienal) f (trienal) % %a
1975 0 - - -
1 0
1976 0 - - -
1977 1 1 0,48 0,48
1
1978 0 1 2 0,00 0,48
1979 1 2 0,48 0,96
1
1980 0 2 0,00 0,96
1981 0 2 2 0,00 0,96
2
1982 2 4 0,96 1,92
1983 1 5 0,48 2,40
2
1984 1 6 4 0,48 2,88
1985 2 8 0,96 3,85
9
1986 7 15 3,37 7,21
1987 3 18 17 1,44 8,65
10
1988 7 25 3,37 12,02
1989 20 45 9,62 21,63
43
1990 25 68 55 12,06 32,69
1991 12 80 5,77 38,46
16
1992 4 84 1,92 40,38
1993 11 95 43 5,29 45,67
39
1994 28 123 13,46 59,13
1995 13 136 6,25 65,38
33
1996 20 156 51 9,62 75,00
1997 18 174 8,65 83,65
25
1998 7 181 3,37 87,02
1999 5 186 33 2,40 89,42
26
2000 21 207 10,10 99,52
NRoNI1 1 1 1 0,48 100
TOTAL 208 208 208 208 100
1
NR.o NI.: No registra o no indica fecha de publicación.
210
Gráfico 6.1. Productividad diacrónica (f anual)

30
25
20
15
10
0
75
77
79
81
83
85
87
89
91
93
95
97
99
19
19
19
19
19
19
19
19
19
19
19
19
19
Gráfico 6.2. Productividad diacrónica (f acumulada/anua l)

250
200
150
100
50
0
75
77
79
81
83
85
87
89
91
93
95
97
99
19
19
19
19
19
19
19
19
19
19
19
19
19
211
En general se puede apreciar un patrón un tanto usual, en el que se

alternan crestas y senos productivos, que se podría calificar como productividad a
“borbotones”. Sin embargo, cuanto más amplios son los periodos temporales
considerados, comienza a configurarse un patrón más claro.
En un periodo que abarca desde 1975 hasta 1985, podemos considerar

una escasa producción, nula en algunos años y siempre con frecuencias inferiores
a diez trabajos. Acumulándose tan sólo 8 trabajos de los 208 revisados en la
totalidad del periodo diacrónico (Tabla 6.1.).
Sin embargo, a partir de 1986 se produce un notable incremento

productivo en este tópico de investigación, triplicando este año al anterior en
frecuencia y casi duplicándolo en la frecuencia acumulada. Este año abre un
intervalo de más alta producción que en algunos años, como 1989, 1990, 1994,
1996 o 2000 superan la veintena en las realizaciones revisadas, mostrándose
crestas productivas en la representación gráfica. Especialmente el año 1990, en el
que la Revista de Investigación Educativa publica un monográfico sobre
Evaluación de Programas, y en 1994.
Aunque durante los años 1998 y 1999 la producción revisada decae,

durante el 2000 vuelve a recuperar valores similares. Pudiéndose considerar éste
por tanto en la actualidad un tópico caliente de investigación.
Atendiendo al desarrollo porcentual podemos obtener valores similares,

como puede apreciarse en la comparación gráfica (gráficas 6.1 y 6.5),
obteniéndose hasta 1988 porcentajes de la producción total estudiada siempre
inferiores al 5% anual y muy cercanos al 12% acumulado. Incrementándose en los
siguientes cinco años, hasta 1994, que ya acumula casi el 60% del total.
También es a partir de este periodo, cuando los porcentajes del total de la

producción son algo más elevados, la mayoría entre 5% y 10% del total de la
producción.
212
Gráfico 6.3. Productividad diacrónica (f/bienal).
50
45
40
35
30
25
20
15
10
0
6
0
/7
/7
/8
/8
/8
/8
/8
/9
/9
/9
/9
/9
/0
75
77
79
81
83
85
87
89
91
93
95
97
99
19
19
19
19
19
19
19
19
19
19
19
19
19
Gráfico 6.4.Productividad diacrónica (f/trienal).

60
50
40
30
20
10
0
Hasta 1977/79 1980/82 1983/85 1986/88 1989/91 1992/94 1995/97 1998/00
1976
213
Acumulando las frecuencias en periodos bianuales (gráfico 6.3), también

podemos comprobar que el periodo 1989/1990 produce un despunte de alta
producción, por encima de los 40 trabajos revisados; siendo igualmente altos los
que abarcan 1993/1994 y 1995/1996, con frecuencias de 39 y 33 trabajos
respectivamente.
En otro sentido y adoptando una perspectiva diacrónica regresiva,

comprobamos que en los últimos diez años se ha producido más del 75%,
mientras que en los diez años anteriores tan sólo algo menos del 25% del total de
los trabajos. Tendencia que parece estabilizarse.
Así en la tendencia general de la producción científica en este campo,

como puede observarse en el patrón gráfico observado en el gráfico 6.4, puede
considerarse en un periodo de estabilización, en el que la curva de crecimiento
exponencial, que no puede crecer indefinidamente como afirma Price (1972) en su
Ley de Crecimiento Exponencial, adoptando un modelo de crecimiento logístico.
Que muestra, por lo menos en su consideración productiva, que se trata de un
persistente tópico de investigación en un campo disciplinar aún caliente.
Gráfico 6.5. Productividad diacrónica anual en % y curva de ajuste "ad hoc".

16
14
12
10
0
75
77
79
81
83
85
87
89
91
93
95
97
99
19
19
19
19
19
19
19
19
19
19
19
19
19
214
6.2.2. Productividad múltiple y coautoría.
6.2.2.1. Número de autores y promedio e índice de colaboración.
En total se registran 451 autores para la realización de los 208 trabajos

revisados. El índice de coautoría o número de autores promedio, resulta de
realizar el cociente entre el número total de autores por el número total de trabajos
revisados, obteniéndose:
Índice de coautoría = 451 / 208 = 2,2 autores x trabajo.
Se obtiene un valor de poco más de dos autores por trabajo realizado, lo

que no supone un valor excesivamente alto.
Para profundizar algo más en este indicador, construimos la siguiente

tabla 6.2. que refleja la frecuencia y porcentajes de los trabajos, según su número
de autores.
Tabla 6.2. Índice de colaboración
Autoría1 Individual Coautoría
N 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 T
f 88 61 26 19 8 4 0 1 0 0 0 0 0 0 1 2082
Nxf 88 122 78 76 40 24 0 8 0 0 0 0 0 0 15 4363
% 42,3 29,3 12,5 9,1 3,8 1.9 0 0.5 0 0 0 0 0 0 0,5 100
%p 42,3 57,7 100
1: Individual, para trabajos de un autor y coautoría especificando el número de autores.

2: Número total de trabajos.
3: Número total de autores.
215
Podemos comprobar que la mayoría de los trabajos se realizan en

colaboración (57,7%) frente a los que se realizan o firman en solitarios (42,3%).
De esta colaboración, el porcentaje más alto lo alcanzan los trabajos realizados
por dos (29,3%) seguidos por los de tres (12,5%) y cuatro autores (9,1%) que
conjuntamente alcanzan un porcentaje acumulado de 50,9% cercano al 57,7%
citado, pues los trabajos que poseen cinco y más autores obtienen porcentajes muy
bajos.
De forma global, la proporción de documentos de autoría múltiple con

respecto al total puede expresarse mediante el coeficiente propuesto por
Subramanyan y Stephens (1982), denominado Grado de colaboración:
NX 120
G.C. = 1 - ----------- = ------- = 0,42
N 208
Nx: Total documentos con múltiples autores.
N: Total documentos.
Puesto que la producción no obtiene la misma frecuencia en los diversos

periodos temporales establecidos, parece lógico, el estudio del desarrollo
diacrónico del índice de colaboración en lugar del número total de autores de
cada intervalo. Para ello construimos la tabla 6.3, en la que se registra por fecha
de producción el número de autores y el total de trabajos revisados de ese periodo,
lo que permite realizar el promedio de autores/trabajo.
Observando los datos obtenidos, podemos comprobar que el rango de las

colaboraciones abarca desde 1 a 2,5 autores por trabajo, manteniéndose los
valores con desviaciones cercanas a la media a lo largo de todo el periodo
temporal estudiado. Tan sólo se obtiene un valor en la distribución de
216
desviaciones por encima de dos, en 1983, debido a que en ese periodo un artículo
registra quince autores, lo que supone un alto aumento del índice de autoría total
del periodo.
Tabla 6.3. Diacronía del índice de colaboración.

AÑO de Nº aut. Nº trab. Indice col. Media Desv.
1975 0 0
1976 0 0 - -
1977 1 1 1 1,2
1978 0 0 - -
1979 2 1 2 0,2
1980 0 0 - -
1981 0 0 - -
1982 3 2 1,5 0,7
1983 1 1 1 1,2
1984 4 1 4 1,8
1985 3 2 1,5 0,7
1986 9 7 1,3 0,9
1987 18 3 6 3,8
1988 14 7 2 0,2
2,2
1989 51 20 2,6 0,4
1990 39 23 1,7 0,5
1991 24 12 2 0,2
1992 6 4 1,5 0,7
1993 23 11 2,1 0,1
1994 64 28 2,3 0,1
1995 28 13 2,2 0,0
1996 46 20 2,3 0,1
1997 42 18 2,3 0,2
1998 13 7 1,9 0,3
1999 11 5 2,2 0
2000 46 21 2,3 0,2
NR o NI 3(2) 1 3 0,8
TOTAL 451 208
(1)
Se reflejan los años en los que existe producción.
(2)
Número de autores de un trabajo sin fechar.
Distribución de datos ANEXO 1.
217
Grafico 6.6. Desarrollo diacrónico del índice de colaboración
3
Media 2,2
2
0
77
79
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
00
19
19
19
19
19
19
19
19
19
19
19
19
19
19
19
19
19
19
19
19
20
Salvo alguna desviación alta, como la de 1987 mayor de 3, en general se
puede afirmar que el índice de colaboración posee un patrón bastante estable en
torno a 2,2 autores/trabajo en todo este periodo temporal, tendencia que se hace
más uniforme si apreciamos su representación gráfica (Gráfico 6.6) a partir de
1991, en la que los valores se ajustan más a la media disminuyendo las
desviaciones.
Este valor es similar al ofrecido en trabajos semejantes (Fernández Cano y

Bueno, 1999; Bueno, 2001) entorno a dos autores, muestra patente de una autoría
de baja calidad científica. Siendo más deseable la composición de equipos
productivos compuestos por múltiples autores entorno a cinco y siete miembros.
218
6.2.3. Productividad personal o de autores.

6.2.3.1. Clasificación de autores productores.
Además del índice de colaboración como indicador del número de

autores que realizan los diversos trabajos y su evolución temporal, para un estudio
profundo de la producción es necesario la cuantificación nominal de la autoría. En
la siguiente tabla 6.4. se ofrece una lista ordenada de los autores más productivos,
remitiendo para la consulta de los autores menos productivos, con uno o dos
trabajos, al Anexo 2.
Tabla 6.4. Clasificación de autores por orden de producción.

AUTORES N Ft Fsol. Fco. NxF % %A
1º Gargallo López, B. 1 7 1 6 7 1,6 1,6
Aguado Odina, M.T. 4 4 0
Babio, M. 4 1 3
2º Delgado Sánchez, J.A. 5 4 3 1 20 4,4 6
Prieto Sánchez, M.D. 4 0 4
Trianes Torres, M.V. 4 1 3
Abraira Fernández, C.F. 3 3 0
Bartau, I. 3 0 3
Carballo Santaolalla, R. 3 1 2
Díez López, E. 3 0 3
Dueñas Buey, M.L. 3 3 0

3º Echeitia, G. 11 3 0 3 33 7,3 13,3
Fernández Fernández, S. 3 1 2
Galán, M. 3 0 3
García Jiménez, E. 3 0 3
Martín, E. 3 0 3
Muñoz Sánchez, A. 3 0 3
4º Autores con dos producciones 41 2 82 18,2 31,5
5º Autores con una producción 309 1 309 68,5 100
TOTAL 451 100

N: número de autores que componen la categoría.
F: número de producciones de cada autor, desglosada en trabajos realizados en solitario (Fsol) y
realizados en colaboración con otros autores (Fcol).
219
El autor más productivo, dentro de la muestra seleccionada es Gargallo,

B. con siete trabajos; seguido por un grupo de cinco autores que aportan a ésta
cuatro trabajos cada uno. En tercer lugar de la producción se sitúa un grupo de
seis autores que aportan individualmente tres trabajos.
Es significativo que tan sólo hay un autor que posee una producción por
encima de cinco trabajos, que podría ser considerado medianamente productivo en
el tópico a revisar (1,6% de la producción). Siendo también escaso el número de
autores que aportan cuatro y tres producciones (4,4 y 7,3 % del total de la
producción respectivamente). En conjunto suponen un porcentaje acumulado
escaso del 13,3%.
Un porcentaje escasamente más alto, 18,2 %, supone en conjunto de las

aportaciones del grupo de autores que aportan dos trabajos a la distribución de la
muestra considerada. Que incluso acumulando ésta a todo el conjunto anterior
alcanzan tan sólo el 31,5%, es decir, menos de la mitad de la producción.
El porcentaje más alto de la producción, por encima del 68,5% del total,
lo aportan autores con un solo trabajo. Esto implica que en este tópico de
investigación, con las consiguientes consideraciones para la selección de los
estudios que componen la muestra de este estudio, la mayoría de los autores son
poco habituales o fugaces.
Si además, atendemos al desglose de las frecuencias por trabajos

realizados individualmente o en colaboración con otros autores, podemos
comprobar que en los índices más productivos no existe un patrón claro, puesto
que se alternan como frecuencias más altas las referidas a trabajos individuales o
colectivos. Pero a partir del grupo de autores que aportan tres trabajos,
comenzamos a observar una mayor frecuencia referida a los trabajos colectivos,
en los que un alto índice de autores ocupa lugares secundarios en el orden de
firma.
220
Es éste un patrón de producción que se podría calificar de inmadurez

científica, en el que no destacan los grandes productores sino los productores
ocasionales, como se muestra en la siguiente tabla 6.5.
Tabla 6.5. Clasificación del número de productores en intervalos de producción.

Grado de producción Nº de autores %
> 10 trabajos 0 0
2-9 trabajos 58 15,8
1 trabajo 309 84.2
La proporción de autores que aportan un solo trabajo, queda reflejada en

la literatura especializada por el índice de transitoriedad en la producción
elaborado por Price (1976) entorno al 75% del total de la autoría.
El valor obtenido aquí muestra una amplia mayoría, de más del 84 % del
total, que aportan un solo trabajo a la muestra. Es decir la mayoría de la
producción queda en manos de autores que realizan escasas aportaciones, son
oportunistas o transitorios en el campo. Siendo, esta falta de grandes autores,
muestra de la dispersión y síntoma de debilidad productiva.
6.2.3.2. Ajuste de la producción a la Ley de Lotka y Ley de Bradford.
Ajuste de la producción a la Ley de Lotka
Esta caracterización productiva queda perfectamente reflejada en el

patrón bibliométrico denominado la Ley de Lotka, que considera la mayoría de la
producción en manos de autores con escasas aportaciones al tópico de
investigación considerado.
221
En la tabla 6.6 se comprueba el ajuste de la distribución experimental a la

distribución teórica propuesta por la mencionada ley, para autores que aportan un
trabajo (A1), dos trabajos (A3), n trabajos A(n).
Tabla 6.6. Ajuste de la producción por autores Gráfico 6.7. Patrón gráfico del ajuste
ala Ley de Lotka
de la Producción a la Ley de Lotka
Autores Distribución Distribución
n trabajos teórica experimental
A1 309 309 350
A2 76,8 82 300
T.
250
A3 34,1 11
Núm. Autores
Exp.
200
A4 19,2 5
150
A5 12,3 0
100
A6 8,5 0
50
A7 6,3 1
0
Ajuste Coef. = 0,99 A1 A2 A3 A4 A5 A6 A7
Aportaciones x Autores
Por medio de los estadísticos como el coeficiente de correlación Rho .de

Sperman, se comprueba una alta correlación positiva entre ambas distribuciones,
por lo que se puede afirmar el cumplimiento del patrón teórico general propuesto
en sentido ordinal. Tal ajuste, incluso en un sentido meramente intuitivo, pude
considerarse en la similitud de las distribuciones representadas en el gráfico 6.7.
222
Ajuste de la producción a la Ley de Bradford.
En la tabla 6.4 pude apreciarse la distribución de los diversos autores y la

frecuencia de su producción. Aunque Bradford estableció la dispersión de la
producción de la literatura científica por diversas fuentes de publicación,
concretamente revistas científicas, en áreas gráficas, también los autores se
pueden representar como entes productores. (Spinak, 1996; López López, 1996).
Sin embargo, para mantener una producción constante partiendo de la del

primer autor clasificado supuestamente nuclear, sería necesario para el
cumplimiento de este patrón teórico una frecuencia de autores: n, n2, n3,...
Podemos comprobar, en la mencionada tabla, una distribución experimental en la
que la producción de los autores ocasionales que sólo ofrecen una firma, no puede
ser igualada ni por la suma de la producción del resto de los autores. Por tanto, se
puede afirmar que la distribución de autores productores no sigue el patrón
propuesto en la Ley de Bradford.
6.2.3.3. Género en la autoría.
Otro dato considerado para el estudio de la producción científica es el

género en la autoría, que en una primera aproximación al estudio de este indicador
y considerando valores globales, del total de los 451 autores registrados como
productores, 187 son mujeres y 203 hombres, restando 61 autores de los que no se
puede registrar el género.
223
Gráfico 6.8. Porcentajes de autores según género.
Mujeres: 47,9%
Hombres: 52,1%
Observando los valores representados en el gráfico anterior,

comprobamos porcentajes similares, existiendo tan sólo una diferencia de algo
más del 4%, entre hombres y mujeres. Siendo una frecuencia alta la
correspondiente a autores de los que no se ha podido registrar el género al no
hacer referencia a él en los trabajos recuperados.
Para el estudio y análisis de los datos referidos al género consideramos la

posición que los diversos autores ocupan en el lugar de firma los trabajos
considerados en esta revisión. Registramos los valores utilizando frecuencias y
porcentajes en la siguiente tabla 6.5, en la que además se realizan cómputos
globales, comprobados tanto por la suma de los valores obtenidos en ella, como
por el ajuste de las distribuciones de frecuencias de otros aspectos estudiados
como los trabajos en solitario y coautoría.
224
Tabla 6.7. Frecuencias y porcentajes del género de los autores según su lugar de firma.
Frecuencia Lugar en la firma
(f) TOTAL
1º 2º 3º 4º 5º 6º 7º 8º 9º 10º 11º 12º 13º 14º 15º
Mujeres 95 43 21 13 7 3 0 0 0 1 1 0 1 1 1 187
Hombres 94 59 25 12 4 3 2 2 1 0 0 1 0 0 0 203
Subtotales 189 102 46 25 11 6 2 2 1 1 1 1 1 1 1 390
NR (19 19 18 13 8 3 0 0 0 0 0 0 0 0 0 0 61
art.)
TOTAL 451
Porcentaje Lugar en la firma
(%) TOTAL
1º 2º 3º 4º 5º 6º 7º 8º 9º 10º 11º 12º 13º 14º 15º
M 50 42 46 52 63.6 50 0 0 0 100 100 0 100 100 100 47,9

H 50 58 54 48 36.4 50 100 100 100 0 0 100 0 0 0 52,1
Subtotales 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100
En diecinueve trabajos de los 208 revisados, ha sido imposible registrar

el género de los autores que los realizan, pues en ellos no se hace mención alguna
a éste o sus nombres se registran tan sólo con sus iniciales. En total son 61
autores, por lo que el número global de 451, queda reducido en el estudio de este
indicador a 390 autores, lo que supone una pérdida tan sólo del 13, 75%.
El número total de hombres es mayor que el número total de mujeres,

203 frente a 187, por lo que su porcentaje alcanza una mayoría del 52%.
Si atendemos al lugar que se ocupa en la firma del trabajo podemos

apreciar que, el primer lugar de firma está ocupado en porcentajes iguales por
hombres y mujeres. A partir de la segunda firma, con porcentajes muy similares
del58 y 54%, los primeros lugares de firma los ocupan en mayoría los hombres.
Sin embargo, en el tercer y cuarto lugar los porcentajes mayoritarios los ocupan
las mujeres, siendo significativa su mayoría en el quinto lugar de firma.
225
A partir del sexto lugar, en el que se obtienen porcentajes iguales, se

observan porcentajes del 100% alternativamente en ambos géneros, debido a la
escasez de trabajos revisados que ofrezcan un número de coautoría tan elevado,
por lo que sus frecuencias están entorno al valor 1 o 2.
Grafico 6.9. Frecuencia diacrónica de la producción por géneros.
35
30
25
20
Hom.
15
Muj.
10
0
75
77
79
81
83
85
87
89
91
93
95
97
Comprobando el desarrollo diacrónico la producción por géneros, 99

registrado en la tabla 6.8, podemos observar en el siguiente gráfico: Un primer
periodo hasta 1981, una dificultad para establecer patrones claros debido a una
frecuencia muy baja. Desde 1982 se alternan en una distribución de “picos y
crestas” una mayor frecuencia en la producción para hombres hasta 1992 y
mujeres hasta 1997. A partir de esa fecha, en un escaso periodo de tres años, la
mayor producción se ha alternado entre ambos géneros.
226
Gráfico 6.10. Porcentaje diacrónico del

Tabla 6.8. Porcentaje diacrónico del
género en la autoría. género de los autores.
f %
Año
Ho M u NR Ho Mu NR
1975 1975
1976 1976
1977 1 0 0 100 0 0 1977
1978
1978
1979 1 1 0 50 50 0
1979
1980
1980 Mujeres
1981 Hombres
1981
1982 1 2 0 33,3 66,7 0 No registra
1982
1983 0 1 0 0 100 0
1983
1984 3 1 0 75 25 0
1984
1985 1 0 2 33,3 0 66,7
1985
1986 7 2 0 77,8 22,2 0
1987 12 6 0 66,7 33,3 0 1986
1988 8 0 6 57,1 0 42,9 1987
1989 26 18 7 51 35,3 13,7 1988
1990 21 18 0 53,8 46,2 0 1989
1991 12 9 3 50 37,5 12,5 1990
1992 4 2 0 66,7 33,3 0 1991

1993 10 13 0 43,5 56,5 0 1992
1994 21 33 10 32,8 51,6 15,6 1993
1995 11 12 5 39,3 42,9 17,9
1994
1996 15 23 8 32,6 50 17,4
1995
1997 16 14 12 38,1 33,3 28,6
1996
1998 8 5 0 61,5 38,5 0
1997
1999 4 5 2 36,4 45,5 18,2
1998
2000 18 22 6 39,1 47,8 13
1999
203
187
61
2000
Total
0 20 40 60 80 100
Esta falta de claridad en la delimitación de un patrón diacrónico claro en

la producción determinada por el género de sus autores, mediante el estudio de sus
227
frecuencias, plantea la necesidad de su estudio atendiendo a sus porcentajes. Así

se consideran, el porcentaje que cada género aporta a la producción total de cada
periodo diacrónico, considerado en años.
De manera similar a los datos obtenidos mediante el estudio de la

frecuencia, los porcentajes de producción por género hasta 1981 no delimitan
diferencias significativas, posiblemente debido a la escasez de producción.
Durante los dos años siguientes el mayor porcentaje de la producción se debe a las
mujeres, mayoría que no volverán a recuperar hasta el periodo 1992-96, pues
durante el intervalo 1984-91 ésta corresponde a los hombres. En el último
cuatrienio considerado, 1997-2000, pese a corresponder a un intervalo diacrónico
escaso el mayor porcentaje se alterna entre ambos géneros en varias ocasiones.
6.2.3.4. Sesgos relativos al género.
Uno de los sesgos más proclive a presentarse cuando se analiza la

investigación pedagógica es el debido al género de los autores. Alertando de tal
cuestión Fernández Cano (1995b) en una revisión de los múltiples sesgos en la
evaluación de la investigación.
Para comprobar la ausencia de sesgos en las distribuciones de producción

por género de los autores y al lugar que debido a este pueden ocupar en la firma
de los trabajos, se realiza recurre al cálculo de Chi-cuadrado χ2.
Así en primer lugar, se comparan las frecuencias obtenidas por cada uno
de los géneros según el lugar de firma de los autores. Para ello, se consideran
desde el primer lugar hasta el quinto de firma, ya que a partir de este las
frecuencias caen por debajo de valores incongruentes con las normas básicas de
aplicación de este estadístico. Y que no representan valores a considerar para el
establecimiento de un patrón global.
228
Tabla 6.9. Chi cuadrado para las frecuencias de género de autores por lugar de firma.
Frecuencias Lugar en la firma

TOTAL
(f) 1º 2º 3º 4º 5º
Mujeres 95 43 21 13 7 172
Hombres 94 59 25 12 4 190
Subtotales 189 102 46 25 11 362
NR (19 art.) 19 18 13 8 3 58
TOTAL 420
Distribución Chi-cuadrado χ2
ns = 0,05
gl = 4 χ2 e = 3,12 < χ2 c = 9,49
Para un nivel de significación de 0,05 y cuatro grados de libertad, se

obtiene χ2e < χ2 c, por lo que se puede afirmar que el lugar de firma no varía en
función del género.
A continuación, volvemos a comprobar el ajuste con el mismo

estadístico pero referido a la distribución diacrónica de determinada por el género
de sus autores; para comprobar en el mismo sentido, si éste supone un sesgo en la
producción.
Debido al problema de los ceros estructurales que no recomiendan el uso

de este estadístico para frecuencias inferiores a cinco, se limita en lo posible el
rango o recorrido del periodo diacrónico considerado. Por se considera el periodo
1986-2000.
229
Tabla 6.10. Chi cuadrado para las frecuencias de género de autores por años.
Años
Frecuencias
(f)
86 87 88 89 90 91 92 93 94 95 96 97 98 99 00
Mujeres 2 6 0 18 18 9 2 13 33 12 23 14 5 5 22
Hombres 7 12 8 26 21 12 4 10 21 11 15 16 8 4 18
Totales 9 18 8 44 39 21 6 23 54 23 38 30 13 9 40
2
Distribución Chi-cuadrado χ
ns = 0,05 2
gl = 14
χ e= 21,38 < χ2 c = 23,68
Tampoco se encuentra distinción en la distribución diacrónica de la

producción por el género de los autores, ya que χ2e < χ2. Por lo que se puede
concluir afirmando que el género no supone un sesgo para la productividad ni en
su desarrollo diacrónico, ni por el lugar de firma que puedan ocupar sus autores. Y
en sentido general, que la investigación española en evaluación de programas
educativos no está sesgada en base al género de sus autores.
6.2.4. Productividad Institucional.
Como queda reflejado en la definición del instrumento de registro de

datos, de cada uno de los trabajos revisados se registra la institución a la que
pertenece su autor/es, así como departamento o área disciplinaria correspondiente
y el número de cada una de ellas.
Para el análisis de esta variable se comienza, como queda reflejado en la

siguiente tabla (tabla 6.9), por reflejar la relación existente entre el número de
instituciones y áreas a las que pertenecen los autores que aportan trabajos a la
muestra. En esta tabla, además de reflejar su frecuencia; se recurre a la indicación
de la relación, mediante el cociente, entre autores/ áreas e instituciones.
230
Tabla 6.11. Relación entre el número de autores/ áreas e instituciones

VARIABLE f NS/NI TOTALES
Nº INSTITUCIONES 224 21 245
Nº ÁREAS 158 80 238
Nº AUTORES 451
RELACIÓN autores/instituciones 2
RELACIÓN autores/áreas 2,9
RELACIÓN instituciones/ áreas 0,7
Tanto en la relación del número de autores con el número de

instituciones, como con el número de áreas, se obtienen valores muy compactos y
semejantes, entre dos y tres autores por cada una de ellas.
En la relación entre instituciones y áreas, el valor uno supondría una

paridad en su número. Es decir existiría, cuantitativamente y en términos globales,
el mismo número de áreas que de instituciones o de cada institución sería una sola
área la que presenta cada uno de los trabajos. Esto podría deberse a que en los
trabajos presentados no abundaría la colaboración entre distintas áreas de una
misma institución, o que existiría una especialización hacia el tópico dentro de
cada una de ellas, que lleva a determinadas áreas a plantearse trabajos en solitario.
El valor de 0,7 supone tan sólo una colaboración en cada trabajo

escasamente más alta de 1 área/institución, lo que indica una escasez en la
colaboración interna de sus distintas secciones o por lo menos una ocasionalidad
en ella. Y una especialización dentro de la institución cuando se trata del tópico de
investigación, de forma que publican su trabajo en solitario.
6.2.4.1. Clasificación de las instituciones productoras.
En cuanto a la denominación específica de cada una de las instituciones a

las que pertenecen los productores, se ha realizado una categorización en diversos
231
ámbitos, reflejando su frecuencia tanto en trabajos en solitario como en coautorías

entre algunas de ellas, el porcentaje que supone cada una de ellas con respecto al
total de la producción, así como su porcentaje acumulado por cada ámbito.
En primer lugar las pertenecientes a la Administración: Local o

Provincial, sobre todo producciones refrendadas por las Diputaciones
Provinciales; Gobiernos Autonómicos o de la Administración Nacional, ya sea a
través del M.E.C., diferentes Centros o Consejos Nacionales.
A continuación, las producciones cuyos autores pertenecen a Centros e

Instituciones que quedan enmarcadas dentro del Sistema Educativo, desde Centros
de Educación Primaria a Universitarios y los Equipos de Apoyo Escolar.
En último lugar, se refleja la producción de trabajos de distintas

secciones de los Servicios Sanitarios, Equipos de Prevención, de Asistencia Social
o de Centros Hospitalarios; de diversas publicaciones o editoriales; equipos
pedagógicos independientes que se constituyen en Centros, Asociaciones o
dependen de diversas Fundaciones.
Tabla 6.12. Identificación de instituciones productoras por frecuencia y porcentaje de producción.

Ámbitos Instituciones Solitario coautoría Total % %a
Administración Local y
Provincial: Ayuntamientos y 1 5 6 2,4 2,5
Diputaciones Provinciales
Administración Administración autonómica 1 5 6 2,4 11,0 4,9

Administración Nacional:
M.E.C., C.I.D.E., C.I.D.E.A.D., 10 5 15 6,1 11,1
Instituto de C.E.F. y Deporte del
C.S..D., etc.
Centros de Ed. Primaria 3 7 10 4,1 15,2
Centros de Ed. Secundaria: 5 2 7 2,9 18,0
Sistema I.E.S. y I.F.T.P. 74,7
Educativo Centros Universitarios 118 43 161 65,7 83,7
Servicios de Apoyo Escolar 4 1 5 2,0 85,3
Servicios Sanitarios 2 4 6 2,4 88,2
Otros:
Otros Revistas, Publicaciones, Equipos 5,7
Pedagógicos, Asociaciones y
5 3 8 3,3 91,5
Fundaciones, etc.
NS/NI 21 0 21 8,6 8,6 100
TOTAL 170 75 245 100
232
Gráfico 6.11. Instituciones productoras por porcentaje de producción.

Administración
11%
Sistema Educativo
9%
74%
Otros
6% NS/NI
De forma global es mayor el número de instituciones que realizan este

tipo de trabajos en solitario que el que los hace mediante la colaboración, con
unas frecuencias de 170 y 75, lo que supone una mayoría del 69,4 % frente a un
30,6 %.
Aunque con las reservas derivadas de la escasez de frecuencia en ciertos

ámbitos. Porcentualmente los autores pertenecientes a las Administraciones
Locales y autonómicas poseen más trabajos en colaboración que la
Administración Nacional. Y los centros de Educación Primaria más que las
universidades. Pareciendo a la luz de estos datos, que las instituciones que podrían
considerarse “de menor rango administrativo”, recurren más a la colaboración que
las “más grandes”.
El ámbito más productivo, con un 74,7 % de la producción, es el que

recoge a los autores cuyas instituciones están insertas dentro del Sistema
Educativo. Algo lógico, al referirse la muestra a programas de carácter
precisamente educativos. Seguida por el ámbito el de la Administración, que
supera al denominado como “otros” en casi un 5%.
Los autores que aportan un mayor porcentaje a la producción global son

los que pertenecen a la institución universitaria, que suponen una mayoría muy
233
amplia de más del 65 %, porcentaje realmente significativo si se observa que el

resto de instituciones no superan individualmente en ninguno de los casos el 10%
del total de la producción. Las demás instituciones obtienen dentro de sus propios
ámbitos porcentajes similares entorno al 2 o 3 %, salvo la correspondiente a
Centros y Organismos de la Administración de Estado Central que aporta algo
más del 6%.
Dada esta significación de las instituciones universitarias en la

producción global, en la siguiente tabla se desglosa por Universidades la
producción en solitario, coautoría y el porcentaje del total de la producción.
234
Tabla 6.13. Ordenación alfabética de las Universidades productoras

Centros Universitarios Solitario Coautoría Total %
Alcalá de Henares (U.A.H.) 1 0 1 0,6
Alicante (U.A.) 1 0 1 0,6
Autónoma de Barcelona (U.A.B.) 1 0 1 0,6
Autónoma de Madrid (U.A.M.) 3 2 5 3,1
Almería (U.Al.) 3 0 3 1,9
Barcelona (U.B.) 7 0 7 4,3
Complutense de Madrid (U.C.M.) 8 5 13 8,1
Cádiz (U.Ca.) 1 0 1 0,6
Castilla La Mancha 0 1 1 0,6
Córdoba (U.Co.) 1 0 1 0,6
Castellón (U.Cs.) 0 1 1 0,6
Girona (U.Gi.) 1 0 1 0,6
Granada (U.Gr.) 12 1 13 8,1
Huelva (U.Hu) 0 1 1 0,6
La Laguna 3 0 3 1,9
León (U.Le.) 2 0 2 1,2
Lleida (U.Ll.) 1 0 1 0,6
Málaga (U.Ma.) 8 0 8 5,0
Murcia (U.Mu.) 4 4 8 5,0
Nacional de Educación a Distancia (U.N.E.D.) 10 4 14 8,7
Navarra (U.Na.) 3 2 5 3,1
Oviedo (U.Ov.) 3 4 7 4,3
País Vasco (U.P.V.) 9 0 9 5,6
Palencia (Pa.) 1 0 1 0,6
Pontevedra (U.Po.) 1 0 1 0,6
Salamanca (U.Sa.) 8 1 9 5,6
Santiago (U.S.C.) 1 0 1 0,6
Sevilla (U.Se.) 10 3 13 8,1
Valencia (U.V.) 7 8 15 9,3
Valladolid (U.Va.) 0 1 1 0,6
Vitoria (U.Vi.) 1 0 1 0,6
Universidades y Organismos Extranjeros 7 5 12 7,5
TOTAL 118 43 161 100
235
Gráfico 6.12. Universidades ordenadas por % de producción.
U.A.He.
U.A.
U.A.B.
U.Ca.
U.Castilla La Mancha
U.Co.
U.Cs.
U.Gi. 0,6% X15
U.Hu.
U.Ll.
U. Pa.
U.Po.
U.S.C.
CENTROS
U.Va.
U.Vi.
1,2%
U.Le.
U.Al.
1,9% X2
U.Lg.
U.A.M.
3,1% X2
U.Na.
4,3%X2
U.B.
U.O.
U.Ma.
5,0% X2
U.Mu.
5,6% X2
U.P.V.
U.Sa. 6,5%
U.Org.Ext.
U.C.M. 8,1%X3
U.Gr.
8,7%
U.Se.
U.N.E.D.
9,3%
U.V.
0 5 10
236
Tanto en la tabla 6.11, como en la representación gráfica del porcentaje

del total de la producción del gráfico 6.12, se puede comprobar que la institución
que aporta un mayor porcentaje al total de la producción es la Universidad de
Valencia, que con 15 realizaciones aporta un 9,3%; seguida por la U.N.E.D. con
una frecuencia muy similar de 14 realizaciones a la que corresponde un porcentaje
del 8,7%.
A continuación encontramos un grupo, formado por las Universidades de

Sevilla, Granada y la Universidad Complutense de Madrid, cuya producción
individual supone un 8,1% en cada caso. Pero mientras en la Universidad de
Valencia el total de la producción se reparte a partes similares los trabajos en
solitario con los realizados en cooperación con otras instituciones, en este grupo la
mayoría se refiere a trabajos realizados en solitario.
Algo menos habituales en la producción en este tópico y referida a los

datos registrados en la muestra seleccionada, está el grupo de Universidades que
podría ser considerado como medianamente productoras, puesto que poseen una
frecuencia entre cinco y diez trabajos, siendo éstas las Universidades de
Salamanca, del País Vasco, de Murcia, Málaga, Oviedo, Barcelona, Navarra y la
Autónoma de Madrid.
El grupo menos productor formado por las universidades que aportan

entre una y tres publicaciones queda conformado por las Universidades de La
Laguna y Almería, que aportan tres publicaciones a la producción y la
Universidad de Lérida que lo hace con dos. Además, con una producción
individual del 0,6% y conjunta del 9%, se encuentran un conjunto de quince
Universidades caracterizadas por sólo aportar una producción.
237
6.2.4.2. Ajuste de la producción institucional a la Ley de Bradford.
Utilizando los criterios establecidos en la Ley de Bradford, podemos

distribuir la producción de estas instituciones en áreas concéntricas partiendo de
una zona nuclear y manteniendo una productividad constante, de la forma que
indica la tabla y el gráfico.
La zona central, y de producción más alta, estaría ocupada por la

Administración Central y las Universidades de Valencia, U.N.E.D., Complutense
de Madrid, de Granada y de Sevilla, con una producción conjunta de 83 trabajos.
En la siguiente zona, además del Conjunto de Universidades y

Organismos extranjeros, se situarían los conjuntos de Centros de Educación
Primaria, Centros de Educación Secundaria y Servicios Sanitarios. También las
Universidades del País Vasco, de Salamanca, Málaga, Murcia, Barcelona y
Oviedo. Así como la categoría codificada como otros.
Por último, la zona exterior quedaría conforma tanto por las

Administraciones de carácter Autonómico como las Locales, los Servicios de
Apoyo Escolar de los Sistemas Educativos y el resto de universidades con menor
producción: Autónoma de Madrid, de Almería, La Laguna, León, Alcalá Henares,
Autónoma de Barcelona, Cádiz, Castilla La Mancha, Córdoba, Castellón, Gerona,
Huelva, Lérida, Palencia, Pontevedra, Santiago de Compostela, Valladolid y
Vitoria.
Como puede apreciarse en la tabla 6.14, el número de instituciones por

áreas no adoptan una distribución exponencial semejante a la propuesta en la Ley
de Bradford, sino multiplicativa. Mostrando por tanto, la producción institucional
española de investigaciones en evaluación de programas un ajuste difuso a este
modelo teórico.
238
Tabla 6.13. Ajuste de la producción de las instituciones a la Ley de Bradford.

N 6 11 23...
Admón. Nac. Universidades y Organismos Admón. Local y Provincial
U.V. Extranjeros Admón. Autonómica
U.N.E.D. Centros de Ed. Prim. U.P.V. Servicios de Apoyo Escolar

instituciones
U. Sa.
U.C.M. U. Ma. U.A.M.
U.G.R. U. Mu. U.Na.
U. Se. Otros U.Al.
U.B. U. La Laguna
U.Ov. U. León
Centro I.E.S. y I.F.T.P.
Universidades con f=1
Servicios Sanitarios
Pc. 83 85 56...
N.: Número de instituciones. f.: frecuencia de producción. Pc.: Producción
conjunta.
Gráfico 6.13. Distribución de Instituciones en Zonas Bradford.
Admón. Local y
U. Org. Extranjeros Provincial
Centros de Ed. Admón. Autonómica
Prim. U.P.V. Servicios de Apoyo
Admón. Nac. U. Sa. Escolar
U.V. U. Ma. U.A.M.
U.N.E.D. U. Mu. U.Na.
U.C.M. Otros U.Al.
U.G.R.. U.B. U. La Laguna
U.Se. U.Ov. U. León
Centro I.E.S. y Universidades con f=1
83 .
I.F.T.P.
.
Servicios Sanitarios
.
56 ...
85
239
6.2.4.3. Producción por Áreas de Conocimiento.
Para la discusión de datos referidos a las áreas de conocimiento de los

autores, se recurre a la elaboración de la tabla 6.15, en la que se muestran las
frecuencias y porcentajes, tanto de las áreas generales de conocimiento
(mayúscula negrita) que corresponden a campos disciplinares, como las áreas
específicas con un carácter que hace más referencia a la organización
administrativa universitaria.
Tabla 6.15. Identificación de las áreas productoras de investigación.

ÁREAS GENERALES/específicas solitario coautoría Total %
BIOSANITARIA:
10 5 15 6,3
Salud Pública, Anatomía, Motricidad y Enfermería.
PSICOLOGÍA:
16 12 28 11,8
Psicología Evolutiva y Tratamiento Psicológico.
Pedagogía General 1 17 13 30 12,6
CC. de la Educación
EDUCATIVA
Teoría e Historia de la Educación 2 1 3 1,3

Didáctica y Organización Escolar 7 2 9 3,8
88 37,1
M.I.D.E. (incluido Orientación) 22 12 34 14,3
Didáctica de Ciencias Experimentales 8 1 9 3,8
Didáctica de la Lengua y Filología 2 1 3 1,3
TRABAJO Y ASISTENCIA SOCIAL 1 2 3 1,3
OTROS 12 12 24 10,1
NS/NI 76 4 80 33,6
TOTAL 238 100
1
No explicita área específica de conocimiento, sino Departamento o Servicio (formación
pedagógica, recursos, innovación - evaluación, etc.)
Haciendo referencia a las áreas generales, se puede comprobar que el

mayor porcentaje, entorno al 37% del total, se refiere a la educación, ofreciendo
el resto de áreas porcentajes mucho menores. Parece por tanto oportuno la
discusión pormenorizada de las áreas específicas de conocimiento que pertenecen
al campo de la educación.
240
Entre ellas, son áreas altamente productoras o especialmente productoras

las referidas al Departamento de Métodos en Investigación y Diagnóstico en
Educación (M.I.D.E.) con un 14,3 % y Ciencias de la Educación y la Pedagogía
General, sin especificar, con un 12,6 %. Resultando revelador la importancia del
tópico en la primera de estas áreas, puesto que al ser una categoría tremendamente
especializada, en contra de lo que sucede en otras, el aporte de autores en la
distribución de datos queda tremendamente restringido.
Moderadamente productoras, siguiendo el mismo criterio de los autores,

al presentar una frecuencia de nueve trabajos, estarían Didáctica y Organización
Escolar y Didáctica de las Ciencias Experimentales. Aunque comparativamente su
frecuencia es mucho más baja que las áreas anteriores, por lo que su porcentaje de
aporte a la producción global (3,8%) queda bastante por debajo de éstas.
En último lugar, como áreas educativas menos productoras, se

encuentran las que se registran como Teoría e Historia de la Educación y
Didáctica de la Lengua/filología, que con idéntica frecuencia (3) suponen un 1,3%
respectivamente del total de áreas consideradas.
El resto de áreas generales quedan ordenadas en orden decreciente de

frecuencia en Psicología (28), Otras (24), Biosanitaria (15). Siendo muy alta la
frecuencia (80) de aquellos trabajos en los que no se indica el área a la que
pertenecen sus autores.
Lógicamente al ser esta Tesis un trabajo de síntesis de investigaciones

sobre programas educativos, es ésta el área general con más producción
representada.
En cuanto a las áreas específicas, parece que la investigación sobre

evaluación de programas es un tópico de gran interés para autores pertenecientes a
los Departamentos de M.I.D.E. y de Orientación.
241
Gráfico 6.14. % Producción por Áreas de Conocimiento
33,6
10,1
1,3
Áreas
37,1
11,8
6,3
0 5 10 15 20 25 30 35 40
%
BIOSANITARIA PSICOLOGÍA
EDUCATIVA TRABAJO Y ASIST. SOCIAL
OTROS NS/NI
Gráfico 6.15. % Producción por Áreas Educativas de Conocimiento
Didáctica
Lengua/Filología 1,3
Didáctica CC.
Experimentales 3,8
M.I.D.E. +
Orientación 14,3
Didáctica y
Organización 3,8
Teoría e Historia de
la Ed. 1,3
Pedagogía General 12,6
0 5 10 15 20
%
242
6.2.5. Producción por fuentes de publicación.
Con este indicador se pretende describir la fuente en la que son

publicados los trabajos revisados en esta tesis, ya sean publicaciones periódicas,
actas de congresos de diversas instituciones o empresas editoriales en el caso de
los libros. Siendo precisamente esta categorización diferenciada la utilizada para
caracterizar el tipo de fuente en el que los trabajos son presentados a la comunidad
científica.
6.2.5.1. Tipos de fuentes productivas.
Observando los datos registrados en la siguiente tabla (tabla 6.16), se

puede comprobar que un porcentaje muy alto que supera el 87% del total de los
208 trabajos revisados, está publicado como artículos en revistas científicas.
Tabla 6.16. Tipos de fuentes de publicación

Tipo de fuente f %
Artículos publicados en revistas científicas. 183 87,98

Literatura Gris
21 10,10
(Ponencias y comunicaciones presentadas en Congresos o Jornadas).
Libros o capítulos. 4 1,92
TOTAL 208 100
El artículo científico es el medio usual de comunicación de nuevos

hallazgos ya que, debido a las condiciones de revisión para su edición y al
prestigio de algunas fuentes, certifica el conocimiento generado y al autor que lo
propone.
La alta tasa de trabajos que adoptan este formato caracteriza a la

investigación sobre E.P. como una línea de investigación eminentemente
empírica.
243
6.2.5.2. Identificación de las fuentes de publicación.
Concretando en la identificación de la fuente de publicación, se recurre a

la realización de un recuento de frecuencias y asociando a estas el porcentaje de
los 208 trabajos revisados, obtenemos los datos que se representan en la siguiente
tabla (tabla 6.17.).
Tabla 6.17. Producción de las fuentes de publicación

RANKING
f % % T.(1)
... Más productivas
1º R.I.E. 53 25.48 21,15
2º Bordón 11 5.29 5.29
3º Actas Congreso A.I.D.I.P.E. 10 4.81 4.81
Revista de Educación 7 3.37
4º 6.74
Revista Española de Pedagogía 7 3.37
Escuela Española 5 2.40
Revista de Ciencias de la Educación 5 2.40
5º 9.6
Revista de Educación a Distancia 5 2.40
Tarbiya 5 2.40
Actas Jornadas L.O.G.S.E. 4 1.92
Adicciones 4 1.92
6º 7.68
Aula Abierta 4 1.92
Cuadernos de Pedagogía 4 1.92
Actas Congreso: Modelos de Investigación Educativa 3 1.44
Apuntes de Psicología 3 1.44
7º 5.76
Infancia y Aprendizaje 3 1.44
Siglo Cero 3 1.44
8º 13 Fuentes con 2 producciones (0,96%) 26 12.50 12.50
9º 46 Fuentes con 1 producción (0,48%) 46 22.12 22.12
TOTAL 208 100
(1)
: Porcentaje total por categoría productiva
Claramente la fuente más productiva, quintuplicando a la que se sitúa en

segundo lugar, en la Revista de Investigación Educativa, que con una f = 53
obtiene algo más del 25% del total de la producción registrada.
244
Con porcentajes inferiores y cercanos entre ellos, en segundo lugar se

encuentra la Revista Bordón con el 5,77 % y en tercero con 4,81 % las Actas de
los Congresos A.I.D.I.P.E.2
El cuarto lugar lo ocupan con un porcentaje individual de 3,37% la

Revista de Educación y la Revista Española de Pedagogía.
Un conglomerado de cuatro publicaciones con el 2,4% cada una ocupa el

quinto lugar: Escuela Española, Revista de Ciencias de la Educación, Revista de
Educación a Distancia y Tarbiya. El sexto, con el 1,92% por publicación, las
Actas de las Jornadas L.O.G.S.E., las Revistas Adicciones, Aula Abierta y
Cuadernos de Pedagogía. Y el séptimo, cuatro fuentes con un porcentaje
individual del 1,44%, las Actas de los Congresos de Modelos de Investigación
Educativa, y las Revistas Apuntes de Psicología, Infancia y Aprendizaje y Siglo
Cero.
Aunque con porcentajes individuales bajos de tan sólo 0,96%, resulta

significativo que las fuentes que sólo editan dos producciones, consiguen en su
conjunto un porcentaje del 12,50% del total de la producción revisada. Resultando
aún más evidente esta “ocasionalidad” en la publicación de los trabajos
considerados para esta revisión, que las fuentes que tan sólo publican uno,
consiguen un alto porcentaje productivo de 25,48%, muy cercano al de la fuente
más productiva.
2
A.I.D.I.P.E.: Asociación Interuniversitaria de Investigación Pedagógica Experimental.
245
Considerando estos porcentajes por categorías productivas, se puede

representar el reparto de la producción en las diversas fuentes como en el
siguiente gráfico de sectores.
Gráfico 6.16. Porcentaje de población por fuente.
26%
5%
3%
23%
2%
13% 6%
R.I.E. Bordón A.I.D.I.P.E.
R.Educación R.E.P. Escuela Española
R.CC.Educación R.E.D. Tarbiya
Actas J.LOGSE Adicciones Aula Abierta
Cuadernos de Pedagogía Fuentes con 3p. Fuentes con 2p.
Fuentes con 1p.
246
Como complemento a la tabla de producción (Tabla 6.17.) las fuentes

que tan sólo publican dos y un trabajo del total de los revisados en esta Tesis, que
ascienden a trece y cuarenta y seis respectivamente, son en orden alfabético3:
Fuentes con dos trabajos.

Análisis y Modificación de Conducta Psicología Educativa
Revista de Educación de la Universidad de
Clínica y Salud
Granada
GEU Revista de Enseñanza de las Ciencias
Infancia y Sociedad Revista de Orientación Educativa Vocacional
Innovación Educativa Revista de Psicología General y Aplicada
Revista Interuniversitaria de Formación del
Integración
Profesorado
Investigaciones Psicológicas
Fuentes con un trabajo.
A.E.O.E.P. Puerta Nueva
Anales de Pedagogía Quinesia. Revista de Educación Especial
Anales de Psicología Qurriculum
Análisis de la investigación
R.O.P.
educativa
Berceo Revista "A TU SALUD"
Boletín de Psicología Revista Complutense de Educación
Cuadernos de Filología Inglesa Revista de Bachillerato
Cuadernos de Medicina
Psicosomática y Psiquiatría de Revista de Educación Especial
Enlace
Cultura y Educación Revista de Innovación e Investigación Educativa
Revista de Investigación sobre Educación Física y
Drogalcohol
Deportiva.
Enseñanza Revista de Psicología
Enseñanza. Anuario
Revista de Psicología de la Salud
Interuniversitario de Didáctica
Escuela en Acción Revista de Psicología del Deporte
Estudios de Investigación Educativa Revista de Psicología Social y Aplicada
Guix Revista de Psicología. Universitas Tarraconensis
Investigación Psicosocial Revista Española de Terapia del Comportamiento
Revista Iberoamericana de Diagnóstico y
Pedagogía Social
Evaluación Psicológica
Perspectiva Escolar Revista Millars
Política Científica Studia Pedagogica
Psicología del trabajo y
Surgam
organizaciones
Psicológica Temps d´educació
Psicomotricidad. Revista de estudios
Teorema
y experiencias
Psiquis Teoría de la Educación. Revista Interuniversitaria
3
La distribución de las frecuencias de cada una de las fuentes, así como su aporte al porcentaje
global de publicación puede observarse en el Anexo 3.
247
Capitulo VI. Análisis de datos cientimétricos.
6.2.5.3. Ajuste de la Productividad por fuentes a la Ley de Bradford.
Aunque habitualmente la Ley de Bradford es un patrón aplicado

específicamente para caracterizar la producción sobre un tópico, en este caso se
empleará para clarificar la productividad de las fuentes de los trabajos seleccionados,
denotando el ajuste de su distribución al Modelo de Bradford (Tabla 6.18.).
Tabla 6.18. Ajuste de la producción de las instituciones a la Ley de Bradford.

N 1 1+1+2+4 4+4+13 46+...
f 53 11+10+7+5 4+3+2 1+...
Nxf 53 11+10+14+20=55 16+12+26= 54 46+...
R.I.E. Bordón Actas de Jornadas L.O.G.S.E.
Pc. Adicciones
Actas A.I.D.I.P.E. Aula Abierta
Cuadernos de Pedagogía
Revista Española de Pedagogía
Actas de Congreso: Modelos de
...
Escuela Española Investigación Educativa.
Revista de Ciencias de la Apuntes de Psicología
Educación Infancia y Aprendizaje
Revista de Educación a Distancia Siglo Cero
Tarbiya
53 55 54 ...
N.: Número de autores. f.: frecuencia de producción. Pc.: Producción conjunta.
Con una publicación de 53 trabajos, la fuente nuclear en este tópico de

investigación es la Revista de Investigación Educativa.
La segunda zona Bradford, queda delimitada por las siguientes publicaciones:

Bordón, Actas A.I.D.I.P.E., Revista Española de Pedagogía, Escuela Española, Revista
de Ciencias de la Educación, Revista de Educación a Distancia y Tarbiya, que en
conjunto suman 55 producciones, una cuantía similar a la zona anterior.
La siguiente zona quedaría delimitada por un conjunto de fuentes: dos que

aportan siete. La zona más externa, quedaría delimitada por un extremo por dos revistas,
el resto de las fuentes con cinco publicaciones. Y por el otro, por el resto de las fuentes
registradas, puesto que en total alcanzan una producción conjunta de 49 producciones.
248
Análisis cientimétrico, conceptual y metodológico de la investigación española sobre evaluación de
programas educativos (1975/2000).
Gráfico 6.17. . Distribución de fuentes de publicación en Zonas Bradford.
Actas de Jornadas L.O.G.S.E.

Bordón Adicciones
Actas A.I.D.I.P.E. Aula Abierta
Revista Esp. de Pedagogía Cuadernos de Pedagogía 1p
R.I.E.
Escuela Española Actas de Congreso: Modelos de 46+...
53
Revista de Ciencias Ed. Investigación Educativa.
Revista Esp. de Ed. Distancia Apuntes de Psicología
Tarbiya Infancia y Aprendizaje
Siglo Cero
55 54
249
6.3. CITACIÓN EN LOS TRABAJOS REVISADOS.
6.3.1. Citación general, promedio y desarrollo diacrónico.
Estudiando el registro de las referencias bibliográficas contenidas en cada

uno de los trabajos seleccionados en este estudio de síntesis, se obtienen datos
referidos a la variable que se ha denominado
Del total de los 208 trabajos revisados, que contienen referencias, hay un
total de 30 que no realizan citación alguna, por lo que el número de artículos en el
que se realizan es de 178. Uno de los trabajos aunque realiza citaciones, éstas se
referencian tan sólo de forma parcial, por lo que pueden registrarse en cuantía o su
frecuencia, pero no en cuanto a su tipo o la lengua de su publicación.
Se puede calcular un promedio de citación (Prom. Cit.) realizando el

cociente entre las 3966 realizadas y el número de trabajos que la realizan:
Prom. Cit. = 3821 citas realizadas / 208 trabajos que las realizan = 18,37
Lo que supone algo más de 18 citas por cada uno de los trabajos
revisados. Este porcentaje se mantiene en valores semejantes incluso sin
considerar los 30 trabajos que no realizan citación alguna, en cuyo caso se
obtendría un promedio de poco más de 21 citas/trabajo.
Para el estudio del desarrollo diacrónico de la citación, se considera en

un principio la distribución del número de citas que realizan los trabajos
revisados1, agrupados por su año de publicación (Tabla 6.19 y Gráfico 6.18). En
esta distribución se pueden clarificar tres periodos diferenciados: El primero
abarcaría desde 1975 a 1985, y ofrece unos promedios del número de citas
irregulares, en los que incluso hay años en los que no se ha registrado producción.
1
En los estudios diacrónicos se consideran 207 trabajos, en lugar de 208, debido a una pérdida de
la fecha de publicación.
250
Un segundo periodo, a partir de 1985, en el que este promedio se

encuentra en un intervalo de 12 a 16 citas/trabajo si exceptuamos los picos de
1983 y 1987. Y un tercer periodo, desde 1994, en el que las citas suelen
encontrarse entre quince y veinte citas por trabajo.
Es decir, parece establecerse una tendencia de ligero aumento en el

número de citas a realizar. Tendencia que se estudia mediante agrupación
diacrónica en periodos temporales de cinco años (Tabla 6.20) que permite de
forma mucho más clara observar las variaciones significativas de los valores de
este indicador.
Desde 1975 el promedio del número de citas de los trabajos comienza a

aumentar, pero a partir del periodo 1981/1985 que alcanza su valor más alto,
comienza a producirse una disminución de algo más de 9 de citas en los
promedios. Sin embargo, en el periodo 91/95 comienza a establecerse una
tendencia que parece mantenerse, un número de entorno a 15/20 citas por trabajo.
Estas variaciones sucesivamente van acercándose más al valor 20

disminuyendo su variabilidad, por lo que parece éste un nuevo valor de referencia,
como se puede apreciar en la representación gráfica de estos datos (Gráfico 6.19).
251
Tabla 6.19. Desarrollo Gráfico 6.18. Desarrollo diacrónico

del promedio de citas
diacrónico del número de citas.
Año Nº Citas NºArt. Prom.
1975 0 0 -
1976 0 0 -
1977 45 1 45
1978 0 0 - 76
1979 3 1 3
1980 0 0 -
1981 0 0 - 79
1982 11 2 5,50
1983 109 1 109 82
1984 15 1 15
1985 24 2 12
1986 87 7 12,43 85
1987 159 3 53
1988 97 7 13,29 88
1989 337 20 16,85
1990 369 23 16,04
91 prom. Citas
1991 179 12 14,92
1992 100 4 25
1993 303 11 27,55 94
1994 423 28 15,11
1995 200 13 15,38
1996 538 20 26,90 97
1997 327 18 18,17
1998 116 7 16,57 0
1999 117 5 23,40
2000 266 21 0 50 100 150
Tabla 6.20. Desarrollo diacrónico del

Gráfico 6.19. Desarrollo del promedio
promedio de citas (quinquenios). de citas (quinquenios)
Nº Nº
Periodos Prom. 30
citas Art.
25
1975/80 48 2 24 20
1981/85 159 6 26,50 15
1986/90 1045 60 17,42 10
1991/95 1205 68 17,72 5
0
1996/00 1364 72 19,21 75/80 81/85 86/90 91/95 96/00
Total 3821 207 -

Prom. Valor prom. 20,91
252
6.3.2. Antigüedad de las citas.
En cuanto a la antigüedad de las citas que se realizan, se parte de la

consideración de la antigüedad individual de cada una de ellas, para calcular la
antigüedad promedio de las referencias de cada trabajo. Esta distribución de 208
antigüedades promedio (una por trabajo revisado) y registrado en el Anexo 4,
permite realizar cálculos con cierto carácter de síntesis.
Se obtiene una antigüedad promedio de 15,23 años, que supone un escaso

nivel de actualidad en la citación, más propio de las humanidades que de las
ciencias sociales. Pero se debe tener en cuenta también la alta variabilidad de la
antigüedad con respecto a esta media, que alcanza los 26,62 años, valores muy
determinados posiblemente por la inclusión en la fundamentación de estos
estudios a clásicos de la investigación educativa, que aunque sólo se empleen para
obtener una perspectiva histórica de ciertos aspectos de su estudio, hacen
envejecer la media de antigüedad de su citación.
Para mejorar la percepción de este indicador se registra (tabla 6.21), el

número de trabajos, cuya antigüedad media de sus citas se encuentre en las
siguientes categorías: Entre 0/5 años, entre 5/10 años y más de 10 años. En ella, al
igual que en la representación gráfica de sus datos (gráfico 6.20), se aprecia que
en una mayoría los trabajos poseen una antigüedad en sus citas que se encuentra
entre los 5 y 10 años.
Es significativo que el número de trabajos cuya media de antigüedad está

por encima de los diez años es mayor que el de los que está entre cero y cinco
años. Estas antigüedades que denotarían un deseable patrón de citación a
referencias de gran actualidad en lugar de las de mayor obsolescencia, aquí tan
presente.
Son todo ellos valores considerados como propios de los estudios de

carácter humanístico y comunes dentro de la investigación educativa.
253
Tabla 6.21. Frecuencia de estudios por promedio de la antigüedad de sus citas.

x 0/5 años 5/10 años +10 años Total
f 34 99 45 178
% 19,1 55,6 25,3 100
Gráfico 6.20. Promedio de la antigüedad de las citas.
120
100
80 f
60 %
40
20
0
0/5años 5/10 años +10 años
Realizando una adaptación del índice de Price, que delimita la proporción

de referencias menores de cinco años del total, se establece la proporción del
número de trabajos cuya antigüedad media de citas es inferior a cinco años. Este
valor tan sólo supone el 19,1 % del total.
La antigüedad de los trabajos citados se considera a continuación

registrando, en frecuencia (Tabla 6.22), en cada año según su fecha de elaboración
original.
Los distintos trabajos científicos adoptan patrones de citación propios y

particulares. Así mientras en una tesis doctoral parece normal la citación a libros
clásicos sobre el tópico de investigación, con cierta antigüedad; en artículos de
revistas científicas, como son la mayoría de los trabajos revisados, parece
oportuna la citación a los trabajos de mayor actualidad publicados usualmente
también como artículos.
254
Sin embargo el patrón de citación que ofrecen estos datos muestra una baja
calidad científica por el uso de literatura obsoleta, más referida a libros que a
revistas, como se mostrará en el epígrafe siguiente.
Tabla 6.22. Años de citación.

Años de
Gr áfico 6,21. Años de
producción de las f fa %a
publicación de las citas
citas realizadas
realizadas.
Hasta 1975 621 621 15.66
1975 80 681 17.17 -75
1976 77 758 19.11 75

76
1977 74 832 20.98
77
1978 99 931 23.47 78
1979 128 1059 26.70 79
1980 143 1202 30.31 80

81
1981 149 1351 34.06
82
1982 175 1526 38.48
83
1983 175 1701 42.89 84
1984 203 1904 48.01 85

86
1985 223 2127 53.63 87
1986 195 2322 58.55 88

89
1987 254 2576 64.95
90
1988 202 2776 70.05 91
1989 205 2983 75.21 92
1990 205 3188 80.38 93

94
1991 159 3347 84.39
95
1992 149 3496 88.15
96
1993 142 3832 96.62 97
1994 121 3759 94.78 98

99
1995 73 3832 96.62
2000
1996 53 3885 97.96
0 200 400 600 800
1997 44 3929 99.07
Frecuencias
1998 28 3957 99.77
1999 8 3965 99.97
2000 1 3966 100
TOTAL 3966 3966 1000

255
Para facilitar este análisis, se agrupan los años en periodos y se

elabora la siguiente tabla 6.23.
Tabla 6.23. Citas por periodos (citadores x citados)

f CITADOS
TOTAL
CITADORES 1975/1980 1981/1985 1986/1990 1991/1995 1996/2000
1975/1980 67 67
1981/1985 118 41 159
1986/1990 333 294 161 788
1991/1995 278 200 374 126 978
1996/2000 172 175 254 306 24 931
TOTAL 968 710 789 432 24 2923
% CITADOS
TOTAL
CITADORES 1975/1980 1981/1985 1986/1990 1991/1995 1996/2000
1975/1980 100.0 100

1981/1985 74.2 25.8 100
1986/1990 42.3 37.3 20.4 100
1991/1995 28.4 20.4 38.2 12.9 100
1996/2000 18.5 18.8 27.3 32.9 2.6 100
Cálculos realizados a partir de las distribuciones de datos del Anexo 4.
En el primer periodo citado considerado, 1975/1980, evidentemente la

totalidad de sus citas se refieren a su mismo periodo. Pero en el segundo, la
mayoría (74,2%) de las citas nos e realizan a su propio periodo, sino al
inmediatamente anterior.
En el periodo 1986/1990, la mayor parte de citas se realiza a trabajos

publicados hasta 1980 (42,3%), aunque las diferencias con los trabajos citados de
entre 1981/1985 (37,3%) son significativamente inferiores. Las citas a trabajos
realizados en su propio intervalo temporal sólo alcanzan el 20,4%.
256
Entre 1991 y 1995, de nuevo los trabajos más citados son los del periodo
inmediatamente anterior, es decir con una antigüedad de entorno a cinco años,
alcanzando el 38,2% del total de las citas realizadas.
Las citas más actuales a trabajos de su propio periodo de publicación

alcanzan un bajo porcentaje del 12,9%. Mientras que las realizadas a trabajos
anteriores a 1975/1980 y 1981/1985, obtienen un 28,4 y 20,4% respectivamente.
En el periodo 1998/2000 las citas a trabajos realizados en el propio

periodo alcanzan el porcentaje más bajo de todos los casos, pues sólo supone un
2,6% del total de las realizadas en este intervalo temporal.
Para profundizar en el estudio de las citaciones realizadas en los estudios

revisados, se consideran además de los años de producción de éstos, los años de
las citas que se referencian, obteniéndose una distribución, que al igual que su
tabla resumen se ofrece en el Anexo 4.
Este indicador puede derivarse como una adaptación del índice de

inmediatez establecido para la citación, por Garfield (1979b) en el Institute for
Scientific Information de Filadelfia, en periodos. Para su estudio, se consideran
agrupamientos diacrónicos en periodos y específicamente por años.
En esta tabla se señalan los porcentajes de citación, que lógicamente en

cada año de producción pueden alcanzar como máximo a éste, obteniéndose una
característica distribución piramidal. Para comprobar las frecuencias puede
consultarse el mismo anexo.
En la mayoría de los años considerados de producción se comprueba un

alto porcentaje de la citación a referencias anteriores a 1975, lo que supone la
realización de una obligada citación a trabajos clásicos en el campo.
257
Es esta una tendencia que abarca hasta 1983, con excepción del año
productivo 1982 que realiza un mayor porcentaje de citaciones actualizadas:
18,2% a trabajos de 1979 y 1980 o 27, 3% a trabajos de 1981. Y aunque durante
1984 y 1985 se actualice la citación de nuevo, en el periodo 1986/1990 el mayor
porcentaje lo vuelven a tener citas anteriores a 1975.
A partir de 1991 la literatura citada comienza a ser más actual,

aumentando los porcentajes de citas realizadas con más proximidad temporal al
año de producción, aunque con una importante carga a las citaciones anteriores a
1975, sobre todo en el periodo 1994 a 1996.
Como se puede comprobar, con las citas referidas a trabajos publicados

hasta 1985 ya se explica una mayoría del total de la distribución de citas
realizadas. Es decir un 53,63% de las citas se refiere al 40% del periodo posible de
publicación de éstas. Y por extensión, un 80,38% se publican en el primer periodo
temporal que abarca el 60% del total.
Globalmente la mayor frecuencia de citas se realiza a trabajos

procedentes de años anteriores a 1975, quedando patente la asiduidad de la
citación a clásicos en este campo de investigación.
También parece importante, por sus frecuencias diferencialmente

mayores y muy compactas por encima de 2000, como período a cuyo trabajos se
cita el que abarca desde 1985 a 1990.
En 1997 comienza una tendencia en la que las citaciones más realizadas

comienzan a encontrarse dentro de su propia década. En 1997 el mayor porcentaje
de citas se refiere a trabajos que poseen entre tres y cinco años, y aunque en 1998
aumentan a ocho, en 1999, desciende tan sólo dos. De igual forma en este periodo
temporal, también se aprecia unos bajos porcentajes a la realización de citas de
más de diez años de antigüedad, límite bibliométrico consensual que categoriza a
la literatura científica como “obsoleta” o propia de los estudios relativos a arte y
258
humanidades (Garfield, 1979). Parece pues que se inicia una tendencia de mayor
actualización de la literatura citada.
6.3.3. Tipos de fuentes de las citas realizadas.
Para comprobar el tipo de fuente de publicación de las citas realizadas en

todos los trabajos revisados en este estudio de síntesis, se registran las categorías
descritas en el apartado de descripción de las variables. Recurriéndose para su
análisis al cálculo tanto de su frecuencia y porcentaje global, como de su
desarrollo diacrónico en el periodo temporal estudiado.
Tabla 6.24. Porcentaje de citaciones por tipo de fuente.

Tipo de fuente f % %a
1. Libros 1961 51.3 51.2
2. Revistas 1377 34.3 85.6
3. Otras Fuentes (literatura gris) 543 13.8 99.4
Subtotal 3799
Fuentes no identificadas 22 0.6 100
TOTAL 3821 100
Gráfico 6.22.Tipo de fuentes citadas.
Libros
Revistas
Otras
No ident.
259
Como se puede comprobar en la tabla (6.24) y su representación gráfica

(6.22), la mayoría de las 3821 citas realizadas se refieren a libros, con un
porcentaje del 51,3%; mientras que las revistas obtienen el 34,3 %; obteniendo
conjuntamente un porcentaje acumulado del 85,6 %.
El porcentaje relativo a otras fuentes, que supone un 13,8% del total de la

citación, y como se describe en el apartado de definición de las variables se refiere
a actas de congresos, documentos interno y/o sin publicar, es realmente alto para
tratarse de este tipo de literatura a la que Alberani et al. (1990) califican de
“literatura gris”.
Comprobando el desarrollo diacrónico obtenemos la distribución que se

refleja en la tabla, tanto en frecuencia, como en promedio según el número de
trabajos considerado en cada año.
En este desarrollo, se puede apreciar hasta 1983 una cierta irregularidad,

con años en los que no se registra producción y por lo tanto no se refleja citación.
Se producen altibajos en el índice de citación, comentado con anterioridad,
alcanzándose un máximo en 1983 y alternándose el tipo de fuentes como las más
citadas, aunque la mayoría son revistas.
Desde 1988, aunque con ciertas irregularidades en la cuantía, parece

establecerse una ordenación en cuanto a las fuentes más citadas: Con libros en el
intervalo entre 6 y 17, revistas cercanas a 6 y otras fuentes entre 0-4 citas por
trabajo.
Aunque este patrón sufre una variación entre 1997/99, ya que se cita a
más revistas que libros, parece restaurarse en el último segmento diacrónico.
260
Este patrón de citación obtenido puede interpretarse como un bajo ajuste a

modelos propios de las ciencias punteras en las que predominan la citación a
artículos de revistas científicas. La citación en la que predominan como fuentes
los libros indica que se trata de “ciencia normal”, pero en la consideración de un
campo eminentemente empírico como la I.E.P. puede ser muestra de un cierto
anquilosamiento.
Tabla 6.25. Desarrollo diacrónico del tipo de fuentes citadas.

Año f TOTAL Producción anual promedio
Libros revistas otras libros revistas otras
1975 15 4 0 19 1 15 4 0
1976 - - - 0 0 - - -
1977 19 26 0 45 1 19 26 0
1978 - - - 0 0 - - -
1979 1 1 1 3 1 1 1 1
1980 - - - 0 0 - - -
1981 - - - 0 0 - - -
1982 8 2 1 11 2 4 1 0,5
1983 47 34 28 109 1 47 34 28
1984 2 6 7 15 1 2 6 7
1985 5 8 11 24 2 2,5 4 5,5
1986 32 16 22 70 7 4,571 2,29 3,14
1987 75 37 47 159 3 25 12,3 15,7
1988 75 11 7 93 7 10,71 1,57 1
1989 154 133 50 337 20 7,7 6,65 2,5
1990 206 106 57 369 23 8,96 4,61 2,48
1991 70 92 17 179 12 5,83 7,67 1,42
1992 55 32 13 100 4 13,75 8 3,25
1993 186 80 37 303 11 16,91 7,27 3,36
1994 257 101 60 418 28 9,18 3,61 2,14
1995 122 58 20 200 13 9,38 4,46 1,54
1996 227 257 54 538 20 11,35 12,9 2,70
1997 137 152 38 327 18 7,61 8,44 2,11
1998 55 44 17 116 7 7,86 6,29 2,43
1999 51 55 11 117 5 10,20 11 2,20
2000 177 58 31 266 21 8,43 2,76 1,48
NS/NI 0 0 0
Total 1961 1309 529 3799
Habría que añadir 22 citas, al total de 3799, de las que no se puede registrar el tipo de fuente en
el que son publicadas. Obteniéndose en conjunto un total de 3821.
261
Gráfico 6.23. Desarrollo diacrónico del tipo de fuentes de publicación de las citas.
50
45
40
Libros Revistas Otras
35
30
25
20
15
10
5
0
75
77
79
81
83
85
87
89
91
93
95
97
99
19
19
19
19
19
19
19
19
19
19
19
19
19
6.3.4. Idioma de las citas realizadas.
Considerando el idioma en la que son publicadas las citas realizadas, de

igual forma que en la sección anterior, se registran todas las que se realizan en los
trabajos revisados en este estudio de síntesis, atendiendo a las categorías descritas
en el apartado de descripción de las variables, tanto en su frecuencia y porcentaje
del total de las citas realizadas, como en su desarrollo diacrónico durante el
periodo temporal estudiado.
Gráfico 6.24. Lengua de publicación de las citas.
Inglés
Español
Otras lenguas
No ident.
262
Tabla 6.26. Citaciones por lengua de publicación.

Lengua f % %a
1. Inglés 1966 51,5 51,5
2. Español 1638 42,9 94,4
3. Otras Lenguas 200 5,2 99,6
Subtotal 3804
Fuentes no identificadas 17 0,4 100
TOTAL 3960 100
La lengua más frecuente en la que se realizan las citaciones revisadas es

el inglés, en poco más del 51 % del total de las citas realizadas. Le sigue el
español con un 42,9%. Ambos conjuntamente suponen el 94,4% de la citación, un
altísimo porcentaje que la delimita casi por completo. Las demás lenguas obtienen
un bajo porcentaje, que aún en un conjunto de una única categoría, alcanzan tan
sólo el 5,2% de las citas.
Este conjunto categorizado como “otras lenguas” está compuesto por

citas a trabajos realizados en las diversas lenguas autonómicas, en francés y
portugués.
Comprobando su desarrollo diacrónico descrito en la tabla, tanto en

frecuencia, como en promedio según el número de trabajos considerado en cada
año, podemos considerar periodos diferenciados: Hasta 1983 existe dispersión en
la citación, por la escasas producción considerada, aunque con predominio del
español como lengua. Desde este año a 1985, “otras lenguas” decaen al último
lugar como lengua de citación, tendencia estable hasta el final del periodo
diacrónico considerado, salvo en 1999. En 1987 aumentan las citas en lengua
inglesa, quedando las realizadas en español en segundo lugar. Con alguna
variación este es un patrón que parece mantenerse en los últimos periodos
diacrónicos considerados, aunque en el último año hay una cierta equiparación de
la citación en español e inglés.
263
El patrón de citación en el último decenio delimita trabajos con unos

rangos de citación entre algo más de dos y diez citas a trabajos publicados en
español, entre dos y algo más de dieciséis en inglés, y una muy escasa citación en
otras lenguas. Es decir, delimita. Es decir, parece delimitar un patrón de
internacionalización de la citación en el que la citación a trabajos internacionales,
normalmente publicados en inglés, parece tan importante como los de la propia.
Tabla 6.27. Desarrollo diacrónico del idioma de las citas realizadas

f Producción Promedio
AÑO TOTAL
español inglés otras anual español inglés Otras
1975 - - - - - - - -
1976 - - - 0 0 - - -
1977 0 45 0 45 1 0,0 45,0 0,0
1978 - - - 0 0 - - -
1979 3 0 0 3 1 3,0 0,0 0,0
1980 - - - 0 0 - - -
1981 - - - 0 0 - - -
1982 11 0 0 11 2 5,5 0,0 0,0
1983 44 25 40 109 1 44,0 25,0 40,0
1984 6 7 2 15 1 6,0 7,0 2,0
1985 21 3 0 24 2 10,5 1,5 0,0
1986 55 12 3 70 7 7,9 1,7 0,4
1987 46 112 1 159 3 15,3 37,3 0,3
1988 57 29 7 93 7 8,1 4,1 1,0
1989 120 195 22 337 20 6,0 9,8 1,1
1990 145 217 7 369 23 6,3 9,4 0,3
1991 46 128 5 179 12 3,8 10,7 0,4
1992 43 49 8 100 4 10,8 12,3 2,0
1993 109 183 11 303 11 9,9 16,6 1,0
1994 207 199 17 423 28 7,4 7,1 0,6
1995 126 66 8 200 13 9,7 5,1 0,6
1996 170 361 7 538 20 8,5 18,1 0,4
1997 170 156 1 327 18 9,4 8,7 0,1
1998 56 58 2 116 7 8,0 8,3 0,3
1999 13 66 38 117 5 2,6 13,2 7,6
2000 190 55 21 266 21 9,0 2,6 1,0
NS/NI 0 0 0
Total 1638 1966 200 3804
Habría que añadir 17 citas, al total de 3821, de las que no se puede registrar el tipo de fuente en
el que son publicadas. Obteniéndose en conjunto un total de 3966.
264
Gráfico 6.25. Desarrollo diacrónico del promedio del idioma de las citas
realizadas
50
45
40
35 español
30 inglés
25
otras
20
15
10
5
0
-5
6.3.5. Tipo de fuentes x idioma de las citas realizadas.
Aunque de forma separada se ha comprobado que en términos globales la

lengua más frecuente en la citación es el inglés y el tipo de fuente más citada los
libros. Sería pertinente considerar en una aproximación al estudio de la citación la
confluencia entre los datos de las variables referidas el idioma y al tipo de fuente
de las citas realizadas por todos los trabajos revisados.
Tabla 6.28. Citaciones por tipo de fuente y lengua de edición.

IDIOMA LIBROS REVISTAS LITERATURA GRIS TOTAL
ESP. 992 319 327 1638
ING. 881 997 148 1966
OTRAS LENGUAS 90 54 56 200
TOTAL 1963 1310 531 38041
1
3804+17datos no registrados = 3821, total de citaciones realizadas.
Tanto en la tabla 6.28, que muestra las frecuencias y totales de idiomas y

fuentes, como en su representación gráfica 6.26, se puede comprobar que en las
265
citas que se refieren a libros de texto son en mayoría en español, seguidas por el
inglés en un margen de tan sólo 111 citas del total de 2029 realizadas; quedando
en una cuantía mucho menor las realizadas en otras lenguas.
Sin embargo, las citas que se realizan a revistas como fuentes de

publicación son en su mayoría en inglés, de forma que las realizadas en este
idioma superan en más del doble a las realizadas en español. En este tipo de
fuentes, la citación en otras lenguas también obtiene escasa frecuencia.
En los demás tipos de fuentes, tales como actas de congresos,

documentos internos y/o sin publicar, etc., también denominada literatura gris,
son las citas en español las que doblan a las realizadas en inglés, obteniendo las
realizadas en otras lenguas, aunque en escasa frecuencia, un valor proporcional
del total de las citaciones más significativo.
Gráfico 6.26. Idioma y tipo de fuentes de las citas .
90 54 56
881 148
997
327
992
319
Libros Revistas Literatura Gris

Español Inglés Otras Lenguas
266
6.3.6. Citación personal o de autores.
Para analizar los datos referidos a los autores citados en los trabajos
revisados en este estudio, se realiza la composición de su distribución registrando
cada una de las referencias señaladas en su bibliografía.
Cada nombre se toma individualmente, descomponiendo las coautorías,

para poder realizar una enumeración de frecuencias diferenciadas, registrando
para cada autor el número de citas que recibe en el conjunto de la muestra. (Ver
Anexo 5).
En total se citan a 6336 autores en un conjunto de 3634 trabajos u obras

citadas. Por lo que realizando su cociente obtenemos 1,7 autores por trabajo. Un
índice de autoría semejante al establecido en el apartado de la productividad para
los autores que realizan los trabajos de la muestra.
Índice de autoría de la citación = 6336 / 3634 = 1,7 autores/trabajo.
Aunque no sea una clasificación con base firme, cuasi-discrecional,

parece aclarar la situación de la citación en los trabajos revisados. Para ello,
consideramos a los autores que reciben entre 1 y 2 citas, como autores poco
citados u ocasionales en el tópico de investigación; a los que reciben entre 3 y 10
citas como autores medianamente citados, con cierto impacto en el tema; y a los
que reciben más de 10 citas como autores prolíficos y clásicos en la citación de
trabajos referidos a la Evaluación de Programas; obtenemos los valores mostrados
en la tabla.6.29.
267
Tabla 6.29. Tabla de Citación.

Tipo de autores nº autores total citas recibidas %
Pequeños citados (1-2 citas) 3156 3660 57,8
Medianos citados (3-9citas) 432 1878 29,6
Grandes citados (10 o más citas) 45 668 10,5
Sin definir autoría 1 130 2,1
TOTAL 3634 6336 100
Gráfico 6.27. Tipo de autores.

57,8
29,6
10,5
2,1
%
0 20 40 60 80 100 120
Pequeños citados Medianos citados Grandes citados Sin definir autoría
La mayoría de los autores, un 57,8%, reciben tan sólo una o dos citas.
Mientras que los que reciben entre tres y nueve, son algo más del 29 %. Sin
embargo, los autores que pueden considerarse muy citados, con diez o más citas
recibidas del total de 6336 realizadas son tan sólo 45, lo que supone un escaso
porcentaje del 10,5%.
Para completar los valores totales de autores citados y número de

referencias que reciben, se ha de considerar la categoría que en las referencias
bibliográficas aparece junto al autor principal reseñada como “... y otros” o “... et
al.”, que no pueden procesarse y reciben en conjunto 130 citaciones, suponiendo
un 2,1% del total.
268
En conjunto se puede considerar que, en este tópico de investigación son

escasos los autores muy citados o considerados “especialistas, clásicos o de
obligada citación”.
En el anexo se registra en sentido nominal, los autores ordenados

alfabéticamente con el número de citas que reciben. Pero para su estudio, en la
tabla 6.30, se registra cuántos autores hay, quiénes son éstos y las citas que
reciben, en un intervalo de frecuencias de citación de treinta y nueve hasta cinco
citas recibidas. Los autores que reciben entre una y cuatro citas son más de 3000,
por lo que para su revisión se remite al mencionado Anexo.
Considerando exclusivamente a los autores más citados, con diez o más

citas recibidas, se pueden comprobar intervalos de frecuencias muy escasos
formados entre uno y tres autores. Así, los autores que reciben 39, 28, 25, 22, 21...
citaciones son 1, 1, 2, 1,1... autores.
Descendiendo en el nivel de citación, esta tendencia se mantiene excepto

en el caso de los autores con diez citaciones que lo conforman catorce autores,
abriendo un intervalo con un semejante número de autores 12, 19, 17, que reciben
desde diez a siete citas. Sin embargo, los grupos que forman los autores que
reciben entre 4 y 1 citas son muy extensos, por lo que su distribución nominal se
ofrece en los anexos mencionados.
269
Tabla.6.30. Clasificación de los autores más citados en los trabajos revisados.

autores
Nº Citas
Nº
recibidas
AUTORES
1 M.E.C. 39
1 Feuerstein, R. 28
2 Gargallo, B./ Novak, J.D. 25
1 Sussman, S. 22
1 De Ketele, J.M. 21
1 Prieto Sánchez, M.D. 20
3 Fernández Ballesteros, R./ Rivas, F./ Sternberg, R.J. 19
2 Rand, Y./ Vygotski, L.S. 18
2 Hoffman, M.D./ Piaget, J. 17
1 Stufflebeam, D.L. 16
3 Bloom, B.S./ Calafat, A. / Kagan, J. 15
3 Bruner, J.S./ Meichenbaum, D.H./ Shinkfield, A.J./ 14
2 Trianes, M.V./ Witkin, H.A. 13
4 Driesen, G./ Hernández, P./ Luria, A.R./ O.M.S./ 12
4 Álvarez Rojo, V./ Campbell, D.T./ Matson, J.L./Pérez Juste, R. 11
Arnáiz Sánchez, P./Bandura, A./Castillejo, J.L./Colás Bravo,
M.P./Cook, Th.D./Dueñas, M.L./Garaigordobil, M./Pelechano,
14 10
V./Posner, G./Sanz Oro, R./Slavin, R.E./Tejedor, F./Verdugo,
M.A./Wehman, P.H.
Aragonés, C./Barragán, F./ Brown, A.L./ Cronbach, L.J./Del Castillo,
12 M./Moos, R.H./ Musitu, G./ N.C.T.M./ Rodríguez Espinar, S./Shure, 9
M.B./Vizcarro, C. / Weinstein, C.E.
AA.VV./ Álvarez, M.N./Amengual, M./ Budoff, M./Díaz Aguado, M.J./
Escámez, J./ Gresham, F.M./Gysbers, N.C./ Maganto, J.M./ Mayor, J./
19 Michelson, L./ Monereo, C./ Pinillos, J.L./ Rebollo, M.A./ Ronning, 8
R.R./ Rosenthal, R./ Schalock, R.L./ Stufflebeam, D.L./ Torres, M.A./
Vega, A.
270
Ausubel, D.P./ Costa, M./De la Orden, A./Díaz, J.V./ Díez López, E./
Fernández Cano, A./ García, M.D./ Kaufman, R./Kazdin,
17 7
A.E./Mendoza, R./Miles, M.B./ Muñoz Sánchez, A./ Ortega/ Roman,
J.M./ Sallis, J.F./Stake, R.E./ Weissberg, R.P.
Baker, E.T./Barón, J.B./Bartau, I./Beltán Llera, J./ Borras, M./Botvin,
G.J./Campbell, S.B./Camplloch, J.M./Cohen, J.A./Crespo, M./Del
Barrio, V./Feixas, G./Gimeno-Sacristán, J./Gómez, A./Goodman,
J./Gowin, D.B./Hagarty, S./Jeffrey, W.E./Kulik, J.A./López, E./Madden,
42 N.A./Marcelo, C./McKay, G.D./Megías, G./Molina García, S./Monjas, 6
M.I./Nisbett/Peter, R. de V./ Pozo, J.I./ Rico, L./Rodríguez Moreno,
M.L./ Román Pérez, M./ Ruíz, C./ Schwartz, G.E./Scriven, M.S./
Simón, J./ Solís Cámara, R.P./ Valles Arandiga, A./ Van Hasselt, V.B./
Wood, R.P./ Zelniker, T.
Abraira, C.F./Aciego de Mendoza, R./Álvarez Castillo/Asher, S.R./Ato,
M./Aucounturier, B./Bereiter, C./Bisquerra Alzina, R./Bredy, C./Briggs,
C.H./Broverman, D.M./Cairns, D./Cammock, T./Confrey, J./De Vries,
R./Debus, R.L./Dusenbury, L./Elliot, J./Finch, A.J./Gagne, R.M./Gala
León, F.J./González Rodríguez, M.F./Harter, S.Haywood, H.C./Holley,
C.H.D./Jiménez, M./Johnson, D.W./Kamii, C./Kazdin, A.E./Krumboltz,
54 5
J.D./López, J.A./Magnusson, D./Masjuan, J.M./Mastantuono,
A.K./Mayer, B.J.F./Mayer, D.K./Miller, R./Ministerio de Sanidad y
Consumo/Mulder, L./Nisbet, J./Oñate, P./Orlick, T./Ortega,
P./Patterson, E.G./Pelletier, D./Pourtois, J.P./Repetto, E./Rodríguez,
M.L./Sánchez Meca, J./Spivack, G./Strike, K./Suydam, N.M./Tesser,
P.Zazzo, R.
108 4
179 3
Para comprobar distribución, ver Anexo 5
502 2
2654 1
130 No se identifican, al registrarse en las coautorías como “otros”.
6.3.6.1. Ajuste de la citación a la Ley de Lotka.
Para comprobar el ajuste de loa distribución de las citas realizadas por los
trabajos revisados a la Ley de Lotka, se construye la tabla 6.31 que la compara
con la distribución teórica propuesta en este patrón teórico.
271
Tabla 6.31. Ajuste de la citación a la Ley de Gráfico 6.28. Patrón gráfico de

Lotka ajuste de la citación a la Ley de
Lotka
AUTORES Distribución Distribución
trabajos teórica experimental
A1 2654 2654 3000
A2 663,50 502
A3 294,89 179
A4 165,88 108
A5 106,16 54 2500
A6 73,72 42
A7 54,16 17
Núm. Autores
A8 41,47 19
A9 32,77 12
2000
A10 26,54 14
A11 21,93 4 T.
A12 18,43 4
Exp.
A13 15,70 2
A14 13,54 3 1500
A15 11,80 3
A16 10,37 1
A17 9,18 2
A18 8,19 2 1000
A19 7,35 3
A20 6,64 1
A21 6,02 1
A22 5,48 1
500 Aportaciones x Autores
A25 4,25 2
A28 3,39 1
A39 1,74 1
Ajuste Coef. = +0.99
0
A1
A4
A7
0
3
6
9
2
9
A1
A1
A1
A1
A2
A3
272
Al quedar correlacionadas las distribuciones, por el coeficiente de

correlación Rho de Pearson con valores iguales a +0, 99, la distribución
experimental cumple el patrón teórico propuesto en dicha Ley.
Así, se puede considerar que la mayoría de las citas se realizan a autores

que realizan una sola aportación a la distribución de autores citados. En esta
muestra, son 2654 autores los que son citados una sola vez, lo que supone un
número mayor que la acumulación del resto del número de autores que reciben un
número >1 cita.
Sin embargo, son escasos los autores que son citados un gran número de
veces. Atendiendo a la distribución expuesta en la tabla 6.31, se comprueba que
tan sólo hay un autor que recibe 39 citaciones. Y acumulando el número de
autores que reciben diez o más citaciones, y por lo tanto ser considerados como
muy citados, sólo alcanza una cifra de 385 autores.
Resulta ciertamente preocupante que el autor más citado sea una

institución perteneciente a la Administración Central del Estado, como es el
M.E.C. Esto indica que este campo de investigación está pleno de la normalidad
emanada fundamentalmente de las directrices ministeriales, en lugar de
determinarse a través de los hallazgos derivados de sus realizaciones empíricas.
273
274
CAPÍTULO VII. ANÁLISIS E

INTERPRETACIÓN DE RESULTADOS DE
DATOS CONCEPTUALES.
7.1. INTRODUCCIÓN.
El sentido prioritario que orienta la realización de este trabajo de síntesis

es la descripción de la investigación educativa española sobre evaluación de
programas educativos.
Si bien en el capítulo anterior se ha comenzado por ofrecer una visión

panorámica de los aspectos cientimétricos y el siguiente se destina al análisis de
variables de carácter metodológico, el presente capítulo siete se centra en la
descripción de ciertos aspectos conceptuales de tales investigaciones.
La literatura científica sobre el tema, declarada en los primeros epígrafes

del capítulo 5, en el que se definen las variables constituyentes del instrumento
utilizado para el registro de datos; y trabajos previos sobre el mismo tópico
(Expósito 2000, Fernández Cano y Expósito, 2001, Fernández Cano y Expósito,
2002), ordenan la disposición y tratamiento de los contenidos de este capítulo.
275
Capítulo VII. Análisis de datos conceptuales.
Estos aspectos catalogados como conceptuales, de naturaleza diversa,

intentan completar la caracterización de las investigaciones tomadas como
muestra y registradas, tras su revisión, en las distribuciones de datos de las que se
extraen los siguientes análisis. Una primera revisión de tales distribuciones, ha
sido la primera fase de elaboración, adecuación y establecimiento de las
categorías que han permitido un posterior y eficiente registro de dichos datos.
El tratamiento de datos se realiza principalmente mediante técnicas

cualitativas como el análisis de contenido, facilitadas enormemente por el uso de
programas especializados (Aquadfive), pero sin renunciar complementariamente al
recurso de otras técnicas de carácter cuantitativo.
Con las consiguientes precauciones de todo estudio descriptivo, se

pretende su generalización al conjunto de la investigación educativa española
sobre el tópico de referencia.
7.2. ANÁLISIS DE LOS TÍTULOS Y PALABRAS CLAVE DE

LAS INVESTIGACIONES SOBRE EVALUACIÓN DE
PROGRAMAS.
7.2.1. Análisis de títulos.
Para analizar los títulos de los trabajos tomados como muestra de este
estudio, se atenderá a dos cuestiones distintas: su forma y su contenido.
El análisis de su forma se puede concretar en múltiples características,

como son la extensión o la cantidad de palabras, sílabas, signos de puntuación o
caracteres que poseen los mencionados títulos. Considerando en este caso, su
extensión y la presencia del colon perfecto, propuesto en la hipótesis de Dillon
(1980).
276
White (1981) analiza la relación y correlaciona positivamente la longitud

de los títulos en cantidad de palabras y la cantidad de autores. También percibe
que a medida que madura un campo de investigación los títulos de los artículos
publicados sobre la temática, son más largos y complejos.
Por su parte Dillon (1980) relaciona la presencia o ausencia del colon

perfecto (los dos puntos que separan el periodo gramatical de la frase) con la
complejidad de las frases empleadas y la calidad académica del artículo. Y aunque
su hipótesis, confirmada por Perry (1985) en otras áreas, se refería a la presencia
o no de este signo en los trabajos de revistas educativas catalogadas por él como
teóricas, de investigación, empíricas y generales. Poseyendo una presencia más
patente en las fuentes de tipo teórico que las de tipo empírico.
En este trabajo, con las debidas precauciones, tales planteamientos se

aplican al análisis diacrónico de los títulos y a la valoración de su variación en las
fuentes consideradas, comprobando el ajuste a la mencionada clasificación, a
partir de la presencia de este signo en los títulos de los trabajos que editan. No se
pueden establecer comparaciones globales y/o sincrónicas al carecer de valores
comparativos de este indicador para el tópico de investigación considerado.
Partiendo de estos principios básicos, en la tabla siguiente (7.1), se

registran en una distribución diacrónica anual: la suma de caracteres que
componen los títulos y la frecuencia en que se presenta el colon perfecto, al que
hace referencia la hipótesis de Dillon, en ese mismo periodo.
Esta disposición que facilita la elaboración de su promedio, permitiría el

estudio del desarrollo diacrónico de la complejidad de este campo, en la medida
que estos indicadores lo posibilitan.
277
Tabla 7.1. Distribución diacrónica de medias de la longitud de caracteres de los títulos.

Promedio
PERIODO Σ Caracteres f Media f Media
autores/
DIACRÓNICO (Long. títulos) (producción) (longitud) ( colon) (colon)
trabajo
1975 - 0 - - - -
1976 - 0 - - - -
1977 114 1 114 1 0 0
1978 - 0 - - - -
1979 68 1 68 2 0 0
1980 - 0 - 1,5 - -
1981 - 0 - - - -
1982 121 2 60,5 - 0 0
1983 87 1 87 2 0 0
1984 176 1 176 4 0 0
1985 150 2 75 1,5 1 0,5
1986 626 7 89,4 1,3 1 0,1
1987 338 3 112,7 6 2 0,7
1988 576 7 82,3 2 2 0,3
1989 1610 20 80,5 2,6 5 0,3
1990 2261 23 98,3 1,7 3 0,1
1991 1082 12 90,2 2 3 0,3
1992 458 4 114,5 1,5 1 0,3
1993 981 11 89,2 2,1 4 0,4
1994 2668 28 95,3 2,2 7 0,3
1995 1136 13 87,4 2,2 1 0,1
1996 1948 20 97,4 2,3 6 0,3
1997 1570 18 87,2 2,3 2 0,1
1998 464 6 77,3 1,9 1 0,2
1999 359 5 71,8 2,2 2 0,4
2000 1999 21 95,2 2,3 4 0,2
NR o NI 71 1 89,39 0 0
TOTAL 18863 207 91 45 0,2
Ver datos en Anexo 6
El análisis de estos datos descubre además de la correlación positiva con

un coeficiente r2 de Pearson de 0.6, un patrón diacrónico caracterizado por una
variabilidad y dispersión en cuanto a su comparación con la media para todo el
intervalo diacrónico, con una distribución gráfica característica de crestas y senos
(Gráfico 7.1.). Sin embargo, su tendencia logarítmica puede calificarse con un
moderado crecimiento y estabilización, a cuyo patrón parece ajustarse cada vez
más esta distribución.
278
Es decir, parece cada vez más común una longitud de títulos entorno a
los 91 caracteres. Por lo que el juicio evaluativo que se puede emitir es el de un
ligero crecimiento y estabilización en la complejidad disciplinar.
Gráfico 7.1. Promedio de longitud de caracteres de títulos .
200
180
160 Promedio/anual
140
MEDIA TOTAL
120
100
80
60
40
20
0
75
77
79
81
83
85
87
89
91
93
95
97
Gráfico 7.2. Promedio presencia colon perfecto en títulos. 99
0,8
0,7
Promedio (colon/anual)
0,6
MEDIA
0,5
0,4
0,3
0,2
0,1
0
75
77
79
81
83
85
87
89
91
93
95
97
99
279
En cuanto a la presencia del colon perfecto en los títulos de los trabajos

revisados, se puede apreciar igualmente un patrón gráfico poco constante, aunque
con una línea de tendencia que presenta un pequeño crecimiento en la
consideración diacrónica global. Siendo su crecimiento muy escaso como para
calificarlo en el sentido de que la disciplina posee una tendencia a la teorización.
Parece por tanto, que en cuanto a su desarrollo diacrónico tanto la

longitud de los títulos como la presencia del colon perfecto establecido en la
hipótesis de Dillon, muestran más que un patrón de crecimiento significativo una
adecuación de la distribución de su frecuencia a valores medios señalados.
El segundo aspecto al que se hacía referencia para el estudio de sus

títulos es el análisis de su contenido, de la frase con que se da a conocer el nombre
o asunto del estudio, y en el que se reflejan las características principales del
mismo. Con este proceso se han obtenido una serie de categoría, en las cuales se
aglutinan aquellas palabras o términos que describen el trabajo a grandes rasgos, y
que los autores lo consideran así, mayoritariamente. Estas categorías serán base
para el análisis de las palabras clave, en las que si bien se trata de aquella parte del
texto en la que aparecen las claves fundamentales del estudio en su globalidad,
esto es, fundamentación teórica, metodología, diseño, usuarios, instrumentos y
análisis empleados, no siempre ocurre de forma compensada.
7.2.2. Palabras clave.
Partiendo de la definición dada de "palabra clave" por el Diccionario de la

Real Academia Española de la Lengua (2001, p.1650) entre las palabras que
forman un título o entran en un documento, las más significativas o informativas
sobre su contenido. Se analizan aquellas que han sido como tal registradas en la
muestra por sus autores, a través del análisis de contenido, se recuperan los
términos por categoría establecida y se redefinen éstas, en aquellos casos que así
se requiera, como muestra la tabla siguiente.
280
En ella además se registran la frecuencia de cada categoría de agrupación

de los mencionados términos.
Tabla 7.2. Palabras clave categorizadas por aspectos de los programas.

Apoyo pedagógico; Aproximación a la evaluación; Desarrollo cognitivo y
metacognitivo; Desarrollo e innovación curricular; Desarrollo de habilidades
sociales; Desarrollo de la creatividad; Desarrollo vocacional y personal;
Detección de dificultades de aprendizaje; Eficacia docente; Enriquecimiento
instrumental; Entrenamiento conductual; Estimulación intelectual y temprana;
NECESIDAD DEL Identificación de Estrategias de Aprendizaje y Conductas de Estudio; Impacto
PROGRAMA del programa; Evaluación de centro; Evaluación de la formación del
profesorado; Evaluación de la integración escolar; Evaluación de la integración
f 164 comunitaria; Formación inicial, continua, a padres, de investigadores,
% 30.59 empresarial, ocupacional y universitaria; Identificación de alumnos muy
capacitados; Inserción laboral; Evaluación de la interacción y problemas
interpersonales; Intervención educativa; Intervención comunitaria; Intervención
psicológica; Orientación educativa; Orientación vocacional; Prevención;
Rendimiento; Refuerzo; Reflexividad; Seguimiento; Satisfacción; Simulador;
Valoración.
Aspectos previos al diseño; Contraste de hipótesis; Constructivista;
Diagnóstico; Diseño cuasiexperimental; Equipo interdisciplinar; Estudio
comparativo; Estudio de segmentación; Estudio experimental; Estudio
longitudinal; Estudio piloto; Evaluación de programas; Evaluación crítica;
PROCESO/ Metodología cualitativa; Metodología cuantitativa; Evaluación de resultados;
METODOLOGÍA Evaluación de síntesis; Evaluación del diseño; Evaluación del proceso;
Evaluación interna; Evaluación por usuarios; Evaluación referida al criterio;
f 133 Implementación; Investigación participante; Investigación de síntesis;
% 24.81 Investigación secundaria; Investigación-acción; Línea base; Meta-análisis;
Método observacional; Modelo CIPP; Evaluación por objetivos; Prueba de
significación; Registro informatizado; Tácticas cualitativas; Valoración de
resultados; Autoregistro; Autoanálisis; Cuestionarios; Discusión crítica;
Encuesta; Entrevista; Técnica de rejilla; Rol-playing; Pruebas psicométricas.
Asignatura de universidad; País; CAP; Centros educativos; Centros
penitenciarios; Aula; Comunidad; Curriculum; Diseño curricular base;
CONTEXTOS DE
Educación a distancia; Educación de adultos; Educación de nuevos padres;
APLICACIÓN
Educación de padres; Educación especial; Educación infantil; Educación
primaria; Educación profesional; Educación secundaria; Educación superior;
f 87
Empleo; Escuela de padres; Entorno familiar; Institución de menores; Medio
% 16.23
escolar; Medio rural; Medio urbano; Política científica; Programas europeos;
Proyecto ambiental; Reforma educativa; Servicio de Orientación.
Adolescentes; Agentes del centro escolar; Alumnado; Alumnado con NEE;
DESTINATARIOS / Alumnado en desventaja social; Alumnado de la UNED; Alumnado de primera
USUARIOS infancia; Alumnado del CAP; Alumnado de ciclo inicial; Clases obreras; EPOE;
f 62 Escolares; Universitarios; Estudiantes de postgrado; Familias; Jóvenes
% 11.56 desadaptados; Madres; Maestros; Medios desfavorecidos; Padres; Personal
biosanitario; Población; Empresarial; Profesorado; Profesores noveles.
ÁREA DE Ambiental; Bilingüe; Compensatoria; Ciencias; Valores; NEE; Física;
CONOCIMIENTO Intercultural; Matemáticas; Consumo; Salud; Sexual; Vial; Vocacional; EAO;
f 90 Ocupacional; Lengua; Orientación familiar; Orientación para la carrera; Proceso
% 16.79 enseñanza-aprendizaje; Reforma educativa.
Ver datos en Anexo 7.
281
Estas cinco categorías "necesidad del programa, metodología/proceso,

contexto de aplicación, destinatarios/usuarios del programa, área de conocimiento
sobre la que se proyecta el programa" aglutinan a un total de 536 términos, y que
corresponde al 69,43% del total de las palabras clave registradas. El resto se
descartan por su escasa significación, al poseer valores muy bajos de frecuencia.
En el gráfico siguiente, se aprecia un modelo compensado, en cuanto a la
distribución de términos en las categorías subyacentes del análisis de contenido de
los títulos de la muestra analizada.
Gráfico 7.3. Estudio del modelo de distribución de términos por categorías establecidas.
100%
80%
60%
40%
20%
0%
muestra
Necesidad del programa Proceso /metodología
Contextos de aplicación Destinatarios/usuarios
Área de conocimiento
La categoría más saturada es la denominada "necesidad del programa",

con un 30.59 %. Destacamos que los términos más empleados son los
relacionados con el desarrollo cognitivo, intervención e integración educativa,
rendimiento y evaluación de la formación del profesorado.
En la segunda categoría, "metodología/proceso", con un 24.81 % en

cuanto a la frecuencia de sus términos, los más relevantes son: Evaluación de
programas, (con una f de 70, por ser este el tópico principal de los trabajos
revisados), investigación-acción y evaluación del diseño. Como se aprecia, y sin
ser una incongruencia, la única metodología descrita es de corte cualitativo, sin
embargo en el análisis de los aspectos metodológicos se localizan un porcentaje
282
sustancialmente superior de estudios cuantitativos. Esta consideración de dicha

metodología como palabra clave, supone por tanto ser aun aspecto no usual en la
caracterización de los informes de investigación, y por tanto destacada por los
autores. Los otros términos destacados se refieren al modelo empleado en el
proceso evaluativo.
7.3. ÁREAS DE CONTENIDO DE LAS INVESTIGACIONES

SOBRE EVALUACIÓN DE PROGRAMAS.
Las áreas de contenido de los trabajos estudiados, más frecuentes son y

por orden de mayor a menor: Educación salud, consumo y medio ambiente,
Orientación educativa, vocacional y laboral, Orientación psicoeducativa,
Didácticas para atención a N.E.E., y Orientación psicosocial y familiar. Tal y
como muestra la siguiente tabla 7.3.:
Tabla 7.3: Áreas de conocimiento de las investigaciones sobre E.P.

ÁREAS Otras denominaciones f fa % %a
Formación docente Didáctica General 16 16 7,7 7,7
Diseño, desarrollo y evaluación Experimentación de Reformas 9 25 4,3 12,0
del curriculum Educativas
Educación Infantil 1 26 0,5 12,5
Educación de adultos 2 28 1,0 13,5
Educación salud, consumo y Educación en valores, 38 66 18,3 31,7
medio ambiente interculturalidad, prevención de
drogodependencias, conductas
sexuales y actividad física y deportiva
Didáctica de las Ciencias Físico Matemáticas, Física y Ciencias 10 76 4,8 36,5
Naturales Naturales
Didáctica de la Lengua/Idiomas Lengua Castellana, Idiomas 20 96 9,6 46,2
Didácticas para atención a N.E.E. Atención a alumnos con N.E.E., 25 121 12,0 58,2
Educación Compensatoria
Orientación psicoeducativa Desarrollo cognitivo, estimulación 27 148 13,0 71,2
intelectual, estrategias de aprendizaje,
enriquecimiento instrumental
Orientación educativa, vocacional y laboral 29 177 13,9 85,1
Orientación psicosocial y Educación social y afectiva, 25 202 12,0 97,1
familiar Formación de Padres y Familias
OTROS Cursos de postgrado, Educación a 6 208 2,9 100
Distancia, Tecnologías de la
Información
TOTAL 208 100
283
Estos datos demuestran la importancia de la intervención por programas,

y por lo tanto la mayor frecuencia de sus evaluaciones, en estas áreas específicas.
Gráfico 7.4. Áreas de contenido de los programas evaluados.
20
15
10
5
0
Formación docente
Diseño, desarrollo y evaluación del curriculum
Educación infantil
Educación de adultos
Educación salud, consumo y medio ambiente
Didáctica físico-naturales
Didáctica de la lengua/idioma
Didäctica para atenciön a NEE
Orientación psicoeducativa
Orientación educativa, vocacional y laboral
Orientación psicosocial y familiar
Otros
En general, estos datos muestran una amplia dispersión temática o

“síndrome de jungla”, caracterizado por el generalismo frente a la especialización.
Siendo congruente este déficit con la escasez de autores especializados en el
campo de la investigación sobre E.P. o aspectos específicos de éste.
284
7.4. CONTENIDOS DE LOS PROGRAMAS EVALUADOS.
Las áreas localizadas en el epígrafe anterior, se constituyen de contenidos

específicos Y los que han sido tratados en los estudios analizados, de forma más
habitual, son (ver Anexo 8):
• Para el área denominada "Formación docente", los contenidos más

frecuentes son: Compresión del sistema educativo español, implicación familiar,
contexto docente, modelo de enseñanza-aprendizaje y evaluación, planificación y
diseño curricular, desarrollo profesional, habilidades personales, competencias
docentes, técnicas de investigación.
• Los materiales curriculares, estructura organizativa, comprensión

y aplicación de los diseños curriculares, son los contenidos más representativos
del área "Diseño, desarrollo y evaluación del curriculum".
• En "Educación de Adultos", los contenidos principales que se

tratan en los programas evaluados son, las estrategias metacognitivas y
habilidades socioeconómicas.
• En "Educación Infantil", sin embargo, no registra contenidos

específicos para el único programa localizado para éste área, como se observa en
el gráfico 7.4.
• En el extremo opuesto, se sitúa el área de "Educación salud,

consumo y medio ambiente", donde se aglutina un alto porcentaje de los
programas evaluados, y por lo tanto aportan una gran variedad de contenidos
específicos, entre los que se destacan: Métodos y uso de anticonceptivos,
anatomía y fisiología humana-sexual, embarazo y parto, política demográfica,
enfermedades de transmisión sexual, drogodependencias (prevención y
diagnóstico), hábitos de higiene, control corporal, motriz y cognición, publicidad,
interculturalidad, educación no sexista, asertividad, accidentalidad.
285
• En el área de "Ciencias Físico Naturales", se establecen contenidos

propios al tratamiento de las matemáticas, física y ciencias naturales, como son
los conceptos numéricos, resolución de problemas y ejecución de operaciones,
leyes fisico-matemáticas, cálculo mental matemático, cognición numérica,
técnicas de búsqueda bibliográfica.
• Al igual que en "Didáctica de la lengua/idiomas", cuyos contenidos

específicos son: cognición lingüística, lectura oral, silenciosa, compresión lectora,
expresión oral y escrita, vocabulario, control de las articulaciones buco-faciales y
respiración.
• Los contenidos de las áreas "Didáctica para la atención a N.E.E." y

la "Orientación psicoeducativa", están vinculados entre sí (ver anexo 7.3), puesto
que poseen ambas una naturaleza basada en el diagnóstico y la intervención.
• La educación para la carrera, implicación familiar, análisis coste-

beneficio, planificación del futuro, conocimiento de sí mismo, toma de decisiones,
conocimiento del mundo académico-laboral, son contenidos específicos del área
"Orientación educativa, vocacional y laboral".
• Así como, el entrenamiento a padres en habilidades y actitudes

educativas, de comunicación con adolescentes y conyugal, detección del
absentismo escolar, pensamiento alternativo en la resolución de problemas, entre
otros, son específicos del campo de la "Orientación psicosocial y familiar".
De forma global y en el mismo sentido que en la interpretación de las

palabras clave, se muestra una enorme dispersión temática, muestra patente de la
escasa especialización de los autores/trabajos en aspectos concretos de este
campo. Ofreciendo estos datos un registro de los temas de especial interés.
286
CAPÍTULO VIII. ANÁLISIS E

INTERPRETACIÓN DE RESULTADOS DE LOS
INDICADORES METODOLÓGICOS.
8.1. INTRODUCCIÓN.
Con el estudio de las variables metodológicas definidas en el primer

epígrafe del capítulo quinto, se intenta caracterizar los trabajos revisados en este
estudio de síntesis en cuanto a diversas categorías, que en aspectos generales se
corresponden con las informaciones básicas que deben contener los informes de
investigación para poseer el rigor y precisión exigidos en la comunicación
científica (Colás y Buendía, 1998; Buendía et. al., 1999).
En primer lugar se analizan los datos referidos a la fundamentación

teórica que sustentan los diversos estudios, tanto desde el paradigma y teoría de la
que parten como de aspectos epistemológicos más concretos. Se comprueba si se
definen explícitamente las hipótesis en cada trabajo, el modelo evaluativo que
utilizan para la evaluación del programa y qué facetas de éste son evaluadas, el
carácter general de la metodología empleada y los productos o variables
dependientes que se consideran en la investigación.
287
Capítulo VIII. Análisis de resultados de los indicadores metodológicos.
De los instrumentos para la recogida de datos se examina si se ha

elaborado exclusivamente para el estudio (ad hoc) o posee un carácter
estandarizado, comprobando los criterios de fiabilidad y aspectos que ofrecen
validez sobre sus mediciones y qué escalas de medida emplean para ello.
Ofreciendo también una categorización de los más usuales.
Cómo se define en los estudios la población así como el mecanismo

empleado para seleccionar la muestra utilizada como fuente de datos en los
estudios, servirán de punto de partida para definir ciertos aspectos sobre el diseño
de las investigaciones especificados en el apartado posterior. Esta muestra
también intenta caracterizarse en aspectos tales como su tamaño, género, edad y
nivel académico.
No se intenta realizar una mera enumeración de los diseños empleados en

los trabajos revisados, sino realizar una descripción que pese a lo somera, permita
distinguir las características propias de las investigaciones en este campo de
conocimiento, para lo que se analizan la temporalización que rige en éstas, si
consideran las amenazas a la validez de su diseño y se emplean los mecanismos
adecuados para su control, o los agentes involucrados en la
investigación/evaluación de los programas examinados.
En cuanto a los análisis de datos empleados para el tratamiento de los

datos obtenidos, se parte de las unidades básicas de análisis consideradas, para
comprobar que tipos de análisis cuantitativos o cualitativos se emplean. De igual
modo, se comprueba si las informaciones se triangulan, se adelanta un valor del
efecto deseable o se realizan valoraciones considerando estándares externos.
Para concluir, se consideran los efectos declarados de los diversos

programas educativos cuyas evaluaciones se han revisado, comprobando que
decisiones se toman sobre su modificación y/o continuidad tras su evaluación.
288
8.2. TEORÍA Y FUNDAMENTACIÓN DE LAS

EVALUACIONES.
8.2.1. Paradigma y/o enfoque metodológico.
Siguiendo los criterios de categorización especificados para esta

variable, en la siguiente tabla se especifican en frecuencia y porcentaje los
paradigmas y/o enfoques metodológicos de fundamentación general de los
distintos trabajos (Tabla8.1). En ella, se puede observar, al igual que en el gráfico
que la representa (Gráfico 8.1), una mayoría absoluta del paradigma científico en
la fundamentación de los trabajos.
Tabla 8.1. Paradigmas y/o enfoque metodológicos de fundamentación.

Científico Interpretativo Crítico Complementarista TOTAL
F 117 52 11 28 208
% 56,3 25,0 5,3 13,5 100,0
Distribución de datos en ANEXO 9.
Gráfico 8.1.
Porcentaje de paradigmas de fundamentación .
científico
interpretativo
crítico
complementarista
A continuación, pero con una frecuencia de prácticamente la mitad y un

porcentaje del 25%, se encuentran los estudios con un carácter eminentemente
interpretativo humanísticos.
289
De nuevo hay que dividir por la mitad la frecuencia, para acercarse al

13,5% de los estudios fundamentados en paradigmas con planteamientos de tipo
complementarista o eclécticos. Para finalizar con los basados en desarrollos
sociocríticos que tan sólo son 11 de los 208 trabajos revisados, ofreciendo un
escaso 5,3% del total de ellos.
8.2.2. Ámbitos de fundamentación teórica.
Las investigaciones revisadas en este estudio de síntesis no declaran en su

mayoría y de manera explícita las teorías en las que apoyan su desarrollo
empírico, sino que suelen elaborar un discurso en el que establecen el ámbito
general de fundamentación. Es por ello que a continuación, el estudio de esta
variable se basa precisamente en la descripción de estos ámbitos.
Tras el análisis de la distribución de datos (Anexo 9), se establecen las

categorías y apartados que se muestran en la tabla 8.2, en la que además se
ofrecen frecuencias y porcentajes individuales y parciales, referidos éstos últimos
a ámbitos de carácter general.
Tabla 8.2. Ámbitos de fundamentación teórica.

ÁMBITOS f fp % %p
Conductismo - -
APRENDIZAJE Cognitivismo 40 53 15,6 20,7
Constructivismo 13 5,1
DESARROLLO Teorías del pensamiento 20 7,8
Desarrollo infantil/adulto 14 50 5,5 19,5
PSICOLÓGICO
Psicolingüística 16 6,3
Socio familiar/ afectiva y valores 26 10,2
SOCIAL Salud y prevención 22 62 8,6 24,2
Laboral 14 5,5
Didáctica general 30 11,7
DIDÁCTICAS Cambio e innovación curricular 16 55 6,3 21,5
Desarrollo docente 9 3,5
DIDÁCTICAS Atención a N.E.E. 27 10,5
Idiomas 4 35 1,6 13,7
ESPECIALES
Expresión Física y corporal 4 1,6
NRoNI 1 1 0,4 0,4
TOTAL 256 256 100 100
290
Algunos de los estudios operan desde más de un ámbito de

fundamentación, por ejemplo desde la teoría constructivista asociada a teorías
didácticas de innovación y cambio curricular. Por lo que la suma de las
frecuencias de los ámbitos de fundamentación es mayor que la de los trabajos
revisados (Σf=256 > N=208).
Esta diferencia, no demasiado amplia, determina un valor medio

escasamente superior a un ámbito de fundamentación por trabajo revisado
(256/208 = 1,2). Lo que supone que en general los trabajos se suelen atener a un
único ámbito teórico como fundamentación.
Los ámbitos específicos en los que se fundamentan las evaluaciones de

programas en los estudios examinados, se refieren con una mayor frecuencia a
teorías cognitivas que obtienen un porcentaje del 15,2% del total de las
consideradas. Con porcentajes también por encima del diez por ciento,
encontramos las teorías de Didáctica General, las referidas a la integración y
atención de las Necesidades Educativas Especiales o la atención sociofamiliar y
educación afectiva/valores.
En un intervalo de frecuencia menor, encontramos los estudios referidos a

programas basados en la prevención y educación sobre la salud con un 8,6%; y
con un porcentaje cercano del 7,8%, los estudios que consideran las diversas
teorías sobre la cognición y el desarrollo del pensamiento. Un 6,3% del total son
tanto los estudios que basan su desarrollo en las teorías psicolingüísticas, como
los que lo hacen en las que rigen los cambios e innovaciones curriculares. Los
fundamentados en las teorías que explican el desarrollo general de los individuos
en su etapa infantil y adulta, el desarrollo e integración sociolaboral y las teorías
de aprendizaje de carácter constructivista, obtienen porcentajes del 5,5% en los
dos primeros casos y 5,1% en el último.
Y en último lugar en la ordenación por frecuencias y porcentajes, estarían

los estudios fundamentados en el ámbito de desarrollo docente, el aprendizaje de
291
idiomas y la expresión física y corporal; todos ellos con porcentajes por debajo
del cinco por ciento del total de los estudios examinados.
Resulta revelador que en el estudio de las categorías generales

establecidas, salvo la que se refiere a Didácticas Especiales, todas obtienen
frecuencias y porcentajes muy equilibrados y equiparables entre 19 y 24%. Lo que
denota cierta dispersión en los ámbitos de fundamentación de las investigaciones
sobre evaluación de programas, no destacando ninguno de ellos sobre los demás.
8.2.3. Establecimiento de hipótesis.
Comprobando si en los informes de investigación se establecen de manera

explícita hipótesis de trabajo, se obtienen los resultados (Anexo 9) registrados en
frecuencia y porcentaje en la tabla 8.3.
Gráfico 8.2. Porcentaje de estudios que

Tabla 8.3. Establecimiento explícito de establecen hipótesis
hipótesis de trabajo.
si no TOTAL
f 63 145 208
si
% 30,3 69,7 100
no
La frecuencia de los trabajos que no establecen de manera explícita

hipótesis de investigación es más del doble de los que si las consideran. Así el
porcentaje de 69,7% indica una amplia mayoría en esta tendencia.
La inferencia evaluativa que se deriva de estos datos es negativa, puesto

para poseer cierto rigor científico, ya que el paradigma fundamentalmente
empleado es precisamente el científico y la metodología cuantitativa (epígrafes
8.2.2 y 8.2.4), es necesaria la enunciación y justificación de las hipótesis
empleadas y no darlas por supuestas o asumirlas tácitamente.
292
8.2.4. Metodología empleada.
De los 208 estudios considerados 127 emplean una metodología

cuantitativa, lo que supone una amplia mayoría de más del 61 %.
Con frecuencias menores de la mitad, se encuentran los que emplean

consideraciones metodológicas de carácter ecléctico, que suponen un 23%; y los
que recurren a técnicas cualitativas que tan sólo suponen, como muestra la tabla
8.4, algo más del 15%.
Tabla 8.4. Metodología empleada y comparativa con los paradigmas de fundamentación de los
estudios revisados.
METODOLOGÍA f %
PARADIGMAS f %
Cuantitativa 127 61,1
Científico 117 56,3
Cualitativa 33 15,9 Interpretativo 52 25

Crítico 11 5,3
Mixta 48 23,1 Complementarista 28 13,5
TOTAL 208 100 TOTAL 208 100
Gráfico 8.3. Metodología empleada en los estudios.
Cuantitativa
Cualtativa
Mixta
Cotejando los datos de la metodología empleada y de los paradigmas de

fundamentación declarados en los estudios, se puede comprobar una congruencia
global limitada, con un predominio de la metodología cuantitativa como referente
del paradigma científico. Sin embargo entre el resto de metodologías/paradigmas
no parece existir una correspondencia uniforme.
293
Parece por tanto oportuno el estudio de la relación entre ambos, por medio
de las frecuencias y porcentajes que se muestran en la tabla 8.5.
Tabla 8.5. Relación en frecuencias y porcentajes de paradigmas de fundamentación y

metodologías empleadas.
Cuantitativa Cualitativa Mixta TOTAL

Científico 98 4 15 117
Interpretativo 20 18 14 52
Crítico 3 8 0 11
Complementarista 6 3 19 28
TOTAL 127 33 48
Científico 83,8 3,4 12,8 100

Interpretativo 38,5 34,6 26,9 100
Crítico 27,3 72,7 0 100
Complementarista 21,4 10,7 67,9 100
Existe una clara y lógica relación en los trabajos que disponen de una
fundamentación basada en el paradigma científico y el empleo de una
metodología cuantitativa, suponiendo el 83,8 % del total de trabajos con estos
principios epistemológicos.
En el paradigma interpretativo no aparece ninguna de las metodologías con

un porcentaje lo suficientemente amplio como para su designación como habitual,
poseyendo todas valores muy compensados.
Sin embargo, desde los paradigmas crítico y complementarista si se

aprecian relaciones fundamentales con ciertos principios metodológicos,
cualitativos y complementaristas respectivamente.
294
Gráfico 8.4. Porcentajes de metodologías empleadas en cada

paradigma de fundamentación.
100%
12,8
90%
3,4 26,9 Mixt.
80%
70% Cual.
72,7 67,9
60% Cuan.
34,6
50%
40% 83,8
30% 10,7
20% 38,5
27,3 21,4
10%
0%
Científico Interpretativo Crítico Complementarista
8.2.5. Modelos evaluativos.
Para el análisis de datos que corresponden a esta variable, se parte de los

modelos para la evaluación de programas, especificados en el apartado en el que
se describen las variables de este estudio. A partir de esta clasificación de carácter
teórico, se comprueba el ajuste de la distribución de los datos obtenidos, para la
posible categorización de los resultados, como se muestra en la tabla 8.6.
El porcentaje más alto corresponde a la categoría de los modelos

evaluativos de carácter objetivista, positivistas o científicos con un 43,4%. De
todos ellos y con una diferencia amplia, el más usual es el Modelo Basado en
Objetivos; quedando las evaluaciones basadas en modelos sin referencia a
objetivos y planificaciones educativas, con una escasa o nula frecuencia y
porcentaje del total de los trabajos.
295

MODELO f fp % %p
Basado en objetivos 83 39,9
OBJETIVISTAS 96 46,2
Planificación evaluativa 13 6,3
Respondente 19 9,1
SUBJETIVISTAS Iluminativo 21 45 10,1 21,6
Democrático 5 2,4
CRÍTICOS Crítico 12 12 5,8 5,8
CIPP 37 17,8
ECLÉPTICOS 46 22,1
Mixtos sin especificar 9 4,3
N.R. o N.I. 9 9 4,3 4,3
TOTAL 208 208 100 100
Ver distribución de datos en Anexo 9.
En segundo lugar, con un mismo porcentaje de algo más del 21%, se

encuentran los modelos subjetivistas o interpretativos y los mixtos o eclécticos. El
modelo C.I.P.P. es el que acumula mayor frecuencia, seguidos por el Iluminativo
y Respondente. Obtienen escasas frecuencias, que suponen un escaso porcentaje
las evaluaciones que siguen un Modelo Democrático y aquellas que pese a
declarar un modelo de carácter mixto, no especifican a cual se refieren.
También son escasos los trabajos evaluativos basados en modelos críticos

o emancipatorios, con un escaso porcentaje muy similar al de aquellos estudios en
los que no se registra el modelo evaluativo empleado o es imposible inferir éste
por las características técnicas del informe de investigación empleado, como
queda reflejado en el gráfico 8.5.
Gráfico 8.5. Porcentaje de los modelos evaluativos. 4%
Objetivistas 22%
Subjetivistas 46%
Críticos 6%
Eclécticos
NR o NI 22%
296
Cotejando en un sentido comparativo los datos globales sobre los modelos

evaluativos empleados y los obtenidos en el epígrafe de los paradigmas de
fundamentación teórica en los que cada uno de estos modelos se desarrolla, tanto
en frecuencia como en porcentaje, se obtienen los valores que se muestran en la
Tabla 8.7. Comparación de frecuencias entre modelos evaluativos y paradigmas de

fundamentación teórica.
MODELOS EVALUATIVOS (f) PARADIGMAS DE FUNDAMENTACIÓN (f)
Objetivistas 96 Científico 117

Subjetivistas 45 Interpretativo 52
Críticos 12 Crítico 12
Eclécticos 45 Complementarista 28
N.R. o N.I. 0 N.R. o N.I. 9
TOTAL 208 TOTAL 208
Salvo en los modelos críticos fundamentados en principios paradigmáticos

homónimos que poseen idéntica frecuencia, el resto muestra ciertas diferencias,
que hacen considerar un estudio pormenorizado de estas relaciones.
Tabla 8.8. Frecuencias y porcentajes de los modelos evaluativos empleados en relación con los
paradigmas de fundamentación declarados.
TIPOS DE MODELOS EVALUATIVOS
Subjetivistas
Objetivistas
N.R. o N.I.
Eclécticos
TOTAL
Críticos
Científico 83 (70,9%) 3 (2,6%) 0 28 (23,9%) 3 (2,6%) 117 (100%)

PARADIGMAS
Interpretativo 6 (11,5%) 33 (63,5%) 2 (3,8%) 7 (13,5%) 4 (7,7%) 52 (100%)

Crítico 0 1 (9,1%) 10 (90,1%) 0 0 11 (100%)
Complementarista 7 (25%) 8 (28,6%) 0 11 (39,3%) 2 (7,1%) 28 (100%)
TOTAL 96 45 12 46 9 208
297
Cada uno de los tipos de modelos evaluativos considerados acumula, con

cierta lógica, su mayor frecuencia en el paradigma en que se origina
(objetivista/científico, subjetivista/interpretativo, críticos/crítico y
ecléctico/complementarista).
El nivel de congruencia supone, en la mayoría de casos, porcentajes del

total de trabajos considerados superiores al 60%. Siendo significativa la alta
concordancia entre los modelos críticos y sus principios de teóricos de
fundamentación (90,1%) y muy dispersa la adecuación de frecuencias del
paradigma complementarista en modelos objetivistas, subjetivistas y eclécticos,
con valores cercanos y semejantes.
Por tanto, en los trabajos revisados, se puede describir una concordancia

global entre modelos evaluativos y paradigmas de fundamentación, aunque no en
su totalidad, puesto que incluso se registran casos que se podrían denominar casi
paradójicos al plantear actuaciones basadas en ciertos modelos y principios
paradigmáticos poco congruentes.
8.2.6. Facetas evaluadas.
Las evaluaciones de los programas pueden afectar a distintos ámbitos o

facetas de éstos, como son el contexto de aplicación, las necesidades en las que se
sustenta su elaboración/implementación/evaluación, los procesos empleados para
su evaluación, las entradas y productos considerados en ella o el impacto de su
implementación. (Ver Anexo 9).
El análisis descriptivo de las "facetas evaluadas”, indica que son las

entradas, procesos y productos, las más empleadas, como muestra la tabla 8.9 en
frecuencia (f) y porcentaje (%).
298
Tabla 8.9. Análisis descriptivo de las facetas evaluadas.

FACETAS EVALUADAS f %
CONTEXTO y/o NECESIDADES 59 28,40
DISEÑO 11 5,30
ENTRADA 82 39,40
PROCESO 114 54,80
PRODUCTO 170 81,70
IMPACTO 21 10,10
TOTAL 208 100
Se realiza el Análisis Factorial Exploratorio (AFE) con objeto de obtener

las posibles construcciones que expliquen las relaciones entre las "facetas
evaluadas".
Antes de realizar el proceso de factorización, se realiza un análisis de las

condiciones necesarias para la aplicación del análisis factorial. Se determina el
grado de adecuación de los valores obtenidos. Para ello se emplearan cuatro
indicadores: la matriz de correlaciones, el test de esfericidad de Barlett, que nos
estima la probabilidad de que las correlaciones observadas en nuestra muestra
tengan cierto correlato en la población de la que han sido extraídas (García
Jiménez y Gil Flores, 2000), el test de adecuación de muestreo de Kaiser-Meyer-
Olkin (KMO), y los residuales.
a) En la matriz de correlaciones (ver tabla 8.10) entre cada variable, el

"determinante" es de 0.761, es decir, muy alto, y por lo tanto es posible que las
variables no tengan correlación entre sí.
299
Tabla 8.10. Matriz de correlaciones.

Correlación CONTEXTO DISEÑO ENTRADA PROCESO PRODUCTO IMPACTO
CONTEXTO 1,000 0,137 0,213 0,314 0,089 0,037

DISEÑO 0,137 1,000 0,103 0,001 0,111 0,008
ENTRADA 0,213 0,103 1,000 0,199 0,178 0,024
PROCESO 0,314 0,001 0,199 1,000 0,004 0,080
PRODUCTO 0,089 0,111 0,178 0,004 1,000 0,048
IMPACTO 0,037 0,008 0,024 0,080 0,048 1,000
a Determinante = 0,761
2
b) Prueba de esfericidad de Barlett, el valor de es de 55,861 que para g.l. 15,
es significativo a l, 000. Según esto se puede rechazar la hipótesis nula de que
las variables utilizadas en el análisis no se correlacionan en la población de la
que se ha extraído la muestra. Pero el índice de KMO es considerado "bajo",
ya que se encuentra entre 0.60 y 0.50 (Kaiser y Caffrey, 1965).
Tabla 8.11. KMO y prueba de Bartlett

Medida de adecuación muestral de Kaiser-Meyer-Olkin.
0,539
Prueba de esfericidad de Bartlett Chi-cuadrado aprox. 55,861

gl 15
Sig. 0,000
c) Sin embargo, centrándonos en el índice de la diagonal de la matriz de

correlaciones anti-imagen (ver tabla 8.10), vemos que los coeficientes están
entorno al valor 0,9, y fuera de la diagonal son bajos (0,3), por lo que
podemos decir que la muestra es adecuada para el análisis factorial.
300
Tabla 8.12. Matrices anti-imagen.

CONTEXTO DISEÑO ENTRADA PROCESO PRODUCTO IMPACTO
Covarianza anti-imagen CONTEXTO ,843 -,139 -,170 -,242 9,939E-02 -6,465E-03
DISEÑO -,139 ,957 ,105 2,543E-02 7,141E-02 1,241E-02
ENTRADA -,170 ,105 ,886 -,119 -,174 -1,321E-02
PROCESO -,242 2,543E-02 -,119 ,878 2,294E-03 -6,518E-02
PRODUCTO 9,939E-02 7,141E-02 -,174 2,294E-03 ,944 4,826E-02
IMPACTO -6,465E-03 1,241E-02 -1,321E-02-6,518E-02 4,826E-02 ,991
CONTEXTO ,528 -,155 -,196 -,281 ,111 -7,073E-03

Correlación anti-imagen
DISEÑO -,155 ,489 ,114 2,775E-02 7,515E-02 1,274E-02
ENTRADA -,196 ,114 ,546 -,135 -,191 -1,410E-02
PROCESO -,281 2,775E-02 -,135 ,585 2,520E-03 -6,988E-02
PRODUCTO ,111 7,515E-02 -,191 2,520E-03 ,487 4,990E-02
IMPACTO -7,073E-03 1,274E-02 -1,410E-02-6,988E-02 4,990E-02 ,578
Si bien, las condiciones necesarias para el AFE no son las más idóneas,
puesto que contamos con coeficientes bajos tanto en la matriz de correlaciones
como en el índice KMO, lo cual nos indica que es poco probable encontrar
factores comunes, se va a realizar para descartar la posible relación entre los items
propuestos (Contexto, Diseño, Entrada, Proceso, Producto, Impacto).
La variabilidad de los seis items queda explicada por los componentes,

como muestra la siguiente tabla 8.13.
Tabla 8.13. Comunalidades.(h2)
Extracción
CONTEXTO 0, 663
DISEÑO 0, 555
ENTRADA 0, 598
PROCESO 0, 543
PRODUCTO 0, 557
IMPACTO 0, 855
Método de extracción: Análisis de Componentes principales.
301
El método de los componentes principales, ha permitido determinar los

factores que deben ser extraídos, siendo sólo tres los componentes cuyo autovalor
se encuentra por encima de la unidad (1.504, 1.258, 1.008) que explican el 62.8%
del total de la varianza. Por lo que se observamos el gráfico de sedimentación, el
punto de inflexión lo encontramos en el componente 3.
Tabla 8.14. Varianza total explicada por los componentes.

Autovalores Sumas de las saturaciones al Suma de las saturaciones al
iniciales cuadrado de la extracción cuadrado de la rotación
Componente
acumulado
acumulado
acumulado
varianza
varianza
varianza
% de la
% de la
% de la
Total
Total
Total
%
%
1 1,504 25,065 25,065 1,504 25,065 25,065 1,493 24,889 24,889
2 1,258 20,63 46,028 1,258 20,963 46,028 1,258 20,970 45,859
3 1,008 16,805 62,833 1,008 16,805 62,833 1,018 16,974 62,833
4 0,875 14,583 77,416
5 0,735 12,242 89,657
6 0,621 10,343 100
Método de extracción: Análisis de Componentes principales.
Gráfico de sedimentación
1,6
1,4
1,2
1,0
,8
Autovalor
,6
,4
1 2 3 4 5 6
Número de componente
Gráfico 8.6. Gráfico de sedimentación
302
La relación de los pesos factoriales de los ítems en los tres componentes

extraídos, se refleja en la siguiente tabla.
Tabla 8.15. Matriz de componentes.

Componente/Factores
F1 F2 F3
CONTEXTO 0,738
DISEÑO -0,646 -0,366
ENTRADA 0,615 0,462
PROCESO 0,733
PRODUCTO 0,722
IMPACTO 0,895
Método de extracción: Análisis de componentes principales, eliminando los p<0.3 a 3
componentes extraídos
Bajo la idea de que los componentes son independientes entre sí, se ha

realizado una rotación varimax, en la que han convergido cinco interaciones con
pesos superiores al 0.3 (ver tabla 8.16), siendo similar a la matriz no rotada, y
cuya interpretación es similar.
Tabla 8.16. Matriz de componentes rotados.

Componente/Factores
F1 F2 F3
CONTEXTO 0,778
DISEÑO -0,667
ENTRADA 0,578 0,511
PROCESO 0,721
PRODUCTO 0,704
IMPACTO 0,920
Método de extracción: Análisis de componentes principales. Solución ortogonal rotada
Método de rotación: Normalización Varimax con Kaiser, eliminando p< 0.3.
La rotación ha convergido en 5 iteraciones.
303
Así tenemos que el factor uno (F1) está saturado en los ítems “contexto”,
“entrada” y “proceso”, el segundo (F2) negativamente en “diseño”, y
positivamente en “entrada” y “producto”, y el tercer factor (F3) en “impacto”, tal
y como se refleja en el gráfico 8.7.
Gráfico 8.7. Gráfico de componentes en espacio rotado.

Gráfico de componentes en espacio rotado
1,0
producto
entrada
,5
proceso impacto
omponente 2 0,0 contexto
-,5 diseño
1,0 1,0
,5 ,5
0,0 0,0
-,5 -,5
Componente 1 Componente 3
Los datos que se derivan de este análisis factorial muestran la existencia de

tres claros factores, en cada uno de los cuales cargan ítems referidos a aspectos
concretos de los programas en los que se centran los procesos evaluativos.
A partir de estos datos y con las debidas precauciones de su asociación a

ciertos constructos sobre el campo de la E.P. y los principios metodológicos que
parecería de cierta lógica asociarles, se puede plantear la disposición de tres
enfoques evaluativos diferentes:
Así en primer factor determinaría un enfoque evaluativo internalista, de

corte eminentemente cualitativo y centrado en el estudio de aspectos referidos al
contexto, la entrada y el proceso de implementación de los programas evaluados.
304
El factor dos plantea desde principios básicamente conductistas, el estudio

de las entradas y productos de los programas (incluso cargando negativamente en
el diseño), que desde una visión cuantitativa, podría determinar un planteamiento
o enfoque evaluativo externalista para la E.P.
Y por último el tercer factor que carga sobre un solo ítem, plantea la
disposición desde soluciones metodológicas mixtas, hacia un enfoque evaluativo
trascendentalista, al centrarse en el impacto de los programas evaluados.
8.2.7. Productos de la evaluación.
Los productos obtenidos en las evaluaciones realizadas y presentadas en

los informes tomados como muestra de este estudio, consideradas como variables
dependientes en los procesos de investigación, se pueden agrupar en diez
categorías, registradas en la tabla 8.14, que a su vez se relacionan en tres ámbitos
macrocategoriales.
En la primera de ellas, desempeño escolar, se agrupan aspectos

relacionados con el rendimiento, innovaciones escolares y calidad docente.
El ámbito de la promoción personal/individual se desglosa en aspectos de

tipo cognitivo y metacognitivo; desarrollo físico, prevención sanitaria o educación
para la salud; y desarrollo afectivo o productos basados en la modificación de
conductas.
La macrocategoría de ajuste social o grupal de los individuos se compone

de diferentes ámbitos de actuación de los que extraer productos, como el escolar,
social y familiar y el ámbito sociolaboral y de orientación para el trabajo.
305
Tabla 8.17. Productos de las evaluaciones.

PRODUCTOS f % %p
DESEMPEÑO Variable rendimiento (DEVR) 52 26
Innovación escolar (DEIE) 23 11,5 48
ESCOLAR Calidad Docente (DECD) 21 10,5
PROMOCIÓN Meta-cognitiva (PPIM-C) 25 12,5
Físico-sanitaria (PPIF-S) 16 8 32,5
PERSONAL
Modificación conductual (PPIC) 13 6,5
INDIVIDUAL Afectiva (PPIA) 11 5,5
Integración/adaptación escolar (ASI-AE) 11 5,5
AJUSTE SOCIAL Integración/adaptación social (ASI-AS) 18 9 19,5
Integración/adaptación sociolaboral (ASI- 10 5
TOTAL 200 100 100
Distribución de datos en ANEXO 9.
Los productos más considerados de forma global son los referidos al

desempeño escolar (48%) que entre las categorías que agrupa se encuentra se
encuentra la de mayor frecuencia que es la variable referida al rendimiento de los
alumnos.
El segundo ámbito de productos por porcentaje es el relativo al desarrollo

personal individual, con un 32,5 %. Y en tercer y último lugar el referido a
aspectos de ajuste social, con un 19, 5% del total.
Además del rendimiento otros productos obtenidos obtienen porcentajes

algo inferiores pero homogéneos entre ellos, como el desarrollo meta-cognitivo
(11,5%) y la calidad docente (10,5%).
Con frecuencias relativamente menores y porcentajes que en todos los

casos están por debajo del 10% se encuentran los productos referidos a la
integración y adaptación social de los individuos (9%), los relacionados con el
desarrollo físico y la prevención sanitaria (8%), los integrados en los procesos de
modificación conductual (6,5%), el desarrollo físico y la integración/adaptación
en el ámbito escolar (ambos con un 5,5%) y la integración de los individuos en su
ámbito sociolaboral (5%).
306
8.3. INSTRUMENTOS DE RECOGIDA DE DATOS.
Para caracterizar los instrumentos de recogida de datos empleados en los

208 estudios revisados, se recurre a su descripción, comprobando si éstos están
estandarizados o se han realizado ad hoc para cada investigación. Se registra su
tipo y nombre concreto, escala de medida y si se emplean mecanismos que
garanticen su validez y fiabilidad. (Anexo 9).
8.3.1. Estandarización de los instrumentos.
La mayoría de los estudios emplean instrumentos no están

estandarizados, sino que se elaboran de forma explícita para la propia
investigación (Tabla 8.18. y gráfico 8.7.). Con una frecuencia mucho menor, que
suponen el 31,25%, encontramos a los trabajos que si emplean instrumentos
estandarizados.
Estas dos categorías explican la mayoría de la frecuencia considerada,

pues acumulan más del 90% de esta. Así, los estudios que basan la recogida de
datos en composiciones de instrumentos estandarizados +no estandarizados,
categorizados como mixtos son escasos, pues alcanzan tan solo un 7,7% del total.
8.18. Estandarización de los instrumentos de Gráfico 8.7. Estandarización de los

recogida de datos. instrumentos de recogida de datos.
CARÁCTER f fa % %a
Sí 65 65 31,25 31,3
No 100 165 48,1 79,3
Mixtos 27 192 13,0 92,3
NRoNI 16 208 7,7 100,0
TOTAL 208 208 100 100 si
no
mixtos
NR o NI
307
8.3.2. Nombres y tipos de instrumentos.
En total se registra un número de 483 instrumentos en los 208 trabajos

revisados, lo que supone un índice medio de algo más de dos instrumentos por
trabajo.
Promedio = 483 / 208 = 2,3 instrumentos/trabajo.
Para el estudio concreto de los diversos tipos de instrumentos empleados

en los trabajos revisados, se recurre a la elaboración de una tabla (Tabla 8.19) que
los diferencia entre aquellos que suponen una fuente de acceso a la información
directa e indirecta. En cada una de estas categorías, se especifica en frecuencias y
porcentajes el tipo de documento concreto empleado como instrumento de
recogida de datos y diversas denominaciones similares o afines con las que se
pueden encontrar en la distribución de datos registrada para esta variable.
Tabla 8.19. Tipos de instrumentos de recogida de datos.

FUENTE DOCUMENTOS OTRAS DENOMINACIONES f %
Informes oficiales, actas, calificaciones, libros
INDIRECTAS Documentos de escolaridad, fichas de alumnos, historias 38 7,9
clínicas, proyectos, memorias.
Anotaciones del alumno, cuadernos, registros
Notas de campo anecdóticos, diarios, informes narrativos, 17 3,5
cronogramas, mapas cognitivos.
Listas de control, audio - vídeo grabaciones,
parrillas de observación, dibujos, pruebas
Observación 49 10,1
conductuales, sociométricas (tipo role -
playing).
Entrevistas Protocolos, debates, grupos de discusión. 38 7,9
DIRECTAS Escalas Likert, de clasificación, de valoración. 51 10,6
Cuestionarios Encuestas, Cuestionarios sociométricos. 139 28,8
Test Baterías, pruebas estandarizadas, rejilla. 79 16,4
Inventarios. 10 2,1
Exámenes, ejercicios, pruebas inductivas, de
Pruebas ad hoc 20 4,1
rendimiento, de conocimiento.
Programas
Bases de datos. 2 0,4
informáticos
NR o NI 40 8,3
TOTAL 483 100
308
En una primera aproximación se comprueba la escasez de fuentes

indirectas empleada y la amplia mayoría del uso de fuentes de acceso a la
información directa, 7,9% frente a 83,8 % del total.
Esta macro-categoría de fuentes indirectas está constituida en su mayor

parte por dos tipos de documentos: documentos de carácter más o menos oficial
como libros de escolaridad, actas de evaluación o proyectos/memorias; y por otra
por instrumentos de uso cotidiano, como fichas o historias clínicas. Todos ellos
suponen un mecanismo para el control/registro de los progresos de los sujetos.
La segunda gran categoría, categorizada como fuentes de información

directas, compila un conjunto de instrumentos calificables como usuales en las
investigaciones educativas, que se describirán de manera individualizada.
El tipo de instrumento más utilizado es sin duda alguna el cuestionario o

encuestas, pues supone casi un 29% del total de instrumentos empleados. Siendo
también usual el empleo de test, baterías o pruebas estándares, que alcanzan un
16,4%.
A continuación y con porcentajes similares, entorno al 10%, los

instrumentos más empleados son las escalas y los registros basados en la
observación, listas de control, etc.
En último lugar, con un uso mucho menos frecuente y porcentajes

inferiores al 10% estarían las entrevistas (7,9%); los instrumentos de elaboración
adhoc (4,1%); las notas de campo, diarios y registros anecdóticos (3,5%);
inventarios (2,1%) y programas informáticos o bases de datos (0,4%).
Parece relevante hacer mención del número de casos en los que no se ha

podido categorizar el tipo de instrumento empleado por la escasez de información
ofrecida o lo segmentada de esta, que alcanza una frecuencia de 40, suponiendo
un 8,3% del total de todos los instrumentos registrados.
309
Todo ello queda reflejado en la representación ofrecida en el siguiente

gráfico 8.8.
Gráfico 8.8 . Porcentaje del tipo de instrumemntos empleado.
NR o NI 8,3
Programas Inf. 0,4
Inventarios 2,1
Notas de Campo 3,5
Adhoc 4,1
Documentos 7,9
Entrevistas 7,9
Observación 10,1
Escalas 10,6
Test 16,4
Cuestionarios 28,8
0 5 10 15 20 25 30 35
%
Este uso, de determinados instrumentos como son por orden de

frecuencia, cuestionarios (28,8%), tests (16,4%) y escalas (10,6%), se observa
también en el trabajo de Bueno (2001), que revisa la producción investigativa
publicada en la Revista de Investigación Educativa, incluso en porcentajes muy
similares (cuestionarios 21,3%; test 13,26% y escalas 10,6 %). Por lo que podría
plantearse un empleo habitual en la I.E.
Sin embargo en otros trabajos como el de Torralbo (2001), referido a tesis

doctorales en Educación Matemática, los instrumentos de mayor empleo son las
pruebas ad hoc.
310
Mediante una descripción nominal se registra el nombre y autores de los

cuestionarios empleados de los que se ha podido acceder a su referencia
bibliográfica completa, que no corresponde con el total de los registrados, son los
siguientes:
Cuestionario de autoestima (Musitu y otros, 1991).

Cuestionario de autoestima (Rosenberg, 1979).
Cuestionario de escalas de estrategias de aprendizaje ACRA (Román y Gallego, 1994).
Cuestionario de Actitudes P.F.S.E. (Yuste, 1991).
Cuestionario de creencias didácticas (Porlán, 1989).
Cuestionario de intereses profesionales CIPSA (Fernández, Navarro y Andrade, 1992).
Cuestionario de hábitos y técnicas de estudio CHTE (Álvarez y Fernández, 1990).
Cuestionario de Inventario de Estrategias de Aprendizaje I.D.E.A. (Vizcarro y otros, 1992).
Cuestionario del aprendizaje estructurado de Goldstein (Vallés y Olivares, 1995).
Cuestionario ESPQ (Coan y Catell, 1983).
En el mismo sentido las escalas son las siguientes:
Escala de actitud básicas de aprendizaje (Valett, 1983).

Escala de ambiente familiar HOME (Caldwell y Bradley, 1984)
Escala de autoconcepto Piers-Harris (Piers, 1969).
Escala de clima social escolar CEE (Moos y Trickett, 1974)
Escala de comportamiento asertivo CABS/TRCABS (Michelson y Woods, 1982)
Escala de Conocimientos y Actitudes Sexuales ECAS (Pelechano, 1980).
Escala de valoración (Feuerstein y Hoffman, 1986)
Escalas McCarthy (McCarthy, 1983)
Estilos de socialización de la familia EMBU (Musitu y otros, 1996)
Hahnemann Preeschool Behavior Scale (Shure y Spivack, 1978).
MSCA (McCarthy, 1988)
Pictorial scale of perceived competence and social acceptance for young children (Harter y
Pike, 1984).
WPPSI (Weschler, 1981).
311
Los inventarios:
Capacidad de empatía (Bryant, 1982).

Inventario de adaptación escolar IAC (Cruz y Cordero, 1990).
Inventario de hábitos de estudio (Pozar, 1989).
Inventario STAIC (Spielberger y Edwards, 1990).
Tan sólo es posible registrar la referencia de un programa informático o

base de datos: Programa RECORD (Feixas y Cornejo, 1990).
Los instrumentos de registro basados en la observación, ya sea directa o

a través del uso de material audiovisual son los que se especifican a continuación:
Código de observación de la interacción social (Monjas, Arias y Verdugo, 1991)
Lista de observación de habilidades sociales para niños ciegos (Caballo y Verdugo, 1996).
Los tests, rejillas o pruebas de desempeño de carácter estandarizado

son las que se especifican a continuación:
312
Batería de actitudes intelectuales diferenciales y generales BADYG-E (Yuste, 1988).

Batería de Habilidades Sociales para solución de problemas interpersonales (Pelechano,
1984, 1987)
Evaluación Dinámica del Plan de Aprendizaje -EDPA- (Feuerstein, 1979)
Percepción de diferencias (Yela y Thurstone, 1985).
Prueba de comprensión lectora (Cloze, Suárez y Meara, 1985)
Prueba de comprensión lectora (Lázaro, 1982)
Prueba de Imagen corporal (Cratty y Sams, 1968)
Prueba de personalidad (Gillis, 1989)
Prueba ITPA (Barrio, 1993)
Pruebas de diagnóstico en Preescolar (De la Cruz, 1981)
Recuerdo por análisis de la estructura del texto (Meyer, 1975, 1985)
Rejilla de análisis del proceso de interacción (Bales, 1970).
Test (Guilford , 1951)
Test autoevaluativo multifactorial de adaptación infantil TAMAI (Hernández, 1983)
Test Batería de Socialización BAS 3 (Martorell y Silva, 1987.)
Test CETI (Yuste, 1986 y 1987).
Test de Aptitudes Escolares TEA (TEA, 1987)
Test de capacidad de atención y percepción CARAS (Yela y Thoustone, 1985)
Test de Cloze de evaluación de la comprensión lectora (Condemarín y Milicic, 1990).
Test de conceptos básicos Boehm (Boehm, 1983).
Test de dominio del lenguaje PMA-V (Thurstone, 1989)
Test de Goodenough (Goodenough, 1971).
Test de inteligencia (Raven, 1947).
Test de Inteligencia General TIG-1 (TEA, 1994).
Test de Lorge-Thorndike (Thorndike, Hagen y Lorge, 1990).
Test Factor G1 (Catell, 1992).
Test guestáltico visomotor (Bender, 1984).
Test QUAFE (Darder y López, 1984).
Test WISCC (Cruz y Cordero, 1995).
The Matson Evaluation of Social Skills with Yongters MESSY (Matson, Rotatory y Hensen,
1982).
8.3.3. Validez en los instrumentos de recogida de datos.
Los criterios empleados para denotar la validez de los instrumentos de

recogida de datos, obtienen en el cómputo de la distribución obtenida tras el
análisis de los 208 estudios revisados, las frecuencias y porcentajes expresadas a
continuación en la tabla 8.20.
313
Tabla 8.20. Criterios de validez para los instrumentos de medida.

Validez f fa % %a
INSTRUMENTOS ESTANDARIZADOS1 92 92 37,9 37,9
Denomina genéricamente, sin especificar 25 117 10,3 48,1
Pruebas piloto 2 119 0,8 49,0
Contenido 7 126 2,9 51,9
Constructo 11 137 4,5 56,4
Criterio 2 139 0,8 57,2
NR o NI 104 243 42,8 100,0
TOTAL 243 100
1:
Se asumen los criterios establecidos, sin comprobarlos.
El cociente entre el número total de criterios registrados y el de

documentos revisados, de los que se obtiene tal distribución, ofrece el coeficiente
de criterios de validez empleado en estos estudios, que muestra algo más de un
criterio por trabajo revisado.
Índice de criterios de validez1 = 139/208 = 0,66 criterios por trabajo
Sin embargo, la interpretación de este indicador global puede ofrecer una

visión sesgada, puesto que el número de instrumentos registrados a los que se
refieren tales criterios de validez, es mayor que el de trabajos revisados como ha
podido comprobarse en el epígrafe 8.3.2 de este mismo capítulo. Por ello, el
cociente debe referirse al número total de instrumentos de recogida de datos
empleados en todos los trabajos revisados por los criterios registrados.
Índice de criterios de validez2 = 139/483 = 0,3 criterios por instrumento
En un estudio pormenorizado de cada uno de los criterios empleados, se

puede comprobar que la mayor frecuencia o moda la obtienen aquellos que no
trabajos en los que no se ofrecen criterios de validez sobre los instrumentos de
medida empleados, con un porcentaje del 42,8% del total registrado.
314
Un porcentaje igualmente elevado lo obtienen, los 92 estudios en los que

se hace referencia a instrumentos de carácter estandarizado, que no reflejan en el
informe de investigación los criterios de validez ya aceptados de antemano; y los
25 estudios, en los que tan sólo se referencia genéricamente el uso de criterios de
validez en la descripción de sus instrumentos de medida. Obteniendo
respectivamente el 37,9 % y 10,3%.
Estas dos categorías ya explican conjuntamente el 48,2%. Si a esto se

añade el 42,8%, reseñado anteriormente y referido a los estudios que no emplean
o no registran este dato, esta explicación se eleva al 91% del total de la frecuencia.
El restante y escaso 9%, se refiere mayoritariamente al empleo de la

validez por constructo con un 4,5%, seguido de la validez por contenido con un
2,9%. La validez por criterio y la establecida mediante el empleo de pruebas
piloto obtienen un 0,8% por categoría.
Esto denota una significativa escasez en los informes de investigación

sobre el establecimiento de los criterios de validez de los instrumentos de registro
de datos empleado, reflejado en el gráfico 8.9. Lo que supone sin duda una
enorme debilidad instrumental en las investigaciones sobre E.P.
Gráfico 8.9. Establecimiento de criterios de validez

en los instrumentos de medida. 9,1
No se considera 42,8
48,1
Se considera de forma general
Se considera en criterios específicos
315
8.3.4. Fiabilidad en los instrumentos de recogida de datos.
Los valores obtenidos en los índices globales empleados en el estudio

descriptivo de los criterios de validez, son idénticos en los criterios de fiabilidad
para los instrumentos de registro de datos: 1,17 criterios por trabajo y 0,5
criterios por instrumento.
En este mismo sentido, los valores en frecuencia y porcentaje de las

categorías referidas a “instrumentos estandarizados” y a aquellos que no registran
o indican criterios de fiabilidad, son también idénticos, como queda reflejado en la
tabla 8.21 y comprobado mediante la comparación con la tabla 8.20. Sin embargo,
el resto de la distribución, aunque con ciertas semejanzas adopta distintos valores.
Tabla 8.21. Criterios de Fiabilidad para los instrumentos de medida.

Fiabilidad f fa % %a
INSTRUMENTOS ESTANDARIZADOS 92 92 37,9 37,9
Denomina genéricamente, sin especificar. 30 122 12,3 50,2
Consistencia interna 7 129 2,9 53,1
Estabilidad 4 133 1,6 54,7
Equivalencia 5 138 2,1 56,8
Concordancia entre observadores 1 139 0,4 57,2
NR o NI 104 243 42,8 100,0
TOTAL 243 100
La frecuencia referida a los que sólo hacen una referencia genérica al

empleo de criterios de fiabilidad de los instrumentos, pero no especifican, en este
caso se eleva al 12,3%, tan sólo un 2% más que en los criterios de Validez.
Considerando esta categoría y la referida a instrumentos estandarizados

se obtiene conjuntamente el 50,2%. Si a esto se añade el 42,8%, reseñado
anteriormente y referido a los estudios que no emplean o no registran este dato,
esta explicación se eleva al 93% del total de la frecuencia.
El restante 7%, se distribuye entre el empleo de la fiabilidad por

consistencia interna con un 2,9%, seguido de la fiabilidad por equivalencia con un
316
2,1%. La fiabilidad por estabilidad alcanza el 1,6% y la establecida mediante la

concordancia entre observadores obtiene un 0,4%.
Es decir, si se consideran las frecuencias de aquellas categorías en las que

realmente no se especifican criterios de validez, por asumirse en instrumentos
estandarizados o por hacer mención general (37, 9+ 12,3 = 50,2%) y por no
registrarse o indicarse (42,8%), con respecto a la que si lo hace, se obtiene una
representación gráfica (Gráfico 8.10.) que muestra la poca consideración de estos
criterios.
Gráfico 8.10. Establecimiento de los criterios de fiabilidad 7

en los instrumentos de medida.
No se considera
42,8
Se considera de forma general
50,2
Se considera en criterios específicos
Al igual que los datos referidos a los criterios de Validez, los referidos a la
fiabilidad de los instrumentos de recogida, denota una significativa escasez en los
informes de investigación sobre el establecimiento explícito tales criterios. Y por
tanto unas inferencias evaluativas realmente negativas.
Por lo que de forma conjunta puede considerarse que en cuanto al

establecimiento de criterios específicos de validez y fiabilidad, los instrumentos
en investigación sobre E.P., presentan una enorme debilidad metodológica.
317
8.4. POBLACIÓN Y MUESTRA.
En este apartado se analizarán aspectos referidos a la descripción de la

población y los procesos establecidos para la selección de la muestra,
especificando si estos poseen un carácter aleatorio. También se describirá la
muestra en cuanto a su tamaño, su composición en género, edad y nivel
académico de sus constituyentes (ver Anexo 9).
8.4.1. Población.
El total de los resultados reflejados en la siguiente tabla 8.22, se refieren a

los 208 estudios revisados. La mayor frecuencia, 92 estudios, se refiere a aquellos
en los que tan solo se indica la población de la que se extrae la muestra tratada de
manera superficial, suponiendo algo más del 44%.
Gráfico 8.11. Descripción de la

Tabla 8.22. Descripción de la población. población .
POBLACIÓN f fa % %a
Indica 92 92 44,2 44,2
27,4
Describe 59 151 28,4 72,6 %
NR o NI 57 208 27,4 100,0
TOTAL 208 100 72,6
%
Un porcentaje mucho menor del 28,4% es el referido a los trabajos en los

que si se describe en algún aspecto fundamental la población. Este porcentaje es
muy similar al de los estudios en los que no se registra o indican la población
objeto de estudio.
318
Considerando globalmente las frecuencias de, los estudios en los que se

refleja algún aspecto referido a su población, ya sea indicándolos o
describiéndolos, se observa una frecuencia acumulada del 72, 6%, quedando tan
sólo el 27,4% para los mencionados estudios que no registran aspecto alguno.
8.4.2. Selección de la muestra.
En la siguiente tabla se registra la frecuencia y porcentajes de las técnicas

de selección muestral empleada en la totalidad de los 208 trabajos revisados,
agrupándolas parcialmente en categorías, dependiendo si su empleo supone un
proceso de aleatorización o no en la selección.
Tabla 8.23. Tipo y técnicas de selección muestral.

TIPO TÉCNICA f fa fp % %a %p
Aleatoria simple 13 13 6,2 6,2
Estratificado aleatorio 1 14 0,5 6,7
Aleatorio 23 10,9
Conglomerados aleatorizados 8 22 3,8 10,5
Sistemático 1 23 0,5 11
Estratificado por cuotas 3 26 1,4 12,4
Conglomerados no aleatorizados 21 47 10 22,4
No aleatoria 101 47,9
Conveniencia 40 87 19 41,4
Intencional 36 123 17,1 58,6
Mixta 1 124 0,5 59
Otras 6 2,8
Estudios censales o cuasicensales 5 129 2,4 61,4
NR o NI 81 81 38,6 38,6
210 100
TOTAL 210 211 100 100
Se puede comprobar que frecuencia total es mayor que el número de

estudios revisados que asciende a 208. Este excedente de técnicas, se debe a que
en dos estudios se recurre a dos técnicas diferentes de selección muestral.
En un estudio parcial se comprueba que las técnicas no aleatorias poseen la

frecuencia más alta, suponiendo casi la mitad del total de ésta, pues alcanzan el
47, 9%. Sin embargo las técnicas aleatorizadas tan sólo suponen el 10, 9% del
total.
319
La categoría “otras”, constituida por las técnicas de selección mixtas y

aquellos casos en los que no se realiza selección alguna de muestra, puesto que
son estudios censales o cusi-censales, suponen un escaso 2, 8%. Siendo sin
embargo muy alto (38, 6%), el de aquellos estudios en los que pese a extraer una
muestra, no registran, indican o especifican el tipo y técnica de selección
empleada.
La selección por conveniencia e intencional de la muestra son las técnicas

más ampliamente utilizadas, tanto dentro de las técnicas no aleatorias como del
total de éstas, alcanzando porcentajes muy similares del 19 y 17, 1 %
respectivamente. También alcanzan un porcentaje comparativamente
considerable, 10%, la selección por conglomerados no aletorizados.
Hay que descender hasta el cuarto lugar en esta clasificación, para

encontrar con un porcentaje menor, una técnica de carácter aleatorio. La selección
aleatoria simple alcanza el 6, 2 % del total y a continuación la realizada por
conglomerados aleatorizados con un porcentaje del 3, 8% que supone ya casi la
mitad.
Frecuencias muy bajas del total de la distribución se pueden observar en

los estudios censales y/o cusi-censales, en los que recurren a los estratos
aleatorizados, a los procesos aleatorios sistematizados o a técnicas mixtas para la
selección de la muestra.
320
Gráfico 8.12. Mecanismos de selección de la muestra.
Conveniencia 19 %
Intecional 17,1 %
Proceso de selección
Conglomerados no aleatorizados 10 %
Aleatorio simple 6,2 %
Conglomerados aleatorizados 3,8 %
Estudios censales 2,4%
Mixta
Estratificado aleatorio 3 x 0,5 %
Aleatorio sistemático
0 5 10 15 20
8.4.3. Tamaño muestral.
Para describir el tamaño de la muestra de los estudios revisados se recurre

a dos aspectos concretos: delimitar el número de ellos en los que se hace
referencia a su tamaño muestral y comprobar mediante el establecimiento de
intervalos la frecuencia usual en el tamaño concreto de estas muestras.
En cuanto al primer aspecto referido se puede comprobar (Tabla 8.24) que

una amplia mayoría de los estudios hace referencia explícita a su tamaño muestral.
Más de un 69% del total de los 208 estudios revisados, frente a un 30,29% que no
registra este dato en sus informes de investigación.
321
Tabla 8.24. Tamaño de la muestra

Tamaño
Registro del tamaño muestral muestral f fa % %p
1 2 2 1,0
2 a 10 10 12 4,8
10 a 30 24 36 11,5
Estudios que registran su tamaño muestral 69,7
30 a 100 35 71 16,8
100 a 1000 65 136 31,3
>1000 9 145 4,3
Estudios que no registran su tamaño muestral NR o NI 63 208 30,3 30,3
TOTAL 208 100 100
El tamaño concreto de las diversas muestras se categoriza, en frecuencias,

atendiendo a los siguientes intervalos establecidos en la mencionada tabla. Tales
intervalos no se han dispuesto aleatoriamente sino que se ha intentado establecer
siguiendo un patrón teórico, previa comprobación del posible ajuste de la
distribución de datos, a las muestras típicas de diversos modelos de estudios
(estudio de caso único, de casos, observacionales, experimentos y encuestas).
La frecuencia más alta corresponde a los estudios cuyas muestras

corresponden al intervalo entre 100/1000 unidades de análisis. Sean éstos sujetos,
centros o programas; aspecto estudiado en el sexto epígrafe de este mismo
capítulo.
Debido a la gran dispersión de frecuencias dentro de los diversos

intervalos que componen la categoría de “estudios que registran su tamaño
muestral”, el número de éstos que no lo hace es muy semejante al mencionado
intervalo de mayor frecuencia. Así tan solo ofrecen una frecuencia de dos estudios
menos y un porcentaje comparativamente alto y similar al anterior del 30, 3 %.
En el patrón gráfico, apreciado en el gráfico 8.13, los siguientes intervalos

más habitualmente definidos son los que se refieren a estudios de tamaños
muestrales entre 10 y 100 unidades de análisis, que segmentadamente obtienen
porcentajes de 11,5 y 16,8%.
322
8.13. Porcentajes de tamaños muestrales.
Intervalos de tamaño muestrales. 1 1

2a10 4,8
10a20 11,5
30a100 16,8
100a1000 31,3
>1000 4,3
NR o NI 30,3
0 10 20 30 40
%
Con frecuencias muy escasas, por debajo de los diez casos registrados se
encuentran los estudios con los tamaños muestrales extremos en el rango
establecido. Así con N=1 tan sólo se registra un estudio, entre 2 y 10 son diez los
trabajos, y muestras mayores de 1000 se registran solamente en nueve de los 208
estudios registrados.
8.4.4. Género de la muestra.
Atendiendo a un cómputo general descrito por las frecuencias y

porcentajes acumulados, se observa en la siguiente tabla 8.25, que sólo se define
el género en la mitad de los 208 estudios revisados.
También hay que considerar que los estudios en los que no es pertinente
definir el género de su muestra, puesto que las unidades de análisis empleadas no
se refieren a personas, sólo añaden un caso y un 1,4% más al porcentaje anterior.
323
Tabla 8.25. Género de la muestra.

GÉNERO f fa % %a
Hombres 3 3 1,4 1,4
Mujeres 8 11 3,8 5,2
Mixta 93 104 44,7 50,0
No pertinente registrar su género 3 107 1,4 51,4
NR o NI 101 208 48,6 100
TOTAL 208 100
Las frecuencias referidas a hombres y a mujeres son muy bajas tanto con
respecto al total de los estudios revisados, como al resto de las categorías
consideradas. Este escaso porcentaje, dificulta su consideración como dato
mediante el que establecer inferencias diferenciales en las distintas muestras
analizadas atendiendo al género de sus componentes. Sin embargo, si permite
ofrecer una clara perspectiva comparativa con las muestras que poseen un carácter
mixto.
Así, considerando segmentadamente las tres primeras categorías

establecidas en la tabla anterior, que suponen un total de 104 estudios y que se
muestran en el gráfico 8.14, queda patente la clara mayoría de las muestras
mixtas.
Gráfico 8.14. Género en las muestra s
Hombres (2,9%)
Mujeres (7,7%)
Mixtas (89,4%)
324
8.4.5. Edad de las muestras.
El registro y análisis de este dato presenta las dificultades derivadas de la

falta de claridad y unanimidad en el establecimiento explícito de los intervalos de
edad de las investigaciones revisadas.
Con un procedimiento similar al empleado en el apartado 8.4.3. referido al

tamaño muestral, se establecen unos intervalos en años en los que registrar los
estudios atendiendo a la edad de sus sujetos muestrales. Se ha considerado tal
delimitación, además de por su ajuste a la distribución de datos obtenida, por la
semejanza a las edades correspondientes en las que se cursan los diferentes
niveles establecidos en nuestro sistema educativo actual y estudiados en el
siguiente epígrafe de este capítulo.
En la tabla 8.26, se muestra una frecuencia total mayor que la de los

estudios revisados (234>208) debida a que en algunos estudios se consideran más
de un intervalo de edad.
Tabla 8.26. Edad de la muestra en intervalos de años.

EDAD (años) f fa % %a
Hasta 6 9 9 3, 8 3,8
De 7 a 12 42 51 17, 9 22
De 13 a 18 35 86 15 37
De 19 a 24 8 94 3, 4 40,4
Más de 24 12 106 5, 1 45,6
Múltiples 6 112 2, 6 48
NR o NI 1 122 234 52 100
TOTAL 234 100
Aunque tan solo por una diferencia de diez de los estudios revisados, una
mayoría del 52% no registra o indica explícitamente la edad de la muestra
considerada. Siendo la frecuencia más habitual o moda la referida a sujetos entre 7
1
Al igual que en el estudio del género de la muestra, en tres casos no se registra la edad porque no
es pertinente.
325
y 12 años. Es decir a sujetos que, según su edad, cursan estudios de Educación

Primaria.
Con un porcentaje cercano al del intervalo anterior y que asciende hasta el
15% estarían los alumnos entre 13 y 18 años.
Cuantitativamente inferiores son las frecuencias o estudios en el resto de

los intervalos de edad considerados para definir su muestra. Así los porcentajes
obtenidos para muestras con más de 24 años superan escasamente el 5% del total
de los estudios. Y las referidas a alumnos hasta 6 años, entre 19 y 24, o con
intervalos de edad amplios y múltiples, siempre están por debajo del 4%.
Gráfico 8.15. Frecuencia y porcentaje de los intervalos de edad de las muestras .
140
120
100
%
80 f
60
40
20
0
Hasta 6 7 a 12 13 a 18 19 a 24 >24 Múltiples NR o NI
Intervalos de edad
8.4.6. Nivel académico de las muestras.
En la siguiente tabla 8.27. se categorizan los trabajos revisados, atendiendo

al nivel académico declarado de la muestra que emplean en sus estudios. Estos
niveles corresponden a los intervalos establecidos por el sistema educativo en la
actualidad, adaptando a ellos los datos referidos a niveles dispuestos con
anterioridad.
326
Además de los niveles básicos se considera la categoría “otros”, que

corresponde con los datos ofrecidos en aquellos estudios en los que en sus
muestras se considera a padres de alumnos, cursos de postgrado para diversos
niveles formativos, cursos en los que se integran sujetos con distintos niveles
educativos y estudios en los que no es pertinente el registro del nivel educativo,
por no referirse su muestra a personas.
Tabla 8.27. Nivel académico de las muestras de los estudios revisados.

NIVEL ACEDÉMICO f fa % %a
Educación Infantil 17 17 7,8 7,8
Educación Primaria 63 80 28,8 36,6
Educación Secundaria 42 122 19,2 55,7
Formación Profesional 4 126 1,8 57,6
Universidad 32 158 14,6 72,2
Educación Especial y Compensatoria 19 177 8,7 80,9
Educación de Adultos 5 182 2,3 83,1
Otros
(Educación de padres, cursos de postgrado, cursos inter-nivel y
6 188 2,7 85,9
estudios en los que no es pertinente el registro del nivel
educativo).
NR o NI 31 219 14,2 100
TOTAL 2192 100
El mayor porcentaje de estudios declara un nivel académico para su

muestra en la Educación Primaria con algo más del 28%. Seguidos por los que
ésta cursa Educación Secundaria y estudios Universitarios, con un 19,2 y 14, 6 %
respectivamente.
Frecuencias menores de veinte casos tienen los que toman sus muestras en
la Educación Especial y Compensatoria o en la Educación Infantil, con
porcentajes similares del 8,7 y 7,8 % del total.
El resto de categorías obtienen frecuencias por debajo de tres casos, lo que

supone escasos porcentajes del total de los trabajos, quedando constituidas éstas
2
La frecuencia total es mayor que el número de estudios revisados (219>208), porque 11 de ellos
registran dos niveles y dos registran tres niveles educativos distintos.
327
por la macro-categoría “otros niveles educativos”, la Educación de Adultos y la

Formación Profesional, que obtiene la f más baja.
De forma gráfica (Gráfico 8.16) se puede apreciar cierta semejanza entre

los porcentajes de estudios cuyas muestras están en los intervalos hasta 6 años, 6 a
12 y 13 a 18; con los porcentajes de estudios cuyas muestras declaran cursar esos
niveles educativos.
Grafico 8.16. Porcentaje de muestras por niveles educativos .
60
50 % Nivel Educativo
40 % Edades
30
20
10
0
Ed. Inf. Prim. Sec. F.Prof. Univ. E.E. Adultos Otros Nr o Ni
En el resto de los niveles educativos de las muestras no parece lógica la

comparación en su porcentaje y la edad de los sujetos que las componen (línea
azul interrumpida), puesto que no puede establecerse una relación unívoca entre
niveles educativos y edades específicas para cursarlos.
328
8.5. DISEÑOS DE INVESTIGACIÓN.
Para describir el diseño en las investigaciones sobre evaluación de

programas educativos consideradas como muestra de este estudio, se recurre
además de a la definición del tipo de diseño específico empleado, a otros aspectos
que puedan delimitar con claridad el proceso empleado en tales investigaciones.
Por ello se registra (ver Anexo 10) también su temporalización, si se consideran
las posibles amenazas al diseño empleado y/o se toman las medidas apropiadas de
control, y se comprueban los agentes evaluadores/investigadores que la realizan.
8.5.1. Tipos de diseños de investigación.
En una primera aproximación a los diseños de investigación atendiendo a

los tipos registrados en la tabla 8.28. se comprueba que los diseños
cuantitativamente más empleados son los de tipo cuasi-experimental (26,9%) y
los de corte descriptivo (20,7%).
También es destacable el alto porcentaje, comparativamente con el resto

de las categorías, de estudios en los que nos se registra o indica explícitamente el
diseño de investigación empleado, ni se ofrece información suficiente como para
inferirlo con garantías.
Los diseños pre-experimentales son empleados en los mismos casos que

los experimentales, ocupando cada uno de ellos el 9,6% del total. Y en porcentajes
similares se emplean las investigaciones basadas en diseños de investigación-
acción y los diseños mixtos, pues obtienen el 6,3 y 5,8 % del total
respectivamente.
Los diseños cualitativos y estudios correlacionales son empleados

escasamente, obteniendo frecuencias por debajo de diez casos y porcentajes
escasos del total de la investigación registrada y analizada.
329
Esta importancia de los diseños descriptivos y cuasi-experimentales en el

tópico de la investigación sobre evaluación de programas educativos, queda
reflejada en el siguiente gráfico de sectores.
Gráfico 8.17. Porcentajes de tipos de diseño de investigación empleados en

la muestra estadiada.
17% Descriptivos
20%
Correlacionales
Preexperimentales
6%
1%
Cuasiexp.
6% 10% Experi.
4% Cualitativos
IA
10%
Mixtos
26%
NR o NI
En un análisis individual de los diseños específicos, sin considerar los

mencionados estudios en los que no se registra el diseño, que obtienen la más alta
f, el más utilizado es el de tipo encuesta o survey (f=26) y los que emplean dos
grupos, siendo el de control equivalente, y una toma de datos pretest-postest
(f=22).
Con frecuencias entre diez y veinte, que suponen porcentajes entre el cinco
y siete por ciento se encuentran: los diseños de un solo grupo y pretest-postest
(f=15), la investigación-acción (f=13), los diseños experimentales con G.E./G.C.
en pretest-postest y los diseños eclécticos o mixtos (ambos f=12). Los diseños
cuasi-experimentales con G.E./G.C. no equivalente en pretest-postest, alcanzan
los once casos (f=11).
330
En un intervalo menos de frecuencias entre cinco y ocho se encuentran los

estudios con diseños cuasi-experimentales con G.E./G.C. no equivalente con solo
postest (f=8); los estudios descriptivos sobre el desarrollo, estudios exploratorios
y los estudios de N=1, obtienen cada uno una frecuencia de 7. Los diseños
factoriales y los pre-experimentales de un solo grupo con postest (f=6 y f=5).
El resto de diseños de investigación, f<3, y que suponen porcentajes muy

escasos del total de los diseños registrados puede consultarse en la mencionada
tabla. Y en el gráfico 8.19. en el que se ordenan de mayor a menor porcentaje de
uso.
Utilizando el código de color del gráfico 8.17 para los distintos tipos de
modelos y la codificación asignada en la tabla 8.28 a cada modelo específico, esta
descripción gráfica muestra claramente una mayor disposición, en la ordenación
por porcentajes, de los modelos descriptivos y cuasi-experimentales a ocupar los
lugares de frecuencia más alta. Y a los de tipo cualitativo y correlacionales los
destinados a los de frecuencia más bajas.
331
Tabla 8.28. Diseños de investigación.

TIPO DISEÑOS Cod. f fp % %p
Tipo encuesta o survey DES 26 12,5
Estudios exploratorios DEX 7 3,4
Descriptivo Estudios analíticos en profundidad DAP 3 43 1,4 20,7
Estudios observacionales DEO 0 -
Estudios sobre el desarrollo DED 7 3,4
Estudios comparativo causales 1 RCC 0 -
Correlacional Estudios correlacionales/explicativos REC 1 1 0,5 0,5
Estudios predictivos REP 0 -
De un solo grupo con postest PGP 5 2,4
Preexperimental 20 9,6
De un solo grupo con pretest-postest CEO 15 7,2
Con dos grupos (GC no equivalente) y
CEJ 8 3,8
postest
Con dos grupos (GC equivalente) y postest CEP 2 1
Con dos grupos (GC no equivalente) y
CST 11 5,3
pretest-postest
Cuasiexperimental 56 26,9
Con dos grupos (GC equivalente) y pretest-
CCP 22 10,6
postest
Series temporales CLB 3 1,4
Jerárquico EGP 3 1,4
N=1 EPP 7 3,4
EM
Con dos grupos (GE y GC) y postest 1 0,5
G
Experimental Con dos grupos (GE y GC) y pretest-postest EDF 12 20 5,8 9,6
Con múltiples grupos y pretest-postest AUE 1 0,5
Diseños factoriales ACM 6 2,9
Estudio de casos AET 3 1,4
Cualitativo Estudio de casos múltiples CIA 3 8 1,4 3,8
Estudios etnográficos MIX 2 1
Crítico/cooperativo Investigación-acción 13 13 6,3 6,3
Flexible/Mixto 12 12 5,8 5,8
NR o NI 35 35 16,8 16,8
TOTAL 208 208 100 100
1: Ex post facto
332
Gráfico 8.18. Diseños de investigación ordenados por % de utilización.
EMG
EGP 0.5% X 3
REC
CEO
1% X 2 Experimental
AET
ACM Correlacional
AUE
CCP 1,4% X 5 Cualitativos

CST
Cuasiexperimtal
DAP
PGP 2,4% Descriptivo

EDF
2,9%
CLB Preexperimental
DED 3,4% X 3
DEX Mixtos
CEN
3,8% IA
CEJ
5,3%
EPP
MIX 5,8% X 2
CIA
6,3%
PPP
7,2%
CEP 10,6%
DES
12,5%
0 2 4 6 8 10 12 14
Se puede constatar la ausencia de diseños contrabalanceados muy útiles

en la comparación de tratamientos, y el abuso de diseños de tipo descriptivo,
centrados en el estudio de alguna faceta concreta del programa evaluado.
Por tanto como inferencia evaluativa global se puede destacar el empleo

de diseños de investigación, que con ciertas debilidades, puedan hacer
cuestionables la búsqueda de relaciones causales.
333
8.5.2. Temporalización de los diseños de investigación.
En el apartado anterior referido a los diseños de investigación, son 63 los

estudios que se definen como pretest-postest, lo que supone una condición mínima
para su consideración como de carácter longitudinal. Así el registro de esta
categoría debería como mínimo poseer Una frecuencia mayor de 63 (f> 63). Sin
embargo, se obtiene un valor mucho más alto, con un porcentaje del 63% como
puede apreciarse en la tabla 8.29. que alcanza la mayoría de los registros.
Tabla 8.29. Temporalización de los diseños de investigación.

TEMPORALIZACIÓN f fa % %a
Longitudinales 131 131 63 63
Transversales 29 160 13,9 76,9
Mixtos 32 192 15,4 92,3
NR o NI 16 16 7,7 100
TOTAL 208 100
Los estudios mixtos o con un diseño de temporalidad ecléctica y los

transversales, con frecuencias que suponen menos de la cuarta parte de la
categoría anterior y separadas escasamente entre ellas (f mixtos –f transversales = 3),
alcanzan porcentajes similares del 15,4 y 13,9%, respectivamente.
El número de estudios en los que no se registra la temporalidad de su

diseño o no puede inferirse ésta por las informaciones que ofrecen sus informes de
investigación es comparativamente limitado, pues las categorías anteriores ya
explican un porcentaje acumulado mayor del 92% (%a > 92), y sólo alcanza algo
más del 7% del total de los 208 estudios revisados.
Este patrón temporal de los diseños de investigación queda patente en su

distribución porcentual en el gráfico 8.19.
334
Gráfico 8.19. Temporalidad de los diseños

de investigación . 7,7
15,4%
Longitudinal
Transversal
Mixto 13,9%
63%
NR o NI
Aunque está estipulado por la comunidad científica y socialmente

aceptado, que un estudio con dos observaciones ya posea un carácter longitudinal,
desde el punto de vista del rigor metodológico debería ser ciertamente discutible.
8.5.3. Agentes evaluadores.
La racionalidad en la que se sustenta la consideración de esta variable en el

epígrafe del diseño de las investigaciones, queda patente en la definición previa d
e las variables de este estudio de síntesis.
Si bien, puede considerarse ésta una información que puede arrojar cierta
luz sobre cualquier diseño de investigación, en el campo de la evaluación de
programas, es una característica que facilita enormemente la delimitación
epistemológica de su fundamentación, el modelo evaluativo empleado y en
consecuencia los diseños de investigación que pudieran, al menos a priori,
parecer más oportunos.
335
Precisando los datos obtenidos en la distribución de datos, como queda

reflejado en la tabla 8.30, la mayoría de estudios (53,4%), están realizados por
expertos/agentes externos a las instituciones u organismos a las que pertenecen los
usuarios sobre los que se implementan los programas considerados.
Tabla 8.30. Agentes evaluadores/investigadores.

AGENTES EVALUADORES f fa % %a
Agentes externos 111 111 53,4 53,4
Implementadores 28 139 13,5 66,8
Usuarios 8 147 3,8 70,7
Mixtos 40 187 19,2 89,9
NR o NI 21 208 10,1 100
TOTAL 208 100
El segundo lugar, en orden descendente de frecuencia registrada, lo

ocupan las evaluaciones de programas realizadas mediante la colaboración de
varios de los agentes considerados en el resto de categorías consideradas y
registradas como “mixto”, que abarcan el 19,2%.
Más escasos son aquellos estudios en los que los investigadores o

evaluadores de los programas son los mismos que llevan a acabo su
implementación, puesto que tan sólo abarcan algo más del 13%; o aquellos que no
registran o indican en su informe los agentes evaluadores, pues se refieren tan sólo
a algo más del 10% al explicar las categorías anteriores casi un 90% de la
frecuencia.
Realmente revelador puede considerarse el dato, que en tan sólo el 3,8%

del total de las evaluaciones se estime a los usuarios como principal agente
evaluativo.
336
Gráfico 8.20. Agentes evaluadores.
10,1
Agentes externos
Implementadores
19,2
Usuarios 53,4
Mixto
NR o NI 3,8
13,5
Estos datos están en consonancia con la metodología y los modelos

evaluativos más empleados en las investigaciones sobre E.P., como se describe
con anterioridad en sus respectivos epígrafes. Puesto que las metodologías
fundamentalmente cuantitativas y las evaluaciones desarrolladas mediante
modelos de corte objetivista, plantean procesos evaluativos en los que los agentes
externos juegan el principal papel.
8.5.4. Amenazas a la validez de los diseños y mecanismos de

control.
Los factores y variables bajo las que se puede ver amenazado el diseño de
las investigaciones son múltiples y variados, no especificando en la mayoría de
los informes revisados su naturaleza concreta y las oportunas medidas destinadas
a su control. Por ello, en el registro de estas variables, se ha optado por la
simplificación dicotómica que permita un mejor y operativo tratamiento conjunto
de datos.
337
Tabla 8.31. Amenazas al diseño de investigación y control.

AGENTES EVALUADORES f fa % %a
Plantea amenazas y su control 25 25 12 12
Plantea amenazas pero no su control 11 36 5,3 17,3
No plantea amenazas ni su control 172 208 82,7 100
TOTAL 208 100
Como puede apreciarse en los resultados expuestos en la tabla anterior,

una altísima frecuencia que corresponde a más del 82% de los trabajos revisados
no plantea amenazas a su diseño de investigación y por tanto no considera
mecanismos para controlar éstas.
Aunque en un escaso 17,3% de los casos se consideran posibles

amenazas a sus diseños investigativos, sólo en un 12% de éstos se plantean
medidas para su control.
Gráfico 8.21. Planteamiento y control

de amenazas al diseño.
12%
5,3%
Plantea amenazas y su control
Plantea amenazas pero no su control

82,7%
No plantea amenazas ni su control
Esta escasez en el planteamiento de amenazas de los diseños de

investigación y la toma de medidas para su control, denota un seguimiento
mecánico de los diseños previamente establecidos por parte de los investigadores,
sin plantearse este tipo de cuestiones que serían proclives de control mediante
técnicas adicionales.
338
8.6. CRONOLOGÍA DE LAS ACTUACIONES.
Para describir la cronología de las actuaciones realizadas mediante la

investigación sobre la evaluación de programas, se considera tanto el seguimiento
evaluativo que se realiza de éste, como la duración de la implementación del
programa al que se refiere dicha evaluación (ver Anexo 10).
8.6.1. Seguimiento evaluativo.
En la siguiente tabla 8.32 se reflejan las frecuencias y porcentajes de los

estudios que realizan evaluaciones de programas, distinguiendo los momentos en
los que se plantea o abarca este proceso evaluativo.
Tabla 8.32. Seguimiento evaluativo del programa.

Momentos f fa % %a
Durante su implementación 63 63 30,3 30,3
Posteriormente (tras la implementación) 18 81 8,7 38,9
Durante su implementación y posteriormente 47 128 22,6 61,5
NR o NI 80 208 38,5 100
TOTAL 208 100
Aunque en conjunto la mayoría de los informes revisados reflejan los

momentos en los que se realizan un seguimiento evaluativo del programa (%a =
61,5%); individualmente la categoría de los que “no lo realizan o lo indican” es la
que posee mayor frecuencia y porcentaje (% = 38,5%).
Considerando exclusivamente tales momentos evaluativos en orden de

frecuencia, lo más habitual en la distribución de datos obtenida describe
momentos evaluativos referidos a la implementación del programa
exclusivamente (%a = 30, 3%), seguido por las evaluaciones que se plantean tanto
durante la implementación del programa como posteriormente (%a = 22, 6%).
339
Las evaluaciones sumativas a posteriori solo ocupan el 8,7 % del total de

los 208 estudios considerados en la muestra.
En general parece contemplarse un escaso seguimiento del programa y una

falta de preocupación por el impacto de éste. Es decir, las investigaciones
evaluativas suponen segmentos temporales momentáneos no planteando
actuaciones a largo plazo.
Gráfico 8.22. Porcentaje de los momentos de evaluación.
30,3
Implementación
38,5 Posteriormente (tras la implementación).
PROGRAMA
Implementación y posteriormente
NR o NI
8,7
22,6
8.6.2. Duración de la implementación.
Definir explícita y exactamente el tiempo global empleado en la

realización de la evaluación de un programa es una tarea enormemente compleja.
Por ello, en la mayoría de informes de investigación se refleja la duración de la
implementación del programa como factor temporal, que con reservas, delimite la
simplicidad/complejidad de las actuaciones realizadas. Tal inferencia podría
igualmente aplicarse, con mayores precauciones si cabe, a la evaluación de éste.
340
Tabla 8.33. Duración de la implementación de los programas evaluados.

DURACIÓN f fa % %a
Hasta una hora 1 1 0,5 0,5
Duración en intervalos de horas 53 54 25,5 26
Un curso académico 19 73 9,1 35,1
Dos cursos académicos 7 80 3,4 38,5
Más de dos cursos 7 87 3,4 41,8
NR o NI 121 194 58,2 100
TOTAL 208 100
La duración de la implementación de un programa parece un dato

fundamental en la elaboración de un informe de evaluación de éste. Sin embargo,
la frecuencia de los informes que no presentan o registran este dato no es sólo la
mayor de todas las categorías consideradas, sino que incluso supera ampliamente
la f acumulada por el resto de categorías referidas a los informes que si lo explicitan
(f = 194 > fa = 87).
La siguiente categoría de consideración temporal que se presenta como

más común es la referida los programas cuya duración se puede registrar en
intervalos de horas, pues son los que obtienen una mayor frecuencia, alcanzado
algo más de la cuarta parte del total (25,5%).
Así, considerando sólo los informes de evaluación en los que este dato
resulta accesible, que ascienden a 53 como queda reflejado en la tabla anterior, se
puede calcular el promedio de horas que resulta para la implementación de los
programas.
Promedio de implementación = 2242 / 53 = 42,3 horas/programa.
Estas dos categorías analizadas anteriormente ya explican conjuntamente

el 83,7% de la frecuencia, quedando porcentajes escasos para el resto. Los
programas cuya duración abarca un curso académico suponen el 9, 1 %, y los que
abarcan dos o más de dos obtienen, a partes iguales, un 6,8% conjuntamente.
341
Es decir la mayoría de las evaluaciones se refieren a programas de corta

duración, con implementaciones referidas a intervenciones puntuales.
Gráfico 8.23. Porcentaje de programas según duración de su

implementación.
0,5
hasta 1 hora 25,5
x horas
9,1
1 curso
41,9
3,4
2 cursos
3,4
+2 cursos
NR o NI
58,2
0 10 20 30 40 50 60
342
Partiendo de las informaciones registradas en el Anexo 8.2, se

caracterizan los procesos de tratamiento y análisis de datos en las evaluaciones de
programas revisadas. Para ello se describen las unidades básicas sobre los que se
analizan los datos, los estadísticos empleados para ello, si se adelantan valores
esperados o los obtenidos se comparan con criterios externos y si estos procesos
se basan en triangulaciones.
8.7.1. Unidades primarias de análisis.
Las unidades de análisis sobre las que se analizan los datos empleando
los procedimientos y técnicas que se describen en los siguientes epígrafes son los
destacados en la tabla 8.34.
Tales unidades se han agrupado en tres ámbitos: los referidos a

individuos (sujetos, alumnos, profesores o padres), los relativos a diversos
agrupamientos de personas y circunstancias en las que se implementa un
programa posteriormente evaluado (grupos y clases); en sentido más amplio,
unidades de análisis que abarcan Centros o Instituciones completas, y aquellas que
careciendo de entidad personal/institucional se refieren al propio programa
evaluado.
Tabla 8.34. Unidades primarias para el análisis de datos.

Ámbitos f fa % %a
Sujetos, alumnos, profesores, padres 179 179 75,5 75,5
Grupos, clases y sus contextos 17 196 7,2 82,7
Centros e instituciones 16 212 6,8 89,5
Programas, proyectos y planes, investigaciones primarias. 15 227 6,3 95,8
NR o NI 10 237 4,2 100
TOTAL 237 100
343
Exceptuando la categoría en la que no se registra o indica la unidad de

análisis, la suma de frecuencias de todas las categorías alcanza un valor mayor
que el total de la muestra de trabajos revisados (Σ f =237 > N = 208). Sin
embargo es ésta una escasa diferencia, que al disponer en cociente para elaborara
el promedio de unidades tomadas por estudio revisado, alcanza un valor muy
cercano a la unidad.
Promedio = 237 / 208 = 1,13 unidades / trabajo.
Las unidades de análisis más usuales para el análisis de datos son, de

forma muy amplia, las referidas a individuos pues su frecuencia es mayor que la
suma del resto de categorías, alcanzando un porcentaje del 75, 5 % del total.
El resto de categorías, incluyendo la referida a estudios en los que no se

registra la unidad/es de análisis tomada, ofrecen porcentajes mucho menores pero
semejantes entre sí. Lo que dificulta el establecimiento de diferencias
significativas, como puede apreciarse en su representación gráfica (gráfico 8.24).
Gráfico 8.24. Porcentajes de las unidades de análisis .
Sujetos: 75,5%
Grupos: 7,2%
Centros: 6,8%
Programas: 6,3%
NR o NI: 4,2%
Existe por tanto escasez de investigaciones en las que unidades básicas de

análisis sean de tipo colectivo o se refieran al propio programa: Existiendo un
predominio de los análisis basados en los sujetos de referencia, usualmente
destinatarios.
344
8.7.2. Estadístico descriptivos.
Tras la revisión de la distribución de datos obtenida y la categorización de

los mismos, los estadísticos de carácter descriptivo empleados en los diversos
análisis de datos realizados en las investigaciones revisadas como muestra de este
estudio son los relacionados en la tabla 8.35.
Tabla 8.35. Estadísticos descriptivos.

TIPO ESTADÍSTICOS f fa fp % %a %p
Frecuencias 42 42 11,5 11,5
Distribuciones 116 31,7
Porcentajes 74 116 20,2 31,7
Media 72 188 19,7 51,4
Tendencia Central Mediana 3 191 81 0,8 52,2 22,1
Moda 6 197 1,6 53,8
Desviación Típica 44 241 12 65,8
Error Típico 3 244 0,8 66,7
Varianza 9 253 2,5 69,1
Puntuación Típica 4 257 1,1 70,2
Variabilidad 77 21
Rango 5 262 1,4 71,6
Valores máximos y
10 272 2,7 74,3
mínimos
Cuartiles y percentiles 2 274 0,5 74,9
Asimetría 4 278 1,1 76
Índices 7 1,9
Tamaño del Efecto 3 281 0,8 76,8
NR o NI 70 351 70 19,1 95,9 19,1
Otros 15 366 15 4,1 100 4,1
TOTAL 366 366 100 100
Atendiendo al número total de estadísticos empleados por todos los

estudios revisados y el número de éstos, se establece el coeficiente medio que
indica su relación.
Promedio de estadísticos = 351 /208 = 1, 7 estadísticos descriptivos/ trabajo.
Resulta un índice moderado, que no alcanza el empleo de dos estadísticos

por trabajo, en una distribución de datos que abarca un intervalo con valores
máximos de 9 estadísticos y mínimos de 0. Comparativamente importante es el
número de trabajos en los que no se registra o indica los estadísticos descriptivos
345
empleados (f = 70 y %= 19,9), ya sea por la “no pertinencia” de su uso o por la

escasez de informaciones que ofrece el informe de investigación.
Mediante el análisis parcial por tipos de estadísticos empleados, se puede

comprobar que el mayor porcentaje se refiere a aquellos que estudian y delimitan
las distribuciones de datos. Esta categoría, constituida por frecuencias y
porcentajes, supone el 31, 7% de los estadísticos empleados.
Son semejantes el número de estudios en los que emplean estadísticos de

tendencia central y de variabilidad, pues ambas categorías están entorno al 21-
22% del total. Y poco significativo es el uso de índices, como los de asimetría y
dificultad, pues se recurre a su empleo en escasas ocasiones de la distribución de
datos analizada.
El análisis individual del uso de estadísticos concretos, apoyado en el

Gráfico 8.26, muestra un alto uso de los porcentajes y el valor medio entorno al
21%.
Descartando la categoría referida a aquellos que no registran o indican

los estadísticos empleados, los siguientes estadísticos en uso serían la desviación
típica y la frecuencia entorno al 12 % de los casos cada una.
El resto de estadístico reseñados en la tabla anterior y representados en el

siguiente gráfico son escasamente empleados, pues obtienen frecuencias
comparativamente bajas y porcentajes que no superan en ningún caso el 3% de los
estadísticos registrados.
346
Gráfico 8.25. Clasificación del uso de estadísticos descriptivos.
Cuartiles y Percentiles
Cuartiles y Percentiles
Variabilidad 22,8 %
T.E.
0,9 Mediana
Tend. Central 23, 1
Error Típ.
Asimetría
Índices 1,1
Mediana Frecuencia
Distribuciones 33
Asimetría
1,1
Puntuación Típ.
Rango 1,4
Moda 1,7
Varianza 2,6
Max y Min. 2,8
Frecuencia 12
Desv. Tip. 12,5
NR o NI 19,9
Media 20,5
Porcentajes 21,1
0 5 10 15 20 25
Existe un preocupante bajo uso de un estadístico descriptivo como el

tamaño del efecto (T.E.) que permite hacer comparaciones entre grupos de
tratamiento y que según Fernández Cano et. al. (2000) debiera ser un recurso
analítico básico en evaluación de programas.
347
8.7.3. Estadísticos correlacionales y multivariados.
Utilizando un procedimiento y representación semejante a la empleada en

el epígrafe anterior, pero refiriéndose en este caso los datos a los estadísticos
correlacionales y multivariados, se obtienen las frecuencias y porcentajes
especificadas en la tabla 8.31 y representadas en el gráfico 8.26.
Tabla 8.31. Estadísticos correlacionales y multivariados.

TIPO ESTADÍSTICOS f fa fp % %a %p
Bivariados r de Pearson 11 11 5,1 5,1
C de contingencia 1 12 0,5 5,6
Phi 2 14 21 0,9 6,5 9,7
V de Cramer 1 15 0,5 6,9
Alfa de Cronbach 6 21 2,8 9,7
Multivariados Regresión múltiple 6 27 2,8 12,5
Análisis Factorial 8 35 3,7 16,2
Análisis Discriminante 2 37 18 0,9 17,1 8,3
Análisis de Conglomerados 1 38 0,5 17,5
W Kendall 1 39 0,5 18
NR o NI 178 217 178 82,4 100 82
TOTAL 217 216 100 100

estudios revisados y el número de éstos, se establece el coeficiente medio que
indica su relación.
Prom. estadísticos = 178 /208 = 0,85 estadísticos correlacionales / trabajo.
Se obtiene un valor inferior que el caso de los estadísticos descriptivos,

que aparecen por tanto con una utilización más usual en la distribución de datos,
alcanzado el empleo de prácticamente un estadístico por trabajo, en una
distribución de datos que abarca un intervalo con valores máximos de 4
estadísticos y mínimo de 0.
348
En este mismo sentido, todavía es mayor que en los estadísticos

descriptivos, el número de trabajos en los que no se registra o indica los
estadísticos empleados. Esta frecuencia es ampliamente mayor que la frecuencia
acumulada por el resto de categorías referidas al empleo de algún estadístico
correlacional concreto (f = 178 > fa =39), ocupando la mayoría de los casos (%=
82).
En este resto de categorías, con un escaso 18% conjuntamente, se

aprecia un mayor uso de los estadísticos correlacionales bivariados frente a los
multivariados, aunque también con unas escasas diferencias.
Mediante el análisis individual de uso de cada estadístico registrado se

comprueba una mayor utilización del momento r de Pearson (5,1%) seguido por
el Análisis Factorial (3,7%), El coeficiente alfa (α) de Cronbach y Regresión
Múltiple, en un intervalo cada uno de entre (2,8).
El resto de estadísticos obtienen porcentajes de uso inferiores al 1%,

quedando patente su escasa importancia en esta distribución de datos en la
representación comparativa y ordenada con el resto mediante el gráfico 8.28.
349
Gráfico 8.26. Clasificación del uso de estadísticos correlacionales

y multivariados.
Análisis de Conglomerados
W Kendall
Regresión múltiple
Multivariados
V de Cramer
Bivariados
Alfa de Cronbach
0,5%
NR o NI
C de Contingencia
Análisis Discriminante
0,9%
Phi
Regresión múltiple
2,8%
Alfa de Cronbach
Análisis Factorial 3,7%
r de Pearson 5,1%
NR o NI 82,4 %
0 1 2 3 4 5 6
350
8.7.4. Estadísticos Inferenciales.
Siguiendo con el mismo proceso de registro, categorización y

representación para el análisis de datos empleado en los dos anteriores epígrafes,
lo resultados obtenidos para los estadístico inferenciales se representan en la
Tabla 8.37.
Tabla 8.37. Estadísticos inferenciales

Tipo y estadístico empleado f fp % %p
z normal 10 3,4
t de Student 33 11,1
Simple 60 8,4
ANOVA
Paramétricos Factorial 6 134 13,8 45
ANCOVA 18 6
MANOVA 5 1,7
MANCOVA 2 0,7
Kruskal-Wallis 4 1,3
Q de Cochran 3 1
No paramétricos T de Wilcoxon 8 41 2,7 13,8
U de Mann-Whitney 6 2
Chi cuadrado 19 6,4
T de Barlett 1 0,3
Prueba de Kolmgorov-Smirnov 1 0,3
Bondad de ajuste
y verificación de Prueba A de Sandler 1 6 0,3 2
supuestos. Probabilidad de Mantel-
1 0,3
Haenzel
T de Fisher 2 0,7
Comparación Método de Scheffé 7 2,3
8 2,7
múltiple Prueba de Tukey 1 0,3
NR o NI 109 109 36,6 36,6
TOTAL 297 297 100 100

estudios revisados y el número de éstos, exceptuando lógicamente la categoría en
la que no se registran o indican, se establece el coeficiente medio que indica su
relación.
Prom. estadísticos = 109 /208 = 0, 52 estadísticos inferenciales / trabajo.
351
Este promedio de uso de los estadísticos inferenciales, que alcanza el uso

promedio de 0,5 estadísticos por trabajo revisado, es más bajo que el de los
descriptivos, pero también que el de los estadísticos correlacionales/multivariados.
En un intervalo de uso que abarca entre cero y siete estadísticos empleados como
valores mínimo y máximo.
Analizando parcialmente las frecuencias y porcentajes en los distintos

tipos en que se agrupan los estadísticos inferenciales, se puede observar una
frecuencia más amplia en caso de los estadísticos paramétricos que suponen el
45% del total.
En orden decreciente de frecuencia, se encuentran a continuación, todos

aquellos casos en los que no se registra, indica o especifica el estadístico
inferencial empleado que alcanzan algo más del 36%. Y con un valor de
frecuencia inferior a la mitad (13,8%) de los anteriores es el referido a los
estadísticos inferenciales no paramétricos.
Comparativamente escasos son los valores obtenidos por los estadísticos

de comparación múltiple y los empleados en la comprobación de la bondad de
ajuste y verificación de supuestos, que suponen respectivamente el 2, 7 y 2 % del
total.
En el análisis de cada estadístico por medio de su frecuencia individual la

frecuencia y porcentaje más alto es el referido a los casos en los que no se
especifica el estadístico, con el porcentaje anteriormente especificado. Seguido
por el ANOVAsimple y la t de Student con un 20,2 y 11,1 % respectivamente.
El resto de porcentajes se encuentra enormemente disperso por los demás

estadísticos registrados, con valores inferiores en todos los casos al 10%. Su
ordenación e interpretación, queda facilitada por la clasificación por porcentaje de
uso plasmada en el gráfico 8.27.
352
Gráfico 8.27. Clasificación porcentual del uso de estadísticos inferenciales.
Tukey 0,3
TIPO DE ESTADÍSTICO:
Mantel-Haenzel 0,3
A Sandler 0,3 Bondad de ajuste y

verificación de supuestos T Fisher
K_Smirnov 0,3
Paramétricos
MANCO
T Barlett 0,3
VA
T Fisher 0,7 No paramétricos Kruskal-
Wallis
MANCOVA 0,7
Comparación múltiple Scheffé
Q de Cochran 1
NR o NI NR o NI
Kruskal-Wallis 1,3
MANOVA 1,7
ANOVA factorial 2
U Man-Whitney 2
Scheffé 2,4
T Wilcoxon 2,7
z normal 3,4
ANCOVA 6,1
Chi 6,4
t de Student 11,1
ANOVA simple 20,2
NR o NI 22
0 5 10 15 20 25
353
8.7.5. Análisis Cualitativo.
Los estudios de la muestra revisada que realizan análisis de carácter

cualitativo con los datos que han recogido son escasos, pues tan sólo suponen una
fa de 34 del total de 210 registrados (16,2 %), como queda registrado en la Tabla
8.38. Sin embargo, los casos en los que no se registra o indica este tipo de análisis
alcanzan una frecuencia de 176 (83,8%).
Tabla 8.38. Análisis cualitativos de datos.

Tipo f fa % %a
sin especificar 17 17 8,1 8,1
ANÁLISIS DE CONTENIDO del discurso 8 25 3,8 11,9
de protocolo o documento 3 28 1,4 13,3
NARRACIÓN análisis narrativo 1 29 0,5 13,8
ANÁLISIS DESEMPEÑO análisis de tareas 3 32 1,4 15,2
mapas de contenido 1 33 0,5 15,7
SEMIOLOGÍA GRÁFICA
diagramas de flujo 1 34 0,5 16,2
NR o NI 176 210 83,8 100,0
TOTAL 210 100
En un primer análisis del cómputo total, la suma de los casos registrados

es mayor que la muestra considerada (Σ f = 210 > N = 208). Para calcular el
promedio de empleo de este tipo de análisis es necesario considerar tan sólo los
casos de utilización, no considerando la categoría “NR o NI”.
Promedio = 34/208 = 0,16 análisis cualitativos /estudio.
Este valor, de 0,16 análisis cualitativo por estudio en la muestra, es el

promedio más bajo de todos los considerados hasta ahora y referidos tanto a los
estadísticos descriptivos, correlacionales o multivariados, como a los de carácter
inferencial.
Considerando tan sólo las categorías referidas al empleo afirmativo de

estos análisis, se puede comprobar que la mayoría de ellas obtienen escasas
354
frecuencias y porcentajes poco significativos. Tan sólo destaca el análisis de

contenido que alcanza una %a del 13,3 %.
El gráfico 8.28, muestra la ordenación por porcentajes de uso, en la

muestra considerada, de este tipo de análisis.
Gráfico 8.28. Clasificación del uso de análisis cualitativos.
SG diagramas de flujo
SG: Semiología gráfica.
AN: Análisis narrativo.
SG mapas de contenido
AD: Análisis del desempeño.
AC: Análisis de contenido.
0,5% NR o NI: No registra o no indica.
AN
AD de tareas
1,4%
AC del protocolo
AC del discurso 3,8%
AC sin especificar 8,1%
NR o NI 82,4 %
0 1 2 3 4 5 6 7 8 9
Se muestra por tanto un escaso uso de procedimientos analíticos de

naturaleza cualitativa en las investigaciones revisadas.
355
8.7.6. Valores o estándares externos de comparación.
En la evaluación de los programas y de forma más concreta en la de sus

resultados, parece lógica la consideración de criterios o estándares que permitan
una valoración comparativa y mejor apreciación de os efectos del programa
evaluado.
Tales criterios pueden poseer naturalezas y orígenes diversos. Así por

ejemplo, en diseños de temporalidad longitudinal en los que se realicen varias
pruebas a lo largo de un periodo temporal, los datos comparativos podrían
considerarse intrínsecamente a la evaluación o investigación inmediata del propio
programa. Y en otro sentido de forma externa, tales patrones valorativos pueden
tomarse de evaluaciones previas, programas afines o investigaciones semejantes
que permitan comparaciones científicamente aceptables.
Como muestra la tabla 8.39, en una gran mayoría cercana al 90% de los
208 casos considerados en la muestra no se registran o indican valores o
estándares externos de comparación. Siendo un escaso 10,6 % el de los casos que
si los contemplan.
Tabla 8.39. Valores o estándares externos de comparación.

Criterios f fa % %a
Si utiliza, pero no especifica 4 4 1,9 1,9
Si utiliza (cualitativos): 10 14 4,8 6,7
Niveles básicos de referencia curricular, otros programas,
literatura especializada.
Si utiliza (cuantitativos): 8 22 3,8 10,6
Puntuaciones típicas, notas de corte.
NR o NI 186 208 89,4 100
TOTAL 208 100
El análisis de esta escasa y restante frecuencia, muestra que los patrones

externos más empleados se refieren a niveles básicos de referencia curricular,
otros programas o a la literatura especializada. Es decir aspectos que, aunque
basados en las experiencias previas, se delimitan en los criterios cualitativos que
guían la práctica evaluativa o experiencia considerada.
356
A continuación valores, con una naturaleza eminentemente cuantitativa,

como puntuaciones típicas y notas de corte establecidas con respecto a normas
externas. Y aquellos en los que afirman emplearlos, pero no ofrecen la
información necesaria en su informe de investigación como para inferir tal dato.
Gráfico 8.29. Porcentaje de uso de valores o estándares externos de

comparación.
Si, pero no especifica: 1,9%

Sí, Cualitativos: 4,8%
Sí, Cuantitativos: 3,8%
NR o NI: 89,4%
El alto porcentaje de trabajos en los que no se contrastan los datos con

valores o estándares externos, denota investigaciones en las que las
comparaciones quedan poco fundamentadas.
8.7.7. Triangulación.
Los aspectos de una investigación sobre los que se puede establecer

triangulación son diversos. Tras una primera aproximación al análisis de la
distribución de datos referida a esta variable y obtenida de la muestra considerada,
se establecen las categorías mostradas en la tabla 8.40 y que agrupan diversos
aspectos sobre los que tales investigaciones triangulan.
357
Tabla 8.40. Elementos sobre los que se realiza triangulación en las investigaciones revisadas.
Elementos f fa % %a
Fuentes de datos: sujetos, audiencias... 26 26 11,8 11,8
Instrumentos: registros, evaluadores... 41 67 18,6 30,3
Técnica: Disciplinas, metodologías, análisis... 14 81 6,3 36,7
Temporal: Momentos de medida1... 13 94 5,9 42,5

NR o NI 127 221 57,5 100
TOTAL 221 100
1:
Esta triangulación supone al menos 3 ó más momentos de medida. No confundir con diseños
longitudinales que en su mayor parte tan sólo se basan en dos.
La mayoría de estudios no considera la triangulación de elemento alguno,

no lo registra en su informe de investigación o no ofrece información explícita de
la que puede inferirse, en un porcentaje del 57,5% frente al 42,5% que si realiza
algún tipo de triangulación.
En éstas últimas el elemento más usual de triangulación se refiere a

instrumentos de recogida de datos o evaluadores que realizan tales registros, en un
18,6%. Y a las fuentes de las que se obtienen estos datos, en un 11,8 % de los
casos.
Los otros dos campos de elementos sobre los que se realizan

triangulaciones y que suponen individualmente porcentajes cercanos al 6%, se
refieren a aspectos técnicos y temporales de las investigaciones. Incluyendo en los
primeros técnicas, disciplinas o metodologías; y en los segundos, momentos de
medida de datos.
358
Gráfico 8.30. Porcentaje de uso de elementos de triangulación.
2% 5%
4%
Si, pero no especifica

Sí, teóricos
Sí, prácticos
NR o NI
89%
La escasez del uso de la triangulación, en los aspectos señalados, es

muestra de la debilidad metodológica de muchas de las investigaciones sobre E.P.
Pues éste es uno de los mecanismos más usuales para conseguir una mayor
fiabilidad de las observaciones, consistencia en los diseños y complementariedad
en las técnicas empleadas.
8.8. DECISIONES TRAS LA EVALUACIÓN.
Gran parte del sentido otorgado a la investigación evaluativa en el campo

de la evaluación de programas, reflejado en las definiciones teóricas que se
plantean de esta disciplina, delimitan una orientación hacia la toma de decisiones.
Así tras la investigación, que permite elaborar juicios de valor sobre el

mérito o valía del programa, juicios refrendados por los datos obtenidos mediante
procedimientos aceptados por la comunidad científica. Y partiendo de los
resultados concedidos a la efectividad/adecuación del programa, los principales
ámbito de decisión se centran en las medidas de modificación y continuidad del
programa evaluado.
359
Los datos referidos a todos estos aspectos quedan registrados en

frecuencia y porcentaje en la siguiente Tabla 8.41.
Tabla 8..41. Frecuencias y porcentajes de decisiones tras la evaluación.

Aspectos de CONTINUIDAD
decisión Si No NR o NI
TOTAL
No Modificar
No Modificar
No modificar
Modificar
Modificar
Modificar
DECISIÓN
NR o NI
NR o NI
NR o NI
59 2 22 2 1 17 65 168
Positivos (28,4%) (1%) (10,6%) (1%)
-
(0,5%) (8,2%)
-
(31,3%) (80,8%)
RESULTADOS
3 3 6
Neutros (1,4%)
- - - - - - -
(1,4%) (2,9%)
5 5
Negativos (2,4%)
- - - - - - - -
(2,4%)
4 1 2 22 29
NR o NI - - - - -
(1,92%) (0,5%) (1%) (10,6%) (13,9%)
96 3 109 208
TOTAL
(46,2%) (1,4%) (52,4%) (100%)
Una amplia mayoría, mayor del 80%, de las investigaciones declaran

resultados positivos de los programas tras su evaluación. Siendo muy escasa la
frecuencia de las que asumen otros resultados, destacan las que no registran o
indican resultados del programa tras su evaluación, con un porcentaje del 13,9%
comparativamente más alto que el resto.
Sin embargo en cuanto a su continuidad, la mayoría de los estudios no

hacen referencia a ésta en el informe de investigación de forma explícita (52,4%),
aunque con un porcentaje próximo se categorizan aquellas en las que este registro
es positivo (46,2%). Tan sólo son tres los estudios que tras la evaluación del
programa declaran la “no continuidad” de éste.
Mediante el análisis individualizado de cada categoría se aprecia que las

decisiones más usuales son las que basadas en unos resultados positivos, no
declaran continuidad ni decisión de modificación alguna (31,3%). Seguida de
cerca por la referida a aquellas que también partiendo de la declaración de
360
resultados positivos, propugna su continuidad previa modificación y mejora de

ciertos aspectos del programa o de su implementación.
En un nivel de frecuencia inferior se encuentran las evaluaciones que

siendo sus resultados positivos y proponiendo su continuidad, no realizan
propuesta alguna de modificación (10,6%). Y con idéntico porcentaje, aquellas en
cuyo informe de investigación no sólo no se hace mención a los resultados
evaluativos, sino tampoco a decisiones de continuidad o modificación.
Las investigaciones en las que se declaran resultados positivos y pese no

hacer referencia alguna a su continuidad se declaran la necesidad de realizar
modificaciones alcanzan el 8,2%.
El resto de categorías que aportan datos a la distribución, que poseen

porcentajes del total escasos siempre por debajo del 2,5%, resultan ocasionales en
la investigación evaluativa acerca del tópico considerado. Esta ordenación
categorial de acuerdo al aporte de frecuencia al total de la distribución puede
apreciarse visualmente en el Gráfico 8.31.
Resulta realmente preocupante, que aunque la totalidad de trabajos

revisados se refieren a evaluaciones sobre programas concretos, existe un
porcentaje comparativamente alto (10,6%) del total de los estudios considerados,
que no plantean cuestión alguna sobre los resultados, decisiones de modificación
y continuidad.
Así unos enjuiciamientos que parecen lógicos tras la realización de un

proceso evaluativo, no se realizan en muchos de los casos. Esto puede
considerarse como una carencia grave en la realización de evaluaciones con
verdadero impacto sobre la práctica educativa.
361
362
Po Po N
Po
N
sitN iv N Po R
sit Po Ro e N N e sit
iv
iv s i t P N
os
/
ga R e ut
r o sit oNI Po
os os tiv o ut
r
os s/S iv
o
/N sit N
/N ivos iti I/N NR N os / N R Ro
Ro /S vo Ro oN os/
S I / S / S R i/N s/N oN ivo
s N
N i/ s /S N I/ o N o o I/M / N I/S
i/M i/M i/M
I M /M o
I/N Mo
di
i/N I/N Mo
di o di o di o di / N o di o di o di / N i/N
Ro fic Ro Ro fic fic fic fic Ro fic fic fic Ro Ro
N N N N N N
I ar I I ar ar ar ar I ar ar ar I I
0
1%
1,4%
0,5%
1,9%
2,4%
5
10
8,2%
10,6%
15
20
Gráfico 8.31. Porcentajes de decisiones tras la evaluación del programa.
25
Categorias representadas por:
30
28,4%
Resultados/Continuidad/Decisión de modificación
31,3%
35
8.9. SOPORTES DE LOS PROGRAMAS EVALUADOS.
El soporte material de los programas puede determinar aspectos no sólo

relacionados con su forma de implementación, en cuanto a recursos empleados y
dinámicas establecidas. Sino que también puede determinar aspectos de su
evaluación, como el tipo de datos de los que se va a disponer o los instrumentos
más adecuados para recogerlos. En general, podría afirmarse que puede delimitar
las facilidades que el programa ofrezca para ser evaluado o su evaluabilidad.
En la tabla 8.40, se muestran las frecuencias y porcentajes de los soportes

de los programas cuyos informes de evaluación han sido tomados como muestra
de datos en este estudio. Un análisis de contenido a permitido establecer las
siguientes categorías de agrupación:
• Lápiz y papel, referida a formatos y soportes tradicionales basados en la

presentación de informaciones por medio de libros, cuadernos, folletos, etc. y
a procesos de implementación determinados por la elaboración de tareas y
cumplimentación de documentos escritos.
• Soporte electrónico y audiovisual, como principal medio de transmisión de

informaciones en la implementación/evaluación de los programas. Incluyendo
los equipos informáticos.
• Clases ordinarias: Programas que no se basan en ninguno de los soportes

materiales anteriormente señalados, sino en algunos de tipo inmaterial como
son los cursos, conferencias o trabajos en grupo.
También se incluyen en esta categoría aquellas propuestas que destacan

por su integración en el curriculum escolar, y por lo tanto pueden poseer una
naturaleza diversa y múltiple, habitualmente no declarada en los informes.
363
• Intervención. Programas en los que no se declara formato alguno para el

soporte de sus acciones, sino que éstas se engloban en una categoría general
de intervención. Se distingue entre las intervenciones psico-educativas,
usualmente desarrolladas en el ámbito escolar; y las intervenciones
asistenciales, familiares y laborales, propias del ámbito social.
Tabla 8.42 Materiales de soporte de los programas evaluados.

SOPORTE DEL PROGRAMA f fa % %a
Lápiz y papel 50 50 21,8 21,8
Electrónico (audiovisual e informático) 15 65 6,55 28,4
Clases ordinarias, cursos, seminarios y técnicas de grupo, 44 109 19,2 47,6
integración en el curriculum ordinario.
Intervenciones psico-educativas 75 184 32,8 80,3
Intervenciones sociales (asistenciales y familiares, laborales) 5 189 2,18 82,5
NR o NI 40 229 17,5 100
TOTAL (fa>muestra) 229 100
Como queda reflejado en estos datos ofrecidos, los programas que poseen
un soporte material concreto reflejados en las dos primeras categorías de la tabla
suponen tan sólo algo más del 28% del total. Correspondiendo 71, 6 % restante a
programas sin soporte específico.
El soporte globalmente más empleado es el que corresponde a las

intervenciones de tipo psico-educativo, seguido por el tradicional de lápiz y papel.
Destaca la alta frecuencia comparativa con el resto de categorías y similar

entre ellas (f = 40 y 44) de las acciones basadas en clases ordinarias, cursos,
seminarios, etc. y aquellas en las que no se registra explícitamente esta
información en el informe de investigación y ni siquiera la suficiente para poder
inferirla.
364
Gráfico 8.32. Soporte de los programas evaluados.
17,5 Lápiz y papel

21,8
2,18 Electrónico
Clases...
6,55 Intervención psico-ed.
Intervanción social
32,8
19,2 NR o NI
Considerando soportes concretos, los más usuales como los basados en

lápiz y papel y las clases ordinarias, agrupan conjuntamente el 94% del total de
los trabajos, por lo que se podrían considerar como los “soportes tradicionales” en
los que asiduamente se fijan las informaciones de los programas.
Los programas de soporte audiovisual e informático suponen un

porcentaje significativamente inferior del 6, 55%. Paradójicamente parece poco
generalizado el empleo de soportes basados en las tecnologías electrónicas, como
son los audiovisuales e informática, a pesar de constituir éstas los canales de
comunicación básicos en los que se sustenta la actual sociedad del conocimiento.
Siendo realmente escasas las intervenciones cuyo soporte podría

relacionarse con el ámbito social (2,18%).
365
366
CAPÍTULO IX. DISCUSIÓN DE RESULTADOS.
9.1. INTRODUCCIÓN.
Tras la exposición y análisis de los datos realizada en los capítulos seis a

ocho, atendiendo al carácter cienciométrico, conceptual o metodológico de éstos;
a continuación se describen los hallazgos principales, se realizan comparaciones
con trabajos afines y se comentan las implicaciones y repercusiones acerca de las
teorías desarrolladas en este campo.
Al igual que el resto del trabajo empírico, la discusión de resultados se

vertebra atendiendo a la naturaleza de los datos en resultados de la productividad,
sobre citación en la investigación, de aspectos conceptuales y resultados de
aspectos metodológicos en las investigaciones sobre E.P. (Evaluación de
Programas). Generados todos ellos a partir de los problemas e interrogantes de
esta Tesis Doctoral, en cuanto a qué indicadores son más oportunos, qué valores
adquieren éstos y cuál es su desarrollo diacrónico en el periodo temporal
considerado.
367
Capítulo IX. Discusión de resultados.
Por tanto, la caracterización de la investigación sobre Evaluación de

Programas en el contexto español como su desarrollo diacrónico durante el
periodo comprendido entre los años 1975 y 2000, objetivo general de este trabajo,
se realiza mediante el empleo de cincuenta y nueve variables que la describen (18
cientimétricas, 5 conceptuales y 37 metodológicas), el análisis de datos realizados
y la discusión de resultados que se presenta a continuación.
Esta discusión y presentación de resultados además de apoyarse en la

consistencia de los datos obtenidos en este Tesis Doctoral, presta atención a su
comparación, en los campos que sea propicio, con los extraídos en trabajos afines,
para así realizar inferencias con las mejores garantías.
La utilización de estos trabajos como criterios de

comparación/corroboración de valores se debe a su similitud por tratarse del
mismo tópico (Expósito, 2000 o Fernández Cano y Expósito, 2001), por emplear
procedimientos similares (Galante y Sanchidrian, 1996; Torralbo, 2001) o al
analizar la publicación en una fuente nuclear en la investigación sobre evaluación
de programas educativos como es la Revista de Investigación Educativa (Bueno,
2001).
368
9.2. RESULTADOS DE LA PRODUCTIVIDAD DE LA

INVESTIGACIÓN SOBRE E.P.
9.2.1. Productividad general y de autores.
El primer objetivo de carácter cientimétrico considerado plantea la

necesidad de denotar patrones en la productividad científica sobre E.P.
De forma general y atendiendo a la disposición diacrónica (1975-2000)

de la fecha de publicación de los 208 trabajos revisados, se comprueba el ajuste de
la productividad a la Ley de Crecimiento propuesta por Price (1972).
En una comparación de la productividad diacrónica general con la

obtenida en un trabajo afín (Expósito, 2000) con una muestra limitada a 136
trabajos revisados, se comprueba un ajuste similar a la mencionada ley
productiva.
Este desarrollo diacrónico es también similar al propuesto por Torralbo

(2001) en un trabajo de temática distinta, al revisar Tesis Doctorales sobre
Educación Matemática. Sin embargo, en otras revisiones de la producción
científica la producción no se ajusta a la Ley de crecimiento exponencial
propuesta por Price. Como es el caso del trabajo cuya temática se centra en la
Logopedia educativa, realizada por Fernández Cano, Lorite y Machuca (2000), o
la revisión de la producción de la Revista de Investigación Educativa, realizada
por Bueno (2001).
En ambas distribuciones durante el periodo 1986-1990 el crecimiento de

la producción adopta un modelo de curva logística, como superación de la curva
de incremento exponencial. Atendiendo a estos datos se puede afirmar que la E.P.
ha sido un tópico de investigación caliente durante las dos últimas décadas en
nuestro país, especialmente desde la publicación del monográfico de R.I.E. sobre
369
evaluación de programas. Su producción se ha estabilizado y normalizado como

fruto de un periodo de madurez.
Gráfico 9.1. Productividad diacrónica comparada.
80
70 Expósito(2000)
60 DATOS EXPERIMENTALES
50 Torralbo(2001)
40
30
20
10
0
1975 /1980 1981/1985 1986/1990 1991/1995 1996/2000
Uno de los indicadores cientimétricos más relevantes en el análisis de la

producción sobre una determinada disciplina científica es el del grado de
colaboración de sus autores. Usualmente se acepta que la investigación más
consistente, fecunda y propia de disciplinas con un alto nivel de científico debe
contar con un grado de multiautoría amplio (más de tres autores por producto de
promedio).
López Piñero y Terrada (1992) encontraron un rango de entre 3 y 3,5

autores para disciplinas médicas. Parámetro productivo estable durante largos
periodos, al encontrarlo constante durante más de 80 años.
El número de autores productores de los 208 trabajos revisados asciende

a 449, por lo que el promedio es de 2,1 autores por trabajo. En su desarrollo
diacrónico se observa, desde 1993, una tendencia a la estabilización en torno a
valores medios por un progresivo descenso de la desviación (media intervalo
diacrónico = 2,2).
370
Aunque es éste un valor menor de los señalados para las mencionadas

“ciencias duras”, si se puede considerar como usual en la investigación propia de
las Ciencias Sociales y Humanísticas. Incluso comparativamente con la
producción investigativa general publicada en la Revista de Investigación
Educativa, desarrollada por Bueno (1991) en la que se obtiene un promedio de 1,5
autores por trabajo; o en la de Logopedia educativa, realizada por Fernández
Cano, Lorite y Machuca (2000) con 1,27 autores por trabajo; es un valor
diferencialmente mayor.
Pese a todo es un valor aún bajo, que denota la implementación de

programas sencillos, la realización de evaluaciones poco ambiciosas y un cierto
individualismo investigativo. En este mismo sentido, Barr y Cuyjet (1991),
señalan la poca ambición en la intervención por programas en las que abundan los
programas de sensibilización realizados por un único profesional.
Estos valores están muy lejanos de la deseable autoría múltiple y la

constitución de Equipos Evaluativos, que con un carácter multidisciplinar serían
un fin deseable en la Investigación Educativa. Y se ajusta al patrón obtenido por
Fernández Cano y Bueno (1998, 1999) que caracterizan al investigador educativo
de aislado y ocasional, lejano de la constitución de “colegios invisibles”. Lo que
puede conllevar a una baja calidad científica.
En cuanto a la tipología de los productores, en la investigación en el

campo de la E.P. según queda reflejado en el análisis de datos, no existen grandes
autores, pues el mayor porcentaje de ellos es de tipo “transitorio” según la
denominación de Price (1976).
Ningún autor contribuye con más de diez trabajos, el 28% aporta entre dos
y nueve realizaciones, y una amplia mayoría del 72 % tan sólo aportar un trabajo
denotando un claro patrón de inmadurez como disciplina científica. Esta
disposición de la autoría queda corroborada por su ajuste a la Ley de Lotka, de la
371
que se puede extraer la consideración de que la mayoría de la producción queda

en manos de unos pocos autores o en otro sentido, que la mayor parte de la
producción la realizan autores con un solo trabajo.
Esta dispersión de la autoría, en la que escasean los grandes productores,

es un síntoma de debilidad disciplinar, pues la producción científica del campo
queda mayormente en manos de autores ocasionales y/o poco expertos.
Aunque la distribución nominal de los autores más productivos en el

campo queda reflejada de forma completa en el capítulo seis, parece oportuno
reflejar en la elaboración de estas conclusiones que por orden descendente de
producción los más importantes son: Bernardo Gargallo (7), Mª Victoria Trianes
(5), Rafael Carballo, José A. Delgado y M ª Dolores Prieto (4).
El género de los autores arroja cifras semejantes de porcentaje entorno

al 48 y 52% para mujeres/hombres respectivamente. Globalmente no parecen
diferencias significativas ni persistentes en la revisión de trabajos afines (60/40 %
en Fernández Cano, Lorite y Machuca, 2000; 42,8/57,2% en Bueno, 2001;
46,2/53,8% en Expósito 2001).
Estas diferencias globales en el género de los autores parecen más

marcadas en campos como la elaboración de Tesis Doctorales en disciplinas como
las Matemáticas (19,2/80,8% en Torralbo, 2001). Sin embargo los datos
analizados en la presente investigación no localizan sesgos relativos al género de
los autores, ni desde una perspectiva diacrónica, ni por lugar de firma en los
trabajos.
Algo que sí ocurrió para los dos primeros lugares de firma, que
presentaban un sesgo a favor del género masculino, en un estudio previo
(Expósito, 2000) con una muestra limitada de 136 trabajos. Sesgo que Rossiter
(1993) denominó como Efecto Matilda.
372
Gráfico 9.2.Promedio de género

Considerando estos porcentajes
de autores en estudios afines.
distintos estudios de revisión se puede
elaborar un promedio a comparar con
los datos obtenidos en la realización 42,05
de esta Tesis Doctoral.

57,75
A partir de su comparación
global y por medio del gráfico 9.2, se Hombres Mujeres
puede observar que las diferencias

globales se limitan a porcentajes
entorno al 5%.
Es decir, en la investigación 48
52
sobre E.P., al igual que en otras
disciplinas de la Investigación
educativa, representadas en estos
trabajos afines, no parecen observarse Género de autores en este trabajo
diferencias significativas entre los
productores por razones de su género.
Además en esta Tesis Doctoral, como se ha expresado anteriormente, se

comparan las distribuciones de frecuencias del número de autores atendiendo a un
criterio diferenciador de género, desde una perspectiva diacrónica y por el lugar
que se ocupa en la firma del trabajo. En ambos casos y por el empleo de la prueba
χ2 (chi cuadarado) aplicada a la comprobación de la independencia distribucional,
se puede afirmar que no existen sesgos productivos derivados del género de sus
autores.
373
9.2.2. Productividad institucional y por Áreas de conocimiento.
La necesidad de indagación de los patrones de productividad institucional

queda patente en este estudio en su establecimiento específico como segundo
objetivo para este proceso de investigación. Pareciendo igualmente oportuna su
distinción por las Áreas de conocimiento a las que pertenecen sus autores.
En las primeras consideraciones globales sobre esta variable se ha podido

comprobar que a partir del número de Instituciones y de Áreas de Conocimiento a
las que pertenecen los autores de los trabajos revisados y el número global de
éstos, se obtienen diversos promedios.
Autores/Trabajo = 449/208 = 2,1
Autores/Instituciones = 449/245 = 1,8

Autores/Áreas de Conocimiento = 449/238 = 1,9
Instituciones /Áreas de Conocimiento = 245/238 = 1,02
Existe una cierta semejanza entre los valores del número de autores por
institución y el que representaba para cada trabajo de la muestra considerada. Por
lo que en el mismo sentido, la investigación sobre E.P., queda aquí caracterizada
por una producción institucional en la que la colaboración es escasa,
predominando las realizaciones individuales. Lo mismo ocurre con el número de
autores por Áreas de Conocimiento, que alcanza un valor muy cercano a dos.
La relación entre instituciones y áreas queda marcada por un valor muy

cercano a uno, lo que supone cierta paridad global entre la frecuencia de ambas.
Lo que implica que las investigaciones revisadas se suelen realizar en una
institución y en una sola área concreta de ella, que tomada o considerada como
especialista de su institución en un tópico concreto, plantea trabajos en solitario.
374
Es decir, no solo no se produce en la investigación sobre E.P. la deseada

colaboración externa entre distintas instituciones, sino que tampoco abunda la
interna entre las distintas secciones de éstas.
Nominalmente las instituciones más productivas son los centros

universitarios (65,7%), quedando el resto con porcentajes escasos por debajo
siempre del 10%.
Queda patente por tanto que pese a que el tópico considerado, como es el
de la Evaluación de Programas, se genera y posee una importancia relevante en la
práctica educativa en todos los niveles y ámbitos, la investigación educativa sigue
quedando restringida a los Centros Universitarios o Entidades especializadas de
las Administraciones Públicas.
Estos datos son congruentes con los obtenidos por Velaz de Medrano et.
al. (1996) sobre las investigaciones financiadas por el C.I.D.E. durante diez años,
de las que más del 66% estaban producidas en la universidad. Siendo incluso el
porcentaje más alto de los equipos de investigación ocupado por personal de las
Universidades.
De hecho, en el ajuste de la producción institucional a las zonas

propuestas en la Ley de Bradford, la zona central o nuclear queda constituida por
cinco instituciones, de las que cuatro son centros universitarios: Administración
Nacional, Universidad de Valencia, U.N.E.D., Universidad Complutense de
Madrid, Universidad de Granada y Universidad de Sevilla.
Esta importancia de los centros universitarios hace necesaria una discusión

en mayor profundidad que permita delimitar aspectos de la investigación sobre
E.P.
375
Tabla 9.1. Instituciones productoras y clasificación de las diez con más alta producción.
Ámbitos Instituciones f %
Administración Local y Provincial: Ayuntamientos y Diputaciones Provinciales 6 2,4

Admón. Administración autonómica 6 2,4 11,0
Administración Nacional:
15 6,1
M.E.C., C.I.D.E., C.I.D.E.A.D., Instituto de C.E.F. y Deporte del C.S..D., etc.
Centros de Ed. Primaria 10 4,1
Sistema Centros de Ed. Secundaria: I.E.S. y I.F.T.P. 7 2,9

74,7
Educativo Centros Universitarios 161 65,7
Servicios de Apoyo Escolar 5 2,0
Servicios Sanitarios 6 2,4

Otros 5,7
Otros: Revistas, Publicaciones, Equipos Pedagógicos, Asociaciones y 8 3,3
Fundaciones, etc.
INSTITUCIONES UNIVERSITARIAS MÁS PRODUCTIVAS (Top Ten %):
Valencia......................................................... 9,3
U.N.E.D. ....................................................... 8,7
Sevilla............................................................ 8,1
Granada ......................................................... 8,1
U.C.M. .......................................................... 8,1
Universidades y Organismos extranjeros…. 7,5
Salamanca .................................................... 5,6
País Vasco ................................................... 5,6
Murcia ......................................................... 5
Málaga ......................................................... 5
Así tomando las diez primeras de las instituciones de la clasificación por

frecuencia productiva y comparándolas con las instituciones a las que pertenecen los
autores que aportan más producción a la muestra considerada, se comprueban ciertas
coincidencias (enmarcadas en la tabla) en siete de ellas, incluso algunas ocupando el
mismo orden.
376
Tabla 9.2. Instituciones productoras (Universidades).

Clasificación de las diez Universidades con mayor Clasificación de instituciones de los 10 autores
aportación directa a la muestra. más productivos.
1. Valencia. 1. Valencia
2. U.N.E.D. 2. Málaga
3. Sevilla 3. U.C.M.
4. Granada 4. Granada
5. U.C.M. 5. Murcia
1
6. Otros. 6. León
7. Salamanca U.N.E.D. Nivel
8. País Vasco País Vasco coincidencia:
9. Murcia C.I.D.E. 70%
10. Málaga Málaga2
1
: Universidades y organismos extranjeros.
2
: Ocupan el mismo lugar de clasificación por corresponder a un grupo de autores con idéntica
producción.
Esta correspondencia muestra la consideración de estas Instituciones como

centros de excelencia en la investigación educativa sobre E.P. por lo menos en
frecuencia de realizaciones, sin considerar criterios acerca de su calidad.
Igualmente comparando la distribución de instituciones productoras obtenidas

con trabajos similares, ya mencionados anteriormente y referenciados en la bibliografía,
se observa un nivel de coincidencia similar. Por lo que esta consideración de estas
Universidades como Centros de Excelencia podría referirse a la producción general
sobre investigación educativa.
377
Tabla 9.3. Comparación Universidades productoras en datos experimentales y en trabajos afines.

Galante y Sanchidrian
DATOS experimentales Torralbo (2001) Bueno (2001)
(1992)
1. Valencia. 1. U.C.M. 1. Granada 1. Barcelona – C.

2. U.N.E.D. 2. Barcelona – C. 2. U.C.M. 2. U.N.E.D.
3. Sevilla 3. U.N.E.D. 3. Barcelona – Aut. 3. U.C.M.
4. Granada 4. Valencia 4. Barcelona – C. 4. Valencia
5. U.C.M. 5. Oviedo 5. Valencia 5. Granada
6. Otros. 6. Salamanca 6. UNED 6. Sevilla
7. Salamanca 7. Navarra 7. Murcia 7. Oviedo
8. País Vasco 8. Pontificia 8. Sevilla 8. Murcia
9. Murcia 9. Málaga 9. País Vasco 9. País Vasco
10. Málaga 10. Santiago 10. La Laguna 10. Santiago
Concordancia con datos de experimentales.

Nivel
concordancia: Concordancia entre los demás estudios
63%
.
Además de la discusión de resultados sobre la producción institucional hay que

diferenciar las Áreas de Conocimiento a las que pertenecen los autores de los
trabajos revisados en esta Tesis.
Los datos obtenidos y su discusión (ver apartado 6.1.4.3) muestran que este no
parece un dato cientimétrico normalmente considerado en la presentación de los
informes revisados, puesto que de un alto porcentaje (33,6 %) no se ha registrado o no
se indica esta información.
Estos mismos análisis permiten establecer que la producción sobre E.P. parece
un tópico clásico para autores que pertenecen a Áreas de Conocimiento relacionadas
con la educación, siendo especialistas los autores pertenecientes a Áreas o
Departamentos de Métodos de Investigación y Diagnóstico en Educación.
378
9.2.3. Productividad por fuentes de publicación.
Como tercer objetivo de investigación se planteó la descripción de las fuentes

de publicación de los trabajos científicos sobre E.P., alcanzado en la medida que
muestran los siguientes resultados.
El tipo de fuentes de publicación para editar las investigaciones sobre E.P.

aparece dominado por la alta frecuencia y elevado porcentaje obtenido por las revistas
científicas especializadas, que suponen el 87,98 % del total de la distribución de fuentes.
En segundo lugar, con un porcentaje mucho menor del 10,1%, la literatura referida a
actas de congresos o jornadas y no publicada, que algunos autores como Alberani et. al.
(1990) denominan subterránea o literatura gris. Y en tercer lugar, suponiendo un 1,92%,
los libros y capítulos de libros.
En este patrón de edición se muestra la preponderancia de las revistas

especializadas, canales habituales de transmisión de los hallazgos en las disciplinas
científicas. Dato que apoya la idea de la E.P. como una línea de investigación en activo
desarrollo empírico desde su caracterización productiva.
En un análisis pormenorizado de las fuentes de edición empleadas, realizado en

el epígrafe 6.1.5 dedicado a las fuentes productivas, se observa una alta frecuencia en
algunas fuentes, especialmente la Revista de Investigación Educativa, que en su
disposición en las zonas propuestas por Bradford ocuparía un lugar central o nuclear en
la edición de trabajos científicos y que durante el periodo diacrónico considerado,
concretamente durante el año 2000, ya ha publicado su segundo monográfico dedicado
a la Evaluación de Programas.
Este no es un dato a extrañar, pues la mencionada fuente está relacionada con

la Asociación Interuniversitaria de Investigación Pedagógica (AIDIPE) cuyo origen se
relaciona con los Departamentos/Áreas M.I.D.E., precisamente las áreas de
conocimiento preponderantes y a las que pertenecen los autores más activos de la
disciplina. Ocupando las actas de los congresos de esta asociación un lugar importante
como vehículo de transmisión de informaciones científicas en E.P.
379
Esta endogamia con cierto sesgo de publicación de trabajos de M.I.D.E. en la

Revista de Investigación Educativa, queda patente en los datos obtenidos por Bueno
(1991) sobre el análisis de la publicación concreta de esta fuente.
Tabla 9.4. Fuentes en zonas de dispersión Bradford (Tomado de tabla 6.18)
Bordón
Actas de Jornadas L.O.G.S.E.
Adicciones
Actas A.I.D.I.P.E.
Aula Abierta
Cuadernos de Pedagogía
Revista Española de Pedagogía
R.I.E. ...
Actas de Congreso: Modelos de
Escuela Española
Investigación Educativa.
Revista de Ciencias de la
Apuntes de Psicología
Educación
Infancia y Aprendizaje
Revista de Educación a Distancia
Siglo Cero
Tarbiya
El ajuste con una alta correlación positiva de la distribución de frecuencias de

las fuentes de publicación al patrón teórico propuesto por Lotka, muestra que el mayor
número de fuentes (46) publican un solo trabajo sobre E.P., existiendo tan sólo tres
fuentes a las que se podrían denominar grandes productoras al poseer una producción
por encima de diez trabajos. Por lo que la producción sobre esta disciplina se agrupa en
las mencionadas fuentes nucleares.
Un dato cientimétrico relacionado con la edición de los trabajos es el que

corresponde a la longitud de los informes de investigación que se relacionan con la
complejidad y desarrollo del campo en cuestión.
De forma global se ha obtenido para la muestra de los 208 trabajos revisados

una longitud promedio cercana a las seis páginas por trabajo. Sin embargo, en su
estudio diacrónico se observa un claro patrón en la último lustro (Ver Gráfico 6.17.) en
el que además de un paulatino ajuste a un intervalo de extensión entre 4 y 20 paginas,
produce valores medios entorno a cinco páginas por informe.
380
Las inferencias realizadas a partir de este indicador y su relación con el

desarrollo de la investigación sobre E.P. en aspectos como su complejidad, deben
realizarse con enormes precauciones, derivadas del posible ajuste a estos valores a
razones ajenas al desarrollo de la propia materia, como puede ser el acuerdo a
estándares editoriales de publicación.
381
9.3. RESULTADOS SOBRE CITACIÓN EN LA

INVESTIGACIÓN SOBRE E.P.
El cuarto objetivo cientimétrico del estudio referido a la descripción de

las pautas de citación en los trabajos revisados se ha cumplido en tanto a los datos
reflejados en el capítulo seis y discutidos aquí de forma general.
9.3.1. Desarrollo diacrónico de la citación.
Los datos obtenidos muestran la citación de 3821 trabajos para los 208
considerados como muestra, lo que supone un promedio de 18,37 citas por
trabajo.
Este valor es cercano al establecido en estudios similares (Fernández

Cano y Expósito, 2001) que arrojan valores medios entorno a 21 citas por trabajo.
Situando la revisión de la publicación de la Revista de Investigación Educativa
(Bueno, 2001), fuente de publicación nuclear en la investigación sobre E.P., el
promedio de citas desde el año 1983 al 2000 entre 21 y 27,5 por trabajo.
El desarrollo diacrónico del patrón del promedio de citaciones realizadas

adopta una distribución típica de crestas y senos en la primera mitad del periodo
diacrónico considerado (1775/1987), pero en la segunda presenta unos valores
delimitados en el intervalo que abarca 13 a 27 citas realizadas, estabilizándose
cada vez más entorno al valor medio cercano a 21 citas en cada trabajo.
El patrón que detectó Garfield (1994) y corrobora Fernández Cano (1995,

p. 224) muestra un progresivo aumento en el número de citas según pasan los
años.
382
Gráfico 9.3. Comparación del desarrollo diacrónico del promedio de citación de

datos experimentales y estudios afines.
35
30
25
20
15
10 Promedio de citas
Valor medio
5 Fdez. Cano y Expósito (2001)
0
75/80 81/85 86/90 91/95 1996/2000
9.3.2. Antigüedad de la citación.
El estudio del promedio de la antigüedad de las citas se obtiene un valor

global de 15,23 años, propio según el índice de Garfield (1983) de las disciplinas
de corte humanístico. Muy semejante a la obtenida por Torralbo (2001) de 12,8
años.
Sin embargo, en otros estudios afines, como Bueno (2001) o Fernández

Cano y Expósito (2001) se obtienen valores mucho más compacto entorno a 8,5
años.
La alta variabilidad de la antigüedad con respecto a la media alcanza algo

más de 26 años. Este alto valor queda sin duda determinado por la inclusión en la
citación en los estudios sobre E.P. a estudios clásicos de la Investigación
Educativa en cuanto a su cierta antigüedad, que aunque sólo se empleen para
obtener una perspectiva diacrónica sobre ciertos aspectos concretos hacen
envejecer la antigüedad general de la citación.
383
La asidua citación a los clásicos en una disciplina, aún en los trabajos de

corte más empírico y actual, puede estar fundamentada en diversos criterios. El
primero de ellos sería la poca actividad global en la materia que obligaría a citar a
escasos y antiguos trabajos, no siendo éste el caso como ha quedado patente en la
discusión previa de datos sobre la producción. Otra de las posibles razones, más
plausible por su mejor adecuación a los datos aquí reflejados, es la que relaciona
la citación con el individualismo productivo, tanto a escala personal como
institucional y departamental. Este aislamiento originaría un cierto
desconocimiento de los trabajos más rabiosamente actuales y una dependencia
endémica a la citación clásica.
Así mismo, pese a que la E.P. es un área de conocimiento claramente

delimitada y en un periodo de madurez productiva, todavía adolece de ciertos
rasgos de las disciplinas emergentes como puede ser cierta “inconsistencia
disciplinar”. En la que la falta de ciertos criterios evaluativos estándares hace
necesaria una reconstitución o replanteamiento histórico en cada trabajo,
ofreciendo la citación a clásicos un ámbito de seguridad epistemológica no
considerado para las realizaciones más noveles.
Atendiendo al porcentaje de la antigüedad de las citas en los intervalos

propuestos por Garfield (1979) para la caracterización de las disciplinas
científicas, y comparando los datos obtenidos en esta Tesis Doctoral (datos
experimentales) con los ofrecidos en trabajos similares y considerados aquí como
criterios comparativos para la discusión de resultados, se obtienen los siguientes
valores.
Tanto en los valores experimentales de esta Tesis, como en su

comparación con un trabajo de las mismas características (Fernández Cano y
Expósito, 2001) referido a E.P. y los obtenidos de la publicación de
Investigaciones educativas en la Revista de Investigación Educativa se obtiene
valores muy semejantes, propios de las Ciencias Sociales. Que mediante la
384
adaptación del índice de Price, permite delimitar la proporción de citas con una
antigüedad menor de cinco años que es tan sólo el 19,1 % de todas las realizadas.
Tabla 9.5. Antigüedad de las citas.

0/5 años 6/10 años +10 años
Ciencias Ciencias
Caracterización disciplinar (Garfield, 1979) Humanidades
duras Sociales
%
DATOS EXPERIMENTALES 19,1 55,6 25,3
Bueno (2001) 15,29 53,6 31,07
Fernández Cano y Expósito (2001) 17,5 54 28,5
Profundizando en la discusión de la antigüedad de las citas realizadas en

los trabajos revisados y a tendiendo a los años en los que se publicaron los
trabajos citados, se puede comprobar una distribución en la que se destacan dos
aspectos. El primero se refiere a la gran citación a clásicos publicados con
anterioridad a 1975, primer margen del intervalo diacrónico considerado. Y el
segundo su ajuste a la normalidad en una distribución en que los valores más
habituales se acumulan en los valores diacrónicos medios.
Esta disposición parece lógica puesto que el valor medio del intervalo
diacrónico está en 12,5 años (es decir quedaría entre 1986 y 1987) y la moda de
antigüedad es el año 1987.
Gráfico 9.4. Frecuencias de los años de edición de las citas.

700
600
500
400
300
200
100
0
5
0
76
78
80
82
84
86
88
90
92
94
96
98
-7
385
Es decir, se siguen demostrando los parámetros de citación mencionados

anteriormente, de citación a clásicos en E.P. y un promedio antigüedad entorno a
diez años. Sin embargo, en un pormenorizado estudio de la antigüedad lo largo
del intervalo diacrónico 1975-2000, se comprueba una disposición a citar cada vez
a un mayor porcentaje de trabajos con cierta actualidad, siempre dentro de la
década de producción del propio trabajo. Esto supondría en valores numéricos una
tímida disminución de la antigüedad promedio por debajo de diez años.
Acogiéndose al postulado de Garfield (1979) en cuanto a la

caracterización de las disciplinas científicas por la antigüedad de las citaciones, en
investigación sobre Evaluación de Programas se estaría produciendo un
“fortalecimiento disciplinar” o “tecnificación” en cuanto a su constitución como
campo de investigación con características propias.
Sin embargo, la citación de literatura “obsoleta”, mayormente libros en

lugar de revistas, es un hallazgo preocupante sobre la baja calidad científica en
este campo de investigación.
9.3.3. Citación por fuentes de edición y lengua empleada.
Tanto por los datos obtenidos en este trabajo de revisión como los
declarados en trabajos afines, se puede observar que con porcentajes muy
similares los trabajos más citados en la investigación sobre E.P. son los libros y
manuales (51,3 %), seguidos por la revistas (34,3 %) y en último lugar con un
porcentaje menor (13,8 %) la literatura gris.
386
Tabla 9.6. Fuentes de edición de las citas.
TIPO DE FUENTES DE EDICIÓN % Libros % Revistas % Lit. Gris
Citación 51,3 34,3 13,8

DATOS EXPERIMENTALES
Productividad 1,92 87,98 10,1
Bueno (2001) 61,5 35,5 3
Torralbo (2001) 54 33,6 12,4
Fernández Cano y Expósito (2001) 49 37 14
Sin embargo, los patrones de citación más deseable para una dinámica
línea de investigación en una disciplina consistente deberían estar encabezados
por las revistas especializadas, principal fuente de publicación de informes de
investigación teórico-práctica. Seguidos por los libros de texto, más dedicados a
las grandes revisiones o fundamentaciones teóricas. Y en último lugar a la
literatura gris, que permite una operativa comunicación de los últimos y más
novedosos hallazgos de carácter eminentemente práctico.
El cumplimiento de este patrón deseable en los datos experimentales

referidos a la productividad pero no en los de citación, apoya la caracterización de
la investigación sobre E.P. como una línea con un patrón productivo típico de las
líneas calientes de investigación, pero con unos hábitos de citación propios de
áreas con poca claridad disciplinar.
La caracterización de la citación también responde, tanto en los datos

experimentales como comparativos de trabajos afines, a patrones de citación
fundamentalmente a trabajos realizados en inglés, seguidos por los realizados en
español con un 9% menos. Siendo destacable la escasa citación a trabajos en otras
lenguas, un escaso 5%, referidas en la distribución de datos al francés y sobre todo
lenguas co-oficiales en las diversas Comunidades Autónomas.
387
Tabla 9.7. Idioma de edición de las citas.
IDIOMA DE LAS CITAS % Español % Inglés % Otros
DATOS DE EXPERIMENTALES 42,9 51,5 5,2

Bueno (2001) 42,5 55 3,5
Torralbo (2001) 38,5 53,7 8,3
Fernández Cano y Expósito (2001) 39 57 4
La interpretación de estos valores lleva a considerar dos aspectos

concretos en la investigación sobre E.P.:
El primero de ellos, como en la mayoría de disciplinas científicas, la

preponderancia del uso de la lengua inglesa como principal canal de
comunicación de los hallazgos científicos (lingua franca). Especialmente en una
era de globalización, en la que la actividad científica, como cualquier otra
actividad social, queda inmersa en una rápida y necesaria dinámica de
hipercomunicación.
Esto lleva a la obligación del empleo del inglés para la comunicación

internacional de los hallazgos de la producción nacional, habida cuenta que
además la revistas de investigación más potentes en el ámbito internacional, en la
mayoría de disciplinas, están editadas en este idioma.
En segundo lugar, conjugando el empleo mayoritario de la citación a

trabajos en lengua inglesa con la realizada a libros, denota una cierta dependencia
o colonialismo de citación con respecto al mundo anglosajón, en los principios
teóricos y epistemológicos de la investigación sobre E.P., inferencia que
probablemente pudiera ampliarse a la totalidad de la Investigación Educativa.
388
9.3.4. Citación personal o de autores.
En el total de los 208 trabajos, tomados como muestra y productores de

datos experimentales, se comprueba que se citan un total de 3821 trabajos, lo que
supone un promedio cercano a la realización de 20 citas en cada trabajo revisado.
A su vez, en estos 3821 trabajos se referencian nominalmente a un total

de 6336 autores, que determinan un promedio de autoría en los trabajos citados de
1,7 autores por trabajo. Resultando este valor muy compatible con el índice de
colaboración detectado en los 208 trabajos considerados como muestra y que
ascendía a un promedio de 2,1 autores por trabajo.
Ambos datos, que sumarían una considerable muestra compuesta por más
de cuatro mil elementos, permite establecer este índice de colaboración con una
alta fiabilidad.
La discusión de los datos ofrecidos por tal cantidad de información se

inicia con una clasificación que aunque no posee una base firma y se basa en
criterios cuasi discrecionales, es usualmente empleada como indicador en los
estudios de revisión cientimétrica (Fernández Cano y Bueno, 1999), por la
facilidad de interpretación que ofrece.
La citación recae en su mayor medida (57,8 %) sobre autores que sólo

reciben una o dos citas, que podrían calificarse como autores eventuales o
transitorios en la materia, siendo muy escaso el porcentaje de autores que recibe
más de diez citas. Aspectos que hacen que la citación se ajuste al patrón teórico
propuesto en la Ley de Lotka, que deja la citación en manos de unos pocos
autores.
389
Tabla 9.8. Tabla de citación.

Pequeños citados Medianos citados Grandes citados
CITAS EN...
(1-2 citas) (3-9 citas) (+10 citas)
DATOS DE EXPERIMENTALES
57,8 26,9 10,5
(Missing: 2,1)
Expósito (2000) 93,15 6,61 0,24
M.E.C. 39
Feuerstein, R. 28
Gargallo, B./ Novak, J.D. 25
Sussman, S. 22
De Ketele, J.M. 21
Prieto Sánchez, M.D. 20
Fernández Ballesteros, R./ Rivas, F./ Sternberg, R.J. 19
Rand, Y./ Vygotski, L.S. 18
Hoffman, M.D./ Piaget, J. 17
Stufflebeam, D.L. 16
Bloom, B.S./ Calafat, A. / Kagan, J. 15
Bruner, J.S./ Meichenbaum, D.H./ Shinkield, A.J./ 14
Trianes, M.V./ Witkin, H.A. 13
Driesen, G./ Hernández, P./ Luria, A.R./ O.M.S./ 12
Álvarez Rojo, V./ Campbell, D.T./ Matson, J.L./Pérez Juste, R. 11
Arnáiz Sánchez, P./Bandura, A./Castillejo, J.L./Colás Bravo, M.P./Cook, Th.D./Dueñas,
M.L./Garaigordobil, M./Pelechano, V./Posner, G./Sanz Oro, R./Slavin, R.E./Tejedor,
F./Verdugo, M.A./Wehman, P.H. 10
Por tanto se puede afirmar que en la investigación sobre E.P. no existen

autores de “obligada citación” o clásicos en el campo. Y como ha quedado
reflejado con anterioridad, al destacarse la lengua inglesa como la principalmente
citada, entre los diez primeros autores más citados tan solo se encuentran cuatro
españoles.
390
A modo de conclusión, tras el análisis de datos cientimétricos realizado,

la producción científica sobre Evaluación de Programas Educativos en el periodo
que abarca desde el año 1975 hasta el 2000 queda caracterizada
fundamentalmente por los aspectos que se resumen en la siguiente tabla 9.9.
Tabla 9.9. Resumen de hallazgos cientimétricos de la investigación sobre E.P.

Desarrollo diacrónico Patrón de crecimiento en momento logístico
Índice de colaboración 2,2 autores/trabajo
Género y lugar de firma No sesgos en la producción.
PRODUCCIÓN
Instituciones productoras Sistema educativo: Universidades.
Área productora Dpto. M.I.D.E.
Fuentes de publicación Revistas científicas: R.I.E.
Promedio citas 21 citas/trabajo en ligero crecimiento
Promedio
15,23 años / 26,62 años
antigüedad / variabilidad
CITACIÓN
Fuentes más citadas Libros
Idioma más citado Inglés
Autores Mayoría transitorios, no especialistas.
Hallazgos que permiten realizar las siguientes inferencias evaluativas,

como queda reflejado en la tabla 9.10, que caracteriza, desde la perspectiva
cientimétrica, a la investigación española sobre evaluación de programas
educativos, como un campo disciplinar productivo y prometedor, aunque adolece
de ciertas dificultades comunes en la investigación educativa, como son la baja
tasa de colaboración entre autores e instituciones, la escasez de especialización y
la ausencia de características propias de la ciencia puntera en cuanto a citación e
impacto de los hallazgos con fuentes de prestigio internacional.
391
Tabla 9.10. Resumen de inferencias evaluativas tras ajuste a patrones cientimétricos de la

investigación española sobre E.P.E. (según modelo de Fernández Cano, 2002).
VALORACIÓN
PATRÓN
AJUSTE
1. Crecimiento diacrónico. Logístico. +
2. Grado de colaboración interautores. 2,1 autores/estudio. -
No grandes productores, exceso de
3. Tipologías de autores. -
ocasionalidad.
4. Sesgo en la producción por género. No diferencias. +
5. Grado de colaboración interautores. Nulo. -
6. Ajuste productividad institucional a la Ley de
Débil, multiplicativo no exponencial. -
Bradford
7. Fuente de publicación predominante Revistas. +
8. Ámbito de publicación de informes. Mayoritariamente Nacional. -
9. Ajuste de fuentes de a la Ley de Bradford Débil, multiplicativo no exponencial. -
10. Antigüedad de las citas. 15,2 años. -
11. Fuente de citación predominante. Libro. -
12. Idioma mayoritario en citación. Inglés. -
13. Nacionalidad predominante de autores más
Extranjera. -
citados.
14. Verificación Ley de Lotka a autores. Verificada. +
Se establecen tres tipos de valoraciones: +(alta), = (media) y – (baja), en base al ajuste que denota.
392
9.4. RESULTADOS SOBRE ASPECTOS CONCEPTUALES EN

LA INVESTIGACIÓN SOBRE E.P.
Como se presenta en el capítulo siete de este Tesis Doctoral referido al

análisis de datos conceptuales, éstos quedan delimitados por la longitud y
forma/contenido de sus títulos, las palabras claves que describen los procesos
evaluativos, las áreas de contenidos que se establecen en las implementaciones de
los programas y los soportes empleados para su desarrollo.
El análisis de la longitud de los títulos ofrece unos datos que muestran un

moderado aumento de la longitud de los títulos en el periodo diacrónico
considerado y su estabilización entorno a los 91 caracteres. Siguiendo las
hipótesis de White (1981), que relacionan la longitud de los títulos con la
complejidad de la materia a la que se refieren, la investigación sobre E.P. en el
transcurso de este periodo, habría aumentado su complejidad como disciplina
científica, encontrándose en un momento de estabilización.
En el mismo sentido los datos referentes a la presencia en los títulos del

colon perfecto (representados gráficamente por los dos puntos), que relacionan su
presencia con la complejidad de los títulos en los que se insertan (Dillon, 1980 y
Perry, 1985), ofrecen un desarrollo similar, con un moderado crecimiento y
periodo de nivelación entorno a valores medios.
Esta estabilización de la complejidad disciplinar es compatible con los

datos referidos a productividad y citación, que ofrecen valores desde los que
puede inferirse una caracterización semejante del desarrollo y del momento en el
que se encuentra este campo de conocimiento en la actualidad, en crecimiento
logístico.
393
Estableciéndose una cierta continuidad en el proceso de análisis, que

permita el establecimiento de relaciones entre variables. A partir del análisis de
contenido de los títulos, además de comprobar los aspectos a los que se refieren
éstos, se delimitan las categorías que servirán para clasificar las palabras clave.
La mayor parte de los elementos constitutivos de los títulos analizados se

refiere a aspectos relacionados con la necesidad de desarrollar e implementar los
programas (30, 59%), seguido por aspectos relativos a los procesos de
implementación y metodología de las evaluaciones (24, 81%). En menor grado al
área de conocimiento a la que se refiere el programa (16, 79%), al contexto en el
que se implementa (16, 23%) y a los destinatarios o usuarios (11, 56 %).
Es decir, los títulos hacen sobre todo referencia a la necesidad del

desarrollo de los programas y a aspectos sobre el proceso y metodología de
implementación/evaluación. Esto indica por una parte la permanente necesidad de
justificar la intervención por medio de programas y la necesidad de su evaluación,
y por otra, la importancia que se ofrece a los criterios técnicos de ésta.
Hay que considerar que la mayoría de la producción registrada está

elaborada por autores pertenecientes a Centros Universitarios, principalmente
asociados a Áreas o Departamentos de Métodos de Investigación y publicados en
la Revista de Investigación Educativa. Rasgos que pueden determinar
elaboraciones más preocupadas por justificar su intervención y desarrollar
aspectos técnicos de ésta, que por consideraciones más prácticas relacionadas con
el contexto o los usuarios de los programas evaluados.
El registro de las palabras clave que describen las investigaciones en las

categorías desarrolladas a partir del análisis de contenido de los títulos (Ver
epígrafe 7.2.2) permite apoyar y delimitar este sistema, ofreciéndole más amplio
significado a cada una de éstas.
394
Con un proceso de análisis similar se establecen las áreas de

conocimiento a las que se refieren las actuaciones desarrolladas durante las
implementaciones de los programas. Clasificación que a su vez se emplea como
sistema de agrupamiento de los contenidos desarrollados en tales procesos.
La mayor parte de los programas evaluados se refieren a disciplinas

relacionadas con la Educación para la Salud, Consumo y Medio Ambiente (18,
3%), Orientación ya sea de aspectos educativos, vocacionales y laborales (13,
9%), psicoeducativa (13%) o familiar (12%) y Didáctica para la atención a las
Necesidades Educativas Especiales (12%).
Estas áreas consideradas, determinan una agenda de investigación sobre

E.P. muy afín a las líneas generales establecidas en la Investigación Educativa,
determinadas por un momento de clara preocupación por la calidad del sistema
educativo, reflejado incluso en el marco legal actual. En este sentido, la
evaluación poseería el impacto sobre las decisiones políticas, señalado por
(Carballo, 1992), jugando un papel primordial en los procesos de optimización
(De la Orden, 2000) y la evaluación de programas una exigencia ineludible para la
búsqueda progresiva y permanente de una mejor educación.
La revisión realizada por Velaz de Medrano et. al. (1996) sobre las
investigaciones realizadas por el C.I.D.E. durante diez años, se referían en un 73%
a la evaluación de programas, dedicando un 60% del total a la aplicación de
programas curriculares de ámbito restringido, sobre áreas como las indicadas.
Por tanto, la investigación sobre E.P. pese a su caracterización con

producciones frecuentemente de rasgos técnicos, es sin duda un ámbito de la
investigación educativa que por su propia naturaleza aplicada, se encuentra muy
conectado a las necesidades educativas y realidades sociales.
Paradójicamente, en estos nuevos ámbitos de intervención por medio de

programas, los soportes materiales para desarrollarlos/evaluarlos siguen
395
respondiendo a formatos tradicionales. La mayoría se basa en procesos sin

formato específico como clases ordinarias, conferencias o seminarios; seguidos en
frecuencia por los tradicionales basados en el lápiz y papel. Siendo muy escasas
las realizaciones apoyadas en formatos electrónicos y basadas en las nuevas
tecnologías.
De forma general se pueden resumir la discusión de datos conceptuales

por los valores más habituales en cada una de las variables consideradas, como se
muestra en la siguiente tabla 9.10.
Tabla 9.11. Resumen de hallazgos conceptuales de la investigación sobre E.P.E.
Longitud y Entorno a 91 caracteres: Aumento de la complejidad de la

colon perfecto. disciplina en momento de estabilización
TÍTULOS
Sobre necesidad de programas y metodologías de la
Contenidos
evaluación.
Necesidad de implementación.
Metodología de la evaluación.
PALABRAS CLAVE
Contextos de aplicación
Sobre...
Destinatarios/usuarios
Áreas de Conocimiento
CONTENIDOS
Ed. Salud, Consumo y Prevención de drogodependencias

Medio Ambiente Planificación familiar
Conocimiento del medio académico, social y

ÁREAS Orientación laboral.
usuales Educación para la carrera.
Educación social/familiar.
Didácticas para la Desarrollo de habilidades psicoeducativas.
atención a N.E.E. Resolución de problemas.
Habitualmente sin especificar, el material más

SOPORTES
empleado tipo lápiz y papel.
396
9.12. Resumen de inferencias evaluativas tras ajuste a patrones conceptuales de la investigación

española sobre E.P.E.
PATRÓN AJUSTE VALORACIÓN
1. Longitud de los títulos Estabilizado =
2. Complejidad de los títulos Medio =
3. Diversidad conceptual de los títulos Limitado -
4. Soportes. Tradicional -
5. Diversidad conceptual en palabras clave. Alta +
Se establecen tres tipos de valoraciones: +(alta), = (media) y – (baja), en base al ajuste que denota.
397
9.5. RESULTADOS DE ASPECTOS METODOLÓGICOS EN

LAS INVESTIGACIONES SOBRE E.P.
La discusión de los datos de carácter metodológico de los estudios

revisados en esta Tesis Doctoral se realiza en los mismos ámbitos en los que se
agrupan las variables en el primer epígrafe del capítulo cinco.
9.5.1. Ámbitos de fundamentación teórica.
Las investigaciones sobre evaluación de programas se fundamentan

mayoritariamente en el paradigma científico en más de un 56 % de los casos,
ocupando un porcentaje menor (25%) aquellas que se fundamentan en posiciones
humanístico interpretativas. El paradigma crítico es escasamente empleado,
puesto que tan sólo ocupa el 5,3% de los casos.
El empleo de aproximaciones científicas determina sin duda, como

señalan Arnal et. al. (1993), procesos de evaluación más viables para evaluar
efectos finales y cuantificables, que para mejorar el desarrollo de la
implementación de los programas.
Los ámbitos concretos de fundamentación teórica se reparten

equitativamente con porcentajes similares entre las teorías que intentan explicar el
ajuste social, las teorías de aprendizaje, las de desarrollo psicológico y las
relacionadas con el desarrollo didáctico.
La distribución de los ámbitos de fundamentación teórica se dispersa en

pequeños porcentajes entre diversas teorías específicas. Las más usuales (+10%)
son el cognitivismo y las teorías didácticas, las referidas a la atención a las N.E.E
y las que intentan explicar el ajuste y desarrollo sociofamiliar, afectivo y de
valores. (Ver tabla 8.2 sobre Ámbitos de fundamentación teórica).
398
Aunque el paradigma científico es el más empleado, una amplia mayoría

de evaluaciones, que alcanza el 63 %, no señala explícitamente las hipótesis de la
investigación en su informe.
En cuanto a la metodología, la más ampliamente utilizada (61,1%) es de

corte cuantitativo, que según los planteamientos de Pérez Juste (1997), es más
apropiada para la obtención de visiones generales profundas. Quedando
porcentajes mucho menores para la mixta (23,1%) y cualitativa (15,9%), más
acorde con la evaluación de elementos contextuales.
El empleo prioritario de metodologías cuantitativas también es denotado

por Álvarez Rojo (1993) refiriéndose a procesos evaluativos en el campo de la
Orientación.
El porcentaje obtenido por las metodologías de corte mixto o ecléctico no

cumple los principios que señalan Pérez Carbonell et. al. (1999), que abogan por
el empleo y vigorización de estas aproximaciones, para conseguir objetivos
múltiples y facilitar la triangulación. Aspectos a desarrollar en la investigación
sobre E.P.
Estos rasgos de los ámbitos de fundamentación de las evaluaciones

revisadas, determinan el uso mayoritario (46,2 %) de los modelos objetivistas para
la evaluación de programas, especialmente por el aporte de frecuencia realizado
por el modelo orientado a objetivos. Obteniendo idéntico porcentaje (21, 6%) las
aproximaciones subjetivistas y eclécticas, y un escaso uso las de corte crítico (5,
8%).
Con cierta lógica de ajuste a los modelos más empleados, puesto que
éstos ponen más énfasis en la evaluación de unas u otras facetas del programa, las
más evaluadas se refieren a la consecución de los objetivos propuestos en el
programa y reflejados en su plan de evaluación.
399
Pero pese a la importancia del uso de modelos científicos, son escasos los
estudios en los que el establecimiento de hipótesis, propio de éstos, se realiza de
forma explícita y justificada. Corriendo enormes riesgos evaluativos al darlas por
supuestas o asumirlas tácitamente.
El análisis de las facetas evaluadas en los procesos investigativos, arroja

la disposición en tres modelos diferenciados: Uno internalista, de corte cualitativo,
cuyo interés se centra en la contextualización de entradas y procesos. Otro con
una disposición más externalista, que fundamentada en el conductismo, evalúa las
entradas y productos. Y por último, otro con un enfoque trascendentalista, con un
interés focalizado en la evaluación de los impactos de los programas.
Los productos considerados/resultantes de estos procesos evaluativos se

refieren sobre todo al desempeño escolar y académico de los individuos,
especialmente a la variable rendimiento; a su promoción personal individual; y en
menor grado a su ajuste social.
De forma general, los principios de fundamentación teórica de la

investigación sobre evaluación de programas se asientan en modelos que Guba
(1978) llama convencionales y naturalísticos, y que se podrían calificar de cierto
conservadurismo epistemológico. Existiendo además cierta coherencia, Arnal et.
al. (1992), entre los distintos elementos que constituyen los aspectos de
fundamentación teórica.
En trabajos como el de Torralbo (1991), de revisión de investigaciones

sobre enseñanza de las matemáticas, en un formato eminentemente academicista
como es el de Tesis Doctorales y diferente de los revisados aquí, aunque también
se basan en principios cognitivistas, declaran el mayor empleo del paradigma
interpretativo humanístico y el uso más habitual de aproximaciones
metodológicas de corte cualitativo y/o mixto.
400
9.5.2. Instrumentos para la recogida de información.
En las investigaciones revisadas la mayoría de las fuentes de información

son directas, recogiéndose los datos por medio de instrumentos no estandarizados
(48,1 %) frente a los estandarizados (31, 25 %), entre los que destacan los
cuestionarios.
Estos datos son congruentes a los obtenidos por Torralbo (2001) que
obtiene un 54,1 % y 35, 6% de instrumentos no estandarizados y estandarizados
respectivamente.
Los criterios para establecer su validez y fiabilidad no son informaciones

que se declaren usualmente en los informes revisados, mayoritariamente por
tratarse de instrumentos estandarizados en los que se asumen éstos o por
establecerse genéricamente sin hacer especificación alguna. Así, aunque con
porcentajes muy bajos de menos del 5% del total de la distribución, el criterio de
validez más empleado es el constructo y el de validez la consistencia interna, que
Velaz de Medrano et. al. (1996) refieren a aspectos relacionados con la
minuciosidad de su elaboración.
Se establece un índice de 0,5 criterios de validez por instrumento

considerado. Datos que ofrecen una perspectiva de la instrumentación en la
investigación sobre E.P. que algunos autores como García Ramos (1992) califican
de cierta debilidad, al faltar instrumentos con suficientes garantías de validez y
fiabilidad.
Comparativamente en la revisión de investigaciones sobre enseñanza de

las matemáticas, Torralbo (1991), la mayoría de instrumentos no son
estandarizados sino de elaboración adhoc para cada trabajo, basando su validez en
criterios de contenido y su fiabilidad en su consistencia interna.
401
9.5.3. Población y muestra.
En las investigaciones revisadas, no parece ofrecerse importancia a la

descripción de las poblaciones a las que se generalizarían los hallazgos, ya que en
su mayoría (44,2 %) tan sólo se indica ésta de forma general.
Los procesos de selección de las muestras se suelen basar en

procedimientos no aleatorios, sobre todo por conveniencia e intencionalidad,
aunque también es habitual el empleo de procesos basados en conglomerados no
aleatorizados.
Estas características son propias de la implementación/evaluación de

programas sobre grupos previamente conformados, como son las clases y
agrupamientos típicos del sistema educativo. Realizándose actuaciones específicas
sobre poblaciones suficientemente caracterizadas, como para no tener que
profundizar en su descripción.
Precisamente este origen poblacional determina que en la mayoría de las

muestras ni siquiera se considere el género o posean composición mixta, carácter
muy asumido en el Sistema Educativo público. Muestras que suelen tener
intervalos de edad de 7 a ó 13 a 18, con niveles consecuentes en Educación
Primaria y Secundaria.
Los tamaños muestrales más usuales están entre 100 y 1000 unidades,
cantidad muy acorde con el empleo mayoritario de cuestionarios como
instrumentos de recogida de informaciones.
Todos estos datos sobre las poblaciones y criterios de selección de la

muestra son muy compatibles con los ofrecidos por Torralbo (2001) en un campo
distinto al de la Evaluación de Programas, con lo que con las debidas
precauciones, no parece del todo inusual en toda la investigación educativa.
402
Todos estos aspectos determinan el planteamiento de dudas sobre la

verdadera representatividad de las muestras, en los estudios revisados.
9.5.4. Diseños de investigación.
Los diseños empleados en E.P. son muy diversos destacando en la

muestra considerada los denominados prefijados, sobre todo cusiexperimentales
con dos grupos (grupo de control equivalente) y pretest-postest (26, 9%), y
descriptivos tipo encuesta (20,7 %). Poseyendo este tipo de diseños una
disposición temporal de tipo longitudinal.
El carácter de fundamentación científico de las investigaciones y el

desarrollo de diseños de tipo casi experimental determinan unas condiciones
evaluativas en las que el evaluador asume un rol externo al programa, como
asesor de soluciones sobre su desarrollo y juez de sus resultados.
El empleo usual de diseños de tipo de corte descriptivo es igualmente

congruente con los instrumentos más utilizados en la recogida de informaciones,
que como se indicaba anteriormente se realiza por medio de cuestionarios, muy
empleados en este tipo de estudios.
La intervención por programas y la evaluación de estos se suele realizar

en contextos sociales de enorme complejidad a escala experimental, por ello
abundan realizaciones en cuyo diseño no siempre es posible el control total de
todas las variables, como los de tipo cuasiexperimental o descriptivos (Tejedor,
2000). Este principio, congruente con los datos obtenidos, obliga en cierto sentido
a intentar controlar estas variables estableciendo diversos mecanismos para ello.
Sin embargo, según estos mismos datos, en más del 82 % de los trabajos revisados
no se hace referencia alguna a amenazas a su diseño de investigación, ni por lo
tanto a medidas para controlarlas.
403
Estas características en cuanto a diseños de investigación, aunque puedan

ser calificadas de cierta debilidad, son propias de la Investigación Social. E

Analisis Cientimetrico de La Evaluacion de Programas Pedagógicos

Cargado por

Información del documento

Descripción:

Título original

Derechos de autor

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Descripción:

Copyright:

Analisis Cientimetrico de La Evaluacion de Programas Pedagógicos

Título original:

Cargado por

Descripción:

Copyright:

UNIVERSIDAD DE GRANADA

Facultad de Ciencias de la Educación

ANÁLISIS CIENTIMÉTRICO, CONCEPTUAL Y

Jorge Expósito López

Facultad de Ciencias de la Educación

ANÁLISIS CIENTIMÉTRICO, CONCEPTUAL Y METODOLÓGICO DE

Tesis doctoral presentada por

Bajo la dirección del

Fdo. Dr. Antonio Fernández Cano. Fdo. Jorge Expósito López.

Granada, 15 de Septiembre del 2002.

Que la tesis "Análisis cientimétrico, conceptual y metodológico de la

Fdo. Dr. Antonio Fernández Cano.

Granada, 15 de Septiembre del 2002.

En primer lugar quisiera agradecer al director de esta tesis, Dr. D. Antonio

Quisiera hacer extensivo este agradecimiento a los componentes del grupo de

También he de agradecer a mis compañeros de trabajo y amigos su paciencia

Y en lo personal a toda mi familia, especialmente a mi madre y a mi hermano

De manera especial quisiera agradecer a Eva, mi compañera, su disposición para

PARTE I. FUNDAMENTOS TEÓRICOS

CAPÍTULO I. INVESTIGACIÓN EVALUATIVA Y EVALUACIÓN DE

1.1. Introducción ................................................................................................ 3

1.6. La evaluación de programas en España.

CAPÍTULO II. LA EVALUACIÓN DE PROGRAMAS COMO

2.1. Introducción ................................................................................................ 33

CAPÍTULO III. CIENCIOMETRÍA Y EDUCACIÓN.

3.1. Introducción ................................................................................................ 79

3.5.3. Ley de crecimiento exponencial de la literatura científica................ 97

PARTE II. ESTUDIO EMPÍRICO.

INTRODUCCIÓN AL ESTUDIO EMPÍRICO............................................ 113

CAPÍTULO IV. MARCO EMPÍRICO DEL ESTUDIO.

4.1. El problema genérico a estudio. Racionalidad....................................... 115

5.1. Indicadores y variables del estudio.

5.1.3. Indicadores y variables metodológicas..................................................... 144

CAPÍTULO VI. ANÁLISIS E INTERPRETACIÓN DE

6.1. Introducción................................................................................................ 207

CAPÍTULO VII. ANÁLISIS DE DATOS CONCEPTUALES.

7.1. Introducción ............................................................................................... 275

CAPÍTULO VIII. ANÁLISIS DE RESULTADOS DE LOS INDICADORES

8.1. Introducción................................................................................................ 287

8.4.4. Género de la muestra.......................................................................... 323

CAPÍTULO IX. DISCUSIÓN DE RESULTADOS.

9.1. Introducción................................................................................................ 367

9.3.3. Citación por fuentes de edición y lengua empleada......................... 386

CAPÍTULO X. VALORACIÓN DE LOS HALLAZGOS Y APERTURA

10.1. Cumplimiento de objetivos de investigación y adecuación de los

Anexo 1. Datos cientimétricos de productividad................................................ 497

La evaluación de programas se ha ido definiendo, a lo largo de los últimos

Paulatinamente se ha ido reconociendo la necesidad de valorar las

Desde el punto de vista eminentemente pedagógico, basta con remitirse a

La evaluación, es por tanto, una herramienta metodológica que facilita,

Aunque es éste un campo profesional y académico que se ha desarrollado

Esta reconsideración disciplinar puede plantearse, en algunos aspectos,

Ya en 1929 Ortega y Gasset hacía mención a la necesidad de la

El campo a indagar aquí se refiere, por tanto, a la revisión de la

Esta Tesis Doctoral en concreto, es una revisión que trata de sintetizar

Su estructura se articula en dos partes fundamentales. Una primera que

Además, se ofrecen una serie de epígrafes que, facilitan la lectura como

De forma pormenorizada, en el capítulo primero, se introducen los

y sincrónico en su origen y desarrollo en ámbito internacional y en el contexto

Esta actividad científica sobre un campo tan concreto posee

El tercer capítulo y último de la sección teórica responde a la

El marco empírico comienza en el capítulo cuarto señalando y