Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Investigacion Evaluativa PDF
Investigacion Evaluativa PDF
evaluativa
Santiago Correa Uribe
Antonio Puerta Zapata
Bernardo Restrepo Gmez
INSTITUTO COLOMBIANO PARA EL FOMENTO
DE LA EDUCACIN SUPERIOR, ICFES
DIRECCIN GENERAL
Calle 17 No. 3-40 A.A. 6913
Telfonos: 3387338 - 3387360
Fax: 2836778
Bogot, Colombia
SUBDIRECTORA DE FOMENTO
Y DESARROLLO DE LA EDUCACIN SUPERIOR: Mara de Jess Restrepo
2
El proyecto para la formacin de recursos humanos en la educacin superior titulado
Especializacin en Teora, mtodos y tcnicas de investigacin social con la colaboracin de
ASCUN, fue realizado por el ICFES, para lo cual se conform el siguiente equipo de trabajo:
GRUPO DE AUTORES
3
4
Contenido
Presentacin .............................................................................................................................. 9
Introduccin .............................................................................................................................. 1
PRIMERA UNIDAD
Los conceptos de institucin - evaluacin e investigacin
Introduccin ........................................................................................................................ 19
Objetivos de la unidad ....................................................................................................... 20
Mapa conceptual ................................................................................................................ 21
1. Concepto de Institucin ................................................................................................. 23
2. Concepto de evaluacin ............................................................................................... 27
3. Investigacin y evaluacin ............................................................................................ 29
4. Tipos de evaluacin ...................................................................................................... 37
Autoevaluacin No. 1 ....................................................................................................... 46
Actividad de evaluacin ................................................................................................... 47
Lecturas complementarias. ............................................................................................ 48
Bibliografa. ........................................................................................................................ 49
SEGUNDA UNIDAD
Itinerario de la evaluacin de programas
como disciplina ................................................................................................................. 51
5
Mapa conceptual. ............................................................................................................... 52
Introduccin ........................................................................................................................ 53
Objetivos de la unidad. ...................................................................................................... 54
Desarrollo de la unidad. .................................................................................................... 54
Coda .................................................................................................................................... 72
Lecturas complementarias. ............................................................................................ 73
Autoevaluacin No. 2 ....................................................................................................... 74
Actividades de Evaluacin. ............................................................................................. 75
Bibliografa. ........................................................................................................................ 76
TERCERA UNIDAD
Paradigmas - enfoques - orientaciones
y modelos evaluativos ..................................................................................................... 81
CUARTA UNIDAD
Diseo metodolgico, implementacin, anlisis
e informes de la evaluacin. ......................................................................................... 129
6
LAS REAS DEL MUNDO SOCIAL Y LAS PERSPECTIVAS DE "CIENCIAS DE LA DISCUSIN"
LECTURAS COMPLEMENTARIAS
Lectura complementaria N 1 ...................................................................................... 169
7
8
Presentacin
DANIEL BOGOYA M.
Director General ICFES
9
10
Introduccin
La evaluacin es una ciencia social de gran actualidad cuyo potencial no se discute, pero
an sigue en permanente proceso de construccin.
11
12
Estructura general del mdulo
El mdulo consta de cuatro unidades que en una secuencia lgica pretenden dar cuenta
de los aspectos antes mencionados.
Cada unidad parte de unos objetivos especficos y un mapa conceptual, continuando con
el desarrollo de los contenidos, los cuales sern complementados con lecturas de
afianzamiento y ejemplificacin de los temas de la unidad. Presenta a continuacin la
autoevaluacin sobre los contenidos y unas actividades de evaluacin productiva que
pretenden dar aplicacin y dotar al estudiante de la experiencia requerida para el ejercicio
de la investigacin evaluativa. Para terminar, aparecen las referencias bibliogrficas
utilizadas en el texto de la unidad.
13
OBJETIVO GENERAL
OBJETIVOS ESPECIFICOS
14
LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN
LA INVESTIGACIN EVALUATIVA
ITINERARIO DE LA EVALUACIN
CONCEPTUALIZACIN BSICA DE PROGRAMAS COMO DISCIPLINA
Propuesta en Analizado en
UNIDAD 1 UNIDAD 2
Permite plantear
PARADIGMAS-ENFOQUES
ORIENTACIONES Y
MODELOS EVALUATIVOS
Vistos en
UNIDAD 3
Que requieren
DISEO METODOLGICO
Propuesto en
UNIDAD 4
15
16
LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN
Los conceptos de
institucin-evaluacin
e investigacin evaluativa
y aproximacin a una
tipologa de evaluacin
Santiago Correa Uribe
Profesor Universidad de Antioquia
17
LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN
18
LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN
INTRODUCCIN
Esta primera unidad pretende hacer claridad sobre los conceptos de institucin, evaluacin
e investigacin evaluativa de tal manera que permita reconocer la evaluacin como una
ciencia social de gran actualidad que se vale de los mtodos, tcnicas e instrumental de
la investigacin social, pero que, dadas sus peculiares caractersticas y sus marcos de
accin, presentan una complejidad diferente para lo cual no basta con el dominio de los
mtodos y tcnicas antes mencionadas.
Define, adems, esta unidad los propsitos de la evaluacin y presenta diferentes tipos
de evaluacin referenciados en la literatura sobre el tema.
Por ltimo, pretende resaltar los aportes hechos por la investigacin evaluativa a la
cualificacin y mejoramiento de los programas sociales.
19
LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN
OBJETIVOS DE LA UNIDAD
20
LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN
Mapa conceptual
CONCEPTO DE INSTITUCIN
establece
NIVELES DE LA INSTITUCIN
como
requieren
EVALUACIN
cuando es
EVALUACIN SISTEMTICA
se denomina
INVESTIGACIN EVALUATIVA
O
EVALUACIN DE PROGRAMAS
propone
TIPOS DE EVALUACIN
tales como
COSTO
RENDIMIENTO
COSTO
UTILIDAD SOCIAL
permiten
META EVALUACIN
21
LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN
22
LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN
I. CONCEPTO DE INSTITUCIN
La definicin anterior plantea la complejidad del concepto institucin, el cual puede asumirse
como un complejo de normas institucionalizadas, como cada una de las organizaciones
fundamentales de un estado o nacin o como organismo que desempea una funcin de
inters pblico. En lo que si existe acuerdo es en afirmar que la Institucin es el testimonio
sensible de la verdad de que el hombre no est solo en el escenario de la vida social y
que una institucin slo tiene fuerza cuando corresponde a la necesidad verdadera y
actualmente sentida que hace establecerla.
23
LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN
Estructura organizacional.
24
LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN
Funcionamiento de la entidad.
realizaciones).
25
LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN
Hay hechos para cuyo anlisis debemos recurrir preferentemente a los instrumentos y
tcnicas de las ciencias econmicas, mientras otros resultan ms asequibles a los
mtodos de las ciencias sociales y humanas. En la medida en que tales hechos se
identifican como efectos de un proyecto estudiado, los denominaremos efectos econmicos
en el primer caso y sociales en el segundo. El criterio diferenciador va implcito en la
metodologa especfica aplicada al caso.
Existen tambin diferencias, al respecto, a los objetivos perseguidos y, por tanto, a los
tipos de programas. Una fbrica, al igual que una institucin de salud, genera siempre
efectos econmicos como sociales. Sin embargo, en la primera predominan finalidades y
caractersticas estructurales que se formulan generalmente en categoras econmicas,
mientras que en la segunda, los objetivos y caractersticas se definen por lo regular
mediante el empleo de categoras referentes a beneficios sociales. En virtud de lo anterior
denominamos como proyectos econmicos a aquellos que persiguen, ante todo, fines
econmicos, y programas sociales a aquellos cuya finalidad principal consiste en beneficios
expresados en trminos sociolgicos, sociopolticos, culturales o psicosociales. Esta
distincin es puramente operativa, independiente de toda consideracin terico-cientfica
y tiene por objeto nicamente una delimitacin pragmtica de los factores econmicos y
sociales en los procesos de desarrollo.
26
LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN
El trmino evaluacin es una palabra elstica que se emplea para abarcar muchas clases
de juicios. Se habla de evaluacin de la ejecucin de la tarea, de evaluacin de la calidad
de la educacin, de evaluacin del clima organizacional, de evaluacin del material
didctico, de evaluacin del mercado potencial de un producto, de evaluacin de sentido
de pertenencia, de evaluacin de un determinado programa, proyecto o institucin, etc.
Sin embargo, el trmino evaluacin, a pesar de su creciente popularidad y empleo
permanente, es pobremente definido y a menudo impropiamente utilizado. Para la mayora,
su significado es tomado como garanta y muy pocos ensayos se han hecho en lo
concerniente a formular una definicin conceptualmente rigurosa o al anlisis de los
principios de su uso. El resultado es un gran desacuerdo con muchos otros trminos
como valoracin, estimacin, apreciacin, juzgamiento, muchas veces utilizados como
sinnimos de evaluacin.
Por evaluacin entienden algunos autores el control del xito o fracaso de programas,
proyectos o instituciones, en el sentido de identificar y medir resultados. As, la evaluacin
es un esfuerzo por reconocer qu cambios se presentan durante y despus de un programa
de accin y qu parte de dichos cambios pueden atribuirse al programa. La enciclopedia
sobre poltica del desarrollo plantea: Bajo control de xito o evaluacin van comprendidas
todas las medidas que se tomen para estudiar los efectos e implicaciones de un programa
o un proyecto de desarrollo.
Otros autores, en cambio, no ven en la evaluacin ningn fin cientfico en s, sino solamente
una ayuda para tomar decisiones administrativas racionales. As, la evaluacin es un
27
LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN
proceso que capacita al administrador para describir los efectos del programa y a partir
de ello hacer los ajustes progresivos en orden a alcanzar las metas ms efectivamente.
Muchas otras definiciones coinciden en el concepto de finalidad como criterio de exploracin
de los resultados del proyecto.
28
LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN
Por diferentes que sean las maneras de concebir el fin y los mtodos de la evaluacin
que estas definiciones implican, todas ellas podemos reducirlas a un comn denominador:
el de que todas se refieren a la investigacin y la apreciacin de la eficiencia, eficacia,
efectividad y relevancia social de una institucin, programa o proyecto, para lo cual se
requiere disponer de informacin sobre los insumos, los procesos y los productos o
resultados. Cuanto ms vlidas, confiables y representativas sean estas informaciones,
mayor ser la posibilidad de reorganizar los fines y los medios de un programa o proyecto,
de tal manera que ste arroje resultados ptimos. Obtener y valorar estas informaciones
es lo que denominamos evaluacin.
29
LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN
Otro tipo de pseudoevaluaciones son los estudios basados en las relaciones pblicas,
planificados, realizados y utilizados para satisfacer propsitos que tengan que ver con
las relaciones pblicas. Buscan informacin que pueda ser de ayuda para asegurar el
apoyo del pblico. Los mtodos que se usan ms frecuentemente en este tipo de estudios
son las inspecciones, las pruebas y la utilizacin de asesores expertos. La principal
caracterstica de la utilizacin de mtodos dudosos por parte de este tipo de evaluadores
es su propensin a crear una buena imagen del objeto de evaluacin. (Stufflebean y
Shinkfield, 1995).
Pertenecen a este tipo de estudios los basados en objetivos que segn el autor mencionado
han sido, quiz, la principal fuerza que ha impulsado el movimiento para sistematizar el
trabajo evaluativo y los estudios basados en la experimentacin los cuales incluyen cuestiones
y metodologas a veces relacionadas, pero a veces no, con el juicio de valores. La principal
30
LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN
Suchman (1967) deline claramente las diferencias existentes entre los objetivos y las
facultades investigativas de la evaluacin, oponindolas a las de la investigacin bsica o
pura, las cuales hacen referencia a una compleja mezcla de distintos valores, propsitos
y recursos.
31
LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN
La investigacin evaluativa contiene una amplia serie de variables sobre las que el evaluador
tiene muy poco o ningn control y sus resultados son poco generalizables, pues son
aplicables al programa que est siendo evaluado y a sus ramificaciones contextuales.
Principios de la Evaluacin
3. Uso: los resultados de la evaluacin deben darse a conocer a todos los actores y
ponerse a disposicin del pblico.
4. Fin: la evaluacin debe orientarse y organizarse teniendo en cuenta que el punto final
de sta es la toma de decisiones.
32
LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN
b. Se garantice que los instrumentos de medicin midan lo que se quiere medir (todo
lo que se quiere medir y slo lo que se quiere medir), es decir, hayan congruencias
entre los tems que componen el instrumento y el objeto evaluado que se mide
(validez de contenido de los instrumentos).
1. Integral: de modo que comprenda todos los elementos e involucre todos los factores
que intervienen en el programa o accin evaluada.
2. Participativa: esto es que vincule activamente los diferentes actores que intervienen
en el programa o accin que se va a evaluar.
33
LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN
PROPSITOS DE LA EVALUACIN
Suchman (1967) asume como propsitos de la evaluacin los expuestos por Bigman
(1961).
5. Sentar las bases de una futura investigacin sobre las razones del relativo xito de
tcnicas alternativas.
6. Redefinir los medios que hay que utilizar para alcanzar los objetivos, as como, incluso,
las submetas, a la luz de los descubrimientos de la investigacin.
34
LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN
Estos propsitos, en opinin de Suchman, plantean una relacin intrnseca entre la planificacin
del programa, su desarrollo y la evaluacin. Los medios para alcanzar dichos propsitos (la
investigacin evaluativa) deben proporcionar la informacin bsica para planificar y, si es
necesario, replanificar los programas. As como la investigacin tradicional suele conducir
hacia una comprensin ms amplia de los procesos bsicos, la investigacin evaluativa debe
conducir a una mayor comprensin de los procesos aplicados o administrativos.
Weiss (1985) plantea como propsito de la investigacin evaluativa medir los efectos de
un programa por comparacin con las metas que se propuso alcanzar, a fin de contribuir
a la toma de decisiones subsiguientes acerca del programa y para mejorar la programacin
futura (p. 16). Aparecen aqu cuatro rasgos primordiales: la expresin medir hace
referencia a la metodologa de la evaluacin que se emplea. La expresin los efectos
hace hincapi en los resultados del programa. La comparacin de los efectos con las
metas subraya el uso de criterios explcitos para juzgar hasta qu punto el programa est
marchando bien. La contribucin a la toma de decisiones subsiguientes y al mejoramiento
de la programacin futura denota la finalidad social de la evaluacin.
35
LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN
3. Aumentar la eficiencia interna del programa, vale decir, la relacin entre insumos y
resultados.
5. Someter a verificacin la teora o hiptesis que relaciona los componentes del programa
con los resultados buscados.
Plantea el autor en mencin que, cualquiera que sea el caso, algunos de estos propsitos
surgen de algn indicio o sospecha de que algo anda mal en el programa. Tales
indicaciones, junto con otras fuentes de informacin, permiten definir los objetivos de la
evaluacin y, en definitiva, ayudar a preparar el diseo metodolgico que se emplear.
36
LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN
Existe una amplia clasificacin de los tipos de evaluacin, diferenciados de acuerdo con
mltiples criterios: el momento en que se realiza la evaluacin, la naturaleza del programa
que se quiere evaluar, la procedencia de los evaluadores, las categoras que se van a
emplear y muchos otros que dificultan una tipologa universalmente aceptada.
A continuacin se definen los tipos de investigacin mas conocidos, con el nimo de que
el investigador disponga de varias opciones metodolgicas en el momento de emprender
una evaluacin.
Es til distinguir como lo hace Scriven (1967) entre una evaluacin formativa y evaluacin
sumativa o acumulativa.
37
LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN
2. Es continua e integral.
38
LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN
2. Es circunstancial.
4. Debe ser realizada por un personal diferente al que presta los servicios incluidos dentro
de un programa.
Los productos, o sea, los bienes y servicios producidos y prestados por el programa
o proyecto.
Se dice que una evaluacin efectuada por investigadores externos asegura mayor
objetividad en cuanto a la apreciacin del funcionamiento y resultados del programa.
39
LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN
Por otro lado es ms probable que el evaluador externo se haya sometido a un entrenamiento
especial en la evaluacin de programas y que tambin tenga experiencia en otras
situaciones que pueda aplicar en esta oportunidad. Los evaluadores externos adquieren
en el ejercicio de su profesin una gran habilidad para determinar los asuntos claves que
deben ser evaluados, los indicadores ms adecuados y las mejores estrategias y diseos
para la recoleccin, el procesamiento, el anlisis y la interpretacin de la informacin.
Los defensores de este tipo de evaluacin afirman que los funcionarios tienen un
conocimiento ms profundo de la estructura y funcionamiento del programa y, por
consiguiente, estn en mejores condiciones de evaluarlo. Por el contrario, sus opositores
afirman que el personal vinculado directamente al programa no podr tomar distancia
crtica frente al mismo, pues muchas veces el compromiso de estos funcionarios resulta
ms afectivo que racional o profesional, por lo cual no pueden ver las fallas del programa
y, adems, en ocasiones la defensa del programa tal cual se realiza les representa una
estabilidad laboral.
40
LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN
Permite que se acepten ms fcilmente los resultados y que se tomen las medidas
respectivas.
41
LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN
Briones (1991) identifica la evaluacin intermedia como aquella que busca informacin
durante el desarrollo del programa con el fin de detectar problemas de funcionamiento y
buscarles soluciones adecuadas y oportunas. La evaluacin terminal, denominada tambin
evaluacin ex-post, es el estudio que se realiza despus de que el programa ha terminado,
con la finalidad de establecer si se obtuvieron los resultados esperados y los factores que
actuaron en una u otra direccin.
42
LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN
Evaluacin explicativa: trata de establecer la relacin causal entre los diferentes factores
que intervienen en el programa y entre ste y el contexto. Estas explicaciones, a su vez,
estn constituidas por generalizaciones incorporadas al cuerpo de las disciplinas en las
cuales se apoya el programa (psicologa, sociologa, antropologa, etc.), o bien se formulan
hiptesis explicativas ad hoc, que nuevas evaluaciones podrn confirmar o desconfimar
(Briones, 1991:28).
43
LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN
44
LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN
persona o empresa que realiza dicha actividad. Por consiguiente, los costos sociales
estn formados por los costos de oportunidad de los recursos usados en la actividad,
junto con el valor de cualquier prdida de bienestar o incremento de costos que esa
actividad provoca para algn individuo o grupo social.
45
LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN
AUTO EVALUACIN 1
3. Hasta qu punto cree usted que la sociedad debe investir en preparar y emplear
especialistas en investigacin evaluativa en lugar de simples evaluadores?
46
LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN
ACTIVIDAD DE EVALUACIN
47
LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN
LECTURA COMPLEMENTARIA:
48
LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN
BIBLIOGRAFA
Pichardo, Arlette. Evaluacin del impacto social. San Jos, Costa Rica: Editorial
Universidad de Costa Rica, 1989.
49
LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN
50
LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN
Itinerario de la evaluacin de
programas como disciplina
Bernardo Restrepo Gmez
Profesor Universidad de Antioquia
51
ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA
Mapa conceptual
Itinerario de la investigacin
evaluativa
a partir de
Evaluacin emprica
hacia
La evaluacin sistemtica
con la siguiente
Periodizacin
para analizar
1a. etapa 2a. etapa 3a. etapa 1a. etapa 2a. etapa 3a. etapa
y comentar
La necesidad actual
y
El mundo Colombia
52
ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA
INTRODUCCIN
Esta unidad sobre la historia de la evaluacin como disciplina, que comprende la evolucin
de la investigacin evaluativa, pretende dar al evaluador de instituciones y programas
sociales una visin del itinerario seguido por este campo de accin investigativa a partir
de la dcada de 1930 cuando comienz la sistematizacin de esta actividad, que, a decir
verdad, ha existido desde tiempos inmemorables. El valor y mrito de una poltica, de una
institucin, de un programa concreto, en efecto, han sido observados y medidos siempre
por los estados con el propsito de tomar decisiones sobre la continuidad de unos y
otros. Slo que se haca con base en la experiencia de quien apreciaba la situacin, sin
instrumentos de ayuda capaces de refinar los resultados. El nacimiento de una disciplina
acadmica, encargada de producir conocimientos y tecnologa sobre la accin evaluativa,
suele ubicarse en la dcada de 1930, concretamente en los trabajos de Ralph Tyler sobre
evaluacin "como una rea que deba ir ms all del examen y de lo acadmico para
incluir lo contextual de los programas educativos y de su rendimiento.
Desde el acuamiento del trmino "evaluacin, hecho debido a Tyler (1934), la disciplina
se ha ido configurando y en torno a ella se ha ido consolidando una comunidad acadmica
encargada de cultivar sus temticas, corrientes u orientaciones, metodologa y
aplicaciones. Esta unidad se ha pensado como vehculo para pasear a los lectores por
los escenarios histricos que la evaluacin de programas ha recorrido desde 1934 hasta
finales del siglo XX.
53
ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA
3. Objetivos
4. Desarrollo de la unidad
Evaluar es someter algo a valoracin o tratar de juzgar el valor y mrito de algo, como la
ha definido Scriven (Stufflebeam, 1997). Esto puede hacerse empricamente acudiendo al
sentido comn, o puede hacerse sistemticamente con enfoques y mtodos compartidos
por comunidades acadmicas y cientficas. Los Estados en sus distintos entes territoriales,
las instituciones internacionales y multilaterales y, en general, quien patrocina polticas,
54
ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA
programas o proyectos de cualquiera ndole exigen desde hace unas cuatro dcadas que
la evaluacin de polticas y programas sociales, cientficos y productivos se adelante a
travs del segundo tipo de evaluacin.
Hoy en da, la evaluacin de programas tiene gran desarrollo en los EE.UU., Europa
(Inglaterra, Francia, Italia, Hungra, pases escandinavos...), Australia, Israel, frica y
Amrica Latina. Su origen se ubica en los EE.UU. e Inglaterra (Worthen, Sanders y
Fitzpatrick, 1997).
55
ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA
resultados de dicho rendimiento. Con sus trabajos iniciales al respecto se inici una
individualizacin de la evaluacin educativa en cuanto investigacin evaluativa. Esta etapa
se extendi hasta finales de la dcada de 1950.
56
ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA
(Suchman, 1967; Campbel, 1969), impulsados para evaluar proyectos en varias reas
sociales desde varias dcadas atrs hasta hoy da por el Banco Mundial (Grossman,
1994; Newman et al., 1994), diseos preocupados principalmente, sobre todo en las
dcadas de 1970, 1980 y 1990, con las repercusiones sociales o el impacto real de la
inversin en programas sociales. Pero se hizo obvio pronto que este enfoque, si bien
lograba evidencias bastante certeras sobre efectos debidos a determinados tratamientos
o intervenciones transformadoras, dejaba por fuera elementos no verificables
experimentalmente, pero de necesaria apreciacin cuando de mejorar procesos se trata.
Se acudi, entonces, al diseo de modelos ms cualitativos como el estudio de casos, el
modelo de discrepancia entre resultados y objetivos (Provus, 1969), la evaluacin de
expertos, el modelo de evaluacin formativa y sumativa, ms orientada al cliente (Scriven,
1967), el modelo de semblanza de Stake, ms preocupado con procesos y con la visin
de todos los interesados en los programas (1967, 1968), y otros, con lo cual el avance de
la evaluacin como disciplina fue notorio en la dcada de 1960. Muchos de los tericos
consolidados hoy en la investigacin evaluativa aparecen ya en esta segunda etapa del
itinerario de la evaluacin y plantean modelos con respecto al saber y prctica que manejan,
normas y criterios de verificacin y pretensiones de sistematicidad, sin proponer an
reglas universales.
57
ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA
Finalmente, a partir de la dcada de 1970 se inici una tercera etapa que enrut la
evaluacin por senderos de madurez y de cientificidad. Difcil es trazar la lnea divisoria
entre la segunda y tercera etapas de la historia reciente de la investigacin evaluativa. En
ambas emergen modelos alternativos dentro de los diferentes enfoques u orientaciones.
Quizs el hecho ms visible en la ltima etapa es la consolidacin de una comunidad
acadmica identificada y fuerte a travs de asociaciones de evaluacin, a travs de la
conformacin de redes internacionales y de foros y conferencias tambin internacionales
para intercambiar temas de inters, problemas, mtodos, indicadores y estndares
orientadores.
58
ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA
59
ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA
Otro esfuerzo evaluativo de esta primera etapa lo constituyeron las pruebas de estado o
pruebas ICFES, aplicadas a los estudiantes que terminan bachillerato, con el fin de
comprobar niveles mnimos de aptitudes y conocimientos de quienes aspiran a ingresar a
la educacin superior. La aplicacin de estas pruebas se inici en 1968 con el nombre de
exmenes nacionales que en 1980 pasaron a ser exmenes de estado (ICFES, 1998).
En otros mbitos distintos al educativo, como los de salud, agricultura, bienestar social
y desarrollo comunitario, se llevan a cabo evaluaciones diagnsticas y de efectividad de
reformas e innovaciones, casi todas de carcter descriptivo.
60
ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA
61
ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA
Una segunda evaluacin de los INEM tuvo lugar en 1981-82 (Vlez y Trouchn, 1983) y
se orient a detectar resultados laborales y acadmicos de los egresados de estos
institutos. El estudio fue patrocinado por el Ministerio de Educacin, el BID y el Instituto
SER de investigacin. El BID realiz luego varias evaluaciones a fondo del experimento
INEM, no solo en Colombia, sino tambin en Brasil y en Tanzania. Psacharopoulos (1984a)
efectu evaluaciones de los INEM en Colombia y Tanzania, y Psacharopoulos, Vlez y
Zabala (1984b) efectuaron otra evaluacin en Colombia para comparar los niveles de
empleo, ingresos y habilidades cognoscitivas de estudiantes egresados de estos institutos
frente a los mismos atributos de egresados de instituciones de educacin media
tradicional. Los resultados fueron poco halageos. Posteriores evaluaciones arrojaron
resultados similares y subrayaron la deficiente capacidad de los INEM para actualizar su
infraestructura tecnolgica y, aunque un estudio nacional arroj resultados contrarios en
lo referente al desempeo laboral esperado de los INEM (Puig, 1987), el plan de desarrollo
del gobierno de Csar Gaviria desestimul, con base en estas evaluaciones, la modalidad
de educacin media diversificada y sugiri dejar al SENA la funcin de formacin vocacional
que antes se haba encargado a los INEM.
62
ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA
En 1977, el Ministerio de Educacin, con el auspicio del PNUD y UNESCO, llev a cabo
una evaluacin nacional de las escuelas normales (Kurmen y Briones, 1978) con los
objetivos de evaluar los insumos, funcionamiento y calidad de stas, as como su
administracin y estimar la situacin de oferta y demanda de profesores de las escuelas
primarias del pas, con miras a establecer los principales problemas de las normales y
hacer recomendaciones relativas a mejorar el funcionamiento, la calidad y adecuar el
nmero de establecimientos a las necesidades del pas. En la parte final del estudio se
hizo una clasificacin o jerarquizacin de las normales, y se encontr que en todo el pas
slo el 11,3% de las 209 escuelas normales quedaba en la primera categora, es decir, en
la categora de excelentes, un 12,9% en la segunda categora, un 26,3% en la tercera, un
33,0% en la cuarta y un 16,5% en la quinta categora, esto es, en la de ms baja calidad.
Se recomend no abrir ms normales y cerrar progresivamente hasta el ao 1980 las que
haban quedado en categoras tercera, cuarta y quinta, o sea, el 75% de estas instituciones
formadoras de maestros.
63
ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA
El Proyecto Principal abarc de los aos 1982 a 1999 y se fij tres objetivos bsicos
relacionados con la escolarizacin para 1999 de todos los nios en edad escolar: eliminar
el analfabetismo antes del fin del siglo, ampliar el servicio educativo para los adultos y
mejorar la calidad y eficiencia de los sistemas educativos. El Proyecto fij como mxima
entidad de seguimiento y evaluacin las Reuniones del Comit Intergubernamental del
Proyecto Principal en la Esfera de la Educacin en la Regin de Amrica Latina y El
Caribe, PROMEDLAC. La segunda de estas reuniones se llev a cabo en Bogot en
1987. A su vez, cada pas integr una Comisin Nacional del Proyecto Principal para
hacer la evaluacin de logros de los objetivos del Proyecto y present ante las reuniones
de PROMEDLAC informes sobre los avances y problemas, as como recomendaciones
para el mejor cumplimiento de los compromisos adquiridos frente al Proyecto (MEN,
64
ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA
1987). Este gran proyecto, por sus implicaciones y compromiso internacional, fue otro
mojn en el desarrollo de la evaluacin en el pas, particularmente en el rea educativa.
El programa de alfabetizacin CAMINA y el Plan de Universalizacin de la Enseanza
Bsica Primaria, materializaciones del Proyecto Principal, fueron objeto de evaluacin
sistemtica.
La enseanza de la evaluacin
En la dcada de 1970 se llev a cabo la evaluacin de Accin Cultural Popular por parte
de un equipo de evaluadores de la Universidad Estatal de la Florida (Morgan, 1980),
quienes propusieron un modelo para evaluacin de sistemas de comunicacin educativa.
El SENA, por su parte, realiz en 1988 y 1989 una evaluacin integral, de carcter
nacional, de su programa FAD de formacin a distancia, utilizando para ello el modelo de
evaluacin responsiva de Stake, que intenta detectar no solo productos e impacto de los
programas, sino comprender paralelamente los procesos experimentados por los mismos
(Restrepo, Correa y Flrez, 1989).
65
ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA
Ms tarde, en 1970, McNamara, al frente del Banco Mundial, cre un grupo de evaluacin
como parte del Departamento de Planeacin y Presupuesto. En 1975, este departamento
fue elevado a Departamento de Evaluacin de Operaciones (OEA) con la misin de
evaluar todas las actividades del Banco Mundial. En 1994, dicho departamento evalu 350
operaciones de desarrollo en variedad de sectores: agricultura, cultura, energa, finanzas,
transporte, provisin de agua, desarrollo urbano, educacin, salud, evaluacin que abarca
polticas, programas y proyectos en numerosos pases (Piccioto, 1997). El OED sintetiz
los hallazgos de todas sus evaluaciones en su Anual Review of Evaluation Results (Ibdem).
66
ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA
Chelimsky (1997) seala seis necesidades que los evaluadores deben atender como
resultado de las implicaciones provenientes del ambiente poltico de la evaluacin en la
actualidad: la produccin de informes defendibles y dotados de credibilidad, el valor para
luchar por independencia de la presin poltica, la diseminacin de hallazgos crticos en
la evaluacin, el desarrollo de vnculos con otras disciplinas y con la investigacin bsica,
la consecucin de mejor acceso a los datos y la incorporacin del realismo poltico en la
capacitacin de los evaluadores.
67
ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA
presentacin del manual refuerza la conviccin de que la evaluacin tiene que ser un
apoyo comprensible y sensato de los proyectos, ms que una finalidad en s misma
(Kellog Foundation, 1995). La Fundacin subvenciona proyectos de salud, desarrollo
comunitario, formacin de lderes, educacin...
68
ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA
Los mtodos para el manejo de la calidad total han sido impulsados en Japn y Estados
Unidos como mtodos para el mejoramiento de la calidad y como procesos de evaluacin
formativa y sumativa (Kanji and Asher, 1996).
Para terminar, la necesidad y vigencia de la evaluacin hoy es bueno plantear las tres
perspectivas actuales de la evaluacin segn Chelimsky. Para esta autora, las perspectivas
o tendencias son la de rendicin de cuentas, la perspectiva de conocimiento y la
perspectiva de desarrollo (1997). La de rendicin de cuentas preconiza la medicin de
resultados para justificar gastos e inversiones. Su utilidad se centra en el apoyo a las
reformas. La perspectiva de conocimiento busca comprender problemas pblicos,
polticas y programas; desarrollar nuevos mtodos y someter a crtica y ajuste los
69
ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA
La acreditacin
70
ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA
71
ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA
La Ley 115 en sus artculos 80, 81, 82, 83 y 84 ordena crear un sistema de evaluacin de
la calidad de la educacin, evaluar cada seis aos la idoneidad acadmica y la actualizacin
pedaggica de los docentes, evaluar a los directivos docentes del pas, oficiales y privados,
y llevar a cabo la evaluacin institucional anual de las instituciones educativas con el fin
de mejorar su calidad. Este mandato es un acicate para promover el desarrollo de la
evaluacin.
En 1998, el MEN expidi el Decreto 272 que obliga la acreditacin previa de los programas
de formacin de docentes, medida que compromete a las instituciones respectivas a
evaluar su accionar, su currculo y sus insumos como paso previo para la mencionada
acreditacin.
Finalmente, los organismos internacionales como el Banco Mundial, el BID y otros, estn
condicionando los crditos para la educacin y otras reas a la inclusin en los proyectos
de subsistemas de evaluacin y seguimiento de sus procesos y productos, as como de
sus impactos. As se ha exigido en recientes proyectos para el mejoramiento de la calidad
de la enseanza bsica en el Departamento de Antioquia y en la ciudad de San Juan de
Pasto.
5. Coda
72
ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA
Lecturas complementarias
73
ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA
6. Autoevaluacin
74
ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA
7. Actividades de evaluacin
2. Elabore una contrastacin entre las aplicaciones dadas a la evaluacin por los
pases escandinavos y Francia, por un lado, y por Estados Unidos y el Banco
Mundial, por otro.
75
ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA
BIBLIOGRAFA
Botero, M. La prctica evaluativa del ICFES ante los desarrollos de la teora sobre esta
rea. Bogot: Subdireccin Acadmica; Divisin de Formacin Avanzada, ICFES, 1983a.
Chelimsky, E. The political environment of evaluation and what it means for the
development of the field. Evaluation for the 21st Century. London: Sage Publications;
1997, pp.53-68.
76
ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA
HAUG, P. Linking Evaluation and Reform Strategies. New Directions for Evaluation.
No.77, 1998, pp. 5-20.
77
ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA
Kanji, G. P. and Asher, M. 100 Methods for Toal Quality Management. Newbury Park,
CA: Sage. Reviewed by David Coulton, iin American Journal of Evaluation. Vol 19, No.
2, Summer, 1998, pp. 273-275.
Karlsson, O. Socratic Dialogue in the Swedish Political Context. New Directions for
Evaluation. No. 77, 1998, pp. 21-38.
Levine, M. Experiences in adapting the jury trrial to the problem of educational program
evaluation. Buffalo: State University of New York, 1976.
MEN. Segunda Reunin del Comit Regional Intergubernamental del Proyecto Principal
en la Esfera de la Educacin en Amrica Latina y El Caribe: Informe Nacional del
Proyecto Principal. Bogot: Editorial del Ministerio de Educacin Nacional, 1987.
78
ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA
79
ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA
Stufflebeam, D. The CIPP Model for Evaluation. Draft of Chapter 6. of a new book on
evaluation. Kalamazoo: The Evaluation Center, Western Michigan University, 1997.
Worthen, J., Sanders, J., and Fitzpatrick, J. Program Evaluation. New York: Longman
Publishers, 1997.
80
ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA
Paradigmas - enfoques -
orientaciones y modelos
evaluativos
Santiago Correa Uribe
Profesor Universidad de Antioquia
81
INVESTIGACIN EVALUATIVA
plantea
determinan
Mapa conceptual
ENFOQUE DE EVALUACIN
82
configuran
ORIENTACIONES EVALUATIVAS
P ARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
tales como
INTRODUCCIN
Esta unidad pretende abordar los grandes paradigmas de la investigacin evaluativa, los
enfoques que de dichos paradigmas se derivan, las orientaciones o grandes propsitos
que guan las propuestas evaluativas y, por ltimo, los modelos ms representativos
dentro de las orientaciones aqu definidas.
Se inicia con una revisin a los paradigmas cualitativo y cuantitativo y sus implicaciones
en la investigacin evaluativa, como condicin para comprender los diferentes enfoques o
tambin denominadas escuelas de evaluacin.
83
P ARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
OBJETIVOS DE LA UNIDAD
84
PARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
Tercera unidad
Tal como lo expone Rist citado por Reichardt: En definitiva, la cuestin no estriba per se
en unas estrategias de investigacin: lo que sucede ms bien es que la adhesin a un
paradigma, y su oposicin a otro, predispone a cada uno a concebir el mundo y los
85
P ARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
Una visin del mundo, una perspectiva general, un modo de desmenuzar la complejidad
del mundo real. Como tales, los paradigmas se hallan profundamente fijados en la
socializacin de adictos y profesionales; los paradigmas les dicen lo que es importante,
legtimo y responsable. Los paradigmas son tambin normativos; sealan al profesional
lo que ha de hacer sin necesidad de prolongadas consideraciones existenciales o
epistemolgicas. (Patton,1978:203)
86
PARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
Tal vez lo ms novedoso, en el momento actual, resida en el inters por buscar las
compatibilidades y la complementariedad entre las dos tendencias que posibiliten el
trabajo conjunto y que proponen un nuevo panorama de investigacin denominado por
algunos tericos INVESTIGACIN TOTAL.
Por su parte, BRIONES (1991) clasifica los enfoques de evaluacin de los programas
sociales en dos grupos: analticos y globales.
Los enfoques ANALTICOS se caracterizan por abordar con mayor o menor desagregacin
los componentes estructurales del programa, los cuales a su vez estn conformados por
caractersticas o variables con las cuales es posible determinar relaciones especficas. Hacia
estos componentes, caractersticas o variables se orientan los procesos de recoleccin,
seleccin y anlisis de la informacin. Los enfoques analticos tambin admiten evaluaciones
parciales de slo algunos componentes atendiendo a las necesidades del programa.
87
P ARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
Los enfoques GLOBALES pretenden hacer una evaluacin holstica y totalizadora de tal
manera que se pueda establecer el significado de las acciones y actividades que se
desarrollan dentro del programa. Este enfoque no hace referencia a factores causales ni
a variables particulares que pudieran ser sometidos a tratamientos estadsticos.
La evaluacin, referida a objetivos tiene sus orgenes en educacin, donde Ralph W. Tyler
desarroll el primer mtodo sistemtico de evaluacin en el cual procur hacer nfasis en
una amplia gama de objetos por evaluar como los currculos y las ayudas didcticas,
adems de la evaluacin centrada en el estudiante, para lo cual destac la necesidad de
establecer, clasificar y definir los objetivos en trminos de rendimiento, como etapa inicial
o punto de partida de todo estudio evaluativo. La evaluacin se convirti en un proceso
para determinar la congruencia entre los objetivos y las operaciones.
88
PARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
El concepto tyleriano de evaluacin ha sido, a menudo, aplicado con una rigidez y estrechez
de miras que Tyler nunca propugn. Mientras propona estrategias y tcnicas prcticas
para la recoleccin y anlisis de la informacin requerida para el proceso de evaluacin,
la atencin termin enfatizando en los datos, que fueron considerados vlidos slo cuando
el programa haba concluido.
b. CONCEPTO DE EVALUACIN
Proceso para determinar hasta qu punto los objetivos propuestos por el programa han
sido actualmente alcanzados, mediante los programas definidos para tal fin.
c. PROPSITOS
d. CARACTERSTICAS
89
P ARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
deban existir una serie de etapas lgicas que afianzaran el proceso de evaluacin real.
Estas etapas consolidan un mtodo que mida el alcance del cambio. Antes de que esto
suceda deben ser determinadas con claridad y definidas las metas y objetivos. Dicho en
trminos de comportamiento, deben comprobarse los objetivos despus de que se hayan
establecido las condiciones apropiadas para su comprobacin.
e. Metodologa
b. CONCEPTO DE EVALUACIN
90
PARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
Por ser una ampliacin del mtodo tyleriano el concepto de evaluacin es congruente
con ste:
Proceso para determinar hasta qu punto los objetivos propuestos por el programa han
sido alcanzados, mediante los programas definidos para tal fin.
c. PROPSITOS
d. CARACTERSTICAS
Metfessel y Michael (1967) desarrollaron una lista de los mltiples criterios de valoracin
que podran ser utilizados para la evaluacin de programas. Especificando toda la gama
de posibles criterios para la valoracin de los resultados, estos autores van bastante ms
all que Tyler. Sin embargo, su paradigma evaluativo es bsicamente similar al mtodo
tyleriano.
Este modelo proporciona detalles acerca de los individuos que deberan ser los principales
responsables de la evaluacin en cada una de las etapas del proceso.
e. METODOLOGA
El modelo propone ocho etapas principales del proceso evaluativo para seguir:
91
P ARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
2) Hacer una lista coherente de todas las metas y objetivos especficos, clasificados en
un orden jerrquico, desde los resultados ms especficamente deseados hasta los
ms generales.
3) Traducir los objetivos especficos de rendimiento a una forma inteligible que pueda
ponerse en prctica para facilitar el aprendizaje en el ambiente escolar.
4) Seleccionar o crear una variedad de instrumentos que suministren valores de los que
se pueda colegir la efectividad de los programas a la hora de conseguir los objetivos
que se haban propuesto.
6) Analizar los datos proporcionados por la valoracin del cambio a travs de la utilizacin
de mtodos estadsticos apropiados.
7) Interpretar los datos relativos a los objetivos especficos segn ciertas normas de
enjuiciamiento y ciertos valores que se consideren apropiados para los niveles a los
que se desee llegar en el trabajo. De esta manera, se podr llegar a conclusiones que
proporcionen informacin acerca de la direccin de la evolucin, el progreso de los
estudiantes y de la efectividad de todo el programa.
92
PARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
a. ENFOQUE: ANALTICO-RACIONALISTA
b. CONCEPTO DE EVALUACIN
93
P ARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
c. PROPSITOS
5) Sentar las bases de una futura investigacin sobre las razones del relativo
xito de tcnicas alternativas.
6) Redefinir los medios que hay que utilizar para alcanzar los objetivos, as
como las submetas, a la luz de los descubrimientos de la investigacin.
d. CARACTERSTICAS
e. METODOLOGA
94
PARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
Formacin del
Formacin Valor
del valor
Valorar
Valorarelelefecto
efecto
de
deesta
estaoperacin
operacin
(evaluacin
(evaluacindeldelprograma)
programa) Eleccin de
Eleccin de la
la meta
meta (objetivos)
(objetivos)
Operar
Operarcon
conlas
lasactividades
actividades Valoracin de
Valoracin de la
la meta
meta (criterios)
(criterios)
que
queconduzcan
conduzcanaalalameta
meta
(funcionamiento
(funcionamiento
del
delprograma)
programa)
Identificacin
Identificacin dede
laslas actividades
actividades
que
que conduzcan
conduzcan a laa la meta
meta
(planificacindel
(planificacin delprograma
programa)
b. LA EVALUACIN DE EXPERTOS
95
P ARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
Ventajas:
Desventajas:
96
PARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
Los principales interrogantes que plantea este tipo de estudios son, entre otros:
Crombach (1963) fue el primero que introdujo a los evaluadores en la idea de que la
evaluacin deba ser reorientada y pasar a ser una ayuda para que los administradores
tomaran decisiones ms acertadas acerca de cmo orientar los programas o instituciones.
Ms tarde Stufflebeam (1966, 1967) introdujo una conceptualizacin de la evaluacin que
se basaba en la idea de que sta deba ayudar a los educadores a tomar y justificar
decisiones que pudieran satisfacer ms las necesidades de los estudiantes.
Posteriormente, otros autores como Alkin (1969), Reinhard (1972), Taylor (1974), Webster
(1975) y Guba (1978) han contribuido al desarrollo del concepto de la evaluacin centrada
en las decisiones y orientada a la administracin.
97
P ARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
proporciona una base lgica que ayuda a los profesionales a responder por las decisiones
tomadas en el curso de un servicio.
a. ENFOQUE: ANALTICO-RACIONALISTA
b. CONCEPTO DE EVALUACIN
c. PROPSITO
Proporcionar informacin til para tomar decisiones con respecto a un programa, ya sean
estas de planeacin como resultado de la evaluacin de contexto; de estructuracin
como resultado de la evaluacin de insumos; de implementacin como resultado de la
evaluacin de proceso o de reciclaje como resultado de la evaluacin de producto.
d. CARACTERSTICAS
Evaluacin de insumos: busca identificar y valorar la capacidad del sistema, las estrategias
del programa y sus alternativas, la planificacin de procedimientos para llevar a cabo las
estrategias, los presupuestos y los programas.
98
PARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
Evaluacin del producto: busca recopilar descripciones y juicios acerca de los resultados
y relacionarlos con los objetivos y la informacin proporcionada por el contexto, los insumos
y por los procesos e interpretar su valor y su mrito.
Propone y utiliza la evaluacin formativa y sumativa para cada uno de estos tipos de
evaluacin, as como el empleo de una amplia gama de mtodos y tcnicas de recoleccin
de informacin como el anlisis de sistemas, la inspeccin (observacin directa), la revisin
de documentos, las audiciones, las entrevistas, los test diagnsticos y la tcnica Delphi
entre otras.
e. METODOLOGA
99
P ARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
G R F IC
GRFICA 1: AMODELO
N 1 : M O DGLOBALIZADOR
E L O G LO B A LIZ A DSIMPLIFICADO
O R S IM P LIF IC A D O
t e n c i n
Ob E valu aci n Decisin
P roce so Imp lem entacin
Id entific aci n
S u m in is tro
100
Evaluacin Decisin
Productos Reciclaje
R e tro info rm ac in
Term inaci n
a. ENFOQUE: RACIONALISTA-ANALTICO
b. CONCEPTOS DE EVALUACIN
Investigacin aplicada que consiste en describir, medir, comparar y juzgar las propiedades
que definen el estado de los objetos de evaluacin que se seleccionan de un programa.
c. PROPSITOS
Proporcionar informacin til para tomar decisiones con respecto a un programa, bien
sea referidas a sus objetivos, a su estructura, a su funcionamiento, a sus resultados o a
los usuarios.
d. CARACTERSTICAS
Plantea la necesidad de tener claridad respecto a cules son los referentes especficos
de la evaluacin que reciben el nombre de objetos de evaluacin, y que se clasifican en
generales y especficos. Tales objetos poseen propiedades o atributos que constituyen
las variables de evaluacin, se estudian con base en criterios definidos previamente,
llamados referentes de comparacin. Las variables se definen en trminos de indicadores,
que pueden ser de naturaleza objetiva o subjetiva, cuantitativos o cualitativos. El modelo
distingue entre objetivos finales e instrumentales, entre resultados previstos-no previstos,
logros-consecuencias y entre procesos de mantenimiento y desarrollo del programa y la
metodologa.
e. METODOLOGA
101
P ARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
3. Estructura
Informacin
4. Recursos logsticos o
indicadores
5. Funcionamiento administrativo
D. Anlisis evaluativo:
7. Metodologa y medios
Descriptivo
8. Contexto de interaccin
(Cuantitativo-cualitativo)
E. Informes
10. Grupo tcnico
F. Decisiones
102
PARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
Contexto
Poblacin
103
P ARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
El modelo de evaluacin por oposicin sigue un proceso dialctico en el cual dos grupos
de evaluadores investigan los aspectos positivos y los aspectos negativos de un programa
con el fin de clarificar honesta y abiertamente sus principales problemas con la intervencin
de un juez o grupo de jueces, de all que tambin se denomine evaluacin JUDICIAL.
Las reglas establecidas para manejar los procesos de contraposicin son totalmente
flexibles.
Las complejas reglas de la evidencia son sustituidas por una evaluacin libre de la
evidencia realizada por el director de la audiencia.
Puede pedirse a ambas partes, antes del juicio, que informen al director de la audiencia
sobre todos los hechos relevantes, de las pruebas y de los nombres de los testigos.
104
PARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
A menudo, los expertos son llamados a testificar, incluso antes del juicio.
Las entrevistas previas al juicio, entre el director de la audiencia y las dos partes,
suelen convertir el juicio ms en una bsqueda de hechos relevantes que en una
batalla de talentos.
Dimensin 1: marco
Dimensin Marco
INFORMAL
FORMAL Dimensin3:
Dimensin 3:
al
n Rre resultados
Resultados
n
i si
El que
El que Toma
toma las
lasdecisiones
Decisiones ec
como D
Dimensin2:2:
Dimensin comojuez
Juez n
in n
jueces
Jueces aacci cissiin
Varios jueces o un jurado rm eci
Varios Jueces o un Jurado n foormla Dde
f
IIn a la
ra
La audiencia como juez ppaar
La Audiencia como Juez
Ningun
Ningn Juez
juez
105
P ARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
b. CONCEPTO DE EVALUACIN
c. PROPSITOS
d. CARACTERSTICAS
El modelo adapta y modifica conceptos tanto de los juicios con jurado como de las
audiencias administrativas. La metodologa legal (judicial) ofrece un til sistema de
procedimientos destinados a valorar las pruebas y a producir deducciones alternativas a
partir del anlisis de los datos, antes de emitir juicios. Los evaluadores pueden centrarse
en un grupo de problemas, apoyarse en los testimonios de diferentes grupos y personas,
utilizando dos equipos evaluativos, lo que permite el desarrollo de un punto de vista
equilibrado y estructurar las deliberaciones de quienes toman las decisiones.
e. METODOLOGA
Wolf ha definido cuatro etapas para la realizacin del modelo judicial, a saber:
106
PARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
107
P ARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
Wolf ha afirmado que el modelo judicial ofrece un foro para la comunicacin y la difusin,
tanto como para la evaluacin. Ciertamente, el proceso puede clarificar las alternativas y
las consecuencias de una decisin, que casi nunca pueden conocerse antes de la
audiencia.
Este mtodo plantea que el evaluador debe trabajar con y para ayudar a aquellas personas
que desarrollan e imparten servicios. Potencialmente, contempla al evaluador al servicio
de una amplia gama de clientes tales como administradores, funcionarios, contribuyentes,
legisladores, patrocinadores financieros, lderes comunitarios y el pblico en general.
Los distintos clientes tienen distintas prioridades y el personal del programa debe, a
menudo, prestarles mayor atencin.
108
PARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
a. ENFOQUE: ANALTICO-RACIONALISTA
b. CONCEPTO DE EVALUACIN
c. PROPSITOS
Buscar los resultados reales obtenidos por el programa, sin determinar por anticipado
sus objetivos para no limitar la identificacin de sus efectos posibles, entre ellos, los
resultados no anticipados y los efectos imprevistos.
d. CARACTERSTICAS
e. METODOLOGA
3. Indicadores de las relaciones que pueden darse entre las variables dependientes e
independientes del programa.
109
P ARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
F. EVALUACIN PARTICIPATIVA
Desde luego no existe ninguna investigacin emprica, en la que no haya algn grado de
participacin de sus actores: desde la voluntad de ser observados hasta responder
cuestionarios o someter a entrevistas en profundidad. Sin embargo, en la evaluacin
participativa, la idea es que las personas que pertenecen al programa tomen en sus
manos las tareas que implican un estudio de este tipo, con claras ventajas para ellos en
lo que toca a lograr los propsitos buscados: aprendizaje grupal e individual, autorealizacin,
etc. y, para el programa, mejor determinacin de los problemas, propuesta de soluciones
realistas, mayor compromiso de los usuarios, tanto con los objetivos de la evaluacin
como con las soluciones (Briones, 1995: 59-60).
110
PARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
3. Las experiencias vivenciales dentro de dicha realidad concreta con el fin de emprender
acciones tendientes a transformar dicha realidad.
Tal como lo plantea Briones (1995), no existen frmulas preestablecidas para llevar a
cabo evaluaciones participativas. Ellas debern encontrarse en cada caso de evaluacin,
para lo cual recomienda formularse, entre otras, las siguientes preguntas:
3. Disponen las personas interesadas del tiempo suficiente para realizar el estudio?
111
P ARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
9. Si como es natural hay un reparto de las tareas, cmo se lograr mantener una
motivacin en los diferentes grupos por todas las actividades que se estn
cumpliendo?, cmo se har la distribucin de esas tareas y de qu modo se
supervisarn?
11. Cmo se diseminarn los resultados de la evaluacin dentro del grupo y fuera de l?
Esta breve lista de preguntas permite detectar los diversos problemas que se le plantean
a la evaluacin participativa. Reconocidos los beneficios que indudablemente tiene este
tipo de investigacin aplicada, las situaciones concretas del contexto definirn los niveles
y modalidades de la participacin de las personas; y asimismo los niveles tcnicos y las
formas de participacin. La evaluacin participativa, al igual que otros esquemas, es un
proyecto de intenciones, muchas de las cuales se quedarn en el camino en diversos
momentos de su desarrollo (Briones, 1995: 61). El lder de esta nueva orientacin es
Robert Stake que exige un mtodo pluralista, flexible, interactivo, holstico, subjetivo y
orientado hacia el servicio.
El juicio racional de la evaluacin es una decisin que dice cunta atencin hay que
prestar a las normas de cada grupo de referencia (clientes) a la hora de decidir si se
emprende alguna accin administrativa. Stake recomendaba a los evaluadores trabajar
112
PARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
a. ENFOQUE: GLOBAL-NATURALISTA
b. CONCEPTO DE EVALUACIN
Evaluacin sensitiva o concertada, segn la cual sta debe responder a lo que el cliente
realmente necesita. Evaluacin orientada a la naturaleza compleja y dinmica de los
programas educativos, atendiendo sus diversos aspectos y componentes.
c. PROPSITOS
d. CARACTERSTICAS
Las evaluaciones deben ayudar a las audiencias a observar y mejorar lo que estn
haciendo (de all la denominacin de evaluacin centrada en el cliente).
113
P ARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
Los evaluadores deben describir programas con relacin tanto a los antecedentes
y las operaciones como a los resultados.
Los efectos secundarios y los logros accidentales deben ser tan estudiados como
los resultados buscados.
e. METODOLOGA
114
GRFICA 5: MODELO ORIENTADOR DE LA EVALUACIN (R.STAKE). ESTRUCTURA SUSTANTIVA
M AT R IZ D ES C R IP TIVA
M AT R IZ VA L O R ATIVA
(1) (2) (3)
IN TEN CIONE S OB S E RVAC IO N E S (4)
A N LIS IS D E C O N TIN G E N C IA E M P R IC A
A N LISIS D E C O N T IN G E N C IA L G IC A
C O N C E P C I N D E L P R O G R AM A C O N GRU E NC IA C R IT E R IO S
(E ST N D A R E S )
C O M PA R A C I N
A NTE CE D E NTES A NTE CE D E NTES
A B S O LU TA
A N T E C ED EN TE S
T R AN S AC C IO N ES
LO GRO S
L L
O O
G G
R R
O O
S S
JU IC IO S
VA LO R AT IV O S
C O M PA RA C I N
R ELATIVA
D ATO S D E O T R O S
PROGRAMAS
Tomado de: Investigacin evaluativa sobre situacin actual y prospectiva de la formacin abierta y a distancia en el SENA. Restrepo,
Correa y Flrez 1989.
P ARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
ES 12
O RM
IN F
1
11
la s
n te
Inform es
lie
E s c ie n c ia s
aud
finale s
A
l, c
S
IS I
og e
a
on
2
L
r for
cia ers
10
AN
ie n r p
del
s
ma
Va
v a l id a r, ces
u d c ta
I
can
to s /
lo r l
y a nta
a c in v a er a
i n li d le c
Co
) ar a b a
( an E s t g ra m
I N
lis
is y p ro
O R G A N IZ A C
R
Tem atizar, preparar R epa sar actividades d el
sem blan za s, ca sos progra m a
3
9
,
te s De
O
d en s p re s c u b r
c e ro o c u ir p
n t e lo g p a c ro p
C o je t iv
r a e s,
ob
io n s
a e s ito s y
nc os
rv o n
se cc i
N
ep y p
O b n sa
I
tu a r o
tr a Identi-
E
CC
4
l iz b l e
8 ficar
ar
LE
CO
datos
ma
RE
necesarios
7 5
6
116
PARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
2. LA EVALUACIN ILUMINATIVA
b. CONCEPTO DE EVALUACIN
Evaluacin interpretativa, en tanto que recoge las interpretaciones de las realidad que
hacen las personas que participan en el programa. Hermenutica, ya que interpreta los
smbolos del lenguaje que utilizan los participantes. E iluminativa, por cuanto busca clarificar
los hechos y comprender las situaciones que se presentan en el programa, desde distintas
perspectivas.
c. PROPSITOS
d. CARACTERSTICAS
117
P ARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
La evaluacin misma tiene como destinatarios principales los participantes del programa,
quienes, adems, participan activamente en ella, puesto que hacerlo les permite reflexionar
sobre su situacin.
Parlett y Hamilton afirman que existen tres etapas caractersticas de una evaluacin
iluminativa:
e. METODOLOGA
5. Redaccin del informe final en un lenguaje accesible a los usuarios del programa.
118
PARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
b. CONCEPTO DE EVALUACIN
c. PROPSITOS
Comprender la dinmica interna del programa tratando de responder preguntas tales como:
qu factores son los que caracterizan este programa? Cmo se selecciona a los usuarios
y qu hacen una vez estn en el programa? Cmo perciben los usuarios el programa?
d. CARACTERSTICAS
e. METODOLOGA
Se comienza por identificar las personas que por su posicin sern las que tomarn
decisiones con respecto al programa y se contacta a los usuarios activos. Con ellos se
focalizan los problemas y temas relevantes y luego se seleccionan las tcnicas de
recoleccin de informacin, especialmente de tipo cualitativo (observacin, entrevistas,
etc.), as como los procedimientos de anlisis que se van a seguir. Se caracteriza a los
diferentes participantes para el estudio individualizado de los resultados a travs de estudios
de caso.
119
P ARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
120
PARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
c) El nivel extraorganizacional en que la relevancia social del sistema puede ser juzgada
por el mayor o menor empoderamiento organizacional, esto es, exitoso en influenciar
su desarrollo.
La propuesta de evaluacin por empoderamiento est basada en los tres principios guas
de la filosofa del empoderamiento (Rappaport, 1981):
a) Todas las personas tienen fortalezas y capacidades, esa capacidad de llegar a ser
ms competentes.
121
P ARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
122
PARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
AUTOEVALUACIN N 3
123
P ARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
ACTIVIDADES DE EVALUACIN
124
PARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
LECTURA COMPLEMENTARIA
125
P ARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
REFERENCIAS BIBLIOGRFICAS
126
PARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
______. The Case Study Method in Social Inquiry Educational Researcher 7, pp. 5-
8, 1978.
127
P ARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
128
PARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
Diseo metodolgico,
implementacin, anlisis
e informes de la evaluacin
Antonio Puerta Zapata
Profesor Universidad de Antioquia
129
DISEO METODOLGICO , IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN
Mapa conceptual
DISEO
METODOLGICO
MARCO DE LA ORGANIZACIN
OBJETO DE EVALUACIN EL PROGRAMA
REFERENCIA
EL CONTEXTO
FORMULACIN CRONOGRAMA
DISEO DE EVALUACIN
DEL
PROYECTO PRESUPUESTO
UNIDADES DE
OBSERVACIN EQUIPO DE EVALUACIN
UNIDADES DE ANLISIS IMPLEMENTACIN UBICACIN UNIDADES DE
INSTRUMENTOS DE DEL ANLISIS
RECOLECCIN ELABORACIN DE
PROYECTO DE
TIPO DE EVALUACIN INSTRUMENTOS
DISEO
EVALUACIN
PRUEBA PILOTO
PLAN DE ANLISIS
PREPARACIN
PREPARACIN AUXILIAR
AUXILIARES
APLICACIN DE
INSTRUMENTOS
PROCESAMIENTO DE LA
EJECUCIN DE LA INFORMACIN
EVALUACIN ANLISIS DE
RESULTADOS
CONCLUSIONES Y
RECOMENDACIONES
INFORME
130
DISEO METODOLGICO , IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN
INTRODUCCIN
Varios de los elementos aqu referenciados fueron tratados en los mdulos anteriores,
por ello, el estudiante debe hacer una transferencia de esos elementos a la evaluacin.
131
DISEO METODOLGICO , IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN
OBJETIVOS DE LA UNIDAD
132
DISEO METODOLGICO , IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN
Cuarta unidad
Se denomina diseo, en el sentido en que avizora o planea lo que se debe hacer, y es una
metodologa puesto que establece un modelo, un camino y una manera de proceder.
Las decisiones que se deben tomar sobre el diseo no son de orden mecnico, es necesario
tomarlas pensando fundamentalmente en la coherencia interna del proyecto. Esta certeza
debe estar acompaada de la conciencia de que existen unos factores del contexto
evaluativo que, en un momento dado, pueden favorecer u obstaculizar la toma de decisiones
por parte del evaluador.
Para una mejor comprensin de los diseos de evaluacin se debe describir el proceso
de la evaluacin y ubicar en l los diseos o metodologas de evaluacin. Si bien cada
enfoque de evaluacin propone una metodologa especfica, estamos abogando por un
mtodo eclctico. En este sentido, nos sumamos a lo expresado por Stuffebeam y
Shinkfield (1995:25).
133
DISEO METODOLGICO , IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN
El evaluador puede encontrar dos posibles situaciones: una que el programa est
formalmente definido o en su defecto lo que existen son una serie de actividades que es
necesario entrar a formalizar.
134
DISEO METODOLGICO , IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN
El programa es un acto intencionado o deliberado que debe tener una coherencia interna
o sea una lgica de relaciones entre sus componentes. El programa establece el deber
ser y simula el orden de los acontecimientos.
Cuando se habla de coherencia interna del programa, se quiere decir que la naturaleza
del programa armoniza con las necesidades o problema diagnosticado que se quiere
resolver, que los objetivos sean viables, que las metas sean medibles, que los recursos
sean suficientes y adecuados a las estrategias elegidas y que la metodologa de
intervencin propuesta corresponda y garantice el cumplimiento de los objetivos de cambio
formulados.
135
DISEO METODOLGICO , IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN
El programa debe dar cuenta de todos los ingredientes o insumos que entran en juego
para alterar la situacin diagnosticada como problema, de ah la importancia de la
elaboracin tcnica del programa, lo que facilita el proceso de evaluacin.
136
DISEO METODOLGICO , IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN
El con qu? Cules son los recursos humanos, materiales, fsicos, equipos y
econmicos que se requieren para el logro de los objetivos del programa. En otros
trminos, son los insumos requeridos para desatar los procesos que han de producir
unos resultados o impactos.
137
DISEO METODOLGICO , IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN
La historia de la organizacin.
Los clientes internos. Perfil del talento humano vinculado, responsable de los
programas.
138
DISEO METODOLGICO , IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN
La imagen corporativa hacia el exterior, o sea la opinin que el pblico tiene de las
ejecutorias de la organizacin.
Experiencias de evaluacin.
De otra parte existen una serie de caractersticas de las instituciones que pueden incidir
positiva o negativamente en el desempeo de los programas y en el ejercicio de la
evaluacin. Estas caractersticas son:
139
DISEO METODOLGICO , IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN
El perfil de los funcionarios de la organizacin tiene que ver con las profesiones de
sus funcionarios, la experiencia laboral, el tipo de compromiso con la organizacin,
los grados de satisfaccin personal y laboral, los estilos de gestin, las relaciones
interpersonales y las experiencias en procesos de evaluacin. Todas estas
caractersticas del perfil de los funcionarios tienen que ver con las fortalezas y
debilidades que demuestran estos mismos funcionarios en procesos concretos de
evaluacin. Las personas que trabajan en una organizacin llegan a identificarse
con sus metas, con su clientela o con aspectos especficos del programa. Los que
se ocupan de la evaluacin deben conocer este compromiso personal y emocional
como una fuerza potente de la dinmica organizativa (Hamilton-Smith, 1981:370).
140
DISEO METODOLGICO , IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN
Para las Naciones Unidas (1978:45-46) existen unas dificultades, pero a la vez unas
alternativas en las organizaciones para realizar procesos de evaluacin. stas son:
Factores de costo. Es difcil comprobar que la evaluacin reduce los costos del
programa. Una medida paliativa para esta objecin es invertir de manera razonable
en evaluacin.
141
DISEO METODOLGICO , IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN
Finalmente, como parte del marco de referencia, deben considerarse los factores del
contexto; tambin llamados de coyuntura, que afectan directamente la vida de la
organizacin y la ejecucin del programa que se quiere evaluar. En la consideracin de
los factores del contexto deben tenerse en cuenta las caractersticas de los usuarios o
beneficiarios directos e indirectos del programa.
Los factores de coyuntura tienen que ver con aquellas situaciones del entorno social,
poltico, econmico, cultural en las cuales se desenvuelven los programas y las cuales
afectan de una manera positiva o negativa el desempeo de los mismos programas.
Estas situaciones van a afectar los programas y sus efectos deben estar reflejados en
los resultados de la evaluacin.
Los factores de coyuntura no dependen del programa, no son siempre controlables por la
organizacin, actan como factores estructurales que, en la mayora de los casos, aparecen
en la marcha misma del programa y que tambin en la mayora de los casos obligan a
introducir cambios en la gestin del programa.
Como parte del entorno social, estn los usuarios directos de los programas. Estos
usuarios tienen una serie de caractersticas que los hacen sensibles a la influencia del
programa. Esto quiere decir que no todos los individuos, grupos o comunidades reaccionan
igual al programa y, por lo tanto, los cambios o resultados no son los mismos.
El perfil de los usuarios, que debe estar determinado en el diagnstico que da origen al
programa, es un insumo que, como el programa, la organizacin y el mismo contexto,
142
DISEO METODOLGICO , IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN
Son muchas las variables que pueden estar asociadas a los resultados de los programas:
la historia de los individuos y los grupos, indicadores sociodemogrficos, las experiencias
anteriores de los grupos con relacin a programas de intervencin similares, las formas
organizativas de las comunidades, etc.
143
DISEO METODOLGICO , IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN
Las unidades de observacin son las variables, categoras, asuntos o componentes que
deben ser medidos.
Los objetivos o preguntas de evaluacin contienen las variables que deben ser observadas
o medidas. Para medir una variable es necesario traducirla a indicadores.
144
DISEO METODOLGICO , IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN
Los investigadores sociales se han preocupado por el tema de las definiciones operacionales
o indicadores para medir las variables de sus investigaciones y han propuesto, en
consecuencia, modelos para la medicin de las variables. Los evaluadores pueden echar
mano de esa lgica de construccin de indicadores y de los instrumentos para su medicin,
pero hay que entender que los indicadores de evaluacin no pueden ser universales, sino
que corresponden a la especificidad del programa que se quiere evaluar.
Los indicadores son medidas especficas (explcitas y objetivamente verificables de los cambios
o resultados de una actividad). Los indicadores sirven de patrn para medir, evaluar o mostrar
el progreso de una actividad respecto a las medidas establecidas, en cuanto a la entrega de
sus insumos (indicadores de insumo), la obtencin de los productos (indicadores de producto)
y el logro de sus objetivos (indicadores de efecto e impacto) (Quintero y Velsquez, 1993).
Los indicadores pueden ser directos o indirectos. Los indicadores de naturaleza cuantitativa,
por lo general, pueden medirse de una manera directa; ejemplo, el nmero de personas
atendidas por un programa, el nmero de crditos otorgados para un proyecto asociativo.
Los indicadores son indirectos cuando se trata de medir objetivos intangibles; ejemplo,
medir liderazgo, participacin, motivacin, etc.
Los indicadores estn determinados por la naturaleza de los objetivos, por los efectos y
por el impacto que se busca con el programa de accin. La construccin de indicadores
depende, en buena medida, de la claridad y especificidad de los objetivos. En muchos
casos encontramos que los programas sociales no tienen objetivos y metas claramente
definidas. Esta situacin se debe, entre otras razones, a:
En el pasado las acciones sociales eran de buena voluntad y estaban por fuera de
la planificacin del desarrollo. Hoy existe una mayor preocupacin por la elaboracin
estratgica de los programas.
145
DISEO METODOLGICO , IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN
Cuando se presenta esta ltima situacin de no consenso sobre las metas en una
organizacin o de un programa, Weiss (1990:43) recomienda las siguientes alternativas,
que puede adoptar el evaluador.
El evaluador puede estudiar el programa, hablar con los ejecutores del programa y
observar el desempeo del programa para luego formular por s mismo las metas
del programa.
El evaluador, conjuntamente con el personal del programa, podr formular las metas.
Usar medidas mltiples. Medidas separadas pueden combinarse para formar una
medida general del xito del programa.
146
DISEO METODOLGICO , IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN
Usar medidas aproximadas. Deben utilizarse las medidas de acuerdo con las metas,
si estn establecidas a corto, mediano o largo plazo.
Las evaluaciones producen diferentes tipos de informacin. Segn las Naciones Unidas
(1978:11), la evaluacin proporciona tres tipos de informacin:
Para Espinoza (1983:43), la evaluacin debe partir de una traduccin de los objetivos a
metas, pues el autor considera que una meta es un objetivo cuantificado y calificado. Por
lo tanto, a cada objetivo corresponde una o varias metas. O sea que para medir el grado
de obtencin de los objetivos es necesario medir el grado de obtencin de las metas.
Para el autor, la evaluacin de las metas tiene varios aspectos.
147
DISEO METODOLGICO , IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN
Victor Manuel Quintero (1995:35) distingue dos tipos de indicadores: de gestin o eficiencia
y de logro o eficacia.
Define los indicadores de gestin como aquellos que tienen como misin valorar el
rendimiento (productividad fsica) de insumos, recursos y esfuerzos dedicados a obtener
ciertos objetivos con unos tiempos y costos registrados y analizados.
Segn el mismo autor, los indicadores de gestin permiten la valoracin de los siguientes
elementos: la utilizacin de los recursos humanos, fsicos y financieros, el tiempo, el
cumplimiento de actividades, tareas o metas intermedias, el rendimiento fsico promedio
(productividad), o sea la relacin que existe entre los logros y los recursos utilizados, el
costo promedio y el grado de eficiencia.
148
DISEO METODOLGICO , IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN
Las Naciones Unidas (1978:7) utilizan algunos de los conceptos anteriores de manera
diferente.
Entienden los productos como las consecuencias fsicas producidas por el programa,
como escuelas construidas, kilmetros de carreteras habilitados. Tambin incluyen la
medicin de los servicios prestados, ejemplo: personas capacitadas, crditos concedidos.
Los efectos se entienden como las consecuencias directas o inmediatas de los productos,
ejemplo: mayores tasas de asistencia escolar, mejores cosechas.
Las repercusiones, como aquellos cambios que ocurren en el nivel de vida del grupo,
como consecuencia del programa.
Las unidades de anlisis tambin son denominadas fuentes de informacin. Una vez
definidos los indicadores, nos preguntamos quines (individuos, familias, grupos,
comunidades, etc.) o qu objetos (documentos, monumentos, artefactos, situaciones,
etc.) contienen esos indicadores. Hablamos, entonces, de las fuentes de informacin
que pueden ser objetos o sujetos. La unidad de anlisis es un dato observable y externo
que se convierte en la unidad de informacin bsica. Es un concepto referido al objeto de
estudio, por ejemplo, individuos, grupos, regin, hechos, procesos (Aigneren, 1997:22).
La eleccin de las fuentes est condicionada por las unidades de observacin (lo que se
quiere medir), por la naturaleza del programa objeto de evaluacin, por los objetivos de
evaluacin, por los recursos humanos, tcnicos y financieros disponibles, por la posibilidad
de acceder a las fuentes y por la disponibilidad de tiempo.
Para determinar las fuentes se deben tener claros los conceptos de universo, poblacin,
muestra, tipo de muestreo que fueron vistos en los mdulos anteriores.
149
DISEO METODOLGICO , IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN
Para capturar o recoger informacin sobre los indicadores que estn presentes en unas
fuentes debemos recurrir a los instrumentos de medicin o recoleccin de informacin.
La evaluacin utiliza los instrumentos propios de la investigacin social, bien sean de
naturaleza cuantitativa, como los cuestionarios, o de naturaleza cualitativa, como las
entrevistas en profundidad.
Decimos que son instrumentos de medicin porque son sensibles a los indicadores y
son de registro porque no basta con medir, sino que se debe guardar y ordenar la
informacin de tal manera que pueda ser recuperada e interpretada.
Los instrumentos contienen a los indicadores y son aplicados a las fuentes de informacin.
2.1.5 El diseo
150
DISEO METODOLGICO , IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN
2.3 El cronograma
151
DISEO METODOLGICO , IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN
2.3. El presupuesto
La evaluacin puede ser planeada y ejecutada por un evaluador quien, obra como experto
o en representacin de una agencia evaluadora. ste es el caso de las evaluaciones
externas.
La tendencia moderna de la evaluacin es la de ser una tarea colectiva, mas que individual
y va ms all al plantear modelos ms participativos de la evaluacin. Se sugiere que los
152
DISEO METODOLGICO , IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN
153
DISEO METODOLGICO , IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN
La participacin ciudadana no reemplaza la funcin del evaluador, pues ste debe ser un
miembro calificado del grupo y debe cumplir las funciones de coordinador. El profesional
o lder del equipo, as la evaluacin sea participativa, seguir teniendo un papel
determinante.
Desde el comienzo de la evaluacin deben clarificarse las funciones del lder o coordinador
y las de los dems miembros del equipo. Es indispensable organizar unas condiciones
de trabajo: asignar recursos, fijar tiempos, establecer lugares para el trabajo, distribuir
las funciones. Una adecuada atencin a estos asuntos administrativos evita conflictos,
racionaliza el trabajo y garantiza unos productos evaluativos ms confiables y eficientes.
154
DISEO METODOLGICO , IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN
La aplicacin de pruebas piloto sirve para revisar los contenidos y forma de los
instrumentos. As se puede mirar si estn comprendidos todos los indicadores, si es el
orden el ms indicado, si son claras y precisas las preguntas, cmo es la reaccin de los
sujetos frente a cierto tipo de preguntas, si la forma de presentacin en el caso de
instrumentos autoadministrados es la ms conveniente, etc.
155
DISEO METODOLGICO , IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN
4. Ejecucin de la evaluacin
156
DISEO METODOLGICO , IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN
del informe final. Aunque todas estas tareas deben estar previstas en el proyecto de
evaluacin, es muy probable que en el trabajo de campo sea necesario introducir cambios
a la propuesta original. En el trabajo de campo, el propio evaluador confronta la coherencia
del proyecto formulado.
En todos los casos es muy importante tener un profundo respeto por cada uno de los informantes,
establecer con ellos una buena relacin, ser claros en la explicacin de los objetivos de la
evaluacin y demostrarles la importancia que ellos tienen para el resultado final de la evaluacin.
El equipo de evaluacin debe ejercer una supervisin especial de esta etapa, especialmente
si se han contratado personas auxiliares para cumplir con las tareas de recoleccin de
informacin. En algunos casos, la falta de una preparacin suficiente y la ausencia de un
acompaamiento puede viciar ostensiblemente los resultados de la evaluacin.
Si bien el uso del computador facilita y garantiza rapidez y alta calidad en el procesamiento
de la informacin, la intervencin de los evaluadores es fundamental.
157
DISEO METODOLGICO , IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN
Desde la elaboracin de los instrumentos, se debe tener muy claro cul es el programa
que se va a utilizar con el objeto de adecuar el sistema de codificacin a los requerimientos
del programa o paquete estadstico elegido, si es del caso.
Una vez procesada la informacin y teniendo los datos representados en cuadros o grficos,
se hace una lectura e interpretacin de ellos. En la lectura se destacan aquellos datos
ms relevantes que se ubican en los extremos y aquellos que son tpicos o promedios.
158
DISEO METODOLGICO , IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN
El informe de evaluacin debe dar cuenta no solo de los resultados finales de la evaluacin,
sino que debe recoger adems el proceso que va desde la formulacin del proyecto de
evaluacin, su implementacin y ejecucin.
Para la presentacin de los informes pueden utilizarse formatos escritos o visuales, segn
los destinatarios de la informacin. Los formatos ms comunes son: el informe tcnico,
el resumen ejecutivo, el reporte profesional, el artculo para publicacin, una conferencia
de prensa, un reporte para un medio de comunicacin, una reunin pblica, un taller,
afiches, plegables, memos, audiovisuales, etc.
Los contratantes de la evaluacin. Los que facilitan los recursos para financiar la
evaluacin podrn establecer en el convenio las condiciones para la presentacin
y definir los destinatarios de los resultados.
El nivel de comprensin de los destinatarios que tiene que ver con la experiencia
en el manejo de estos estudios, los intereses intelectuales, la capacidad de entender
cierto tipo de anlisis.
159
DISEO METODOLGICO , IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN
De otra parte, la diseminacin de los resultados tiene que ver con la manera como son
difundidos los resultados de una evaluacin. La diseminacin guarda una relacin
inseparable con los formatos de presentacin de los resultados. Para Morris y Otros
(1987:22), las normas que deben tenerse en cuenta para difundir los resultados son:
Los informes deben tratar los asuntos que los usuarios consideren que son
importantes.
Los informes deben entregarse a tiempo para que sean tiles. Tambin deben ser
claros para los destinatarios.
Estos mismos autores, recomiendan unos criterios que deben ser tenidos en cuenta para
entregar la informacin a los usuarios de ella.
En cuanto al contenido del informe de evaluacin, ste debe tener en buena medida lo
que fue previsto en el proyecto de evaluacin, los pasos dados en la ejecucin e
implementacin del proyecto. Debe recordarse que el informe debe ser lo ms claro y
completo posible pues va dirigido a personas que no participaron directamente de la
experiencia evaluativa. Estos son los contenidos que debe tener un informe:
160
DISEO METODOLGICO , IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN
El marco referencial, que incluye: una descripcin completa del programa de accin,
un perfil de la organizacin gestora y los factores del contexto que inciden en el
desempeo del programa.
La ejecucin de la evaluacin.
Bibliografa.
Anexos.
161
DISEO METODOLGICO , IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN
AUTOEVALUACIN
LECTURA COMPLEMENTARIA
162
DISEO METODOLGICO , IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN
ACTIVIDADES DE EVALUACIN
Enunciar las variables contenidas en esas preguntas u objetivos, que deben ser
medidas a travs de los indicadores.
163
DISEO METODOLGICO , IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN
BIBLIOGRAFA
French, John F. and Kaufman, Nancy. Hanbook for preventioon evaluation, Usa,
Department of Health and Human Services, 1983.
Morris, Lynn. How to communicate evaluation findings. USA Sage Publications, 1987.
164
DISEO METODOLGICO , IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN
Wsgnrt, Dinober and Dinkel, Nancy R. A trust of evaluation. Tampa Florida: The Florida
Consortium for Research and Evaluation, 1981.
165
1. Introduccin a la evaluacin. Daniel L. Stufflebeam
y Anthomy J. Shinkfield ......................................... 169
168
LECTURAS COMPLEMENTARIAS
Lectura complementaria N 1
INTRODUCCIN A LA EVALUACIN
Tomado de
169
LECTURAS COMPLEMENTARIAS
QU ES LA EVALUACIN?
170
LECTURAS COMPLEMENTARIAS
Esta definicin se centra en el trmino valor e implica que la evaluacin siempre supone
juicio. Desde el momento en que la evaluacin, en un sentido ptimo, emplea
procedimientos objetivos para obtener una informacin segura e imparcial, ya est ligada
a la valoracin. En efecto, su meta esencial es determinar el valor de algo que est
siendo enjuiciado. De acuerdo con esta definicin, si un estudio no informa de cun
buena o mala es una cosa, no se trata de una evaluacin.
Algunos autores se han mostrado contrarios a esta posicin. Creen que esta orientacin
valorativa conduce a interpretaciones radicales y subjetivas que conceden un poder
inmerecido a los evaluadores e impiden el progreso.
Afirman, por as decirlo, que la belleza reside en los ojos del observador que las valoraciones
de un grupo no deben tener precedencia sobre las de otro a la hora de determinar si algo
es bueno o malo. Tambin afirman que la evaluacin es, demasiado a menudo, una fuerza
negativa y, en general, mala psicologa. Pero sus argumentos slo nos convencen de que
la mayora de las evaluaciones no son determinantes y de que es difcil hacerlas bien;
quizs existen muchas evaluaciones distintas, y posiblemente contradictorias en
apariencia, de un objeto dado, dependiendo de la posicin valorativa que se adopta. Pero,
inevitablemente, la valoracin debe desempear un papel. Y si sirve al progreso y se
utiliza para identificar los puntos dbiles y los fuertes, y para tender hacia una mejora,
puede ser una fuerza positiva. Como puede verse, la evaluacin es una empresa compleja.
171
LECTURAS COMPLEMENTARIAS
acaudaladas quiz les importe ms el hecho de que las escuelas pblicas preparen a los
estudiantes para entrar en colegios de elite y en universidades, mientras que los nuevos
inmigrantes, que son pobres y hablan muy poco ingls, quiz rechacen las escuelas que
no ofrecen una educacin bilinge, no atienden a los nios atrasados y no promueven la
integracin social. A la hora de evaluar un distrito escolar en concreto, un evaluador
competente debe tener en cuenta, segn nuestra definicin, entre otras cosas, estas dos
perspectivas de valoracin. De hecho, podramos afirmar que las necesidades que unen o
separan a los clientes de un determinado servicio son las que deben considerarse como
base para decidir qu tipo de informacin se debe recopilar y a qu criterios recurrir para
determinar la vala o el mrito de un servicio.
Los trminos vala y mrito tambin deben ser definidos para enriquecer nuestro concepto
de evaluacin. Scriven (1981) ya ha indicado las trascendentales diferencias que hay
entre ellos y el importante papel que desempean a la hora de determinar el valor de algo.
Por ejemplo, un programa para formar a profesores de historia, podr producir profesores
que enseen historia a otros de un modo efectivo y de manera que se pueda confiar en
ellos? En general, har bien lo que se supone que debe hacer? Si lo hace, ser meritorio,
pero puede que no sea vlido. Por ejemplo, si la sociedad ya no necesita ms profesores
de historia porque ya tiene ms de los que puede emplear, entonces aunque el programa
sea muy bueno y quiz sea mejor que otros parecidos, continuar con el mismo nivel de
expansin del programa quiz no sea la mejor manera de gastar sus escasos recursos.
Aunque un programa meritorio puede no ser vlido, debemos indicar que un programa que
no sea meritorio no puede ser vlido. Puede que no sea bueno formar malos profesores
de Historia aunque exista una gran escasez de ellos.
Hasta aqu, esta discusin sobre qu bases de valoracin deben ser tenidas en cuenta a
la hora de evaluar algo, ha proporcionado tres importantes fuentes de criterios:
172
LECTURAS COMPLEMENTARIAS
En general, recomendamos que se tengan en cuenta los tres aspectos cuando se realice
una evaluacin. Pero creemos necesario considerar dos aspectos ms: la viabilidad y la
equidad. Aunque un servicio pueda ser de mucha calidad, atienda los diferentes objetivos
de distintos grupos de clientes y se centre en un rea que de verdad lo necesite, quiz
falle en lo que se refiere a los valores de la viabilidad y la equidad.
Por ejemplo, puede que consuma ms recursos de los que necesita o puede causar
infinidad de problemas polticos. En cualquiera de los dos casos, el programa, en principio,
debe ser modificado en esas reas para hacerlo ms viable. Obviamente, una buena
evaluacin del servicio debera mencionar esto y, en su caso, proporcionar una solucin
para que el servicio sea ms sencillo, utilice el tiempo y los recursos de un modo ms
apropiado y sea polticamente viable. Este argumento en favor de la viabilidad es, en
principio, aplicable a todas las sociedades.
La ltima base valorativa que vamos a mencionar aqu, la equidad, est predominantemente
relacionada con las sociedades democrticas. Se exigen las mismas oportunidades para
todo el mundo y se reclama la libertad para todos. En los Estados Unidos, una evaluacin
puede resultar incompleta si no tiene en cuenta que un servicio pblico debe estar pensado
y ser asequible para todos los miembros de la sociedad. Es importante indicar que nuestro
concepto de equidad es complejo. No es suficiente decir que los servicios pblicos
educativos deben poder ser requeridos y usados por todo el mundo.
Como ha dicho Kellaghan (1982), para que exista verdaderamente la igualdad deben
existir siete indicios de equidad:
1. Los servicios pblicos educativos de una sociedad deben estar pensados para
toda la poblacin.
2. Todos los sectores de la sociedad deben tener el mismo tipo de acceso a los
servicios.
4. Los niveles de logro, por ejemplo, los aos en el sistema educativo, no sern
significativamente distintos para los diferentes grupos.
173
LECTURAS COMPLEMENTARIAS
5. Los conocimientos exigidos para alcanzar los objetivos del servicio no deben ser
sustancialmente diferentes para los distintos grupos.
6. Las aspiraciones vitales que se persiguen deben ser similares en todos los grupos
sociales.
Algunos autores (Stake, Scriven, Cronbach) han indicado que la evaluacin puede centrarse
en un solo producto o servicio, o compararlo con otras alternativas vlidas. Por otra parte,
han debatido los mritos de estas dos posturas, para acabar quedndose con una de
ellas. Nosotros creemos que, dependiendo de las circunstancias, una evaluacin puede
ser, legtimamente, tanto comparativa como no comparativa.
174
LECTURAS COMPLEMENTARIAS
totalmente devoto de cierto servicio o producto, que, al considerar otras opciones, obtiene
mejores resultados de su proveedor o encuentra una alternativa mejor.
En general, creemos que la evaluacin debe ser comparativa antes de que empiece el
proceso o antes de suscribirse a un servicio, no comparativa durante el proceso (para que
permita concentrarse en lo que resulte mejor para el desarrollo del servicio), y
peridicamente comparativa despus del proceso o la utilizacin continuada, para que el
camino quede abierto ante posibles mayores avances.
Hablando en general, que una evaluacin deba ser comparativa o no depende de lo que
se quiera conseguir de esa evaluacin, en cuanto a su utilizacin se refiere. Nosotros
consideramos tres utilizaciones principales: perfeccionamiento, recapitulacin y
ejemplificacin. La primera utilizacin se refiere a la informacin que se proporciona para
asegurar la calidad de un servicio o para mejorarla. Hay que prestar mucha atencin a la
naturaleza y las necesidades de los consumidores, y a la relacin existente entre el
proceso y los resultados. En este punto, los evaluadores deberan estar muy en contacto
con el personal del programa y servir como guas para las tomas de decisiones. El plan
de evaluacin necesita ser flexible y receptivo. Cuando la meta principal es mejorar algo,
la evaluacin debera parecerse ms al estudio de un caso que a un experimento
comparativo.
175
LECTURAS COMPLEMENTARIAS
Si se tienen en cuenta estas cuestiones con el fin de que la audiencia confe en los
resultados y los utilic, los evaluadores deben mantener ciertos criterios o normas en su
trabajo. Como consecuencia, creemos que la distincin entre evaluaciones profesionales
y evaluaciones informales es importante. Desde luego, todo el mundo recurre a las
segundas cuando se trata de emplear, opinar, aceptar o comprar cosas. Pero ocurre
demasiado a menudo que nuestras evaluaciones resultan poco o nada sistemticas y en
modo alguno convincentes, ni siquiera para nosotros mismos. En muchos casos,
preferiramos que nuestras conclusiones tuvieran ms relevancia, rigor y objetividad. Estos
requisitos, sin embargo, requeriran a menudo ms tiempo, dinero y habilidad de los que
nosotros tenemos.
176
LECTURAS COMPLEMENTARIAS
As, en muchas ocasiones, las buenas evaluaciones deben ser realizadas por un personal
especializado. Aunque nuestra definicin afirma que la evaluacin es sistemtica, muchas
veces, sin duda, no lo es. Lo que intentamos proponer en este libro es una especie de
evaluacin que sea justificable. La clase de evaluacin que tenemos en mente requiere
un esfuerzo sistemtico por parte de una o ms personas que posean, en principio, un
cierto nivel mnimo en lo que se refiere a las tcnicas evaluativas que se exigen en estos
casos. Pensamos que el concienzudo estudio que propone este libro puede ayudar al
estudiante a alcanzar el nivel bsico de habilidad que se necesita para llevar a buen
trmino nuestro concepto de evaluacin sistemtica y para evaluar las evaluaciones
realizadas por otros.
Mtodos
Un aspecto que diferencia la evaluacin sistemtica de la evaluacin informal es, sin lugar a
dudas, el rea metodolgica. Cuando pasamos de las evaluaciones realizadas con juicios
rpidos e intuitivos a las que suponen una rigurosa recopilacin de resultados que deben ser
considerados de un modo efectivo, debemos necesariamente enfrentarnos a las complejas
reas de la epistemologa, las reglas empricas, las ciencias informativas, los proyectos de
investigacin, las valoraciones, las estadsticas, la comunicacin, etc. Muchos principios,
instrumentos y estrategias de estas reas son importantes para la evaluacin sistemtica. El
evaluador bien preparado debe dominar convenientemente todas las tcnicas de estas reas
y mantenerse informado acerca de los avances tecnolgicos que puedan resultarle tiles.
Estos evaluadores, que pueden convertirse en pioneros y contribuir al desarrollo de su profesin,
suelen aumentar las crticas de los mtodos ya existentes y la aparicin de otros nuevos.
A lo largo de los aos, muchos evaluadores han escogido, e incluso defendido, la utilizacin
exclusiva de unas pocas tcnicas. Algunos han equiparado la evaluacin a sus mtodos
favoritos, como el diseo experimental, las pruebas estandarizadas o las visitas personales.
Otros han atacado duramente la estrechez de miras respecto de la adecuacin de los
mtodos y, en algunos casos, han abogado por sustituir su tcnica favorita, como por
ejemplo el estudio de un caso. Nosotros creemos que ambas posiciones son ineficaces,
inadecuadas y, a veces, parciales.
A cambio, recomendamos un mtodo eclctico. As, creemos que los evaluadores deberan
conocer un amplio espectro de tcnicas adecuadas y saber cmo aplicarlas en los distintos
177
LECTURAS COMPLEMENTARIAS
Entre las reas tcnicas que, segn creemos, deben conocer a fondo los evaluadores
profesionales se encuentran las siguientes: las entrevistas, los informes preliminares, el
anlisis de contenidos, la observacin, el anlisis poltico, el anlisis econmico, el examen
investigativo, los informes tcnicos, el estudio del caso, la evaluacin sin metas, la escucha
de opiniones contrapuestas, las asociaciones de defensa, las listas de control, la
elaboracin de prueba, el anlisis estadstico, el diseo de la investigacin, el anlisis
sistemtico, la teorizacin y la administracin del proyecto. Es recomendable consultar
las fuentes de informacin general que, acerca de estas reas tcnicas, pueden encontrarse
en Scriven (1974); Anderson, Ball y Murphy (1974); Brinkerhoff y otros (1983) y Smith
(1981a y 1981b).
Normas
Una de las caractersticas de las prcticas profesionales es que sus miembros deben
cumplir exigentes normas referentes al trabajo y al servicio que realizan. Por lo general,
estas normas ya vienen formuladas por los miembros de la profesin, y, en algunos
casos, por el gobierno. Ejemplos tpicos de ello son las normas existentes en las reas
de la ley, la medicina y la contabilidad, con el fin de asesorar y valorar la prctica en
cuestin, y, en algunos casos, llegar a conclusiones acerca de ciertos procedimientos
ilegales. Hasta muy recientemente, los evaluadores de programas no disponan de normas
explcitas para la evaluacin, pero esta situacin est cambiando.
Recientemente, se han publicado dos conjuntos de normas para las evaluaciones. Uno
consiste en un grupo de treinta normas formuladas por el Joint Committee on Standards
for Educational Evaluation. El otro es una serie de cincuenta y cinco normas formuladas
por la Evaluation Research Society (ERS).
178
LECTURAS COMPLEMENTARIAS
comit cuyos diecisiete miembros han sido nombrados por doce organizaciones
profesionales que abarcan un total de alrededor de dos millones de miembros, mientras
que las normas de la ERS han sido elaboradas por un grupo de alrededor de dos mil
miembros. Otra diferencia clave es que las Normas del Joint Committee incluyen tanto al
cliente como al que realiza los servicios evaluativos.
El texto Standards for Evaluations of Educational Programs, Projects, and Material (Joint
Committee, 1981) fue elaborado en un perodo de cinco aos. Este comit est formado
por alrededor de doscientas personas relacionadas con la prctica profesional de la
evaluacin, que realizan la labor de crear, valorar y clarificar principios ampliamente
compartidos con el fin de que sirvan como base para evaluaciones sobre programas
educativos. El resultado son las treinta normas resumidas en la tabla 1-1. Es
particularmente notable el continuo proceso que llevan a cabo reexaminando y revisando
las normas. En esencia, el Joint Committee concluye afirmando que las treinta normas
son necesarias y suficientes para asegurar que las evaluaciones sean tiles, factibles,
precisas y vlidas. Se aconseja al lector que estudie en profundidad ese libro de Normas.
En general, las Normas del Joint Committee aconsejan que los evaluadores y los clientes
cooperen entre s para que las evaluaciones puedan cumplir estas cuatro condiciones principales:
1 Una evaluacin debe ser til. Debe estar dirigida a aquellas personas y grupos que
estn relacionados con la tarea de realizar aquello que se est evaluando o que
sean sus ms directos responsables. Debe ayudarles a identificar y examinar lo
bueno y lo malo de este objeto. Debe poner muchsimo nfasis en plantearles las
cuestiones de mayor importancia. Debe proporcionarles informes claros de una
manera oportuna. Y, en general, debe facilitar no slo informaciones acerca de
virtudes y defectos, sino tambin soluciones para mejorarlo todo.
2. Debe ser factible. Debe emplear procedimientos evaluativos que puedan ser
utilizados sin demasiados problemas. Debe tomar en consideracin y aplicar
controles razonables sobre aquellas fuerzas polticas que puedan, de alguna manera,
inmiscuirse en la evolucin. Y deben ser dirigidas de un modo eficiente.
3. Debe ser tica. Debe estar basada en compromisos explcitos que aseguren la
necesaria cooperacin, la proteccin de los derechos de las partes implicadas y la
179
LECTURAS COMPLEMENTARIAS
A Normas de utilidad
Las normas de utilidad estn concebidas para asegurar que una evaluacin
proporcione las informaciones prcticas que necesita una audiencia determinada.
Estas normas son:
A1 Descripcin de la audiencia
La audiencia relacionada con la evaluacin o afectada por ella debe ser descrita
con el fin de que todas sus necesidades puedan ser satisfechas.
Las personas que dirigen la evaluacin deben ser honradas y a la vez competentes
para poder llevarla a cabo, con el fin de que sus conclusiones alcancen el mximo
de credibilidad y aceptacin.
180
LECTURAS COMPLEMENTARIAS
A4 Interpretacin valorativa
Los resultados de la evaluacin deben ser dados a conocer a los clientes y a otras
audiencias interesadas o adecuadas, para que puedan valorar y utilizar las
conclusiones.
La difusin de los informes debe ser oportuna, con el fin de que las audiencias
puedan hacer el mejor uso posible de la informacin recopilada.
A8 Impacto de la evaluacin
B Normas de viabilidad
Las normas de viabilidad estn concebidas para asegurar que una evaluacin sea
realista, prudente, diplomtica y moderada. Son stas:
181
LECTURAS COMPLEMENTARIAS
B1 Procedimientos prcticos
Los procedimientos evaluativos deben ser prcticos, para que los problemas sean
mnimos y pueda obtenerse la informacin necesaria.
B2 Viabilidad poltica
La evaluacin debe ser planificada y dirigida conociendo las distintas posturas de los
diferentes grupos de inters, con el fin de obtener su cooperacin, y para que cualquier
posible intento, por parte de alguno de estos grupos, de abreviar las operaciones evaluativas
o de influir en los resultados o utilizarlos, pueda ser prevenido o contrarrestado.
La evaluacin debe producir informacin con el valor suficiente como para justificar
lo que ha costado.
C Normas de honradez
Las normas de honradez estn concebidas para asegurar que una evaluacin sea realizada
legal y ticamente, y, a la vez, con el debido respeto por el bienestar de todos los que
intervienen en ella, as como de aquellos que estn interesados en las conclusiones.
C1 Obligacin formal
Las obligaciones de las partes formales de una evaluacin (qu hay que hacer,
cmo hacerlo, quin debe hacerlo y cundo) deben ser plasmadas en un
compromiso escrito, con el fin de que estas partes estn obligadas a cumplir
todas las condiciones del compromiso o a renegociarlo formalmente.
C2 El conflicto de intereses
182
LECTURAS COMPLEMENTARIAS
Los informes orales o escritos de una evaluacin deben ser francos, directos y
honestos en la revelacin de las conclusiones pertinentes, incluyendo las
limitaciones de la evaluacin.
Las evaluaciones deben ser preparadas y dirigidas de tal manera que sean
respetados y protegidos los derechos y el bienestar de los seres humanos.
C6 Relaciones humanas
C7 Informacin equilibrada
C8 Responsabilidad fiscal
La cuota del evaluador y los gastos efectuados deben reflejar los proce-
dimientos econmicos del trabajo y, por otra parte, ser prudentes y ticamente
responsables.
183
LECTURAS COMPLEMENTARIAS
D Normas de precisin
Las normas de precisin estn concebidas para asegurar que una evaluacin revele
y transmita una informacin tcnicamente exacta acerca de las caractersticas del
objeto que est siendo estudiado, para poder determinar su valor o su mrito.
Estas normas son:
Las fuentes de informacin deben ser descritas con todo detalle, para que pueda
valorarse si la informacin es suficiente.
D5 Determinar la validez
D6 Determinar la exactitud
184
LECTURAS COMPLEMENTARIAS
Las conclusiones a las que se llegue en una evaluacin deben ser explcitamente
justificadas, para que las audiencias puedan valorarlas.
FUENTE: The Joint Committee on Standards for Educational Evaluation. McGraw-Hill, 1981.
185
LECTURAS COMPLEMENTARIAS
Las Normas del Joint Committee pueden aplicarse en cualquier etapa del proceso
evaluativo: deben ser tenidas en cuenta, por ejemplo, a la hora de decidir si hay que
realizar la evaluacin o no, a la hora de planear la evaluacin y llevarla a cabo, al presentar
los resultados y al aplicar las conclusiones. Por lo tanto, la utilizacin de las Normas no
slo sirve para controlar la calidad de un informe ya terminado, sino tambin como
asesoramiento durante la realizacin de la evaluacin. Un segundo punto que hay que
tener en cuenta es que las distintas normas son ms o menos importantes en cada etapa
de la evaluacin. As, quienes utilicen las normas deben estudiarlas y analizarlas
comparativamente con el fin de poder aplicarlas juiciosamente en cada una de las etapas
de la evaluacin. El resumen de las treinta normas presentado en la tabla 1-1 es un punto
de partida, pero recomendamos al lector que consiga y estudie el texto completo.
El trabajo del Joint Committee se ha basado en dos premisas bsicas: que la evaluacin
es una actividad humana tan esencial como inevitable, y que la evaluacin solvente debe
proporcionar una comprensin ms amplia y una mejora de la educacin. Adems, el
comit se guio por la creencia de que una serie de normas concienzudamente elaboradas
puede desempear un papel vital a la hora de mejorar la prctica de la evaluacin educativa.
En otras palabras: un papel metaevaluativo.
Otro punto trascendental con respecto a las Normas del Joint Committee es que se trata
de un documento vivo. Un comit permanente, formado por doce organizaciones y
respaldado por el Centro de Evaluacin de la Universidad de Western Michigan, controla
la utilizacin de las normas y carga con la responsabilidad de ponerlas al da y
perfeccionarlas peridicamente. El comit anima a los usuarios para que les proporcionen
informacin basada en crticas y, especialmente, en los usos ms actuales de las normas.
La historia1
1. Este apartado sobre la historia de la evaluacin est basado en un anlisis de George Madaus y Daniel Stufflebeam,
que aparece resumido en George MADAUS, Michael SCRIVEN y Daniel STUFFLEBEAM . Evaluation Models. Boston:
Kluwer-Nijhoff, 1983
186
LECTURAS COMPLEMENTARIAS
avances tericos y tcnicos. A menos que los miembros de una profesin elaboren y
sostengan una perspectiva histrica sobre su trabajo, probablemente seguirn teniendo
siempre una concepcin limitada de su funcin social, sin poder estimular la innovacin
ni contribuir a ella. Se dice a menudo que los que no conocen su propia historia estn
condenados a repetirla. Nosotros facilitaremos nicamente un breve esbozo histrico
con el fin de informar al lector sobre los acontecimientos ms significativos ocurridos en
el campo de la evaluacin.
Nuestro anlisis histrico se basa en un trabajo clave de Ralph W. Tyler (vase unidad 3),
que a menudo es considerado el padre de la evaluacin educativa. Utilizando sus
contribuciones iniciales como principal punto de referencia, hemos establecido cinco
perodos bsicos: 1) el perodo pre-Tyler, que abarca hasta 1930; 2) la poca tyleriana,
que va desde 1930 hasta 1945; 3) la poca de la inocencia, desde 1946 hasta 1957; 4)
la poca del realismo, que cubre el perodo 1958-1972; y 5) la poca del profesionalismo,
que incluye la evolucin experimentada desde 1973 hasta el presente.
El perodo pretyleriano
187
LECTURAS COMPLEMENTARIAS
medios para evaluar los servicios educativos. Una aproximacin aun mayor a la evaluacin
se produjo, en los primeros aos de este siglo, con la aparicin de los tests estandarizados.
Este acontecimiento formaba parte de un gran esfuerzo que pretenda que la educacin
fuera ms eficiente para que un mayor nmero de estudiantes pudiera utilizar los recursos
entonces disponibles en las escuelas.
El breve resumen anterior viene a confirmar que la evaluacin sistemtica tiene una larga
historia. Mientras que slo muy recientemente se ha llegado a considerar la evaluacin
como una prctica profesional, buena parte del trabajo evaluativo moderno contina
basndose en ideas y tcnicas que ya se aplicaban hace mucho tiempo, como por
ejemplo las encuestas, las comisiones la acreditacin y las comparaciones experimentales
de varios programas.
La poca tyleriana
En los primeros aos de la dcada de los treinta, Ralph Tyler acu el trmino evaluacin
educacional y public una amplia y renovadora visin del currculo* y la evaluacin. En un
perodo de alrededor de quince aos, desarroll sus intuiciones hasta que conformaron
un mtodo que supona una clara alternativa a otras perspectivas.
* Dado el significado amplio que tiene la palabra curriculum en ingls, utilizada en general para designar todo
aquello que gira en torno a la actividad docente y no slo al plan de estudios, hemos preferido conservarla, una
vez castellanizada, a lo largo de toda la obra. (T.)
188
LECTURAS COMPLEMENTARIAS
Durante la dcada de los treinta, los Estados Unidos, como el resto del mundo, cay en
las profundidades de la Gran Depresin. Las escuelas, como otras instituciones pblicas,
se estancaron en una ausencia total de recursos y optimismo. Justo cuando Roosevelt
intentaba con su New Deal sacar de este abismo a la economa americana, John Dewey
y algunos otros intentaron contribuir a que la educacin se convirtiera en un sistema
dinmico e innovador, que a la vez se fuera renovando a s mismo Con el nombre de
Educacin Progresiva, este movimiento reflej la filosofa del pragmatismo y emple los
instrumentos de la psicologa conductista.
Tyler se vio metido de lleno en este movimiento cuando le encargaron dirigir la parte de
investigacin del hoy famoso Eight-Year Study (Smith y Tyler, 1942). Este estudio fue
pensado para examinar la efectividad de ciertos currculos renovadores y estrategias
didcticas que se estaban empleando en treinta escuelas a lo largo de toda Amrica. El
estudio resulta notable porque ayud a Tyler a difundir, ensayar y demostrar su concepcin
de la evaluacin educacional de una manera inmediata.
A travs de este programa de mbito nacional, Tyler pudo publicar lo que l vea como un
mtodo que tena claras ventajas sobre los dems. Desde el momento en que la evaluacin
tyleriana inclua comparaciones internas entre los resultados y los objetivos, ya no
necesitaba recurrir a costosas y problemticas comparaciones entre grupos de control y
grupos experimentales. El mtodo se centra en determinar el grado de xito, por lo que
se opone a mtodos indirectos que determinan factores como la calidad de la enseanza,
el nmero de libros que hay en la biblioteca, los materiales y la participacin de la
comunidad. Y adems, las evaluaciones tylerianas no se ven demasiado afectadas por la
fiabilidad de las diferencias entre las puntuaciones individuales de los alumnos ya que
generalmente cubren una franja ms amplia de variables exgenas que las cubiertas por
los tests tipificados. Todos estos argumentos fueron bien recibidos por el sector de la
educacin americana, y a mediados de los aos 40 Ralph Tyler ya haba conseguido la
categora suficiente como para ejercer una gran influencia sobre el panorama educacional
en los prximos veinticinco aos.
La poca de la inocencia
Para la sociedad americana, los ltimos aos 40 y la dcada de los 50 fue un tiempo para
olvidar la guerra, dejar atrs la Depresin, crear y desarrollar aptitudes, adquirir recursos,
y lograr disfrutar de la buena vida. Podramos haber calificado esta poca como el
189
LECTURAS COMPLEMENTARIAS
perodo de expansin, pero hay que tener en cuenta que tambin exista una amplia
complacencia a la hora de enjuiciar los graves problemas de aquella sociedad. Como
consecuencia, creemos que es mejor referirnos a esta poca como al Perodo de la
inocencia o incluso de la irresponsabilidad social.
Adems de ser una poca de plenitud, este perodo fue un tiempo de pobreza y
desesperacin en las ciudades del interior y en las reas rurales, pero al parecer casi
nadie, excepto los afectados, se dio cuenta. Fue un perodo de profundos prejuicios
raciales y de segregacin, pero gran parte de la poblacin blanca pareca inconsciente de
esta enfermedad. Fue un perodo de exorbitado consumo y de gran despilfarro de los
recursos naturales, sin tener en cuenta que un da de estos recursos iban a agotarse.
Fue un perodo de un abrumador desarrollo de la industria y la capacidad militar, pero se
tomaron muy pocas precauciones contra los perjuicios que iban a sufrir el paisaje y las
futuras generaciones.
190
LECTURAS COMPLEMENTARIAS
La poca de la inocencia en la evaluacin tuvo un brusco final con el auge, a finales de los
aos 50 y principios de los 60, de las evaluaciones de proyectos de currculos a gran
escala, financiadas por estamentos federales. Los educadores se encontraron durante
este perodo, con que ya no podan hacer o no hacer las evaluaciones a su antojo, y que
los futuros progresos de las metodologas evaluativas deberan estar relacionados con
conceptos como utilidad y relevancia. Su violento despertar, en este perodo, marc el
final de una era de complacencia y ayud a emprender profundos cambios, guiados por el
inters pblico y dependiendo del dinero de los contribuyentes para su financiacin, lo
cual condujo a que la evaluacin se convirtiera en una industria y en una profesin.
Como consecuencia del lanzamiento, por parte de la Unin Sovitica, del Sputnik 1 en
1957, el gobierno federal respondi promulgando la National Defense Education Act de
1958. Entre otras cosas, esta acta proporcion nuevos programas educativos en
matemticas, ciencias e idiomas y cre servicios asesores y programas de encuestas
en los distritos escolares. Aparecieron, as, un cierto nmero de nuevos proyectos
191
LECTURAS COMPLEMENTARIAS
Los cuatro mtodos evaluativos expuestos hasta aqu estaban ya representados en las
evaluaciones que se realizaron en este perodo. Primero, el mtodo Tyler fue usado
para definir los objetivos de los nuevos currculos y para valorar el grado en que estos
objetivos quedaban, ms tarde, alcanzados. Segundo, los nuevos tests estandarizados
de carcter nacional sirvieron para reflejar mejor los objetivos y los contenidos de los
nuevos currculos. Tercero, el mtodo del criterio profesional fue usado para valorar las
propuestas y verificar peridicamente los resultados. Finalmente, muchos evaluadores
se comprometieron a evaluar los resultados del desarrollo del currculo a travs de
pruebas concretas.
192
LECTURAS COMPLEMENTARIAS
Junto a este esfuerzo masivo para ayudar a los necesitados, se produjo, en ciertas
regiones, una cierta preocupacin por el posible despilfarro de las inversiones si no se
exigan algunos requisitos en la contabilidad. En respuesta a estas preocupaciones, el
senador Robert Kennedy y algunos de sus colegas del Congreso promulgaron el Acta de
la Educacin Elemental y Secundaria, de 1965, que inclua requisitos especficos para la
evaluacin. Como resultado, el primer artculo de esa acta (que aspiraba a proporcionar
una educacin compensatoria a los nios menos favorecidos) exiga especficamente
que cada distrito escolar recibiera fondos, basndose en ese artculo, para que evaluara
anualmente hasta qu punto los proyectos que haba realizado al amparo del artculo I
haban alcanzado sus objetivos, todo ello utilizando los datos de tests debidamente
estandarizados. Este requisito, con su referencia especfica a las encuestas y a la valoracin
de la congruencia entre resultados y objetivos, refleja cmo se encontraba la evaluacin
educacional en aquella poca. Y, lo que es ms importante, el requisito oblig a los
educadores a que trasladaran sus preocupaciones, en lo que se refiere a la evaluacin
educacional, desde el campo de la teora y las suposiciones al de la prctica y el
perfeccionamiento.
Cuando los distritos escolares empezaron a responder a los requisitos evaluativos del
artculo I, comprobaron rpidamente que los instrumentos y estrategias, que empleaban
entonces los evaluadores, resultaban totalmente inapropiados para aquel trabajo. Los tests
estandarizados que se haban elaborado con el fin de determinar el promedio del grado de
193
LECTURAS COMPLEMENTARIAS
conocimientos de los estudiantes no sirvieron para casi nada cuando hubo que diagnosticar
las necesidades y valorar los avances de los nios menos favorecidos, cuyo desarrollo
educativo se encontraba muy por detrs del de sus compaeros de clase media.
Adems, dichos tests eran relativamente inadecuados para discernir las diferencias entre
escuelas y programas, principalmente a causa de sus propiedades psicomtricas y el
alcance de sus contenidos. En lugar de determinar los resultados directamente
relacionados con una escuela o un programa en concreto, estos tests determinaban, en
el mejor de los casos, el grado de aprendizaje, centrndose casi en los mismos rasgos
que los tests de aptitudes (Kella Ghan, Madaus y Airasian, 1980).
Los intentos de aislar los efectos del artculo I a travs de la utilizacin de planes
establecidos por grupos de control o experimentales fallaron, debido, principalmente, a la
incapacidad de cumplir los requisitos de estos planes.
Y las inspecciones in situ realizadas por expertos aunque fueron muy utilizadas por
responsables gubernamentales no resultaron aceptables como primera estrategia
evaluativa porque se consider que este mtodo estaba falto de la objetividad y el rigor
estipulados en la legislacin de la ESEA. Cuando se informaba de que no se haba
llegado a ninguna conclusin, lo cual ocurra frecuentemente, se daba muy poca
informacin acerca de los procedimientos empleados y, a menudo, no se proporcionaban
datos sobre cmo se haban llevado a cabo. Frecuentemente, el nfasis puesto en las
puntuaciones de los tests desviaba la atencin del examen de los procedimientos o de
su ejecucin.
194
LECTURAS COMPLEMENTARIAS
Como resultado de la creciente inquietud producida por los esfuerzos realizados en las
evaluaciones con resultados siempre negativos, el Phi Delta Kappa cre el National Study
Committee on Evaluation (Stufflebeam y otros, 1971). Tras examinar el panorama, este
comit concluy que la evaluacin educacional era vctima de una grave enfermedad y
recomend el desarrollo de nuevas teoras y mtodos de evaluacin, as como nuevos
programas para preparar a los propios evaluadores. Al mismo tiempo, empezaron a
aparecer nuevas conceptualizaciones sobre la evaluacin. Provus (1971), Hammon (1967),
Eisner (1967) y Metfessel y Michael (1967) propusieron una reforma del modelo Tyler.
Glaser (1963), Tyler (1967) y Popham (1971) recomendaron los tests basados en criterios
como una alternativa a los tests basados en normas. Cook (1966) pidi la utilizacin del
mtodo de anlisis sistemtico para la evaluacin de programas. Scriven (1967),
Stufflebeam (1967, 1971) y STAKE (1967) crearon nuevos modelos de evaluacin que se
alejaban radicalmente de los mtodos anteriores. Estas conceptualizaciones reconocan
la necesidad de evaluar las metas, examinar las invasiones, y analizar el perfeccionamiento
y la prestacin de los servicios, as como determinar los resultados que se desean (o no
se desean) obtener del programa. Tambin insistieron en la necesidad de enjuiciar el
mrito o el valor del objeto de la evaluacin. Los ltimos aos de la dcada de los 60 y los
primeros de la de los 70 vibraron con las descripciones, discusiones y debates acerca de
cmo deba ser concebida la evaluacin. Las unidades que siguen tratan en profundidad
los mtodos alternativos que empezaron a tomar forma en este perodo.
195
LECTURAS COMPLEMENTARIAS
Con este teln de fondo, el progreso realizado por los evaluadores educacionales para
profesionalizar su especialidad durante los aos 70 es totalmente destacable. Algunas
publicaciones, como Educational Evaluation and Policy Analysis, Studies in Evaluation,
CEDR Quarterly, Evaluation Review, New Directions for Program Evatuation, Evaluation
and Program Planning y Evaluation News, aparecieron en aquella poca, y luego han
demostrado ser excelentes vehculos para recoger y difundir informacin acerca de las
diversas facetas de la evaluacin educacional. A diferencia de lo que ocurra quince aos
atrs, numerosos libros y monografas tratan ahora exclusivamente de la evaluacin. De
hecho, el problema actual no es encontrar literatura sobre la evaluacin, sino seguir el
ritmo de lo que se publica. El grupo May 12, la Division H de AERA, la Evaluation Network
y la Evaluation Research Society han proporcionado excelentes oportunidades para que
pueda establecerse un intercambio profesional entre personas relacionadas con la
evaluacin y otros programas.
196
LECTURAS COMPLEMENTARIAS
197
LECTURAS COMPLEMENTARIAS
Hasta aqu hemos presentado y discutido una definicin bsica de la evaluacin, descrito
algunos de los mtodos relacionados con el trabajo evaluativo, sealado las normas de
esta profesin y proporcionado un panorama histrico. Hecho esto, concluiremos echando
un vistazo a los papeles que se desempean en una evaluacin.
Tanto si una evaluacin es dirigida por una persona como s lo es por muchas, deben
desempearse unos cuantos papeles, y cuando se considera el trabajo relacionado con
apoyar y promover la evaluacin como profesin, este abanico de papeles se convierte en
uno mucho ms amplio. Todos los que estn relacionados con la evaluacin, ya sea en
general o como especialistas, deben tener una amplia visin de todos estos papeles con
el fin de que su participacin y su colaboracin se integren en la labor de grupo. Quizs
nada sea tan destructivo con respecto a la potencial contribucin en una evaluacin
como el hecho de pensar que esa evaluacin es una investigacin independiente realizada
198
LECTURAS COMPLEMENTARIAS
por un solo investigador. Por el contrario, la evaluacin alcanza su mejor momento cuando
se desarrolla como un trabajo de equipo.
Con la intencin de proporcionar un amplio panorama del trabajo, relacionado con las
evaluaciones individuales y con la profesin evaluativa en general, hemos descrito doce
papeles bsicos. Aunque otros autores describan un panorama distinto y le asignen
funciones diferentes, nosotros creemos que nuestra clasificacin de papeles abarca
muchas, sino todas, de las responsabilidades laborales que los evaluadores pueden llevar
a cabo. Es ms, en nuestra experiencia, esos doce papeles se han asociado con la
actual distribucin del trabajo. Desde luego, no siempre existe una correspondencia unvoca
entre papel y trabajo, pero creemos que esos doce papeles pueden resultar tiles para el
lector, no slo para que reflexione sobre la amplia serie de actividades evaluativas
existentes, sino tambin para que tenga en cuenta los posibles estudios que se pueden
realizar en torno a la evaluacin. Lo que sigue, pues, son unas breves definiciones de los
doce papeles bsicos que pueden desempearse en una evaluacin.
El cliente de la evaluacin
Puede encontrarse una gran variedad de clientes en las organizaciones educativas, sociales
y de la salud. Esto incluye, por ejemplo, inspectores de distritos escolares, administradores
hospitalarios y directores de agencias; directores de colegios, presidentes de departamento
199
LECTURAS COMPLEMENTARIAS
El diseador de la evaluacin
Uno de los aspectos ms fascinantes del trabajo evaluativo es que se trata de una empresa
creativa. Disear una evaluacin para satisfacer la demanda de informacin de un cliente
es algo ms que un proceso mecnicamente rutinario. Entre otras responsabilidades,
debe conceptualizar las cuestiones que sern abordadas, examinar el panorama poltico,
trazar una recopilacin de datos y un plan de anlisis, idear los informes y el proceso
informativo, encargarse del aspecto financiero y del personal y determinar cmo deben
ser empleadas las normas profesionales de la evaluacin. Para solucionar todo este
complejo entramado de decisiones de planificacin, no bastan modelos de otras
evaluaciones o planes ya publicados. Por el contrario, el diseo tpico de una evaluacin
consiste en un continuo proceso conceptual.
Para disear una buena evaluacin, se debe ser un observador sensible de los ambientes
sociales, saber entrevistar y escuchar, y estudiar con voluntad y capacidad lo esencial
del programa que va a ser examinado. El evaluador debe ser tambin experto en un
amplio campo de tcnicas comunicativas y de encuestas, y capaz de reunir las distintas
piezas de las premisas y la informacin en planes de trabajo que sean prcticos,
coherentes y que sirvan como guas racionales.
200
LECTURAS COMPLEMENTARIAS
El coordinador de la evaluacin
Este papel implica que las personas especializadas en evaluaciones deben tambin
prepararse para funciones administrativas, e igualmente que aquellos a quienes se les
asigne un trabajo administrativo relacionado con la evaluacin deben poseer o adquirir
conocimientos bsicos sobre la planificacin de evaluaciones. Finalmente, creemos que
las ms importantes instituciones educativas, sanitarias y sociales deben, a menudo,
dirigir sus esfuerzos hacia la creacin de grupos administrativos competentes.
201
LECTURAS COMPLEMENTARIAS
Asistentes de la evaluacin
Respondedores de la evaluacin
La mayor parte de las evaluaciones supone una cierta cantidad de trabajo tcnico que
requiere la ayuda de expertos especializados. Por ejemplo, puede ser necesario supervisar
202
LECTURAS COMPLEMENTARIAS
De todas maneras, es inevitable que los estudios a gran escala contraten especialistas
para llevar a cabo estas tareas con el fin de que los asistentes puedan concentrar sus
esfuerzos en su propio campo de trabajo: los clientes y los respondentes. Este grupo de
expertos puede incluir especialistas en la elaboracin de pruebas, especialistas en
muestreos, especialistas en el procesamiento de datos, estadsticos, especialistas en el
estudio de casos y redactores tcnicos.
Especialistas en informacin
Un papel tcnico que hemos escogido para dedicarle una atencin especial es el del
especialista en informacin. Y lo hemos hecho porque ese papel supone una continua
necesidad de informacin relacionada con otras evaluaciones y no con problemas tcnicos
determinados. El especialista en informacin es especialmente importante en las agencias
que disponen de departamentos de evaluacin. Las evaluaciones dirigidas desde estos
departamentos deben tomar en consideracin el panorama institucional y su contexto
histrico, examinar los descubrimientos del pasado y de la actualidad para determinar
las tendencias y evitar una innecesaria pluralidad de esfuerzos en lo que se refiere a la
recopilacin de datos. Es necesario, como mnimo, un buen sistema para ordenar y
archivar los informes de manera que la informacin que contienen pueda ser fcilmente
consultada en futuras evaluaciones. Adems, muchas agencias se beneficiaran de una
recopilacin regular de informacin que las ayudara a estar totalmente al corriente de
entradas de datos, procesos y producciones, as como de la actitud de sus componentes
hacia los servicios de la agencia.
203
LECTURAS COMPLEMENTARIAS
Especialistas en comunlcacin
La evaluacin bien hecha es una comunicacin efectiva acerca del mrito y el valor de algn
objeto. Esto quiere decir que los problemas de los clientes guan el trabajo de los evaluadores,
y las conclusiones de estos llegan hasta tos clientes para informarlos. Ninguno de estos
objetivos se hace posible sin una comunicacin efectiva entre el evaluador y el cliente.
Todo esto requiere que los evaluadores tengan conocimientos sobre tecnologas de la
comunicacin. Bsicamente, deben ser capaces de preparar informes escritos con claridad
y que estn dirigidos a y resulten comprensibles para la audiencia o audiencias que
204
LECTURAS COMPLEMENTARIAS
los han solicitado. Tambin deben saber cmo comunicar conclusiones a travs de medios
distintos del material impreso: por ejemplo, deben saber cmo hablar en pblico, utilizar
tcnicas audiovisuales y servirse de los medios pblicos. Finalmente, queremos sealar
que deben poseer conocimientos sobre el anlisis poltico y la solucin de conflictos, ya
que, a menudo, las evaluaciones son objeto de controversia.
El anlisis de los papeles realizados hasta este punto ayuda a clarificar la complejidad
del trabajo evaluativo. Una gran agencia, que deba someter continuamente a evaluaciones
a sus exhaustivos servicios, puede que necesite un personal completo de especialistas
en evaluacin. La figura 1-1 es un ejemplo de cmo debe estar organizado el departamento
de evaluacin de una agencia para que cumpla a la perfeccin las diversas funciones de
una evaluacin. Como puede verse en ese esquema organizativo, el coordinador de la
evaluacin tiene la responsabilidad de satisfacer las necesidades evaluativas de la agencia
y de sus componentes. Para ayudarle en el desempeo de este papel, el coordinador de
la evaluacin dispone de los esfuerzos de distintos especialistas. Que los servicios del
departamento sean tcnicamente slidos e influyentes, depende de hasta qu punto su
trabajo est coordinado de un modo efectivo. Al mismo tiempo, queremos subrayar que
la evaluacin debe, a menudo, estar realizada por un solo evaluador. Para hacer bien su
trabajo, debe llegar a desenvolverse bien en toda la amplia gama de papeles ya descritos.
Probablemente, la mejor manera de encontrar y aprender el modo de conocer bien toda la
gama de papeles de una evaluacin es dirigiendo evaluaciones de una sola persona bajo
la tutela de un experto en evaluaciones. Participar en equipos de evaluacin tambin
proporciona excelentes oportunidades de aprender. Los evaluadores deben ser inventivos
a la hora de utilizar la ayuda de los especialistas, que pueden resultarles baratos e
205
LECTURAS COMPLEMENTARIAS
Llegados a este punto en el anlisis de los papeles en una evaluacin, slo hemos
examinado aquellos que corresponden a una evaluacin efectiva. Ahora vamos a ver otros
cuatro que actan como papeles secundarios en la profesionalizacin de la evaluacin.
Preparador de la evaluacin
A lo largo del anlisis precedente, nos hemos ido refiriendo a la necesidad de una buena
preparacin por parte de aquellos que participan en una evaluacin. Estas necesidades
incluyen tanto la orientacin hacia unos planes de evaluacin especficos como el desarrollo
de unas tcnicas y conocimientos ms generalizados, y, ms concretamente, los
conocimientos que se adquieren examinando una prctica determinada. Adems, la
necesidad de una preparacin corresponde tanto a los especialistas como a los clientes
y a los respondedores.
Clientes
y respondedores
de la evaluacin
206
LECTURAS COMPLEMENTARIAS
La evaluacin, como cualquier otra profesin, debe asegurarse de que los que participan en
ella disfruten de una amplia gama de slidas oportunidades para prepararse bien. Esto
incluye programas de preparacin especializada que culminan en una titulacin; cursos
auxiliares que estn concebidos para asesorar a todos aquellos que se estn preparando
para una serie de funciones profesionales como supervisores, asistentes sociales,
profesores y mdicos sobre la evaluacin de sus propios servicios profesionales; continuas
oportunidades educativas para evaluadores y especialistas, y sesiones orientativas sobre
estudios especficamente evaluativos destinados a clientes y respondedores. Este tipo de
preparacin debe presentar un contenido actual que resulte vlido para los problemas
concretos que debern enfrentar los aprendices. Sin duda, la preparacin es un papel
crucial para mantener y hacer progresar la calidad de los servicios evaluativos.
Investigador evaluativo
Aunque la evaluacin es tan antigua como la civilizacin, slo desde hace muy poco
tiempo existe como prctica formal. nicamente en las dos ltimas dcadas se han
207
LECTURAS COMPLEMENTARIAS
Promotor de la evaluacin
Se trata de otro de los papeles vitales de la evaluacin. Tiene como base la funcin de
ayudar colectivamente a los evaluadores a alcanzar y mantener el estatus de una profesin.
El significado de este papel puede encontrarse en la definicin de un diccionario que
afirma que una profesin es un oficio que requiere un conocimiento especializado y, a
menudo, una preparacin larga e intensiva, incluyendo el dominio de tcnicas y mtodos,
as como tambin de las nociones cientficas, histricas y eruditas en las que se basan
estas tcnicas y mtodos, manteniendo, mediante la organizacin o la coordinacin de
conceptos, altos niveles de ejecucin y xito, y sometiendo a sus miembros a un estudio
continuo y a una concepcin del trabajo en la que lo que ms importa es el ofrecimiento
de un servicio pblico.
208
LECTURAS COMPLEMENTARIAS
y estatales, adems del apoyo de los miembros de la profesin. Cada una de las personas
que cobren por trabajar como evaluadores estn obligadas a apoyar los distintos esfuerzos
que se estn haciendo para que la profesin siga adelante. Entre las funciones especficas
que pueden cumplirse se encuentran las de editor de una publicacin sobre la evaluacin,
elaborador de normas, educador de evaluadores y especialista y funcionario de una
sociedad evaluadora. Compartiendo las responsabilidades de estas funciones, los
evaluadores pueden contribuir a asegurar al pblico que los servicios profesionales que
ellos ofrecen son modernos y de gran calidad.
El metaevaluador
El ltimo papel que queremos subrayar, el del metaevaluador, requiere mucha astucia y
penetracin. Est relacionado con las funciones de evaluar evaluaciones, pero tambin
supone enjuiciar el valor y el mrito de todo lo que representa y hace la profesin: servicios
de evaluacin, utilizacin de las evaluaciones, preparacin de la evaluacin, investigacin
evaluativa y desarrollo organizativo. La metaevaluacin utiliza las normas aceptadas de la
profesin y trata de asegurar que son cumplidas. Tambin se ocupa de examinar las
propias normas con el fin de decidir en qu sentido deben ser revisadas.
Con este breve comentario sobre la metaevaluacin, terminamos nuestro repaso de los
papeles que se desempean en una evaluacin. Hemos analizado minuciosamente, hasta
209
LECTURAS COMPLEMENTARIAS
cierto punto, la funcin del evaluador profesional y hemos echado un vistazo a las divisiones
que presenta. Creemos que, sin duda, todo ello ha contribuido a apoyar la idea de que la
evaluacin es a menudo un trabajo de equipo. Pero sacar la conclusin de que las
evaluaciones necesitan de los esfuerzos de un equipo sera una falsa interpretacin: por
el contrario, la evaluacin debe ser una parte necesariamente integrante de las funciones
de todo profesional. Nuestra conclusin es que estas funciones (o papel) son tan difciles
como importantes. Y la conclusin ms obvia y fundamental es que todos los profesionales
deben desarrollar sus responsabilidades evaluativas, puedan o no conseguir la ayuda de
un equipo y aunque tengan que desempear ellos solos todas las funciones de la
evaluacin.
210
LECTURAS COMPLEMENTARIAS
Lectura complementaria N 2
Proyecto general
Bernardo Restrepo Gmez
1998
1. Antecedentes
211
LECTURAS COMPLEMENTARIAS
obligacin de responder ante la comunidad por el servicio educativo que presta, comenz
a motivar las facultades, escuelas e institutos para que sopesasen la posibilidad de
asumir el proceso de acreditacin. El propsito fundamental, eso s, es el mejoramiento
del currculo, la enseanza, la investigacin y otros aspectos institucionales y de los
programas acadmicos. En 1997, ao sealado como el ao del cambio curricular en
la Universidad, se dio inicio a la acreditacin de los primeros programas.
2. La autoevaluacin
212
LECTURAS COMPLEMENTARIAS
Ante todo, se pone atencin a la misin, la filosofa y el proyecto educativo del programa.
Estos tres componentes estn enraizados en los ambientes cultural, social, econmico
y poltico, en los problemas, las necesidades y las condiciones que circundan el programa.
Ello quiere decir que la evaluacin tiene que considerar el contexto donde los profesionales
trabajarn. El xito o fracaso de un programa puede explicarse, en buena medida, debido
a estas condiciones prevalecientes. Para comenzar un programa nuevo o redisear uno
ya existente es necesario, entonces, diagnosticar estas necesidades y condiciones.
213
LECTURAS COMPLEMENTARIAS
Finalmente, los lineamientos del CNA tienen en cuenta algunos impactos o repercusiones
de los programas, a travs de la informacin concerniente al desempeo de los egresados
en sus puestos de trabajo y a travs tambin de la repercusin de la investigacin y las
publicaciones.
214
LECTURAS COMPLEMENTARIAS
N
Impactos
215
LECTURAS COMPLEMENTARIAS
El modelo lgico debe estar apoyado en una teora de base, en un marco referencial que
explique las modificaciones, que nuevas necesidades y cambios en el contexto y la
tecnologa producen en las profesiones. Tal marco debe basarse en la teora sobre
educacin superior, en la teora social aplicada al anlisis del contexto, en teoras
particulares de los respectivos campos profesionales y en opciones tericas hechas por
los programas entre las diferentes escuelas de pensamiento con respecto a las ciencias
bsicas y aplicadas, que aportan su concurso a los programas. En esta forma, el marco
referencial permite seguir y al mismo tiempo tomar distancia de los lineamientos del
CNA, es decir, cumplir la ley al tiempo que salvaguardar la autonoma, y confiere a la
evaluacin un mayor sentido de utilidad, identificacin de valores y viabilidad poltica,
sobre todo ahora que los estudiantes cuestionan la acreditacin relacionndola con polticas
neoliberales, con la apertura econmica y con la reduccin del estado, particularmente
con la poltica de privatizacin. Un buen marco referencial permite a profesores y estudiantes
debatir la razn de la evaluacin y de una evaluacin en trminos de la universidad, no en
trminos del gobierno y de influencias externas.
Algunas pautas bsicas, no contenidos, fueron desarrolladas por los asesores, por solicitud
expresa de los comits coordinadores, como un punto de partida para que cada programa
216
LECTURAS COMPLEMENTARIAS
Se da como un hecho que cada programa tiene su racionalidad, esto es, su razn de ser,
de haber sido instaurado en un momento dado y de mantener su vigencia. En otras
palabras, cada programa universitario tiene una historia y un trasfondo filosfico, social y
cientfico.
Los antecedentes deben incluir la historia del programa y los cambios curriculares por
ste experimentados, as como las explicaciones de dichos cambios, relacionadas tanto
con las necesidades sociales como con el desarrollo cientfico y las concepciones
profesionales.
Filosofa institucional
Esta pauta tiene que ver con la filosofa de la universidad y con la especfica del programa:
su visin del mundo, sus estndares profesionales, sus valores, su compromiso con la
sociedad.
La estructura curricular
Es indispensable que quede claro cmo el programa establece la mltiple relacin ciencia-
cultura-tecnologa-sociedad, bsica para emprender un diseo y un rediseo curricular.
En la base de esta mltiple relacin debe producirse una reflexin acerca de la opcin
terica con respecto a las ciencias y disciplinas bsicas del programa y acerca del tejido
de interdisciplinariedad entre las ciencias bsicas y las aplicadas que lo conforman.
Pertinencia de programa
Qu tan pertinente es o debe ser el programa, tanto desde el punto de vista social como
del cientfico. A quin sirve y qu problemas intenta resolver y desde qu bases de
217
LECTURAS COMPLEMENTARIAS
Prospectiva programa
Esta pauta se relaciona con las nuevas tendencias y rumbos que las profesiones estn
tomando y con los factores determinantes de dichos cambios. Es cada vez ms importante
no perder de vista este punto debido al mundo globalizado en que vivimos y a la aldea
planetaria en que, segn muchos, se est convirtiendo el mundo.
2.1.2.2 Criterios
Teniendo presentes los propsitos, categoras principales definidas por el CNA y el marco
referencial en que se basa la evaluacin interna, el siguiente paso consisti en establecer
criterios coherentes para juzgar la situacin del programa. El CNA sugiri algunos criterios,
que fueron complementados as:
2.1.2.3 Indicadores
218
LECTURAS COMPLEMENTARIAS
219
LECTURAS COMPLEMENTARIAS
Estos son algunos de los indicadores del componente investigativo. De manera similar,
todos los elementos de los componentes de contexto, insumos, procesos y productos
se someten a identificacin de indicadores adecuados, no solo cuantitativos, sino tambin
cualitativos, con miras a facilitar luego la construccin de los instrumentos.
Dado que la autoevaluacin es una evaluacin interna, los evaluadores son actores del
programa evaluado. Los Consejos de Facultad, luego de ambientar la acreditacin en
sus respectivos espacios, toman la decisin de acreditar determinados programas. El
Consejo Superior ha integrado un Comit Central Coordinador del Programa para toda
la Universidad. Este comit es coordinado por uno de los asistentes del vicerrector de
docencia.
Un cronograma debe ser preparado, discutido y acordado por los comits de programa
con miras a tener terminado el trabajo en 10 meses y mximo en un ao. Los hitos
principales de este cronograma son:
220
LECTURAS COMPLEMENTARIAS
Sesin especial para discutir las categoras formuladas para el anlisis e interpretacin
de datos.
221
LECTURAS COMPLEMENTARIAS
222
LECTURAS COMPLEMENTARIAS
los programas (Fetterman, 1996: 1998), y ello no slo como resultado de todo el proceso,
sino a medida que ste avance (Rothman, 1998). Estudiantes y profesores son parte
especialmente interesada en el programa y sus contribuciones son muy importantes,
tanto para generar nuevos factores y categoras de anlisis, como para identificar problemas
y necesidades en el camino y contribuir a disear su solucin.
El diseo escogido, dados los lineamientos del CNA y el tiempo definido para terminar la
autoevaluacin, es el diseo descriptivo, aunque con algunos elementos predictivos, al
menos en el mbito lgico, no en el estadstico. Es descriptivo porque su intencin es
describir la estructura y funcionamiento actuales de los programas, su calidad, efectividad,
elementos fuertes, carencias y perspectivas. En relacin con este ltimo aspecto, el
marco de referencia insiste en la prospectiva de las profesiones, lo que da a la evaluacin
un toque de prediccin.
El primer plan incluye una revisin de las categoras o los componentes del programa
evaluado, las fuentes de datos, esto es las audiencias y posibles muestras, as como las
tcnicas e instrumentos para obtener los datos en las fuentes identificadas.
223
LECTURAS COMPLEMENTARIAS
Misin y filosofa.
Bienestar institucional.
Desempeo de egresados.
Para obtener la informacin debida acerca de las categoras acordadas es necesario identificar
audiencias apropiadas o poblaciones poseedoras de los datos buscados. Es conveniente,
asimismo, tener en cuenta los actores afectados por los programas o interesados en l. Las
audiencias determinadas en relacin con los programas universitarios son:
224
LECTURAS COMPLEMENTARIAS
Los estudiantes. Una muestra estratificada al azar es diseado para cada programa,
teniendo en cuenta el sexo y el semestre cursado. Se usa cuestionario para la
recoleccin de datos y se realizan tambin grupos focales.
Instrumentos
225
LECTURAS COMPLEMENTARIAS
Protocolos para anlisis de contenido son desarrollados con sus respectivas categoras
para analizar documentos de apoyo.
Dado que el diseo es descriptivo, los datos cuantitativos se reducen a porcentajes y sus
resultados se presentan en barras simples y agrupadas en grficas de lnea mltiple y en
grficas de pastel, a partir de las categoras generales acordadas por los comits. Tales
categoras actan como hitos bsicos del anlisis cuantitativo.
226
LECTURAS COMPLEMENTARIAS
evaluacin para mejorar la calidad y efectividad. Entra aqu el anlisis lgico a complementar
el anlisis descriptivo. Logrado ste, los evaluadores deben escrutar holsticamente el
panorama para hacer contrastaciones con el marco de referencia, plantear discusiones,
extraer inferencias y sugerir cambios.
ste es el momento para usar los criterios en el juicio sobre la situacin real de los
programas y para sostener reuniones con los interesados para identificar argumentos
facilitadores de la interpretacin. Miembros destacados del profesorado, personas que
son crticas del desarrollo del programa, son fuentes para ampliar la visin del anlisis.
Por supuesto, mucho trabajo de equipo deber llevarse a cabo para interpretar lo que los
datos estn diciendo y mucha imaginacin y perspicacia son necesarias para sacarle lo
mximo a los datos brutos, cuantitativos y cualitativos. Los comits coordinadores deben
sealar las fortalezas y debilidades de los programas: aquello que es sorprendente en los
hallazgos, las necesidades identificadas, preocupaciones de los estamentos, cambios
indispensables y cmo encauzar dichos cambios, y quizs algunos elementos para un
plan de accin.
Los informes finales van al CNA para efecto de envo de pares verificadores y a los consejos
acadmico y de facultades, escuelas e institutos para conocimiento, difusin a los
227
LECTURAS COMPLEMENTARIAS
Los informes finales siguen la estructura de las etapas descritas en este documento:
antecedentes, conceptualizacin de la evaluacin, diseo de recoleccin y anlisis de
datos, situacin del programa en el momento de emprender la acreditacin y, finalmente,
los resultados y su interpretacin. Debe ponerse especial atencin en las recomendaciones
de accin, ya que el propsito primordial de la autoevaluacin es el mejoramiento de los
programas.
228
LECTURAS COMPLEMENTARIAS
Referencias
Stufnebeam, D. and others. Educational Evluaflon and Decision Making. Itasca, 111.: F.
E. Peacock Publishers, inc.1971. El modelo ha sido actualizado por el autor en 1997.
229
LECTURAS COMPLEMENTARIAS
Lectura complementaria N 3
Tomada de Forero, J. Evaluacin general del programa de desarrollo rural integrado, DRI,
en Colombia. Bogot: Universidad Javeriana y Ministerio de Agricultura, 1990.
230
LECTURAS COMPLEMENTARIAS
1. La elegibilidad de proyectos
El reto central est en cmo conseguir que las comunidades se apropien de los proyectos,
lo cual remite a preguntarse si un proyecto surge realmente de la comunidad y cmo
surge y cmo lo puede apoyar una entidad como el Desarrollo Rural Integrado 1.
Queremos advertir, eso s, que elegir proyectos centralmente, en Bogot o en las capitales
departamentales, genera un obstculo tcnico y poltico para un verdadero desarrollo
rural y una franca contribucin a la derrota precoz de cualquier intento de crear soluciones
para los campesinos. El papel de quienes asuman la funcin de evaluar tcnicamente
los proyectos debe consistir en aportar un insumo tcnico al proceso de concertacin
entre campesinos y entidades gubernamentales para que las decisiones se tomen en los
municipios, con una representacin real de las comunidades rurales que conforman el
espacio municipal.
Aqu se nos plantea con toda claridad que un proceso tcnico de evaluacin no tiene
sentido en s mismo si se plantea exclusivamente como un sistema de flujo de informacin
para la toma de decisiones. Se tiene que involucrar necesariamente una relacin vivencial
con el medio, con el medio rural en nuestro caso. Quizs las cosas sean distintas para
otra clase de proyectos de naturaleza estrictamente privada, pero en materia de desarrollo
social y econmico hay que contar con instrumentos pragmticos de concertacin, para
no repetir los modelos de imposicin vertical del desarrollo rural.
1 Conformarse con ir a preguntarle a unos cuantos lderes si les gustara que el Estado trajese un dinero para hacer una obra
significa reproducir el rito intil de la participacin formal. Intil desde el punto de vista de la necesidad planteada atrs de
construir con los campesinos los proyectos de desarrollo rural.
231
LECTURAS COMPLEMENTARIAS
232
LECTURAS COMPLEMENTARIAS
Hay que partir del hecho de que la concepcin de los objetivos del DRI que enfatizan,
a la vez, el abastecimiento urbano de alimentos y la elevacin del nivel de vida de los
campesinos, se plantea implcitamente el reto de armonizar dos lgicas econmicas
diferentes: la del mercado capitalista y la de la organizacin de la produccin
campesina2.
2. No sin razn se plantea, ltimamente, que no existe una lgica econmica o una racionalidad campesina. Hay multiplicidad
de comportamientos racionales diferentes y aun opuestos entre distintos grupos de campesinos y entre distintos campesinos
considerados individualmente condicionados por las interrelaciones entre factores culturales y actitudes. El ser racional
no tiene contenido, ste proviene de los campos de la cultura y de las actitudes... (John ADAMS, La vacuidad del concepto
de racionalidad campesina en la revista Coyuntura Agropecuaria, del CEGA, vol. 5 nm. 2-3, jul oct de 1988, Bogot.
Pero de todas formas el hecho de que en la produccin campesina la familia sea la base de la organizacin de la empresa
y la subsistencia de la familia su finalidad, le imprime una racionalidad diferente a la de otro tipo de empresas, o mejor un
conjunto de comportamientos racionales que aunque diversos entre s tienen una identidad determinada, a su vez, por la
identidad entre familia, produccin y reproduccin.
233
LECTURAS COMPLEMENTARIAS
Estas consideraciones que normalmente son aceptadas por todo el mundo desaparecen
cuando se trata de planificar y de evaluar (o de imponer, en la prctica) el desarrollo rural.
Los parmetros utilizados perfilan una concepcin unidimensional que desde la lgica
del mercado capitalista reproducen los criterios velados de la expropiacin y la imposicin3.
Ante esta situacin es necesario adoptar, con toda claridad, nuevos parmetros de
evaluacin de los programas de desarrollo rural inscritos dentro de la bipolaridad mercado
- mundo rural, de tal manera que abarquen indicadores que tengan que ver, al mismo
tiempo, con las transferencias econmicas con la sociedad mayor y con la elevacin de
la calidad de la vida de los campesinos desde el punto de vista de las necesidades
reales de los campesinos mismos y desde su particular forma de entender y sentir el
bienestar.
3. Segn el modelo de Bataglia, cuando las comunidades toman decisiones ajenas acerca de la utilizacin de sus propios
recursos se configura una situacin de expropiacin. Si adems los recursos son ajenos y las decisiones son tomadas
tambin por personas ajenas a ellas, se conforma un estado de imposicin. Este modelo nos ha parecido impresionantemente
claro para develar en nuestro propio actuar, y en el ajeno, las pretensiones totalitaristas.
4. En el medio rural el 60% de la poblacin, 6 millones y medio de personas, no consumen los alimentos mnimos necesarios.
La deficiencia en ingestas calricas abarca el 60% de las personas y la de protenas el 53%. Ver Carlos Arturo PATIO,
Elizabeth CAICEDO DE CARDOZO y Mercedes RANGEL BOHRQUEZ, Pobreza y Desarrollo en Colombia. Su impacto
sobre la infancia y la mujer. UNICEF DNP ICBF, Bogot, 1998.
234
LECTURAS COMPLEMENTARIAS
Visto de otra forma: si alguna conclusin clara ha sacado el anlisis de los fracasos de la
poltica de desarrollo rural, impulsada por el Banco Mundial y el BID, en el mundo, es que una
condicin indispensable para conjurar estos fracasos est en consultar a los campesinos
sobre sus necesidades, sus objetivos y sus propuestas. Esta es una consideracin que, por
supuesto, tiene que ver con la planificacin y con la evaluacin de tales polticas.
5. La evaluacin que hicimos de los programas de comercializacin en el Ariari muestra con claridad que la falta de informacin
de precios no alert oportunamente a las entidades y a las cooperativas sobre el nocivo rezago de los precios del canal en
donde se estaba actuando (Carulla), en relacin con otras alternativas (Corabastos). Como se haba iniciado el proyecto
en una situacin de precios altamente favorable por parte de Carulla, se asumi por mucho tiempo que la situacin continuaba
estable, hasta que los intermediarios reconquistaron el mercado y colocaron a la cooperativa en una situacin inmanejable.
Con seguridad, se hubiera podido tomar medidas eficaces oportunamente.
Un segundo ejemplo: el DRI mont en Bogot una de las alternativas de mercadeo ms interesantes, exitosas y con grandes
potencialidades de impactar el mercado. Nos referimos a los mercados mviles urbanos. Hasta donde conocemos, el DRI
no tiene ni idea de que est pasando con ellos. Si no se controlan sus precios da a da, esta alternativa pierde su capacidad
de impacto en la medida en que se reduce a un negocio ms de comerciantes privados que disfrutan de las rentas implcitas
que significan operar a bajsimos precios en privilegiados sectores del espacio pblico.
235
LECTURAS COMPLEMENTARIAS
* Precios sin proyecto frente a precios con proyecto y volumen de los productos
afectados por nuevos precios.
236
LECTURAS COMPLEMENTARIAS
e. Flujo de energa humana alrededor del proyecto o de la idea del proyecto: se trata
de establecer, por medio del anlisis colectivo (o de entrevistas y observacin), el
tipo y grado de conocimiento, as como la identificacin con la idea (diseo) y el
compromiso real de:
3.3 Nutricin
Ante una situacin nutricional como la existente (ms del 50% de la poblacin rural est
desnutrida), ste es un parmetro bsico de evaluacin global que se puede aplicar
estratgicamente por pequeos grupos, comunidades veredales, municipios y regiones,
para establecer un sistema de diseo, control y ejecucin tendiente a que el programa
acte pragmticamente y en forma integral (produccin, autoconsumo, acueductos,
campaas educativas, distribucin y mercadeo de alimentos por medio de proyectos
colectivos como los que ya estn funcionando).
6. Es claro que la evaluacin sobre la marcha ex-post y ex-ante se confunden en el caso, absolutamente generalizado en el
momento actual, de procesos (o digamos, proyectos) que ya han sido iniciados con o sin apoyo institucional y sobre los
cuales se disean proyectos para fortalecerlos. La situacin inicial corresponde, en estos casos, a la situacin de una
etapa anterior.
237
LECTURAS COMPLEMENTARIAS
ste es un parmetro asociado con el anterior y que hay que involucrar en los criterios de
evaluacin de los programas y proyectos de produccin y comercializacin. La seguridad
alimentaria debe considerarse familiar y regional. El sistema de precios puede dar aportes
significativos para orientar y evaluar polticas, arrojando seales sobre los puntos
neurlgicos en que hay que actuar, al comparar constantemente precios locales al
productor con precios locales, regionales y nacionales.
- Autoconsumo - mercado.
238
LECTURAS COMPLEMENTARIAS
- Seguridad alimentaria.
- Autoconsumo - mercadeo.
- Impacto ambiental.
d. Factores determinantes:
- Disponibilidad de insumos.
- Mercado
- Locales
239
LECTURAS COMPLEMENTARIAS
Lectura complementaria N 4
Campbell y Stanley (1966) y Riecken y otros (1974) son citados a menudo como firmes
defensores de los mtodos cuantitativos. Aunque Campbell y Stanley (1966:2) no se
interesaron fundamentalmente por la investigacin evaluativa, describen lo experimental
como "el nico medio de establecer una tradicin acumulativa en el que cabe introducir
perfeccionamientos sin el riesgo de prescindir caprichosamente de los antiguos
conocimientos en favor de novedades inferiores". Riecken y otros (1974:6,12) se muestran
tan slo ligeramente ms moderados y no menos entusiastas en sus reivindicaciones
acerca de los experimentos: "Los experimentos no slo conducen a conclusiones causales
ms claras sino que el mismo proceso del diseo experimental contribuye a aclarar la
* Notas de los autores: El trabajo del que damos cuenta en este captulo cont en parte con la ayuda de una beca de investigacin
de la Universidad de Denver, una beca de investigacin de la W. T. Grant Foundation y una beca (Dart-78-09368) de la
National Science Grant Foundation. Los autores agradecen a Brbara Minton y a Dafe Schellenger sus valiosos comentarios
a un anterior borrador de este texto.
240
LECTURAS COMPLEMENTARIAS
naturaleza del problema social que est siendo estudiado". "Cuando las condiciones no
son problemticas o cuando la creatividad y el ingenio de quien disea la investigacin
pueden resolver problemas difciles, entonces, la experimentacin es el mtodo preferible
para obtener una informacin vlida y fiable sobre la cual proyectar programas
sociales"(cursiva en el original).
Weiss y Rein (1972), Parlett y Hamilton (1976) y Guba (1978) figuran entre quienes se
agrupan en favor de los mtodos cualitativos. Weiss Rein en particular (1972:243) indica
diversas estrategias alternativas de investigacin y derivadas de la tradicin cualitativa
a las que consideran "en general superiores al diseo experimental como metodologa
para la evaluacin de programas de objetivos amplios". Al hablar especficamente de la
evaluacin educativa, Parlett y Hamilton (1976:141) aaden tajantemente:
De manera similar, Guba (1978: 81) seala que la investigacin naturalista (a la que se
compara con el trabajo etnogrfico de campo y con el periodismo de investigacin y se
presenta como diametralmente opuesta a la investigacin experimental y convencional)
brinda "un modo de evaluacin ms apropiado y ms sensible que cualquier otro practicado
en la actualidad".
La corriente actual de opinin revela, en realidad, ms desacuerdos que los ofrecidos por
estos dos grupos de citas. Desde luego, no hay unanimidad sobre si existe o no
desacuerdo. Por ejemplo, Rossi y Wright (1977:13) afirma: "Entre los investigadores
evaluativos existe una coincidencia casi total en sealar que el experimento aleatorio
controlado es el modelo ideal para evaluar la eficacia de la poltica pblica ". Guba (1978)
cita esta declaracin con obvio desdn.
241
LECTURAS COMPLEMENTARIAS
El propsito del presente captulo consiste en sealar que parte del debate actual sobre los
mtodos cualitativos y cuantitativos no se centra en cuestiones productivas y, en
consecuencia, no se desarrolla de manera tan lgica como sera deseable. Esto no significa
afirmar que sea posible resolver por completo esta disputa metodolgica. Como ms tarde
veremos, del debate surgen cuestiones importantes que permiten unas justas diferencias
de opinin y de criterio. Convendra perfilarlas antes de que se manifestaran sentimientos
como los expresados al menos en algunas de las citas anteriores. Pero el debate, tal como
se est llevando a cabo, oscurece de forma progresiva las cuestiones y crea sin necesidad
cismas entre los dos tipos de mtodos, cuando debera tender puentes y poner en claro
cules son los autnticos desacuerdos a los que merece la pena prestar atencin.
Para entender algunas de las falacias de las opiniones actuales que estn cobrando
popularidad, es preciso apreciar ms plenamente la forma en que se desarrolla el debate
entre los dos tipos de mtodos. Recientes comentaristas, crticos y defensores (cf. Guaba,
1978; Parlett y Hamilton, 1976; Patton, 1976, 1978; Rist, 1977 y Wilson, 1977) consideran
el debate no slo como un desacuerdo respecto a las ventajas y desventajas relativas de
los mtodos cualitativos y cuantitativos, sino tambin como un choque bsico entre
paradigmas metodolgicos. Segn esta concepcin, cada tipo de mtodo se halla ligado a
una perspectiva paradigmtica distinta y nica y son estas dos perspectivas las que se
encuentran en conflicto. Tal como lo expone Rist (1977: 43):" En definitiva, la cuestin no
estriba perse en unas estrategias de investigacin: lo que sucede ms bien es que la
adhesin a un paradigma y su oposicin a otro predispone a cada uno a concebir el mundo,
y los acontecimientos que en l se desarrollan, de modos profundamente diferentes".
Una visin del mundo, una perspectiva general, un modo de desmenuzar la complejidad del
mundo real. Como tales, los paradigmas se hallan profundamente fijados en la socializacin
de adictos y profesionales; los paradigmas les dicen lo que es importante, legtimo y
razonable. Los paradigmas son tambin normativos, sealan al profesional lo que ha de
hacer sin necesidad de prolongadas consideraciones existenciales o epistemolgicas.
242
LECTURAS COMPLEMENTARIAS
Los que ven el debate en trminos de un contraste entre paradigmas proporcionan, por lo
general, toda una lista de atributos de los que se afirman que permiten distinguir las
concepciones globales cualitativa y cuantitativa. Por ejemplo, Rist (1977) brinda tres atributos,
Patton (1978) proporciona siete y Guba (1978) aporta catorce. Sin propsito de ser
exhaustivos, ofrecemos en la tabla nm. 1 muchos de los atributos ms prominentes de
cada paradigma. En resumen, del paradigma cuantitativo se dice que posee una concepcin
global positivista, hipottico-deductiva, particularista, objetiva, orientada a los resultados y
propia de las ciencias naturales. En contraste, del paradigma cualitativo se afirma que
postula una concepcin global fenomenolgica, inductiva, estructuralista, subjetiva, orientada
al proceso y propia de la antropologa social. El estudio que Filstead realiza en este volumen
sobre los paradigmas proporciona una descripcin ms profunda y detallada.
243
LECTURAS COMPLEMENTARIAS
de superar las diferencias entre las partes enfrentadas en el debate acerca de los tipos
de mtodos. Por estas razones, la conceptualizacin de los tipos de mtodos como
antagnicos puede muy bien estar llevando por mal camino tanto el debate como las
prcticas metodolgicas actuales. En nuestra opinin constituye un error la perspectiva
paradigmtica que promueve esta incompatibilidad entre los tipos de mtodos.
Especficamente ambas suposiciones antes citadas son falsas, as que no se sostiene
la conclusin segn la cual los investigadores han de elegir entre los tipos de mtodos.
En el anlisis que sigue exponemos la falacia de ambas suposiciones (es decir, el nexo
entre paradigma y mtodo y la eleccin forzada entre paradigma cualitativo y cuantitativo).
Tras haber considerado as al conflicto entre los puntos de vista paradigmticos
redefinimos, entonces, las cuestiones suscitadas por el debate acerca de los tipos de
mtodos y resaltamos algunos de los beneficios potenciales del empleo conjunto de los
mtodos cualitativos y cuantitativos.
Tabla 1
Atributos de los paradigmas cualitativo y cuantitativo
Aboga por el empleo de los mtodos Aboga por el empleo de los mtodos
cualitativos. cuantitativos.
Subjetivo. Objetivo.
Prximo a los datos; perspectiva "desde Al margen de los datos; perspectiva "desde
dentro". fuera".
* Citas de Bogdan T. Taylor (1975: 2). No suscribimos necesariamente estas descripciones de "fenomenologismo" y "positivismo
lgico" (cf. Cook y Campbell 1979) aunque semejantes caracterizaciones se hallen muy difundidas.
244
LECTURAS COMPLEMENTARIAS
Holista. Particularista.
Segn el uso actual, un paradigma consta no slo de una concepcin filosfica global,
sino tambin de un nexo con un determinado tipo de mtodo de investigacin. En este
sentido de la definicin, el paradigma determina, entonces, el mtodo. La cuestin que
aqu se plantea es la de precisar si este nexo entre paradigma y mtodo resulta necesario
e inherente o si sencillamente procede de la definicin y de la prctica. En otras palabras:
existe una consistencia inherente entre la admisin a la filosofa de un paradigma y el
empleo de los mtodos de otro? La pregunta se responde con facilidad considerando
sucesivamente cada uno de los atributos paradigmticos para ver si se halla lgicamente
ligado tan slo a uno de los mtodos o si puede aplicarse igualmente bien a ambos. Cada
uno de los atributos de la tabla nm. 1 es examinado separadamente a continuacin.
245
LECTURAS COMPLEMENTARIAS
Por otro lado sera posible, aunque quiz resultara improbable, que un etngrafo
realizara investigaciones desde una posicin de positivismo lgico. Por ejemplo,
imaginemos a un investigador que crea que la categora socioeconmica se define
exclusivamente en trminos de bienes materiales como televisores, coches, casas
y ropas. Como tales artculos pueden ser observados y contados sin referencia a
los significados que tengan para sus propietarios, semejante medida de la categora
socioeconmica corresponde claramente a la tradicin del positivismo lgico. As,
un investigador que emplee esta medida y que compruebe las pertenencias de un
individuo mediante un trabajo etnogrfico de campo estara suscribindose al
positivismo lgico al tiempo que empleaba mtodos cualitativos.
246
LECTURAS COMPLEMENTARIAS
247
LECTURAS COMPLEMENTARIAS
248
LECTURAS COMPLEMENTARIAS
del trabajo entre los mtodos cualitativos y cuantitativos. Una vez ms la lgica de
la tarea (descubrimiento del proceso frente a valoracin del resultado) abarca los
mtodos. As, por un lado, Hollister y otros ( en este volumen) describen un proceso
empleando tcnicas cuantitativas y Campbell (1970) llega a sugerir que el diseo
experimental resultara til en el estudio del proceso porque podra ayudar a descartar
las hiptesis alternativas. Por otro lado, el procedimiento del estudio de casos ha
sido a menudo empleado con xito para valorar el resultado. Por ejemplo, un estudio
de casos es suficiente para determinar mucho de los efectos de una inundacin o de
un huracn y la visita al lugar es generalmente respaldada por la profesin de la
ciencia social como un modo apropiado de evaluar la eficacia de los programas de
adiestramiento.
- Se hallan siempre limitados los mtodos cualitativos al caso aislado y son por eso
no generalizables? Las afirmaciones en este sentido yerran en dos puntos. En primer
lugar, los estudios cualitativos no tienen por qu limitarse a casos aislados. Rist
(1979), por ejemplo, da cuenta de un estudio etnogrfico en el que se examinan
sesenta lugares distintos para estar en mejores condiciones de generalizar. En
segundo lugar, la posibilidad de generalizar depende, por lo comn, de algo ms que
del tamao de la muestra. Slo en muy pocos casos, como cuando se recurre a un
sondeo aleatorio, la generalizacin se basa en un razonamiento estadstico, y se
toma de unos datos de muestreo a toda una poblacin. Habitualmente, la
249
LECTURAS COMPLEMENTARIAS
250
LECTURAS COMPLEMENTARIAS
pueden representar un peligro para una evaluacin, eficaz, sino que slo los cambios
en el entorno de la investigacin pueden perturbar tanto las evaluaciones cualitativas
como las cuantitativas. Por ejemplo, se seala a menudo que las experiencias
aleatorias quedan invalidadas cuando se altera en el curso de la investigacin el
procedimiento del tratamiento. Al mismo tiempo, otros tipos de cambio imprevisto,
como el incremento de las tensiones entre el observador y el personal del programa
(vase Knapp, en este volumen) pueden poner tambin en peligro una evaluacin
etnogrfica. En ambos casos es considerable lo que se puede realizar para hacer
las evaluaciones ms flexibles ante los cambios indeseados.
La importancia de la situacin
El otro programa educativo consiste en la concesin de unas becas para graduados que
se adiestrarn en un departamento universitario. En este caso no se exige una gran
inversin de tiempo y de dinero, tanto porque el programa en s mismo resulta relativamente
pequeo, como porque del resultado de la evaluacin no dependern decisiones de alcance
nacional. Entonces el procedimiento habitual es una tcnica de estudio de casos, como
251
LECTURAS COMPLEMENTARIAS
la visita al lugar. As defender que los experimentos aleatorios (o las visitas al lugar) han
de ser siempre empleados en las valoraciones de las que se derivan repercusiones
resulta tan estpido como defender que jams deben ser utilizados. En algunas
situaciones, el procedimiento ms eficaz de investigacin ser cuantitativo mientras que
en otras se atender mejor al mismo fin investigador mediante un mtodo cualitativo.
Por supuesto que el nexo revela algn conocimiento, en la prctica existente, entre
paradigmas y mtodos. Los investigadores que utilizan los mtodos cualitativos se
adhieren ms a menudo al paradigma cualitativo que al cuantitativo. De manera similar,
existe una correlacin entre el uso de mtodos cuantitativos y la adhesin al paradigma
cuantitativo (aunque estos nexos entre paradigma y mtodo no sean perfectos, como
muchos parecen creer). Semejantes nexos pueden ser muy bien el resultado de una
evaluacin adaptativa que refleja el hecho de que, siendo iguales en todo lo dems, los
mtodos cualitativos y cuantitativos a menudo resultan los ms indicados para los
distintos puntos de vista paradigmticos con los que han llegado a ser asociados.
Estos nexos evolutivos podran explicar las tendencias antiguas y recientes en el empleo
de los diferentes mtodos en la evaluacin. En una primera poca se supona que caba
designar fcilmente unos programas para producir los resultados deseados y que el
propsito de la evaluacin consiste simplemente en comprobar de modo anticipado estos
efectos. De forma as completamente natural la evaluacin se orientaba haca los mtodos
cuantitativos con su tradicional insistencia en la verificacin. Ms tarde se descubri
que el mejoramiento no era tan simple y que los programas podan tener una amplia
variedad de efectos marginales insospechados. El nfasis de la evaluacin comenz de
252
LECTURAS COMPLEMENTARIAS
Pero aunque el nexo existente entre paradigma y mtodo puede orientar ltimamente la
eleccin de un mtodo de investigacin, ese nexo no debe determinar en exclusiva
semejante eleccin. Hemos sealado que la situacin de la investigacin constituye
tambin un factor importante. Y esto resulta especialmente significativo porque la
investigacin evaluativa se realiza bajo numerosas circunstancias singulares y exigentes
que pueden requerir modificaciones en las prcticas tradicionales. El hecho de que
paradigma y mtodo hayan estado ligados en el pasado no significa que en el futuro
resulte necesario, o conveniente, que as sea.
Como indicamos antes, el debate actual acerca de los mtodos crea la impresin de que
el investigador no slo debe escoger un mtodo en razn de su adhesin a un paradigma,
sino que tambin debe elegir entre los paradigmas cualitativo y cuantitativo porque son
las nicas opciones disponibles. Ya hemos examinado la primera cuestin; ahora
abordaremos la segunda.
Los dos paradigmas a los que nos referimos proceden de dos tradiciones singulares y
completamente diferentes. El conglomerado de atributos que integran el paradigma
cuantitativo procede de las ciencias naturales y agronmicas, mientras que el paradigma
cualitativo tuvo su origen en los trabajos de antropologa social y de sociologa, sobre
todo de la escuela de Chicago. No resulta claro por qu se juzg que una u otra de estas
tradiciones tenan que proporcionar un paradigma adecuado a la investigacin evaluativa.
Por fortuna los evaluadores no se han limitado a estas dos nociones.
El hecho de que alguien realice una investigacin de un modo holista y naturalista, por
ejemplo, no significa que tenga que adherirse a los dems atributos del paradigma
cualitativo como el de ser exploratorio y hallarse orientado hacia el proceso. Cabra
253
LECTURAS COMPLEMENTARIAS
combinar ms bien los atributos naturalista y holista del paradigma cualitativo con otros
atributos como el de ser confirmatorio y el de hallarse orientado hacia el resultado, propios
del paradigma cuantitativo; o considerar un ejemplo de la prctica general. El positivismo
lgico ya no es una postura filosfica comnmente aceptada para la investigacin social.
La mayora de los investigadores han adoptado una posicin fenomenolgica tanto si la
investigacin se concentra en el proceso o en el resultado, en el naturalismo o en el
control.
De hecho, todos los atributos que se asignan a los paradigmas son lgicamente
independientes. Del mismo modo que los mtodos no se hallan ligados lgicamente a
ninguno de los atributos de los paradigmas, los propios atributos no se encuentran
lgicamente ligados entre s. Podramos examinar uno por uno los atributos de la lista,
como en la seccin anterior, proporcionando ejemplos que demostrarn su independencia
pero semejante tarea resultara tediosa. Baste con decir que no existe nada, excepto
quiz la tradicin, que impida al investigador mezclar y acomodar los atributos de los dos
paradigmas para lograr la combinacin que resulte ms adecuada al problema de la
investigacin y al medio con que se cuenta.
Por aadidura, los evaluadores han de sentirse libres de cambiar su postura paradigmtica
cuando sea preciso. No hay razn para ceirse en todo momento a una mezcla de
atributos. Por el contrario, al pasar de un programa al siguiente o de un estudio a otro
(suponiendo que para un slo programa se proyecte una serie de evaluaciones en lugar
de un estudio de una sola vez), lo probable es que cambie la posicin paradigmtica que
resulte ms apropiada en la investigacin. En consecuencia, la perspectiva paradigmtica
del investigador ha de ser flexible y capaz de adaptaciones.
254
LECTURAS COMPLEMENTARIAS
Ya hemos visto que la eleccin de mtodos no debe hallarse determinada por la adhesin
de un paradigma arbitrario. Y ello es as tanto porque un paradigma no se halla
inherentemente ligado a una serie de mtodos, como porque las caractersticas del entorno
especfico de la investigacin cobran la misma importancia que los atributos de un
paradigma a la hora de escoger un mtodo. Hemos visto tambin que un investigador no
tiene por qu adherirse ciegamente a uno de los paradigmas polarizados que han recibido
las denominaciones de "cualitativo" y "cuantitativo", sino que puede elegir libremente
una mezcla de atributos de ambos paradigmas para atender mejor a las exigencias del
problema de la investigacin con que se enfrenta. Parece, entonces, que no existe tampoco
razn para elegir entre mtodos cualitativos y cuantitativos. Los evaluadores obrarn
sabiamente si emplean cualesquiera mtodos que resulten ms adecuados a las
necesidades de su investigacin, sin atender a las afiliaciones tradicionales de los
mtodos. En el caso de que ello exija una combinacin de mtodos cualitativos y
cuantitativos, hgase as pues.
Por supuesto que an es posible un debate sincero respecto de cules son los mtodos
mejores, habida cuenta de una perspectiva paradigmtica y de una situacin de
investigacin determinadas. Por ejemplo, cierta parte de los textos sobre formacin de
mano de obra revela una discrepancia acerca de la probabilidad de que cambie la influencia
de participantes en estos programas en ausencia de un efecto del tratamiento. Si no se
produce semejante consecuencia (tanto de incremento como de dficit) no hay necesidad
de un grupo de control para la valoracin del impacto; bastara en tales circunstancias
concebir un estudio de casos. Por otra parte, si tiene lugar la consecuencia en ausencia
del tratamiento resultara deseable un grupo de control (quiz, incluso, seleccionado al
azar).
Cabe tambin que tenga lugar un sincero debate sobre la adecuacin de una determinada
posicin paradigmtica a una evaluacin especfica. Como ejemplo al respecto podra
citarse el de un desacuerdo acerca de la importancia relativa de la validez interna frente
a la generabilidad. Indudablemente, ambos atributos son importantes pero algunos
evaluadores juzgan que, a largo plazo, el medio mejor de lograr la generabilidad consiste
255
LECTURAS COMPLEMENTARIAS
en asegurarse de que cada estudio sea internamente vlido (cf. Campbell, 1969) mientras
que otros prefieren soluciones a corto plazo en donde el objetivo inmediato de la
generabilidad se antepone a la validez interna (cf. Cronbach, 1978).
Cada zapatero piensa que el cuero es lo nico que importa. La mayora de los cientficos
sociales, incluyendo quien esto escribe, tienen sus mtodos favoritos de investigacin
con los que estn familiarizados y en cuya utilizacin poseen una cierta destreza. Y
sospecho que fundamentalmente decidimos investigar aquellos problemas que parecen
vulnerables a travs de tales mtodos. Pero deberamos, por lo menos, tratar de ser
menos localistas que los zapateros. Prescindamos ya de las argumentaciones de la
"observacin participante " frente a la entrevista como ya hemos renunciado en buena
medida a las discusiones de la sicologa frente a la sociologa y prosigamos con la
tarea de abordar nuestros problemas con el ms amplio despliegue de instrumentos
conceptuales y metodolgicos que poseamos y que tales problemas exigen. Esto no
256
LECTURAS COMPLEMENTARIAS
Existen al menos tres razones que respaldan la idea segn la cual, cuando se abordan
los problemas de evaluacin con los instrumentos ms apropiados que resulten accesibles,
se emplear una combinacin de los mtodos cualitativos y cuantitativos. En primer
lugar, la investigacin evaluativa tiene por lo comn propsitos mltiples que han de ser
atendidos bajo las condiciones ms exigentes. Tal variedad de condiciones a menudo
exige una variedad de mtodos. En segundo lugar, empleados en conjunto y con el
mismo propsito, los dos tipos de mtodos pueden vigorizarse mutuamente para brindarnos
percepciones que ninguno de los dos podra conseguir por separado. Y en tercer lugar,
como ningn mtodo est libre de prejuicios, slo cabe llegar a la verdad subyacente
mediante el empleo de mltiples tcnicas con las que el investigador efectuar las
correspondientes triangulaciones. Ya que los mtodos cuantitativos y cualitativos tienen
con frecuencia sesgos diferentes, ser posible emplear a cada uno para someter al otro
a comprobacin y aprender de l. Aunque no afirmamos que estos tres puntos se hallen
por completo desligados, cada uno ser considerado separadamente a continuacin.
257
LECTURAS COMPLEMENTARIAS
Para una comprensin completa del programa, una evaluacin tendra que realizar
al menos tres tareas: comprobacin, valoracin del impacto y explicacin causal.
Se trata de una gama muy amplia de tareas que, para ser eficazmente atendidas,
requerirn quiz el empleo de mtodos tanto cualitativos como cuantitativos. Aunque
de un modo inevitable, puede suceder a menudo que la comprobacin sea realizada
con mayor eficacia conforme a un modo cualitativo, que la valoracin del impacto se
realice con mayor precisin mediante mtodos cuantitativos y que la explicacin
causal se obtenga de mejor manera a travs del empleo conjunto de mtodos
cualitativos y cuantitativos. Aunque desde luego pretendemos evitar la impresin de
que se requiere una divisin rgida o inherente del trabajo, creemos que un nmero
mayoritario de casos y para conseguir todos los propsitos de una evaluacin har
falta una combinacin flexible y adaptativa de los tipos y mtodos.
258
LECTURAS COMPLEMENTARIAS
podra ser desde una medida de distancia geogrfica a un lmite como el de una
calle o cualquier otra frontera natural que sirva como lnea divisoria entre quienes no
lo reciben. Para medir en semejante caso el efecto del tratamiento, los etngrafos
pueden ir y cruzar libre y repetidamente la frontera con objeto de determinar si existe
una discontinuidad en ese punto en las conductas o actitudes de inters. Tambin
son posibles otras combinaciones infrecuentes de mtodos cualitativos y
cuantitativos.
259
LECTURAS COMPLEMENTARIAS
260
LECTURAS COMPLEMENTARIAS
Por aadidura, cada tipo de mtodo puede, en potencia, ensear al otro nuevos
modos de detectar y de disminuir el sesgo. Como estos dos tipos de mtodos han
existido en tradiciones distintas y en buena medida aisladas, gran parte de su tcnica
propia ha permanecido tambin aislada. Al poner juntos los mtodos pueden
fortalecerse estos dos diferentes depsitos de conocimientos y de experiencia. Es
posible, incluso, que a travs de su empleo conjunto se descubran nuevas fuentes
de sesgos y nuevos medios para disminuirlos, que haban permanecido ignorados
de cada una de las dos tradiciones aisladas.
261
LECTURAS COMPLEMENTARIAS
Aunque lgicamente deseable, es posible que surjan cierto nmero de obstculos prcticos
a la hora de combinar en un estudio de evaluacin mtodos cualitativos y cuantitativos.
El siguiente anlisis toma en consideracin cuatro de tales obstculos.
262
LECTURAS COMPLEMENTARIAS
las pistas que de all partan; luego necesitarn un tiempo parecido para sintetizar sus
anotaciones de campo en un informe final. En cualquier caso, esto puede exigir aos. A
no ser que las actividades, de los dos mtodos, puedan tener lugar simultneamente, en
realidad es posible que no haya tiempo suficiente para ambos.
Por estas razones no nos sentimos optimistas ni creemos que llegar a difundirse
ampliamente el empleo conjunto de los mtodos cualitativos y cuantitativos. Esto no
significa que los evaluadores hayan de volver a escoger entre uno u otro basados en el
dogma paradigmtico. Los evaluadores han de proseguir acomodando los mtodos a las
exigencias del problema de la investigacin de la mejor manera posible, sin prestar atencin
a las afiliaciones paradigmticas tradicionales. Pero ello no quiere decir que tales
evaluadores hayan de establecer una prioridad de propsitos y cuestiones ya que, por lo
comn, sern incapaces de atender a todos los objetivos deseados. A menudo
sospechamos que la cuestin del impacto tendr la prioridad ms alta y que se le otorgar
prioridad a los procedimientos cuantitativos. Pero en cualquier caso, el empleo exclusivo
de uno u otro de los tipos de mtodos habitualmente significar aceptar una evaluacin
no global.
263
LECTURAS COMPLEMENTARIAS
Conclusin
Muchos evaluadores asumieron con excesiva rapidez la serie de atributos que integran
el paradigma cuantitativo. Como reaccin, el debate ha centrado su atencin en el proceso,
el descubrimiento, la conexin con los datos, el holismo, el naturalismo y los dems
atributos del paradigma cualitativo. En el pasado, el pndulo oscil excesivamente hacia
el lado cuantitativo tanto en el paradigma como en el mtodo y el debate permiti que los
evaluadores tomaran conciencia de ese desequilibrio.
Pero, aunque el debate haya servido a un propsito muy til, tambin ha sido en parte
contraproducente, en buena medida la discusin que se desarrolla en la actualidad sirve
para polarizar las posiciones cualitativa y cuantitativa y para alentar la creencia de que la
nica opcin posible estriba en elegir entre estos dos extremos. Es como si el pndulo
tuviera que oscilar hacia uno u otro lado. El excesivo inters que se percibe ahora por los
mtodos cuantitativos slo puede, entonces, ser corregido mediante un inters igual,
pero opuesto, por los mtodos cualitativos. Naturalmente, una vez que se pongan a
prueba los mtodos cualitativos del modo tan concienzudo a que se someti en el pasado
a los mtodos cuantitativos, los cualitativos se revelarn simplemente tan falibles y
dbiles como los otros (vase Overholt y Stallings, 1979). Si se mantiene la dicotoma
entre los mtodos, en una reaccin inevitable, el pndulo volver a desplazarse hacia los
procedimientos cuantitativos. Indudablemente tambin este paso se revelar
insatisfactorio y el pndulo seguir oscilando. De este modo, el debate actual mantiene
el desplazamiento del pndulo entre extremos de mtodos y extremos de insatisfaccin.
264
LECTURAS COMPLEMENTARIAS
Cabe desear que la prxima generacin de evaluadores sea adiestrada tanto en la tradicin
cuantitativa como en la cualitativa. Estos investigadores podrn emplear la ms amplia
gama posible de mtodos y sin cicateras acomodarn las tcnicas a los problemas de
la investigacin. Aprendern nuevos modos de combinar los mtodos y de reconciliar
descubrimientos discrepantes sin rechazar arbitrariamente un grupo en favor de otro.
Tales investigadores se mostrarn adems modestos en sus afirmaciones acerca de los
mtodos. Comprendern que todos son falibles y que el descubrimiento de un sesgo no
es necesariamente una razn para rechazar un mtodo sino un reto para mejorarlo, de la
misma manera en que pugnamos por mejorar una teora frente a los datos en contra. No
ser fcil tarea la adquisicin de tales destrezas, pero merecer la pena el esfuerzo.
Existe, sin duda, una cierta ventaja pedaggica en la forma dialctica de argumentar
que polariza los mtodos cualitativos y cuantitativos. Por ejemplo, a menudo resulta
ms fcil formular un caso estableciendo una dicotoma en el continuo entre los polos
opuestos para que se revele con mayor claridad la dimensin del inters. Pero ya se ha
aprendido la leccin de que los mtodos cuantitativos se pueden emplear en exceso y
ha llegado el momento de impedir que el pndulo oscile de un extremo al otro. El
tiempo de dejar de alzar muros entre los mtodos y de empezar a tender puentes. Tal
vez estemos todava a tiempo de superar el lenguaje dialctico de los mtodos
cualitativos y cuantitativos. El autntico reto estriba en acomodar sin mezquindades
los mtodos de la investigacin al problema de evaluacin. Puede muy bien exigir una
combinacin de mtodos cualitativos y cuantitativos. Distinguir entre los dos mediante
el empleo de etiquetas diferentes puede servir slo para polarizarlos innecesariamente.
Si prescindimos de las etiquetas no nos quedar ms remedio que superar el debate
entre mtodos cualitativos y cuantitativos.
265
LECTURAS COMPLEMENTARIAS
Al reunir los trabajos del presente volumen se pretendi deliberadamente obtener una
diversidad de opiniones sobre el empleo de los mtodos cuantitativos y cualitativos. En
parte, la diversidad se logr seleccionando a autores de los que se saba que representaban
concepciones divergentes. Por ejemplo, Becker ( Becker y Geer, 1957) y Filstead (1970
) son bien conocidos defensores de los mtodos cualitativos mientras que Campbell (
Campbell y Stanley, 1966) ha sido desde hace tiempo considerado como defensor de los
mtodos cuantitativos. A la diversidad se lleg tambin eligiendo autores de una amplia
variedad de disciplinas caracterizadas. Los campos de la antropologa, la economa, la
educacin, la sicologa y la sociologa se hallan, al menos, representados cada uno por
dos autores (o coautores).
El resultado es que diferentes captulos revelan fuertes preferencias por distintos mtodos.
La disensin presente resulta, sin embargo, menos extremada de lo que cabra esperar.
Incluso en aquellos captulos con las preferencias ms acentuadas por uno u otro de los
tipos de mtodos, an subsiste la impresin de que para llegar a una evaluacin global
se requieren tanto los mtodos cualitativos como los cuantitativos. En otras palabras,
existe coincidencia en admitir que ningn tipo de mtodo es por s slo generalmente
suficiente para todas las diversas exigencias de la investigacin evaluativa. Es posible
que el debate entre los mtodos est empezando a experimentar una redefinicin.
Los captulos han sido dispuestos en este volumen conforme a un orden en el que se
parte de los ms tenaces y se concluye con los ms precavidos en su apoyo a los
mtodos cualitativos. A este respecto, el captulo de Filstead ocupa merecidamente el
primer lugar. Filstead distingue las diferencias tradicionalmente sostenidas entre los
paradigmas cualitativo y cuantitativo. Y afirma con vehemencia que el paradigma
cualitativo (con su fe en la realidad social como construida por los participantes y
acentuando la comprensin de los acontecimientos desde la perspectiva de los propios
actores)es el que resulta ms adecuado para la investigacin evaluativa. Filstead presenta
tambin razones del hecho de que est cambiando la tendencia entre los evaluadores
educativos desde un excesivo nfasis en los mtodos cuantitativos a una apreciacin
de las tcnicas cualitativas. Para acelerar este cambio, Filstead sugiere la forma en que
cabe utilizar mejor los mtodos cualitativos para modelar la investigacin evaluativa.
266
LECTURAS COMPLEMENTARIAS
Tal vez sorprendentemente para algunos evaluadores, pero desde luego no para todos,
la aportacin de Campbell proporciona una explicacin terica en pro del empleo de los
mtodos cualitativos en el diseo de estudio de casos. Revelando un cambio de
sentimiento (y de supuestos de fondo) en relacin con trabajos anteriores, Campbell
afirma que el estudio de casos puede poseer rigor suficiente (en razn de "grados de
libertad procedente de mltiples implicaciones de cualquier teora") tanto para confirmar
como para invalidar hiptesis causales. Campbell demuestra tambin la
complementariedad inherente de los mtodos cualitativos y cuantitativos al describir
cmo el conocimiento cuantitativo slo supera al cualitativo cuando se apoya en ste.
Sin embargo, Campbell sigue convencido de que el estudio de casos es muy proclive a
los sesgos cuando se emplea para valorar el impacto de un programa. Seala tambin
varias medidas que cabe tomar para reducir, pero no eliminar este equvoco.
Del artculo de Trend podra decirse que es un relato policaco. El autor da cuenta de sus
experiencias en una evaluacin sobre una gran operacin de subvenciones para la vivienda
en donde se emplearon tanto observadores participantes como cuestionarios. En un
lugar concreto, estas dos fuentes de datos produjeron hallazgos muy discrepantes que
determinaron una considerable controversia entre los analistas. Trabajando con ambas
fuentes, Trend resuelve el enigma y documenta la forma en que la sntesis resultante
supera los informes originales, brindando un entendimiento de los datos. Trend afirma
que en un principio deberan estimularse los hallazgos discrepantes para no cerrar
prematuramente pistas significativas de la investigacin.
267
LECTURAS COMPLEMENTARIAS
Es evidente que la inclusin del artculo de Becker puede parecer un tanto anmala. En
este caso, empero, las apariencias son engaosas. Aunque el artculo se refiere
ostensiblemente a la fotografa, las ideas de Becker poseen tambin gran relevancia
para el empleo de mtodos etnogrficos en evaluacin. El hecho es que las fotografas
son semejantes a cualquier grupo de datos y que, en especial, tienen mucho en comn
con los datos recogidos por procedimientos cualitativos. De la misma manera en que a
Becker le interesa la "verdad" de una fotografa, as tambin debera interesar a los
evaluadores cualitativos la validez de sus datos. Reviste la mayor importancia el hecho
de que Becker emplee la lgica de Campbell y Stanley (1966), originariamente desarrollada
con referencia a los mtodos cuantitativos, para evaluar la validez de inferencias respecto
de las fotografas. As, Becker demuestra que la eliminacin de las hiptesis rivales
siguen la misma lgica tanto en el procedimiento cualitativo como en el cuantitativo.
Becker tiene tambin mucho que decir acerca de la posibilidad de generalizar, del sesgo
del observador, de la censura y de la edicin.
Finalmente, Hollister y otros ofrecen algunos nuevos atisbos respecto del uso de los
mtodos cuantitativos. El pensamiento actual en la investigacin evaluativa indica que
el anlisis de proceso requiere procedimientos cualitativos, mientras que la valoracin
del resultado exige tcnicas cuantitativas. Hollister y otros derriban este mito demostrando
no slo que tanto el anlisis de proceso como el de resultados pueden realizarse con
mtodos cuantitativos habituales sino, lo que es ms importante, cmo es posible ligar
los dos anlisis. Aunque tales anlisis ligados exigen datos de gran envergadura y calidad,
Hollister y otros revelan los beneficios potenciales que pueden ofrecer estos anlisis.
268
LECTURAS COMPLEMENTARIAS
Bibliografa
Becker, H. S. (1958). " Problems of interence and proof in paticipant observation". American
Sociological Review. 169. 652 - 669.
Boruch, R. F. (1975). " On common contations about randomized experiments for evaluating
social programs." En R. F. Boruch y H. W. Riecken (eds.) Experimental Testing of Public
Policy. Boulder Westview.
Campbell, D. T. (1974). "Cualitative Hnowing in research ". Kurt Lewin Adward. Addres,
Society for the Sycological Study of Social Issues. Reunion de la American Sycological:
Association, Nueva Orleans, Septiembre 1, Journal of Social Issues.
(1970). "Considering the case againts experimental evaluations of social innovations ".
Administrations Science Quarterly. 15: 110-113.
269
LECTURAS COMPLEMENTARIAS
270
LECTURAS COMPLEMENTARIAS
Kelman, H. C. (1972). "The rigths of the subject in social research,and analysis in terms
of relative power and legitimacy". American Sychologist, 27: 969-1016.
Nisbett, R. E. y Wilson, T. D. (1977). "Tolling more than we can know: verbal recorts on
mental processes". Psychological Review. 84: 231-259.
271
LECTURAS COMPLEMENTARIAS
(1975). Alternative Evaluation Research Paradigm. Grand Forks: University of North Dakota
Press.
272
LECTURAS COMPLEMENTARIAS
Lectura complementaria N 5
Diseos de evaluacin
Al presentar los modelos de evaluacin sealamos que servan al investigador como guas
para realizar su trabajo, en cuanto a indicarles los distintos componentes o aspectos del
programa de los cuales sera apropiado obtener informacin y luego proceder a su anlisis.
Si bien en un plano general tales esquemas o sus combinaciones pueden cumplir esa
primera funcin, la evaluacin de un programa concreto exige mayores especificaciones
y precisiones, pues ahora se trata de cumplir con el requisito bsico de proporcionar
conocimientos que sean directamente pertinentes a la toma de decisiones que puedan
mejorar la marcha y los resultados del programa en cuestin. Justamente llamamos
diseo de evaluacin al plan elaborado para adecuarse a esas exigencias; es decir, al
plan que define las diversas estrategias y procedimientos para llevar a cabo la evaluacin
del programa.
3. Finalidades de la evaluacin.
4. Objetivos de evaluacin.
5. Diseo metodolgico.
6. Informes.
273
LECTURAS COMPLEMENTARIAS
Puesto que los puntos 1 y 2 de este diseo se limitan a reproducir las caractersticas
principales del programa, y el tema de finalidades de la evaluacin fue suficientemente
tratado en el primer captulo, esta exposicin se referir a los otros componentes del
diseo.
OBJETIVOS DE EVALUACIN
De manera general podemos decir que los objetivos de evaluacin son los conocimientos
o informaciones relativas a los objetos, instancias o caractersticas del programa que se
requiere recoger y analizar de acuerdo con las finalidades que sirven de justificacin al
estudio evaluativo. Lo cierto es que no siempre esas necesidades de informacin son
presentadas con claridad por el personal directivo o por el personal que ejecuta el programa
en el terreno. Por ejemplo, se puede pedir que la evaluacin determine si el programa
funciona bien o mal, objetivo de conocimiento que puede tener varios significados, como:
si se estn produciendo los resultados buscados; si el personal tcnico cumple
adecuadamente sus funciones; si existe desperdicio de recursos; si la poblacin beneficiaria
est satisfecha con la atencin o servicios que el programa les presta, etctera.
En el problema reseado ms arriba puede suceder lo que Hyman sealaba aos atrs,
a propsito de investigaciones encargadas por un cliente o una cierta agencia (situacin
equivalente, en nuestra exposicin, a una evaluacin realizada por un investigador externo).
Al referirse al trabajo de otros dos autores, el metodlogo citado afirmaba:
Notan, por ejemplo, que el cliente a menudo no formula su problema en trminos que
puedan ser introducidos en un diseo de investigacin y, consecuentemente, debe
haber una clarificacin de la formulacin inicial. Tambin hacen notar que el cliente
puede, con frecuencia, formular su problema de manera que no es ni siquiera apropiada
para sus propias necesidades de accin (Survey design and analysis, The Free Press,
Glencoe, III., pgs. 44 a 45).
274
LECTURAS COMPLEMENTARIAS
OBJETIVOS DESCRIPTIVOS
Los objetivos de la evaluacin son los siguientes (en este caso se refieren directamente
a los objetivos del programa):
1. Elevar los ingresos y niveles de vida del sector rural mediante la introduccin de
actividades directamente productivas, y
275
LECTURAS COMPLEMENTARIAS
Resultados: niveles de logro de los objetivos, calidad, distribucin entre tos usuarios,
etctera.
Cuando se definen los objetivos de evaluacin en algunas de las formas que hemos presentado,
lo conveniente sera establecer por anticipado las normas de evaluacin o criterios de xito o
fracaso del programa. As se hizo, por ejemplo, en la evaluacin del programa de estimulacin
con base en la familia. Al referirse a los resultados esperados se dice: Los nios expuestos
al programa mostrarn un porcentaje de logro ptimo del 70% en los curriculares en las tres
reas de desarrollo. Respecto del trabajo de los ejecutores directos del programa se agrega:
Las animadoras tendrn un desempeo del 70% de logro en el trabajo metodolgico que
realizan con las familias.
276
LECTURAS COMPLEMENTARIAS
En suma, para seguir con el ejemplo, en la misma evaluacin se propuso una escala
valorativa porcentual para interpretacin de porcentajes referidos a las caractersticas del
personal ejecutor, manejo de instrumentos, etc., con la estructura que se muestra en la
tabla 5.1.
Valor Intervalo
Alto 70 a 100%
Mediano 50 a 69%
Bajo 30 a 49%
Fuente: Mara Alcntara y Cipriano Olivera . Evaluacin formativa del programa de estimulacin temprana
OBJETIVOS EXPLICATIVOS
277
LECTURAS COMPLEMENTARIAS
Cabe preguntarse si un mal desarrollo del programa tiene por causa ciertas deficiencias
en la organizacin de los cursos a dificultades originadas en el propio programa... ser
interesante investigar, por ejemplo, si ciertas decisiones como la eleccin del lugar y del
horario de los cursos, ciertas caractersticas del grupo (sexo, edad, nivel de calificacin),
ciertos detalles de la organizacin material (ayudas recibidas), ciertas caractersticas de
los instructores (sexo, edad, homogeneidad socioprofesional) y, finalmente, ciertos
aspectos de los gastos (material, mantenimiento, costo medio del grupo) tienen efectos
positivos o negativos, estadsticamente comprobados, sobre el desarrollo de los cursos
(Roger Couvert. La evaluacin de programas de alfabetizacin . Pars: UNESCO, 1979,
pg. 118).
278
LECTURAS COMPLEMENTARIAS
Como es fcil observar en los ejemplos anteriores, los objetivos de evaluacin contienen
relaciones de determinacin entre la variable de evaluacin (el desarrollo del currculo, en
el primer caso y la eficiencia interna del programa, en el segundo) y caractersticas
correspondientes a otros objetos o componentes del programa (poblacin-objeto, insumos,
grupo tcnico, etctera).
279
LECTURAS COMPLEMENTARIAS
2. La evaluacin se propone determinar... (al igual que en la primera forma). Por ello
se considerarn las siguientes variables correspondientes a los insumos, procesos,
grupo tcnico y poblacin de usuarios (aqu se incluira una lista de esas variables).
280
LECTURAS COMPLEMENTARIAS
DISEO METODOLGICO
* FLACSO. Informe de evaluacin del Proyecto Difusin del Proyecto Difusin y Estrategias de Transferencia
de los Talleres de Aprendizaje a Comunidades Populares. ejecutado por PIlE. Autores: Jan Ooigens y Jorge
Chateau, con colaboracin del profesor Jorge Tagle. Trminos de referencia ms especficos, noviembre de
1984, pgs. 4 a 5.
281
LECTURAS COMPLEMENTARIAS
que se requiere para satisfacer los objetivos de evaluacin. De esta manera, en un nivel
general, el diseo consiste en los procedimientos que se utilizarn para resolver las
siguientes tareas:
2. Universo de estudio.
3. Unidades de anlisis.
4. Diseo muestral.
7. Trabajo de campo.
8. Tcnicas de anlisis.
Tanto en esta seccin como en los captulos finales desarrollaremos los aspectos
principales de estas tareas del diseo metodolgico.
Determinacin de efectividad
As como por definicin el objetivo bsico de todo programa de accin es producir alguna
modificacin o cambio en una cierta poblacin, la tarea principal de la investigacin
evaluativa consiste, paralelamente, en establecer s en los hechos el programa, mediante
la metodologa empleada se alcanzan o no el o los objetivos propuestos. Se trata, como
se advierte, de verificar la efectividad del programa.
Ahora bien, puede suceder que tal efectividad haya sido comprobada en la validacin del
programa. En este caso, la tarea del evaluador consiste en examinar crticamente la
validacin realizada, con especial atencin a la validez ecolgica del programa experimental.
Sin perjuicio de ello, la evaluacin de tipo intermedio o terminal deber encontrar pruebas
de la efectividad de las acciones que se realizan en el programa. Si no ha habido tal
282
LECTURAS COMPLEMENTARIAS
validacin, la tarea se presenta con mayor exigencia. La pregunta es: cmo procede la
investigacin evaluativa cuando el programa ya se encuentra funcionando? La respuesta
puede encontrarse en alguno de los tipos de diseo de validacin que presentamos antes
(experimentales y cuasiexperimentales) o en otros procedimientos distintos, pero que
cumplen con la misma finalidad.
Un ejemplo de aplicacin
El ejemplo est constituido por la evaluacin del programa denominado Crculo Mgico,
realizado por Joel M. Moskowitz y otros investigadores entre 1978 y 1979 (Process and
outcome evaluation in primary prevention: The Magic Circle Program. Evaluation Review.
vol. 6, nm. 2, dic. de 1982, pgs. 775 a 778).
283
LECTURAS COMPLEMENTARIAS
caractersticas de sus estudiantes, profesores, etc. Una por una, las escuelas fueron
asignadas al azar a la condicin experimental y a la condicin de control. En definitiva, el
grupo experimental estuvo formado por 102 nios y 115 nias y el control, por 131 nios
y 119 nias, todos ellos del tercer grado.
El anlisis de los datos revel que el Crculo Mgico constituy una experiencia positiva
para los profesores experimentales. Les agrad el entrenamiento y realizar las sesiones
de discusin con sus estudiantes. Comparados con los profesores de control, los
experimentales mostraron mayor incremento en su satisfaccin personal al impartir la
enseanza.
En lo que toca a los estudiantes, hubo poca evidencia de los efectos que se supona
deba producir el Crculo Mgico. No se encontraron efectos en las nias y en los nios
se constat slo uno de los efectos previstos. Comparados con los de control, los nios
284
LECTURAS COMPLEMENTARIAS
del grupo experimental tenan mayor autoestima social despus de participar en el Crculo
Mgico. Este efecto aislado no se mostr relacionado con el nmero de sesiones de
discusin en las cuales participaron los nios experimentales. En el hecho, ninguno de
los resultados de los nios tuvo relacin con su exposicin al Crculo Mgico.
En vista de los resultados obtenidos por su estudio y por otros realizados con anterioridad,
los investigadores sugieren dos posibles conclusiones: o el efecto del Crculo Mgico en
los estudiantes es idiosincrtico o bien es espurio.
285
LECTURAS COMPLEMENTARIAS
Este diseo trabaja con dos grupos: uno formado por la poblacin objeto y otro constituido
por un grupo externo de comparacin. Ello con el fin de lograr un cierto nivel de control de
la validez interna. Se supone, desde luego, que las personas a las cuales se aplica el
programa mostrarn resultados diferentes en las caractersticas o variables de evaluacin,
que los integrantes del otro grupo. La tarea principal en este diseo es lograr un grupo de
comparacin lo ms semejante posible a la poblacin del programa.
Un ejemplo de aplicacin
El ejemplo est dado por la evaluacin del Programa de Perfeccionamiento para Profesores
en Servicio -PPS- en la asignatura de ciencias naturales de la enseanza bsica. PPS
fue una iniciativa del Centro de Perfeccionamiento, Experimentacin e Investigaciones
Pedaggicas dependiente del Ministerio de Educacin de Chile, con el objetivo como su
nombre lo indica de perfeccionar de forma masiva a profesores de ciencias naturales,
sin que abandonaran sus lugares de trabajo. En 1971, el PPS contaba con 1.200 profesores
que atendan 20.000 alumnos de 5 a 8 grado de la enseanza bsica.
286
LECTURAS COMPLEMENTARIAS
2. Comentarios acerca de los niveles del proceso. Desarrollan y discuten los distintos
niveles jerrquicos dentro de cada uno de los procesos, como tambin las
sugerencias para evaluar a los alumnos en estos aspectos.
Adems de estos materiales y otros adicionales, los profesores en servicio reciban visitas
peridicas del equipo de Santiago con el fin de resolver en el terreno las dificultades y
dudas que pudieran haberse presentado.
287
LECTURAS COMPLEMENTARIAS
La evaluacin tuvo como objetivo central medir los resultados logrados en los procesos
de observar, medir, comunicar y clasificar tanto en el nivel de los profesores como de los
estudiantes que en 1971 cursaron 5. ao bsico. El estudio se llev a cabo durante el
mes de mayo de 1972.
A los alumnos de los profesores de los grupos experimentales y de control se les aplic
una prueba semejante con el fin de evaluar la posible transferencia del perfeccionamiento
docente. Tambin se aplic un cuestionario a los profesores respecto de su satisfaccin en
el trabajo, contenidos de los programas de ciencias naturales, opiniones acerca del PPS,
etc. Los alumnos, por su parte, respondieron a un cuestionario sobre las ciencias naturales.
2. Los profesores PPS alcanzan un promedio global superior cuando los resultados
obtenidos en la prueba se evalan mediante una norma deseada.
3. La evaluacin del PPS respecto de una norma muestra que los logros totales en
los cuatro procesos cientficos quedan bajo esa forma: promedio de 49 puntos
288
LECTURAS COMPLEMENTARIAS
contra un valor esperado de 58 a 60 puntos (la norma fue propuesta por el equipo
PPS).
Este diseo no experimental trabaja con un solo grupo el formado por la poblacin del
programa y, por lo tanto, sin grupo de control. La medicin antes puede ser una
descripcin (observacin) o una medicin de entrada de las caractersticas del programa
que se desean modificar para realizar posteriormente una descripcin o medicin
despus, con el fin de comparar ambas situaciones y apreciar el monto de los logros,
su calidad y la distribucin en subgrupos de la poblacin objeto.
Como justificacin del uso de este diseo y del siguiente debe tenerse presente que
cuando un programa acta en un contexto o poblacin en la cual no se aplican programas
similares (presenciales o a distancia), los resultados obtenidos, definidos en los objetivos,
pueden atribuirse, con mayores o menores niveles de confianza, a las acciones del
programa. A este punto se refiere Riecken cuando afirma:
289
LECTURAS COMPLEMENTARIAS
Como su nombre lo indica, es un diseo que, igual que el anterior, tambin no experimental,
no utiliza grupo de control, y el grupo experimental est formado por los usuarios del
programa; a diferencia de l, sin embargo, nicamente puede disponer de una sola
medicin: la medicin despus, realizada en algn momento de la marcha del programa
o justamente a su trmino. Debido a estas caractersticas, el diseo est abierto a la
mayora o a todos los factores que actan contra la validez interna, en especial a la
intervencin de factores externos al programa que pudieron producir los cambios detectados
por medicin despus, si es que realmente se produjeron, pues no se dispone de
informacin respecto de la situacin de entrada de los usuarios; o bien esos cambios se
produjeron por la seleccin sesgada de tales usuarios o por la maduracin biopsicolgica
de los mismos.
Por estas razones, la evaluacin de los resultados con este diseo debe apelar a todos
los recursos que sea posible utilizar para probar que fue el programa el que produjo los
cambios (exclusividad del programa, caractersticas de los usuarios, etc.).
290
LECTURAS COMPLEMENTARIAS
Alta Baja
Altos P1 P2
Logros:
Bajos q1 q2
100% 100%
291
LECTURAS COMPLEMENTARIAS
3y+ de 3
Altos P1 P2
Logros:
Bajos q1 q2
100% 100%
Cuadro 5.2. Exposicin a medios instrumentales (folletos, conferencias, audiciones de radio, etctera).
Ejemplos de aplicacin
Ejemplificaremos el uso del anterior diseo con dos investigaciones evaluativas de especial
inters. La primera, en cuanto utiliza como unidades de anlisis conglomerados de
personas, con fuentes secundarias de informacin; la segunda, porque se refiere a un
programa de educacin a distancia de gran magnitud y en la cual es posible apreciar la
utilizacin de un diseo de evaluacin que es, en varios aspectos, similar al que estamos
exponiendo en este captulo. As se justifica, adems, la extensin de dicho ejemplo.
El estudio que sirve de ejemplo de alta elaboracin metodolgica explora el uso del
anlisis de reas sociales (conglomerados) como un medio para evaluar la repercusin
de los Centros de Salud Mental Comunitaria en Nueva York. La ley federal de 1963,
292
LECTURAS COMPLEMENTARIAS
De acuerdo con el enfoque distintivo del diseo, la unidad de anlisis estuvo constituida
por un rea de salud. De las fichas del censo de poblacin de 1970 se tom una
muestra de 333 de tales unidades, de cada una de las cuales se extrajo la informacin
requerida para la prueba de las hiptesis (variables colectivas: mediana de los ingresos,
presupuesto de todas las clnicas localizadas en una misma rea de influencia, porcentaje
de madres en la fuerza de trabajo, promedio de escolaridad, etc.). La tcnica principal
de anlisis fue la de regresin mltiple, pero tambin se introdujeron modificaciones
para incorporar relaciones que no reunan los requisitos de ser lineales, aditivas y
continuas.
293
LECTURAS COMPLEMENTARIAS
1. Las caractersticas sociales del rea parecen constituir el mayor factor causal
para las tasas de utilizacin de los servicios de salud.
4. Todo el sistema de servicios est estratificado por niveles de ingreso, con diferentes
conjuntos de relaciones para los grupos de ingresos bajos y medios (Richard N.
Brandon, Differencial use of mental health services: social pathology or class
victimization?, en.M. Guttentag y E. Struening, (eds.). Handboock of Evaluation
Hesearch. Beverly Hills: Sage Publication, CA., 1975, pgs. 341 a 429).
1. Radio Sutatenza. Es una radio del programa que transmite cursos de educacin
diseados para lograr la alfabetizacin bsica de los usuarios. Para los campesinos
que no pueden escucharlo con regularidad, el curso completo ha sido reproducido
en una serie de discos y est disponible junto con un tocadiscos.
Los otros cursos se centran en las siguientes reas: salud y trabajo, nmeros y
comunicaciones, y la vida en la comunidad y sus problemas. En 1979, el programa
294
LECTURAS COMPLEMENTARIAS
de radio educativa ofreca seis horas diarias de trasmisin con cuatro cursos que,
en conjunto, desarrollan los objetivos de ACPO.
3. Las cartillas y la Biblioteca del Campesino. Las cartillas tratan los contenidos
bsicos del programa ACPO. Esas cartillas son:
Cartilla bsica
Nuestro bienestar
Hablemos bien
Cuentas claras
Suelo productivo
Comunidad cristiana
295
LECTURAS COMPLEMENTARIAS
5. La correspondencia. Son cartas que los campesinos envan a las oficinas centrales
de ACPO y en las cuales expresan sus problemas y necesidades y solicitan
ayuda. En 1978 se recibieron y fueron contestadas ms de 28.000 cartas de este
tipo.
7. Las campaas. Son estrategias para estimular y ayudar a los campesinos a hacer
aplicaciones prcticas de aquello que han aprendido. Estas campaas se anuncian
en El Campesino, se promueven en la radio Sutatenza y son manejadas localmente
por agentes interpersonales de ACPO. Entre esas campaas se cuentan las de
nutricin, vivienda, suelo y recreacin.
8. Los agentes interpersonales. Son las personas que ayudan a guiar el proceso de
aprendizaje de los participantes en los ambientes educativos no formales y en
otras actividades del programa; desempean un papel fundamental dentro del
sistema ACPO.
9. Los profesores como agentes educativos. Los profesores que trabajan en el centro
de ACPO son los encargados de planear, desarrollar y producir los programas
educativos, con sus respectivas metodologas. Escriben tambin artculos para el
peridico El Campesino y preparan instrumentos para evaluar los progresos de los
estudiantes de las escuelas radiofnicas.
10. Agentes educativos de campo. Son las personas (ms de 20.000 en 1979) que
trabajan de diversas formas en la enseanza, casa por casa, con los campesinos.
Estn divididos en a) auxiliares inmediatos o monitores de las escuelas radiofnicas;
b) dirigentes campesinos; c) lderes (campesinos adultos que han terminado dos
296
LECTURAS COMPLEMENTARIAS
11. Los educadores. Este grupo est constituido por los profesores de los Institutos
Campesinos de ACPO en los cuales se entrena a los dirigentes, a los lderes y a
los supervisores. Comprende los siguientes tipos de profesionales:
c) normalistas, y
d) campesinos que han terminado los cursos para lderes y dirigentes y han tenido
una buena experiencia de campo.
Dentro del objetivo general que enunciamos al comienzo de este resumen, ACPO tiene
los siguientes objetivos ms especficos:
297
LECTURAS COMPLEMENTARIAS
8. Vivir de acuerdo con principios ticos y religiosos y servir como modelo para
otros.
Frente a estos objetivos del programa, la evaluacin se dirigi a obtener respuesta a las
siguientes preguntas u objetivos de evaluacin:
298
LECTURAS COMPLEMENTARIAS
8. En qu medida poda atribuirse a las condiciones en que vivan las familias, los
resultados observados? Cul ha sido la contribucin total y la contribucin relativa
de las variables de contexto en lo que atae a explicar esas diferencias?
Con el fin de obtener la informacin para cumplir estos objetivos de evaluacin se tom
una muestra aleatoria de 600 familias campesinas de 60 veredas (aldeas) de 30 municipios,
de tal modo que la misma fuera representativa tanto de 22 de los 27 departamentos de
Colombia como de las actividades de ACPO. En el trabajo de campo se utilizaron diversos
conjuntos de instrumentos para la entrevista de las familias seleccionadas en la muestra.
Los objetivos de evaluacin dieron lugar a dos tipos de anlisis: un anlisis descriptivo de
los programas de educacin de ACPO, sus objetivos, las metodologas utilizadas y las
caractersticas de cada uno de los componentes, con especial nfasis en la descripcin
de la actividad radial, el material impreso (cartilla, peridico, libros) y los agentes
interpersonales. Se incluy, adems, una descripcin de las regiones geoculturales en
las cuales se realiz el estudio. En segundo trmino se hizo un anlisis de tipo correlacional,
299
LECTURAS COMPLEMENTARIAS
En el rea de salud hay una interdependencia entre los procesos de ACPO y otros
servicios de salud de la comunidad. Cada uno contribuye en proporciones aproximadamente
iguales a explicar la varianza en las prcticas, los conocimientos, las actitudes y los
efectos generales en dicha rea.
300
LECTURAS COMPLEMENTARIAS
se refleja en el ndice de utilizacin de las familias, fue ms importante para explicar los
resultados que una combinacin particular de componentes. Sin embargo, algunos juicios
emitidos por las familias acerca de la relativa importancia de los componentes sugieren
que los agentes interpersonales son el componente clave. Aunque esta afirmacin no es
confirmada por el anlisis estadstico, es consistente con el juicio del equipo del proyecto
y los entrevistadores de campo (Robert M. Morgan, Liliana Muhlman y Paul H. Mahoner.
Evaluacin de un sistema de educacin no formal a nivel nacional, Accin Cultural Popular.
Bogot, 1980, pgs. 10 y 11).
Diseos de evaluacin II
Algo similar ocurre con los otros componentes del mismo en el sentido de que durante la
etapa preparatoria basta con referirse a ellos de forma general. As lo haremos tambin
ahora, con ejemplificaciones para aclarar los aspectos tratados.
301
LECTURAS COMPLEMENTARIAS
Un par de ejemplos nos ayudar a comprender mejor la importancia que tiene la adecuada
eleccin de la unidad de anlisis o el uso de ms de una de tales unidades. Veamos el
primer caso: en la evaluacin del Programa de Desarrollo Rural de Mxico se recomienda
que en investigaciones futuras no se tome a la empresa agrcola como la unidad fundamental
de la agricultura campesina, sino la unidad familiar:
El segundo ejemplo se refiere a los distintos tipos de informacin que pueden proporcionar
dos unidades de anlisis consideradas separadamente; tambin nos hace ver los posibles
errores que podran cometerse al hacer referencias de un nivel a otro (errores que caen en
la llamada falacia ecolgica). El ejemplo es ste: si tomamos informacin de los ingresos
individuales de las personas y de la mediana de los ingresos de las familias en una
misma comunidad y si hacemos la representacin grfica de tal modo que en el eje
vertical coloquemos los porcentajes de casos en cada categora de ingresos (individuales
y colectivos), podemos obtener una figura como la siguiente (fig. 6.1):
Como se advierte, los resultados son muy diferentes, pero, por lo mismo, usados
conjuntamente pueden proporcionar informaciones muy tiles en la evaluacin.
302
LECTURAS COMPLEMENTARIAS
del programa: el ingreso promedio de la poblacin subi en un X por ciento; b) sobre los
ambientes de interaccin de la poblacin: el ambiente social de la escuela X es de tipo
democrtico; y c) sobre las personas consideradas individualmente, con el fin de
establecer relaciones como: la mayora de las personas de ms edad tuvieron una alta
participacin en actividades comunitarias.
DISEOS MUESTRALES
Una vez que se ha tomado una decisin acerca de la o de las unidades de anlisis hacia
las cuales se referir empricamente la evaluacin, deben tomarse otras nuevas si existen
varias de tales unidades: tomar una, tomarlas todas o seleccionar algunas del total. Esta
ltima decisin envuelve dos posibilidades principales: a) utilizar un criterio probabilstico;
b) seleccionar las unidades a partir de algunos criterios establecidos por el evaluador. La
opcin a) equivale a decir que se utilizar un diseo muestral probabilstico; la opcin b),
que se utilizar un diseo muestral intencional o por cuotas, no probabilstco.
Como sabemos, los diseos probablisticos dan una probabilidad conocida, distinta de
cero, a cada una de las personas del universo de estudio, de entrar en la muestra. En
algunos de ellos, la probabilidad es igual para cada unidad. Estos diseos son de uso
303
LECTURAS COMPLEMENTARIAS
Las muestras intencionales se seleccionan segn ciertos criterios definidos por el evaluador
con la finalidad principal de ubicar los focos de evaluacin en grupos a los cuales le
asigna especial importancia. Como el procedimiento empleado no es probabilstico en su
conformacin, no es posible obtener las propiedades de los diseos probabilsticos que
sealamos ms arriba. Sin embargo, en algunas situaciones es posible hacer inferencias
lgicas (pero no inferencias estadisticas, en sentido estricto) hacia poblaciones que tienen
caractersticas similares a las de la muestra generadora. Pero su principal caracterstica
consiste en posibilitar los estudios en profundidad de componentes o procesos del
programa.
1. Seleccin intencional de casos extremos. Quizs sea posible hacer una clasificacin
aproximada de las unidades que componen el programa en dos categoras, por
ejemplo, escuelas que funcionan bien y escuelas que funcionan mal. Si as fuera,
podran tomarse unas pocas escuelas de ambas categoras para estudiar otras
caractersticas diversas relacionadas con su nivel de funcionamiento.
2. Seleccin de algunos cosos tpicos. Si existe una mayora considerable que puede
ser considerada como tpica o modelo, entonces podra bastar la seleccin de
algunos casos para hacer estudios en profundidad de los aspectos que interesan
a la evaluacin, pues esos estudios representaran a la mayora de casos similares.
304
LECTURAS COMPLEMENTARIAS
Indicadores
Es frecuente que las variables o caractersticas que aparecen en los objetivos de evaluacin
no ofrezcan mayores dificultades para su descripcin o su medicin directa (por ejemplo
logros en el aprendizaje, elevacin del ingreso familiar, etc.). Tambin es frecuente, sin
embargo, que otras variables requieran definiciones para comprender su significado; de
indicadores que permitan su descripcin y, cuando sea posible o necesario, su medicin.
En este ltimo caso, es indispensable utilizar tcnicas ya preparadas o que el evaluador
debe desarrollar por su cuenta (pruebas, escalas, etctera).
En ocasiones una propiedad incluida en los objetivos de evaluacin queda bien representada
por uno o dos indicadores (por ejemplo, estatus socioeconmico, por la educacin y los
ingresos); otras veces la solucin es ms difcil tanto por el nmero de indicadores que es
necesario utilizar como por la forma en la cual deberan ser combinados para obtener una
representacin vlida y confiable. La tarea suele ser aun ms complicada cuando la situacin
305
LECTURAS COMPLEMENTARIAS
Tambin en esta evaluacin se utilizan diversos indicadores subjetivos para evaluar otras
caractersticas del sistema de aprendizaje, como el siguiente que ilustra la clasificacin
que acabamos de presentar: Percepcin sobre la utilidad ocupacional del curso para el
egresado o desertor (pg. 145).
306
LECTURAS COMPLEMENTARIAS
307
LECTURAS COMPLEMENTARIAS
1. Prcticas
A. Cuidados personales
1. Nutricin
308
LECTURAS COMPLEMENTARIAS
2. La madre y el nio
3. Higiene
1. Huerto casero
2. Agua
II. Conocimientos
309
LECTURAS COMPLEMENTARIAS
2. Dieta familiar
3. Primeros auxilios
III. Actitudes
1. Consumo de vegetales
Una vez que se definen o eligen los indicadores, se traducen en preguntas o en indicaciones
para la observacin o su comprobacin mediante entrevistas o por su uso en otros
procedimientos para la recoleccin de informacin.
310
LECTURAS COMPLEMENTARIAS
con los tems para evaluar el desarrollo psicolgico de los nios de cero meses a seis
aos de edad. En otros casos, el investigador debe construir el o los instrumentos
adecuados, sea para describir o medir conductas, conocimientos y actitudes, tarea en la
cual suele ayudarse con las indicaciones pertinentes que se dan en textos de tcnicas
de investigacin social.
Trabajo de campo
Aqu, por lo general, se indica quines recogern la informacin en el terreno, cmo sern
preparadas esas personas, cul ser la distribucin del trabajo, de qu forma se llevar a
cabo la supervisin, etctera.
En el diseo deben mencionarse los tipos de anlisis a los cuales sern sometidos los
datos y los procedimientos que se utilizarn, sean de tipo cualitativo o cuantitativo. Por
ejemplo, en el primer caso se mencionan tipologas cualitativas, conexiones entre
procesos y resultados, etc. En el segundo, el evaluador podr referirse a anlisis
relacional y enumerar tcnicas como las de regresin, anlisis de senderos y de
redundancia, entre otras. O en diseos experimentales, tcnicas como anlisis de la
varianza, covarianza, etctera.
El informe de evaluacin
311
LECTURAS COMPLEMENTARIAS
La aceptacin de las recomendaciones puede verse afectada por diversos factores entre
los cuales se destacan problemas como los citados por dos autores preocupados de
esta situacin:
Diferencias entre los roles y estilos del personal del programa y los evaluadores.
2. Contexto socioeconmico
3. La evaluacin:
a) origen
b) propsitos
c) objetivos de evaluacin
312
LECTURAS COMPLEMENTARIAS
d) metodologa
4. Resultados
5. Recomendaciones
El diseo de evaluacin de programas orientado por algunos de los modelos globales que
presentamos en el captulo 3 o por otros modelos similares tiene importantes diferencias
con el que hemos desarrollado en las pginas anteriores. Para comenzar, debemos decir
que ms que una descripcin especfica de las diversas fases y tareas que deberan
desarrollarse en la investigacin evaluativa, el diseo de los modelos globales consiste
en indicaciones generales acerca de cmo conducir el estudio, ya que varias de las
acciones particulares se definirn sobre la marcha.
Por otro lado, como caractersticas que se dan en muchos de los diseos figuran la
participacin de los usuarios del programa en todas o en varias etapas de la evaluacin,
y la utilizacin de indicadores subjetivos para la valoracin del desarrollo del programa y
de los resultados obtenidos (autoevaluacin, evaluacin grupal, etc.), todo ello mediante
el uso de tcnicas cualitativas, preferentemente para la recoleccin y el anlisis de la
informacin. Algunos de estos modelos ponen en el centro de la evaluacin la descripcin
de los procesos que se desarrollan en el programa, antes que la determinacin de
resultados.
Sin perjuicio de diseos mixtos que incorporan componentes de los diseos analticos,
el global contiene orientaciones en los siguientes aspectos:
1. Consulta a los usuarios del programa para establecer qu les interesa evaluar.
313
LECTURAS COMPLEMENTARIAS
4. Trabajo de campo:
d) Tipologa de comportamientos.
314
LECTURAS COMPLEMENTARIAS
315
LECTURAS COMPLEMENTARIAS
Clasificacin de dibujos
Mejor dibujo: nio del grupo de control
Superior 3 2 5
Promedio 6 10 16
Pobre 9 3 12
Inferior 3 2 5
La evidencia que muestra el cuadro complement los resultados de los otros estudios
que se fueron realizando en la triangulacin.
316
LECTURAS COMPLEMENTARIAS
Dependencia econmica, social y poltica del patrn y explotacin por parte del
mismo.
317
LECTURAS COMPLEMENTARIAS
Falta de cooperacin.
Cohesin interna.
Sentido de la solidaridad.
318
LECTURAS COMPLEMENTARIAS
Acciones especficas del grupo con la ayuda del monitor o sin ella. Por ejemplo:
acciones para obtener beneficios de seguridad social o para demandar el
cumplimiento de la legislacin existente.
Cambios en la conducta del grupo: tipo de reuniones, uso del lenguaje, naturaleza
de la participacin, etctera.
Relaciones con otros grupos: naturaleza de las relaciones con otros grupos y
acciones conjuntas, empresas y organizaciones comunes, etctera.
1. Encuesta para el perfil del grupo, es decir, para establecer la situacin cuando
comienza el programa.
319
LECTURAS COMPLEMENTARIAS
320
LECTURAS COMPLEMENTARIAS
Los autores
El Doctor Antonio Puerta Zapata, hizo sus estudios de Filosofa y Letras, y Licenciatura
en Trabajo Social en la Universidad Pontificia Bolivariana. Curs su Maestra en Sociologa
de la Educacin en la Universidad de Antioquia y Maestra en Trabajo Social (rea de
Investigacin) de la Universidad de Minnesota.
321
antioquea de ONG y de varias investigaciones en Basf Qumica Colombiana y empresas
Varias de Medelln y ha actuado como par Acadmico del Consejo Nacional de Acredi-
tacin.