Meta-evaluación

Publicado originalmente como Paper # 3, Occasional Paper Series, diciembre de 1974

Daniel L. Stufflebeam Western Michigan University

Una buena evaluación requiere que los propios esfuerzos de evaluación sean evaluados. Muchas cosas pueden y
con frecuencia van mal en el trabajo de evaluación. Por consiguiente, es necesario verificar las evaluaciones para
detectar problemas como sesgo, error técnico, dificultades administrativas y uso incorrecto. Tales controles son
necesarios tanto para mejorar las actividades de evaluación en curso como para evaluar los méritos de los esfuerzos
de evaluación completados. El objetivo de este documento es presentar una estructura lógica y sugerencias
metodológicas para evaluar la evaluación.
Para facilitar la comunicación, la etiqueta de Michael Scriven "Meta-Evaluación" se usará para referirse a las
evaluaciones de evaluación (Scriven, 1969). El término "evaluación primaria" se referirá a las evaluaciones que son
el tema de las meta-evaluaciones.
Este documento se basa en el trabajo realizado en el Centro de Evaluación de la Universidad Estatal de Ohio entre
1963 y 1973. Ese trabajo brindó muchas oportunidades para abordar los problemas de la metaevaluación, incluido
el desarrollo de sistemas de evaluación y el trabajo de dichos sistemas, el diseño y la realización de estudios de
evaluación, la capacitación estudiantes de posgrado y profesionales para llevar a cabo el trabajo de evaluación,
y criticar muchos diseños e informes de evaluación. Estas experiencias y los problemas concomitantes son la base
de este documento.
La Parte I de este documento analiza los factores de fondo y los problemas asociados con la metaevaluación, la
necesidad de la metaevaluación, y resume algunos de los documentos pertinentes. Se hacen sugerencias sobre qué
criterios deberían guiar el desarrollo de una metodología de metaevaluación. La parte final y principal de la Parte I
es una enumeración de seis clases de problemas que ponen en peligro la evaluación y deben abordarse mediante
una metodología de metaevaluación.
La segunda parte del artículo es una respuesta conceptual a la primera. La Parte II define y establece las premisas
para la metaevaluación y presenta una estructura lógica para diseñar estudios de metaevaluación.
La tercera parte del documento es una aplicación de la estructura lógica presentada en la Parte II. Básicamente, la
Parte III contiene cinco diseños de metaevaluación, cuatro para uso como guía de trabajo de evaluación y el quinto
para juzgar el trabajo de evaluación completado. Tomadas en conjunto, las tres partes del documento tienen como
objetivo brindar una respuesta parcial a las necesidades de desarrollo conceptual y práctico de la metaevaluación.
I. Antecedentes y problemas
La importancia de la meta-evaluación
El tema de la metaevaluación es oportuno porque cada vez más se requiere que los evaluadores evalúen su trabajo.
Durante los últimos diez años, ha habido un gran aumento en la actividad de evaluación en todos los niveles
educativos. Se han evaluado miles de proyectos federales, más de la mitad de los estados han comenzado a trabajar
en sistemas de rendición de cuentas y varios distritos escolares han instituido departamentos de evaluación. Tal
actividad ha costado millones de dólares. Ha sido de calidad variable y ha habido una gran controversia sobre su
valor. Véase, por ejemplo, el artículo de Egon Guba sobre "El fracaso de la evaluación educativa" (Guba, 1969). En
general, los evaluadores han estado bajo mucha presión para asegurarse y demostrar que están haciendo un trabajo
de calidad.
Conceptos y enfoques de metaevaluación disponibles
La literatura de evaluación proporciona alguna guía para evaluar el trabajo de evaluación. Michael Scriven (1969)
introdujo el término metaevaluación en el Informe de Productos Educativos y aplicó el concepto subyacente a la
evaluación de un diseño para evaluar productos educativos. Leon Lessinger (1970), Malcolm Provus (1973),
Richard Seligman (1973) y otros han discutido el concepto bajo la etiqueta de auditoría educativa. Las normas
técnicas de APA para el desarrollo de pruebas (1954) y la de Burg
Los Anuarios de medición mental (1965) son dispositivos útiles de metaevaluación, ya que ayudan a evaluar los
instrumentos de evaluación. Del mismo modo, la pieza de Campbell-Stanley (1963) sobre diseño cuasi
experimental y verdadero diseño experimental es una herramienta útil para evaluar diseños experimentales
alternativos. Campbell y Stanley (1963), Bracht y Glass (1968), el Comité de Estudio de Evaluación Phi Delta
Kappa (Stufflebeam et al, 1971 [a]), Krathwohl (1972) y Stufflebeam (1972) han preparado declaraciones sobre
qué criterios deberían Se aplicará en el trabajo de metaevaluación.
Los criterios de adecuación técnica son:
1. Validez interna. Este criterio se refiere a la medida en que los resultados son verdaderos. ¿Responde el diseño de
la evaluación a las preguntas que pretende responder? ¿Son los resultados precisos e inequívocos? Claramente,
cualquier estudio, ya sea investigación o evaluación, debe, como mínimo, producir respuestas precisas a las
preguntas en consideración.
2. Validez externa. Este criterio se refiere a la generalización de la información. ¿A qué personas y condiciones del
programa se pueden aplicar los resultados? ¿La información es válida solo para la muestra de la cual se recolectó o
para otros grupos? ¿Está limitado el tiempo, o los hallazgos predicen lo que ocurriría en aplicaciones futuras?
Básicamente, cumplir con el criterio de validez externa significa que se puede generalizar de manera segura a una
población de interés, a un conjunto de condiciones del programa y a algún entorno de circunstancias ambientales.
Por lo tanto, en la evaluación (como en la investigación) es importante definir las extrapolaciones que uno quiere
hacer a partir de los resultados del estudio y demostrar si los hallazgos justifican tales extrapolaciones.
3. Fiabilidad. Este criterio se refiere a la exactitud de los datos. ¿Cuán internamente consistentes son los hallazgos?
¿Qué tan consistentes serían en condiciones test-retest? Si los hallazgos carecen de precisión y reproducibilidad,
uno debería preocuparse si son simplemente aleatorios y, por lo tanto, sin sentido.
4. La objetividad. Este criterio se refiere a la publicidad de los datos. ¿Los jueces competentes estarían de acuerdo
con los resultados? O bien, los resultados dependen en gran medida de las experiencias, percepciones y sesgos
únicos de los evaluadores. Es posible que los hallazgos proporcionados por un conjunto de jueces puedan ser
reproducibles y, por lo tanto, fiables, pero muy sesgados por las predilecciones de los jueces. A menos que los
resultados sean interpretados de manera similar por expertos diferentes pero igualmente competentes, el verdadero
significado de los resultados está sujeto a cuestionamiento. Para cumplir con los estándares de utilidad, los
informes de evaluación deben ser informativos para los profesionales y deben tener un impacto deseable en su
trabajo. Los seis criterios que son relevantes aquí implican una interacción explícita o implícita entre los hallazgos
evaluativos y alguna audiencia.
5. Relevancia. Este criterio se refiere a si los hallazgos responden a los propósitos de la evaluación. ¿Qué son las
audiencias? ¿Qué información necesitan? ¿En qué medida el diseño de la evaluación responde a los propósitos
declarados del estudio y las solicitudes de información realizadas por las audiencias? La preocupación por la
relevancia es crucial si los hallazgos deben tener un atractivo más que académico y si
deben ser utilizados por las audiencias previstas. La aplicación del criterio de relevancia requiere que se
especifiquen las audiencias y los propósitos de la evaluación. Tales especificaciones esencialmente resultan en las
preguntas a ser contestadas. La relevancia se determina comparando cada dato que se recopilará con las preguntas a
responder.
6.Importancia. Esto implica determinar qué datos particulares deben recopilarse. En cualquier estudio de
evaluación, una amplia gama de datos son potencialmente relevantes para los propósitos del estudio. Dado que las
consideraciones prácticas determinan que solo se puede recopilar una parte de los datos potencialmente relevantes,
el evaluador debe elegir los datos que servirán de manera más útil para los propósitos del estudio. Para hacer esto,
el evaluador debe evaluar la importancia de cada dato potencialmente relevante y debe conocer las prioridades que
las audiencias asignan a los diversos datos. Luego, basándose en sus propios juicios y en los de su público, el
evaluador debe elegir los datos más significativos.
7.Alcance. Una condición adicional de la utilidad es que la información evaluativa tenga un alcance adecuado. La
información que es relevante e importante aún puede no abordar todas las preguntas importantes de la audiencia. El
Programa de Evaluación de Michigan (House et al, 1974) es un buen ejemplo. El propósito de este programa es
evaluar las necesidades educativas de los estudiantes en Michigan. En la práctica, proporciona principalmente
datos sobre el rendimiento en lectura y matemáticas de los alumnos de 4º y 7º grado.
Si bien estos datos son relevantes e importantes para evaluar ciertas necesidades educativas de muchos estudiantes,
los datos tienen un alcance muy limitado. Pertenecen a estudiantes de solo dos grados y brindan poca información
sobre intereses, motivación, autoconcepto o estabilidad emocional. Tampoco evalúan las necesidades en ciencia,
arte, música o muchas otras áreas.
8. Credibilidad. Este criterio se refiere a si la audiencia confía en el evaluador y le supone que está libre de sesgos
en la conducción de la evaluación. Las audiencias a menudo no están en condiciones de evaluar la idoneidad
técnica de un estudio. Lo siguiente que pueden hacer es decidir si tienen confianza en el grupo que realizó el
estudio. Este factor a menudo se correlaciona con la cuestión de la independencia. En algunos casos, la audiencia
para un estudio no confiaría en los resultados si fueran autoevaluaciones, pero quizás acepte resultados idénticos si
los hubiera obtenido un evaluador externo imparcial. En otros casos, una autoevaluación realizada por un equipo
interno puede ser completamente aceptable para la audiencia. Es crucial que el estudio cumpla con el criterio de
credibilidad. Independientemente de lo técnicamente adecuados que puedan ser los resultados, serán inútiles si el
público no pone en valor su credibilidad. El meta-evaluador debe evaluar cuánta confianza tiene la audiencia en la
evaluación. Ya sea un empleado interno o un agente externo, el evaluador puede hacer mucho para asegurar la
credibilidad de su estudio al llevar a cabo su estudio abiertamente y al demostrar constantemente su integridad
profesional.
9. La puntualidad. Este es quizás el más crítico de los criterios de utilidad. Esto es porque lo mejor de la
información es; Inútil si se proporciona demasiado tarde para cumplir sus propósitos. En la investigación no nos
preocupa la puntualidad, ya que el único objetivo es producir nuevos conocimientos que tengan validez interna y
externa. Por lo tanto, es apropiado que los investigadores tomen el tiempo que necesiten para producir información
que sea científicamente adecuada. En la evaluación, sin embargo, el propósito no es producir nuevos
conocimientos, sino influir en la práctica. Por lo tanto, el profesional debe recibir la información que necesita
cuando la necesita. En el trabajo de evaluación esto casi siempre crea un conflicto. Si el evaluador optimiza la
idoneidad técnica de la información que obtiene, es casi seguro que no tendrá su informe listo cuando sea
necesario. Si cumple con las limitaciones de tiempo de su público, probablemente tendrá que sacrificar parte de su
adecuación técnica. La posición adoptada aquí es que el evaluador debe esforzarse por proporcionar información
razonablemente buena a su audiencia en el momento en que la necesite.
10. Pervasividad. Este último criterio de utilidad se refiere a la difusión de los resultados de la evaluación.
Claramente, la utilidad de una evaluación se puede medir parcialmente al determinar si todas las audiencias
previstas reciben y utilizan los resultados de la evaluación. Si se proporcionara un informe de evaluación destinado
a los maestros y administradores a un administrador principal que, a su vez, no distribuyó los hallazgos a sus
maestros, diríamos que los hallazgos no fueron generalizados. Este criterio se cumple cuando todas las personas
que tienen una necesidad de los resultados de la evaluación, de hecho, los reciben y los utilizan. En general, los
cuatro criterios técnicos y los seis criterios de utilidad mencionados anteriormente resaltan la dificultad de la
asignación del evaluador. El trabajo del evaluador debe ser juzgado por motivos similares a los que se utilizan para
juzgar la idoneidad técnica de los informes de investigación. Pero el informe del evaluador también será juzgado
por su relevancia, importancia, alcance, credibilidad, oportunidad y omnipresencia. Para empeorar las cosas para el
evaluador, todavía hay un tercer estándar que debe aplicarse a su trabajo. Esta es la preocupación prudencial de
costo / efectividad.

11. Coste / efectividad. Éste se refiere a la necesidad de mantener los costos de evaluación lo más bajos posible sin
sacrificar la calidad. La aplicación adecuada de los criterios de utilidad de relevancia, alcance, importancia y
oportunidad debe eliminar las ineficiencias más graves. Sin embargo, siempre hay formas alternativas de recopilar
e informar datos, y estos varían en sus requisitos financieros y de tiempo. Por lo tanto, se debe tener cuidado para
elegir las formas más efectivas de implementar el diseño de evaluación. También es importante que los evaluadores
mantengan registros de costos e impacto de sus actividades de evaluación. De esta manera, podrán abordar
preguntas sobre el costo / efectividad de su trabajo. A largo plazo, los evaluadores deben demostrar que los
resultados de sus esfuerzos valen más de lo que cuestan. En algunos casos, los evaluadores deben poder demostrar
que sus estudios realmente ahorran más dinero del que cuestan, por ejemplo, al influir en la eliminación de las
actividades innecesarias.
En resumen, las evaluaciones deben ser técnicamente adecuadas, útiles y eficientes. Los once criterios presentados
anteriormente se sugieren a los meta-evaluadores para su uso en la evaluación de diseños e informes de evaluación.
Es evidente que el evaluador no puede insistir en optimizar ningún criterio para optimizar su esfuerzo en general.
Más bien, debe hacer muchos compromisos y lograr el mejor equilibrio posible para satisfacer los estándares de
adecuación técnica, utilidad y costo / efectividad.
Problemas que ponen en peligro la evaluación
Una cosa es determinar si los resultados de la evaluación cumplen con los criterios descritos anteriormente. Otra
cosa es asegurarse de que se cumplan estos criterios.
Para este último propósito, uno debe predecir los problemas que pueden poner en peligro un estudio de evaluación
e introducir medidas preventivas apropiadas.
En mi experiencia previa con la evaluación, me he encontrado con muchos problemas, y durante algún tiempo he
pensado que sería útil que los evaluadores tuvieran disponible una lista de dichos problemas. Tal lista ayudaría a
los evaluadores a predecir y contrarrestar los problemas antes de que sucedan.
Las siguientes páginas presentan y delinean seis clases de problemas que creo que se encuentran comúnmente en el
trabajo de evaluación. Estas clases son conceptuales, sociopolíticas, contractuales / legales, técnicas,
administrativas y morales / éticas. Básicamente, se sugiere que estos problemas se utilicen para mejorar el trabajo
de evaluación en curso (el tema de la metaevaluación formativa), pero también deberían ser útiles para evaluar y
diagnosticar estudios de evaluación completos (una preocupación de la metaevaluación sumativa). Cada una de las
seis áreas de problemas se define y luego se explica a través de la identificación de subproblemas específicos.

Problemas conceptuales
Esta área problemática concuerda cómo los evaluadores conciben la evaluación.
La evaluación es típicamente una actividad de equipo. Como base para una comunicación y colaboración efectivas
entre los miembros del equipo, esto; Es necesario que compartan una visión común y bien definida de la naturaleza
de la evaluación. De lo contrario, sus actividades no se complementarán entre sí para lograr algunos objetivos
compartidos de la evaluación.
También se podrían adoptar conceptualizaciones alternativas de evaluación. Dependiendo de cuál se elija, los
evaluadores producirán resultados de evaluación que difieren tanto en clase como en calidad. Por ejemplo, una
conceptualización que insista en la evaluación de los objetivos producirá resultados diferentes de uno que insista en
un enfoque sin objetivos, y un enfoque que enfatiza los análisis impresionistas probablemente arrojará resultados
menos válidos y confiables que un enfoque que requiera una estrecha conformidad con estándares técnicos. Dado
que la adhesión a diferentes conceptualizaciones de la evaluación puede llevar a resultados diferentes, es
importante que los equipos de evaluadores consideren y documenten cuidadosamente el enfoque utilizado para
guiar sus actividades.
Al abordar esta área problemática, creo que los evaluadores deben responder ocho preguntas generales: ¿Qué es la
evaluación? ¿Para qué sirve? ¿Qué preguntas aborda? ¿Qué información requiere? ¿A quién debería servir? ¿Quién
debería hacerlo? ¿Cómo deberían hacerlo? ¿Con qué estándares debe juzgarse su trabajo? Cada uno se presenta y
describe a continuación.

1. ¿Qué es la evaluación? Uno puede responder a esta pregunta de varias maneras.

Una forma es definir la evaluación como "determinar si se han alcanzado los objetivos". Esta es la forma más
común y clásica de definir la evaluación. Enfoca la atención en los resultados y sugiere que se utilicen los objetivos
establecidos para determinar el valor de los resultados. No requiere la evaluación de objetivos, planes de proyecto
y proceso, ni enfatiza la retroalimentación continua diseñada para ayudar a diseñar y desarrollar proyectos.
"Relacionar los resultados con los objetivos", entonces, es una forma de responder a la pregunta "¿Qué es la
evaluación?", Y esta respuesta tiene ciertas características y limitaciones.
Otra posible respuesta es que la evaluación es "el proceso de proporcionar información para la toma de decisiones".
Esta definición ofrece explícitamente retroalimentación evaluativa continua para la planificación y la realización de
programas. Además, esta definición es más amplia que la definición descrita anteriormente, ya que proporcionar
información para la toma de decisiones implica que la evaluación no solo se centraría en los resultados, sino que
también brindaría información para elegir objetivos y diseños y para llevar a cabo los diseños. Una limitación
principal de esta definición es que no hace referencia a la necesidad de que la evaluación retroactiva sirva para
rendir cuentas.
Una tercera respuesta posible es la que se encuentra en los diccionarios estándar. Esto equivale a decir que la
evaluación es la determinación del mérito. Esta definición es lo suficientemente amplia como para abarcar todas las
preguntas sobre el valor, la calidad o la cantidad que uno pueda imaginar, y, por lo tanto, no es tan limitada como
las dos primeras definiciones. Además, su generalidad admite la posibilidad de proporcionar información para la
toma de decisiones y la rendición de cuentas. Por supuesto, es comunicable ya que es consistente con las
definiciones comunes del diccionario. Su debilidad es su falta de especificidad.
Estas tres definiciones ilustran que hay formas alternativas de definir la evaluación. Otras posibilidades incluyen
equiparar la evaluación con las pruebas, el juicio profesional y la investigación experimental (Stufflebeam et al,
1971 [a]). La forma que; un grupo elige definir la evaluación tiene una influencia importante en lo que producen y,
por lo tanto, es una consideración importante en la evaluación de su trabajo.
2. ¿Para qué es?
La segunda pregunta se refiere a los propósitos que deben cumplir los resultados de la evaluación. Nuevamente,
uno puede responder de maneras alternativas, y los propósitos que un equipo de evaluación elige atender pueden
afectar drásticamente los datos que recopilan, cómo los recopilan, cómo los reportan y cómo otros los juzgarán.
Un propósito posible está implícito en una de las definiciones mencionadas. Es proporcionar información para la
toma de decisiones. Invocando sus propuestas de trabajo, los evaluadores ponen gran énfasis en la utilidad de la
información que recopilan e informan. En efecto, deben realizar su trabajo de evaluación de manera proactiva para
proporcionar continuamente información oportuna para la toma de decisiones. Esto es muy parecido a la noción de
evaluación formativa de Scriven (1967).
Otro propósito que escuchamos mucho sobre estos días es la responsabilidad. Esto significa mantener un archivo
de datos que
Las personas pueden usar para informar y defender sus acciones pasadas. Cumplir este propósito requiere un
enfoque retrospectivo de la evaluación que sea similar al concepto de evaluación sumativa de Scriven (1967).
Todavía un tercer propósito implica el desarrollo de nuevos conocimientos que tengan validez interna y externa. En
mi opinión, este tipo de actividad es investigación y no evaluación, y surgen problemas cuando las personas
equiparan los dos conceptos. Si el investigador optimiza los criterios de idoneidad técnica, sus hallazgos
probablemente carecerán de utilidad. Pero si afirma que está haciendo una investigación y no insiste en cumplir los
criterios de idoneidad técnica para excluir los criterios de utilidad, los resultados probablemente se juzguen como
malos por motivos de investigación, ya sea que los resultados sean útiles o no.
Como se ilustra arriba, las evaluaciones pueden servir para diferentes propósitos, que sugieren diferentes criterios,
o al menos diferentes énfasis, para juzgar los resultados de los esfuerzos de evaluación. Además, los evaluadores
pueden meterse en problemas si se proponen cumplir una serie de propósitos diferentes a los que tienen en mente
sus patrocinadores y audiencias. Por lo tanto, los evaluadores deben ser explícitos sobre los propósitos a los que
sirven, y los meta-evaluadores deben evaluar la claridad, el consenso y las implicaciones de esos propósitos.

3. ¿Qué preguntas abordan las evaluaciones?

Esta tercera pregunta se refiere a los focos de la evaluación. ¿Qué preguntas se pueden abordar? ¿Cuáles serán
abordados?
Clásicamente, las evaluaciones han abordado preguntas sobre los resultados. Este es ciertamente un enfoque
importante para el trabajo de evaluación, pero es solo uno. Las evaluaciones también pueden evaluar el mérito de
los acuerdos, los diseños para lograr los objetivos y los esfuerzos para implementar los diseños.
Se pueden hacer muchas preguntas diferentes, dependiendo de la sustancia de lo que se está evaluando, y el
propósito (s) que se está cumpliendo. Por ejemplo, si el propósito es servir a la toma de decisiones y si el enfoque
es la implementación, el evaluador podría concentrarse en identificar barreras potenciales; pero si el propósito es
servir a la rendición de cuentas en relación con la implementación de un diseño, el evaluador deberá documentar el
proceso de implementación total.
Una forma de identificar y analizar posibles preguntas de evaluación es a través de una matriz apropiada. Su
dimensión vertical incluye los propósitos de la evaluación, es decir, la toma de decisiones y la rendición de cuentas.
Su dimensión horizontal incluye las categorías de objetivos, diseños, implementación y resultados. La Figura 1
ilustra el uso de dicha matriz; sus celdas se han completado para ilustrar las preguntas evaluativas que podrían
abordarse en un estudio de evaluación.
Esta matriz ilustra que hasta ocho categorías de preguntas podrían abordarse en cualquier esfuerzo evaluativo, y
que muchas preguntas específicas podrían abordarse en cada una de las categorías. El metaevaluador puede evaluar
qué preguntas se están abordando, si son las correctas y si son todas las preguntas que deben hacerse.
4. ¿Qué información requiere la evaluación?
Además de evaluar si se hacen las preguntas correctas, el evaluador también debe evaluar si se está recopilando la
información correcta. Algunas evaluaciones son juzgadas duramente porque
solo contienen resúmenes de los datos del cuestionario que indican, por ejemplo, que "a los participantes les gustó
la experiencia". Se considera que otros están incompletos porque solo proporcionan datos concretos, como los
puntajes de las pruebas, y no reflejan la información de las personas que estuvieron cerca Asociado a una
experiencia. Otros son criticados porque carecen de recomendaciones. Por lo tanto, los metaevaluadores deben
evaluar si las evaluaciones proporcionan una combinación adecuada de descripciones, juicios y recomendaciones.
5. ¿A quién se servirá?
La quinta pregunta concierne a la audiencia para la evaluación. ¿Qué personas y grupos serán atendidos? ¿Que
necesitan? ¿Cómo serán servidos? Estas son cuestiones clave relacionadas con las preguntas que deben abordarse y
los medios para informar a las audiencias.
Invariablemente, las audiencias múltiples pueden ser servidas. Por ejemplo, maestros, investigadores,
administradores, padres, estudiantes, patrocinadores, políticos, editores y contribuyentes están potencialmente
interesados en los resultados de las evaluaciones de innovaciones educativas. Sin embargo, estas audiencias están
interesadas en diferentes preguntas y requieren diferentes cantidades y tipos de información. Por lo tanto, los
diseños de evaluación deben reflejar las diferentes audiencias, sus diferentes requisitos de información y los
diferentes informes requeridos para atenderlos. Si estos asuntos se dejan al azar, como suele ser el caso, puede
esperarse que la evaluación no satisfaga las necesidades de algunas de las audiencias. Esto se debe a que los
informes de una evaluación diseñada para servir a una audiencia probablemente no satisfagan las necesidades de
otras audiencias.

Esto se ilustró dramáticamente en la evaluación de la Oficina de Educación de EE. UU. Del primer año del
Programa Título I de la Ley de Educación Primaria y Secundaria (Departamento de Salud, Educación y
Bienestar, 1967). Este programa multimillonario, diseñado para mejorar las oportunidades educativas para niños
desfavorecidos, fue de interés para muchas audiencias diferentes. Dos de tales audiencias fueron educadores
locales y congresistas. Sin embargo, sus intereses eran bastante diferentes. Los educadores locales estaban
especialmente preocupados por cómo hacer que los proyectos individuales tuvieran éxito. Los congresistas querían
saber qué estaba logrando el programa total. Claramente, ningún estudio o informe de evaluación puede satisfacer
las diferentes necesidades de estas dos audiencias.
La Oficina de los EE. UU., Responsable ante el Congreso de evaluar el Programa Título I, tuvo que decidir las
audiencias, las preguntas, el diseño y los informes para una evaluación nacional del Título I. Se cumplirían los
requisitos de información a nivel nacional y local. Los funcionarios de USOE permitieron que cada distrito escolar
diseñara su evaluación exclusivamente para cumplir con los requisitos de información local. Debido a problemas
políticos potenciales, no se impusieron requisitos a las escuelas para utilizar instrumentos comunes mediante los
cuales se pudiera recopilar información de manera uniforme para su presentación al Congreso.
Por increíble que parezca, los funcionarios de USOE asumieron que los miles de informes de evaluación del Título
I de las escuelas locales podrían agregarse en un solo informe que respondería a los intereses del Congreso. USOE
desarrolló un informe que intentó integrar y agregar los informes escolares locales, pero el resultado fue un
desastre y una vergüenza para todos los involucrados.
Esto ilustra que es importante al principio del proceso de diseño de una evaluación para identificar y analizar
cuidadosamente las necesidades de información de las diferentes audiencias para la evaluación. Este tipo de
análisis de audiencia debe ser
utilizado en el diseño de la recopilación de datos y actividades de información. La atención cuidadosa a esta área
puede ayudar en gran medida a satisfacer los criterios de relevancia, importancia, alcance y oportunidad para la
evaluación. El metaevaluador, entonces, hará bien en evaluar los diseños de evaluación para su atención a las
audiencias que deben ser atendidas.
6. ¿Quién debe hacer la evaluación?
Esta sexta pregunta concierne al agente para la evaluación. ¿Deben los educadores hacer sus propias evaluaciones?
¿Deberían emplear especialistas en evaluación y hacer que lo hagan? ¿Deberían subcontratar a alguna empresa de
evaluación externa? ¿Deben los educadores hacer su propia evaluación pero comprometerse, por fuera, a revisar su
trabajo? ¿O que?
Estas preguntas son complicadas, pero se complican aún más cuando se agrega la dimensión del propósito de la
evaluación. ¿Quién debería hacer una evaluación para la toma de decisiones? ¿Quién debería hacer una evaluación
que pretende servir a la rendición de cuentas?
Las respuestas a estas preguntas son importantes porque existen diferentes costos, beneficios y problemas
asociados con el uso de diferentes agentes de evaluación. Puede ser más barato hacer la propia evaluación, pero
hacerlo sacrifica invariablemente los criterios importantes de objetividad y credibilidad. Por el contrario, el empleo
de agentes de evaluación externos aumenta la objetividad y la credibilidad, pero puede aumentar la interrupción,
los costos y la amenaza. El metaevaluador debe verificar cómo se ha manejado o podría manejarse la cuestión de
los agentes de evaluación, y debería evaluar las consecuencias alternativas de los diferentes arreglos posibles. Para
obtener más información sobre este problema, consulte el artículo reciente e importante de Scriven sobre el control
de sesgos. (Scriven, en prensa).
7. ¿Cómo se debe realizar la evaluación?
La séptima pregunta sobre la conceptualización de la evaluación se refiere a la metodología de la evaluación. ¿Cuál
es el proceso de evaluación? ¿Qué pasos hay que implementar en el curso de una evaluación? ¿En qué medida se
han elaborado procedimientos sólidos para cada paso del proceso de evaluación?
Existen conceptualizaciones alternativas de evaluación y cada una tiene sus diferentes pasos. Si bien la mayoría de
los autores no ven el proceso de evaluación como lineal, han recomendado diferentes listas de pasos que los
evaluadores deberían llevar a cabo. Stake (1967) ha sugerido un enfoque que involucra describir un programa,
informar la descripción a la audiencia, obtener y analizar sus juicios e informar los juicios analizados a la
audiencia.
Michael Scriven (1972 [a]) ha sugerido nueve pasos en su Modelo de Comparación de Vías. Estas son: (1)
caracterizar el programa que se evaluará, (2) aclarar las conclusiones buscadas, (3) verificar las relaciones de causa
y efecto, (4) realizar una verificación exhaustiva de las consecuencias, (5) evaluar los costos, (6) identificar y
evaluar los objetivos del programa, (7) comparar el programa con competidores críticos, (8) realizar una
evaluación de necesidades como base para juzgar la importancia del programa, y (9) formular un juicio general del
programa.
Newton S. Metfessel y William B. Michael (1967), por escrito sobre las razones de la evaluación de Ralph Tyler,
han sugerido un proceso de evaluación de ocho pasos. Sus pasos son: (1) participación de todos los grupos
interesados, (2) desarrollo de objetivos generales, (3) construcción de objetivos de comportamiento, (4) desarrollo
de objetivos
instrumentos, (5) recopilación de datos, (6) análisis de datos, (7) interpretación del significado de los hallazgos y
(8) formulación de recomendaciones. Malcolm Provus (1971) ha propuesto un proceso de cinco pasos. Es (1)
clarificar el diseño de un programa, (2) evaluar su implementación, (3) evaluar sus resultados provisionales, (4)
evaluar sus resultados a largo plazo y (5) evaluar sus costos y beneficios.
Como ejemplo final, el Comité de Estudio Phi Delta Kappa sobre Evaluación (Stufflebeam et al, 1971 [a]) presentó
un proceso de tres pasos. Incluyó (1) interactuar con las audiencias para delinear los requisitos de información, (2)
recopilar, organizar y analizar la información necesaria, y (3) interpretar e informar los hallazgos a la audiencia.
Estas diferentes concepciones del proceso de evaluación ilustran que los evaluadores harán diferentes cosas
dependiendo de la conceptualización de la evaluación que utilicen. Si se sigue el enfoque de Scriven, se prestará
gran atención a los pasos que aseguren la idoneidad técnica y la inclusión de juicios en la evaluación; pero se dará
poca atención a las interacciones (con audiencias) que están diseñadas para asegurar la utilidad de los informes de
evaluación. A la inversa, los otros enfoques ponen mucho énfasis en las interacciones con las audiencias para
asegurar que la información obtenida será utilizada por las audiencias previstas.
El meta-evaluador debe identificar qué proceso de evaluación se está siguiendo, examinar las implicaciones del
proceso seleccionado en relación con los criterios de idoneidad técnica, utilidad y costo / efectividad; y consultar
las disposiciones para llevar a cabo el proceso de evaluación. La retroalimentación de dicha información a los
evaluadores debería ayudarlos a decidir si su diseño necesita modificaciones o explicaciones.
8. ¿Según qué estándares se debe juzgar la evaluación?
Este documento ya ha afirmado que las evaluaciones deben cumplir con los estándares de idoneidad técnica,
utilidad y costo / efectividad. Estos estándares se definieron más detalladamente en la forma de los once criterios
de validez externa, validez interna, confiabilidad, objetividad, relevancia, alcance, importancia, credibilidad,
oportunidad, generalización y costo / eficiencia. De acuerdo con esta posición, los meta-evaluadores deben evaluar
hasta qué punto las evaluaciones han sido diseñadas para cumplir con estos criterios.
Hay una serie de consideraciones al hacer tales controles. ¿Qué prioridades asignan los evaluadores a cada uno de
los once criterios? ¿Qué prioridades aplican las audiencias a los diferentes criterios? ¿Es probable que las
prioridades para diferentes criterios estén en conflicto? ¿En qué medida la conceptualización general de la
evaluación es consistente con los estándares de adecuación para la evaluación que los evaluadores y sus audiencias
tienen en mente?
Con esto concluye la discusión de los problemas conceptuales en la evaluación. En resumen, los evaluadores y sus
audiencias deben tener en común una conceptualización defendible de la evaluación que pueda guiar su
recolección y uso de los datos de la evaluación. Existen conceptualizaciones alternativas que podrían ser
adoptadas. Se recomienda a los meta-evaluadores que verifiquen la claridad, la aceptación común y la adecuación
de la conceptualización que está utilizando un grupo en particular.
Esta sección ha presentado algunas de las preguntas y respuestas alternativas que deben considerarse. Dado este
análisis de los problemas conceptuales, a continuación nos ocuparemos de los problemas sociopolíticos.
Problemas sociopolíticos
Esta área problemática refleja que las evaluaciones se llevan a cabo en entornos sociales y políticos. Por lo tanto, el
evaluador debe enfrentar muchos problemas al tratar con grupos y organizaciones.
A menos que el diseño de la evaluación incluya una disposición para tratar de manera efectiva a las personas que
estarán involucradas y afectadas por la evaluación, estas personas pueden causar que la evaluación sea subvertida o
incluso finalizada. Como cualquier evaluador puede testificar, los problemas y amenazas sociopolíticas son reales;
y los programas de capacitación en evaluación y los libros de texto no preparan a los evaluadores para enfrentar
estos problemas. En la evaluación es de suma importancia verificar la existencia de posibles problemas
sociopolíticos y planificar cómo superarlos. Mi lista incluye siete de esos problemas.
1. Implicación
Este primer problema sociopolítico se refiere a la interacción con las personas de cuya cooperación depende el
éxito de la evaluación. Un principio del cambio educativo es que, a menos que las personas que necesiten apoyar el
cambio se involucren de manera temprana, significativa y continua en el desarrollo de una innovación, es probable
que no apoyen la operación y el uso de la innovación.
Este principio se aplica también en la evaluación. Bettinghaus y Miller (1973) han señalado esto en su análisis de
resistencia en todo Michigan al sistema de responsabilidad estatal recientemente desarrollado. Su explicación es
que gran parte de la resistencia no se habría desarrollado si más personas en todo Michigan hubieran estado
involucradas anteriormente en el diseño del Sistema de Responsabilidad de Michigan.
La evaluación y la rendición de cuentas en el mejor de los casos son conceptos amenazadores. Si las personas cuyo
trabajo se va a evaluar no participan en las discusiones sobre los criterios según los cuales se evaluará su trabajo,
los métodos por los cuales se proporcionarán los datos y las audiencias que recibirán los informes, difícilmente se
puede esperar que estas personas apoyen la evaluación. Es más probable que se resistan, boicoteen o incluso
intenten subvertir el esfuerzo evaluativo.
¿Qué puede hacer el evaluador para involucrar a las personas cuyo apoyo se requiere para que la evaluación tenga
éxito? Una cosa que podría hacer es diseñar el trabajo de evaluación hasta el último detalle y luego presentar el
diseño en una reunión compuesta por personas que representan a todas las partes interesadas. Mientras que él
podría hacer esto, y mientras los evaluadores lo hacen de esta manera, esto es lo peor que pueden hacer.
La presentación de un diseño "enlatado" a personas previamente no iniciadas pero interesadas en una reunión
grande está embarazada de problemas de participación. Los asistentes probablemente incluirán administradores,
patrocinadores, evaluadores y maestros. Ciertamente, algunas de las personas serán participantes reacios, y ninguna
de ellas, fuera del diseñador de la evaluación, tendrá ningún compromiso con el diseño preparado. Cualquier
persona que quiera retrasar o cancelar la tarea de evaluación encontrará fácil en una reunión de este tipo reunir
apoyo para sus preguntas y reservas. El evaluador, por otro lado, puede no encontrar a nadie en su "esquina". Por lo
tanto, el primer punto de control en relación con el problema de participación es que los evaluadores no planean
orientar a los participantes en la evaluación al presentarles un diseño de evaluación completo a gran escala. reunión
de grupo.
En cambio, los evaluadores deben involucrar a los grupos en el desarrollo del diseño antes de que se presente en
algo como:
forma definitiva. Se pueden establecer y convocar pequeños paneles consultivos con el fin de escuchar sus
recomendaciones. Los grupos pequeños pueden participar en sesiones de trabajo para proporcionar
recomendaciones con respecto a logística logística. Se debe organizar mucho contacto individual con las personas
interesadas, tanto cara a cara como por teléfono y por correo, especialmente para conocer sus opiniones sobre las
preguntas que debe abordar la evaluación. A menos que exista alguna razón convincente para ello, el evaluador
probablemente debería evitar realizar una reunión de un grupo numeroso para revisar el diseño de la evaluación; es
preferible realizar varias reuniones de grupos pequeños.
El punto aquí es que muchas personas interesadas deben participar en el desarrollo de diseños de evaluación para
obtener su cooperación. El metaevaluador debe examinar la evaluación en busca de evidencia de que a las personas
cuyo apoyo se necesita se les brindan oportunidades para aportar información real en la planificación de la
evaluación. El metaevaluador también debe verificar la existencia de situaciones innecesarias en las que los
adversarios de la evaluación puedan tener oportunidades para hacer que la evaluación falle. En consecuencia, los
diseños y actividades de la evaluación deben verificarse en cuanto a sus disposiciones en relación con los
problemas que pueden surgir de la falta de participación de las personas interesadas en la evaluación o de los malos
planes para involucrar a las personas.
2. Comunicación interna
El segundo problema sociopolítico es el de la comunicación interna. Las evaluaciones involucran muchas
actividades que no son rutinarias para las personas en el sistema donde se realiza la evaluación. En el mejor de los
casos, estas actividades son disruptivas, pero pueden volverse intolerables para el personal del sistema si ocurren
como una sucesión de sorpresas. A la inversa, si el personal del sistema no entiende sus funciones en la evaluación,
no puede realizarlos. Si no los realizan, la evaluación difícilmente puede ser exitosa. Además, las audiencias para la
evaluación no pueden usar datos de evaluación si no saben que existe. El punto de esta discusión es que las
actividades de evaluación deben estar respaldadas por algún sistema de comunicación interna continua.

La comunicación interna debe centrarse especialmente en la recopilación de datos y la presentación de informes.

Periódicamente, todas las personas que participan en la recopilación de datos deben ser informadas sobre qué
grupos participarán, de qué manera, en qué datos, en qué momento. La Figura 2 presenta una forma de comunicar
dicha información a las personas interesadas. Esta figura es un cuadro que muestra quién está programado para
responder a los instrumentos de recopilación de datos designados para cada día de algún período explícito. Del
mismo modo, la Figura 3 es un cuadro similar que muestra qué audiencias están programadas para recibir qué
informes en qué días. La preparación de los diagramas se puede utilizar para informar a los participantes del
sistema sobre su futura participación en la evaluación. De igual importancia, la proyección de dichos calendarios
puede ayudar a los evaluadores a identificar conflictos y problemas de viabilidad en sus recopilaciones de datos y
programas de informes.
Estos gráficos se sugieren como dispositivos que los meta-evaluadores pueden usar para verificar problemas de
comunicación. Los cuadros completos se pueden usar para verificar si el personal del sistema y los evaluadores
tienen un entendimiento común de sus responsabilidades de evaluación. Los cuadros también pueden usarse para
ayudar a los evaluadores a descubrir problemas de viabilidad en sus planes.
Para asegurarse de que la comunicación interna se mantenga sistemáticamente, los evaluadores pueden utilizar
varias técnicas. Ellos pueden
informar en las reuniones de personal. Pueden emitir boletines semanales de proyectos de evaluación y pueden
mantener juntas consultivas que representan al personal del sistema.
Es importante que los evaluadores utilicen los medios adecuados para mantener una buena comunicación con el
personal del sistema. Esto es necesario tanto para asegurar su cooperación (que es necesaria para la idoneidad
técnica de los esfuerzos de evaluación) como para asegurar que se utilizarán los resultados de la evaluación. Los
metaevaluadores pueden proporcionar un servicio valioso a los evaluadores al verificar sus planes de evaluación
para determinar si son adecuadas para la comunicación interna.
3. Credibilidad interna
Un tercer problema sociopolítico se refiere a la credibilidad interna de la evaluación. En particular, esto implica la
medida en que el personal del sistema confía en que el evaluador sea objetivo y justo en su recopilación e informe
de datos.
Una característica común de las evaluaciones es que los evaluadores a menudo deben recopilar datos de personas
en un nivel de un sistema y luego recopilar los datos e informarlos a personas en el siguiente nivel superior del
sistema. Por ejemplo, es común que se deban recopilar datos de los maestros para el desarrollo de un informe a
nivel escolar que sirva al director de la escuela. Esta característica de la evaluación causa una amenaza natural: las
personas que responden a las preguntas evaluativas se preguntan si están siendo evaluadas y si los datos que
proporcionan se utilizarán en su contra. No es de extrañar que las solicitudes de los evaluadores de que los
educadores respondan a las entrevistas y los cuestionarios a menudo se encuentren con ansiedad. Para asegurar la
cooperación de los posibles encuestados con los instrumentos de evaluación, los evaluadores deben aclarar cómo se
informará y se utilizará la información recopilada; y los evaluadores deben establecer un clima de confianza mutua
y cooperación. En particular, los evaluadores deben aclarar quiénes recibirán los informes de evaluación y si los
informes se utilizarán para evaluar a las personas que proporcionaron los datos básicos. Los evaluadores deben
decir si pueden o no garantizar el anonimato; Si hacen tales garantías, deben demostrar cómo pueden cumplir con
sus compromisos. Por encima de todo, los evaluadores deben demostrar constantemente el más alto nivel de
integridad profesional.
Si hay problemas de credibilidad interna, la idoneidad técnica y la utilidad de la evaluación se verán amenazadas.
Para detectar tales problemas, un metaevaluador puede plantear preguntas al evaluador que le pueden preguntar los
posibles proveedores de datos para el estudio. Las cartas de presentación de los cuestionarios también se pueden
revisar y se puede entrevistar a los posibles encuestados de la evaluación. La retroalimentación al evaluador debe
identificar las áreas que necesitan aclaración, las contradicciones en varias comunicaciones con los proveedores de
datos, las inquietudes de los proveedores de datos y las sugerencias para fortalecer la credibilidad interna del
estudio.
4. Credibilidad externa
Este cuarto problema sociopolítico implica si las personas fuera del sistema que se está evaluando tienen confianza
en la objetividad de los evaluadores.
En la medida en que los evaluadores hayan hecho un buen trabajo con credibilidad interna, es probable que
encuentren problemas de credibilidad externos. Si las personas dentro del sistema se sienten cómodas y confiadas
en el evaluador, las personas fuera del sistema pueden pensar que el evaluador ha sido cooptado. Esto se debe a que
los forasteros comúnmente esperan que el evaluador realice una evaluación de mérito independiente, objetiva y
contundente, y dan por sentado que los insiders se resistirán y serán de todo menos confiados en el evaluador. El
dilema de la credibilidad interna / credibilidad externa es común y difícil para los evaluadores. Sin embargo, la
idoneidad técnica y la utilidad de la evaluación dependen de que el evaluador sea creíble tanto para el personal
interno como externo. El evaluador debe, por lo tanto, estar alerta a los problemas en ambas áreas y debe esforzarse
por superarlos.
5. Seguridad de los datos.
Una de las formas de mejorar la credibilidad interna de la evaluación es mediante la atención al quinto problema
sociopolítico. Este es el problema de la seguridad de los datos que, por supuesto, se refiere a si los datos obtenidos
están bajo el control completo del evaluador.
Para mantenerse, las garantías de anonimato deben estar respaldadas por fuertes medidas de seguridad. Algunos de
estos son de sentido común, como el almacenamiento de datos en archivos bloqueados y el control estricto de las
claves de los archivos. Otro método eficaz es insistir en que los encuestados no coloquen sus nombres en los
formularios que llenan. Además, el muestreo matricial se puede usar, como en el caso de la "Evaluación Nacional",
para evitar que cualquier persona, escuela o distrito escolar sea identificado por un puntaje en particular. Por
supuesto, hay límites a las garantías de seguridad que se pueden mantener como se hizo evidente en el infame caso
de Watergate. El evaluador debe proporcionar garantías razonables, debe hacer provisiones para mantenerlas, pero
no debe hacer promesas que no pueda cumplir.
Los problemas de seguridad pueden influir en la capacidad del evaluador para recopilar datos y, por lo tanto,
afectar la idoneidad técnica de los resultados. A largo plazo, si no se mantiene la seguridad de los datos, el
evaluador probablemente encontrará una gran resistencia en sus intentos de recopilar datos.
6. Protocolo
Uno oye comúnmente que los distritos escolares y las escuelas mantienen procedimientos de protocolo estándar
que se espera que usen los forasteros. Pueden surgir problemas en esta área cuando los evaluadores no descubren ni
utilizan los procedimientos de protocolo del sistema.
Esencialmente, el protocolo implica interacciones con la cadena de mando. En algunas escuelas, los forasteros
siempre deben obtener la autorización del superior inmediato de un maestro o maestro antes de visitar o
comunicarse con el maestro o director sobre asuntos escolares. También es común que los superintendentes
escolares despejen los contactos de los forasteros con los miembros de la junta escolar. Se les pide a los
evaluadores que no se pongan en contacto con el personal de la escuela hasta que un funcionario escolar haya
anunciado y sancionado formalmente los planes de evaluación. En casos extremos, se sabe que los administradores
requieren que los evaluadores estén acompañados en sus visitas al personal de la escuela por parte del
administrador o su representante. Es evidente que existen muchos acuerdos alternativos de protocolo que se espera
que los evaluadores respeten.
Tales requerimientos presentan un dilema para el evaluador. Si bien es inexcusable para los evaluadores no
descubrir qué expectativas de protocolo existen, no es en absoluto
aclarar a priori cómo deben responder a ellos. Si el evaluador no despeja primero sus cuestionarios con el director
de la escuela, es posible que los maestros no respondan a los cuestionarios. Si el evaluador acepta la solicitud del
administrador de que el administrador administre y recopile los cuestionarios, esto puede influir en la forma en que
los maestros responden a los instrumentos. Si el evaluador le permite al administrador estar presente en las
entrevistas, existirá una pregunta seria sobre la validez de los resultados de la entrevista. Por lo tanto, el evaluador
debe tratar con cuidado los problemas aparentemente simples del protocolo.
7. relaciones públicas
El séptimo y último problema sociopolítico es el de las relaciones públicas. Este problema se relaciona con el
interés del público y las noticias sobre el trabajo de evaluación y cómo los evaluadores deben tratar dichos
intereses.
Las evaluaciones a menudo son de interés para muchos grupos, a veces por los aspectos informativos de las
evaluaciones y otras por sus cualidades sensacionales. Por lo tanto, los reporteros frecuentemente buscan aprender
sobre la naturaleza y los hallazgos de los estudios de evaluación. Los artículos periodísticos, las conferencias de
prensa, los comunicados de televisión, etc., son acontecimientos comunes en el trabajo de evaluación. Como
consecuencia, los evaluadores, les guste o no, deben tratar en relaciones públicas.
Esta situación, como tantas otras, presenta al evaluador con oportunidades y problemas. La cooperación con los
medios de comunicación es un medio deseable para mantener al público informado sobre las actividades de
evaluación y los resultados. Sin embargo, los reporteros son siempre respetuosos de la preocupación del evaluador
por controlar qué Sin embargo, los reporteros no siempre son respetuosos con la preocupación del evaluador por
controlar qué información se divulga públicamente; por lo tanto, si pueden obtenerla, los reporteros pueden
reportar públicamente la información que el evaluador haya acordado reportar en privado a una audiencia
restringida. También los reporteros pueden editar e inclinar el informe de un evaluador. Si no se pone en peligro la
utilidad de sus hallazgos, los evaluadores deben trabajar con mucho cuidado con los representantes de los medios
de comunicación.
La postura de este documento es que los evaluadores deben tomar la iniciativa en el área de relaciones públicas.
Deben ponerse en contacto con los reporteros. Deben proyectar un calendario de comunicados de prensa y deben
llegar a acuerdos sobre qué información está fuera de los límites para el lanzamiento público. Se debe establecer un
protocolo para la publicación y edición de la información evaluativa.
El principal problema a evitar en el área de relaciones públicas es evitarlo. Los meta evaluadores deberían
investigar qué arreglos se han hecho en esta área, y deberían criticar estos arreglos por su conveniencia.
Con el problema de las relaciones públicas se ha completado la discusión de los problemas sociopolíticos. Los siete
problemas en esta área nos recuerdan que las evaluaciones ocurren en el mundo real y que los evaluadores deben
tener esto en cuenta para que su trabajo sea técnicamente adecuado y útil. Los metaevaluadores pueden ayudar
comprobando la existencia de problemas sociopolíticos y desarrollando recomendaciones apropiadas.
Problemas contractuales / legales
La tercera área problemática, relacionada con asuntos contractuales y legales, indicó que las evaluaciones deben
estar cubiertas por acuerdos de trabajo entre varias partes, tanto para asegurar una colaboración eficiente como para
proteger los derechos de
cada fiesta. La evaluación exitosa requiere que los evaluadores, patrocinadores y personal del programa colaboren.
Para que esta colaboración sea efectiva, debe ser guiada por acuerdos de trabajo. Si se deben mantener, a menudo
tienen que ser en forma de algún instrumento legal, como cartas de acuerdo y contratos. Dichos instrumentos
legales deben reflejar las posibles controversias que puedan surgir durante la evaluación y las garantías que cada
parte requiere con respecto a estas posibles controversias.
Una forma de conceptualizar los problemas contractuales y legales en la evaluación es proyectar elementos que
podrían ser estándar en la mayoría de los contratos entre un agente de evaluación externo y algún sistema o
patrocinador. Tengo en mente ocho artículos contractuales. Son: (1) la definición de los roles del cliente /
evaluador, (2) la especificación de los productos de evaluación, (3) la proyección de un calendario de entrega para
los productos de evaluación, (4) la autoridad para editar los informes de evaluación, (5) la definición de los límites
del acceso a los datos que deben observarse, (6) la publicación de informes de evaluación, (7) la diferenciación de
responsabilidad y autoridad para llevar a cabo las actividades de evaluación, y (8) la fuente y el calendario de
pagos para la evaluación. El desempeño satisfactorio en estas áreas de tareas es esencial para que la evaluación se
lleve a cabo de manera eficiente y para que tenga éxito en cumplir con los estándares de idoneidad técnica y
utilidad. Cada uno de estos problemas contractuales y legales se define con más detalle a continuación.

1. Definición de los roles de cliente y evaluador.

Aclarar los roles involucrados en el trabajo de evaluación e identificar a las agencias y personas responsables de
esos roles es el primer problema contractual / legal. Los problemas de clarificación de roles son comunes en los
programas, ya sea que ocurran dentro de las agencias o involucren relaciones entre varias agencias. Para que la
evaluación se realice sin problemas y para que sirva bien a sus audiencias, se deben definir los roles necesarios
para realizar y utilizar la evaluación, y las agencias y personas que serán responsables de estos roles deben
comprender y aceptar sus roles. Por lo tanto, los acuerdos legales que rigen el trabajo de evaluación deben definir
claramente los roles a implementar.

Básicamente, las funciones de evaluación se pueden agrupar de acuerdo con las funciones principales de
patrocinador, evaluador y evaluador. Estas funciones pueden implementarse de manera independiente por agentes
separados, o pueden combinarse y asignarse a agentes de varias maneras. El caso extremo, pero no inusual, es
cuando los tres roles se asignan a una persona. Esto, por supuesto, es la instancia de la autoevaluación. Se pueden
hacer varias preguntas para determinar si los roles de evaluación se han definido adecuadamente.
Con respecto al rol del patrocinador, quién encargó la evaluación y quién pagará por ella? ¿Por qué quieren que se
lleve a cabo? ¿Qué apoyo le proporcionarán? ¿En qué medida pretenden participar en la recopilación de
información? ¿En qué medida el trabajo del patrocinador será un tema de la evaluación? ¿Qué información
quieren? ¿Cómo lo usarán? ¿Por qué autoridad han encargado la evaluación? Estas y otras preguntas similares son
apropiadas para determinar si el rol del patrocinador se ha aclarado a satisfacción de todas las partes que deben
firmar un acuerdo para llevar a cabo una evaluación.
También hay una serie de preguntas que deben considerarse para aclarar el papel del evaluado. Cuyo trabajo será
evaluado? ¿Cuál es la naturaleza de su trabajo? ¿Están obligados a cooperar? ¿Han acordado cooperar? ¿Qué
esperan recibir de la evaluación? ¿Qué requieren como condiciones para realizar la evaluación? ¿Cómo
participarán en la evaluación? ¿Cuál es su relación con el patrocinador y el evaluador? Es evidente que es
importante que las partes principales de la evaluación respondan a estas preguntas si el evaluado debe desempeñar
un papel constructivo en la evaluación.
Un tercer rol es el de evaluador. ¿Qué grupo hará la evaluación? ¿Cuál es su relación con el patrocinador? ¿Para el
evaluado? ¿Cuáles son sus calificaciones para realizar la evaluación? ¿Por qué han acordado realizar la evaluación?
¿Qué servicios esperan realizar? ¿A qué personas le asignarán para realizar este trabajo? ¿Qué apoyo requieren?
Las respuestas generales a estas preguntas proporcionan una definición básica de la función de evaluación que se
debe cumplir. Por supuesto, el rol del evaluador se explica en el detalle del diseño de la evaluación técnica.
Luego hay una serie de roles que deben definirse e incluirse en los acuerdos escritos que rigen la evaluación. Al
incluir estas definiciones en los instrumentos legales que rigen la evaluación, existe una base para asignar áreas
específicas de responsabilidad y autoridad en el trabajo de evaluación. La colocación de acuerdos sobre roles en el
contrato de evaluación ofrece garantías y garantías con respecto a la colaboración entre los diversos grupos que
deben respaldar la evaluación.
2. Evaluación de productos
El segundo punto contractual / legal se refiere a los productos a ser producidos por la evaluación. Al igual que el
personal del programa debe aclarar sus objetivos, los evaluadores deben especificar los resultados de la evaluación
que se producirán.
Básicamente, los resultados de la evaluación se refieren a los informes que deben prepararse. ¿Cuántos informes se
van a producir? ¿Cuáles son sus especificaciones de contenido? ¿Cómo se difundirán? ¿Quién utilizará los
informes? ¿Cómo se evaluará la calidad de los informes? En general, es deseable que las diferentes partes en una
evaluación lleguen a un acuerdo temprano con respecto a los productos de evaluación que se producirán.
3. El horario de entrega
Relacionado con los productos de evaluación está el calendario de entrega de los productos de evaluación
especificados. Para que sean útiles, deben ser oportunos. Por lo tanto, es importante determinar de antemano
cuándo serán necesarios los informes de evaluación y llegar a acuerdos sobre si los informes se pueden producir en
dicho cronograma.
Los intentos de alcanzar tales acuerdos a menudo revelan posibles problemas de tiempo. Para cumplir con el
cronograma del patrocinador, el evaluador a menudo tendría que sacrificar la calidad de su trabajo. Pero cumplir
con sus propias especificaciones cualitativas a menudo evitaría que el evaluador produzca informes oportunos. Con
frecuencia, los evaluadores y patrocinadores deben comprometerse con los requisitos técnicos y de tiempo para
garantizar que la evaluación logre un equilibrio razonable de adecuación técnica y puntualidad. Es mejor que
dichos compromisos se vean afectados al principio del trabajo de evaluación. Por esta razón, el calendario de los
informes de evaluación debe elaborarse e incluirse como un elemento específico en la declaración de acuerdo que
regirá el trabajo de evaluación.4. Edición de informes de evaluaciónBásicamente, esto se refiere a quién tiene
autoridad para la edición final de los informes de evaluación, pero también se refiere a la necesidad de
verificaciones y saldos para asegurar que los informes contengan información precisa. Los evaluadores,
patrocinadores y evaluados tienen preocupaciones legítimas con respecto a la edición.El evaluador necesita
garantías de que tiene la máxima autoridad para determinar el contenido de los informes que llevarán su nombre.
Hay demasiados ejemplos de informes de evaluación que son editados y publicados por los patrocinadores, sin
obtener primero la aprobación del evaluador. No es apropiado que los patrocinadores revisen los informes de
evaluación para que transmitan un significado diferente (generalmente más positivo o negativo) que el presentado
por el evaluador. Es adecuado y, a menudo, una protección necesaria que los evaluadores requieran un acuerdo
previo por escrito de que conservarán la autoridad final con respecto a la edición de sus informes.Pero, los
patrocinadores y los evaluados también merecen ciertas garantías con respecto a la edición. Todos los
procedimientos de evaluación están sujetos a error. Por lo tanto, todos los informes de evaluación contienen
potencialmente información errónea. Además, la notificación de resultados falsos puede ser injustamente
perjudicial. Por lo tanto, es razonable que los patrocinadores y los evaluadores requieran que los diseños de
evaluación contengan controles y balances razonables para garantizar la precisión de los informes de evaluación
antes de que se publiquen.Una disposición contractual sugerida que cubre la edición de los informes de evaluación
es la siguiente:
a. El evaluador tendrá la autoridad final para editar los informes de evaluación.
b. El evaluador proporcionará un borrador preliminar de su informe a los representantes designados del evaluado y
patrocinador para su revisión y reacciones.
do. A estos representantes se les dará un número específico de días para presentar una reacción por escrito al
informe.
re. Si se recibe antes de la fecha límite, el evaluador considerará las reacciones escritas en la preparación del
informe final.
El objetivo de estos puntos es garantizar la autoridad de edición final al evaluador, pero proporcionar al evaluado y
al patrocinador un medio para plantear preguntas sobre la precisión de los informes preliminares. El punto es que
las evaluaciones implican posibles disputas sobre la edición y la precisión que se pueden minimizar al llegar a
acuerdos escritos por adelantado. Al mismo tiempo, el evaluador debe darse cuenta de que cuando se le da la
oportunidad al evaluado de revisar el borrador del informe, también se le brinda la oportunidad de desacreditar la
evaluación si así lo desea.
5. Acceso a los datos.
En general, los evaluadores deben recopilar datos existentes de archivos y datos nuevos del personal del sistema.
Esta situación presenta problemas potenciales para los evaluadores y patrocinadores, así como para los
evaluadores.
Los evaluados y los patrocinadores tienen una preocupación especial por proteger los derechos del personal del
sistema y por mantener buenas relaciones con ellos. Ciertos datos en los archivos del sistema son confidenciales.
Los administradores del sistema deben proteger la confidencialidad de esta información o llegar a acuerdos
especiales sobre su uso en la evaluación. Además, el personal del sistema no está dispuesto automáticamente a
someterse a entrevistas o responder a cuestionarios largos. Tampoco, en función de su
Los contratos, están obligados a hacerlo. Si se desea obtener su cooperación, se debe solicitar con anticipación y se
deben establecer acuerdos con el personal del sistema. Por lo tanto, los evaluados y los patrocinadores tienen
interés en redactar acuerdos anticipados sobre el acceso a los datos.
Por supuesto, este es un elemento crucial en lo que respecta al evaluador. No puede realizar su evaluación a menos
que pueda obtener los datos que necesita. Por lo tanto, también necesita tener acuerdos anticipados sobre qué
información puede esperar obtener de los archivos del sistema y sobre qué nuevos datos puede obtener. Si el
evaluador no puede obtener tales garantías de antemano, su trabajo está en peligro y podría cancelar la evaluación
antes de que comience.
6. Publicación de informes.
Básicamente, esta es una cuestión de quién publicará los informes y qué audiencias pueden recibirlos.
Existe un problema potencial en la posibilidad de que las evaluaciones puedan ser publicadas por el patrocinador
solo si coinciden con sus predilecciones y sirven sus motivos ulteriores. Esto, por supuesto, es un uso sesgado de la
evaluación y debe ser evitado por evaluadores profesionales. En su lugar, deben insistir en que sus informes se
proporcionen a las audiencias preespecificadas, independientemente de la naturaleza de los hallazgos. Si existe
alguna duda sobre si el patrocinador entregará el informe a la audiencia previamente especificada, el evaluador, por
escrito, debe reservarse el derecho de hacerlo él mismo.
Un problema relacionado está en determinar qué audiencias deberían recibir qué informes. En algunos casos, por
ejemplo, al evaluar el trabajo de desarrollo temprano de un nuevo programa, es completamente apropiado que los
desarrolladores contraten a un evaluador para que les brinde comentarios privados para su propio uso en la mejora
de su trabajo. Si el evaluador y los desarrolladores están de acuerdo con esto condición de antemano, sería
inadecuado que el evaluador publique su informe al público. En otros casos, el evaluador y el patrocinador podrían
acordar apropiadamente que un informe sobre el mérito general de un programa se desarrolle y se divulgue al
público. En tal caso, si al patrocinador no le gustaron los resultados y decidió no hacerlos públicos, el evaluador
debería divulgar los resultados. De lo contrario, su integridad y la credibilidad de su trabajo serán amenazadas
justificadamente.
Es evidente que los evaluadores y sus patrocinadores deben ponerse de acuerdo por adelantado con respecto a qué
informes deben entregarse a qué público. No todos los informes deben ser publicados a todos los públicos. Pero los
informes no deben publicarse de manera selectiva en función de la naturaleza de los hallazgos. Tanto los
evaluadores como sus patrocinadores necesitan garantías en este asunto. Por lo tanto, se recomienda que sus
acuerdos anticipados por escrito contengan un elemento relacionado con la publicación de informes.
7. Responsabilidad y autoridad
Un elemento contractual anterior se refería a la definición de roles para el evaluador, el evaluado y el patrocinador.
Este séptimo punto, relacionado con la responsabilidad y la autoridad, hace hincapié en que cada grupo debe
realizar un trabajo específico en la realización de la evaluación y que los acuerdos específicos sobre las
asignaciones de trabajo deben elaborarse con anticipación. La inclusión de este elemento en el contrato tiene por
objeto garantizar que los derechos de todas las partes estén protegidos y que el diseño de la evaluación se
implementará.
Cualquier evaluador sabe que no puede hacer todo lo que se requiere para implementar una evaluación. Se requiere
cooperacion
de muchos grupos diferentes. Los administradores deben asegurar la cooperación de su personal; ya menudo se
pide a los maestros, estudiantes, administradores, personal de la comunidad y otros que proporcionen información.
A menudo, los maestros están comprometidos para administrar exámenes a sus estudiantes. En resumen, el
evaluador depende de recibir ayuda de muchos grupos para llevar a cabo el diseño de la evaluación.
Pero, los evaluadores no tienen autoridad automática para asignar responsabilidades a los diversos grupos en cuya
cooperación depende el éxito de la evaluación. O bien deben definir y trabajar a partir de acuerdos explícitos sobre
quién hará qué, o deben depender de su ingenio y de la buena voluntad de las personas con quienes desean trabajar.
Con mucho, la mejor práctica es elaborar acuerdos anticipados por escrito que definan áreas de autoridad y
responsabilidad para todas las partes que participarán en la evaluación.
8. las finanzas
El octavo y último punto contractual se refiere a las finanzas para la evaluación. ¿Quién pagará por la evaluación?
¿Cuánto dinero ha sido presupuestado para ello? ¿Cómo se puede gastar este dinero? ¿Cuál es el calendario de
pagos? ¿Cuáles son las condiciones de pago? ¿Cómo se correlaciona el calendario de pagos con el calendario de
entrega de los informes de evaluación? El tema de las finanzas es, por supuesto, el más común en los contratos de
evaluación. Los acuerdos anticipados con respecto a las finanzas deben escribirse para proteger tanto al
patrocinador como al evaluador. El patrocinador debe asegurar que los pagos se harán solo si se logran los
objetivos de la evaluación. El evaluador debe estar seguro de que los fondos no se reducirán a la mitad de la
evaluación debido a la naturaleza (y no a la calidad) de los resultados que se producen. Por lo tanto, el evaluador y
el patrocinador deben acordar por adelantado un calendario de pagos que depende solo de que el evaluador cumpla
con las especificaciones del producto acordadas mutuamente.
Esto concluye la discusión de los problemas contractuales / legales. Básicamente, todas las partes involucradas en
una evaluación requieren protección y garantías. La sugerencia aquí es que la evaluación se rija por un contrato por
adelantado desarrollado y firmado por las partes apropiadas. La preocupación del meta-evaluador aquí debe ser
determinar si la evaluación está cubierta por un conjunto de acuerdos escritos que prevendrían adecuadamente
posibles problemas contractuales y legales en la evaluación.
Hasta ahora, esta discusión de problemas de evaluación ha considerado problemas conceptuales, sociopolíticos y
contractuales / legales. Pero, poco se ha dicho sobre los problemas técnicos, que son los que han recibido la mayor
atención en la literatura formal de evaluación. Al considerar los problemas técnicos en cuarto lugar en la discusión
de seis clases de problemas de evaluación, es de esperar que se señale que los problemas técnicos son un tipo
importante de problema que el evaluador debe enfrentar, pero de ninguna manera es el único.
Problemas técnicos
Los evaluadores deben estar preparados para hacer frente a una amplia gama de problemas técnicos difíciles,
incluidos nueve que se analizan en esta sección. La atención a estos ítems debería ayudar a los evaluadores a
convertir un plan de evaluación abstracto en un plan técnico detallado para llevar a cabo el trabajo de evaluación.
1. Objetivos y variables
El primer problema técnico se refiere a la identificación de las variables a evaluar. El problema aquí es doble.
Primero, hay muchas variables que podrían incluirse en cualquier estudio, y el evaluador tiene la difícil tarea de
identificarlas y elegirlas. En segundo lugar, normalmente no es posible elegir y definir operativamente todas las
variables antes de que comience el estudio; por lo tanto, el evaluador a menudo debe agregar continuamente nuevas
variables a su diseño de evaluación. Los meta-evaluadores deben verificar los diseños de evaluación para su
inclusión de variables que cumplan con las condiciones de relevancia, alcance e importancia; y los
metaevaluadores deben verificar los diseños por su flexibilidad y las disposiciones para agregar nuevas variables a
lo largo del curso del estudio.
Este enfoque en los objetivos ha servido bien en innumerables estudios, pero produce variables de alcance
limitado. Por ejemplo, si los evaluadores se centran exclusivamente en aquellas variables que se relacionan con los
objetivos de los desarrolladores, se pueden pasar por alto otros resultados importantes y efectos secundarios.
Además, las variables como el costo, la legibilidad de los materiales, el tiempo del personal en un programa y los
antecedentes socioeconómicos de los estudiantes tienen un marco de variables más amplio que el que ofrece el
concepto de objetivos de comportamiento.
Se han sugerido una serie de perspectivas más amplias en la bibliografía. Clark y Cuba (1967) han sugerido una
variedad de variables que creen que deberían considerarse al evaluar diversas actividades del proceso de cambio.
Hammond (1969) ha propuesto su cubo EPIC como un medio para elegir variables que reflejen el comportamiento
del estudiante, la participación institucional y los elementos curriculares. Hammond (1975) presentó un algoritmo
basado en el análisis de facetas en el que los evaluadores y el personal del programa pueden asignar
sistemáticamente prioridades a las variables potenciales en el cubo EPIC. La participación en su Modelo de
semblante (1967) ha sugerido un marco que interrelaciona condiciones, transacciones y resultados previos con los
intentos de las personas del programa y la observación de los evaluadores. Estas perspectivas ilustran que las
opiniones sobre qué variables deberían incorporarse en la evaluación se han ampliado en gran medida a partir de
las ideas iniciales en las que las evaluaciones deberían centrarse exclusivamente en los resultados que se relacionan
con los objetivos dados.
2. El marco de investigación
El segundo problema técnico se refiere a qué marco de investigación debería guiar la evaluación. Un marco de
investigación especifica las condiciones bajo las cuales se deben recopilar e informar los datos, y las suposiciones
que se deben hacer al interpretar los hallazgos. En todos los estudios de evaluación, los evaluadores deben elegir de
forma implícita o explícita entre una serie de marcos de investigación alternativos, por ejemplo, diseño
experimental, encuesta, estudio de casos y visitas al sitio.
Ningún marco de investigación es superior en todos los casos. Ninguna es siempre la mejor para cumplir los
criterios de idoneidad técnica, utilidad y eficiencia. Además, los distintos marcos funcionan bien de manera
diferente bajo diferentes conjuntos de restricciones de viabilidad. Por lo tanto, los evaluadores pueden elegir
diferentes marcos de investigación en función de los propósitos evaluativos que se deben atender, las prioridades
asignadas a los diferentes criterios para juzgar los informes de evaluación y las condiciones únicas bajo las cuales
se realizarán las evaluaciones. La tarea es elegir el marco que optimizará la calidad y el uso de los resultados bajo
restricciones realistas.
Si bien el diseño experimental verdadero es teóricamente la mejor forma de determinar las relaciones de causa y
efecto (a través de sus disposiciones para la validez interna y externa), a menudo no es factible realizar
experimentos verdaderos. Esto se debe a que con frecuencia es imposible controlar las variables de tratamiento y la
asignación de las unidades experimentales a las condiciones de tratamiento. Por ejemplo, uno no usaría la
experimentación para evaluar los efectos de Sputnik I en la política educativa de los EE. UU. Subsiguientes.
Ninguno diría que no es apropiado hacer interpretaciones evaluativas post hoc sobre dichos vínculos. Además, con
respecto a los temas de relevancia, alcance y oportunidad, el diseño experimental a menudo no evaluaría las
variables correctas ni proporcionaría una toma de decisiones oportunas para la toma de decisiones. Esto es
especialmente cierto cuando la preocupación es realizar evaluaciones de necesidades para ayudar a formular metas,
o realizar evaluaciones de procesos para Asistir en la implementación de un proyecto. El diseño experimental debe
usarse cuando se abordan las preguntas de interés y cuando es posible utilizarlo; de lo contrario, debería elegirse
algún marco alternativo (Stufflebeam, 1971 [b]).
La literatura presenta una serie de valiosas alternativas al diseño experimental. Campbell y Stanley (1963) han
discutido el diseño cuasi-experimental. O’Keefe (1968) ha sugerido una metodología integral para los estudios de
caso basados en el campo. Scriven (1972 [b]) ha introducido la "Evaluación sin objetivos" y más recientemente el
"Análisis de Modus Operandi" (Scriven, 1973). Reinhard (1972) ha explicado "AdvocateTeamMethodology" y
Wolf (1974) ha explicado el modelo de "advocacy-adversary". Por lo tanto, los evaluadores no están obligados a
utilizar ningún marco de investigación único.
El meta-evaluador puede realizar un valioso servicio para ayudar a un evaluador a identificar y evaluar marcos de
investigación alternativos. Para hacer esto, se deben conocer los propósitos (es decir, la toma de decisiones o la
responsabilidad) y los focos del estudio de evaluación (por ejemplo, objetivos, diseño, proceso y / o resultados).
También es necesario determinar cualesquiera restricciones de viabilidad. Posteriormente, el metaevaluador puede
sugerir y evaluar los marcos que pueden responder a las condiciones dadas, y el evaluador puede elegir el marco
que mejor optimice las condiciones dadas.
3. Instrumentación
Considerando los propósitos del estudio, ¿cuáles de los instrumentos y técnicas de recolección de datos disponibles
son los más apropiados? Además, ¿alguno de ellos es adecuado? ¿Deben los instrumentos desarrollarse
especialmente para cumplir el propósito de este estudio? ¿Es factible desarrollar nuevos instrumentos? Si es así,
¿qué sacrificios se deberán hacer con respecto a la idoneidad técnica de los instrumentos? Estas preguntas ilustran
los problemas de medición comúnmente encontrados en el trabajo de evaluación.
El evaluador puede, por supuesto, obtener ayuda de la literatura para identificar instrumentos potencialmente útiles.
Los Anuarios de mediciones mentales de Buros (1949-1965) catalogan y evalúan muchos instrumentos,
especialmente en el dominio cognitivo. Un libro reciente de Miles, Lake y Earle (1973) identifica y analiza una
serie de instrumentos en el dominio afectivo. Bajo el liderazgo de Gene Glass, el Laboratorio de Investigación
Educativa de la Universidad de Colorado mantiene un conjunto de instrumentos fugitivos que se han desarrollado y
utilizado en proyectos federales. También se pueden identificar muchos instrumentos diferentes revisando las tesis
doctorales completadas. Por lo tanto, se puede ayudar al evaluador a elegir los instrumentos mediante el estudio de
la literatura relevante.
Incluso entonces, sin embargo, puede que no encuentre los instrumentos adecuados. En este caso a menudo se
enfrenta a un dilema. ¿Debería elegir un instrumento inapropiado que haya sido validado? ¿Debería desarrollar y
utilizar nuevos instrumentos que respondan directamente a los propósitos del estudio, cuando no hay posibilidad de
validar los instrumentos antes de que se usen? La posición en este documento es que el último curso de acción a
menudo es el único factible. En cualquier caso, los problemas de instrumentación son preocupaciones clave en la
evaluación de los diseños de evaluación.
4. Muestreo
El cuarto problema técnico en los estudios de evaluación se refiere al muestreo. ¿Qué es la población? ¿Se debe
hacer una inferencia a esta población? ¿Qué tan grande se necesita una muestra? ¿Se puede extraer una muestra
aleatoria? ¿Se debe estratificar la muestra según ciertas variables de clasificación? ¿Se pueden asignar
aleatoriamente las unidades experimentales a las condiciones del programa? ¿Cuánto tiempo de prueba se puede
esperar de cada elemento muestreado? ¿Es necesario examinar el muestreo o sería mejor el muestreo matricial? ¿Es
factible el muestreo matricial? Si la selección aleatoria y la asignación de unidades experimentales no son factibles,
¿qué se puede hacer para protegerse contra el sesgo en la muestra?
Estas preguntas denotan una serie de dificultades relacionadas con el muestreo que a menudo se encuentran en el
trabajo de evaluación. Incluso en las mejores circunstancias, lógicamente no es posible inferir a una población
basada en el rendimiento de una muestra aleatoria. Como han señalado Campbell y Stanley (1963 p. 187), "la
generalización siempre involucra extrapolaciones en un reino no representado en la muestra de uno". Sin embargo,
los evaluadores rara vez pueden extraer una muestra al azar, por lo que sus problemas de La extrapolación es aún
peor. Lo menos que pueden hacer es considerar y responder lo mejor que puedan a preguntas como las que se
plantearon anteriormente.
5. Recopilación de datos
Una cosa es elegir instrumentos y muestras, pero otra muy distinta es recopilar los datos. A menudo, el evaluador
debe confiar en un número de personas además de él para la recopilación de datos. Por ejemplo, los maestros deben
compartir a menudo los exámenes para administrar a los estudiantes. Este quinto problema técnico de la
recopilación de datos presenta una serie de dificultades a las que el evaluador debe ser sensible y receptivo.
¿Quién entregará los instrumentos a los sitios de recolección de datos? ¿Qué es evitar que los docentes enseñen a
los exámenes? ¿Cómo se puede asegurar la cooperación de los administradores de pruebas y los encuestados? ¿Qué
se puede hacer para asegurar la motivación de los encuestados y evitar el engaño? ¿En qué entornos trabajarán los
encuestados?
¿Quién administrará los instrumentos? ¿Quién controlará las sesiones de recolección de datos? ¿Cómo se asegurará
la estandarización de las condiciones de recolección de datos? A menos que los evaluadores consideren y
respondan a tales preguntas, sus evaluaciones pueden fallar debido a una implementación deficiente del plan de
recopilación de datos.
6. Almacenamiento y recuperación de datos
El sexto problema técnico se refiere al almacenamiento y recuperación de datos. Una vez que se hayan recopilado
los datos, es necesario verificar su exactitud, codificarlos correctamente y almacenarlos para uso futuro. Los meta-
evaluadores deben verificar si se han hecho provisiones para realizar estas tareas. Si bien las tareas son bastante
rutinarias, no tratarlas de manera efectiva puede destruir la efectividad y la eficiencia del esfuerzo evaluativo.
7. Análisis de datos
Tanto el análisis estadístico como el contenido están involucrados en el séptimo problema técnico. El meta-
evaluador debe determinar qué planes se han hecho para analizar los datos que se obtendrán. Debe verificar los
planes para determinar si son adecuados para responder a las preguntas del estudio. También debe verificar si las
suposiciones requeridas para el análisis de datos se cumplirán con los datos. Por último, debe evaluar las
disposiciones que se han tomado para realizar el análisis de los datos reales.
Muchos textos están disponibles para ayudar en el análisis de datos. Los preparados por Glass y Stanley (1970),
Winer (1962), Guilford (1965) y Siegel (1956) se consideran en este documento como especialmente útiles.
8. Informes
El octavo problema se refiere a la preparación de informes de evaluación. ¿Qué diferentes informes se requerirán
para las diferentes audiencias? ¿Cómo se organizarán? ¿Qué tablas incluirán? ¿Cuánto tiempo deben ser? ¿Cómo
serán presentados e interpretados a la audiencia?
Esta área problemática es un recordatorio de que las evaluaciones deben ser informativas. Hacer un excelente
trabajo de recolección y análisis de datos no logrará cumplir con los propósitos de una evaluación si los resultados
no se comunican de manera efectiva a las audiencias designadas. Por lo tanto, los metaevaluadores deben
determinar si se utilizarán técnicas de comunicación adecuadas para interpretar los resultados a las audiencias
preespecificadas.
Un dilema común al informar los hallazgos de la evaluación es que los evaluadores a menudo tienen más datos
para presentar que lo que sus audiencias están dispuestos o pueden recibir. Si los evaluadores hacen que sus
informes sean muy breves, es probable que sus audiencias juzguen los informes como crípticos y no responden a
preguntas importantes. Si, por otro lado, los evaluadores presentan todos sus hallazgos, es probable que sus
audiencias no los lean y serán críticos con su extensión.
Una solución que está intentando la Oficina de Investigación y Evaluación del Distrito Escolar Independiente de
Dallas, Texas, es presentar tres versiones de cada informe. Estos incluyen un resumen, un informe ejecutivo y un
informe técnico. Hasta el momento, parece importante que no se combinen, sino que se presenten en tres
volúmenes distintos. Además, parece importante que los informes más cortos se proporcionen primero a las
audiencias, y que los otros se proporcionen solo si se solicitan.
Las preocupaciones adicionales son el estilo de escritura y la presentación de modo. Técnico
El lenguaje y la jerga proporcionan comunicaciones eficientes a ciertas audiencias, pero no son interpretables para
otros. Además, los informes orales a veces son más efectivos que las comunicaciones impresas. Además, la
presentación de informes puede ser una función continua y natural solo si el evaluador mantiene contacto con su
audiencia.
9. Resumiendo la adecuación técnica del diseño.
El noveno y último problema implica resumir la idoneidad técnica del plan de evaluación. ¿Las variables de
evaluación han sido identificadas y son las correctas? ¿Se ha elegido un marco de investigación relevante y viable?
¿Se ha desarrollado este marco en forma de instrumentos apropiados, técnicas de muestreo y procedimientos de
análisis? ¿Se han realizado suficientes disposiciones para recopilar, almacenar, recuperar e informar la
información? En general, ¿la evaluación arrojará resultados confiables, válidos, objetivos y utilizables?
Si el evaluador puede resumir el diseño de su evaluación respondiendo afirmativamente a las preguntas anteriores,
puede estar seguro de que su plan técnico es correcto. Si no puede, debe revisar y revisar su plan técnico. Si bien
los problemas técnicos no son los únicos que deben abordar los evaluadores, ciertamente son cruciales.
Problemas de gestion
Hasta ahora, se ha observado que los problemas de evaluación son de naturaleza conceptual, sociopolítica,
contractual / legal y técnica. La quinta área a considerar hace hincapié en que los evaluadores deben hacer frente a
una serie de problemas de gestión cruciales. Específicamente, diez de tales problemas serán introducidos y
discutidos. Cabe señalar que los evaluadores no solo deben lidiar con estos problemas, sino que también deben
hacerlo para mejorar la capacidad de la agencia matriz para mejorar sus capacidades de largo alcance para
administrar los estudios de evaluación.
1. El Mecanismo Organizacional.
El primer problema de gestión se refiere al mecanismo organizativo para la evaluación. Esto es una cuestión de
determinar qué unidad organizativa será responsable de la evaluación.
Existen posibilidades alternativas. Se podría asignar una oficina interna de evaluación para hacer la evaluación. Se
podría encargar un grupo de evaluación externo. Un consorcio de agencias podría establecer un centro de
evaluación que apoyen conjuntamente y este centro podría ser asignado para hacer el trabajo. El personal del
programa, ellos mismos, podría realizar una autoevaluación; o podrían hacerlo ellos mismos pero contratar
periódicamente a un auditor externo para evaluar su trabajo.
Cada uno de estos enfoques se ha aplicado en la evaluación de programas educativos, y cada uno tiene diferentes
costos y beneficios. El meta-evaluador debe identificar la alternativa elegida y comparar sus costos y beneficios
con aquellos
¿Niveles más bajos del sistema? ¿Se le permitirá comunicarse directamente con los miembros de los grupos de
políticas de la agencia? En general, ¿a través de qué canales puede influir el evaluador en la formulación de
políticas y en la toma de decisiones administrativas?
Este es un tema crucial que afecta particularmente la omnipresencia, la credibilidad y la puntualidad del trabajo de
evaluación. Si los informes se envían solo a través del director ejecutivo, otros miembros del sistema pueden dudar
de la credibilidad de los informes. Por otro lado, si los informes se envían directamente a personas en todos los
niveles del sistema, los responsables de la toma de decisiones pueden sentirse muy amenazados por la evaluación,
especialmente si el evaluador interactúa directamente con los miembros de la junta de políticas de la agencia.
Además, si los informes deben pasar por la oficina del director ejecutivo, es posible que los informes no cumplan
con los criterios de omnipresencia y puntualidad. Una ilustración de esto es cuando los registros de diagnóstico de
los estudiantes individuales son enviados por una empresa de evaluación a la administración central de un distrito
escolar y solo unas semanas más tarde llegan al maestro que podría hacer un uso constructivo de los resultados.
Claramente, los asuntos de ubicación organizacional y canales de información son preocupaciones cruciales en
cualquier estudio de evaluación.
3. Políticas y procedimientos.
Una tercera preocupación de la administración es la de las políticas y procedimientos que rigen las actividades de
evaluación. El evaluador debe conocer las políticas y procedimientos existentes que afectarán o regirán su trabajo.
Además, debe estar alerta a las oportunidades que podría usar para ayudar a la agencia que encargó la evaluación a
desarrollar y adoptar políticas y procedimientos para regir su trabajo de evaluación futuro.
de arreglos alternativos.
2. Ubicación organizativa de la evaluación.
El segundo problema de gestión se refiere a la ubicación de la evaluación dentro de la organización. ¿Los
evaluadores reportarán directamente al funcionario ejecutivo de la agencia en la que se encuentra el programa? ¿El
evaluador también podrá informar directamente a los miembros del personal en los niveles más bajos del sistema?
¿Se le permitirá comunicarse directamente con los miembros de los grupos de políticas de la agencia? En general,
¿a través de qué canales puede influir el evaluador en la formulación de políticas y en la toma de decisiones
administrativas?
Este es un tema crucial que afecta particularmente la omnipresencia, la credibilidad y la puntualidad del trabajo de
evaluación. Si los informes se envían solo a través del director ejecutivo, otros miembros del sistema pueden dudar
de la credibilidad de los informes. Por otro lado, si los informes se envían directamente a personas en todos los
niveles del sistema, los responsables de la toma de decisiones pueden sentirse muy amenazados por la evaluación,
especialmente si el evaluador interactúa directamente con los miembros de la junta de políticas de la agencia.
Además, si los informes deben pasar por la oficina del director ejecutivo, es posible que los informes no cumplan
con los criterios de omnipresencia y puntualidad. Una ilustración de esto es cuando los registros de diagnóstico de
los estudiantes individuales son enviados por una empresa de evaluación a la administración central de un distrito
escolar y solo unas semanas más tarde llegan al maestro que podría hacer un uso constructivo de los resultados.
Claramente, los asuntos de ubicación organizacional y canales de información son preocupaciones cruciales en
cualquier estudio de evaluación.
3. Políticas y procedimientos.
Una tercera preocupación de la administración es la de las políticas y procedimientos que rigen las actividades de
evaluación. El evaluador debe conocer las políticas y procedimientos existentes que afectarán o regirán su trabajo.
Además, debe estar alerta a las oportunidades que podría usar para ayudar a la agencia que encargó la evaluación a
desarrollar y adoptar políticas y procedimientos para regir su trabajo de evaluación futuro. Dichas políticas y
procedimientos pueden incluir una serie de elementos. La desinformación de los roles de evaluación y la
asignación de responsabilidades para esos roles son preocupaciones fundamentales. También se podría
proporcionar un esquema conceptual para guiar el trabajo de evaluación de la agencia, como se hizo en Michigan a
través del mandato de un modelo de responsabilidad de seis pasos. Por supuesto, tal declaración de políticas y
procedimientos debe especificar cómo se financiará el trabajo de evaluación. Ejemplos de manuales formales de
políticas y procedimientos de evaluación son los adoptados por las Escuelas Públicas de Saginaw, Michigan
(Adams, 1970) y el Colegio de Educación de la Universidad Estatal de Ohio (Consejo de Evaluación, 1970).
4. Problemas de personal
El cuarto problema administrativo se refiere a la dotación de personal del trabajo de evaluación. ¿Quién tendrá la
responsabilidad general del trabajo? ¿A quién se le asignará la responsabilidad operativa? ¿Qué otros roles deben
ser tripulados? ¿Quién será asignado a estos roles? ¿Qué reclutamiento de personal debe hacerse? ¿Quiénes serán
considerados? ¿Qué criterios se utilizarán para evaluar sus calificaciones? ¿Quién los elegirá? Obviamente, las
evaluaciones son a menudo esfuerzos de equipo y es crucial elegir personal calificado para realizar las
evaluaciones.
Más allá de cumplir con los requisitos de evaluación inmediata, el personal de una evaluación a veces brinda
oportunidades significativas para mejorar la capacidad de evaluación a largo plazo de la agencia cuyo programa se
está evaluando. Los proyectos de evaluación son entornos excelentes para capacitar a los evaluadores. Si las
personas se reclutan parcialmente porque quieren ser evaluadores en la agencia cuyo programa se está evaluando,
pueden recibir capacitación a través de su asignación de evaluación inmediata y, posteriormente, ser mantenidos
por la agencia como evaluadores. Ejemplos de esto son el Dr. Jerry Walker (que dirige la evaluación en el Centro
de Educación Profesional y Técnica de la Universidad Estatal de Ohio), el Dr. Howard Merriman (un destacado
evaluador en las Escuelas Públicas de Columbus, Ohio) y el Sr. Jerry Baker (Director de Evaluación en las
Escuelas Públicas de Saginaw, Michigan, fueron reclutadas, capacitadas y luego empleadas de manera continua
exactamente de esta manera.
El personal es obviablemente problemático en la gestión del trabajo de evaluación. La calidad de la evaluación
dependerá en gran medida de la competencia y motivación del personal. Al mismo tiempo, a menudo hay una
oportunidad de mejorar la capacidad de evaluación a largo plazo de una agencia a través de un reclutamiento y
capacitación juiciosos de personas que quieran permanecer en la agencia en calidad de evaluador una vez que se
haya completado la tarea de evaluación inicial. El metaevaluador debe evaluar cuidadosamente las disposiciones
del evaluador para satisfacer sus necesidades de personal y brindar oportunidades para obtener beneficios a largo
plazo.
5. Instalaciones
El quinto problema de gestión en la evaluación se refiere a las instalaciones necesarias para apoyar la evaluación.
¿Qué espacio de oficina, equipo y materiales serán necesarios para apoyar la evaluación? ¿Qué habrá disponible?
Las respuestas a estas preguntas pueden afectar la facilidad con que se llevan a cabo las evaluaciones e incluso su
éxito. Por lo tanto, los evaluadores deben asegurarse de que sus planes de manejo estén completos en sus
disposiciones de las instalaciones necesarias.
6. Programa de recolección de datos
El sexto problema de gestión que debe identificarse implica la programación de las actividades de recopilación de
datos. ¿Qué muestras de personas deben responder a qué instrumentos? ¿Cuándo van a responder? ¿Es este
calendario razonable, y es aceptable para los encuestados? ¿Cuándo se deberán finalizar los instrumentos y los
arreglos administrativos? ¿Estarán listos los instrumentos cuando sean necesarios? ¿Seguirán los estudiantes en la
escuela cuando las administraciones vayan a ocurrir? ¿Hay algún conflicto potencialmente desastroso entre el
calendario de recolección de datos y otros eventos en el programa que se evaluará? En general, ¿el programa de
recolección de datos es completo y factible?
Las preguntas anteriores ilustran las dificultades que tienen los estudios de evaluación de plagas. En un caso, un
estudio de evaluación patrocinado por el gobierno de $ 250,000 de programas para estudiantes desfavorecidos en
realidad se programó para que los datos de los estudiantes tuvieran que ser recopilados en julio y agosto. Los
evaluadores, que estaban fuera del campo de la educación, habían olvidado que la mayoría de los estudiantes no
asisten a la escuela en el verano. En otra situación, un evaluador planeaba administrar diez instrumentos diferentes
al mismo grupo de directores durante un período de tres semanas. Si bien es importante en muchos estudios
determinar las percepciones de los directores de escuela, bombardearlos con cuestionarios no generará buena
voluntad ni cooperación. Como ejemplo final, un evaluador programó las observaciones de los maestros durante
una semana cuando estaban administrando los exámenes estatales. Esto hubiera estado bien si el propósito del
estudio hubiera sido determinar la competencia de los maestros en la administración de exámenes, pero ciertamente
era un mal momento para evaluar el uso de un nuevo
plan de estudios. Estos ejemplos sostienen que los meta-evaluadores deben prestar atención a la conveniencia del
calendario de recolección de datos.
7. Horario de presentación de informes
El séptimo problema de gestión también se refiere a la programación, pero en este caso la programación de
informes. ¿Qué informes se proporcionarán, a qué audiencias, según qué horario? Los meta-evaluadores deben
verificar los cronogramas de informes para verificar que estén completos en estos aspectos y su potencial para
comunicarse de manera efectiva con las audiencias preespecificadas. También es importante que dichos horarios
sean verificados para su factibilidad. La programación de informes se relaciona directamente con la utilidad de los
informes para las audiencias designadas.
8. entrenamiento
El octavo problema de gestión en la evaluación se refiere a la formación. Como se mencionó anteriormente en este
documento, la evaluación es en gran parte una actividad de equipo, y el equipo de evaluación a menudo debe
depender de la cooperación del personal del sistema para realizar la evaluación. Si las diversas personas, incluidos
los evaluadores, los maestros y los administradores, deben desempeñar sus funciones de manera eficaz, a menudo
necesitan capacitación de evaluación especial. Por lo tanto, los evaluadores deben estar preparados para cumplir
con dichos requisitos de capacitación.
En la mayoría de las situaciones, la capacitación debe ser específica y específica. La capacitación específica es
necesaria para el desempeño de tareas específicas de evaluación, por ejemplo, la administración de una prueba o
entrevista en particular, y la ortodifusión del conjunto de datos. Sin embargo, también es deseable dar capacitación
en los principios generales de evaluación. Tal entrenamiento ayuda a las personas a entender sus roles particulares;
les proporciona pautas generales para tomar decisiones específicas en el curso de la implementación de su rol; y
mejora su capacidad general para realizar futuras evaluaciones. Por lo tanto, las actividades de capacitación dentro
de los estudios de evaluación deben preparar a las personas para realizar sus tareas particulares, pero también
deben ofrecerles oportunidades para mejorar su comprensión general de la evaluación.
Se pueden aplicar una variedad de enfoques de capacitación dentro de los estudios de evaluación. Blaine Worthen,
Director de Evaluación en el Laboratorio de Educación Regional del Noroeste, organiza seminarios periódicos
sobre el almuerzo que se centran en temas seleccionados por su personal. El Departamento de Evaluación de las
Escuelas de Columbus apoyó a dos personas de tiempo completo cuya tarea principal era proporcionar
continuamente consultas al personal de evaluación existente y capacitación en servicio en evaluación para
administradores, maestros y nuevos miembros del personal de evaluación. Varios organismos han contratado
paneles de revisión externos para estudiar sus operaciones de evaluación y brindar capacitación basada en los
análisis. El Centro de Evaluación de la Universidad de Western Michigan invita periódicamente a los evaluadores a
presentar su trabajo al personal del Centro, y los miembros del personal del Centro critican el trabajo. (Esto es
especialmente bueno porque ambas partes se benefician del intercambio de información y de la discusión, y
tampoco de otros). Además, NIE, USOE y AERA han patrocinado el desarrollo de una gran cantidad de paquetes
de capacitación en evaluación. Por lo tanto, se pueden encontrar diferentes medios para llevar a cabo la
capacitación necesaria dentro de los estudios de evaluación.
El contenido para tal entrenamiento puede ser altamente variable. Las consideraciones para determinar qué
capacitación debe proporcionarse incluyen quiénes serán capacitados,
cuáles son sus tareas, qué quieren y necesitan saber, cómo utilizarán la evaluación en el futuro y qué oportunidades
existen para proporcionar la capacitación. Una buena fuente de información sobre el contenido de los programas de
capacitación en evaluación es una tesis doctoral de Darrell K. Root (1971) sobre el tema de las necesidades de
capacitación en evaluación diferencial de administradores y evaluadores.
En general, la capacitación es un área clave en el trabajo de evaluación. Es potencialmente muy rentable ya que
mejora la capacidad de las personas para implementar sus tareas de evaluación específicas; y utiliza oportunidades
de capacitación para preparar a estas mismas personas para futuros trabajos de evaluación.
9. Instalación de Evaluación
La novena preocupación de la gerencia en la evaluación es más una oportunidad que un problema. Esto se refiere a
la cuestión de usar evaluaciones específicas como un medio para instalar una evaluación sistemática en un sistema.
La posición en este documento es que los evaluadores deben estar alertas a tales oportunidades y aprovecharlas
siempre que sea posible. De esta manera, los evaluadores pueden ayudar a los sistemas que albergan los programas
que están siendo evaluados para aumentar sus capacidades para evaluar sus propias actividades.
Esta es una necesidad crucial en la educación. Nunca habrá suficientes empresas de evaluación para realizar toda la
evaluación necesaria. En cualquier caso, gran parte de la evaluación necesaria no debe ser realizada por agentes
externos, ya que a veces son demasiado amenazadores y demasiado costosos. Pero, como descubrió Adams (1970)
cuando examinó todos los distritos escolares de Michigan, pocas agencias educativas tienen sus propias
capacidades de evaluación. Por lo tanto, existe la necesidad de ayudar a las agencias educativas a desarrollar sus
propios sistemas de evaluación.
Una práctica estándar del Centro de Evaluación de la Universidad del Estado de Ohio era utilizar los contratos de
servicios de evaluación como un medio para ayudar a las agencias a desarrollar sus propios sistemas de evaluación.
Ejemplos notables son los proyectos de evaluación realizados para las escuelas públicas de Columbus, Ohio y
Saginaw, Michigan. En ambos casos, los distritos escolares no tenían capacidad de evaluación, habían encontrado
requisitos para evaluar sus proyectos apoyados por el gobierno federal, y se habían comprometido con el Centro de
Evaluación de la Universidad Estatal de Ohio para realizar las evaluaciones. Ese Centro contrató tanto para realizar
las evaluaciones necesarias como para desarrollar departamentos de evaluación para los distritos escolares.
Ambos propósitos fueron servidos a través de un enfoque común. El esfuerzo de evaluación estuvo integrado por
maestros de los dos distritos escolares que declararon su interés en convertirse en evaluadores del sistema y que
prometieron ser buenos evaluadores. Estos maestros se inscribieron en programas de posgrado en evaluación y se
les proporcionó capacitación en el campo para la evaluación. Por supuesto, esa capacitación giró en torno a las
asignaciones de trabajo en los proyectos de evaluación. Al final de los proyectos de evaluación, el personal de
Columbus y Saginaw, ahora con formación para graduados y títulos en evaluación, regresaron a su sistema escolar
para manejar los nuevos departamentos de evaluación.
La operación continua y los logros de ambos departamentos atestiguan el poder de este enfoque. El Departamento
de Evaluación de Michigan ha sido calificado por el Departamento de Educación de Michigan como un sistema
modelo de evaluación. El Perfil de la Escuela (Merriman, 1969) desarrollado por el Departamento de Evaluación
de las Escuelas de Columbus ha sido adoptado a nivel nacional por varios distritos escolares. Por supuesto, los
logros del Dr. Howard Merriman (actual Vicepresidente de la división de evaluación de la Asociación de
Investigación Educativa Estadounidense), quien fue uno de los maestros de Columbus elegidos para trabajar en el
contrato del Estado de Ohio con Columbus, ilustra dramáticamente que los distritos escolares pueden tener
Evaluadores potencialmente destacados en sus propios niveles docentes y administrativos.
La posición en este documento es que los proyectos de evaluación especiales deben considerarse como
oportunidades potenciales para mejorar la capacidad de evaluación de una agencia. Los meta-evaluadores deben
determinar si el personal de evaluación ha buscado y respondido a tales oportunidades.
10. Presupuesto para la evaluación.
El décimo y último ítem de gestión involucra el presupuesto. Hay uno ¿Refleja el diseño de evaluación? ¿Es
adecuado? ¿Tiene suficiente flexibilidad? ¿Será monitoreado apropiadamente? Si bien estas son preguntas obvias,
es sorprendente la frecuencia con la que los planes de evaluación grandiosos no están acompañados por
presupuestos de apoyo. Al evaluar los planes de evaluación, ha sido el hábito de la autoridad revisar primero el
presupuesto para la evaluación. Si no existe, importa poco lo bueno que sea el plan técnico, ya que no será posible
implementarlo. Si existe un presupuesto, claramente se debe verificar su suficiencia.
Esto concluye mi discusión de los problemas de gestión en la evaluación. Esperamos que los diez elementos de
gestión que se discutieron resulten útiles para los evaluadores cuando revisen sus planes para gestionar las
actividades de evaluación.
La posición en este documento ha sido que los esfuerzos de evaluación deben gestionarse para lograr objetivos de
evaluación específicos de la manera más eficiente posible y para ayudar a las agencias involucradas en la
evaluación a mejorar sus capacidades de evaluación interna.
Consideraciones morales, éticas y de utilidad
La clase final de problemas de evaluación involucra cuestiones morales, éticas y de utilidad. Las evaluaciones no
son meramente actividades técnicas; Se realizan para servir algún propósito socialmente valioso. Determinar el
propósito a ser servido inevitablemente plantea preguntas sobre qué valores deben reflejarse en la evaluación.
Decidir sobre bases de valor también plantea conflictos éticos para el evaluador. Además, como se destacó
anteriormente en este documento, el evaluador debe preocuparse por los usos prácticos que servirán sus informes.
Este conjunto final de problemas incluye seis problemas que el evaluador debe enfrentar con respecto a cuestiones
morales, éticas y de utilidad.
1. Postura filosófica
La primera cuestión se refiere a qué postura filosófica asumirá el evaluador. ¿La evaluación será libre de valores,
basada en valores o plural de valores? Cada una de estas posiciones tiene sus defensores.
Algunos dicen que los evaluadores simplemente deben proporcionar datos, sin tener en cuenta los valores de
ningún grupo en particular, como los consumidores o los productores. Las personas que toman esta posición están
comprometidas con una ciencia social sin valor. Su posición es que los evaluadores deben ser objetivos y no deben
adoptar ninguna posición de valor particular como base para su trabajo. Una consecuencia de esta posición es que
los evaluadores proporcionan datos, pero no recomendaciones. Una dificultad de este enfoque radica en determinar
qué datos se deben recopilar, ya que no existe un marco de valor particular para deducir los criterios. La selección
de valores para interpretar los hallazgos se deja a las audiencias para los informes. En general, la opción sin valor
enfatiza la objetividad y neutralidad de la evaluación, pero no proporciona una guía para elegir variables o
interpretar resultados.
Una segunda opción es una posición basada en valores. Aquí el evaluador elige una posición de valor y, a través de
su trabajo, intenta maximizar el bien que se puede hacer según lo define esta posición. El evaluador basado en el
valor puede decidir que su evaluación debe optimizar la ética protestante, la igualdad de oportunidades para las
personas de todas las razas, el marxismo o los principios de la democracia, para mencionar algunas posibilidades.
Una vez que ha elegido una base de valores, las variables apropiadas que podrían evaluarse y las reglas para
interpretar las observaciones de esas variables se determinan teóricamente. El evaluador basado en el valor no es
neutral ni objetivo con respecto a qué propósitos debe cumplir su evaluación. Su evaluación se puede ver (y
criticar) en términos de su misión social.
Una tercera postura filosófica podría denominarse una posición de valor neutral. De acuerdo con esta posición, los
evaluadores permanecen neutrales con respecto a la selección de una posición de valor particular, pero
explícitamente buscan y utilizan posiciones de valor en conflicto en su recopilación e interpretación de datos. Por
lo tanto, pueden mostrar las consecuencias de una acción en particular en relación con las diferentes posiciones de
valor que podrían ser atendidas por la acción.
Un ejemplo de esta tercera postura filosófica ocurrió cuando un equipo de evaluadores recibió el encargo de
identificar y evaluar formas alternativas de educar a los niños migrantes. Los evaluadores identificaron posiciones
de valor defendidas por expertos en educación para migrantes y por los propios migrantes. Los expertos dijeron
que la alternativa elegida debería ser la que mejor prometiera desarrollar las habilidades de lectura y aritmética. Sin
embargo, los migrantes instaron a que la alternativa elegida sea la que mejor ayude a sus hijos a ser socializados en
la sociedad. Estas posiciones representaban, para los evaluadores, posiciones de valores en conflicto que podrían
usarse para buscar y evaluar estrategias de instrucción alternativas.
El uso de cualquiera de las dos posiciones por sí solo produciría un conjunto sesgado de estrategias, pero el uso de
ambas aumentaría el rango de estrategias. El uso de criterios de ambas posiciones filosóficas produciría diferentes
evaluaciones de cada estrategia identificada.
Como ejemplo, se identificaron dos alternativas (entre otras). Una era operar una escuela residente en el desierto, la
otra para integrar totalmente a los niños migrantes en las aulas regulares. La estrategia anterior obtuvo una
calificación alta en cuanto al cumplimiento de los criterios de mejora de la lectura y el rendimiento aritmético, pero
fue un desastre en relación con el objetivo de socialización. Sobre la base de su respeto por las dos posiciones de
valor en conflicto, los evaluadores identificaron estrategias alternativas adicionales que representaban una posición
de compromiso. Este caso ilustra que la postura filosófica de un evaluador puede influir drásticamente en los
resultados de su evaluación.
2. Valores del evaluador
El segundo problema concierne a los valores del evaluador. ¿Sus valores y sus normas técnicas estarán en conflicto
con el cliente?
los valores del sistema? ¿Se enfrentará el evaluador a algún problema de conflicto de intereses? ¿Qué se hará sobre
los posibles conflictos? Los evaluadores a menudo se enfrentan a preguntas como estas y deben tratarlas de manera
abierta y directa.
Un ejemplo de un conflicto entre las normas técnicas de un evaluador y los valores del sistema del cliente se
produjo en una evaluación de una "escuela gratuita". El evaluador creía que era esencial administrar pruebas de
rendimiento a los estudiantes de la escuela. Los administradores de la "escuela gratuita" dijeron que la filosofía de
la "escuela gratuita" no permite la evaluación de los estudiantes. Si bien este fue un caso extremo, ilustra los
problemas que los evaluadores pueden encontrar al realizar lo que consideran necesarias tareas de evaluación.
El evaluador también puede encontrar conflictos de intereses. Estar en la nómina de la agencia cuyo trabajo se está
evaluando asegura que surgirán conflictos de intereses potenciales. Al evaluador, comprometido con el éxito de la
agencia, o al menos para preservar su trabajo, le puede resultar difícil informar resultados negativos. Este también
es el caso cuando el evaluador, en algún momento anterior, se desempeñó como asesor de la agencia. Es una buena
práctica ética que los evaluadores identifiquen e informen sobre sus posibles conflictos de interés, que se protejan
contra su influencia en su trabajo y, si es necesario, se retiren de la tarea de evaluación.
3. juicios
Otro problema que debe enfrentar el evaluador es si sus informes deben presentar juicios (o simplemente
descripciones) de lo que se ha observado. ¿El evaluador no emitirá juicios? Él reportará lo suyo; ¿O obtendrá,
analizará e informará los juicios de varios grupos de referencia? Las respuestas del evaluador a estas preguntas
determinarán bastante bien su papel en la toma de decisiones en la actividad que se está observando.
Si el evaluador decide no emitir juicios, dejará la toma de decisiones completamente en manos de su cliente. Si el
evaluador presenta sus propios juicios, es probable que tenga una fuerte influencia en la toma de decisiones. Si
presenta juicios de varios grupos de referencia, él mismo no tendrá poder para tomar decisiones, sino que ayudará a
los grupos de referencia elegidos a ejercer dicho poder. El punto aquí es que el evaluador tiene opciones con
respecto a cómo debe tratar la cuestión del juicio en su evaluación y debe sopesar las consecuencias de cada opción
en contra de su postura filosófica particular sobre la evaluación.
4. objetividad
El cuarto problema es el de la objetividad. Cuando un evaluador recopila e informa datos durante el curso de un
programa, ¿cómo puede mantener su independencia? Si el personal del programa adopta sus recomendaciones,
¿cómo puede el evaluador ser ya neutral respecto del mérito de las acciones relacionadas? Del mismo modo,
¿cómo puede el evaluador evitar ser cooptado por el personal del programa que gana su confianza y apoya las
necesidades de su ego?
Tom Hastings me dijo una vez que "la objetividad es una cuestión de inteligencia e integridad". Interpreto que esto
significa que los evaluadores deben saber si han perdido su perspectiva independiente y que si lo tienen, deben
solicitar que sean reemplazados en el trabajo de evaluación.
5. Perspectivas de utilidad
Una quinta preocupación en esta sección es si la evaluación es simplemente un aspecto académico.
El ejercicio o las verdaderas perspectivas de utilidad. Los criterios de relevancia, alcance, importancia,
credibilidad, oportunidad y omnipresencia se han mencionado anteriormente. Se reitera aquí que el evaluador debe
evaluar seriamente e informar sobre las perspectivas que su plan de evaluación tiene para ser útil.
6. Costo / Efectividad
Finalmente, el evaluador debe evaluar el costo / efectividad de su plan. En comparación con su posible
recompensa, ¿se llevará a cabo la evaluación a un costo razonable? ¿La recompensa potencial vale lo que costará?
¿Podría ahorrar al sistema más dinero que el costo de la evaluación?
Esto completa la discusión de los problemas de evaluación. Si bien los asuntos técnicos son un área de problemas
clave para los evaluadores, él debe resolver muchos otros tipos de problemas. Estos incluyen problemas
conceptuales, sociopolíticos, contractuales / legales, administrativos y morales / éticos. Todos estos problemas
deben anticiparse y evitarse si las evaluaciones son técnicamente sólidas, útiles y rentables. En consecuencia, los
evaluadores necesitan una tecnología que permita evaluar continuamente sus planes y actividades de evaluación.
Consideramos qué forma podría tener esa tecnología en la siguiente parte de este documento.
II. Una conceptualización de la metaevaluación.
En esta segunda parte del documento se incluye una definición de metaevaluación, premisas para una
conceptualización de la metaevaluación y una estructura lógica para diseñar actividades de metaevaluación. En
conjunto, se sugieren como una conceptualización de la metaevaluación.
Meta-Evaluación Definida
En la introducción, la metaevaluación se definió como la evaluación de la evaluación. Más específicamente, se
define en este documento como un procedimiento para describir una actividad de evaluación y juzgarla contra un
conjunto de ideas sobre lo que constituye una buena evaluación.
Esto significa que la metaevaluación es de orden superior e incluye evaluaciones secundarias, terciarias, etc. Esto
presenta un dilema práctico, ya que la metaevaluación implica una regresión infinita (Scriven, en prensa), y dado
que no es práctico actuar Las posibilidades ilimitadas de evaluar evaluaciones de evaluaciones de evaluaciones. Si
bien la regresión infinita es una parte fundamental de la metaevaluación, los ejemplos en este documento tratan
principalmente con evaluaciones de segundo orden, o metaevaluaciones que una vez se eliminan de las
evaluaciones primarias. Se supone que las metaevaluaciones de segundo orden son factibles, importantes y
suficientes en la mayoría de las situaciones prácticas. En cualquier caso, los principios y procedimientos para la
evaluación de segundo orden deben aplicarse a otros niveles de metaevaluación.
Local
Dado que la metaevaluación es una forma de evaluación, la conceptualización de la metaevaluación debe ser
coherente con alguna conceptualización de la evaluación. La conceptualización utilizada en este trabajo tiene ocho
premisas. Esencialmente, estas son las respuestas del autor a las ocho preguntas para conceptualizar la evaluación
que se analizaron en la primera parte de este documento. Estas premisas se enumeran y se relacionan con el
concepto de metaevaluación a continuación.
1. La evaluación es la evaluación del mérito; por lo tanto, meta-evaluación significa evaluar el mérito de los
esfuerzos de evaluación.
2. La evaluación sirve para la toma de decisiones y la rendición de cuentas; por lo tanto, la metaevaluación debe
proporcionar información de manera proactiva para respaldar las decisiones que deben tomarse al realizar el
trabajo de evaluación, y la metaevaluación debe proporcionar información retroactiva para ayudar a los
evaluadores a ser responsables de su trabajo de evaluación anterior. Otra forma de decir esto es que los meta-
La evaluación debe ser tanto formativa como sumativa.
3. Las evaluaciones deben evaluar los objetivos, diseños, implementación y resultados; por lo tanto, la
metaevaluación debe evaluar la importancia de los objetivos de evaluación, la idoneidad de los diseños de
evaluación, la idoneidad de la implementación de los diseños y la calidad e importancia de los resultados de la
evaluación.
4. La evaluación debe proporcionar información descriptiva y crítica y recomendaciones apropiadas. Del mismo
modo, la metaevaluación debe describir y juzgar el trabajo de evaluación y recomendar cómo se pueden mejorar
las evaluaciones y cómo se pueden utilizar los resultados de manera apropiada.
5. La evaluación debe servir a todas las personas involucradas y afectadas por el programa que se está evaluando;
por lo tanto, la metaevaluación debe servir a los evaluadores y a todas las personas que estén interesadas en su
trabajo.
6. La evaluación debe ser realizada por
tanto internos como foráneos; en general (pero no siempre) los miembros de la comunidad deben realizar una
evaluación formativa para la toma de decisiones, y los de afuera deben realizar una evaluación sumativa para la
rendición de cuentas. Por lo tanto, los evaluadores deben realizar una metaevaluación formativa y deben obtener
juicios externos del mérito general de sus actividades de evaluación completadas.
7. La evaluación implica el proceso de delinear las preguntas que deben abordarse, obtener la información
necesaria y utilizar la información en la toma de decisiones y la rendición de cuentas. Por lo tanto, los meta-
evaluadores deben implementar tres pasos. Los metaevaluadores deben delinear las preguntas específicas de
metaevaluación que deben abordarse. Deben recopilar, organizar y analizar la información necesaria. En última
instancia, deben aplicar la información obtenida a las tareas apropiadas de toma de decisiones y responsabilidad.
8. La evaluación debe ser técnicamente adecuada, útil y rentable, y la metaevaluación debe satisfacer los mismos
criterios.

Una estructura lógica para la meta-evaluación

Estas ocho premisas se han utilizado para generar la estructura de metaevaluación que aparece en la Figura 4. Esta
estructura presenta la metaevaluación como una metodología para evaluar el mérito de los esfuerzos de evaluación
propuestos y completados (la primera premisa). El marco tiene tres dimensiones, se relacionan con los propósitos,
objetos y pasos (la segunda, tercera y séptima premisa) de los estudios de metaevaluación. El contenido de las
celdas de la estructura refleja que el trabajo de evaluación debe cumplir con los criterios de idoneidad técnica,
utilidad y costo / efectividad (la octava premisa). La estructura reafirma que los iniciados deben realizar una
metaevaluación proactiva y que los agentes externos deben realizar un trabajo de metaevaluación retroactiva (la
sexta premisa). Es un supuesto implícito de la estructura que los hallazgos de la metaevaluación deben
proporcionar descripciones, juicios y recomendaciones (la cuarta premisa) a los evaluadores cuyo trabajo se está
evaluando y a todas las personas que están interesadas en su trabajo (la quinta premisa). En general, esta estructura
se presenta como una guía para diseñar actividades de metaevaluación.
Dada esta visión general de la estructura, cada una de sus dimensiones será considerada a continuación. Luego se
discutirá la interacción de las tres dimensiones.

Propósitos de la Meta-Evaluación
La primera dimensión de la matriz indica que la metaevaluación debe servir para la toma de decisiones y la
rendición de cuentas.
Apoyar la toma de decisiones en la evaluación requiere que la metaevaluación se realice de manera proactiva para
brindar recomendaciones oportunas sobre cómo se deben diseñar y realizar los estudios de evaluación. La
metaevaluación que sirve para la toma de decisiones puede denominarse metaevaluación formativa. Como se
señala en la Figura 4, la metaevaluación formativa generalmente es realizada por personas con información
privilegiada, es decir, aquellos que realizan la evaluación que está siendo guiada por la metaevaluación. La
realización de una metaevaluación formativa se propone como una forma directa de asegurar que las evaluaciones
produzcan resultados que sean técnicamente adecuados, útiles y rentables.
El segundo propósito de la metaevaluación es atender la necesidad del evaluador de ser responsable de su trabajo.
Este propósito requiere que la metaevaluación se lleve a cabo de manera retroactiva para generar juicios públicos
de los méritos del trabajo de evaluación completado. La metaevaluación que sirve para la rendición de cuentas es
sinónimo de metaevaluación sumativa. Un examen cuidadoso del marco revela que gran parte de la información
requerida en la metaevaluación sumativa está potencialmente disponible a partir de la metaevaluación formativa.
Por lo tanto, la metaevaluación formativa puede proporcionar una base de datos preliminar para la metaevaluación
sumativa. Sin embargo, para asegurar la credibilidad de los resultados, la metaevaluación para la rendición de
cuentas generalmente debe ser realizada por personas externas.
Pasos en el proceso de meta-evaluación
La segunda dimensión de la Figura 4 indica que hay tres pasos básicos en la realización de estudios de
metaevaluación, ya sea en los modos de toma de decisiones o de responsabilidad. Estos pasos son delinear los
requisitos de información, obtener la información necesaria y aplicar la información obtenida para lograr los
propósitos de toma de decisiones y responsabilidad. Por lo tanto, los métodos para la metaevaluación deben ayudar
a determinar las preguntas, a recopilar y analizar la información necesaria y a utilizar la información para
responder las preguntas de la metaevaluación.
Objetos de la Meta-Evaluación
La tercera dimensión de la estructura denota cuatro objetos de metaevaluación. Son objetivos de evaluación,
diseños de evaluación, procesos de evaluación y resultados de evaluación.
Los objetivos de la evaluación pertenecen a los fines que debe alcanzar la evaluación. ¿A qué audiencias hay que
atender? ¿Cuáles son sus preguntas? ¿Qué información quieren? ¿Qué información les será proporcionada? ¿Cómo
se supone que el feedback evaluativo influye en las acciones de la audiencia? Estas preguntas ilustran las
consideraciones en la formulación y evaluación de objetivos de evaluación alternativos.
Básicamente, un objetivo de evaluación es un intento de responder a ciertas preguntas, para iluminar a una
audiencia e influir en sus acciones en la dirección de la racionalidad. Obviamente, existen objetivos alternativos
posibles para cualquier esfuerzo evaluativo, por lo tanto, es importante identificar y evaluar los objetivos de
evaluación competitivos.
El segundo objeto de la metaevaluación se refiere a los diseños de evaluación. Obviamente, hay alternativas. La
elección del diseño apropiado depende de los objetivos de evaluación que se hayan elegido y de una variedad de
consideraciones prácticas y sociopolíticas. Por lo tanto, es importante en el trabajo de evaluación identificar y
evaluar diseños de evaluación alternativos.
El tercer objeto de la metaevaluación implica procesos de evaluación. Una cosa es elegir un diseño de evaluación
potencialmente sólido. Otra muy distinta es llevarlo a cabo. Como se discutió en la Parte I de este documento, una
variedad de problemas prácticos pueden invalidar los diseños de evaluación teóricos más sólidos. Por lo tanto, es
importante identificar posibles problemas de implementación en relación con los diseños de evaluación elegidos y
evaluar su impacto en los resultados de la evaluación.
El cuarto objeto de la metaevaluación se refiere a los resultados de la evaluación. ¿Las preguntas del estudio fueron
respondidas? ¿Que tan bien? ¿Se comunicaron los resultados a las audiencias designadas? ¿Entendieron los
hallazgos? ¿Los aplicaron? ¿Fueron sus aplicaciones defendibles dados los resultados de la evaluación? Estas
preguntas ilustran las consideraciones en la evaluación de los resultados de la evaluación.
Interacción de las tres dimensiones.
Dadas estas descripciones de las tres dimensiones de la Figura 4, es apropiado considerar sus interacciones.
Básicamente, la Figura 4 identifica y caracteriza dos clases principales de diseños de metaevaluación. Los diseños
proactivos o formativos de metaevaluación, y los diseños retroactivos o sumativos de metaevaluación. Cada una de
estas clases de diseños se divide en cuatro tipos específicos de meta-
Diseños de evaluación. Estos se refieren a la evaluación de los objetivos de evaluación, de los diseños de
evaluación, de los procesos de evaluación y de los resultados de la evaluación. Cada tipo de diseño de
metaevaluación se define más a fondo por las tareas de delimitación, obtención y provisión. Por lo tanto, la Figura
4 identifica cuatro tipos de diseños proactivos y cuatro tipos de metaevaluación retroactiva. Dentro de la figura,
cada tipo de diseño está definido por los pasos en el proceso de evaluación.
Cabe señalar que los diseños proactivos de metaevaluación dan como resultado recomendaciones, mientras que los
diseños retroactivos de metaevaluación dan como resultado juicios. Los estudios proactivos de metaevaluación
ayudan a elegir los objetivos de la evaluación, a elegir los diseños de evaluación, a llevar a cabo los diseños de
evaluación elegidos y a obtener los resultados e impactos de la evaluación deseables. Los resultados de la
evaluación retroactiva proporcionan evaluaciones de los méritos de las actividades de evaluación completadas.
En la práctica, los cuatro tipos de estudios de metaevaluación proactiva generalmente se realizan por separado, ya
que se relacionan con puntos de decisión específicos en el proceso de evaluación. Sin embargo, las
metaevaluaciones retroactivas a menudo se combinan en un único estudio de caso sumativo, ya que se refieren a
conjuntos de actividades de evaluación completos e interrelacionados.
El objetivo de la conceptualización en esta segunda parte del documento es ayudar a los evaluadores a identificar y
mejorar los problemas y atender los criterios de metaevaluación identificados en la Parte I de este documento. A
continuación, consideramos cómo la conceptualización presentada en la Parte II se puede aplicar en la práctica.
III. Uso de la conceptualización de la meta-evaluación.
El objetivo de esta tercera y última parte del documento es proporcionar directrices prácticas y ejemplos para
realizar metaevaluaciones. Específicamente, la estructura introducida en la Parte II se ha utilizado para generar y
describir cinco diseños de metaevaluación. También se presentan ejemplos de actividades del mundo real que
coinciden con los diseños.
La Figura 5 resume los diseños que se discutirán dentro de la estructura lógica para la metaevaluación que se
presentó en la Parte II. Hay cuatro diseños proactivos (1-4) que ayudan a los evaluadores, respectivamente, a
determinar los objetivos de la evaluación, elegir los diseños de evaluación, llevarlos a cabo y usarlos para producir
resultados e impactos valiosos. El Diseño 5 proporciona evaluaciones sumativas del valor total de los esfuerzos de
evaluación anteriores.
Diseño # l: para la evaluación proactiva de los objetivos de evaluación
El diseño n.º 1 se refiere a los estudios proactivos de metaevaluación que identifican y clasifican objetivos de
evaluación alternativos.
Al delinear dichos estudios, es necesario identificar las audiencias para la evaluación primaria, identificar un rango
de posibles objetivos de evaluación e identificar criterios para calificar las metas. Las audiencias son aquellas
personas que se verán afectadas por el
Estudio de evaluación que es objeto de la metaevaluación. Los objetivos alternativos son las razones alternativas
que los miembros de la audiencia y el equipo de evaluación tienen para realizar el estudio. Tales motivos pueden
ser para la toma de decisiones y / o la responsabilidad, y pueden referirse a preguntas específicas sobre los
objetivos, diseños, procesos y resultados del programa. Los criterios para evaluar los objetivos de la evaluación
incluyen variables como el alcance, la importancia, la manejabilidad y la claridad. En general, las actividades de
delineación para el Diseño # 1 deben aclarar las audiencias para la evaluación primaria, los objetivos de evaluación
alternativos y los criterios para calificar los objetivos de la evaluación.
Los pasos para obtener la información requerida por el Diseño # 1 incluyen el análisis lógico y las calificaciones de
los objetivos de evaluación alternativos. El análisis lógico puede ser realizado por los evaluadores primarios o por
los meta-evaluadores especialmente encargados. Sus análisis deben definir cada objetivo en términos de al menos
las siguientes preguntas:
1. ¿A quién va a servir el gol?
2. ¿Qué pregunta será respondida?
3. ¿Por qué la audiencia quiere
¿saber que?
4. ¿Qué acción será probablemente guiada?
¿Logrando este objetivo de evaluación?
Una forma de analizar los objetivos alternativos es a través de una matriz con etiquetas para los objetivos de
evaluación alternativos como los encabezados de las filas y las preguntas anteriores como los encabezados de las
columnas. La Figura 6 ilustra el uso de dicha matriz.
Una vez analizados los objetivos alternativos de evaluación, es necesario clasificarlos. Se trata de obtener
representantes del equipo de evaluación primario y de sus audiencias para calificar los objetivos en cada criterio
seleccionado (por ejemplo, para mayor claridad, alcance, importancia y capacidad de tratamiento). Una forma
sistemática de hacer esto es a través del uso de la técnica Delphi (Cyphert and Cant, 1970).
Después de identificar y calificar los objetivos de evaluación alternativos, se deben formular recomendaciones
sobre qué objetivos de evaluación deberían
ser adoptado. En última instancia, los evaluadores primarios y sus clientes deben elegir los objetivos que servirán
de base para su estudio de evaluación.
Un estudio que se llevó a cabo para la Oficina de Discapacitados en la Oficina de Educación de los EE. UU. Ilustra
el uso del Diseño # 1. Este estudio fue dirigido por el Dr. Robert Hammond. El cargo fue identificar y calificar
objetivos alternativos para evaluar programas para discapacitados educativos.
Hammond comisionó expertos en evaluación y en educación para discapacitados para escribir dos documentos de
posición; uno se refería a qué objetivos alternativos de evaluación deberían considerarse, el otro sugirió criterios
para su uso en la calificación de los objetivos de evaluación.
Estos documentos se utilizaron como base para una conferencia nacional para identificar y calificar los objetivos de
los esfuerzos nacionales y estatales para evaluar los programas para discapacitados. Se invitó a algunas personas a
asistir a esta conferencia de trabajo. Estas personas
fueron seleccionados para ser representativos del trabajo en las diferentes áreas de discapacitados; de los niveles
locales, estatales y nacionales de educación; de evaluación educativa, y de diferentes áreas del país.

La conferencia duró cinco días. El primer día se dedicó a revisar y discutir los documentos de trabajo y,
especialmente, a elegir los criterios para calificar los objetivos de evaluación. Los días segundo, tercero y cuarto se
utilizaron para realizar tres rondas de un estudio Delphi. Su propósito era que el grupo ampliara los objetivos de
evaluación alternativos, los calificara según los criterios seleccionados y lograra un consenso sobre qué objetivos
de evaluación deberían recomendarse a la Oficina de Discapacitados. El último día fue dedicado.
a la preparación del informe final para la Oficina de Educación de los Estados Unidos.
Para el crédito del Dr. Hammond y los turnos de personal administrativo, el informe final se distribuyó en forma
definitiva durante el último día de la conferencia. Este hecho, más el hecho de que el informe reflejó documentos
de trabajo reflexivos sobre los objetivos y criterios de evaluación y tres rondas de un estudio Delphi es una
evidencia de que el Diseño # 1 puede emplearse para evaluar objetivos alternativos para los estudios de evaluación
proyectados.
Diseño # 2: para una evaluación proactiva de diseños de evaluación
El diseño 2 se refiere a los esfuerzos proactivos de metaevaluación que identifican y clasifican diseños de
evaluación alternativos.
Al delinear dichos estudios, se identifican diseños de evaluación alternativos y criterios para calificar los diseños.
La identificación de diseños de evaluación comienza con una encuesta de diseños existentes en la literatura. Si una
encuesta de este tipo no presenta diseños apropiados, es necesario inventar nuevos. La formulación de los diseños
incluye asuntos de muestreo, instrumentación, tratamientos y análisis de datos. Los criterios estándar para evaluar
los diseños de evaluación incluyen la idoneidad técnica (validez interna, validez externa, confiabilidad y
objetividad), utilidad (relevancia, importancia, alcance, credibilidad, omnipresencia y puntualidad) y el criterio
prudencial de costo / efectividad.
Después de que se hayan determinado los diseños de evaluación alternativos y los criterios para calificarlos, es
necesario aplicar los criterios a los diseños. Las clasificaciones estandarizadas de diseños experimentales de
Campbell y Stanley (1963) son útiles en esta área. Los Anuarios de medición mental de Buros (1949-1965)
también son útiles para identificar y evaluar las pruebas publicadas que podrían formar parte de los diseños.
Finalmente, los diseños de evaluación alternativos en consideración deben clasificarse según sus méritos generales.
La descripción y el criterio de los diseños de evaluación alternativos llevan a una recomendación sobre qué diseño
de evaluación se debe elegir. Esta recomendación debe basarse en la documentación del estudio de metaevaluación.
La documentación debe incluir una referencia a los objetivos de evaluación seleccionados, una descripción de la
alternativa
diseños que se consideraron, una lista de los criterios que se utilizaron para comparar los diseños y un resumen de
las calificaciones de los diseños. Finalmente, el diseño recomendado debe justificarse en vista de la evidencia
disponible.
Una instancia de Diseño # 2 ocurrió cuando el Instituto Nacional de Educación buscó adoptar un diseño para
evaluar laboratorios regionales y centros de investigación y desarrollo. Para lograr este propósito, NIE contrató al
Centro de Evaluación de la Universidad del Estado de Ohio para el desarrollo y evaluación de diseños de
evaluación alternativos (Stufflebeam, 1971 -c-).
El Centro contrató a dos equipos de especialistas en evaluación para generar diseños de evaluación alternativos. A
estos especialistas se les presentó una declaración de política de NIE (Fry, 1971) con respecto a qué decisiones
deben ser atendidas por la evaluación. Los equipos fueron orientados a la naturaleza de las actividades en
laboratorios y centros. Los equipos recibieron los criterios que deben cumplir en el desarrollo de sus diseños de
evaluación.
Los equipos luego generaron sistemas de evaluación competitivos. Sus informes (Scriven et al, 1971; Stufflebeam
et al, 1971 -d-) se enviaron al laboratorio y al personal del centro que calificaron los dos diseños. Un panel de
cuatro expertos también fue contratado para evaluar los dos diseños. Se celebró una audiencia en Washington para
obtener más información sobre los diseños.
Finalmente, el personal de NIE revisó la información disponible y eligió uno de los diseños. En general, la
implementación de esta metaevaluación se llevó a cabo durante dos meses y con un presupuesto de $ 21,000.
Una aplicación similar de este diseño ocurrió cuando el Departamento de Educación del Estado de Ohio contrató al
Centro de Evaluación de la Universidad del Estado de Ohio para identificar y evaluar diseños alternativos para un
nuevo sistema estatal de responsabilidad educativa. El Centro encargó a tres equipos que generaran planes de
responsabilidad alternativos (Guba et al, 1972; Jaeger et al, 1972; Nystrand et al, 1972). Un cuarto equipo evaluó
los méritos de los tres planes (Worthen et al, 1972) y proporcionó recomendaciones al Departamento de Educación
de Ohio.
Diseño # 3: Evaluación proactiva de la implementación de un diseño de evaluación elegido
El diseño 3 se refiere a estudios proactivos de metaevaluación para guiar la implementación de un diseño de
evaluación dado.
Las tareas de delineación en relación con el Diseño # 3 son extensas. Sobre la base de los resultados de una
metaevaluación de tipo 2, se ha elegido un diseño de evaluación. Hay muchas decisiones administrativas y técnicas
que deben tomarse al operacionalizar el diseño elegido. Las características operativas del diseño de evaluación
elegido deben explicarse, y
Problemas potenciales en la implementación del diseño deben ser proyectados. Estas características y los posibles
problemas del servidor se centran en las comprobaciones periódicas de la implementación del diseño de evaluación
elegido.
Existen varias técnicas disponibles para delinear las características operativas de los diseños de evaluación. Estas
técnicas incluyen la "Estructura de desglose del trabajo", el Análisis del camino crítico y la Técnica de evaluación y
revisión de programas (Cook, 1966). Aquí se presenta una técnica adicional llamada Lista de verificación
administrativa para revisar diseños de evaluación. La lista de verificación aparece como Anexo 1. Refleja los
problemas que se describieron en la Parte I de este documento y se sugiere utilizarlos para revisar la actividad
evaluativa. Estas técnicas están destinadas a ser utilizadas para delinear las características operacionales, los puntos
de decisión y los problemas potenciales que se relacionan con la implementación de un diseño de evaluación dado.
La recopilación y el análisis de los datos reales involucrados en la implementación de la metaevaluación del
Diseño # 3 involucran revisiones periódicas del diseño de la evaluación y el monitoreo del proceso de evaluación.
Estas actividades de revisión y monitoreo tienen como objetivo determinar si el diseño se ha operacionalizado
adecuadamente y qué tan bien se está llevando a cabo el diseño. Dichos administradores de evaluación pueden
implementar dichas actividades de recopilación de datos exigiendo a los evaluadores que realicen depósitos
periódicos y / o informes de progreso escritos. Otra forma de recopilar esta información es a través de la
contratación de auditores externos para que
Controles periódicos sobre la implementación del diseño de la evaluación.
Los comentarios de la metaevaluación Design # 3 incluyen dos tipos básicos de información. El primero es un
registro del proceso real de evaluación. Esto será útil al final del proyecto de evaluación para la interpretación de
los resultados de la evaluación. Otro tipo de retroalimentación se refiere a la identificación de problemas y
recomendaciones para mejorar las actividades de evaluación. Este tipo de retroalimentación es importante para el
gerente del proceso de evaluación.
En la práctica, hay muchas instancias de metaevaluaciones que verifican y guían la implementación de los diseños
de evaluación. En gran parte, se refieren a actividades de autoevaluación y, en ocasiones, al empleo de consultores
externos.
Diseño # 4: para la evaluación proactiva de la calidad y el uso de los resultados de la evaluación
El Diseño # 4 proporciona estudios de metaevaluación proactivos que mejoran la calidad y el uso de los resultados
de la evaluación.
Al delinear los requisitos de información asociados con este tipo de diseño, se deben hacer tres cosas. Los objetivos
de evaluación deben ser anotados; los criterios de metaevaluación de idoneidad técnica, utilidad y costo /
efectividad deben explicarse en relación con los objetivos de la evaluación; y los usuarios previstos de los
resultados de la evaluación primaria deben ser designados. La delineación de estos asuntos proporciona una base
para obtener la información necesaria periódicamente para evaluar la calidad y el impacto de la información de
evaluación que se está recopilando en la actividad de evaluación primaria.
Se pueden hacer varias cosas para obtener información sobre la calidad y el impacto de los informes de evaluación
primaria. Los informes de evaluación se pueden recopilar y la información que transmiten se puede calificar por su
validez, confiabilidad y objetividad. Se pueden mantener registros de los gastos de evaluación primaria. También
se pueden mantener registros de las instancias de uso de los informes de evaluación por parte de las audiencias
previstas. También se puede pedir a estas audiencias que califiquen la utilidad de los informes de evaluación que
reciben. Dicha información sobre la efectividad de la evaluación puede ser obtenida por el gerente de evaluación o
un auditor externo.
Cabe señalar que dicha metaevaluación de la efectividad de un la evaluación podría llevarse a cabo apropiadamente
en combinación con un esfuerzo para recopilar datos de metaevaluación sobre la implementación de un diseño de
evaluación. Si bien los diseños de metaevaluación # 3 y # 4 se implementan durante el mismo período de tiempo, la
retroalimentación sobre la idoneidad de la implementación de una actividad de evaluación es relativamente más
importante durante las etapas iniciales de un proyecto de evaluación. Por el contrario, más adelante, en los
proyectos de metaevaluación, los comentarios sobre la efectividad de una evaluación son más importantes que los
comentarios sobre la implementación del diseño de evaluación principal. Esta relación entre los diseños de
metaevaluación # 3 y # 4 se muestra en la Figura 7.
La retroalimentación del diseño # 4 de la metaevaluación incluye informes periódicos sobre la calidad, el impacto y
el costo / efectividad del trabajo de evaluación. La carga de estos informes es evaluar periódicamente el éxito de
los resultados de la evaluación y proporcionar recomendaciones para mejorar el esfuerzo de la evaluación.
Diseño # 5: para evaluación retroactiva de estudios de evaluación
Con Diseño # 5 nos movemos al área de meta-evaluación retroactiva. En la práctica, la metaevaluación retroactiva
de objetivos, diseños, implementación y resultados generalmente se combinan en un único estudio de caso
sumativo.
El primer paso principal en la implementación del Diseño # 5 es determinar los intentos del evaluador que realizó
el estudio. La audiencia en la que la efectividad de una evaluación es más importante que la retroalimentación
sobre la implementación de la relación de evaluación primaria entre el diseño.

Esta relación entre los Diseños de metaevaluación # 3 y # 4 se muestra en la Figura 7. Se debe buscar
información para responder una serie de preguntas sobre los objetivos de la evaluación. ¿Qué dijo la
audiencia que querían de la evaluación? ¿Hubo otras audiencias legítimas? ¿Qué información habrían
querido? ¿Las metas de evaluación alternativas fueron consideradas por el evaluador? ¿Que eran? ¿Por
qué fueron rechazados? En general, ¿qué tan defendibles fueron los objetivos de la evaluación? Los datos
en respuesta a estas preguntas son necesarios para juzgar los objetivos de la evaluación.
El evaluador también debe recopilar información sobre el diseño de evaluación que se eligió. ¿Cómo
califica según los criterios de idoneidad técnica, utilidad, eficiencia y viabilidad? ¿Se consideraron otros
diseños? En general, ¿el diseño elegido fue mejor que otros que podrían haber sido elegidos?
Dado el diseño que se eligió, el evaluador debe determinar a continuación qué tan bien se implementó.
¿Se llevó a cabo plenamente? Si no es así, ¿qué dificultades explicaron
¿Por la defectuosa implementación? ¿El evaluador contrarrestó efectivamente los problemas
conceptuales, sociopolíticos, legales, técnicos, de gestión y éticos que se describieron en la Parte I?
¿Cuánto costó la implementación? En general, ¿qué tan bien se implementó el diseño de la evaluación y
qué problemas específicos se encontraron?
Como asunto final, el evaluador debe considerar qué resultados se produjeron. ¿Se lograron los
objetivos? ¿Qué información se produjo? ¿Qué tan bueno fue? ¿Fue utilizado? ¿Por quién? ¿Lo usaron
apropiadamente? En general, ¿qué impacto tuvo la evaluación y cuán deseable y rentable fue?
La información obtenida en respuesta a las preguntas anteriores debe combinarse en un informe
general. Este informe debe redactarse y difundirse a las audiencias para la evaluación primaria que se ha
examinado. A través de esta práctica, los resultados de la evaluación primaria pueden ser vistos y usados
en relación con sus puntos fuertes y débiles.
Un ejemplo de Diseño # 5 ocurrió cuando una agencia de investigación y desarrollo contrató a un equipo
de tres meta-evaluadores para evaluar el sistema de evaluación de la agencia. La agencia presentó un
marco conceptual para describir su sistema de evaluación y le encargó a los meta-evaluadores que
evaluaran el desempeño de la evaluación de la agencia en relación con el marco.
El marco de trabajo aparece en la Figura 8. La dimensión proporcional indica que el sistema de
evaluación de la agencia debe abordar las preguntas sobre los objetivos, planes, procesos y logros del
sistema. La dimensión vertical más a la izquierda hace referencia a los niveles de la agencia matriz, es
decir, el sistema, el programa y el proyecto. La tercera dimensión indica que se debe juzgar el sistema de
evaluación con respecto a si se han delineado las audiencias y las preguntas evaluativas (la cuestión de
los objetivos de la evaluación), si se han determinado los dispositivos y procedimientos de recopilación
de datos y de informes para responder las preguntas (diseño de la evaluación); si los datos de la
evaluación realmente se están recopilando y analizando (implementación), y si los resultados son sólidos
y se usan adecuadamente por parte de las audiencias.
La combinación de las tres dimensiones de la Figura 8 proporciona 48 celdas que enfocaron
específicamente el trabajo de metaevaluación. Se pidió al personal de la agencia que generara
documentación sobre lo que se había hecho con respecto a cada una de las 48 celdas. Por ejemplo, para
la celda 16 se les pidió que produjeran los datos que sus evaluadores habían obtenido con respecto a los
impactos de la agencia en su población objetivo y que describieran cómo se habían usado los datos de
impacto. Para la celda 18 se les pidió que describieran cómo se identifican en la agencia los diseños de los
programas alternativos y los criterios para juzgarlos. En la celda 22 se les pidió que produjeran
procedimientos e instrumentos que sus evaluadores habían usado para juzgar los planes del programa.
En la celda 26 se les pidió que produjeran datos sobre diseños de programas alternativos; y en la celda
30 se les pidió que revisaran la calidad y el uso de sus datos sobre diseños de programas alternativos. Lo
que los metaevaluadores querían entonces era información sobre los objetivos, diseños, implementación
y resultados de la evaluación, y lo querían para cada uno de los tres niveles de la agencia y para las
variables del programa de objetivos, diseños, implementación y resultados.

El personal de la agencia respondió preparando cuadernos de información que se organizaron de

acuerdo con las dimensiones de su marco de evaluación. Se incluyeron tres partes principales en la
evaluación del sistema, la evaluación del programa y la evaluación del proyecto. Dentro de cada parte
había secciones sobre la evaluación de objetivos, diseños, procesos y resultados. Cada una de estas
secciones contenía la información que necesitaban los metaevaluadores con respecto a los objetivos,
diseños, implementación y resultados de la evaluación. Por lo tanto, el cuaderno de información
proporcionó la base inicial para evaluar el sistema de evaluación de la agencia.
Los meta-evaluadores prepararon escalas de calificación de nueve ítems para cada una de las 48 celdas.
Estas escalas se utilizarían para evaluar la calidad del trabajo de evaluación de la agencia en cada una de
las 48 celdas.
Los meta-evaluadores luego visitaron la agencia por tres días. Durante ese tiempo, leyeron los
documentos pertinentes, estudiaron el contenido de los cuadernos especialmente preparados y
entrevistaron al personal en cada uno de los tres niveles de la agencia. Luego, los meta-evaluadores
completaron de forma independiente las 48 escalas de calificación. Las tres observaciones por celda
proporcionaron una base para determinar la confiabilidad entre jueces y para analizar las fortalezas y
debilidades del sistema de evaluación. Posteriormente, los meta-evaluadores desarrollaron una tabla que
esencialmente era la estructura de evaluación lógica de la agencia con calificaciones medias de calidad en
cada una de las 48 celdas. Esta tabla se utilizó como base para un informe inicial y una entrevista de
salida con el personal de la agencia.
Se presentaron tres hallazgos principales durante esa sesión: (1) la agencia fue generalmente fuerte en la
identificación y evaluación de planes alternativos, (2) la agencia fue algo débil en todos los niveles
organizacionales al evaluar los resultados, y (3) la evaluación a nivel de programa fue casi inexistente. El
personal de la agencia estaba interesado en los juicios de la evaluación a nivel de sistema y proyecto,
pero se sobresaltó y le preocupó que los pobres mostraran su evaluación a nivel de programa. Pidieron a
los metaevaluadores que proporcionen recomendaciones en el informe escrito sobre lo que se podría
hacer para cambiar esta situación.
Después de la visita, los meta-evaluadores escribieron y presentaron su informe final. Se enfocó en la
tabla de juicios de 48 celdas que se había preparado en el sitio. Sin embargo, era más amplio que eso. En
general, abordó diez preguntas sobre el sistema de evaluación de la agencia:
1. Si aborda las cuestiones de valor y de mérito con respecto a los objetivos, los diseños, la
implementación y los efectos principales y secundarios.
2. si lo hace de manera proactiva y retroactiva en relación con las decisiones sobre los cuatro tipos de
preguntas;
3. si los cuatro tipos de preguntas y las audiencias clave para la evaluación se explican en cada nivel
organizativo;
4. Si se han determinado (o se determinarán) los procedimientos explícitos, los procedimientos correctos
y los instrumentos para responder las preguntas especificadas en cada nivel. (La preocupación aquí es
con los criterios de idoneidad técnica [confiabilidad, validez interna, validez externa y objetividad];
utilidad [puntualidad, relevancia, importancia, omnipresencia, credibilidad y alcance] y el criterio
prudencial de costo / eficiencia de la evaluación.);
5. si los datos requeridos para responder las preguntas especificadas se obtienen en cada nivel
organizacional;
6. si los datos relativos a las preguntas especificadas se están organizando y almacenando de forma
recuperable para satisfacer las necesidades de rendición de cuentas en cada nivel organizativo;
7. si el sistema de evaluación está teniendo un impacto en las decisiones relacionadas con los cuatro tipos
de preguntas en cada nivel;
8. si el sistema de evaluación tiene la capacidad de identificar y responder a las necesidades evaluativas
emergentes en cada nivel;
9. si el sistema de evaluación se está implementando para mejorar las perspectivas de una evaluación
sistemática más allá de los esfuerzos a corto plazo apoyados a través de proyectos financiados
externamente, y
10. si se puede afirmar con certeza que el costo del sistema de evaluación es adecuado para satisfacer los
criterios enumerados anteriormente.
El informe que se presentó con respecto a las preguntas anteriores señaló que la evaluación a nivel de
programa era la parte más débil del trabajo de evaluación de la agencia. El informe especuló además que
los programas en sí mismos no se tomaron en serio en la agencia, que en realidad la agencia era solo una
compañía holding para proyectos misceláneos. Un efecto inesperado del informe fue que condujo a una
reorganización de la agencia total para fortalecer tanto los programas como el mecanismo para
evaluarlos. Esto ilustra que la metaevaluación puede desempeñar un papel importante en la realización
del cambio, no solo en la evaluación sino también en la empresa que se evalúa.
Otra instancia del Diseño Nº 5 ocurrió cuando Ernest House, Wendell Rivers y yo fuimos contratados
por la National Education Association y la Michigan Education Association para evaluar el sistema de
responsabilidad estatal del Departamento de Educación de Michigan (House et al, 1974, Kearney et al,
1974; Stufflebeam, 1974).
El programa de responsabilidad de Michigan había sido el centro de mucha controversia, y pronto me di
cuenta de que nuestro estudio sería político, difícil de realizar y sospechoso por parte de quien se
opondría a nuestros hallazgos. Antes de aceptar participar, me reuní con miembros de MEA y NEA, con
Rivers y House, y con un representante del Departamento de Educación de Michigan para determinar si
nuestro equipo podría realizar un estudio independiente y si tendríamos acceso a todos los datos
necesarios. . Después de estar satisfechos con estos dos puntos, diseñamos, realizamos e informamos el
estudio.
Una característica clave de nuestro diseño fue un conjunto avanzado de acuerdos de trabajo destinados a
resumir nuestro plan y garantizar la independencia y viabilidad de nuestro estudio. Nuestros diez
acuerdos de trabajo fueron los siguientes:
1. Carga
La Asociación de Educación de Michigan y la Asociación Nacional de Educación han contratado al panel
de evaluación externo compuesto por Ernest House, Wendell Rivers y Daniel Stufflebeam para evaluar la
solidez educativa y la utilidad para el Modelo de Responsabilidad de Michigan en Michigan, con un
enfoque particular en el componente de evaluación. .
2. Audiencias (en orden de prioridad)
a. NEA / MEA
segundo. Tomadores de decisiones en el sistema educativo de Michigan (Junta de Educación del Estado
y Departamento de Educación del Estado)
do. Los medios de comunicación (el público).
re. Consumidores (parentis, PTA, el público, etc.)
mi. Personas técnicas (especialmente en el área de medición educativa).
3.Reportar / editar
El panel será el único encargado de desarrollar y editar su informe final. NEA / MEA puede escribir y
difundir cualquier declaración por separado (como un endoso, una refutación, un comentario o una
pieza descriptiva). Se entiende que el informe del panel debe ser lo más breve y directo posible y estar
diseñado para comunicarse con las audiencias designadas para el informe.
Diseminación
El panel externo tiene el derecho de publicar su informe a cualquier miembro de las audiencias objetivo
u otras personas después de la finalización del informe. La publicación del informe por parte del panel
no implicará el respaldo de MEA / NEA. Además, MEA / NEA puede optar por respaldar o no respaldar
el informe en función de su criterio de la calidad y la adecuación del informe. Si MEA / NEA decide
difundir su propio documento que describe el informe, su documento se identificará como propio y no
del comité. Solo el informe final del comité, tal como fue editado por el comité, se distribuirá con los
nombres del comité en él.
5. Formato del Informe.
Los siguientes artículos fueron identificados como ingredientes deseables para el informe final del panel:
a. cita de los acuerdos entre el panel de revisión y
MEA / NEA.
segundo. Presentación de los majorfindings.
do. Presentación de opiniones minoritarias, en su caso.
6. Preguntas que se abordarán en el informe Las preguntas específicas que se abordarán incluirán:
a. Validez y fiabilidad de las pruebas de criterio de referencia.
segundo. Uso de pruebas para evaluar al personal.
do. mérito de los objetivos en los que se basa la evaluación de Michigan.
re. Participación de docentes en el desarrollo tanto de objetivos como de pruebas.
mi. Las recomendaciones del panel para el cambio y el estudio adicional.
F. comenta sobre el balance del esfuerzo estatal y la conveniencia de ampliar el alcance de la evaluación,
especialmente dados los factores de costo asociados con las proyecciones para mejorar o ampliar la
evaluación de Michigan.
sol. Calidad de la planificación en el Programa de Responsabilidad de Michigan.
h. Proyecciones de costo beneficio para el programa.
yo. el valor de los resultados e informes de evaluación de Michigan para diferentes niveles de audiencias
en Michigan
j. Problemas de sesgo en el programa de responsabilidad de Michigan
7. Recursos (presupuesto) para apoyar la evaluación.
MEA / NEA pondrá a disposición del panel de revisión externo suficientes recursos para respaldar ocho
días de trabajo por panelista para trabajar en la evaluación, cualquier apoyo de secretaría que se necesite
para realizar la evaluación y cualquier material y equipo necesario en las audiencias de Lansing. Se
entiende que si alguno de los panelistas necesita realizar llamadas telefónicas de larga distancia para
recopilar opiniones sobre el programa de personas de Michigan, se le reembolsará a los panelistas por
dichos gastos, siempre que se realice un informe preciso y completo del propósito del teléfono. llamar y
quien fue contactado.
8. Horario de entrega
El panel debe entregar su informe final el 1 de marzo o tan pronto como sea posible.
9.Acceso a los datos
Se entiende que el Departamento de Educación de Michigan pondrá a disposición del panel todos los
datos e informes requeridos por el panel para realizar el trabajo. Esto, por supuesto, está restringido a
aquellos datos e informes que ahora están disponibles para el Departamento de Educación de Michigan
con respecto a la responsabilidad de Michigan.
10. Procedimientos
De conformidad con las condiciones anteriores, el panel externo de tres personas tendrá el control sobre
el proceso de evaluación que debe implementar para responder responsablemente al cargo al que ha
aceptado. De acuerdo con esta posición, el panel acordó implementar el siguiente proceso general. Se
realizarán entrevistas privadas y audiencias.
realizado exclusivamente por el panel con representantes de la Michigan
Departamento de Educación, representantes de MEA / NEA,
representantes de grupos seleccionados (maestros, administradores, miembros de la junta y grupos de
acción educativa). El panel también revisará los documentos puestos a su disposición por MEA / NEA y
el Departamento de Educación de Michigan. Finalmente, el panel llevará a cabo una audiencia para
obtener información adicional sobre los temas identificados por el panel en el curso de la entrevista a
varios grupos de clientes y el estudio de diversos documentos (Stufflebeam, 1974).
Esto concluye la Parte III y la discusión de los diseños de metaevaluación. Se ha intentado presentar
diseños generales que cubren las diferentes tareas de metaevaluación. Los casos reales que se relacionan
con los diseños se han descrito para demostrar que las metaevaluaciones son reales y no solo teóricas.
Los diseños son crípticos, y los ejemplos pocos; se espera que otros amplíen y mejoren estos diseños y
ejemplos.
Resumen
El propósito de este documento ha sido explorar el tema de la metaevaluación. La Parte I discutió la
necesidad de desarrollar una tecnología para evaluar la evaluación; describieron once criterios de
metaevaluación; y delinearon seis clases de problemas que plagan los esfuerzos de evaluación. La Parte
II presentó una definición, ocho premisas y una estructura lógica para el trabajo de metaevaluación.
Parte III: describe cómo se puede usar la estructura a través de Describiendo un diseño ilustrativo de
cinco metaevaluaciones.
Se espera que este artículo estimule acciones futuras. Con suerte, algunas de las ideas y dispositivos
serán de utilidad para las personas que evalúan las evaluaciones. Se espera que otras personas puedan
ser estimuladas por este documento para delinear y operacionalizar los conceptos de metaevaluación.
Dada la mala calidad de la evaluación
La educación basada en el desempeño y la falta de una base de investigación para guiar a los
evaluadores, parece urgente idear formas de definir, asegurar y documentar la calidad del trabajo de
evaluación. Este documento ha sido un intento de mover el campo de la evaluación hacia una tecnología
para evaluar la evaluación.