Documentos de Académico
Documentos de Profesional
Documentos de Cultura
com
Tx 820 098
AOR
rI'3'bS
. ¿ASPOB? XO ISBX-0-918538-18-C
'l83p.
Av1Iz•ABI•B sR stsdgepzeas , Caja 69; pinta Reyes, California 94956 ("S?.75 s1-ng1e
copia: $6.20 tco ur aore copias) ›
* 8DBS PRECIO X¥'01, Más poesía éb Xot' Disponible 1cb'• troai BDRS. .
DB80 P¥'0BS”De£ 1zi iones: ”Bvs1uat 1uno Yocbulario
"AB3¥o norte ' '° '"'.“
- “ yktc 1s C diccionario de sinónimos, de tetas usado En
eva1tzct 1 en . I t Ie no descansa T ctad ta escopa a aducat 1onc1 o
programa evc1uat 1on. II re2erc al producto bacalao pazsono•1 dnd. propuesta
evaluada también cc bien. cs 'a control de calidad cné la calificación de xork
saxp1cs. 7ha texto conta1\ss
un probar fueron eso Connecticut 1ecst a Pocos turba lclpcntc a Talleres de trabajo
o , - clases' xaquactadas Eso,
una cuenta 'corta' xcs posible: tha •cccouot xac
, MIGUEL
E@C '
VW£I&TI
QRætłtlon
TNŒAURnosotro
s
NICLIAeL
ESCRIBIR
mi
E@C '
›”
<I
derivadoBiblioteca de Cbngress
Número CIP 80-68775
'
4
INTRODUCCIÓN
• AL TERCERA EDICIÓN •
rdc 11: I ›
brevedad de las visitas; el veto institucionalun dle-
de- sesgo del camino en la selecció n de los miembros del
equipo; la la
con costas: y así sucesivamente (LE). Ver
lnstitutienatfivaluntion.
ACHIEYEMŹNT vs APTITUD ÉL APTITUD/
LOGRO DISTII obvio suficiente
que hay una diferencia B dos presunciones de
Mozart há bilmente tiene una actitud má s temprana para el
piano que usted o yo, incluso si nunca le habían mostrado
uno. Pero la metodología de prueba estadística siempre ha
tenido dificultades con la distinció n porque las estadísticas
no son lo suficientemente sutiles para hacer frente a la
punto de la distinción, del mismo modo que no es lo
suficientemente sutil para hacer frente a la distinción entre
COrrqlation y causalon. Porque nadie tiene logros si no tiene
aptiNde, por definición, por lo que hay una correlación
unidireccional, y es muy difícil demostrar que alguien tiene
una aptitud sin darle una prueba que realmente mida el logro
(al menos embrionario). Los temerosos tipos de prueba han
sido llevados algunas veces a negar que haya algunaNo/
distinción, mientras que el hecho es sólo que carecen de
las herramientas para detectarlo.
I>
,¼3"
evaluació n del programa (etc.). Puede o no haber un intento
de proporcionar una síntesis, tal vez por medio de un juez o
un jurado o ambos. Las técnicas se desarrollaron muy
extensamente a principios de los añ os setenta, desde el
ejemplo inicialen el que Stake y Denny estaban el
defensor y el adversario (la evaluació n de TCITY), a
través de Bob Wolf, Murray
«Levine, Tom Owens y otros. Todavía hay grandes dife-
dificultades para responder a la pregunta: "¿Cuá ndo da
esto una mejor imagen y cuando lo hace tender falsificar la
imagen de un programa? La bú squeda de la justicia, donde
confiamos en laadxersarv approach—no es lo mismo que
la bú squeda de la verdad; sin embargo, hay grandes
ventajas en afirmar e intentar legitimar valoraciones
radicalmente diferentes, por ejemplo, el elemento
competitivo. Uno de los fenó menos reactivos má s
interesantes en la evaluació n fue el efecto del abogado-
adversario original, •.valuació n; muchos miembros de la
"audiencia" estaban extremadamente molestos por el
hecho de que el informe del adversario, muy crítico, se
había impreso como parte de la evaluació n. No pudieron
tentar esta reacció n mediante el reconocimiento de la
legitimidad igual otorgada a la posició n de abogado. La
importancia de este fenó meno es en parte que revela las
enormes presiones hacia una evaluació n insulsa, ya sea
que sean explícitas o superficiales. uno podría pensar
que no hay mucha diferencia entre dar el mismo estatus
a dos puntos de vista contradictorios y dar una
presentació n meramente neutral. Pero el efecto de la
audiencia muestra que este no es el caso; y, de hecho,
una ló gica má s orientada a la prá ctica sugiere que el
primer método de presentació n transmite informació n
importante que está ausente en el segundo, a saber, el
rsîigr de interpretaciones (scnably) defendibles. Véase
también Relativ-
5
tectuzal EvaJuatźon, Ltterary Críticas
POBLACIÓ N AFECTADA Un programa, producto, etc.
impacta a los verdaderos consumidores ya su propio
personal. En la evaluació n de programas, ambos efectos
deben ser considerados, aunque son bastante diferentes.
posiciones éticas. En un momento, parecía que el
programa Headstart se justificaría (ú nicamente) por los
beneficios que aportaba a quienes lo utilizaban.
A£FECTTVfi (8 telares) sentido al
original;
dominio del afecto .. A menudo se toma como el mismo que el
domaiŚ
de sentimientos o actitudes. Dado que estos, a veces se confunden
. con creencias, cabe recordar ese efecto debería también
distinguirse de los dominios cognitivo y psicomotor. Por
ejemplo, a menudo se dice que la autoestima y el locus
xml.control son valores efectivos, pero muchos ítems o
preguntas de entrevista que se dice que los miden en
realidad llaman para la estimación de la valía personal y
tasaciones o juicios de lugar de control, que son
afirmaciones directamente proposicionales y, por lo tanto,
cognitivas. Errores como este a menudo surgen de la idea
de que el ámbito de la valoración no es apropiado. pero
meramente actitudinal, una falacia típica de la libre de valores
ideol- ,
ogv en las ciencias sociales, mientras que algunos ¡valores
personales• son actitudes evidentes y, por lo tanto, pueden ser
considerados afectos, algunos valuahń ns —ya sea que causen o
no ciertas actitudes—
son afirmaciones comprobables científicamente. Nótese la
diferencia entre “Yo(Anguila perfectamente capaz de manejar
mi propia vida, seleccionando una carrera y una pareja
apropiadas, etc.” y yo n/H perfectamente capaz, etc.” (O "1
/ee/ este programa es realmente valioso para mí" frente a
"Este programa es realmente valioso para mí".) Las
afirmaciones sobre los sentimientos son autobiográficas y
las fuentes de error mienten y carecen de conocimiento de
los elfos. Las afirmaciones sobre el mérito son externas.
afirmaciones mundiales y verificadas o falsificadas por
evaluaciones. medidas, más allá de las más simples
expresiones de placer, actualmente es extremadamente
, dudoso porque de (a), estos conceptual confusiones entre afecto
y cognición, (b) falsificación deliberada de respuestas, (c)
tergiversación inconsciente, (d) suposiciones dudosas del
intérprete, por ejemplo, que los aumentos en la autoestima son
deseables (obviamente falso más allá de un cierto
(desconocido) punto), (e) invasió n de gń vacy, (f} ausencia
de incluso
validació n bá sica, (g) alta labilidad de muchos afectos, (h)
alta estabilidad de otros afectos. No hace mucho, escuché a
un experto, sav
6
que ú ze solo kriown-valida medida de afecto se relaciona con
Izxus de conbol y Stint \s fi:xeä por la edad de dos el puede
tener
consideraciones,
* como tost, calidad relativa a la está ndares apropiados
para cada fruto, el valor nutricional y las preferencias de
aquellos (o a quienes estamos pux kasing. De hecho,
comú nmente consideramos dos o má s de estos factores y
amalgamamos a nivel nacional).
' acoplar los resultados en una compra adecuada. Si bien hay
ocasiones en las que las consideraciones que se acaban de
mencionar no apuntan a un solo dueñ o, y la elecció n puede
hacerse
arbitrariamente. este no suele ser el caso. Compuesto por
las manzanas y la dificultad de las naranjas es una buena señal de
que
, el quejoso no ha pensado mucho en la naturaleza de
evaluación .,
PROPORCIÓN z T‹AL TIOx, DISTRIBUCIÓNi
Los tenderos .o resultado de dividir una cantidad dada de
recursos entre un conjunto de demandas en
competencia, ej. dividir un presupuesto entre
programas; este es, de hecho, el problema definitorio de
la ciencia econó mica, pero que generalmente no se
aborda directamente o no en términos prá cticos dentro
de la economía.
literatura económica, presumiblemente porque cualquier
solución requiere hacer suposiciones sobre la llamada
"comparación interpersonal de utilidad", es decir, el valor
relativo de proporcionar
, mercancías atlifferent ir dividuals. TBus el concepto sin valor
. ció n de lo social científicos tabm para proporcionar practica ,
soluciones al problema de la distribució n. (Ah excepció nes •
el enfoque de presupuesto de base cero—difícilmente se le puede llamar
'una literatura, y rara vez se hace referencia a ella en un
texto de economía,) Apportiouvrent es un predicado de
evaluació n separado, distinto de grading y iaU»g y •cö ring
aunque todos ellos está n involucrados en él; es, como ellos,
uno muy prá ctico.manera cal de mostrar la estimació n de
uno de Norte relativo, y de todos los predicados de
evaluació n es probablemente el más cercano a la
'decisió n proceso de evaluació n modal de los creadores.
Varios
evidentemente Rons inapropiados son con bastante frecuencia
usar.',
por ejemplo, el ”a través del tablero cortar solo
recompensa el aumento de los presupuestos y, por lo tanto,
automá ticamente "conduce a in-' acolchado arrugado al añ o
siguiente, pero eso además resultados en algunos fondos a
continuación thd nivel de "masa crítica", un completo
perdida de dinero. Otro inapropiado solución implica
programa de preguntas gerentes para asegurarse niveles de
recorte: esto, por supuesto, da como resultado la estrategia de
chantaje de establecer niveles de masa crítica demasiado
altos, para obtener más de lo absolutamente necesario. El
único tipo de solución apropiado
1º
* I lobos so' te evaluación por una persona externo al pro-,
g#aoi, típicamente en conjunto con el programa r§anagey; y
la primera tarea de talren debe ser para
eliminaranytking tkat parece gordo en el presupuesto.
Pasos posteriores en el proceso involucrar segmentafioo
de cada programa, idenfifica- ción de articulaciones
alternativas del segmenb, gzyding de .
” * la rentabilidad cd los sgsterfis progresivamente más grandes en
cada secuencia de complementos, y la consideración de las
interacciones entre n componentes del programa que
pueden reducir el costo de
cada '¢t certairi @ints. Dado un estú nate de el “valor de
retorno” del dinero, qué bueno sería si no usado forman este
conjunto de programas), y el compromiso ético (o democrático)
de primar facie igualdad de interpersonales valor, uno
entonces es un algoritmo efectivo cuatro gastando el
presupuesto disponible de la manera más efectiva camino. Por
lo general, se dará el caso de que parte de la financiación
de cada uno de los programas ocurrirá (a menos que la masa
crítica mínima sea demasiado grande), debido a la disminución
de la utilidad marginal de los servicios para cada una de las
poblaciones impactadas (semi-superpuestas), el largo plazo
.la conveniencia de retener la capacidad en cada área, y la .
consideraciones políticas involucradas en llegar a nú meros
má s grandes. El proceso que se acaba de describir, aunque
desarrollado independientemente, es similar a un
procedimiento para la presupuestació n de base cero, una
innovació n de la cual la Administració n Carterhizo un buen
trato en los primeros añ os de su presidencia; pero nunca
surgió una discusió n seria sobre la metodología, y la
prá ctica estaba naturalmente muy por detrá s de eso.
(Véase Eye/usNoo Nzz‹/s, diciembre de 1978). En el
nivel informal pero muy prá ctico, el prorrateo nos
recuerda el gne de
, los ejemplos más brillantes de la metodología de control de
sesgos en toda evasió n: la solució n al problema de dividir
un
.irregula porció n separada de comida o tierra en dos
partes justas acciones—yo dividir•<,gnd Yo elegiré. Esta es
una micro-versió n de la "velo f ign@ance “o
enfoque de probabilidad antecedente parat
jusó ficahan de justicia y ethi« en Rawls, J
Tffcozy /usficr (Harvard, 1971), y derivado, Primazy fifii
p/iy (btcGraw-£lill, t9ó6). es No sorprende que
la ética y la evaluació n compartan una frontera comú n, ya
que la justicia a menudo se analiza como un concepto
distributivo. La distribució n puede ser ló gicamente
reducible a i complejo muy complejo
combinació n de calificació n y clasificació n, en escalas
mú ltiples; pero lo contrario también es probable. En
CE
EVALUACIÓN A veces se usa como snó nimo de
evaluació n, pero a veces se usa para referirse a un
proceso que es má s centrado en enfoques cuantitativos
y/o de prueba; elcantidad puede de dinero pas en
evaluació n de bienes raíces), o nú meros y puntajes
(como en la Evaluació n Nacional del Progreso
Educativo). La gente a veces sugiere que la evaluació n
es menos un juicio y má s una medida pfoceso *
que ciertos otros tipos de evaluació n; pero podría ser ar-
adivinadoque es simplemente un caso de evaluación en
el que el juicio se construye en los resultados numéricos.
Puntuaciones brutas en unprueba de contenido o
construcció n no conocida la validez no seria' evaluación;
esoes solo cuando la prueba es (supuestamente) de nivel
bá sico
” competencia matemá tica, por ejemplo, que informar los
resultados constituye una evaluació n en el sentido apropiado
y, por supuesto, el juicio de validez es el elemento evaluativo
clave. componente en esto.
ATTZN£/ATtON (Stat.) En el sentido técnico esto se
refiere a la reducció n en la correlació n debido a errores
de
r medició n.
ACTITUD, EVALUACIÓN Ver ev u a c i ó n SLita.
ACTITUDES El conjunto de variables cognitivas y
afectivas que definen la disposició n mental de una persona
hacia otra persona, cosa o estado. Puede ser evaluativo o
simoly prefJ- rentid 1; es decir, alguien puede pensar que
correr es bueno por
.usted, o simplemente disfrutar ii, o ambos; disfrutarlo no implica
pensar que es meritorio, ni arroz escueto, contrario amuchos
z3“
incluso si se
aplica la misma opinión a TÍTULO \f5€' DE SOfN9-
dieciséis
principio de bins Control nos recuerda la inestabilidad
de independencia o externidad—el evaluador externo de
hoy es co-autor (.o colaborador rechazado).
Para má s
-detalb, véase "Evaluació n del sesgo y su control",
iriSnefrztion Studies geeie Huawei (Vol. 1, 1976, ed. G.
Glass, Sage). La posibilidad de soluciones ordenadas a los
problemas de diseñ o de control de sesgo se mantiene
viva frente a la aversidad anterior al recordar el principio
de corte de pastel: "Tú cortas y yo lo hago".
*31*'
a
'
con
aodlea¢g y cozeaatec. Tennesse social evaluació n, el
término "cliente" se usa a menudo para referirse al
"consumidor", es decir,
Hietler a tiy a usar el término "clientela" tiene ese propósito.
CMANTELELa població n dizect)y servida por un m.
25
r
3Ï
los datos/resultados/observaciones/evaluaciones en un
á rea de investigació n. A diferencia de las teoras, los
esquemas conceptuales
_ suposiciones de constancia referencial), pero tii_ydo nerate
hipótesis agria simplicidad descriptiva.
CONCLUSIÓN-ORIENTED INVESTIGAR
contrastado
con orientació n a la decisió n. distinció n de Cronbach y
Suppes,entre dos tipos de educació n investigació n, a
veces pensada para iluminar la diferencia entre la
investigació n evaluativa (supuestamente orientada a la
decisió n) y la investigació n académica en ciencias
sociales (orientada a la conclusió n). Esta opinió n se basa
en la falacia de. suponiendo que las conclusiones sobre el
mérito y el valor no son conclusiones, un vestigio de la
doctrina positivista libre de valores de que los juicios de
valor no son
, comprobable proposiciones, por lo tanto no científicas: y en
la falacia de suponer que toda evaluació n se relaciona con
alguna decisió n (la evaluació n de muchos fenó menos
histó ricos, por ejemplo, un reinado o q la política no.)
audiencias).
cochecito, pero en la producción o proporcionando etid—
nosotros controlamos eso
o
)éads to let.• aprendizaje residual preciso que enseñar' ›y '
• cuenta incorrecta. no es una exageracion tn decir•• los
cursos elementales de ciencia de mos siguen el mod•t o '=
h”” falsedades para obtener óptimo verdades en»ttII•
‹ el
cerebro de los estudiantes. Una visión más radical
sostendría que los cerebros humanos en general exigir
conocimiento para ser presentado en forma de / más bien
simple falsedades más que verdaderos complejos. En las
páginas 82 y 1 deletglacialaplaudir/t« de
2ł
4¿
COHT£XT (de etaluatán o evaluando).Las
circunstancias ambientales no influyen o pueden
influir en el resultado; ellosincluir ottiWde:sand e
pectaâ ons, no solo el nivel de soporte
COt4TRAcr s»e. .
TIPOS DE COI'4TRAT Las categorías habituales de
tipos de contrato (esto clasificació n particular Cornes de
Eckman
más tarifa fija, costo más incentivo tarifa, costo más tée
mó vil y poderes conjuntos de Ag t. Explicar las
diferencias más allá de estos términos obvios sería
simplemente decirte lo que quieres saber, a menos que estés
a punto de ser...
mi
sub a los dos grupos, art ‹ designa arbitrariamente a uno
como grupo experimental y al otro como grupo de control.
Este es un "experimento real"; otros casos son má s débiles e
incluyen estudios a posteriori. Idealmente, la coincidencia
cubriría todos los entornos. tales variables tan weIJ como las
genéticas—aü vaúables cirepf las onç{s) experimentales—pero
en pra emparejamos ordy en las variables que creemos
que probablemente afectarán significativamente a los
demá s, por ejemplo, sexo, edad, escolaridad. El
emparejamiento de características específicas
(ntrntifytng) no es esencial, solo es eficiente: se puede
establecer un grupo de control perfectamente bueno
usando una muestra aleatoria (mucho más grande) de la
població n como grupo de control también para la
tierra.grupo experimental o de tratamiento). Por lo
tanto, se puede lograr el mismo grado de confianza en
los resultados comparando pequeñ os grupos muy
parecidos (experimentales y de control) o grandes
grupos seleccionados completamente al azar. Por
supuesto, si es probable que se equivoque, o si tiene
dudas, acerca de qué variables comparar, la muestra
aleatoria grande es una mejor opció n, aunque es má s
costosa y lenta. Cabe señ alar que, a veces, es
importante organizar varios "grupos de coito" y que,
por lo tanto, se podría llamar a todos ellos grupos
experimentales o grupos de comparació n. El grupo de
control clá sico es el grupo "sin tratamiento", pero
no es por lo general el metro pertinentea la toma de
decisiones prá cticas (ver Competidor Crítico). De hecho, a
menudo no es ..ev claro lo que es "sin tratamiento"
yo«›: por ejemplo, si retiene
I F tratamiento de a.Grupo de control en la evaluació n
psico- yo py, crean su uwn, y pueden cambiar el
comportamiento simplemente porque usted retuvo el
tratamiento: pueden divorciarse, obtener religió n,
cambiar o perder su trabajo, etc. ni siquiera sin
psicoterapia, solo sin psicoterapia de su marca
particular. Por lo tanto, es mejor tener grupos de
control que reciban uno o varios tratamientos
alternativos está ndar que "dejarlos a su suerte", una
condició n en la que el grupo "sin tratamiento" a
menudo degenera. Y en la evaluació n, ahí es
exactamente donde traes a los competidores críticos.
En medicina, por eso el grupo de control recibe un
plaeebo. Es crucial para comprender la ló gica de los
grupos de control que uno se dé cuenta de que solo
proporcionan una prueba de causalidad
unidireccional. Si hay una diferencia entre el
dependiente
variable{s) como Mtvi/een los dos gzoups (y si la coincidencia
” está loco en fauh) entonces el eg›ez§r›eutal beabsient ha sido
CE
C gE£tATIOH La relación de ocurrencia concomitante
o variación. Su relevancia para la evaluación es ta) como
un indicio de que existe una relación causal (mostrando
que un efecto es p«rit),‹b) para establecer la validez de
un índice. El rango es límite -1 tit +l, con 0 mostrando
una relación aleatoria- barco, 1 mostrando correlación
(orrapeholarBhradienticfiacóinpags,soarost‹xenveetnhpinugttnz›ogeotnhéckr)a.sTst
o'efsaerusze'etzn«aasgrie«lzeevdaonrt
Los competidores críticos "creados" son a menudo los más
valiosos.
las contribuciones que hace un evaluador y las elabora
zequltes ¢reeó vity, k›ca1 conocimiento y reatismo. tn eco-
‹xineepts como centavo a menudo se definen en
términos o
mi
MI@ C
(que cantidadSe trata de ser los) competidores críticos,
pero se considera que identificarlos es fá cil. Competencia
crítica estándar, en una evaluació n de champú s para
alfombras* (por ex-'
"amplias) son fácil de identificar—todo lo que se llama
shampoo para alfombras pero los nou-standard son
los má s importantes. En este caso, Consumers Union
incluyó una solució n diluida de Tide, que superó y
redujo el costo de
‹ todos los champú s por una milla de campo.
CBITtCAL INODENIA TECHhflQUti (Flanagan) Este
enfoque, ligado al análisis de los r@rds
longitudinales , intenta identificar eventos o
tiempos significativos en Individuo.la vida de al
(o la vida de una institució n) vida, etc.) que de alguna
manera
parecen haber alterado toda la direcció n de eventos
subsecuentes". Ofrece una forma de identificar los
efectos de, por ejemplo, la escolarizació n, en
circunstancias en las que es imposible realizar un
estudio experimental completo. Está , por supuesto, lleno
de peligros. (Ref. Juan Flanagan, PAGSboletín sizoloico,
1954, págs. 327—3S8.)
TRANSVERSAL (estudio) Si quiere obtener los
Resultados que le daría un estudio longitudinal, pero
no puede esperar para hacer uno, entonces use un
estudio transversal como sustituto cuya validez
dependerá de ciertas suposiciones sobre el mundo. En
un estudio transversal, observa a los estudiantes de
primer añ o de hoy y . estudiantes que se gradú an hoy e
inferir, por ejemplo, que la experiencia universitaria ha
producido o se puede esperar que acompañ e la
diferencia entre ellos; En un estudio longitudinal,
observaría a los estudiantes de primer añ o de hoy y
esperaría a ver có mo cambian para cuando se gradú en.
El estudio transversal sustituye a los adultos mayores
que se gradú an hoy en día por una població n que no se
puede inspeccionar por otros cuatro añ os, a saber, los
adultos mayores en los que se convertirá n los
estudiantes de primer añ o o de primer añ o de hoy. Las
suposiciones involucradas son que no han ocurrido
cambios significativos en la demografía desde que los
actuales estudiantes del ú ltimo añ o se mudaron a la
clase de ingreso, y que no han ocurrido cambios
significativos en el colegio desde ese momento. (Para
ciertas inferencias, las suposiciones estará n en la otra
direcció n en el tiempo).
TÉRMINO CRTPTO-EVALUATIVO A término que aparece
ser puramente descriptivo, pero cuyo significado, en el par- ,
particularyontext—necesariamente (definitivamente) involucra
evaluació n*
conceptos ativos, por ejemplo, inteligente, tura, deducció n,
explicació n.
CULTURE-rAIR/CULTVRE-EREE Una prueba sin
cultivo evita prejuicios a favor o en contra de ciertas
culturas. Dependiendo de cuán generalmente se defina la
cultura, y de cómo las pruebas u•ed, este sesgo puede o no
invalidar la prueba. Cierto tipos de pruebas de resolución de
problemas que implican encontrar comida en un a‹fiñ‹: fial
desierto para evitar la inanición, por ejemplo, son lo más
cercano a la cultura libre como tiene sentido: pero thC, son un
poco imprácticos de usar. Descubrir que en una prueba se
determina entre, por ejemplo, razas con respecto a
los•números que pasan un determinado estándar, no tiene
absolutamente ninguna relevancia a la pregunta de si la
prueba es culturalmente justa. Si una carrera de partidos
tienesido oprimido durante un tiempo suficientemente largo,
entonces su cultura no proporcionará el apoyo adecuado para
ejercicios intelectuales (o atlético unos, dependiente al el
tipo de opresió n); eso
probablemente no proporcionará los requisitos dietéticos
previos para un desarrollo pleno; y puede que no
proporcione los modelos a seguir queestimular el logro en
ciertas direcciones. Por lo tanto, bastante nf›nrt {roin nvq
nllects uii the betw yoal, es de esperar ese ese grupo racial se
desempeñará peor en ciertos tipos de pruebas—si no
fuera así, el argumento de que ha ocurrido una opresió n
grave se debilitaría. Procedimientos sistemá ticosahora se
utilizan para 4evitar casos claros de sesgo cultural en la
prueba
elementos, pero estos son mal entendidos. Incluso educadores
distinguidos a veces señalará la aparición de un término como
"candelabro" en una prueba de lectura x'ocabulary como un
signo de sesgo cultural, con el argumento de que es poco
probable que los grupos oprimidos tengan candelabros en sus
casas. Por supuesto no lo son, pero eso es irrelevante: la
pregunta es si el término indica de manera confiable una
lectura amplia y, por lo tanto, si un número suficiente del
grupo opresor de hecho tomó el término al etiquetar un objeto
en el entorno en lugar de hacerlo.
:han a través de una amplia lectura para invalidar esa
inferencia. Esa es una pregunta empírica, no una nyri¢ri una.
Un punto similar surge al observar el uso de los puntajes
de las pruebas para la selección de admisión; la validación
de un punto de corte se basa correctamente en la experiencia
previa y puede basarse en una población principalmente
blanca. En tal caso, tenderá el uso de las mismas medidas de
corte para las minorías. a[metroArkansas ellos, como una
cuestión de hecho empírico (posiblemente porque los
esfuerzos posteriores de esos individuos reciben menos apoyo
de sus pares/casa que en la población blanca).
PLAN DE ESTUDIOS EVALUACIÓ N Evaluació n del plan de
estudios
puede ser tratado como una especie de §rMuct
e«Iuatioti, con énfasis en los estudios de outco.we de
aquellos que usan el curricu.
o puede abordarse en términos de validez de contenido.
("Canalla- riculum” puede referirse al contenido o a la
secuencia de cursos, etc.) Una falacia popular en el arra
implica la suposició n de que las buenas pruebas
utilizadas en la evaluació n de un currículo deben
coincidir con los objetivos del currículo o al menos con
sus objetivos.
contenido; de lo contrario,si han de ser pruebas del
currículo, deben ser restringidas independientemente, por
referencia encia a las necesidades de la població n usuaria
y del
dominio del currículo, sin tener en cuenta su contenido,
metas y objetivos específicos. Otra cuestió n se refiere a la
medida en que los efectos a largo plazo deberían ser los
decisivos: dado que normalmente son inaccesibles debido
a consideraciones de tiempo o presupuesto, a menudo se
piensa que las sentencias
” sobre los currículos no se puede hacer de forma fiable. Pero
esencialmente, todos los efectos a largo plazo se predicen
mejor mediante los efectos a corto plazo, que pueden
medirse. Y las inferencias causales involucradas. de temporal
datos remotos, incluso si podemos Espere estudiar el largo
plazo situació n, son mucho menos confiables que
cualquier ganancia del estudio a largo plazo
probablemente sería ilusoria. Uno de los errores má s
serios en gran parte de la evaluació n de los currículos
involucra la suposició n de que los currículos son
implementados de la misma manera por diferentes
maestros o en diferentes escuelas; incluso si se utiliza una
lista de verificació n bastante completa para garantizar la
implementació n, todavía hay una gran cantidad de errores
en el proceso de enseñ anza. En el sentido má s general de
currículo, que se refiere a la secuencia de cursos tomados
por un estudiante, el desfase ocurre a través de la
concesió n de excepciones, el uso de exá menes de desafío
menos que vá lidos, la sustitució n de diferentes
instructores por otros en excedencia, etc. Sin embargo, Los
buenos materiales del plan de estudios y las buenas
secuencias del plan de estudios deben evaluarse para
detectar diferencias importantes en su eficacia y
veracidad/comprensió n/relevancia para las necesidades
de los Estudiantes. Las diferencias entre lo bueno y lo malo
son tan grandes y comunes que, a pesar de todas las
dificultades, pueden resultar versiones y elecciones muy
mejoradas incluso de una evaluació n aproximada y leída
del contenido y la capacidad de enseñ anza. Davis identifica
los siguientes componentes en la evaluació n del currículo:
'determinar la naturaleza real del currículo (y su sistema
de apoyo de consejeros, otros currículos, catá logos, etc.)
en comparació n con Versiones y opciones muy mejoradas
pueden resultar incluso de una evaluació n aproximada y
leída del contenido y la capacidad de enseñ anza. Davis
identifica los siguientes componentes en la evaluació n del
currículo: 'determinar la naturaleza real del currículo (y su
sistema de apoyo de consejeros, otros currículos,
catá logos, etc.) en comparació n con Versiones y opciones
muy mejoradas pueden resultar incluso de una evaluació n
aproximada y leída del contenido y la capacidad de
enseñ anza. Davis identifica los siguientes componentes en
la evaluació n del currículo: 'determinar la naturaleza real
del currículo (y su sistema de apoyo de consejeros, otros
currículos, catá logos, etc.) en comparació n con
los desatptianos offxtal (por ejemplo, a través del análisis
de banscrîpt, cur-
6j"
puede expresarse de varias maneras, por ejemplo, "I{ no es
suficiente que se hacen buenas obras, debe ser posible
decir que (y, lo que es má s importante, cuá ndo) no se
han hecho buenas obras". requireyien) de un
componente de evaluació n en una propuesta ha existido
por un tiempo; la novedad de wkat es un esfuerzo má s
serio para hacerlo factible y
apropiado Ese presupone más experiencia en evaluación
tailandés más+evie tu *
ittny venir. Eva\uabi)iDiv debe ser revisado y mejorado en la
planificación y pzeformativo etapas requiriendo evaluâbil- itv
de nuevo programas es análogo para requerir insertar
›icea/ii/ifytn un auto nuevo; bastante obvio, pero quien
ademas propietarios de flotas (y GSA) sabían que había por
muchos sí una diferencia de 2:1 en los costos de servicio
estándar entre Ford y GM? El Congreso puede aprender
algún día que la baja evaluabilidad tiene un alto precio.
EVALUANO Lo que se está evaluando; si es un per-hijo, el
término "evaluado" es má s apropiado.
EVALUACIÓN El proceso de determinar el mérito, el
valor o el valor de algo; o el producto de ese proceso.Las
características especiales de la evaluació n, como un tipo
particular de investigació n (distinguida, por ejemplo, de
la investigació n empírica tradicional en las ciencias
sociales), incluyen una preocupació n característica por
el costo, las comparaciones, las necesidades, la ética y las
dimensiones políticas, éticas, de presentació n y de
costo. ; y con el apoyo y la elaboració n de juicios de valor
sensatos, en lugar de la prueba de hipó tesis. El término a
veces se usa de manera má s narró tica (como "ciencia")
para significar solo una evaluació n sistemá tica y efectiva,
o solo el trabajo de personas etiquetadas como
"evaluadores". Mientras que la evaluació n en el sentido
amplio es ineludible para el comportamiento racional o
Pensado, la evaluació n profesional es / con frecuencia
inú til y costosa. La evaluació n, hecha correctamente,
puede decirse que es "una ciencia" en un sentido amplio,
como puede ser, por ejemplo, la enseñ anza, pero
también es un arte. una habilidad interpersonal, algo que
hacen los jueces y los jurados y los críticos literarios y
los asesores inmobiliarios y los tasadores de joyas, y por
lo tanto no es "una de las ciencias". Véase también
Fomiative/Sumative, Analytical/Holistic, etc.
EVALUACIÓ N EOUCATTON La educació n del
consumidor es todavía bastante débil en cuanto a la
formació n en evaluació n, que debería ser
su componente más importante. Y, por supuesto, hay
otros contextos además de aquellos en los que el papel de
uno es el de Consumidor, donde la evaluación de la
e‹juación sería más valiosa, en particular el papel de
gerente, o el papel de proveedor de servicios/profesional.
Pocos maestros, por ejemplo, tienen la menor idea de
cómo evaluar su propio trabajo, aunque éste es sin duda
el requisito mínimo de profesionalismo. Las últimas
décadas han visto un esfuerzo federal y estatal
considerable.
"- op ov mi asona le stan a s de calidad? eso proteger al
consumidor en varias áreas; no han entendido realmente
que la superposición de estándares es un pocrsustituyan la
suerte entendiendo la |ustificacion por ellos. El
entrenamiento de evaluación es la formación de
evaluadores (principalmente profesionales); La
educación para la evaluación es la formación de los
ciudadanos en técnicas de evaluación, trampas y
búsqueda de recursos, y es el único enfoque satisfactorio
a largo plazo para mejorar la calidad de nuestras vidas
sin gastos adicionales. Despilfarro ordinario de recursos.
ÉTICA DE LA EVALUACIÓN Y ETIQUETA Porque
ex'aluación en pr. ctice sc a menudo implica engañosas
relaciones interpersonalestiene mucho que aprender de la
diplomacia, el arbitraje, la mediación, la negociación y la
gestión (especialmente gestión de personal).
Desafortunadamente, la sabiduría de estos áreas está
encapsulada en materiales de aprendizaje y
capacitación, que son principalmente triviales o
anecdóticos. El enfoque correcto le parecería a Lex'ia el
refinamiento de los principios normativos y el desarrollo
colateral de extensos ejemplos de calibración, en lugar
de desarrollar la habilidad en el análisis ético aplicado
(casuística). J Un ejemplo: vuu son losslo por primera vez
en un equipo de visita a una institucin prestigiosa ción,
y }'‹›usted se da cuenta gradualmente, a medida que
pasa el tiempo en especializarse y leer o escuchar los
informes de la administración trators y ‹1dministr.ation-
selectV facultV, que ningún serio e›'alu4ti‹›n está a punto de
ocurrir a menos que yo/‹›ii d‹› algo sobre
.t. ¿Qué debe hacer? Hay .z preciso (flow-ch.artablc)solución
'que especifica una secuencia de acciones y enunciados'
6« "
ance.s, e‹zch ct›ntingent u[›on the particular ‹out of the
prex'iou/s Act, nnd th que evita el comportamiento poco
ético mientras minimiza• la angustia; matujx' profcssion‹tls
sin e\'alua-tit›n excrieilc \'ur get it right; scme muy
experimentado y reflexivo cx ‹1lu•1turs come x'ery rlose;
‹1 grupo cont‹1in-
ing ambos alcances consenso total al respecto después de
una discusió n de veinte minutos. Como tanto en la
evaluació n, esto muestra que cumple con los está ndares
del sentido comú n, aunque no está en nuestros informes
individuales. Debería ser. Otro ejemplo: una respuesta
por escrito sobre una evaluació n anó nima del personal
(erm acusa al evaluado de acoso sexual. Como persona a
cargo de la evaluació n, ¿qué debe hacer exactamente?
('Ignorar no só lo es éticamente incorrecto, es
obviamente
55
gq
clientes como referencias o siihplv mirando una lista de
publicaciones o informes, pero evitaría los problemas clave
con la concesió n de licencias: está ndares de cumplimiento y
financiació n. Los costos iniciales para tal registro, aunque
pequeñ os, no está n disponibles, posiblemente porque
estamos en un período de evaluació n negativa. Véase
Directory of Evaluation Consultants (The Foundation
Center, 1981).
"EVALUACIÓN 6vałuatk›n dane irLa•au-i-.
nuestra manera científica; el término es popular entre los
seguidores
del modelo de evaluació n de las ciencias sociales. Ver Introducció n
a este libro
METODOLOGÍA ESPECÍFICA DE EVALUACIÓN Gran parte
de
la metodología utilizada en los estudios de evaluació n se deriva
de otras disciplinas: la naturaleza especial de la evaluació n
es la forma en que selecciona y sintetiza estas
contribuciones en una perspectiva general adecuada, y las
obliga a influir en los diversos tipos de tareas de evaluació n.
Pero hay algunas situaciones aquí variaciones sustanciales
en se vuelven apropiados los procedimientos usuales en la
investigació n científica. T 'o instancias a'ill ô e mencionado.
En la investigació n de encuestas, el tamañ o de la muestra
está normalmente predeterminado a la luz de
consideraciones estadísticas y evidencia previa sobre los
pará metros de població n. En evaluació n, ‹Aunque hay
ocasiones en que un
»urvex' uf el tipo clá sico es aprox. 'r°, survevs son
frecuentemente' »n'‹ /i nt‹›n/ en lugar de
th.art‹J«r›‹/›tn'‹'»un'evs y luego la situació n es bastante
diferente. Supongamos que un encuestado, en una encuesta
telefó nica \nt 'dejemos' evaluar a los usuarios de un
servicio pamcu-far, encuentra un comentario totalmente
inexperto
‹›n el servicio que sugiere, digamos, comportamiento impropio
comportamiento bx' los sein hielo-prtividers. (Podría
igualmente estarlosugiere un efecto secundario inesperado y
altamente beneficioso). En el patró n está ndar de sun*e\', uno
continuaría , utilizando el mismo formulario de entrevista, a
través del resto de la muestra. En c›'aluations, une \›'ill
bastante otten
'ant tu alter the form st› as to include a explicit question t›n
this p‹›int. Uf courbe, uno ya no puede informar los resultados
deel sol'ex' »'con una muestra de cien, 'con respecto a esta
pregunta (y otros con los que su presencia podría
interactuar). Pero c›ne max 'ver' 'él él capaz de
encontrar .otro I» ents' peoylc que respondía bajo cueiny, \
x'h‹› no lo haría
han producido esto como una respuesta libre. Ese resultado es
mucho más importante. que salvar la encuesta, en la
mayoría de los casos. También apunta a otra característica
de la situació n de evaluació n, a saber, la conveniencia de
secuenciar en el tiempo las entrevistas o las respuestas a los
cuestionarios. Por lo tanto, uno debe tratar de evitar
• el uso de un solo envío masivo de correos una prá ctica
comú n en la investigació n de encuestas; mediante el uso de
correo secuencial se pueden examinar las respuestas para
posibles modificaciones del instrumento. El segundo tabú
que podemos tener buenas razones para romper se refiere
al tamañ o de la muestra. Si nos encontramos obteniendo un
muy alto
. está ndar tipo de respuesta a una pregunta bastante elaborada-
En el aire, estamos descubriendo que la població n tiene menos
variabilidad de lo que esperábamos, y deberíamos alterar
nuestra estimació n de una muestra apropiada sL.e a mitad de
camino. No tiene sentidoen continuar pescando en las
mismas aguas si no muerdes después de una hora. La
generalizació n de este punto: es a la u:‹e de diseñ os
“emergentes”, “en cascada” o “rodantes”, donde todo el
diseñ o varía en ruta segú n corresponda. (Estos términos
provienen del glosario en £oaiuafioii Stands fs.) Otra
metodología específica de evaluació n incluye el uso de
equipos paralelos que trabajan independientemente, la
calibració n de
)jueces, convergencia sesiones, "ciego" juez síntesis, la
evitació n de la recopilació n de datos a menos que los aata
sean necesarios para la replicació n o sean indicadores de
error, equilibrio de sesgos, etc. Véase también Anonimato,
Cuestionarios.
EVALUACIÓN SXILLS Hay listas de deseables
habilidades para evaluar (Stufflebeam tiene una
con 234 competencias más; en cuanto a filósofos,
casi cualquiera tipo de conocimiento especializado es
ventajoso, y J'hè hè herramienta más obvia "habilidades solas
(ver el Evaluación Xey ChecMist) están lejos más exigente que
en cualquier otra disciplina: estadística, análisis de costos,
análisis ético, administración. enseñando. terapia, contrato
de ley, gráfica, síntesis difusión (para el informe); y por
supuesto están las técnicas específicas de evaluación.
Aquí mencionamos un par que son menos obvios.
Primero, la actitud evaluativa o temperamento. A menos
que estés comprometido a la bú squeda por calidad, como lo
mejor de aquellos en ej. la lega) o las profesiones
científicas está n comprometidas con la bú squeda de la
justicia o el arco de la verdad, está s en el juego
equivocado. Se sentirá tentado con demasiada facilidad
por los encantos de "Unirse" (por ejemplo, unirse al
personal del programa; consulte Going Native); tc›t›
descontento con el papel del forastero. la virtud de
•* ›.
6C
evaluació n i//t/sf lx' su propio al rewdrd, porque las
hondas y las flechas son muy reales. (Por cierto, este valor
es un aprendizajey probablemente incluso una
característica enseñ able para muchas personas; pero
algunas personas lo adquieren de forma natural y otras
nunca lo cambiará n.) El segundo paquete de Las
habilidades reivindicadas son habilidades de "aná lisis
ló gico prá ctico", p. identificar agendas ocultas o
suposiciones desapercibidas sobre el proceso de
diseminació n; o desajustec› entre unquad-séf \ t â na
un enunciador de necesidades; de Iu‹TptioJWn ñ fi diseñ o de
evaluació n; la capacidad de proporcionar un resumen
precisomarías uno cincuenta ci el longitud del original
(precis) o a dar una descripció n totalmente no evaluativa, no
interpretativa de un programa o tratamiento La buena
noticia es que nadie es bueno en todas las habilidades
relevantes; que haya i5 espacio para los especialistas, y
también para los miembros del equipo. En parte debido a la
formidable naturaleza de la lista de habilidades relevantes,
la evaluació n es un campos aquí aprende /f /›r‹›/ ‹' malos
‹todos/i/c›t/t ‹/ son inmensamente' mejores que
- solistas. No solo son dos anuncios mejores que uno, seis
cabezas—i(Cuidadosamente'elegidos y
apropiadamente'instruidos—son mejores que fi\'e"'
EVALUACIÓN ESTÁNDARES A conjunto de principios
para
la guía de tasadores y sus clientes. El mayor
esfuerzo es el Evaluai ter Standards !ed. D. Stufflebeaq,
kJcGrau' Hill, 1980), pero la E\'aluation Itese.arch
Society'ha .\l»c› producido un conjunto. Hay algunos
«adt- nesss» compartidos, por ejemplo, ninguno
incluyeNeessm•nt— pero el
primero es mucho má s explícito acerca de la interpretació n,
dando ejemplos específicos de ‹aplicaciones, etc.
.y gener‹1l rendimiento, pero los flars han sido expresados por
iirst-r‹ank e\'aluatr›rs that thL\' may rigidifv appr‹›aches,
sofocar la investigació n, aumentar los costos (ct "defensix'e
lab tests" en
EVALUACIÓN, TEORÍA DE La “o ofc*valu‹1tion” incluye»
‹1 u'ide range t›f topic» frc›m the lc›yic c›f evaluah\'e
discurso, yenqrat da cuenta de (la naturaleza de la e\'aluació n
y ht›"' puede bt* |ustificar6 (‹axioloy\'), a través de la
sc›ciopolítica. en particular t\ pes uf medio ambiente, tt›
‹›-llamado lltd "m¿›dcls" \\ que ‹›frecuentemente son
simplemente conceptu.aliz.1- tic›ns tel o prc›cecJ viral
rrcomm‹ ndahons miedo ovalunti‹›n.
Se financia poco trabajo sobre esto; una excepció n
notable es el proyecto Rcmarch on Evaluation del NIE en
NWL, una serie de estudios sobre 'métodos' de
evaluació n radicalmente diferentes.
CAPACITACIÓN EN EVALUACIÓN Básicamente,
no existe un apoyo serio para esto en este momento,
a pesar de la gran demanda (y la mayor necesidad) de
evaluadores capacitados. tal vez una señal de una
reacción violenta en la evaluación. Los lugares de
ayuda son probablemente
• CT[tCE y el Centro de Evaluación en Western ktich\ an con
post-tot w ziï fhe Laboratorios del Noroeste. Los
cursos cortos sonancho moze)y avaiIab)e y anunciado en
qpe/upfion JVcz s. Véase también Traïaïng de Evalaadores.
EVALUAR UN TfTUtfE V e r e v o l u c i ó n
Sktlb.
EVACUADO Una persona siendo evaluada; el término
má s general, que cubre productos y programas, etc., es
"evaluar".uand.”
EJECUTIVA RESUMEN Resumen de los resultados
de un evaluació n, generalmente en lenguaje nou-
técnico.
SALIDA ENTREVISTAS
Entrevistas con sujetos a medida
que se van, por ejemplo, un programa Gaining occlínico, para
obtener datos reales y de juicio. Un muy buen momento para
estos, con respecto al curso. o evaluació n de la enseñ anza en
el escuela OY Universidad colocar- ting, es en el momento de
graduarse, C u á n d o : (a) el stu"'rit será tener algo
perspectiva sobre mbst de la educació n experto-,
encia; (b) (la tasa de retribució n es baja; (c) la tasa de respuesta
puede ser cercana al % con una planificació n cuidadosa; (d) juicios
de efectos
son relativamente sencillos por ejemplo, por trabajo-
enperirnce, como un factor extra causal; (e) la memoria
aú n está fresca. Después de esto (encuestas de ex
alumnos), las condiciones pueden deteriorarse y lo
hacen, aunque hay una compensació n parcial porque la
relevancia del trabajo puede juzgarse con mayor
precisió n.
EXPERTO Ver True Experú nent.
EXPERIMENTA' GRUPO El grupo (o persona sola,
etc.) que está recibiendo el tratamiento en estudio. Cf.c0fttf0l
gYUtnQ.
62
71
cajas y triangulos ("bloques de actividad", etc.)
conectados por líneas y símbolos que indican
actividades/puntos de decisió n simultá neos o
secuenciales, etc. El grá fico AP£RT es un grá fico especial
caso.>
ENFOCAR lo de un programa Un concepto más apropiado
para la mayoría de las evaluaciones que ”objetivo”; ambos
son conceptos teó ricos, ambos sirven para limitar las quejas
sobre cosas no hechas al á rea general donde los recursos
están disponibles/utilizados legítimamente.poder. El
enfoque de un programa a menudo mejora con una
buena evaluació n.
EVALUACIÓN FORMATIVA La evaluació n formativa
se lleva a cabo durante el desarrollo o mejora de un
programa o producto (o persona, etc.). Es una evaluació n
que se lleva a cabo por el personal in-hoc del programa y
normalmente permanece internamente; pero puede ser
realizado por un evaluador interno o externo o
(preferiblemente) una combinació n. La distinció n entre
formato y sumativo ha sido bien resumida en una frase
de Bob Stake 'Cuando el cocinero prueba la sopa, eso es
bueno; cuando los invitados prueban
la sopa, eso es summaùve.“ Por lo general, la evaluación
formativa se beneficia de evaluación znaJytic, pero fzoliético
evJua- ción más hial-and-error o asesoramiento de
expertos también funcionará y puede que algunas veces
se todo ese es posible. Arialítico la evaluación, a su vez,
puede o no involucrar/requerir/producir un análisis causal,
D por
lo que la conexión entre evaluación y
ció n es bastante remota, contrariamente a W. Edwards
comentario alt citado: "La evaluació n es un estudio de las
causas".
FOL/ND DATA Datos que ya existen, antes de la
evaluació n; el contraste es con datos experimentales o
datos de prueba y medició n.
DOCUMENTO FUGITIVO Aquel que no se publica a
través de los canales pú blicos como libro o artículo
escrito. Los informes de evaluació n han sido a menudo
de este tipo. ERIC (Centro de Informació n de Recursos
Nacionales para la Educació n) ha recogido algunos de
estos, pero dado que sus está ndares de selecció n son tan
variables y su selecció n tan limitada, el tiempo dedicado
a la bú squeda con demasiada frecuencia no es rentable.
FUMOÏNG (evaluaciones de uf) Se hace de muchas
maneras, pero aquí se describen los patrones má s
comunes. La propuesta de evaluació n puede ser
"iniciada en el campo", es decir, no solicitada, o
envió en respuesta /o(a) un anuncio de programa, (b) una
RFP (Solicitud de propuesta), (c) una solicitud directa.
Típicamente (a) resulta en una subvención, (b) en un
contrato; el primero identifica un cargo general o misión
(p.ej "desarrollar mejorado pruebas para las dimensiones
afectivas de la primera infancia”) y el último especifica más o
menos exactamente lo que se debe hacer, por ejemplo, cuántos
ciclos de pruebas de campo (y quién va a ser muestreado, el
tamaño de la muestra que se utilizará, etc.), en un "Ámbito de
trabajo". La diferencia legal es que este último es exigible por
falta de cumplimiento, el furmer (prácticamente) no lo es. Pero
apenas tiene sentido usar contratos para investigación (ya que
generalmente no se puede prever cual la forma en que irá), y
rara vez es justificable usarlos para las evaluaciones de
programas muy específicas exigidas por la ley'. Enfoque
c,“proveedor único”, elimina licitación competitiva y por
lo general sólo puede ser justificada cuando sólo un
contratista tiene mucho la mejor combinación de
‹experiencia elevada o recursos útiles o de personal; pero es
mucho más rápido y evita el absurdo común de 40 postores,
cada uno gastando 12K (S12, £ 3X1) para presentar una
propuesta por valor de 3tXIK al ganador. El desperdicio allí
(180K) proviene de los costos generales cual son finalmente
pagado por el contribuyente, o b} postores yendo rompió
porque de tonto requisitos Un buen compromiso es eldos
niveles En el sistema, todos los oferentes presentan una
propuesta preliminar de dos (o cinco o diez) páginas. los
mejores obtienen una pequeña subvención para desarrollar
una propuesta completa Los contratos pueden o no tener
que adjudicarse al postor "calificado" más bajo; la
calificación puede involucrar recursos financieros,
estabilidad, desempeño previo, etc. , así como técnico y
gestión pericia. en grandes contratos hay u»ua1lY a
'postores' conferencia" dentro de poco después de la
publicación de la RFF (a menudo se requiere que las agencias
federales publicar el RI I' en el comercio de negocios Dzzi/y y/o
el FegistPr fe‹Ieral). Semejante una conferencia oficialmente
sirve para aclarar la RFP; de hecho, puede ser un cruce entre
una estafa y un juego de póquer. Si haces preguntas
ingeniosas, otros pueden (a) estar asustados, (b) robar su
enfoque, etc. credibilidad, etc. Eventualmente, tal vez
asistiendo a una segunda conferencia de licitadores, se pedirá
a los licitadores más prometedores su mejor oferta y la final y,
sobre esta base, la agencia seleccionará una, probablemente
mediante una revisión externa posiblemente anónima.
panel para dar credibilidad a la selecció n. Después de la
primera reunió n entre el ganador y el oficial del proyecto
(el representante del agente debe llamarse monitor), a
menudo resulta que la agencia quiere o puede ser
persuadida para que quiera que se haga algo que no está
claramente en el contrato; entonces se renegociará el
precio. O si el precio era demasiado bajo (la RFP a
menudo lo especificará en términos de "Nivel de
esfuerzo" como i'4 "añ os-persona" de trabajo; esto puede
significar NX 30K o i'N S 50K en tenis en dó lares,
dependiendo sobre si los gastos generales son un
complemento) para hacer el trabajo, el contratista puede
seguir adelante hasta que se quede sin dinero y luego
pedir má s, con el argumento de que la agencia habrá
invertido tanto y estará tan irreversiblemente
comprometida ( en cuanto al tiempo) que tienen que
cumplir para "salvar su inversió n". “El contratista, por
supuesto, pierde credibilidad en las ofertas posteriores,
pero es mejor que ir a la banca; y los registros están tan
mal guardados que nadie puede acusarlos (si es que
deberían hacerlo). En los viejos tiempos, las ofertas de
lpw eran una fachada y la renegociació n con argumentos
falsos a menudo conducía a un costo muy superior al de
otro mejor postor. Dado que las evaluaciones son
difíciles de hacer en muchos sentidos, los postores deben
permitir una almohadilla en su presupuesto para
contingencias, o simplemente cruzar los dedos,
•QUÉ RÁ PIDO Guías a la quiebra De ahí otro ofon Es hacer
RFF por el mejor diseñ o y viáticos y luego dejar el contrato por
el tiempo que sea necesario para hacerlo. La forma de abuso
asociada con este costo más el enfoque es que el contratista
está motivado para extenderlo. Por lo tanto, no se obtiene un
ahorro general claro con ninguno de los dos enfoques; pero el
más gordo todavía se usa donde la agencia quiere poder
cambiar los objetivos a medida que los resultados preliminares
llegan, un punto sensato, y donde tiene un buen personal de
monitoreo a evitar excesivo excesos (fmm .vt/- irio/ que
por supuesto no son vinculantes). Una gran debilidad en todos
estos enfoques es que las propuestas innovadoras a menudo
fracasar porque la agencia que yo nombré una revisión panel
de personas comprometido a el tradicional Enfoques
quién
naturalmente, tienden a financiar "uno propio". Otra
debilidad importante es la complejidad de todo esto, lo
que significa que las grandes organizaciones que pueden
permitirse abrir sucursales en DC, pagan a redactores de
propuestas profesionales y "personal de enlace" (es
decir, lubrificadores). bvistas), tienen un tremendo
margen (pero a menudo hacen un mal trabajo, ya que la
mayoría de las mejores personas no trabajan para ellos).
Una tercera debilidad clave es que el sistema descrito
favorece el pro-
sesenta y cinco
7
conducto de papel oportuno en lugar de la solució n de
problemas, ya que eso es todo el proceso de seguimiento y
gestió n puede identificativo Miles de millones de dó lares,
millones. de puestos de trabajo, se desperdician miles de
vidas porque no tenemos un sistema de recompensa por un
trabajo realmente bueno, que produzca soluciones
realmente importantes. La recompensa es por la propuesta,
no por el producto; y la recompensa es el contrato. Una vez
obtenidos, só lo la falta de fiabilidad en la entrega o la
negligencia grave ponen en peligro las adjudicaciones
futuras. Puede ver el sistema de valores que produce este
arreglo por la forma en que todos los vicepresidentes pasan
a trabajar en la siguiente "presentació n" tan pronto como se
completa la negociació n. Seríasolo cuesta centavos para
revertir este procedimiento a través de (parcial) premios de
contingencia y Paneles de expertos para evaluar el trabajo
realizado en lugar de las propuestas.
FUTURISMO Dado que los bienes de consumo está n
diseñ ados para algunas poblaciones futuras y no (solo) para
las presentes, gran parte de la evaluació n requiere estimar
las necesidades y el rendimiento futuros. El aspecto má s
simple de esta tarea involucra la extrapolació n de datos
demográ ficos; incluso esto se hace p¢wrlv, por ejemplo. la
crisis de las inscripciones en la educació n superior solo fue
prevista por un analista (Cartter), aunque la inferencia es
bastante simple. La tarea má s difícil es predecir, por
ejemplo, los patrones reales de actuació n con veinte añ os
de antelació n. Aquí hay que caer b. ck en técnicas de
cox'enng de posibilidad, en lugar de selecció n de
probabilidad, por ejemplo, mediante la enseñ anza;
flexibilidad de actitud o generalizació n
Habilidades .capaces.
GENERALIZABILIDAD (Cf. Validez Externa) Al- aunque
la validez externa se equipara comú nmente con la generalidad
izabilidad, se refiere só lo a una parte de ella. Normalmente
uno quieregeneralizar a poblaciones (etc.) t's.Inf/in//yc//ic'r
que el probado, no solo r. trii|x›lnhly utlier; y no son solo las
diferencias de població n, sino las diferencias de tratamiento y
las diferencias de efecto
‹ (ha( son de interés. (Consulte el punto de verificació n de
generalizabilidad en la Lista de verificació n de evaluació n
clave) En resumen, la generalizabilidad de la validez eterna
es similar a la de las estadísticas inferenciales; podríamos
llamarlo s/i‹›rt-raiiy‹', ;‹'ii‹ ri//t::nti‹›ii. Pero la ciencia y la
evaluació n
.ation están constantemente empujando por Ti,;-rniiy‹• v‹
n'rnliznti‹›ii. involx'ing tenut›us inductis'e o saltos
imaginativos que requieren investigació n. La centralizació n
está, pues, a menudo má s cercaespeculahon que a rrl rnJXifi
itiiiii Y el valor de cosas/ personas es seguido crucialmente'
afectado por su s ersatilidad, es decir
75“
utilidad a través neralizació n.-
EVALUADOR DE PUBLICIDAD GENERAL Alguien con
una amplia gama de experiencia en evaluación, no
identifcado con un campo/área/disciplina en particular.
(El contraste es con una experiencia local.) ft kelps to
kave y el término también puede connotar experiencia
fuera de un tipo de evaluación, p. a¢cmditatioa tipo de
evaluación. El médico de cabecera es débil-
. La falta de conocimiento es una falta de conocimiento legal,
pero esto contrasta con la falta de sesgos locales. El mejor
arreglo es el uso de dos (o más) evaluadores. uno de I‹xal y
uno de propósito general.
m
i
E@C
estos en realidad no lo es. no; por otro lado, considerarlo como
en las insatisfactorio cuando es realmente satisfactorio no puede
fases de costarle mucho al fabricante. r thai 'iump1e le cuesta al
análisis fabricante rpan tc› hacer Por lo tanto, ii es
, ‹ bx en interés del público y del fabricante lJis'cn la
elabora posibilidad de juicios por dañ os) para establecer .un
ción de sistema que minimice la posibilidad de tales aceptaciones,
tesis y ex'cn a expensas de un rutner I.alto nivel de tales rechazos
registro Debido a las características no mnemotécnicas totales de
. Por los términos ”Tx pe 1” y ” type 2,” es .alvv.ays A•tte: usar
ejemplo términos como aceptació n incorrecta" ad ”inc‹ rrel t
, en los rechazo›n” y convertir el refvrant en ‹r nliininl, yo a ella que
procedi el iiiiff /ii/Jx›iJi‹›i>, th‹• 1ntt'i conce it A•inp like1}' to pre›:
mientos e iinenlighteninb tt› mc›st audiencias
de ILLUhilN.CTIVO EVALUACIÓN (Pdrlett y Hamilton) W
control type c›i pute pr‹›cess c•x alu‹ation, men,' heavy' on multi-
de perspective descriphon and interycrsc›nal relat›ns, verve liy•ht t›n
calidad ju stifled t›ugh staaJards, muy fácil sobre valor- phobes .ind x
en la cm' w cll d‹•fended in Más allá de el Nuitihr•s Quimr
fabricac (41acS1ill9n 1977) Congenial tc› r•.sponsive evalua- tion así
ión de que ppc›rters, no iinlik‹• evaluació n de perspectiva excepto
drogas tTitirt' f£'l‹2ti¥ lnhti
(un tipo
de IMPACTO E¥'ALUACIÓN .An cx.aluatic›n lata enfocada
evoluci
ón),
puede I MPAC y ED POBLACIÓNla [›‹›prtl,atic›n th.zt es
ser fatal ‹ nici.zl in r't .flu.I ti‹›n, h\' ‹*‹›n I› •ht ›x itfi thL• I.ai obtener y› ›gt‹l• ti‹›M
para un .in‹lc\'t*n el verdadero consumidor. ñer' efectos de retroceso.
consum
idor INIPLEMENTACIÓ N E¥'ALUATION R 'cent reactli›n , '‹›
tht' p• 'ner.ally' unex citando rvsuits ot irrtpact cv.a 1 uatluns on
potenci
st›‹ ial ,actl‹›n prtipr.anus hash' incluido .a shift ti› .:o:e mc›ni-
al
t'›ring• ‹›f Sri›pra m c5c'lis'er\' ie implcmrntatH ›n exm lu.a titan .
identifi
\ t ›H ‹'.in t'a sl es diablillo emen t, es más difícil impriix e
car una
droga IM PPE SI ENTATIt)N M i n e r a l VALOR NS Yo
tan h‹• tr •-
satisfac
toria
cuando
tienda y lo má s deseable es que se implementen;
(b) Algunas evaluaciones no provocan, y no deben hacer, de
manera inmediata.
día recomendaciones evaluaciones de rendició n de
cuentas);
ei sin embargo tienen un potente efecto preventivo y algú n
efecto acumulativo a largo plazo, pero ninguno es
fá cilmente medible; (c) Muchas evaluaciones se encargan
de tal manera que, aun cuando se realicen de la mejor
manera posible, no será n de utilidad porque se
establecieron para ser irrelevantes para los problemas
reales que afectan al tomador de decisiones, o tienen tan
poco financiamiento que no se puede obtener una
respuesta só lida; de nuevo, es mejor que no se
implementen; (d) Algunas evaluaciones excelentes se
ignoran porque a quien toma las decisiones no le gustan
los resultados (por ejemplo, se siente amenazado por
ellos) o no asume los riesgos o problemas de la
implementació n. El concepto de “falta de
implementació n” tiene, por lo tanto, pequeñ as o grandes
implicaciones para la I...J de la evaluació n, dependiendo
enteramente de la distribució n de las causas entre estas
cuatro categorías. Difícilmente es algo por lo que
preocuparse indebidamente desde el punto de vista
profesional, ya que la evaluació n todavía tiene un largo
camino por recorrer para hacer bien su propio trabajo;
los médicos no deben preocuparse de que sus pacientes
ignoren sus consejos si un mayor celo es malo. Pero
como ao/izi'›f uno difícilmente puede evitar preocuparse
por el desperdicio colosal resultante del cuarto tipo de
situació n; He aquí una cita bastante típica de los
informes de la GAO del 1 de agosto de 1980 sobre sus
evaluaciones (normalmente muy buenas): "El Congreso
tiene una excelente oportunidad para ganar miles de
millones de dó lares al limitar el nú mero de aviones que
no son de combate a aquellos que pueden ser
adecuadamente justificado... Las justificaciones del
Departamento de Defensa [estaban] basadas en datos
poco realistas y sin la consideració n adecuada de má s
alternativas econó micas". GAO ha estado emitiendo
informes sobre este tema desde 197f› sin ningú n efecto,
por lo que los médicos no deben preocuparse de que sus
pacientes ignoren sus consejos si un mayor celo es malo.
Pero como ao/izi'›f uno difícilmente puede evitar
preocuparse por el desperdicio colosal resultante del
cuarto tipo de situació n; He aquí una cita bastante típica
de los informes de la GAO del 1 de agosto de 1980 sobre
sus evaluaciones (normalmente muy buenas): "El
Congreso tiene una excelente oportunidad para ganar
miles de millones de dó lares al limitar el nú mero de
aviones que no son de combate a aquellos que pueden
ser adecuadamente justificado... Las justificaciones del
Departamento de Defensa [estaban] basadas en datos
poco realistas y sin la consideració n adecuada de má s
alternativas econó micas". GAO ha estado emitiendo
informes sobre este tema desde 197f› sin ningú n efecto,
por lo que los médicos no deben preocuparse de que sus
pacientes ignoren sus consejos si un mayor celo es malo.
Pero como ao/izi'›f uno difícilmente puede evitar
preocuparse por el desperdicio colosal resultante del
cuarto tipo de situació n; He aquí una cita bastante típica
de los informes de la GAO del 1 de agosto de 1980 sobre
sus evaluaciones (normalmente muy buenas): "El
Congreso tiene una excelente oportunidad para ganar
miles de millones de dó lares al limitar el nú mero de
aviones que no son de combate a aquellos que pueden
ser adecuadamente justificado... Las justificaciones del
Departamento de Defensa [estaban] basadas en datos
poco realistas y sin la consideració n adecuada de má s
alternativas econó micas". GAO ha estado emitiendo
informes sobre este tema desde 197f› sin ningú n efecto,
por lo que ›f uno apenas puede evitar preocuparse por el
colosal desperdicio resultante del cuarto tipo de
situació n; He aquí una cita bastante típica de los
informes de la GAO del 1 de agosto de 1980 sobre sus
evaluaciones (normalmente muy buenas): "El Congreso
tiene una excelente oportunidad para ganar miles de
millones de dó lares al limitar el nú mero de aviones que
no son de combate a aquellos que pueden ser
adecuadamente justificado... Las justificaciones del
Departamento de Defensa [estaban] basadas en datos
poco realistas y sin la consideració n adecuada de má s
alternativas econó micas". GAO ha estado emitiendo
informes sobre este tema desde 197f› sin ningú n efecto,
por lo que ›f uno apenas puede evitar preocuparse por el
colosal desperdicio resultante del cuarto tipo de
situació n; He aquí una cita bastante típica de los
informes de la GAO del 1 de agosto de 1980 sobre sus
evaluaciones (normalmente muy buenas): "El Congreso
tiene una excelente oportunidad para ganar miles de
millones de dó lares al limitar el nú mero de aviones que
no son de combate a aquellos que pueden ser
adecuadamente justificado... Las justificaciones del
Departamento de Defensa [estaban] basadas en datos
poco realistas y sin la consideració n adecuada de má s
alternativas econó micas". GAO ha estado emitiendo
informes sobre este tema desde 197f› sin ningú n efecto,
por lo que El Congreso tiene una excelente oportunidad
para igualar miles de millones de dó lares al limitar el
nú mero de aviones que no sean de combate a aquellos
que puedan justificarse adecuadamente. . Las
justificaciones del Departamento de Defensa [eran]
basadas en datos poco realistas y sin la consideració n
adecuada de otras alternativas econó micas". La GAO ha
estado emitiendo informes sobre este tema desde 197f
sin ningú n efecto. El Congreso tiene una excelente
oportunidad para igualar miles de millones de dó lares al
limitar el nú mero de aviones que no sean de combate a
aquellos que puedan justificarse adecuadamente. . Las
justificaciones del Departamento de Defensa [eran]
basadas en datos poco realistas y sin la consideració n
adecuada de otras alternativas econó micas". La GAO ha
estado emitiendo informes sobre este tema desde 197f
sin ningú n efecto.
I.ar Ver Evaluació n de Riesgos.
IMPLEMENTACIÓ N DEL TRATAMIENTO El grado
t‹› cuyo .1 tratamiento ha sido ejemplificado en una situació n
particular, típicamente en \el ensayo de campo del tratamiento
o un experimento ment.al investig‹iti‹›n de ellaLa noció n
de un ”índice de implementació n” c‹›resib-I.ng cf un
conjunto c escalas que describen el kev Ie.zture• uf el
tre‹tLment, .y otorgá ndose ‹›ne a mí .arure la extensió n
t‹› 'que i' m‹1nifested en c.Fch dimensió n, es ú til para
‹heckinb en la implementació n, ¡absolutamente
tundamcnto! comprobar si vamos a averiguar si el
tratamiento
uno y, por lo tanto, depende de este ú ltimo para esta o
futuras tarifas, una fuente no despreciable de sesgo. Las
conexiones sociales más sutiles entre miembros de la
misma profesió n, por ejemplo, evaluadores, son una base
amplia para la sospecha sobrela verdadera independencia
de la segunda o metn-evaluatofs opinió n. El mejor
enfoque suele ser utilizar má s de una
segundo- D °r '° norte“ unD lo má s amplio posible
seleccionando estos otros evaluadores esperando de una
inspección de sus informes (escritos independientemente)
para obtener una idea de la variació n dentro del campo, a
partir de la cual se puede extrapolar tarde a una estimació n
de errores probables.
TINDEPENDIENTE VARIABLE Ver Variable Deyendeat.
tNDF1 enO Un factor, variable u observación que está
empíricamente conectada con el criterio; un correlato Por
ejemplo, el juicio de los estudiantes de que un curso ha sido
valioso ta ellos para la formación preprofesional es un
indicador (débil) de eso valor. Czitezta, por conbasto,nre, o son
iii/ioiio//y conectado con, la variable “criterio” (pago real).
Indicadores por lo tanto, incluyen pero no se limitan a los
criterios. Cuiiistriicte‹t Los indicadores (o “índices”) son
variables /fai,y/ic'/f que reflejan, por ejemplo, la salud
de la economía (un indicador social) o la efectividad de
un programa Ellos, como las calificaciones de los
cursos, son ejemplos de la necesidad frecuente para
evaluaciones concisas incluso a costa de cierta
precisión y confiabilidad. Indicadores. a diferencia de
los criterios. tienen una validez muy ágil y pueden
manipularse fácilmente.
\ESTADÍSTICAS NFERENCIALES Esa parte relacionada
con hacer inferencias de las características de
las muestras a las características de la
población de la que proviene la muestra, lo que
por supuesto solo se puede hacer con un cierto
grado de probabilidad (ct. Estadística
descriptiva). ¿Las pruebas de significación y los
intervalos de confianza son dispositivos para
indicar el grado? del riesgo involucrado en la
inferencia (o "estimación"), pero solo cubren
algunas dimensiones del riesgo. Por ejemplo, no
pueden medir el riesgo debido a la presencia de
inusuales
y posiblemente circunstancias relex'ant tales como clima
extrañ o. una incipiente escasez de gas, ESP, etc. El juicio
entra así en la determinació n final de la probabilidad de
la condició n inferida. Véase Validez externa para la
‹distinció n entre la inferencia en inferentia‹ estadística y
en generalizació n, ‹sr otra inferencia plausible
SESGO DE INICIACIÓN-JUSTIFICACIÓN (o “Boot Camp
es
Hermosa") La tendencia a argumentar que las experiencias
desagradables por las que uno pasó son buenas para los
demá s (y para uno mismo). Una fuente clave de sesgo en el
uso de entrevistas a ex alumnos para la evaluació n de
programas. Ver Consonance/Disonance.
LÓGICA INFORI}4AL Los teó ricos de la evaluació n
sexual consideran que la evaluació n es, en algunos aspectos
o formas, una especie de persuasió n o argumentació n (en
particular, Ernest House, en Eovaluando con Validilnj, Sabio,
1980). Lutérminos de esta visió n, Es relevante que haya
nuevos movimientos en la ló gica, el derecho y la ciencia que
dan más juego a lo que ha sido previamente. descartados
como factores "meramente psicoló gicos", por ejemplo,
sentimientos,
comprensión, plausibilidad, dificultad. La “lógica informal
movimiento “es paralelo al de la Nueva Retórica y natural-
metodologia isÙ c en las ciencias sociales Reff - ml Ló gica ed.
Johnson y Blair, Edgepress, 1980.
TNFORh*EO CONSENTIMIENTO El estado que se
intenta lograr en adultos conscientes y racionales como una
buena mirada haciacumplir con las obligaciones éticas de
on•• hacia los sujetos humanos. Los casos difíciles
involucran adultos semi-racionales semi-conscientes y
semi-comprensivos.
APORTE EVALUACIÓ N/EN Dualmente se refiere tt flue
unde.'sir-
Prá ctica factible de usar dualidad de ingredientes como un
índice de calidad o producció n (o uf el evaluando), por
ejemplo, proporció n deDoctorado en <a Universidad
taculto)' como ‹un índice de mérito. Eso posee a Uso
ofertado y legítimo en el modelo CIPP.
TNSTITUTONAL EVALUACIÓN Una evaluación de
cumplex
tiLlzi, lv picslls' i ri 'ul S izig the' evaluati‹›zi ‹›fa set Uf progrdiTi*
pr‹ \'tded b\' •1n institutmn más una evaluación del ovcrall
m•1n‹1gPment, public.‹\', personal policier ‹Ind ‹›f the
instituHr›n Th‹ acreditation Cf schools and û‹›ll 'ges is •s-
sc'ntial\' in titutic nal rx'‹1luatt‹›n, tht›ugh a \'ery gr ex- emple
nf t L'ne ‹›f the ke;' pr‹›blems \con inshtuH‹›nal t\'aluütlnn
Js h,ûther t‹› ct aluatt in terme r›f tht missx›n ul
*he inüHtutinn er un sc›mc ‹›laúd base. Parece ob 'ic›uslv unf‹h
a c'\ ‹1lt‹.1te an In stltu tt‹›c contra gn•1ls thJt no es tratando de
‹1 hiex'e, ‹›n el° otro fr.and, el estado mis,i‹+rt,
‹arte inusual\* m‹›stl\' rhc'tun .1n,1 x›rtuall\' unus‹1nle para
gtntr-
‹lttng cr\trria ‹›f mc'rit, ‹Ind the› ‹tre al menos potentlallv sub-
jpg tt‹› cntJcism ‹' y hec‹i use c›f ma pprn{›n.atenc'•et‹*
necesita ‹›f
clientela, inconsistencias internas, impracticabilidad con re-
respecto a los recursos disponibles, impropiedad ética, etc. Entonces ^
uno debe de hecho evaluar los guales y el desempeño
relativo a estos objetivos o hacer Evaluación sin objetivos.
La evaluación institucional siempre involucra más
que la suma de las evaluaciones de los
componentes; por ejemplo, un defecto mayor en las
universidades modernas es el financiamiento
departamental, y los costos concomitantes en la
rigidez de las trayectorias profesionales, eliminando
virtualmente el rol. modelo del generalista,
bloqueando nuevas disciplinas o
programas —y preservar los obsoletos— ya que en el
estado estable los nuevos tienen que salir del
presupuesto de los antiguos departamentos, etc. La
mayoría de las evaluaciones de schmls y universidades
no tienen en cuenta estas características del sistema. que
puede ser IOF€ que cualquier componente.
No cubre só lo calibre, etc., pero
también pruebas de papel y lápiz (especialmente
estandarizadas), y una persona utilizada para estimar, por
ejemplo, la calidad de la escritura. Ver Cali-bración,
Medida.
INTERACTIVO {evaluación) Aquella en la que los
evaluados tienen la oportunidad reaccionar al
contenido de un primer borrador de una evaluación reporte,
que se reelabora a la luz de cualquier crítica o adición válida.
Un enfoque deseable siempre que factible, siempre y cuando
el evaluador tiene el coraje de hacer las críticas apropiadas y
mantenerlas a pesar de las respuestas hostiles y defensivas, a
menos que sean refutadas. Muy pocos hdve, uno puede ver
mirando el sitio.
informes de visitas o personales que no son confidenciales,
por comparació n con los que lo son, por ejemplo,
suplementos verbales del visitantes del sitio. Ver
Equilibrio de Pñ wer.
INTERACCIÓ N Dos factores o variables interactú an, el
efecto de uno, en el fenó meno que se estudia, depende
de la magnitud del otro. Por ejemplo, la educació n
matemá tica interactú a con la edad, produce má s o
menos efecto en los niñ os dependiendo de su edad; e
interactú a con matt achiex'ement. Hay muchas
interacciones entre las variables que gobiernan; Los
sentimientos, el pensamiento y el comportamiento
humanos son extremadamente difíciles de precisar con
precisió n. El ejemplo clá sico es la bú squeda de
interacciones aptitud-tratamiento o rasgo-tratamiento
en educació n: cada uno sabe por su propia experiencia
que aprende má s de ciertos estilos de enseñ anza que de
otros, y que otros amplia d‹›
•› '8
no responde fax'orublv En los mismos sh'les Por lo tanto,
hay un interacció n entre n, el estilo de enseñ anza
(tratamiento) y el aprendizaje .shale (aftude) con respecto
al aprendizaje. Pero, de- A pesar de todo nuestro arsenal
técnico de pruebas e instrumentos de medició n, no tenemos
virtualmente resultados só lidos en cuanto al tamañ o o
incluso las NrCUiTiStances bajo las cuales estos ATI'S
ocurrir. (Ref: The Aptitude-Achievement Distinctiâ n, ed.
DR Green, Me-Graw Hill, 1974.)
IhiTERNA£ Los examinadores (o evaluaciones)
internos son (hechos por) proteger al personal, incluso si
es personal de evaluació n especial, es decir, excepto si
son externos a la producció n/escritura/
enseñ anza/servicio parte de la proyecto. Por lo general, la
evaluació n interna es parte del esfuerzo de evaluació n
formativa, pero a largo plazo los proyectos a menudo han
tenido evaluadores sumativos especiales en su personal,
a pesar de la gran credibilidad (y probablemente baja)
validitv) que resulta. Interno/externo es realmente una
diferencia de Jegrec má s que de tipo; ver Independencia.
VALIDEZ INTERNA El tipo de validez de una evaluació n o
diseñ o experimental que responde a la pregunta: ¿El diseñ o
demuestra lo que se supone que debe probar acerca de el
tratamiento oH t)it' siibJt'tfs Jftitaffq stiid«•d?» (ct.
ExternoValidez). En particular, ¿demuestra que el
tratamiento produjo el efecto en los sujetos
experimentales? Se relaciona con EOFF.CTS chc'ckp‹›int en
la lista de verificació n de evaluació n clave.Com.- on *hre.a 1s
t‹› x'alidez interna incluyen instrumentos deficientes,
maduració n de los participantes, cambio espontáneo o sesgo de
asignació n. (Ref. Experimental and Quasi-Erperi- mental
Designs {or Jtesearcit, D T. Campbell and JC Stan-
lci , R 3nd McNall›' & Co , Chicago, 1972. ) «
DIFERENCIAS INTEROCULARES A Fred Nosteller, el
gran científico prá ctico, le gusta decir que él no es
ÎfltC£C$t8‹J 1 fl SfcJ f!8ticalv significante diferencias, pero ‹só lo en
interiKular une —-así que golpeó vuu t›ctiveen los ojos.
(Oeso es »'h. t pe‹›ple ar‹' tiind uf s.wing él encuentra c›f saring.
)
tMTERFOLÄ TE lnfr*rt‹› cc›nclu icns .zb‹›ut s'aliie ‹›yo el
variables dentro del rango implcd. Cf. Extrapolable.
SERIE DE TIEMPO INTERRUPTEO Una tv pe de cuasi-
experimental desi;tn en is'hich el tratamiento se aplica 1 an J
tht•n ›s thhcld en a ‹ cierto temporal pattvm, a estañ o monja'
siiJ›¿‹'t I The' st irriinx'h.it âmbib'uo término “sc'lf-cunt rt›llec4”
solía ser utilizado para tales casés. ya que el grupo de control
es el mismo que el grupo experimental. La versió n más simple
es, por supuesto, el diseñ o de "aspirina para el dolor de
cabeza"; si el dolor de cabeza desaparece, acreditamos la
aspirina. Por otro lado, “psi-psicoterapia para una neurosis”
proporciona una inferencia débil porque la duració n del
tratamiento es tan grande y las tasas de recuperació n
espontá nea son tan altas que la posibilidad de que la
neurosis termine durante ese intervalo por otras razones
que no sean la psicoterapia es muy significativa. (Por lo
tanto, la psicoterapia a corto plazo es una mejor apuesta,
ceieris f›arihns). El siguiente diseñ o autocontrolado má s
elegante es el llamado diseñ o “ABBA”, donde A es el
tratamiento, B la ausencia de él u otro tratante. :t. Las
mediciones se realizan al principio de cada período
etiquetado y al final. aquí podemos ser capaces de
controlar la posibilidad de remisió n espontá nea y
diversos efectos de interacció n. Este es un diseñ o
bastante bueno para experimentos sobre tratamientos
de apoyo o incrementales,
por ejemplo, enseñ amos 50 palabras de vocabulario con el
método A, luego 50 má s con el método B, y para eliminar la
posibilidad de que B solo funciona cuando sigue A, ahora
invertimos el orden,
‹ y aplicarlo primero, y luego A. Obviamente, son posibles
enfoques más sofisticados utilizando el ajuste de curvas para
extrapolar (o interpolar) a un nivel futuro (o pasado) esperado
.y compárelo con el nivel real. La falacia clásica enesta zona es
probablementela del Gobernador de Conner•icut, quien
introdujo la suspensió n automá tica de la licencia para la
primera infracció n por exceso de velocidad y obtuvo una
reducció n muy grande en la tasa de muertes en las
carreteras de inmediato, de lo que alardeó un buen trato.
Pero un cambio en la x ybilidad de la tasa de mortalidad
en añ os anteriores podría haber puesto nervioso a un
estadístico y, por supuesto, la suma volvió a subir de
forma bastante aleatoria. (Ref Interrupted Time Series
Designs, Glass, rf nl Universitv uf Color.ado )
TRABAJO ANÁ LISIS :'\ brc.akdo›s'n ‹›fa jt›h int‹›
funcional
›mp‹anents, r›ften n ce»s.try con el fin de proporcionar
recomendaciones correctivas y .z marco para la
microevaluació n nr noel» ,1»sL*ssmcnt l‹›h ‹lnalvsi i» una
tarea altamente calificada,
\ 'hich, like cr›mputer yr‹›yrgmminfi„ i» usuallv' d‹›ne badly h}'
así se hned tn dt› t bye.aus<• r›f the f‹1llur‹* ut tht p.av scale t‹›
refltct tht p‹1}'-‹›(( frum dning* it well
JOHN EFECTO HENRY (término de IGary Saretskv) el
efecto correlativo a, o en un sentido extendido a 5[MCial
Cd5E de, el efecto Hawthorne, es decir, la tendencia del
grupo cuttro/ a comportarse de manera diferente solo por
darse cuenta de que ellos son el grupo de control. Por
ejemplo, un grupo de control de profesores que utiliza el
programa de matemá ticas tradicional que se está
ejecutando en comparació n con un programa experimental
puede, al darse cuenta de que el honor de defender la
radiació n recae en ///‹w/, qerlocm mucho mejor durante el
período de investigació n.
de lo que hubiera sido de otro modo, produciendo así un
artiftClal
resultado. Por supuesto, uno no puede asumir ‹que el
Hawthorneetlect (en el grupo experimental) cancela el
efecto John HenrV.
JUICIO No es accidental que el té rmino "x'valor Juicio"
vino erró neamente a pensarse de nosotros el para-
Dignidad de e reclamaciones valorativas; El juicio es una
parte muy comú n de la evaluació n, comoEs de toda
inferencia científica serious. (El ahsurdit\' ‹3f suponer que los
"juicios de valor" no pudieran tener validez, a diferencia de
todos los demá s juicios, era una y error gratuito.) La funció n de
la disciplina de evdl- uatiun puede ser seL'n •is la rgel› a
importar de reduciendo el ele- ment de juicio en c\'aluation, r›r
reduciendo el elemento de arhitranness en ‹he. necessam'
jud¿nf?'nts por ejemplo, reduciendothr source UI blas in the
|udges bv usando doble ciego diseñ os, equipos, equipos
paralelos, sesiones de convergencia, cali- bration
entrenamiento c'tc. El hecho má s importante sobre |udg-
¡hombres! es nulo que no es ?.s eb¡t' ti\'e como medida
(verdadero)hu t thut ‹›ne puede distinguir y'›‹›d |udhmont
frum bAd Judge- ment (‹ind trmn y‹x›d |udge .)
!VfODEL JUDICIAL O JURISPRUDENCIAL (de c•valu-
ati‹›n) \\'‹Término preferido de Citi y término A que se usa
a veces ic›r hls versió n ‹›r, rath*r, exten's ‹›n ‹›f ad•zocate-
adversary o\'n1uatiun IJ‹' vmph•1•i cs que la ley como z
mvtaph‹›r para c\”alu.1ti‹›n In\'t›lx'e mucho m‹›re
que ,en ..d\'ers.trial Je-
H. te — it .• I'‹› in‹ lud‹'s the' inct - ñ nding› phn e, cross -
c'x•iminatmn, t't'identmr\' And grt›ctrural rules, etc.
\'‹›l\'es un tipo ‹›i in‹iuim' gr‹x ess th•1t es markr'dl\' diferente
de la' •›c›ci. I >clentiii‹ ‹›ne, nne that in se\'eral way is t‹»lcrr'd
(‹› ncuds mt›re like th‹› u ‹›f ev‹1lu.ation (the action- rc'l ‹it‹d
dccjsit›n, the nhlig•it‹›a ' »imglifications bc'cause of time, hudy
'I .1‹1d uucJicncc limit.
|p‹1rtlc ul.t F |Udhc' nn‹J |ur}', los individuos de la iatc' ‹›i •lo que
está en juego,
etc). Wolff ve elpapel educativo del proceso judicial (enseñar
al jurado las reglas de la investigación justa) como una
característica clave de el modelo judicial y sin duda es un
fuerte analogía con evaluación.
JUICIO POR JURADO Usado en TA y evaluación. Véase
la entrada anterior.
LISTA DE VERIFICACIÓN DE LA EVALUACIÓN XEY (KEC)
¿Qué sigue?
lows no pretende ser un completo explicacion de la
llave lista de verificación de evaluación y su aplicación, algo
que sería más apropiado para un texto sobre evaluación.
Es sim- capa sirve a identificar el muchas dimensiones ese
debe ser explorado antes de la síntesis final en una
evaluación. Alt sonsuele ser muy importante.Apocas
palabras son dado para indicar el sentido en el que
se pretende cada uno de los encabezados, los
encabezados en sí se mantienen muy cortos para
que sean utilizables como mnemotécnicos; algunos se
expanden en otra parte en I I \ g T e s a u r o . Muchas
iteraciones del KEC están involucradas en un típico
evaluación, que es un proceso de aproximación sucesiva.
(Si la evaluación es estar libre de goles, al menos el
personal de campo no seguirá la secuencia dada).
El propósito de exhibir el KEC aquí es en parte td, dejar en
claro que la evaluación es una disciplina extremadamente
complicada, que uno podría llamar una multidisciplina. ¡I! No
puede ser visto como un aplicación sfraightfopvard de
estándar métodos en el tradicional ciencias sociales
repertorio. En hecho solamente siete de los quince puntos de
control se abordan seriamente en ese repertorio tradicional y, en
la mayoría de los casos, no se abordan muy bien en lo que
respecta a las necesidades de evaluación.
1. DESCRIPCION . Qué es ¿ser evaluado? El rt'n/u- m
hasta, descrito «tan neutrallv como pusible. ¿Tiene
componentes? ¿Cuáles son sus relaciones? Es útil di- vidu
descripción en cuatro p‹a rts: 11 1) el naturaleza y op-
er.1tinn, (l 2) el (uncti‹›n, (1.3) el sistema de entrega y
(l 4) el sistema de apoyo. Estos no son .nítidamente
distintos, ni ‹frs .In}' nf ellos nítidamente distintos de los
efectos y el proceso. ¿Qué d‹x•s hace? ¿Có mo lo hace J‹› p.
ej. ›vh. I es el ‹1‹'lir‹'n ›yxf‹*›/i que lo conecta con
onsumcr•? Hr›w dc›es it continue tc› do it—cuá l es el
•tij›{x›rf sl, f‹'iii. esto incluye el .mantenimiento/ servicio/
upu•atc• sv •tem. 'he° en tructinn* sistema de entrenamiento
para usuarios, el mnnit‹›nny s\ stem (si .anv) f‹›r
comprobando puede prnper
9?
uso/mantenimiento, etc. (El monitoreo, como el
mantenimiento, etc. puede ser realizado por alguien que
no sea el fabricante del proveedor/proveedor de
servicios). Cuando comienza el proceso de evaluación, el
evaluador generalmente solo tiene las descripciones del
cliente del evaluando y sus funciones, etc. A medida que
avanza la evaluación, se recopilarán las descripciones del
personal, los usuarios, los monitores, etc., y se realizarán
observaciones/pruebas/mediciones directas.
Eventualmente, solo la descripción más precisa
sobrevivirá bajo este punto de control, pero las otras son
más importantes y se mantendrán, bajo el punto de
control 3 (Antecedentes y contexto), y porque brindan
pistas importantes sobre qué problemas (por ejemplo,
malinterpretador). s, percepciones inconsistentes) deben
abordarse en la evaluación y en el informe final.
2. CLIENTE. Quien yo'. encargar la evaluación?
Elclítoris para la evaluación, quién puede o no puede h+'
el iiiitiatur ol la solicitud de evaluación; y puede o
pueden‹at ser el /H //,yn/c›r del evaluando, por ejemplo, su
fabricante o agencia de financiación o padrino leqjsl‹1; y
puede urmlv tuerca sea su ion ‹›if‹›r cg desi er de a
producto o programa Los deseos del cliente son cruciales
pero no completamente primordiales para determinar el
objetivo de la evaluación. Como una ‹1cti\'itv prfessionAl
ith .anv, las obligaciones de ética profesional ‹wcasiunallv
superven por ejemplo, uno siempre debe comprobar (al
menos bneflx') los efectos secundarios negativos en pro-
evaluación del programa e 'rn si el cliente piensa que un
informe sobre El logro de objetivos es todo lo que requiere
la evaluación.
3. ANTECEDENTES A CONTEXTO de (a) el
evaluando
y (h) el cx'aluatiun. Incluir» identificación de esperac.
(como los n‹›n-clients li»ted en 2, elsupervisor,
informes comunitarios, etc.); función prevista y
»up}›la naturaleza uf la e\'.aluand, bvliex' d perfomiance;
expectati‹›ns fr‹›m la evaluación, desea t\'pc t›f evalua -
ti‹›n (fc›rm‹1ti\'t ve sumative \'s ritualistic, holístico xs
.zn.zlYhc. I), rcpc›arting* svstem, ‹›rg.aniZAtit›r gráficos, hi.5tt›ry
‹›f proyecto, prit›re\'aluati‹›n a'ffort'•, etc.
4. RESULTADOS ‹W‹›a veces llamados ”Fortalezas r'\
s- s‹ssment" bx' cuntrA»t \x con el nttd» ‹asssment uf punto
de control 6) (.a) disp.›hlc tt› nr f‹›r use ‹›f el evaluando;
(b) a‹'.›i‹able t‹› ‹›rf‹›ru»e ‹ñ el e:'alu.atom ”fhes+' ‹yo nc›t
»'h.at lb utilizado, en ey compr‹1se t›r m.aintenAnce, pero
qu. t ‹›i//JA* The}' incluclt' n1‹›ncv, ‹*xpt'rtise, part cx-
consideraciones de experiencia, tecnología y
flexibilidad. Estos definen el rango de factibilidad y
por lo tanto delimitan la investigació n y la crítica.
5. CONSUMIDOR. ¿Quién está usando o recibiendo los
efectos del evaluando? A menudo es ú til distinguir el
grupo que necesita el evaluando desde aquellos quién lo
recibe oa quién se le podría entregar (el mercado). Incluso
puede ser ú til distinguir las poblaciones de consumidores
afectadas (mazket modificado) de las poblaciones de
consumidores real y potencialmente impactadas (los
“verdaderos consumidores”, o clientes, o beneficiarios). o
clientes para el eve.luand (a menudo llamado la clientela j.
Estos deben distinguirse del totalpoblació n receptora
impactada directa o indirectamente que constituye los
“consumidores frios”. Tenga en cuenta que el
instigador y otros (véanse 2 y 3) también se ven
afectados, por ejemplo, por tener un trabajo, pero esto
no los convierte en consumidores, en el sentido
habitual. Sin embargo, debemos considerarlos cuando
observamos los efectos totales y podemos describirlos
como parte del grupo total afectado, infectado o
involucrado: la població n {›rot•ider. (Los
contribuyentes suelen ser parte de esta població n).
Receptores + proveedores = impactados.
6. VALORES. A veces se denomina “Evaluació n de
necesidades” de las poblaciones impactadas y
potencialmente impactadas. Pero debe mirar tanto los
deseos como las necesidades; y también valores como
jtid,grd o creídos está ndares de mérito e ideales; los
objetivos definidos del programa donde se lleva a cabo
una evaluació n basada en el trabajo; cualquier
estándar validado que se aplique al campo; y las
necesidades, etc. del instigador, monitor, inventor, etc.,
ya que se ven afectados indirectamente. La
importancia relativa de estas consideraciones a
menudo conflictivas no dependerá de consideraciones
éticas y funcionales. Es solo a partir de este punto de
control que se obtiene el componente 'valor en la
evaluació n; los valores pueden aplicarse tanto en el
proceso como en el resultado.
7. PROCESO. ¿Qué restricciones y atributos se
aplican a, y qué conclusiones se pueden sacar acerca
de la normal i›|›i'rntin›t ‹›del evaluando (en oposició n
a sus efectos o UUTCOk1ES (6))? En y.›rticuIar, legal /
ético-moral /
{x›litic.al / m.anageriaI / estética / hedó nica / limitaciones
científicas? Con esta verificació n{xiint, podemos sacar
conclusiones evaluativas. Las que están aquí son las
consecuencias más inmediatas ‹.I a11, porque inx'olve lo que
se sume-
91
veces llamados valores intrínsecos (verdad, belleza,
ética). Lo llamamos el punto de control del proceso en
parte por razones de continuidad con la tradició n,
porque en la evolució n del programa/servicio, es el
proceso que bloqueamos. en mucho evaluació n
intrínseca Pero en prc›cluct evaluació n en el mismo
punto de control
.aplica—por ejemplo, miraríamos la exactitud científica
de los contenidos de un libro de texto r este
encabezado. Dando una descripció n bá sica del proceso
desde el primer punto de control y los valores (para el
punto de control 6, a veces podemos sacar una
conclusió n evaluativa inmediata, por ejemplo, "x iolates
safet\' estándar X". Hay otras cuatro razones para
analizar el proceso: para ver si lo que está sucediendo es
lo que se supone que debe estar sucediendo (el problema
de la liberació n de la implementació n, para obtener
pistas). af›cut ca“usa- h‹›n que no parecerá frorît'a black
box approach (pero que puede ser necesario para
determinar los resultados a largo plazo), para detectar
resultados inmediatos o muy rá pidos, y para buscar
indicadores que se sabe que está n relacionados con
ciertos resultados a largo plazo (cuyo surgimiento
podemos no tengo tiempo para esperar). El primero de
estos incluso tuallv da como resultado correcciones a la
DESCRIPCIÓ N; los otros alimentan intu OUTCO!VIES. Así,
algunos "fenó menos de proceso" son
‹'f/ü û /s del proyram, por ejemplo, enJovment (ins‹ant
outct›mes),
'«›me .z re /›urt of it, .y »ome son parte c•f the run/‹'. yo /
enx'ir‹›nment bvstem que lo contiene. Una iiiaiia,¿‹'ri«l prcx -
e:sx c‹›n'straint de preocupació n de significado especial el
grado nf implemen tatic›n", ic , la medida en que el real
arriba ti‹›n coincide con las estipulaciones del programa
o las creencias del patrocinador •Jhcut ité operació n Uno
›‹-/‹'///mm prcxess ct›nsid -er‹1Ù ‹›n w'c›uld bc* the use nf
cientificallv 'alidJted pro- cess iridlc‹zt‹›rs de i›'cntuJl
resultados; .otro sería el ris‹ t›f cic'ntiiic. liv (hist‹›ricallv
etc ) s‹›und material en
•1 texthtx›k. canalla mi Una ‹'tliicnl asunto haría inv‹›l\'e eso'
rel.\ti\'e ochenta ‹›f la importació n.una vez nf mechny las
necesidades
<>I need\' target p‹ |pul‹1ti‹›n peu ple .and tht' c‹1reer ‹fr estatua
nercJs ‹›ft›thcr emp.zcted-}:›t›pulati‹›n penple e y. el pn-yram
y ff
H t0LiTCO41ù ñ \\'hJt r°ffccts !lc›ny-tc'n ‹›utc‹›mes
‹›rc‹›ncurrent 'ffects) ‹1rt' pr‹›dured by the ev‹JluJnd* (lil-
tend d ‹›r unintc'nd‹'d) A m.ztrix ‹›f afecta es uscfrtl t‹› get
ose comenzó la bú squeda; població n afectada < tipo de
efecto (cognitivo/ .afectivo/ psicomotor/ sanitario/
social/ ambiental) x tamañ o de cada uno. x tiempo de
inicio (inmedia- to•, 'finalizació n del “tratamiento”
'posterior) x duració n .x e.Cada componente o dimensió n
(si se requiere evaluació n analvnica). Para algunos fines,
los efectos previstos deben separarse de los efectos no
comprendidos, p. monitoreo de programas,
responsabilidad legal), para otros; el distintivo n no debe
hacerse (prometedor summatix'c orientado al
consumidor
{* alunfî‹.›ri).
9 GEK rItALIZABiLf Y (‹›r putenMaÏ ur \ersuhlih'J to otras
personas. lugares/ tiempos 'crsions. (Carne de “gente” s!•iff •es
is'el! ‹como destinatario:•, j Estos se pueden conectar 5 con
Deli''erabiiitv,' Saieability.' Ex J› •rta!›i1ity,'
Our.ability/Slodifidbilitv
10 COSTOS Dc›liar x Psi cholcaqyical contra Personal s's.
Tiirim Initial 's .Recurrent (incluyendo Preparatii›n -N4aln -
penitencia- Imprc›s'emrnt), Directo indirecto ve
Inmediato,'
9i
100
• “'‹'”
M£TA-EVALUACIÓ N La metaevaluació n es la
evaluació n de las evaluaciones y, por lo tanto, típicamente
involucra el uso de otra evaluació n para evaluar una
evaluació n propuesta o completada. Esta prá ctica pone al
evaluador primario en una posició n similar a la del
evaluado; ambos van a ser. evaluados en • su desempeñ o.
Se puede hacer de manera formal o sumaria. Los informes
deben ir al cliente oń ginal, copia al
° evaluador de primer nivel para rćacń on. Luego, la
metaevaluació n le brinda al cliente evidencia
independiente sobre la competencia técnica del
evaluador de pń rsary. No se generan registros infinitos
porque la extrapolació n muestra que no paga después
del primer metanivel en la mayoría de los proyectos y en
la segunda ocenía.
?vteta Cvaluació n es una obligació n profesional para los
evaluadores, como lo es el psicoanálisis para los psicoanalistas.
Un enfoque dimensional podría considerar la validez, la
capacidad, la utilidad (tiempo) en , legibilidad, relevancia),
robustez y costo. La lista de verificació n de evaluació n
clave también se puede aplicada, en tń /o wdys: ya sea
utilizá ndola para generar una evaluació n (o diseñ o)
correcta. que pueden compararse con el real (evaluació n
secundaria), o aplicando la lista de verificació n para el
evaluació n original ris a yr‹Hiict (verdadera metaevaluació n).
El ú ltimo proceso incluye al primero, como una consideració n
apropiada del proceso científico, pero también requiere que
miremos
'95
p.ej la rentabilidad eeeo°liintiou mismo, y por lo
tanto
. hace algo para ayudar al equilibrio de poder Debería, por
ejemplo, no incluir una mirada a los costos
diferenciales de Tipo Ip Errores de tipo 4 en el eVbluañ ó n.
Evalua\ior\ş rń tuerca, sin embargo, ser evaluado en
términos de su real
pw consecuencias, pero solo en condiciones de su
Consecuencias I{ " tisri f aț›ț›roț›rintely. además del kecuno podría
usar la variedad Está ndares de evaluació n o 8ob GO !"
'S•QUEMĄC -
' Acercarse. Profesionalismo en la evaluació n requiere regulació n
de la autorreferencia del sujeto y, por tanto, de la pblig ti
verdadmi meta-evaluació n. Semi tambiéno Consojjanse.(Ra ef. D
hl relleno
• • debeań i; “Metaêvaluació n: Conceptos, Normas y Usos”
rra/•°es» MethqdoJo$y: el estado de la
Arte, ed. Idiota de Rona! (Johns-Hopkins, 1981).
“ MICRO-ANAL\SÏS Esto puede referirse a: una
evaluació n que incluye evaluaciones de los componentes
del evaluando; oa la evaluació n desagregada por
dimensiones (nosotros Analytical Evaluat n); oa una
explicació n causal del desempeñ o (valorado o devaluado)
del e 'aluando, que no es (normalmente una preocupació n
del evaluador).
NIICRO-EVALUACIÓN Evahiació n Analítica de Seê.
• MÍNIMO La estrategia de decisió n de actuar con el fin de
acuñ ar
.mizar la pérdida mínima posible, por ejemplo, comprar un
seguro simplemente porque elimina el "peor de los casos" de
una "pérdida total no asegurada". independientemente del
precio del boleto o del nú mero de boletos vendidos. Se dice
que estas son alternativas significativas a la optimizació n,
que maximiza la expectativa (el producto de la unidad de un
resultado por la probabilidad de que ocurra).
no pueden justificarse en absoluto, son simplemente
casos límite, aplicables en casos especiales limitados.
£iłłgfrfrn/fy, son alternativas a las estratégicas y la gente
usa tl 'm' en todo tipo de casos; pero tii›nti nt1r‹”!¡l eso
es principalmente un signo de irracionalidad o
ignorancia- ø Rc¢ o pck decapacitació n. ,
COMPETENCIA MÍNIMA PRUEBAS Un archivo
bá sico 1
‹›f (normalmente) basiü habilidades es un mínimo
competencia El éxito en dichas pruebas ha estado ligado a la
graduació n, la promoció n de ldc, la educació n secundaria; el
fracaso ha sido ligado a la evaluació n del maestro, programa
sin financiació n, etc. Con todo este ‹ftp en juego, MCT
ha sido muy tema político candente—y uno ético, y uno de
medida. Introducido con la debida advertencia y
-apoyarlo puede representar un paso hacia el sch‹xiling
honesto; hecho sin cuidado, es un desastre. Ver Corte,
Puntuació n.
MISIÓ N PRESUPUESTO Una generalizació n del nohon
de la presupuestació n por programas (ver PPBS); la idea
es desarrollar un sistema de presupuestació n que
responda a las preguntas del tvpe, "¿Cuá nto estamos
gastando en tal o cual cosa?"
////ssio/i*” (bv contraste con gro,yrn»/, n,yt•iiry, y /›ersuH/i‹*/--
los tipos anteriores de categorías a las que asciende el
presupuesto estaban atados). Una limitació n de P)?BS ha
sido que una buena cantidad de programas se
superponen en la clientela a la que sirven y los servicios
que brindan, por lo que podemos tener una idea muy
pobre de cuá nto estamos invirtiendo, por ejemplo, en
asistencia social o educació n bilingü e. simplemente
mirando los presupuestos de las agencias o incluso las
cifras de PPBS, n8/c'ss' tenemos imá genes
extremadamente claras, que los tomadores de decisiones
rara vez pueden tener, especialmente un nuevo
Gabinete Ejecutivo—de el impacto real poblaciones y el nivel
de prestación de servicios de cada uno de los programas. Este
concepto, junto conpresupuesto base cero, era popular entre
el conde Carretero administración pero oímos hablar poco de
ello más tarde en ese régimen, al igual que la introducción de
FPBS por parte de MacNamara (en DO-D, de Ford Motor
Company) bajo una administración anterior se ha desvanecido
considerablemente.
M OEtE (Stat.) (Cf. Mean, Median) La moda es el
puntaje o intervalo de puntaje ”má s popular” (má s
frecuente). Es má s probable que un estudiante del que
no sabe nada excepto su pertenencia a este grupo
obtenga la puntuació n "modal" del grupo que cualquier
otra puntuació n. Pero puede que no sea muy probable,
por ejemplo, i( cada estudiante obtiene una puntuació n
diferente, excepto dos que obtienen 1(D de ltD, entonces
la moda es ltXl, pero no es
-muy "típica". mi una curva "normal", por otro lado, como la
(supuesta) distribució n de puntajes de CI en la població n de
EE. UU., el significado, la mediana y la moda son todas
iguales
vakie correspondiente al punto más alto de la curva. Algunas
distribuciones, o las curvas que las representan, se describen
como bimodales, etc., lo que significa que hay fz‹v (o más)
picos o modas; este es un sentido más amplio del término
modo, pero
alguien má s
Estableciendo .un sebo.lloró vamos c'1 uf set(-
critica1av.'arcncss —
clefs, o simple rile-modeling seli-ei'al u.ation lYhen pec›plc
decir q u e ” e n J a p a n p r c i j e c t s . m e no
es'alu.ated para los primeros diez
v e.me” muestra un completo malentendido de es alú a - „ t'ion, no
está restringido a ”major sqmmatis'e externo re-
(mi ' ser ]ufi ltte círculos) su convertirse en Carolina del Sur bien
aceptado ese .
uno puede iiiiili ‹'H ‹' ‹›f .a !‹ing juicio prric›d antes de la parada .ind
$•o res'iess' Sería idiota hacer eso en ausencia de .i ació n p is'.i
lu‹i tis'e corrimitment rind ciintJic't‹'iici' in the n'ork g'ri›up . Ihiire
no es ss'orthw'hile comrpitment to qi inlitv is'ith-o.t
cor›.petcnt .y frecuentes autoevaluaciones
MU LT! *LE- TIER Ver dos niveles.
SÍNDROME DE LA "TRIBU H4Y". Consulte Volverse nativo.
NATURALISTA (evaluación o metodológico Un
.enfoque que minimiza niitch de la parafernalia de 'ciencia e
¿técnica |arg‹›n, previo técnico saber ie .el, st'\tisti al inference,
the eff‹›rt t‹4formuIate general law», the segaratiun of tI1 •
observador from the sub|e{t, the commit- men t tu d Single ccr
rect perspechx'e, estructuras teó ricas, Causas, predicciones y
conocimiento propusitiunal En su lugar, hay un enfoque en el
uso de metá foras, inferencias analó gicas e informales (pero
idó neas) x la identidad de la descripció n, razones explicativas.
inter-actix'e Ie s, significados, mú ltiples (legiti - i..ate) pers[›r
tix'es, t. cit knuw'Iedge. Para una excelente discusió n, véase el
Apéndice D “Ex'aluation turalistic in Eualu-o+iny z‹ si/i.
Vu/gélidamente,Casa E, Sage, l?80.) El Indiana L'nix'ersih'
yrt›up (Kufra ‹Ind Wol I particuI«rh') han pagado g0 rticuI‹1r
‹lttc'ntic›n tc› el naturalista rnoj¿eI, y ellos
‹J finiti‹ n (\\'‹›lf, pers‹›naI c‹›mmunica On) destaca que ‹1t it' • f‹1)
h‹1 mc›rc unen t.ation totx'ards ”actual y instantá neo
.«ti it«'•. Wh‹a t'iur» ‹Incl exprcssit›ns en lugar de t‹› some st‹i!
c'ni‹'nt ‹›t pre'•t•1ted f‹›rm•1I ‹›bJtctix'cs; (b) respt›n¢ts
t‹›educadores, ‹IcJnzini tr‹1'ors, I 'arners and the puhIIc's t'1terest
• in d iitcrent kin‹Js t›f inft›rm‹1tinn, ‹Ind (c) •1anunts f‹›r the
diifc'r*ntx'‹1I uc's ‹In t gtrsgectit't that exist ', it ‹1Iso str ••s .es
‹›ntcxtu•1I t‹1ct‹ r'•; no estructurado en tcm'iew.ink' nh-
sc'm'‹1ti‹›nr‹a ther th‹1n testing, me‹1nings r. tL. '• que mera
Ix'h‹1x'i‹›rs 4Juch ‹›i tht dth‹1te ‹1hc›ut the leyitM..‹1rw 'utilidad'
‹^f the natu§‹1Iistic apgr‹›.Fch recapituI.1tes the idi‹›¿r.aphic/
los ñ ei›aies en la filosofía analítica de la historia sobre el a:e
de las leyes. En esta etapa, los principales exponentes
del enfoque naturalista (por ejemplo, Stake) pueden
haber ido muy lejos en la direcció n de Inseez-faire
(cualquier interpretació n que la audiencia
machos es permisible); pero su ejemplo ha mostrado lo
impropio de muchas de las suposiciones de los formalistas
sobre
, la aplicabilidad de la modelo de ciencia social. Y está
emergiendo claramente un nuevo modelo de
excelencia, en el trabajo de Stake y en Guba y
Li...am's Evaluación efectiva (Jossey-Bass, 1981!.
NECESIDADES EVALUACIÓ N (NECESITA SEXSfNG es
un
vanant reciente) Este término ha pasado de su significado
literal a un estado de jerga en el que se refiere a cualquier
sexidy de los necesidades, subvenciones, preferencias de
mercado, valores o ideales que pueden ser relevantes,
por ejemplo, para un programa. Este sentido descuidado
podría llamarse el sentido (o proceso) de "bú squeda de
direcció n", y de hecho es perfectamente legítimo cuando
el or.e busca toda la orientació n posible en la
planificació n, o la justificació n para la continuació n de
un proceso. programa. La evaluació n de necesidades en
el sentido literal es solo una parte de esto y es la parte
má s importante, por lo tanto, incluso si se adopta el
enfoque de bú squeda de direcció n, uno debe clasificar
las verdaderas necesidades. Las necesidades brindan la
primera prioridad para la respuesta simplemente
porque en cierto sentido son necesarias, mientras que
los deseos (simplemente) son angustiosos y los ideales
son "idealistas", es decir, a menudo poco prá cticos. Por
lo tanto, es muy engañ oso producir algo como una NA
(evaluació n de necesidades) cuando en realidad es solo
una encuesta de mercado. porque sugiere que hay un
nivel de urgencia o importancia en sus hallazgos que
simplemente no existe. Las verdaderas necesidades son
considerablemente má s difíciles de establecer que los
deseos sentidos, porque las verdaderas necesidades son
a menudo desconocidas para aquellos que las tienen,
posiblemente incluso contrarias a lo que quieren, como
en el caso de un niñ o que sigue una determinada dieta y
quiere uno completamente diferente.
La definició n más utilizada de necesidad —la "definició n de
discrepancia"— no confunde las necesidades con los deseos,
sino que los confunde con los ideales. Define la necesidad
como la brecha entre el ac.cal y el ideal, o lo que sea necesario
para salvarla. Esta definició n incluso se ha convertido en ley en
algunos estados, pero la brecha entre tus ingresos reales y tus
ingresos ideales es bastante diferente (y mucho más grande)
que la brecha entre sus ingresos reales y lo que realmente
1ź0,
necesitar. Así que tenemos que dejarel uso del nivel ideal
como nivel de referencia clave en la definició n de no, lo
cual está bien, porque es muy difícil llegar a un acuerdo
sobre có mo es el plan de estudios ideal y si tuviéramos
que hacerlo.
antes de que pudiéramos argumentar a favor de cualquier
necesidad curricular, sería difícil empezar.
Un segundo defecto fatal en la definición de
discrepancia es su identificación falaz de necesidades con
uno en particular subconjunto de necesidades, a saber
insatisfecho necesidades. pero hay muchos cosas que
necesitamos absolutamente, como oxígeno en el aire, o
vitaminas en nuestro dieta—que ya están allí. Decir
nosotros necesitamos ellos es decir que son /teczss‹intentar
por ejemplo› vida o.salud, lo que los distingue de los muchos
inessezicial DelgadoGis en el entorno. Por supuesto, sobre la
discrepancia definición no son necesidades en absoluto,
porque son parte de "lo actual", no es parte de la brecha
(discrepancia) entre eso y el ideal. Eso
puede ser útil usar la terminología dietética para los números
cumplidos y no cumplidos—intensidad y incremental
necesidades. Personas
a veces pienso que es mejor concentrarse en necesidades
incrementales porque ahí es donde se requiere la
acció n' ..W; así que tal vez
—creen— la discrepancia definición no es obtener nosotros
en tcXj mucho ft'Guble. Pero, ¿de dónde obtendrá los recursos
para la acción necesaria? Algunos de ellos generalmente
provienen de la redistribución de los recursos existentes, es
decir, de robar las necesidades de Peter para pagar las de
Paul, donde las de Peter (las necesidades de mantenimiento)
son tan vitales como las de Paul. de Pablo (el incremental).
Esto lleva a un flip-flop absurdo en años sucesivos: es mucho
mejor mirar todas las necesidades en la AN, priorizarlas
(usandorepartir métodos Nuevo Testamento calificación o
clasificación) y luego ac? redistribuir viejos y nuevos
recursos.
Un mejor definición de necesidad, que podríamos
llamar la definición de diagnóstico, define Neea como algo
esencial para un modo de existencia sahsfactory, es decir,
cualquier cosa sin la cual ese modo de existencia o "nivel de
rendimiento" caería por debajo de un nivel satisfactorio o
aceptable. El término resbaladizo @ esto es, por supuesto,
"satisfactorio" y depende del contexto; Las dietas
satisfactorias en una nación atenazada por el hambre pueden
ser considerablemente más cerca del nivel de inanición que
los que se consideran satisfactorios en tiempos de
abundancia. Pero eso es parte de la
componente esencialmente pragmático en NA P*°*'"8
—es
y concepto pragmático. Las necesidades se deslizan a lo
largo del borde medio del espectro desde el desastre hasta
la utopía a medida que los recursos se vuelven
disponible. Nunca cubren los extremos del espectro-mm— -
ninguna riqueza, por grande que sea, legitima el reclamo de
todosnecesita todos los lujos posibles. '
La pró xima gran ambigü edad o trampa en el concepto de
necesidad se relaciona con la distinció n entre lo que
podemos llamar necesidades de mance y necesidades de
tratamiento. Cuando decimos que los niñ os necesitan
poder leer, estamos hablando de un nivel necesario de
rendimiento. Cuando decimos que necesitan clases de
lectura, o instrucció n en el enfoque fonético de la lectura,
estamos hablando de un tratamiento necesario. La
brecha entre los dos es enorme, y só lo puede salvarse
mediante una evaluació n de los posibles tratamientos
alternativos que podrían producir el rendimiento
supuestamente neto. Los niñ os necesitan ser capaces de
conversar, pero no se sigue que necesiten clases para
hablar, ya que lo aprenden sin ninguna. Incluso si se
puede mostrar
{que necesitan el "tratamiento" de readi clases, eso está
muy lejos de la conclusió n que se necesita un enfoque
particular para la enseñ anza de la lectura. Los puntos
esenciales sonque el tipo de NA con el que uno debe
comenzar las evaluaciones es PRRIAIICE NA: y que las
afirmaciones de necesidades de tratamiento requieren
esencialmente NA de rendimiento dental y una
evaluació n a gran escala del mérito relativo* de los
mejores candidatos en las apuestas.
Los problemas conceptuales que no se discuten aquí
incluyen el problema de si hay necesidades para lo que
no es factible y la distinció n entre necesidades
artificiales (alcohol) y necesidades esenciales
(alimentos); los problemas metodoló gicos, incluidas las
fallas en los procedimientos habituales para realizar NA,
se analizan en otra parte (££).
La pers{›ertiva crucial a retener en NA es que es un
prrms para descubrir hechos sobre organismos o
sistemas; no es una encuesta de opinió n o un viaje de
lavado. Es un hecho acerca de los niñ os, en este entorno,
que necesitan vitamina C y habilidades funcionales de
alfabetizació n, ya sea que sepan o no.pensar o
lo creen sus padres o lo mismo piensan los hechiceros o
los nutricionistas o los especialistas en lectura. Lo que lo
convierte en un hecho es que el retiro de, o la falta de
provisió n de estas cosas, resulta en ir. muy malas
consecuencias, segú n cualquier está ndar razonable de
bueno o ad. Por lo tanto, los modelos para NA deben ser
modelos para encontrar la verdad, no para lograr un
acuerdo político. El hecho de que todos ellos sean t‹x› a
menudo de este ú ltimo tipo refleja la tendencia de
aquellos que los diseñ an para pensar que el valor
* |ud{§rnents ‹son, no parte del dominio de la verdad. Para NA'‹irr
los juicios de valor son cuestiones de hecho tan
seguramente como las claves; de hecho, son la clave
''alorjuicios en la evaluació n la fuente ruut o( el valor
que evely hace de la colclusió n
una evaluació n o má s bien una unidad puramente
descriptiva. Es fá cil ver esto si comenzamos con un
enunciado que se refería a un ideal como lo hacemos
(implícitamente) con la discrepancia. definició n; o si
nosotrosestán pensando en una declaració n de
necesidad de tratamiento (ya que eso es una evaluació n).
Y es fá cil ver que si comenzamos con meras estrategias
de mercado, tendríamos una conclusió n evaluafiva, solo
una descriptiva (posiblemente describiendo la evolució n
de una població n, pero no inn£ii(ç). evaluaciones),
perodefinició n de diagnó stico latencia NAs rire nfsu
evaluativoporque requieren la identificació n del
rssriifiof, el ini{x›ttant, el que avpids land resulta. Por
supuesto, estos son a menudo juicios de valor
relativamente poco controvertidos. Las evaluaciones se
basan en NA como las teorías se basan en observaciones;
no es que las observaciones sean infalibles, soloque son
mucho má s falibles que la especulació n teó rica.
NPL No apoyando a ninguna de las facciones
waiJing,
es decir, una categoría yolitiC0l. l'sio es más probable que
tenga razó n quela V son; má s probable que sea ignorante;
no alu'avs má s probabilidades de ser objetivo. por lo tanto,
debe usarse con cuidado, no como la opció n siempre ideal
para jueces, jueces, evaluadores, etc.
. * tive ///tf,g‹m,ye también se dice que es neutral; ya no es ob|ecti\e
que janey evaluativo
Ûrifâ-terrestre “ ngs” tal vez mucho más tendencioso
Dan “Elle es una muerte br viceversa
Dt5TRIBUTlON NORMAL (Stat.) Nut the way las
cosas está n normalmente distribuidas, aunque algunos lo
son, pero un distribució n ideal que da como resultado la
conocida cura en forma de campana (que, por ejemplo, es
perfectamente simétrica aunque pocas distribuciones
reales lo sean). Una gran parte de las estadísticas
inferenciales se basa en la suposició n de que la yepulahon
de la que estamos muestreando está normalmente
distribuida. 'con respecto a los 'a\jables de interés, y es
invá lida si esta suposició n se viola con frecuencia, como
sucede con bastante frecuencia. La altura y el color de la
víspera a menudo se dan como ejemplos de variables que
se distribuyen normalmente pero que tampoco son
ejemplos bien fundamentados. (El término "distribució n de
Gaiissan" se usa a veces y no menos confuso para esta
distribució n)
CE
NORMATIVO Término técnico en las ciencias seccionales
que esencialmente ha llegado a significar “evaluativo”. Llegó a
tener ese significado (se supone) porque la única base fáctica
que los llamados “empiristas” podían ver para el lenguaje
evaluativo era como una forma de expresar un juicio de
desviación de una no (p. ej., de aceptabilidad o mérito) Decir
que un desempeño es “excelente” era decir que es una
desviación estándar o supera la norma (o promedio o
promedio). Este análisis de la suprrficia 1 llevó a prácticas tales
como “calificación sobre la marcha”, es decir, la confusión de
“mejor” con “bueno”. es, por supuesto, un término evaluativo,
pero no reducible a .statishcs —o, si es tan reducible, no es
reducible en un mucho más sophis. lo que mostraría la rcdurtioi
original. ser superficial El lenguaje de clasificación está
relacionado con la norma, el lenguaje de grai4ing no lo está
(total v) y el uso del término "normativo" confunde a los dos.
El usual contr.est de “norm.atix'e” con "descriptivo" no
tendría sentido en este aná lisis, ya que “normativo” h,as
c.arcfull\' W•er ven ‹un me.ining descriptivo. De hecho, el
contraste de ‹fo‹ “normativo” con descriptivo, en el
usudlsoci•a I scienti.sts' su.edad, porque ignoran el aná lisis y
usan “ncirmdti ve” significar “ex'.a lu.a tivo” Pero luego, por
supuesto, el término "normatix'c" es enteramente edundante,
un monumento a
.a de‹ad a na Ivsis .anc4 .a lux'c de la jerga. Al igual que el uso
igualmente confuso del término “juicio de valor” para significar
“expresarpretcrence de c›f propio", el temi "n atit'e" s‹icrifices
un útil tcma tt› a f.rise' •oc4. “Ncërm. "e" debería significar
simplemente "refiriéndose directamente a las normas, ya sean
descriptivas o ex'a1u'itix'e". c.at”, “diferente”
cfc. , as n ell .as n anpuage (que esex aHi.a tis c) tout shoti Id
ntit se refiere a “wtirthl ss”. "Perfecto." Pero no tales términos
se refieren aestandartes ic n brazos de
128
mano (o ut la ica versió n, ex'en como un
enviar)
tecnología suplemento-
Mertf. (2) no ahí a mano o ta resumen de la !techni-
documento cal. (3) No se moleste en entregar una
declaració n que diga cosas favorables y luego las
califique; ya sea que se elimine la calificació n o el
comentario favorable. (4) lssu@solamente una
descripció n bá sica del programa en sí má s una
declaració n general ú nica, por ejemplo, “Los resultados
no muestran como veterinarios y las ventajas o
desventajas de este enfoque, porque es demasiado
extrañ o para decirlo. kfay tener una conclusió n
definitiva en n meses.” (Esa es una versió n provisional;
en una versió n final, se elimina la segunda oració n).
PRUEBA PREVIA Normalmente se dice que las pruebas
previas son de dos tipos; diagnó stico y base. En una prueba
previa de diagnó stico, la funció n pedagó gica (salud, etc.) es
identiïv la presencia o ausencia de las habilidades previas
requeridas, o los lugares donde se debe proporcionar
instrucció n de remediació n. Estas pruebas típicamente no
serán como las pruebas posteriores. En las pruebas previas de
referencia, por otro lado, estamos tratando de determinar cuál
es el nivel de conocimiento (etc.) sobre el criterio correcto o las
dimensiones de pago, y por lo tanto debería ser emparejado
exactamente, por dificultad, con la prueba posterior. Los
instructores a menudo piensan que el uso de este tipo de
prueba previa tendrá malos resultados, porque los estudiantes
tendrán una "experiencia de fracaso". pensó un la materia del
curso, en cuyo caso se pueden hacer cambios muy
completos en el contenido, o se puede permitir
"desafiar", con
• Reducció n de costos para el estudiante y posiblemente
para el instructor. Ademá s, la prueba previa brinda una
excelente y muy deseable vista previa del tipo de trabajo
que se realizará , y si se revisa cuidadosamente en clase,
como debe ser, se ha proporcionado a los estudiantes
una definició n operativa de los estándares requeridos
para paso. Ademá s, se ha creado un clima bastante ú til
para que los estudiantes se interesen en debates e.irlY,
brindá ndoles la oportunidad de tratar de resolver los
problemas con su ingenio nativo, y luego explicando
có mo el contenido del á rbol co *.e!ps les fi*ttcr. En
muchos temas, aunque no uii, tl,is constituye •. muy
deseable prueba de la importancia del curso. Por
supuesto, tratar la prueba previa como una definició n de
los primeros
curso es probable que el contenido sea ú til para la enseñ anza
al prueba si uno usa muchos de los ítems triÞm el pretest en el
postest.
Pero hay momentos en que esto es totalmente apropiado; y en
general es muy sensato tirar artículos para la prueba
posterior de un grupo que incluye los elementos de la prueba
previa, entonces que, al menos algunos de ellos serán
reexaminados. Esto fomenta el aprendizaje del material
cubierto en la prueba previa, que sin duda debe ser excluido
del curso simplemente porque ya ha sido probado. Los
instructores que comienzan a dar pruebas preliminares de CO
también comienzan a ajustar su hinQ de té en un mor•. manera
flexible a los requisitos de una clase específica, en lugar de usar
exactamente el mismo material repetidamente Por lo tanto, el
uso de una prueba previa es unaexcelente ejemplo de la
integració n de la evaluació n en
, la enseñ anza, un caso de prc›redu•gos de evaluació n que
dan sus frutos tanto a través de efectos colaterales como a
través de efectos directos (que, en este caso, sería el
descubrimiento de que los estudiantes no son capaces de
aprender ciertos tipos de material del texto; notas
.y conferencias proporcionadas sobre ese tema.) Puntos
similares se aplican a detestando en otros campos, por
ejemplo, la salud.
PRECIO El costo cobrado (cobrado por el proveedor al
consumidor o cliente). por lo general, una pequeñ a parte
del costo real y, a menudo, má s que el valor real.
PROCESO EVALUACIÓN Usualmente se refiere a la
evaluació n del tratamiento (o evacuació n) por parte de.
mirándolo en lugar del resultado. Con las excepciones que
se mencionarán, esto solo es correcto si se establece alguna
conexió n (no se establece) entre las variables de proceso y
las variables de resultado, y nunca se verifica. el enfoque
más probable porque tales conexiones, cuando existen, son
relativamente débiles, transitorias y probablemente
irrelevantes para muchas nuevas conexiones. El caso clásico es
la evaluació n de los docentes mediante la observació n en el
aula (el procedimiento universal K-12), donde existen
conexiones utilizables en la evaluació n entre el
comportamiento en el aula y los resultados del aprendizaje,
aparte del problema de que la presencia del observador -
Produce un comportamiento de enseñ anza atípico, y el
observador es normalmente alguien•uno con otro
personal relativo conel '‹profesor que son
altamente propicios para el sesgo. (La evaluació n de
.administrators no es mejor.) Ciertos aspectos de proceso
lioutil 6e lo veía, como parte de una evaluació n, no como
un sustituto de la inspecció n de ‹resultados, por ejemplo,
su legalidad, su rr.or.alidad•, su utilidad,
implementació n del tratamiento y tampoco puede
proporcionarme pistas sobre la causalidad. Es mejor
usar el término evaluació n mediada para referirse a lo
que es
descń lx d en la oració n de apertura de esta entrada, una
evaluació n de proceso de permiso para referirse a chat ‹ Im
to the dir evalua- ció n de variables de proceso como parte
de una evaluació n generallo que implica mirar los
resultados. La gente a veces supone que la evaluació n de
procesos es el método adecuado cuando se realiza una
evaluació n formativa, un ejemplo de la falacia
homeopá tica ("use un proceso para evaluar un
proceso"). La verificació n de la adecuació n de la
bú squeda bibliográ fica cae dentro del proceso; buscando
lenguaje sexista; por la presencia de un sistema de
verificació n de control de calidad; sobre los costos
ocultos y las conexiones causales; o la ética de los
procedimientos de prueba; sobre la exactitud de las
reclamaciones de garantía; sobre la validez de los
instrumentos utilizados: estas son algunas de las
comprobaciones menos obvias del proceso. Algunas de
ellas conducen a cambios en la descripció n bá sica de la
evaluació n; algunos a cambios en los resultados o costos;
algunos terminan ase.g.
PRODUCTO Interpretado muy ampliamente, por
ejemplo, puede' usarse para referirse a los estudiantes,
etc., como el "producto" de un programa *ing; un
yrurm•s pedagó gico podría ser el yr‹xfiir/ de un
esfuerzo de Investigació n y Desarrollo.
EVALUACIÓN DEL PRODUCTO El tipo mejor
desarrollado de evaluació n; Consumer Jteporfs solía ser
el paradigma
. aunque se ha deteriorado significativamente en los ú ltimos
añ os. VerLista de verificación de evaluación clave,
Á rbitro. "Evaluació n del producto"en Sin Técnicas de
Evaluació n, ed. N. Smith, Sabio, 1981.
BROFES§IONALTSM, PROFESIONALIDAD Algunas-
'aquí por encima de la competencia mínima en una
profesió n, pero Ademá s del á mbito de la ética
profesional, existe un conjunto de obligaciones, por
ejemplo, mantenerse actualizado y autoevaluarse, que
deben respaldarse y contarse en la evaluació n del
personal.
PITOFIT Este término de la evaluació n fiscal tiene la
desgracia de connotaciones naturales para los
desinformados. La gravedad del concepto erró neo se
hace evidente cuando una organizació n sin fines de lucro
comienza a hacer presupuestos serios y descubre que
tiene que introducir algo que difícilmente puede llamar
ganancias, pero
'que hace el mismo trabajo de financiar una reserva prudente,
nuevos programas y edificios, etc (Eso llamadas eso "cn
ntn§ution a matgin", en su lugar.) La tarea de definir
prufitisessentiallv a
1.36
cuestionario; o proponer una metodología de
calificació n-o, :he-r• v ,^-sort), poniendo límites al n›‹m!
•i .ziJ• 7's o 6's de anv onr' respondió I; tu orrzi
13
o divertido, dependiente pan lo mal que necesitabas el
trabajo. (El “blanqueo” de Suchman fue un ejemplo).
PUNTUACIONES BRUTAS La puntuación real de una
prueba, antes de que sea
convertido porcentajes fntp, equivalentes de calificaciones, etc.
Investigación y Desarrollo RAD; el lic básico (iter- atîye)
proceso de mejora, por ejemplo, de materiales educativos o
productos de consurțier: investigar, diseñar y preparar,
probar ejecutar, investigar (evaluar) los resultados,
diseñar mejoras, ejecutar una versión mejorada, etc.
Normalmente es una calificación evaluativa, ya que los
puntos generalmente se otorgan para la calificación de
una respuesta, lo que significa que muchos datos (p. ej.,
puntajes brutos) son evaluativos.
es decir, el qu. .lńtańve Ciencias descansa sobre lo
cualitativo morir- línea c1.
RDDA E Investigación, desarrollo, Difusión (o Dis-
Seminal* •1) y Evaluación. Un acrónimo más elaborado
para el proceso de desarrollo.
REACTIVO EFECTO Un fenómeno debido a (un artefacto
o el procedimiento de medición utilizado: una especie de
artefacto de evaluación o investigación. Tiene dos
subespecies, efectos de contenido-reacción y efectos de
proceso-reacción. Las reacciones de contenido de la
evaluación incluyen casos en los que el evaluado toma en serio
una crítica en un borrador preliminar de una evaluación y
conduce a una mejora instantánea, por lo que “invalida” la
evaluación. Las reacciones del proceso de evaluación incluyen
casos en los que la mera ocurrencia{o incluso la perspectiva)
del material de evaluación afecta el comportamiento de los
evaluados, por lo que la evaluación a realizar no será tópica del
programa en sus estados preevaluados. El proceso rearńvit\' es
independiente de su contenido. Aunque reacńve iiiotsur ›ir›i/
no haberlo hecho anteriormente sido así» subdividida, la
distinción aplica allí y no sólo para la evaluación;' pero es
menos significativo. En ambos casos, los enfoques discretos
pueden ser apropiados para evitar la reactividad del
proceso;pero, por otro lado, la apertura puede ser un requisito ético
propio.
jardines. La apertura puede ser con respeto al contenido «
con respecto al proceso yr ambos. Ver Razones para la
evaluación. Eampe: Haw&ome ENeŁ
RAZONES PARA LA EVALUACIÓN Dos traseros
comunes son para iittyrøv‹• algo Iformative evaluación) y
para tomar varias decisiones prácticas ulimi algo (siimma-
13ú
evaluació n de tiye). Puro interés en determinarlos mentos
de algo es un tipo más complicado de evaluació n
suma{nafiva. (Lin- colns ex'aluation de los cinco generales
de los que eligió Ulises S. Grant es una evaluació n
sumativa del tipo aplicado (decision.mrientéd); .: la
evaluació n de ellos por parte del historiador
contemporá neo es pura investigació n de evaluació n
(orientada a la conclusió n), es decir, e. del segundo tipo.
Los dos son diferentes só lo en funció n, no
intrínsecamente).son también lo que podría llamarse
razones independientes del contenido para hacer una
evaluació n
por ejemplo, como una racionalizació n o excusa (para un
trabajo de hacha o para financiar un fax'orite) o para la
motivació n (para trabajar con má s cuidado o má s duro). En
el caso de excusa, la naturaleza del contenido del examen
debe ser conocida o arreglada con anticipació n.
por ejemplo, contratando a un conocido "asesino" o
"cariñ o". Se realiza una evaluació n ritual só lo porque es
necesaria. Otras razones, no totalmente independientes de
las anteriores, sonahiI\h', promoció n, ventaja política, un
aplazamiento (Tal hombre miente, es decir, para ganar
tiempo
DESTINATARIOS. Ver estafa -er, Efectos de
recuperació n.
RECOMENDACIONES En un sentido trivial, una
evaluació n implica una recomendació n implícita: que la
evaluació n
.y ser visto/tratado en el n'av apropiado al valor que WA5
d€'iCfTFiined a h a x ' e p o r th.ee\'aluahon. Pero en lo especi-
ic sense ‹›ften .assumeci .u sea apropiado donde
"recomendació n" es llevar a la comida "r‹'ii«'ili, -I
nc/espeluznante", las evaluaciones no pueden llevarlos a ‹x'r'i si
mueren. tal má s costlv.) Que en rev cdiotion las
recomendaciones son tuerca lw. vs pos••lhIe, t t •: gallina
evaluació n es posible, es r›hvious en medicina y pc›duct eval
°'inn; pero porquela ló gica no ha sido Bien pensado, se
supone ampliamente que es un signo de un coche de
diseñ o deficiente, una ausencia de humanidad cuando
las variaciones personales o del programa no conducen
a
ellos —o ex'en u cuando ellos.no le‹1c1 para garantizar.anteed-
to-be-
recomendació n exitosa. Pero hay algunas personas que son
irremediables en 1\' inc.›mpetent en un complejo biven
tarea ep tvachinb tn a “car zur.e' schocl, y ni siquiera el
pr‹›¿rt'ss t›f +. tance 'ill ,al*er that r}u.alitative (.act if it
m.»' alter tLi• pcicerit•a ye th.‹I can be tr.lined It is .a
x'erv yr.at e destyn Jecisio a in ot'aluatiun tt› «›mmit a
desiyn tu
1 16
INVESTIGAR El campo general de investigació n
disciplinar, que abarca las humanidades, las ciencias.
jurisprudencia, etc. La investigació n evaluativa es una
subdivisió n, no hay forma de distinguir otra investigació n
de la evaluació n (aparte del contenido) excepto
distorsionando una u otra. La "investigació n de evaluació n"
suele ser solo un nombre engreído para una evaluació n
seria; sería mejor utilizarlo para referirse a la investigació n
sobre la metodología de evaluació n, o investigació n que:
empuja hacia fuera lafronteras de la evaluació n, o en la
investigació n lcesf que implica considerable dificultad de
investigació n u originalidad. Cf. artes escénicas ve. Artes
creativas.
INVESTIGACIÓ N tMTEGRA7ION, INVESTIGACIÓ N
S\'NTTH-
SIS Ver Metanálisis.
EVALUACIÓN DE LA INVESTIGACIÓN Evaluar la
calidad y/o el valor y/o la cantidad de investigació n
(propuesta o realizada) es crucial, por ejemplo, para las
decisiones de financiació n y la evaluació n del personal
universitario. Involucra la distinció n valor/oierit
—"valor" aquí se refiere a los beneficios sociales o
intelectuales de la investigació n, "mérito" a su calidad
intrínseca (profesional). Si bien siempre hay algo de
juicio involucrado, eso no es excusa para permitir el
proceso de juicio, que generalmente no es demasiado;
uno puede cuantificar y objetar de otras maneras el
mérito y el valor de casi todos los resultados de la
investigació n para la evaluació n del personal. (La
solució n no está en el uso de Ciktioníndice.) .
CONJUNTO DE RESPUESTA Tendencia a responder de
manera parcular, independientemente de los méritos del
caso parcular. Algunos encuestados tienden a calificar
“todo muy alto en una escala de méritos, otros califican
todo bajo y otros ponen todo en el medio. No se puede
argumentar fuera de contexto que tales patrones son
incorrectos: hay muchas situaciones en las que
esos son exactamente las respuestas correctas. Cuando
estamos hablando
.sobre el conjunto de respuestas, sin embargo, nos
referimos a los casos en los que estos patrones rígidos de
respuesta surgen de hábitos generales y no de una
consistencia bien pensada.
EVALUACIÓN DE RESPONSABILIDAD Evaluació n que
se orienta a la identificació n del responsable(5) o grado
de responsabilidad. y por lo tanto por lo general el grado
de culpabilidad o ment. La responsabilidad tiene
causalidad como condició n necesaria pero no suficiente.
C ulpabilitv similar.arly
++ Hz
presupone responsabilidad pero implica ulteriores cc
'aciones de la ética. Los científicos sociales como la mayoría
de las personas sin experiencia en derecho o casuística
suelen estar totalmente confundidas acerca de tales
cuestiones, por ejemplo, suponiendo que ciertas
evaluaciones no deberían hacerse (opublicados) porque
”pueden ser objeto de abuso”. el abuso es culpable; pero yo
también es /9i/itrr publicar (profesional- calidad trabajo de
algunos principios {arie valor intelectual o social) (por
ejemplo, el caso de Jensen) Un tipo diferente de ejemplo
implica mantener a los maestros realmente malos en un
distrito escolar a cambio de la alternativa de intentar el
despido implica esfuerzo, no es popular entre los ahion y,
por lo general, sin éxito. La responsabilidad es de th•.
alumnos que son sacrificados a razó n de
?D por añ o por mal maestro; y esa responsabilidad es tan
grande que usted (el superintendente o la junta) tiene que
intentar eliminarlo porque (a) no tendrá éxito, (b) los
efectos puede ser uii hifauce gocd por ejemplo, puede haber
una ganancia en general moti 'a ció n incluso si vt›u pierde el
caso, (c) puede aprender có mo para hacerlo mejor la pró xima
vez. La evaluació n de las escuelas debería (normalmente)
hacerse só lo en términos de las variables sobre las cualesla
escuela tiene Control. A corto plazo y con frecuencia a largo
plazo, esto no incluye puntajes en pruebas estandarizadas. (Ver
SEP). La evaluación de las evaluaciones nunca debe hacerse en
términos de resultados, porque el evaluador no se
responsabiliza de la ejecución; pero debería hacerse en
términos de resultados i{implementado. Árbitro. Filosofía
primaria, Scriven, McC raw-Colina, 1066
EVALUACIÓN REACTIVA La aplicació n actual de Bob
Stake proarh, que contrasta con lo que él llama ex'aiuació n
”preordenada”, donde hay un diseñ o de evaluació n
predeterminado. En la evaluació n responsiva, uno toma
cualquier turnoarriba y tratos›vi)h como parece apropiado,
a la luz de la knuwn an6 envolvente intereses de las diversas
audiencias. El énfasis está en la n-ésima descripció n, no
probando El riesgo es, por supuesto, un ausencia de
estructura o de prueba válida, pero el intercambio es la
evitació n de el riesgo de a evaluació n predeterminada: un
resultado rígido y limitado de poco interés para las audiencias.
Véase Evaluació n, Metodología específica de la evaluació n,
Evaluació n naturalista, Evaluació n perspecti-tivismo
REGRESO SOBRE LA TARIFA DE INVERSIÓ N Una de
las medidas de mérito o trabajo en la evaluació n fiscal,
¡habitual!
como una tasa de porcentaje anual
RIESGOSI, EVALUANDO Se dice convencionalmente
que el enfoque clá sico de la expectativa en el que se
comparan los productos de la probabilidad de cada
resultado por su utilidad, convirtiendo así las
dimensiones bajas de riesgo y utilidad en una (de
expectativa) tiene ciertas debilidades Por ejemplo,
ignora el valor variable de rick en sí mismo para
diferentes iÎidivid ü als; al jugador le gusta, muchos otros
buscan minimizarlo. Sin embargo, uno puede poner una
funció n nsk-utility. A veces se critica el análisis de
expectativas con el argumento de que "la gente no piensa
de esa manera". La discusió n de las estrategias minimax
o sahsficing a menudo se presenta como un paso hacia
"un análisis má s sofisticado de la toma de decisiones".
Este tipo de comentario a menudo confunde la ciencia
descriptiva con la ciencia normativa. Minimax y
satisfactor son simplemente métodos sofisticados para
tomar decisiones. aunque pueden ser má s comunes, y
aquí se convierten en objetos apropiados para el estudio
de los científicos descriptivos (y la jerga
correspondiente). La ”gestió n de riesgos” es un tema que
ha comenzado a aparecer cada vez con mayor frecuencia
en los temas de formació n en planificació n y gestió n. Una
de las razones por las que las evaluaciones no se
implementan es porque el evaluador no ha visto que los
riesgos tienen un significado diferente para los
implementadores en comparació n con los consumidores;
un programa o política (etc.) que debe implementarse,
en términos de su probable beneficio para los
consumidores, puede ser uno que conlleve un alto riesgo
para los implementadores, porque su programa de
recompensas a menudo es radicalmente diferente al del
consumidor. (normalmente como resultado de una mala
planificació n y gestió n de un nivel superior) Dos
ejemplos clá sicos de Ossie son la clasificació n de
documentos como Top Secret, . y_la contratació n de
personal sobre el cual se tenga sospecha. En cada
situació n, el implementador obtiene
za ped b\' res'ie p.combustibles ejercicio JIX1 por ciento
comprensió n retrospectiva
.después de .un desastre si existe el menor rastro de .un
indicador negativo, .y en ninguno de los casos hay una
recompensa por asumir un riesgo razonable; en realidad,
nunca hay una revisió n p.fuel to lix›k .it tus grandes ganadores
En consecuencia, las utilidades del pú blico
Los neumá ticos de arco está n optimizados y, a menudo, se
invierten. El presente
politic.il-plus-medi•a ambiente en los EE.UU. mayo bc uno
para el que la configuració n de nsk el riad a la Presic4encia (o
la 1egisl.atura) es sri diferente de lo que se requiere para hacer
el Trabajo rib•ht de tu gu•ar.antee la elecció n de sus titulares
CE ”°
14fi
quienes fueron grandes candidatos.
DERECHO A f¢ N@W El dominio legal del acceso a
la información de las poblaciones impactadas; mucb
aumentó en car-
,ter período, por ejemplo, a través de la legislación de "archivo
abierto". Disminución en keagan perioci.
RETÓRICA, EL NZW El título de un libro de C.
Perelman y L. Olbrechts-Tyteca (Notre Dame, 19ô9),
que intentaba desarrollar una nueva lógica de
persuasión, reviviendo el espíritu de los esfuerzos
preramistas. (Desde Ramus (1572), la vista de la
retórica como el arte de la persuasión vacía e ilógica ha sido
dominante; El concepto de "análisis lógico", separado de la
retórica, es ramista) .en Evaluar con Validar Sabio, 1980), ben
causa de la medida en que las evaluaciones tienen,
ya sea intencionalmente o no, la función de
persuasión y no solo informar. TP.e Nueva Retórica surgido
del contexto de estudio del razonamiento jurídico donde se
obtiene la misma situación y fue mal reconocida, el mismo
impulso de reevaluación y nuevos modelos ha ocurrido en la
lógica (ver informaciónrmla logica, eds. Blair y johnson,
Fdgepress, 1980), y en las ciencias sociales con el
movimiento hacia la metodología naturalista. Todo es
parte de la reacción violenta contra el filósofo
neopositivista de la ciencia y la adoración del modelo
newtoniano/matemático de la ciencia. El destino de la
evaluación miente claramentecon los nuevos
movimientos.
ONDA EFECTOS Seeckle efectos
RITUAL (ISTtC) o SIMBÓLICO EVALUACIÓN Una
de las razones para hacer una evaluación que no tiene
nada que ver con el contenido de la evaluación (y por lo
tanto es diferente formativo y evaluación sumativa o de
racionalización.ción) es la función ritual, es decir,
hacer una evaluación porque se requiere, aunque
nadie tenga la menor intención de hacerlo bien o de
tomar en cuenta lo que se ahorra. Los evaluadores
son llamados con bastante frecuencia a situaciones
como esta, aunque ni siquiera pueden ser reconocidos
como casos de evaluación ritual por parte del cliente.
(Actualmente, la evaluación en el área de la educación
bilingüe es mayormente ritualista.) Es una parte importante de
las discusiones preliminares en la evaluación seria aclarar
exactamente qué tipo de implementación es.
planeado, bajo varias hipó tesis acerca de lo que el contenido
del informe de evaluació n podría ser; a no ser que, por
supuesto, , tiene tiempo de sobra, necesita el dinero y no está
engañ ando a audiencias remotas. La tercera condició n
esencialmente se aplica siempre. Ver también EvJuació n
Motivacional, EHect Reactivo.
ROBUSTEZ (Stat.) Las pruebas y técnicas estadísticas
dependen en mayor o menor grado de suposiciones,
especialmente acerca de la població n de origen. Los h:•
dependen de tales suposiciones, los •...' rr son robustos.
Por ejemplo, la prueba I asume z\orma!idad, mientras
que las estadísticas no paz'amétricas ("libres de
distribució n") suelen ser considerablemente má s só lidas.
Uno podría traducir “robusto” como “estable bajo
condiciones de variació n”. El concepto también es
aplicable y es má s importante en la evaluació n de
diseñ os experimentales.
‹y yo\ae\'aIuatiot\. Los diseñ os deben configurarse para
dar i;t‹]iitit‹• awers a al menos algunas de las i›/cst
iitt|›nrtaiit preguntas sin importar có mo resulten los datos,
un asunto bastante diferente de t!ieir rentabilidad, potencia
o elegancia (esta ú ltima es una especie de caso límite de
eficiencia o potencia).
La evaluación debe configurarse para "ir a la yugular", es
decir, obtener una respuesta adecuadamente confiable a la (s)
pregunta (s) clave de evaluación href, agregando los recortes
más adelante si / nada sale mal con Parte Una. esto afecta el
presupuesto, el personal y la planificació n del tiempo. Y
tiene ‹un costo al igual que la robustez en stahshcs;
por ejemplo, los enfoques robustos no será n lo má s ele-
gant o rentable si todo va bien. Pero la metaevaluació n
normalmente mostrará que se requiere un enfoque
minimax, lo que significa una evaluació n robusta.
ROL (de evaluador) El evaluador juega má s roles que
Olivier, o debería hacerlo. los principalesincluido
},t;§ '"16f›
Todavía tan pruductix'e, pero la razón nther fur versattlit}'
a'iIl q]$$'Q\*$ pi th us, es decir, que le permite a uno
hacerlo mejor como evaluador en un rango tan amplio
gama de áreas temáticas como sea posible La
Universidad de Columbia solía tener un requisito de que
los estudiantes no podían ser aceptados para el
doctorado en
|phlIosuph\' a menos que tuvieran un título de yeso en otra
materia, y ‹En un requisito análogo podría ser bastante
deseable en e\'alu‹1tIun Sin embargo, se afirma
comúnmente que el grado preliminar debe ser en
estadísticas, pruebas y mediciones. El problema con ese
requisito es que deja a un encadenado prefertnna) blas
en la práctica eventual c›f el professic›nnl. Si bien la
habilidad en el método q›Jantitative Vies es altamente
deseable, no tiene que ser .1/›r‹'/i»imnn/ I
•capacitació n sobre gripe; la se]uencia inversa ma;' ser pre/er-
. '!r Una fó rmula simple para convertirse en un buen
evaluador es aprender a hacer todo lo que está
recomendado por el Kev E\.1Iuatlr›n Ch ckTlst . Aunque la
fó rmula es simple, el t‹1sk no lo es; pero podría ser mejor
especificar el nú cleo de la capacitació n en evaluació n en
este ›vav en lugar de enumerar com|:›etennes en términos
de 'su supuesto estado de prerrequisito »'con respecto a I'.›
et '‹1luatiori Las personas llegan a ser evaluadores de gocJ
por un gran nú mero de rutas L1f, y el retenido
probablemente se beneficiaría aumentando este nú mero en
lugar de estandarizar las rutas Ver E» Habilidades de
evaluació n.
INTERCONEXIÓ N RASGO-TRATAMIENTO A menos
›•'idyl› - u ü r*J término f‹›r interacció n aptitud-tratamiento,
aunque es •zct tt, tja' un término má s ‹preciso
Evaluació n maliva.
TRA NSCOG f'4ITI VE t°‹›m posec4 ‹ › l
S u p e r c o g i • i t i tengo un ru) ii, percognitiv•.
en particular, lo que sea que se esté aplicando o
suministrando, o realizado por, el grupo experimental que
se pretende distinguir ellos de el(los) grupo(s) de
comparació n. Usar una marca particular de pasta de
dientes o cepillo de dientes, leer un anuncio o un libro de
texto o ir a la escuela son ejemplos de tratamientos.
“EvaJuand” cubre estos, pero también productos, planes,
personas, etc.
TRANGULACIÓ N Originalmente, el procedimiento
utilizado por los topó grafos para ubicar ("fijar") un
punto en una cuadrícula. en evaluació n, nuestra
investigació n científica en general, se refiere al intento
de obtener un fenó meno de cana fijo acercá ndolo desde
má s de una ruta basada independientemente. Por
ejemplo, si desea determinar el alcance de los
estereotipos sexuales en una empresa, realizará
entrevistas a niveles reales, examinará manuales de
capacitació n y memorandos entre oficinas*, observará
las investigaciones y archivos del personal, analice las
coincidencias de trabajo/sexo/cualificació n,
descripciones de puestos, anuncios, colocació n, etc. En
resumen, evita depender de la validez de cualquier
fuente mediante el proceso de triangulació n. Nó tese que
esto es bastante diferente de observar mú ltiples
rasgos/dimensiones/cualidades para sintetizarlos en
una conclusió n evaluativa general. La triangulació n
proporciona una medició n “redundante” (realmente,
confirmatoria); no implica la fusió n de cualidades
ontoló gicamente diferentes en estimaciones de ni‹'rif
(valía, valor, etc.)
EFECTOS TRICXLE Efectos indirectos: los efectos
indirectos y dominó son sinó nimos aproximados.
CONSUMIDOR VERDADERO Alguien que, directa o
indirectamente, recibe los servicios, etc. proporcionados
por el evaluando. No incluya a los proveedores de
servicios aunque también son parte de la població n
impactada. ¿Es generalmente un grupo muy diferente de
la població n objetivo (consumidores previstos)?
CIERTO EXPERIMENTARUn “experimento verdadero”
o un “diseñ o experimental verdadero” es aquel en el que
los sujetos se emparejan en pares por grupos lo má s
cerca posible; como sea posible y el de cada p•air ur un
grupo es rniid‹›iiifi/ ossi,yii‹'J al control y el otro al grupo
experimental. Los nú meros má s flexibles y má s grandes
se saltan el paso de coincidencia y simplemente asignan
los elementos aleatoriamente a cada grupo. (Cf. diseñ o
ex post facto
'1b$
y cuasi-experimental diseñ o
SISTEMA DE DOS NIVELES (también llamado Multi-Tier
Syste.n, y HierarChical Sistema)A sistema de
evaluació n, a veces utilizado en la evaluació n de propuestas
(pero también con un potencial considerable en la
evaluació n de personal) donde se intenta reducir el costo
social total de la RFP ordinaria - sistema mediante el
requisito de dos rondas de competencia La primera , cuál es
el ú nico RFUd, implica estrictas res- sanciones de longitud
propia de la propuesta, que se supone que indica
)só lo el enfoque general y, por ejemplo, personal
disponible.
Estos breves bocetos luego son revisados por paneles que
pueden a través de ellos x'erv banquete, y un
pequeñ o nú mero de prom-
se identifican los ing. Las subvenciones se hacen
(algunas veces) IO los autores de esta "lista corta" de
licitadores con el fin de cubrir sus costos en el desarrollo
de propuestas completas. El número relativamente
pequeño de propuestas completas es luego revisado por
un grupo más pequeño de revisores o paneles de
revisión: el segundo nivel del sistema de revisión. Las
matemáticas de esto varían de un caso a otro, pero es
'orth lock king en un ejemplo. Supongamos que
simplemente apagamos el tipo habitual de RFI para
mejorar laciencia universitaria t8aclaing l‹at›oratones Nosotros
iTlight obtener de vuelta 6€0 o 1,2(J0 prop‹›sals, con un promedio
de quizás 50 o 60 páginas en longitud F‹›r cc›nvenIence vamos a
saber ellos uno 'era 50 páginas y e obtener '.,00 I ‹›f ellos.
1”h.Son 50,1 KJ paginas de propuestas tubeleer, .anal I'll, nJ
Qfipes de prf›posuls to be wri tten Incluso si Los revisores
pueden "maquillar" JtXl o 2IXl páginas ‹En h‹›ur, todavía lo
estamos escribiendo 2III-Sal* horas de lectura de propuesta,
lo que significa
.alrededor de 6tJ personas-días de lectura, iea panel de 15
trabajando fcir f‹iur d.rvs, tu't› p.anvls tit 15 trabajando dos
días, o diez
mosquiteras txt f› laboral por tono da}' T'ne problema es ese
vc›u
‹ no recibir rrvicn'ers helados durante cuatro días, y los
paneles pequeñ os
cinco p.apt•rs. n'hich es b, tl0tl paginas, •y v•'e's c
inmediatamente•diatelv
Propuestas que vienen en ‹en la longitud de 50 pá ginas,
n'que puede ser manejado con bastante rapidez, y de
hecho .Stich con má s cuidado, por el mismo panel, vuelto
a convocar para ese propó sito. Tenga en cuenta también
que la velocidad de lectura para el primer nivel de
propuestas puede ser mayor, ya que todo lo que los
lectores tienen que hacer es asegurarse de que no se
pierdan una propuesta prometedora, en lugar de
ordenar la clasificació n para la adjudicació n final. Note el
ahorro triple que está involucrado: los proponentes
pueden ahorrar alrededor del 9% de sus costos (puede
que no sea tan alto, porque las propuestas má s cortas
requieren má s que una cantidad prorrateada por pá gina
de recursos, pero sigue siendo sustancial ); el
.agencY s.eves ‹una gran cantidad de costos en la
pavimentació n de calificadores o
panelistas, y él•avv personal trabajo costos; y la confiabilidad
del proceso, así como la calidad de los jueces disponibles aumenta
significativamente Por lo tanto, el pequeñ o subsidio para
el prc ml de segundo piso está má s que justificado, tanto
fiscalmente como en términos de incentivar las entradas
de personas que de otro modo no podrían.
.pagárselo; ‹Encuentre mejores entradas de sose que puedan
ESCRIBE SI ERRORES TIPO 2 SP Contraste de Hipó tesis.
RESULTADOS IMPREVISTOS A menudo se usa como
¥ no vm para efectos secundarios, pero solo vagamente
equivalente, ya que los resultados pueden ser
imprevistos para los planificadores inexpertos, pero
fá cilmente predecibles para los experimentados; Los
efectos que yo anticipé pero no las metas son (a veces)
todavía efectos secundarios, y a veces no (por ejemplo,
tener que alquilar oficinas).
INCERTIDUMBRE, Evaluació n Ver Riesgo.MEDICIÓN
DISCRETA Lo contrario de re-
activo medició n Uno que no produce ningú n efecto
reactivo, p. al servicio de la cantidad relativa de desgaste de
la alfombra en Iron I de las pantallas interactivas en una
ciencia museo como un medida de cantidades relativas de uso
A veces poco ético, y a veces éticamente preferible a una
evaluació n intrusiva ("Obtruslvc" no es necesariamente
"intrusivo"; puede ser obvio
‹›nosotros pero no interrumpimos)
UTILIDAD (Econó mico) El ›'aluc' ‹›f «›methiny a alguien
‹›r tL› sonlu inshtuti‹›n. "lnttrptrst›n‹1I c‹›mpanson uf utility"
en el tumbling-hl‹vk ‹›f (welfare) ecoi inmics A veces se mide
en los tinitos h\ pe›thcticnl uf ”utiles” Ver Appor- miento,
Costo.
UTILIZACIÓN (u( evaluaciones) Esto se refiere a ‹if/t‹'•
al esfuerzo por mejorar la implementació n de las
recomendaciones de una evaluació n oa un enfoque
metaevaluativo en la medida en que las evaluaciones han
sido optimizadas. La utilizació n/implementació n debe
planificarse en las evaluaciones desde el primer momento;
de hecho, si el cliente no está en condiciones de utilizar los
resultados de manera adecuada, surge una pregunta ética
sobre si se debe realizar la evaluació n. Los procedimientos
está ndar incluyen poner representantes de los evaluados
en el equipo de evaluació n o panel asesor; solicitar y usar
sugerencias de toda la població n impactada sobre el diseñ o
y los hallazgos, identifcar y enfocarse en los beneficios
positivos de la evaluació n implementada; usar lenguaje,
extensió n y formatos apropiados en el informe(s);
establecer un equilibrio de poder frente a amenaza; y, lo
má s importante, un fuerte énfasis en explicar/enseñ ar
sobre las ventajas particulares y generales c›f ev‹3Iu‹a hon
Ver también Implementació n de evaluaciones. Carol Weiss
sensihlv sugiere "uso" como un sustituto de
"utilizació n"Medidas de uso
.1re tnckv, los problemas comienzan con el "uso conceptual",
es decir
'Las ideas prendieron incluso si las recomendaciones no se
implementaron después. Luego está el problema de si la
implementació n de malas sugerencias debería "marcar un
punto a favor o en contra".
VALIDEZ Una prueba es vá lida si realmente mide lo que
pretende medir. Puede ser confiable (en el sentido técnico)
sin ser vá lida, hasta que puede ser vá lida sin ser criticable.
(es \'alid tiene que ser confiable—si el termó metro es
x'alicJ, debe decir UI) etc. rees Centigrade t‹'/i‹'›i-
‹-‹'‹'i pl.hed en bo4ing w.1tcr y por lo tanto debe estar de
acuerdo 'con él mismo, es decir, ser confiable. Hay varias
subespecies de vnlid - ltv en el J.Argon (especi.altv face,
content, construct, and predictive › .alictity), pero
representan una inflació n de
puede no estar bien presentado o ser creíble (ver
Meta•ttvalua- tion). La validez se refería originalmente a la
propiedad de la argumentació n.mentos que son ló gicamente
impr ble, ya sea retó ricamente impresionante o no, el presente
sentido es una extensió n natural, aunque molesta a los ló gicos.
Ver Validez Externa, General-
“'” 174
VARIABILlDAD La medida en que la fpulació n se extiende
a lo largo de su rango, en lugar de concentrarse cerca de
uno o unos pocos lugares (o modos), la característica que
valora dispersió n.
PESO AJ"4D SUMALa proceso tradicional de síntesis
en la evaluació n: se otorgan puntos por desempeñ o en cada
dimensió n x'. en una escala del 1 al 5, y la dimen -siones
'iluminado por su importancia relativa {e p. sobre
a escala 1-3, 1-5 o 1-10), luego los productos de los n'ochos
y los puntajes de desempeñ o ‹se suman para cada
candidato. clanfving, hay muchas posibilidades Algunos
ejemplos: si se mantiene un equilibrio cuidadoso entre el
peso má ximo, la puntuació n má xima de rendimiento y el
nú mero de dimensiones, un montó n de trivialidades
pueden inundar factores cruciales; Los requisitos de
"compromiso nc›" deben usarse como un requisito
preliminar.
na rv fil ter, no pesa tanto factores ted; lineantv de util -it›
(puntos) ‹a través del rendimiento•no se deben asumir
x'ariables, las interacciones necesitan un análisis separado, sit
r;›fus perfor- m•ince en dimensiones sin umbrales sin ci
romise deben ser separados un telv n octavado
(posiblemente no muy pesado): eventualmente, en! una
tabla de 7nulti-candidatos puede usarse como un primer
basculante bá sico. Véase Eualuotion News fVcal 2, no. I,
febrero de 1981,
CE
DEd lpmperly Departamento EDI de Educació n (ex-
usoE)
Departamento de Defensa
Departamento de
Defensa Departamento DOEO
de energía
ORG. Divisió n de Becas de
Investigació n DRTOumam-re.
prueba .encedida
disfunció n eréctil Departamento de educació n
EIR Informe de Impacto Ambiental
Ei"4 Et›qfuafion Nrws, el boletín Journal ‹ f the Ex
aluarion Metwor>
en rrafu‹ifion noirs, ‹ new'sletter tin evaluatit›n meth-
‹xlulogv publtske‹J bv Fdgepress
ENet Evaluati•an Network, una ‹asociació n profesional de
evaluadores
EPTE Educ‹hc›n Informació n de prcdur ts ExCharge
ERIC Educational Rescurr•.s Inft›rmution Center; una
red de informació n sobre nanonudos tiene su base en
Ashing-ttin, DC y 15 cleannghouse• en diversas fijaciones
en los EE. UU. Disponible como base de datos en línea
ERS Ev.aluation ficsearch Stxietx', una evaluación de
profesiones›-
I.lOn de t•i'‹3lU8 ltHS
•
ci dores en sexo i ra I st‹ites que rodean Calilomi‹i I' inst
colecciones son ”in-htitise” b 4t fik4ERC .lista› tiene éxito en los
archivos ERIC SMERC es 1'›c.elemento en Re‹4s•. t›‹ 4 Ciudad,
Ct
Prueba de Aprobación Temática TAT
CIUDAD Instituto de Ciudades Gemelas para Jóvenes Talentosos Sitio de la
primera evaluación defensor-adx'ersario (Stake & Dennv)