Está en la página 1de 136

'

10 INDICE DE CONTENIDO

valorar la repercusión, 154. Notas técnicas acerca de las medidas de


los resultados, 155. Estrategia "correcta" para valorar la repercusión,
160.
Cap. 6. Diseños comparativos para valorar la repercusión 161
Conceptos principales, 161. Valoración de la repercusión de progra-
mas con cobertura parcial, 163. El azar en el establecimiento de la
comparabilidad, 166. Estudios no aleatorios: controles construidos,
Programas,
179. Estudios no aleatorios: grupos control estadísticos, 188. Diseño
de intercambios, 202. políticas
Cap. 7. Diseño de grupos unitarios para valorar la repercusión 203
Conceptos principales, 203. Controles reflexivos, 204. Controles
genéricos, 210. Controles espectro, 212. Una nota acerca de la aplica-
bilidad, 220.
Cap. 8. Medición de la eficacia 221
evaluaciones
Conceptos principales, 221. Perspectivas en el análisis de la ubicación
del recurso, 223. Componentes en el análisis costo-beneficio, 226.
Metodología en el análisis del costo-beneficio, 229. Análisis de costo- La evaluación sistemática de los programas de acción dirigidos y organizados es fre-
efectividad, 241. Resumen de un campo complejo, 245. cuente en la actualidad. La investigación evaluativa es un área dedicada a recabar, anali-
Cap. 9. El contexto de la investigación evaluativa zar e interpretar información acerca de las necesidades, aplicaciones y trascendencia de
(7247 las intervenciones con las que se busca la superación de la humanidad mediante el mejp-
Conceptos principales, 247. Cómo interpretar los resultados de la eva- ramiento de las condiciones sociales y de la vida comunitaria. Las evaluaciones se reali-
luación, 248. Cómo reducir los conflictos entre el evaluador y los eva- zan por motivos diferentes, a saber: para juzgar la valía de los programas en marcha y
luados, 255. Tiempo de política y tiempo de evaluación, 262. Papel para estimar la utilidad de los intentos por mejorarlos; para evaluar la utilidad de los pro-
que desempeñan las evaluaciones, 264. Epílogo, 271. gramas innovadores y las iniciativas; para incrementar la efectividad de la conducción de
Bibliografía 273 los programas y de su administración, y para reunir varios requerimientos contables.
Indice onomástico 283 Asimismo, las evaluaciones pueden contribuir al conocimiento teórico y metodológico
índice analítico de las ciencias sociales.
287
Al planear los programas de intervención social, la atención de la investigación se
centra en la extensión y gravedad de los problemas que requieren intervención social y en
el diseño de programas para aminorarlos. Al poner en marcha los programas de innova-
ción existe preocupación acerca de si éstos abarcan las poblaciones objeto y procuran los
recursos, servicios y beneficios que se pretenden. Conforme las intervenciones se realicen,
crecerá el interés acerca de si son efectivas respecto de la magnitud de sus alcances. Para
la explieación y planeación futuras es importante considerar los costos en relación con los
beneficios y comparar el gasto que implica la intervención con aquellas estrategias alterna-
tivas para ubicar el recurso.
Algunas evaluaciones son integrales y contemplan todas estas interrogantes,
mientras que otras están dirigidas hacia algunas de ellas. En todos los casos, se busca la
respuesta más válida y confiable posible, dentro de los marcos políticos y éticos, y las
limitaciones impuestas por el tiempo, el dinero y los recursos humanos.

CONCEPTOS PRINCIPALES

Eualuación integral: Análisis de la conceptualización y el diseño de las inter-


venciones, verificación de la aplicación del programa
y evaluación de su utilidad.
Conceptualización y análisis Estudios de: a) la extensión y localización de los pro-
del diseño: blemas en los cuales intervenir; b) la manera de de-
12 CONCEPTOS PR1NCIPALES

13

finir los objetivos en términos operativos, y c) la posi- visión Sesame Street, y se muestra en horarios accesibles para los niños en
bilidad de la intervención propuesta. edad escolar. En muchos otros países se ha intentado transmitir programas
Análisis del costo-beneficio: Estudio de las relaciones entre los costos y los resulta- de educación similares. La utilidad y eficacia de estos esfuerzos, en cuanto a
dos de los proyectos sociales; el resultado general- costos y beneficios, no se ha determinado.
mente se expresa en términos monetarios. En un centro comunitario de salud mental, en una ciudad de regular tamaño
Andlisis del costo-efectiuidad: Estudios de las relaciones entre el costo del proyecto y en Nueva Inglaterra, se ha diseñado un programa extensivo que se auxilia
los resultados; la conclusión generalmente se expre- con miembros de la comunidad local como consejeros de adolescentes y
sa como costo por unidad de resultado logrado.
Sistema de aplicación: Arreglos organizativos, incluido el equipo humano, los adultos, para atender problemas emocionales, educativos y sexuales. Com-
procedimientos, las actividades y las instalaciones paradas con quienes son tratados por psiquiatras y trabajadores sociales, las
necesarios para proporcionar los servicios del pro- personas atendidas por estos trabajadores improvisados parecen estar satis-
grama. fechas con el centro, en lo que respecta a necesidades de hospitalización y
Inuestigación formativa: Pruebas de diseño y desarrollo para maximizar los éxi- mantenimiento del tratamiento. Estos resultados se mantienen aun cuando
tos de la intervención. las características psicológicas y sociales de la persona se tengan en cuenta.
Eualuación de la repercusión: Evaluación de la medida en que un programa causa La CETA (Comprehensive Employment Training Act-Acta Extensa de Empleo y
cambios deseados en la población objeto. Entrenamiento) destina fondos federales a los gobiernos locales para promover el
Interuención: Cualquier programa o acción planeada pára producir empleo, mediante proyectos de servicios públicos, entre desempleados permanen-
cambios intencionados en una población objeto. tes. Muchos de los empleos y centros de trabajo son "poco usuales", comparados
Monitoreo: Valorizar si una intervención opera de acuerdo con su
diseño y alcanza la población objeto especificada. con las oportunidades ordinarias, disponibles a largo plazo, para personas sin
Eualuación de la utilidad del Estudio de la efectividad (repercusión) y eficacia (cos- empleo. De cualquier modo, los periodos de empleo de los trabajadores de la
program a: to por beneficio o efectividad) de los programas. CETA suelen ser cortos, pues no duran más de un año. La interrogante medu-
Población objeto: Personas, familias, organizaciones, comunidades u lar de una evaluación del U.S. Department of Labor (Departamento de Trabajo
otras unidades hacia las cuales se dirigen las inter- de Estados Unidos) es si los empleos de la CETA encabezan o no las oportuni-
venciones. dades de trabajo.
Problema por resoluer: Condiciones, deficiencias o defectos hacia tos cuales Dos terceras partes de la población infantil mundial que vive en medios rurales
se dirigen las intervenciones. sufren una parcial o total desnutrición que produce comprobadas consecuen-
cias negativas para su crecimiento físico, estado de salud y desarrollo mental.
En América Central se ha demostrado la capacidad para mejorar la salud y el
Con el apoyo del Departamento de Justicia de los Estados Unidos, se han dise- desarrollo mental del niño por medio de un complemento alimenticio. Mujeres
embarazadas, madres lactantes y niños, desde su nacimiento hasta los 12 años
ñado programas para hacer más visible a la policía en un gran número de
de edad, contaron diariamente con un complemento alimenticio que contenía una
comunidades, con la idea de que los delitos contra el patrimonio y las personas
alta concentración de proteínas y calorías. Los resultados muestran avance en
se reducirán debido a la percepción de mayor presencia del cuerpo policiaco. A
su crecimiento físico y un cierto incremento de sus funciones cognoscitivas.
partir de un programa se dieron a los oficiales vehículos marcados para que los
Una fábrica de manufacturas, en un intento por incrementar la producción de
usaran tanto en lo personal como en horas de servicio, mientras que en otro se
los trabajadores y la calidad del producto, ha reorganizado a sus empleados en
incrementó el número de horas de cada policía en su ronda a pie. Estos esfuer-
zos han tenido poca influencia en el campo de la delincuencia. grupos de trabajo independientes. En estos equipos, los trabajadores diseñan y
asignan tareas, recomiendan metas de productividad y votan por la distribu-
En cuatro grandes ciudades de Estados Unidos, una importante fundación pri-
ción de bonos con el fin de mejorar la calidad y la productividad. A pesar de que
vada ha costeado la operación de centros de salud en áreas marginadas. Estos
los resultados a largo plazo aún no se conocen, la información obtenida al veri-
centros se han diseñado para reducir el costo de la atención de pacientes exter-
ficar el programa sugiere que se redujo el ausentismo laboral, los cambios y las
nos, que ahora es ofrecida por clínicas hospital y puestos de emergencia, así
demás medidas similares de ineficiencia del empleado.
como para ofrecer una alternativa a la costosa hospitalización prolongada. En
otras partes de Estados Unidos se han realizado múltiples esfuerzos para brindar
cuidados médicos económicos a la clase desprotegida y para evitar el encareci- Éstas son algunas muestras de la diversidad de programas de recursos
miento de la atención médica. Las evaluaciones sugieren que los centros de sa- humanos emprendidos y evaluados con el apoyo de grupos gubernamenta-
lud comunitaria tienen una relacíón costo-beneficio más favorable que el de las les locales, estatales y federales, de organizaciones internacionales, de fundacio-
clínicas hospital. nes privadas y filantrópicas, y de asociaciones y corporaciones no lucrativas y
En un país latinoamericano, la educación por televisión se ha utilizado para lucrativas. La investigación para la evaluación, en cualquiera de sus tipos, es una
elevar el bajo nivel de alfabetización. Plaza Sésamo, un programa educati- tarea difícil. A grandes rasgos, se estima que sólo el gobierno de Estados Unidos
vo para la televisión, fue creado mediante la modificación de la serie de tele- gasta anualmente entre medio billón y un billón de dólares en programas de eva-
14 CAP. 1. PROGRAMAS, POLÍT1CAS Y EVALUACIONES BREVE H1STORIA 15

luación. No hay manera de estimar ios gastos internacionales. Únicamente en el Nótese que esta definición no implica que los estudios de la evaluación sigan
campo de la planificación familiar, el Banco Mundial ha identificado más de un uno u otro modelo, o una particular combinación de los diferentes modelos de
centenar de programas de acción social de diferentes magnitudes, que utilizan investigación social comúnmente empleados. La investigación evaluativa forma
estrategias empleadas desde la década de los sesenta, en los cuales han participa- parte de las ciencias sociales, sus profesionales son reclutados de entre la gran
do ciudadanos de cerca de 25 naciones. variedad de especialidades de éstas, y sus métodos son aplicables a la extensa
No hay necesidad de recalcar lo obvio: muchos seres humanos padecen gama de paradigmas de la investigación social. Las evaluaciones son sistemáti-
graves deficiencias en sus vidas, éstas existen tanto en los países industrializa- cas en la medida en que emplean las vías básicas para recabar válidamente prue-
dos como en las naciones menos desarrolladas. Los cambios que se necesitan bas confiables. Éste es el compromiso de las "reglas" de la investigación social y
para mejorar las condiciones existentes, las acciones organizadas (generalmen- la esencia de nuestra concepción del térrnino evaluación.
te ayuda humanitaria o programas de acción social) y el inicio de otras nuevas, Al describir las actividades evaluativas, Cronbach y sus colaboradores
a menudo se basan en programas diseñados para mejorar las condiciones (1980) puntualizaron lo siguiente:
humanas — sin tener en cuenta la ubicación geográfica y el tipo de patrocinio -
que conducen a conclusiones erróneas, mal juzgadas, mal aplicadas e inefecti- El propósito de una evaluación es influir en el pensamiento social y la
vas. Con el fin de distinguir los programas en curso útiles de los ineficaces y acción, durante la investigación o en los años subsecuentes. También es
para planear, diseriar e iniciar acciones innovadoras que repercutan eficazmente razonable esperar influencias a largo plazo.
en los miembros de una comunidad y su ambiente, es importante que los políti- La prueba se obtiene con base en la experiencia de un programa existente
cos, las instituciones, los planificadores y el personal del programa, den respues- o uno establecido para los propósitos de la investigación. Después del
ta a preguntas como las que siguen: análisis, los investigadores publicarán sus conclusiones conforme las
obtengan. Éstos deben documentar sus observaciones y razonamientos
¿Cuál es la naturaleza e índole del problema que requiere acciones? de tal manera que el lector comprenda cada conclusión.
¿Qué intervenciones se pueden efectuar para aminorar la magnitud del 3. La finalidad del evaluador es proporcionar una interpretación integral y
problema? disciplinada. La intención es impresionar a personas con mente clara,
¿Cuál es la población objeto adecuada para la intervención? incluidas aquellas cuyas preconcepciones o preferencias estén en contra
¿Llega a la población objeto la intervención iniciada? de los resultados. Es más, la información obtenida sirve para quienes
¿Se realiza la intervención de la manera deseada? indaguen e interpreten en forma independiente.
¿Es efectiva?
¿Cuál es su costo?
¿Es compatible con su efectividad y beneficios el costo relativo? BREVE HISTORIA

Las respuestas a estas preguntas son necesarias no sólo para los progra- La evaluación sistemática basada en datos es relativamente reciente, coinci-
mas complejos y amplios — como la planificación familiar en un país o los de con el avance y refinamiento de los métodos de la investigación social y con
esfuerzos para mantener los ingresos nacionales—, sino tarnbién para proyec- los cambios ideológicos, políticos y demográficos ocurridos durante el presente
tos locales y especializados — como los que ofrecen entrenamiento laboral en siglo en Estados Unidos. Durante el cambio de siglo, el compromiso de la evalua-
medios rurales o los destinados a incrementar la seguridad pública en las gran- ción sistemática de programas en los campos de la salud pública y la educación,
des ciudades. Ofrecer las respuestas apropiadas es la función primordial de la es diseñar las acciones para alfabetizar y ofrecer entrenamiento laboral, n-lediante
investigación evaluativa. medios económicos y efectivos, y para reducir la mortalidad y el padecirniento
de enfermedades infecciosas. Desde la década de los treinta existieron científi-
cos sociales que se abocaron a aplicar los métodos rigurosos de la investigación
¿QUÉ ES LA INVESTIGACIÓN EVALUATIVA? social para valorar los programas (Freeman, 1977). El intento de Dodd para
usar el agua hervida como práctica de salud social en las villas del Este medio de
Esta obra se puede iniciar con una definición simple del término evaluación o Estados Unidos, forma parte de la bibliografía sociológica etnpírica de la pre-
inuestigación evaluativa (se usarán ambos indistintamente): la investigación eva- guerra; los estudios de campo de Lewin y las investigaciones de Lippitt y White
luativa es la aplicación sistemática de los procedimientos de la investigación social, acerca de la democracia y el autoritarismo en las hegemonías, han sido bien
para valorizar la conceptualización y el diserio, la ejecución y la utilidad de los conocidos por los psicólogos durante varias décadas, y el famoso estudio de la
programas de intervención social. En otras palabras, la investigación evaluativa Western Electric (Compañía Eléctrica del Oeste) ha contribuido para que el tér-
usa las metodologías de la investigación social para juzgar y mejorar la planifica- mino efecto Hawthorne se haya incluido en la ciencia social desde hace más de
la—efettividad y la eficacia de programas sociales de salud, medio siglo (consúltense la obra de Bernstein y Freeman, 1975, para más informa-
educación, bienestar comunitario y otros. ción, v la de Cronbach et al ., 1980, para conocer una visión histórica diferente).

16 17

Surgimiento de la investigación evaluativa


enf errnecli7d?, ¿esta seouro el . lettel? Sin r mh,agnJ,si g,ente...gué.,Vivcj en suburbios no
Hace más de 40 años, en Arkansas, un profesor de sociología informó de la es parecicla a la que vive ért ble-rics'bájos,
evaluación de los programas sociales de nuevos convenios del presidente Roose- vos; gcneralmente;:és má que
la gentéde barriadá.:, 1profaho podrra
velt (New Deal) (véase anexo 1.1). Hacia los primeros años de la década de los L1Wé La rilejor rnanera de resolveiéste problema
treinta, e incluso antes, la investigación social aplicada recibió un considerable '1 Welnuos élé clelincuencia, depenclencia, comIsión de"delitos - ViféirIedid
grá.liti;17.é
impulso; su empleo se incrementó durante la Segunda Guerra Mundial: Stouffer factores similares) característicos de una población dada mientras vtven en la
y sus asociados trabajaron con el Ejército de Estados Unidos (Stouffer et al., barriada, con los índices sociales ,de LtIld misma población p, una similar después de
1949) para verificar continuamente la moral de los soldados y evaluar al perso- Vivir er-r -nri áMbier. ite ' rerióvado. ,de úna "cOmuniclad rnodelo.',E.Stó podría significar un
nal y la propaganda política. La Office of War Information (Oficina de Informa- iudio"anteS y.'después.".;-;eri'óil-aS'Palabr,71s,
ción de Guerra) usó muestras al azar para verificar la moral de los soldados. Al emactas dl enfoqu -e expérsi-rienil lo euál permitirfá:kilee1.4bOts./aCiOneleiátitróla::
mismo tiempo, mediante múltiples estudíos menores, se valoró la eficacia del das y conocer con mas preciSIón las Illférenéias
mtento social que tiene lugar en el arnt-)Iente social at'alterat'lat :elOndiet6néele
control de precios y de las campañas para modificar los hábitos alimenticios de
Graficarriente, se pcdría - tiansferir a una nlasa poblacional del tubo de ensave
los estadounidenses. Esfuerzos similares en el campo de las ciencias sociales se líqukio A al tubo de ensaye . 1:40110iditi;OVIO.ieákiiiiéjátiirre. r‘:
iniciaron en Inglaterra y otros países (véase anexo 1.2). Ctertan-tente, los índicá :lOetáll's'sitedéiiillitieilá:iáiiiilnos nionetarlós
términos de costo para el gobierno (costo de la delincuencia, comisión
graves;-- dependencia, protecciónpolielaca,.enifermedadV -factores snoilares) y una
corripat'actOridelOs.costOS para el obiériió que .0. reden.y siguen alátnudanza deL
baritO a uria cornun'Iclád rnOdelo cOn iikriiVeY , SOC161¿Onórrilcó saO9rlóri. Especitica,
rnenté, tales_prograrnas ptieden dé délitos
ciencias soclale_s. Sólo con todos ves.•Loá coStbs por'delincúente y Por crimin u ádulto se pueden calcular y la difererh'..-
los.4oztólpggs y.los.científicos,dé cia en , coltos bajós Para el Estádó p,uede sersesultadode.gatluiar el programa. Se
á. puede .cáidúlar 'el costo'social difer.énciai..`enlas.i. Cir:;datás7nt1Was tOrnunIclades, las
iOs•ienfizITSOs en el I cuules: 16g-i¿árriente,-- se -góbiernó y
El entusíasmo actual aceréa delaPlánificacióride'elqUéiiiiisadualmente, des- socieciad. Tal cuerpo de datoS puede Servir--cOrriótáll .pái"aieeábátápóyo financie-
cublerto por los organi s mos o las agenClkdel gobieritp,ied.eral.eltadoithidense, dio ro para prograrnas funtros.
algqnas ..4per.3pzas..cle que esta deficie.gclá se
de esas agencias y el Futute: The
.tutrttiz.trftin dc A. S. Strphan,"Prospect and PosibIllhes NetV Dealancl
atiertmentalel'pátlIol'eleiltífItó<0.11aléS, t
the NeLti SL n clal I Le,earch", en Sttclal FOrCe nurn. 15,:págk"15 y 518.
, .
, -
lOs':édiacadores y los acirilinistrIcIOr .elqiié. Iliíe.dari. alro. Ve-
char sus Investigaciones..
Es.os,laberatorio.s,sitteiin.iticos de las agencias planificador.es de la Nueva
Vesigclaci6WP.etM if.9n..-._411.rde'rnodp más efectivo el rnétodo eXp.érimental en los
' PrOW"Ci01 -40-iti.ir. ítjgatOn'tié lOs - cienríficolsociales. Estatr. tvestigaclon.:pqciría ser Anexo 1.2. Primeros experimentos
pienCia,;;„sinótati5bién . ütia-:foiffie: de aUclitóría-social en comunicación de masas
y.41511 .4¡.119&C4t.h.biell esta.
.bleeldos::..enloIprogtamás. Para disenar programas de erientaciOn de la Armada astadounldense, un pro-
tiárijOS$ajos a la gente de barriada ola gente debarriada ifiac e los blema f/ecUentemente deb¿Itielo fue el que sigue euando ny:evidencia ápoyaba la
barnos lia)61i.j...-¿1Odifari'earnbiar tesis principal Oue se preentaha, ¿ere mas efeetiVio preseniki sólb los Materia les
genté-áféctada? que apc . v.lban 1 tema frata,io, o eta mejor iris luir tambien los argumentos opuestos
ayndar a contestar estas interesantes y desconcertantes preguntas. al [ema en cuestián?
Los estuclios realizados por los sociólogos resazIan que los barrios bajos son los
puntos debiles de la civilízación industrial moderna'zErrlas areas de bárdos bajos de 1. Los clos pre-,grarilas e.rnpleados
icolcentros,ffirbaros . estadounicienseme localizan grandes .. ..centros.de delincuencia, _
evasi ón delrriptit,:..enferrileciades, fin el tiernpoen que Sr2 planeaba el experinientoprinciplos de 1945) la guerra .
nutriCión deficiente, insalubriclad y condiciones similares, junto con los grupos en Europa est¿ba por , trtninar y se infornló gue la moral de la Armada estadourft-
característicos de bandas de delincuentes y establecirnientos cle vicio. Estos..estable. J. dense era atectacla adv,ersarnente,por.un -gran..oprOnismo-acercIde. uty:ftnal,án
cimléntos y condictones compendtan la llarnada vida de ViCi0 de los baridos bájos. 'tiadcl‘de la gúerra' en'el PaCífi'll:Se.Creó`tiria'Cijré,0191:,»)..a'AMiad‘kpala..1M-Wek
gente viviéra en conclieiones.saludables;:•¿pódlia -poiextsfir concepciiiír/ rie la
etidériCía.sieriferrnedád?,:ebiritiltIblijii7giiif.14,:detia.tiláda origin,5 un5?,ntrOyetsía.'1:14j4
entur.619..... "',:¿klarmenotdoih0000k.IdépénderIcla y pero liii iyoría de los expertos eri álüríteit'irtilltajeS^C)

18 •BREVE HISTOR1A 19

A fines de la década de los cincuenta, los programas de evaluación de gran
en la preponderancia de los testlmonios que uno de los bandos. Por
to, se esccgió a urrsujeto adecuado para la experimentacIón. extensión fueron muy comunes. Los científicos sociales se ocuparon de evaluar
gi;t1 los programas de prevención de la delincuencia, los proyectos de rehabilitación
de reos, los tratamientos psicoterapéuticos y psicofarmacológicos, los progra-
Los grupos estudiados mas de vivienda pública y las actividades de organización de la comunidad.
Estos estudios se realizaron no sólo en Estados Unidos, Europa y otras naciones
La investlgaciÓti:prelirnMar se aplicddiír.taryte1arimeia sernana de abril de industrializadas, sino también en países menos desarrollados; como resultado,
1945 a ocho compahfaS cle entrenamlentó .delcOrnisa -riadó . de guerra, Una sema- se incrementaron los programas para la planificación familiar en Asia, los de
na después, ocho pelotoneS:únó- es¿ogido proporcionahnente para-cada una de nutrición y cuidado de la salud en Latinoamérica y los de desarrollo agrícola y
las'ocho compañías, escucharon el prográma 1 (el cual representaba sólo a un
bando) durante sus reuniones'Individuales de . orIentación. r.:Otro grupo , de ocho comunitario en África, incluidos sus componentes evaluativos (Levin et al.,
pelotOnes, escogIdosslmIlartnente, 'escUéhó . el . Prograrnáll (el cual representaba 1981; Freeman et al., 1980). Así, se amplió el conocimiento de los métodos de
a ambos'argurnentOs). Inrnedlataniente'deSPiiés del programa los hombres Ile- investigación social, incluidos los complejos procedimientos estadísticos y las
naróri el Segundo cuestioñarlo;cón
. fin de'pernntir a la gente
, quechse3 -56 el pro- encuestas. Las cbmputadoras hicieron posible efectuar estudios muy extensos
.
grarna conocer cómo los.hombres'pasaban dicho pro ,grarna, En este segundo y realizar análisis estadísticos complejos.
cuestIonarlo se Inclutan preguntas transiclonales apropiadas, algunas pertene- Durante la década de los sesenta el número de culos y libros acerca de
cientes- a la.Prirnera inyestidáélón, en las que . Se Inquirfa a la tropá c6k»esti ma- las prácticas de la investigación evaluativa, creíó dramáticamente. La reví-
ha personalmente el tarnano...de la guerra del:Pacífic- d.',Un tercer grupde ocho sión de los méto~nvestigación evaluati'(7á de Suchman (1967), la mono-
tropas sirvió como control; átn recibir nIngún programa. Llenó un cuestionarlo grafía de Hayes (1959ácerca de la investigáci evaluativ países menos
similar durante sus reuniones de orientación, en . las cuales-, adernás de adtnints- desarrollados y elltáf--
-nado de Campbelld(196) para e ectuar experimentos so-
trarse los cuestIonarios análogos acéréade la guerra del Pacífico, se formulaban
las'mismas interrbgantes-respecto a lo 'que ellos penSaban de , su reunión de ciales, son buenos ejemplos. Según Wall-Stre'et, en Estados Unidos y en todo el
orientación y qué ' podr' ían querer respecto . de sUs futuras reunIónes. Para los gru- mundo, la investigación evaluativa a finales de la década de los sesenta se había
pos_control, las últirnas preguntas, en vez de aquellas acerca de las transcripcio- convertido en una "industria floreciente".
nes, se - Presentbari a la troPa con el InIco proPásito del cuestionario. En los comienzos de la década de los setenta aparecieron muchos libros
acerca de la evaluación: un texto (Weiss, 1972), colecciones de lecturas (Caro,
1971; Rossi y Williams, 1972), críticas a las cualidades metodológicas de varios
Resurnen de los resultados estudios (Bernstein y Freeman, 1975) y una reseña de la discusión de las limitan-
tes estructurales y organizativas para realizar una investigación evaluativa (Riec-
Presentar los argumentos
, desde ambos lados dc un problerna era más efectivo
que dar sólo los areumentos que apoyaban e1ptinto de vistá hecho, en el caso de ken y Boruch, 1974; Wholey et al., 1970). Los dos volúmenes del Handbook of
individtios.que iniciplmente.:se oponíon al:punto de yista:presentado. Evaluation Research (Manual de investigación evaluativa) de Guttentag y Strue-
.Pátálal.tiOpa convencida del punto que se presentaba la indusión dé argurnentos ning fueron publicados en 1975. La Evaluation Review, que comenzara en 1976,
desde
. arnbas perspectivas fue menos cf,xthia, - plara elgrtipo corno un todo, que pre- la leyeron amp/iamente los investigadores de la evaluación; en la actualidad existen
sentar sólo los argumentos que favc.m.ecían la posIción general qüe se-abogaba. otras revistas como: Evaluation News, Evaluation and Health Proffesions, Jour-
Los hornbres mejor educados fueron afectados más favórablernente por la pre- nal of Evaluation and Program Planning y New Directions for Program Evalua-
,sentaci.bn - de.arnbas. ..perspectivas, • mtentras . , que:igls. menós . edu.cados fueron más tipn. La proliferación de publicaciones y conferencias, las formación de una
afettadós p6r la'écirOiMicación ert la'qUe».16.se usaron argumentos de apoyo. sociedad profesional, la Evaluation Research Society (Sociedad de investigación
evaluativa) y las sesiones especiales acerca de evaluación de estudios en reunio-
FuPnte: Aciaptado, ton aut r ,r1, v-1,5n Cari 1 Huvland et ul , E,pertuwnt, 5 nk lus, Cnrnrrunicd
tIon '1 n ,1( 11/: Studlestn So ial I o h, 7L'InWorld WorIi Princeton Univer:at Pi,,,Pr ton rJue
nes de grupos académicos y de profesionales son testimonios del rápido desarrollo
.› de este campo. Los esfuerzos para mejorar y reformar las actividades evaluativas
va r , ey, 1 ,M9 r5g; 201 z25
continúan aún. Como lo pensaron Cronbach y sus colaboradores (1980, págsN
12-13), "la evaluación se ha convertido en la frontera viva de la ciencia social i -
El período que siguió inmediatamente a la Segunda Guerra Mundial fue testi- estadounidense".
go del comienzo de programas de gran extensión diseñados para diagnosticar las Sin embargo, la historia puede confundirnos; si bien existe un continuo des-
necesidades de desarrollo urbano y vivienda, de educación tecnológica y cultural, arrollo de la evaluación, un cambio cualitativo ha ocurrido. Todavía en los prime-
de entrenamiento laboral de las actividades de salud preventiva. Durante este ros días de 1967, la definición de la investigación evaluativa de Suchman (a
tiempo también se estructuraron grandes comisiones para diseñar programas saber: la aplicación de técnicas de investigación social para el estudio de extensos
internacionales de planificación familiar, salud, nutrición y desarrollo de la comu- programas de servicio para la humanidad) era útil y delimitaba eficazmente el
nidad rural. Los gastos fueron enormes y estuvieron acompañados de las consi- área. No obstante, en la actualidad resulta evidente que la investigación evaluati-
guientes demandas de "conocimiento de los resultados". va es algo más que la aplicación de métodos; es también una actividad política y de

20 CAP. 1. PROGRAMAS, POLITICAS Y EVALUACIONES BREVE HISTORIA 21

dirección, el umbral que conduce al complejo mlbsaico del cual emergen las deci- formas de determinar la competencia de manera realista. Los servicios profesiona-
siones políticas y el lugar de su aplicación en la planificación, el diseño, la ejecución les civiles eran sólo una parte de lo que ahora son, muchos empleos no requerían
y la continuidad de los programas para mejorar la condición humana. Debído a conocimientos técnicos y había pocos programas formales de entrenamiento. Más
esto, la investigación evaluativa también necesita ser extendida, por lo menos en aún, como las actividades públicas eran comparativamente menores, existía
Estados Unidos, como parte integral de la política social y de las actividades de la poco interés acerca de lo que hacía el gobierno en cuanto a los programas de ser-
administración pública. vicios sociales. La manera de operar de la burocracia hizo más difícil la solución
del problema; por ejemplo, el Federal Freedom of Information Act (Acta de liber-
tad de información federal), que permite el libre acceso a los documentos del
Costumbres sociales y actividades de gobierno, es comparativamente reciente.
la admínistración públíca
El entendimiento profundo del desarrollo de la superposición de las cos- Desarrollo de los programas
tumbres sociales y las actividades de la administración pública requeriría no
sólo observar el notable crecimiento de la población y la industria en Estados
Unidos durante la primera mitad del presente siglo, sino también analizar cuidado- Los servicios humanitarios se incrementaron rápidamente con el adve-
samente los cambios en los valores sociales relacionados con la responsabilidad de nimiento de la Gran Depresión y, por supuesto, con las acciones del gobierno
procurar el bienestar a los miembros de la comunidad, desde los voluntarios y antes y después de la Segunda Guerra Mundial. Debido, parcialmente, a las di-
miembros de la familia hasta los grupos públicos. Por lo menos, sería importante ficultades que acompañaron a este acelerado crecimiento, hubo una fuerte pre-
tener en cuenta lo más sobresaliente. sión para aplicar los conceptos y las técnicas de la tan nombrada administración
científica, así como para que fuese apreciada por la industria. Estas ideas primero
fueron manejadas por la Defensa y luego por otras organizaciones gubemamenta-
Surgimiento del papel gubernamental les, incluidas las agencias de servicios humanitarios. Los conceptos y procedimien-
tos de planificación, control de calidad, contabilidad y, poco después, las más
Primero, como destaca Bremner (1956), ofrecer servicios humanitarios antes complejas nociones del análisis de la relación costo-beneficio y los sistemas de
de la Primera Guerra Mundial era visto como una responsabilidad personal. Los muestras, se convirtieron en aspectos importantes en el área de recursos humanos.
beneficiarios de las sociedades locales de caridad, constituidas principalmente Al mismo tiempo, individuos con entrenamiento en ciencias sociales, parti-
por voluntarios provenientes de las clases más privilegiadas, eran la gente humil- cularmente en ciencia política, empezaron a utilizar los conceptos y procedimien-
de, los inválidos física o mentalmente y las familias con problemas. Nuestra ima- tos mencionados para comprender la toma de decisiones políticas, organizativas
gen de esos voluntarios como damas de edad avanzada o ricas que cuidan a niños y administrativas en los departamentos ejecutivos y otras oficinas gubernamenta-
en canastas, es sólo un poco exagerada. Junto con las asociaciones cívicas y les. Simultáneamente, los economistas perfeccionaron los modelos de planifica-
los "hospitales de caridad", los asilos del condado o del estado, las escuelas públi- ción y toma de decisiones y mejoraron las teorías macroeconómicas (Stokey y
cas estatales, las escuelas normales estatales y los albergues para ancianos, los Zeckhauser, 1978). En parte, el interés de los científicos sociales en el gobierno
voluntarios eran el baluarte del "sistema" de servicios humanitarios. era puramente "académico"; querían conocer cómo trabajaba el gobierno y una
En segundo lugar, el gobierno, sobre todo el federal, era comparativamente explicación de la dirección de sus actividades; sin embargo, sucedió algo más:
más pequeño antes de 1930. Había pocas iniciativas nacionales para atender la algunos reconocieron que sus conceptos y métodos podrían facilitar y mejorar
salud, la educación y el bienestar y, por lo tanto, no era necesario un ejército de las operaciones gubernamentales y las que ellos documentaban.
burócratas. La sola idea de gastar billones de dólares del presupuesto federal en Asimismo, quienes ocupaban puestos de dirección en las oficinas guberna-
la investigación de la salud, podría haber desquiciado completamente al gobier- mentales probaban las maneras de relacionarse con sus grandes equipos de trabajo
no de la década de los arios veinte. El apoyo federal a la educación pública era y con sus altos presupuestos, y reconocían la necesidad imperante de ordenarlos
insignificante; en la actualidad, desde Washington se le destinan, en seis meses, de acuerdo con sus responsabilidades políticas, administrativas y de programación
más dólares que durante toda la primera década de este siglo. La extensión y el y planificación. Finalmente se convencieron de que los conceptos, las técnicas Y,
uso de la información social y económica muestran la poca importancia de las algunas veces, los principios de la economía, la ciencia política y la sociología
operaciones de los programas de gobierno. Lynn (1980) registró que, aun a fina- podrían ser útiles. El estudio del sector público creció y se convirtió en una especia-
les de la década de los treinta, el gasto del gobierno federal por concepto de lidad que se conoce comúnmente como ciencia política o análisis político.
investigación en ciencias sociales y estadística, fluctuó entre los 40 y 50 millones Conforme el gobierno federal se tornaba complejo y técnico, no podía ser
de dólares, y hoy día se gasta 40 veces más. manejado por personas contratadas aparentemente por su inteligencia, o por
Finalmente, los servicios humanitarios y el gobierno operan con normas dife- sus relaciones con protectores políticos, parientes o amigos. Muchos empleos
rentes. Los funcionarios clave en el gobierno y aun los empleados ordinarios se administrativos medios y una gran cantidad de puestos ejecutivos superiores
seleccionaban sin un criterio de competencia objetivo; de hecho, existían pocas requerían habilidades técnicas específicas y quienes los ocuparon necesitaron

22 CAP. 1. PROGRAMAS, POLITICAS Y EVALUAC1ONES 23

entrenamiento o una vasta experiencia para realizar su trabajo competente- la oposición. De hecho, la orelen cletalladá , y general : e,,Iliproblema Suele ser un
mente (véase anexo 1.3). Las contrapartes locales y estatales de las oficinas rnanclato. Los legisladorelrequieren:ejeciitivos,expeRdSlentOsiprogratnas,ypro-
federales se expandieron de manera similar, estimuladas en parte por la iniciati- Uleinas bal,) tilliliridi¿éi'O 'n—, ::.á la v e z .qiielóS jUlCi'ciá .:Wqri-iiiln:PrúébaS detallad ás
va y fondos federales y porque también necesitaban personal capacitado. Los . de las decision:eS administrativas que no sean arbltrarias 9 caprichosas. Por su.
departamentos de ciencias sociales de las universidades proporcionaron algu- 1
- parte, los oficiales del' Oresupuesto demanclan evaluaclones de programas que
nos de los recursos humanos necesarios para ocupar los puestos en el gobierno, se.an positivas,st el PUblico déseá rnejores explicadones. Ast, el proceso dlnáml-
y también entrenaron nuevos investigadores. Actualmente, en respuesta a la co . que enfrenta dondegtilera el ..siStema acer ca
bleinassocialeS PerCeptiblernente.:(ss nOes'Oue ldrainátleamente) 1.iii4r‘ i- Ci:Iiiiénte:
demanda de "tecnócratas" por parte del gobierno, las escuelas de administra- do las exigencias' dela Competencia sustantiva y adminIstrativa en la ejecucióri .
ción, salud pública y trabajo social comenzaron programas para satisfacer las de las responsabiliddes-públIcas
necesídades en cuanto a ejecutivos y técnicos; y las escuelas especializadas, ._ . ,
generalmente con carreras de "administración pública", se organizaron y ,,,tnl,naté:
F ,:,,,,Fu,ill , n,dut o n izac 1 ,5 rd deL aure nce E. 1~ Jr Désign!ng Public PolicY, Sc'Dtt , •
.11,(:,pdn:t;, ov, ci ,_,5.0
-
expandieron. En suma, surgió una nueva categoría de profesionales. ,•=,--,1,
.. ,., ' 1.-'/ •

Anexo 1.3. El origen del análisis


político
La institucionalización de programas de análisis político y de administración
pública en las universidades, ha mantenido el impulso de las actividades interre-
El creorniento estahli:ado en el narnerc>, la vaneclad, la complctdad y la lacionadas de la ciencia política y la administración pública. Los conceptos y
irnportancia social de los problemaspolificos queafrontaba eI gobierrio estadou- métodos de las ciencias sociales se han convertido en la parte medular de los pro-
nidense incrernentó las . demandas iriteléctuales dé 'algúnas autoridades y sus gramas educativos que formaron a muchos de los funcionarios públicos y los
subiírdinados:. ¿Qtié pbsición debería tornarse respecto de seguridad nuclear, el directivos de la programación; además, estos programas acentuaron el entrena-
ernbarazo en-addlescentes, la declinación urbana, el incremerrto de costbs en miento para la investigación evaluativa. La importancia de las evaluaciones es
hospitales, el desempleo entre la juventud negra, la violencia entre'esposos y reconocida actualmente por quienes desempeñan papeles políticos o ejecutivos;
hadia los niños, y la disposición de . aguas tóxicas? Mtichósfde los- sujetos qu'e no por ejemplo, la oficina de Contabilidad General, dependencia "guardián" del
participaban en eáios problenias no estaban éti la agericia pública-20 años atrás; Congreso, estableció un instituto de evaluación especial, en 1980, en respuesta
sin embargo, son problernás Prioritarios ahOra, y algún problema , nuevo d,e al interés de los congresistas en la conducción de programas de valorización. La
cárácter sirnilar surge irttialmente cadá año Para muchos , oficiales electos y
para sus eguipos, tales interrogantes escapan a su juicio y experiericia previa investigación evaluativa empieza a ser algo más que un asunto académico aisla-
Corno la'cuestión no se puede dejar a un lado, las auto/ idadesdii gohkrnc> espe- do, pues ha tenido éxito en las actividades de la política social y la administra-
rán negOCiar su responlabilidad y eficsencia. ción pública.
Para ayudarlos a pensar y decidir acerca de la rnaterla, las autoriel¿Ides han Por último, cabe hacer notar que en los últimos años se ha cuestionado seria-
Llependido de la extensión del conocirniento derivado de Id investsación, el análisis mente la continua expansión de los programas de gobierno, ya se han incremen-
político, la evaluación deprograrnas yla estadística para inforrnar o arioyar sus pun- tado los requerimientos de efectividad y eficacia (Freeman y Solomon, 1979) y
tos de'Vista. ,En el pasado; : los oficiales electos en las . diversas'ramas del gobierno, las auditorías de los gastos gubernamentales. Referendums como la Proposición
desCle los juzgádoi-federales hasta lós hornbres de piOvincia, citaban eátudios, datos 13 de California (la cual limita la recaudación de impuestos locales) y las leyes
oficiales y su opinión experta en por lo menos justificaciones parciales de sus accio- sunset (que estipulan la suspensión inmediata de los programas inefectivos) han
nes.' En las últsmas décadas; su personal se ha incrementado en tamaño v responsa- incrementado la demanda de evaluación sistemática (Adams y Sherman, 1978).
bilidad, incluidb el creciente núniero de gente entrenada o familiariztadit con-técru Paradójicamente, los políticos y fiscales conservadores, a menudo escépticos
cas analíticas para recabar y evaluar- la inforrnación. Se e:t,ta efectuando un
mcrernentO hacia los métodos de la ciencia social, apoyan a los defensores de la expansión de
, en la investigación,
, el análisis y la Captura de datos.
Dt_bido a que el poder de influir en la política CSta muy con-iparticlo en el los programas de acción social que se necesitan para atender la información que
nia de gobierno .estadounidense, las autoridades-buscan marupularla, - o sea, la evaluación puede proporcionar.
phtcticar bien el juego político, pero' deben ser':muy rierivasivos. Debido al La evaluación debe reconocer la importancia de la embestida de los nuevos
carácter cambiante de IOSProblernas'políticos, es probablé que haya necesidad tíempos en Estados Unidos. Los esfuerzos para controlar la inflación y revivir una
ser más Persuasivo de lo eomún, El ser accesible, amable e inteligente en el economía con déficit continúan mediante la restricción de los gastos federales,
"rodar y negoclar n influye menos, relativarnente, que tener un conocimiento incluidos, por supuesto, los destinados a los programas sociales. Una postura
general y pensarmento agudo, tener habílidad para hacer sugerenCias y.dar.solu- similar se manifiesta en muchos estados y ciudades; las reacciones estatales y
ciones qüe- puedan atraer,una secuéncia amplia, o que téner reputación-de crín- locales contra la inflación suelen ser particularmente severas. Esto no es una sim-
co bien infórmado. Los colaboradores del présidente cada día ejercen menos ple consecuencia de la desconfianza, de la hostilidad y de las acciones políticas de
influencia en los clebates políncos, en lo que T10 pueden conseguir beneficios o
cuendo sus ideas y argurrkaltos son carnblados e‘ ..itosamelialpoPlós expertos cie
los miembros de la comunidad, desanimados por los gravosos incrementos de los
impuestos sobre los ingresos y las propiedades, sino también es causa del descon-

24 CAP. 1. PROGRAMAS, POLITICAS Y EVALUACIONES LAS EVALUACIONES 25

tento que ha producido la larga serie de programas promovidos por políticos, Para cualquiera de tales propósitos, la clave es diseñar y poner en marcha
planificadores y funcionarios públicos desde la Segunda Guerra Mundial. Evi- una evaluación tan objetiva como sea posible; es decir, que ofrezca una valoriza-
dentemente, la elección de Reagan para la presidencia, ha sido vista como una ción firme y que no cambie si la repiten los mismos evaluadores u otros.
medida para reducir, o por lo menos reorganizar, los programas sociales y huma-
nos. Las elecciones recientes en algunos países de Europa Occidental sugieren
que esto se ha convertido en un fenómeno común. Elementos de la evaluación
Dado el curso de los tiempos, cabe esperar un escrutinio de los programas
existentes, así como presiones para suspender o desechar aquellos que ofrez- La extensión de cada evaluación depende, por supuesto, de sus própósitos
can una evidencia limitada de eficacia y de la eficaz prestación de servicios. Al específicos. Más aún, la forma en que las interrogantes de la evaluación sean
mismo tiempo, las evaluaciones serán necesarias para valorar las alternativas formuladas y los métodos de investigación adoptados dependen del programa
económicas de los programas reducidos o abandonados y para revisar sus evaluado de una intervención innovadora, de una modificación o expansión de
medios de aplicación. un esfuerzo existente o de un programa bien establecido para las actividades
permanentes de los servicios humanitarios.
La evaluación abarca varios grupos de actividades relacionadas. Es útil dis-
Estado actual de la tinguir tres grandes clases de investigación evaluativa: el análisis relativo a la con-
investigación evaluativa ceptualización y el diseño de las intervenciones, la verificación de la puesta en
marcha del programa y la valoración de su utilidad. Aunque no siempre es posi-
El florecimiento de la investigación evaluativa seguramente se basa en los ble hacer todo esto, la evaluación de muchos programas sociales necesita incluir
esfuerzos de los científicos sociales comprometidos con estudios técnicos y estas tres clases de actividades; las evaluaciones que los hacen se Ilaman evalua-
complejos destinados a lograr un cambio social progresivo (Berk y Rossi, ciones integrales.
1976); sin embargo, quienes están cerca de la "línea de fuego" (los legisladores, Un análisis detallado de las variaciones en las estrategias evaluativas, relacio-
el planificador, el administrador del programa y el ejecutivo de la fundación) nadas con los tipos de programas, es el tema cenral del capítulo 2. Aquí se estu-
constituyen verdaderamente el vehículo de la investigación evaluativa, pues
diarán, en términos generales, los tres elementosde la evaluación y se listarán las
son los responsables, en primera instancia, del amplio crecimiento de la activi- interrogantes más importantes de cada una.
dad evaluativa. Su disposición para ordenar su desarrollo político e instrumen-
tación continuará siendo la mayor influencia en la dirección de los trabajos de la
investigación evaluativa.
No obstante lo anterior, cualesquiera que sean los valores sociales, las metas Diseño y conceptualización
y los objetivos de quienes ocupan puestos importantes, es indispensable tener del programa
información acerca de la eficacia del programa y sus costos para aclarar el proce-
so de toma de decisiones que dirigirá el diseño y la ejecución de los programas y Las intervenciones, sobre todo durante la planificación y durante toda la
las políticas sociales. El producto de la investigación evaluativa —su trabajo prác- existencia del programa, se pueden considerat como solución de problemas
tico— ha alentado el crecimiento tan notable de este campo. comunales percibidos o incipientes. El origen un programa social es el reco-
nocimiento de un "problema social" —es decir, rn conjunto díverso de defectos
en la condición social y humana— y la intención de realizar acciones objetivas y
CONS1DERACIONES GENERALES ACERCA organizadas para resolverlo. Por ejemplo, la trascendencia de un programa
DE LAS EVALUACIONES para desarrollar las habilidades educativas, generalmente radica en el reconoci-
miento de que un número significativo de personas, en una población dada,
Las evaluaciones se pueden emprender por varias razones (Chelimsky, 1978): muestra deficiencias en sus habilidades para la lectura y las matemáticas. Un
con propósitos administrativos y de conducción, para valorar la efectividad de programa en funciones se puede justificar por la persistencia de algún proble-
los cambios de un programa, para identificar los caminos diseñados para realizar ma social: en las escuelas preparatorias la educación automovílístíca recibió
intervenciones o para satisfacer los requerimientos contables de los grupos de apoyo del público y está sujeta a evaluaciones debido al continuo y alto índice
apoyo. Dichas evaluaciones se pueden efectuar con propósitos de planificación y de accidentes automovilísticos, sobre todo entre conductores adolescentes. En
políticos, para probar nuevas ideas acerca de cómo afrontar los problemas huma- el capítulo 2 se analizan las relaciones que hay entre la ídentifícación de proble-
nos y comunitarios; para decidir si se expanden o suspenden los programas, y mas, el diseño y la planificación de programas las actividades evaluativas. A
para defender un programa que se opone a otro. Finalmente, la evaluación se pue- su vez, en el capítulo 3, se examina el "diagnóstico" de las actividades evaluati-
de emprender para probar una hipótesis particular de la ciencia social o un prin- vas, esto es, los conceptos y procedimientos que permiten específicar un proble-
cipio de práctica profesional (el programa particular estudiado para este caso ma social y la manera de mejorar los diseños de las intervenciones apropiadas y
puede ser, principalmente, un problema de conveniencia). sus evaluaciones.
26 27

Anexo 1.4. El repor-te del monitoreo de


Interrogantes en el diseño y la conceptualización del programa los programas de alimentación grattata
¿Cuál es la extensión y localización del problema por resolver, de la pobla- El iiiI del menitoreo tuvo cons htuido pcd- uitint lo on \periuncIJ en
ción objeto o de ambos? clacación; nutrición e invesngación. y los serviciesa la niñez efectuaron yisitas a las
¿El programa está diseñado de acuerdo con los objetivos?, ¿hay una explica- cscuelas de la ciudad de Nueva York parad rihir el programa de desayunos gra-
ción coherente, que lo apoye?, ¿existen posibilidades de que su aplicación tuitos.
se,a óptima? . delSe
tes
seleccionaion 2 1 CSCLICL1S de Ill1CVC dl q tritos y se entreVistóa los integran-
equipo escolar .de manera informal. Los monitores observaroriel salón de
¿Cuál es el presupuesto asignado o estimado y qué relación tiene con los sayunó Y las cotidicioiic de trabajo en la cocina; aciernás Se'ánalizaron 1322
beneficios y con la efectividad? cuestionarlol de los trabajadótes saíóri de desayunos.
En marzo de 1975, en Nueva York hubo un total de 1 292 esclielas
instituciones que sirvieron un promedio de 537 359 desaYunos diariarnente; de
ésos, el .90%era grattiltd. Hasta Unales de 19.75;no se habíariredticido préCios en c I
El monitoreo y la responsabilidad por programa de .alirnentacióriescolar de la'ciudad de Ntieva Yóik, "perdya sé há hecho
la administración del programa en respuesta a la legislación federal qú lo di. u anda. Cerca del 57% de los niñoS Ins-
critos én escuelas elemenHés y ecundaririsson elegiblespara el desaYuno gratuito.
Existen muchas razones para verificar los programas. Primero, la adminis- de ellos, el 87% partic,pa en 1 prOgrarna Cle desayunoS estólares. Si la reclücción de
tración y el manejo de los programas de recursos humanos requieren eviden- precios estuviese disponible en lós de cáyunoS,los monifores .estirharían que, con
base en ercenso de 1970, quedabán ai in elegibies 250 000 rtifiós aspirantesa ella.
cias empíricas acerca de su costo y de las estimaciones tomadas. Cada vez más Cc)n-lo en )unio de. 1975,22 de los 32 distritos escolares comunitarios s' irvie-
existe preocupación por la carencia de información acerca de la responsabilidad wn un promeclio de 63 838 desayunos diarios en-365 esCuelas. Sólo el 13% de
de los programas, particularmente de los públicos. Segundo, no hay punto de los niñós elegibles 'en /a ciudad de Nueva Y ork reCibieron d. elayunb áratuito. Por
comparación con el resultado de un proyecto particular, a menos que tomara lo menos-400 000 . de los Otros, que ahora ton. Mr1 d. esayuno gtatutto, son elegi-
lugar y sirviera adecuadamente a los participantes. bles para él, pero no se les sírve.n.
Muchos programas no se ponen en marcha de acuerdo con su diseño origi-
nal. Algunas veces, el personal no se haya disponible o el equipo está descom-
puesto; otras veces, el personal puede ser prevenido políticamente o por otras Administración del prograrna
razones para abstenerse de actuar. Algunos miembros de los proyectos son
negligentes o no tienen motivación, o de plano no saben realizar las tareas enco- Los modlitores Cf1C0 ntraron que la distribucrán centralizacia de alunentos no es
mendadas. En otras ocasiones, aun la estimación errónea del presupuesto o la ri,'oesariamente la más barata ni la rnanefatiliás eficai-cle proporcionar alitnento a
misma inflación lleva a los integrantes del equipo a modificar sus esfuerzos. niños en edad escolar. Durante sti visita aTas esetielaS,-los monitores observaron
Otras veces, los participantes del proyecto no existen en número suficiente, ni qu é el alimento compraclo al rnayóreo por medio delá Oficina de Desayunos Esco
pueden ser identificados precisamente o no cooperan como debieran; por lares frecuentemente era más costoso cle lo que podía haber sido en el mercacio
ejemplo, en ciertas comunidades, se han aportado fondos para desarrollar pro- por eiemplo, el pullo ccaliprado por medio dela Oficina costó 0.67 dólare.s el
medio kilograrno, rnientras que el precio en el ínercadolOCal era de 0.47..clólares.
yectos en los cuales los participantes se identifican como niños con problemas además, las escnelas oficiales se quejaban de,que la Oficina pdgdb¿i por grandes
cardiacos hereditarios. Sin embargo, para algunos de esos proyectos, la partici- entregas de productoS onlenados o que se podrían
pación de gente de la comunidad ha resultado tan costosa que los fondos son
insufícientes para el tratamiento.
El monitoreo puede alertar al personal del proyecto acerca de tales proble- Cuíidocl de los alimentos
mas, al dar una explicación sistemática acerca de si se efectúa o no el programa,
si opera de acuerdo con el diseño, y si alcanza a la problación objeto específica. Erigenexal. los rumlitures estaban poco satistechos con la apaliecia n y el
Como resultado de tal evaluación, el equipo del programa de desayunos de las si delbs alimentos servidos en esos programaS. Ellós cálificarb¡i la,COMida
escuelas de la ciudad de Nueva York descubrió serias deficiencias en sus servicios Lle sólo iieá cil:los 14 prógizimas cle. desayUnoS Yjde‘. 12 deicil'á0.:Prograinal de' al-
(véase anexo 1.4). El monitoreo y la responsabilidad se analizan más detallada- n-iuerzb viSitáCiós;".cOrno ',`Apetitosa en Cilátro
mente en el capítulo 4. desaytmos y en 10almuerzos s¿lbía bien. EncOntraron "hot dogs7 corí hongos y
¿Jgrios. los frijoleS; así como mezclas inidentificableS de arroz y carne, rollos
antargós, verdüras pqdridas y otros pi itillos poco apietitoSdS.MaChbs :Idé lós pro-
qrarnas cle almuerzos v casi todos los desavurios no ofrecían. álternativas -en el
Algunos monitures inform¿Iron que había idna'gran parte dé niños mayo
tes gui. iurm cuandof,tio les gv,istaka el ciesayuno,.dejaban pocos residuos.
11

28 29

Plani,ficacián t distribucián del utenú Valoración de la utilidad del programa


Las escucla s. no distributan niena ¿Implja o regularniente. Ni los padres ni los
Obviamente, es importante conocer los grados de repercusión del programa
niños,conoeian el n lenü _con anticipación, ni I azron consultaclOS,para planificarlo,
n111-111Cji:ié aacitaéllOS lo osigieron en algunos escu,z'as r: Los monib9J-éS, „- notar9n .que en
y sus beneficios en relación con los costos. El primero es la efectividad o repercu-
una eseuela del lado (301-inferibib'de Esbados Unicios, ios sión del programa, y el segundo, su eficiencia (en el capítulo 8 se analizarán el
planificáión del ns un conel riáSultadb de gLIC ta.e;euela sers4M . costo-efectividad y el costo-eficiencia).
A,, nutritivos,'Nó se hiclercin praviSiones en cuantóa'dietas espétiales.b. p l obJ er,as.
„ „ A menos que el programa tenga una repercusión demostrable, es difícil
Atinque 10-.trabajadoiéS en el otainedOr -clljerqn Iiii.Oi .frecuentériteritelabían las pre- defender su puesta en marcha y su continuación; de aquí la necesidad de valo-
fer'encis dé.loá errvéz.dela,¿citadi ia, que o rar la repercusión. Sin embargo, el conocimiento de la efectividad es insuficien-
una rt:banada extra cle:Pán paya que hiciesen emparedados—, fueron incapaces de te en la mayoría de los casos; los resultados o la repercusión se deben estimar
influir en la (21aboraciÓn'fiel contra los costos iniciales. Algunos programas pueden no contar con apoyo
debido a sus altos costos en comparación con su repercusión; por ejemplo,
algunas universidades al afrontar problemas de'presupuesto, han finiquitado
Atmásfera en el cornecior sus programas de asesoramiento a los estudiantes, debido a sus altos costos y
ligeros resultados. Otros programas pueden ser ampliados, retenidos o termi-
Ntuchas escuelas contaban coipócos recursos a qi'andes canti, nados con base en su costo comparativo; por ejemplo, los resultados acerca de
clades de niños L.Os. comedores y los hórartos de sertitctiti algu-
vcces la repercusión del cuidado institucional, en oposición al comunitario, para ado-
rnuchos c'e4tie.,'¿1?ir'élt,y'tért.ritáírié'.10 lescentes infractores sugiere que los programas comunitarios son preferibles,
con sus abrigos (o debido a su bajo costo. La necesidad de determinar la relación de tales costos y
jimentos y para . salir a recrei la efectividad requiere una valoración eficaz.
¿orrita réstiltádo que
jaranrtkilláornida o dietan_de
jutIlr;17tiTSJ:tHir, c nDll lo que la atnaósterá.'re hacia demasiado rüldogi"e inconfo Valoración de la repercusión
para aquellos que aün comían, Existía Lina cintldad signlficativadebasuraymu
--,:txtescuelás:eyan catalog;-tdas 'COMO-dotadas
y los plsoS COnio iás áreas alrededor deló é basüil.eá Valorar la repercusión permite medir el grado en que un programa origina
atcstacas, m)entras que en cytras cambios en una dirección deseada, lo cual implica que existe un conjunto de
metas específicas definidas operacionalmente y criterios de éxito. Un programa
con repercusión permite lograr cambios o movimientos hacia los objetivos
Sepcirgtián cle gülenés recibían el deseados. Estos objetivos pueden ser de comportamiento social (como los de
.gratuíto de /us cierlitís ustucliontes los analfabetas funcionales con nivel bajo o las deficiencias nutricionales entre los
nirios), de relación con la comunidad (como los que reducen la frecuencia de cier-
Ekistta evidencia r de'que los-niños•: que recibían gratuitomonte el almuerzu y tos delitos) o físicos (como los que reducen la contaminación del agua o incre-
aqueililue, pagaban porél odlevaban ersuyo sé S-eparaban. De las ecuelas vlsita- mentan el número de viajes en autobús para conformar un horario).
das qUe seriiían almuerzos gratuitos y paqados, la rnitad separaban a los niños que Para realizar la evaluación de la repercusión, el evaluador necesita un plan
no pagzHn, manbanían filas diferentes, rnesas sepandas yío usaban boletos en vez destinado a recolectar datos, con el fin de demostrar de modo persuasivo que los
de dinero.
cambios están en función de la intervención y no pueden ser explicados de otra
manera. Los planes específicos para valorar la repercusión pueden variar consi-
Tt 1, 1 5 I Oç Fi p ,
s,dniufu us 0111,2 1` /u York CIty,
derablemente: algunas veces es posible usar diseños experimentales clásicos en
Iln,1-5t1,n 11,r 1ril d U
los que existen grupos control y experimentales, los cuales reciben tratamientos
diferentes y se constituyen por medio de una selección al azar. Las estrategias
básicas para analizar la repercusión se encuentran en el capítulo 5, y los experi-
mentos aleatorios se estudian en el capítulo 6.
Interrc,gantcs dcl prograrna cle verificación Sin embargo, por razones prácticas a menudo se requiere emplear enfoques
estadísticos en lugar de experimentos verdaderos. Los experimentos no aleato-
¿Aharcd (21 programa a la p J. 1 acu nobjetooaJ ra. objetivo es rios y los métodos no experimentales se utilizan comúnmente en la valoración de
¿Se:realtzan los csfuer¿os de irderjOri .élti'Cbirilsp'.1s0Cifi el diseño del la repercusíón. Con el cuidado y las calificaciones apropiaclos, tales dise'ños no
programa?.,
experimentales pueden dar una estimación razonablemente firme de los efectos.
Esos diseños se analizan en los capítulos 6 y 7.

30 CAP. 1. PROGRAMAS, POLITICAS Y EVALUAC1ONES 31

Las evaluaciones de las repercusiones son esenciales cuando existe un inte- Valoraciones de la eficacia
rés en cualquiera de los casos (comparar programas diferentes o probar la utili-
dad de esfuerzos nuevos) para reducir un problema comunitario particular. Un Desde que los recursos presentan problemas constantes que se agravan, el
ejemplo a este respecto es la evaluacón de un programa para optimizar el des- programa requiere valorar la eficacia. Las intervenciones compiten unas con
arrollo psicológico en niños (véase el anexo 1.5). otras para captar fondos de las fundaciones, de los organismos intemacíonales y
de los diversos niveles del gobierno. Asimismo, las intervenciones específicas en
los programas, suelen competir por fondos y recursos. Frecuentemente, se debe
AfleX0 1.5. Cttidado infantil diurno escoger entre programas con fondos y sin ellos, continuos y discontinuos, y
amplios o restringidos uno respecto del otro.
¿Asisteii. los infantes a:uri centro grupal de cuidado bien ideado, educativo y Por lo menos una de las consideraciones que implican lo anterior concierne
.xesp g nsablelos cinco días . dé la sernana, clurante un poco más de 100 áeinandS a lo económico: ¿un programa produce suficientes beneficios en comparación
qüe muestran:diferentes patrones de,desarrollo psicológico en transcurso o al con los gastos realizados?, ¿es un intento por producir un beneficio particular a
final de ese periodo, cuando. se Compara con ninos dél rnismo sen.y.anteteden,
un costo bajo, por unidad de resultado, respecto de las otras intervenciones o la
tes familiares que son relegádos en el context() ,sociar familiar entrega del servicio se ha diseñado para lograr la misma meta? Las técnicas
noreste de Estados .Unidos?
para responder este tipo de preguntas, tienen dos enfoques relacionados: los
le Una investigaCión a largo.plazo se di senO para-valurar los efectos psicológic,os. análisis del costo por beneficio y los análisis del costo por efectividad (para un
un prograrna experirnental realiza clo acerCa . del rno de niñOS entre lál
adades . de y 29 .rneses..-.LOs'sujétos'fueráñ-Chitias'9...Caitásicos defárnilias dela ejemplo del análisis del costo por beneficio, véase el anexo 1.6). Las ideas con
claSe- :frabajadórá' vinediá;-'161. Ctiales ft.jeran Cutdadól:Paitist grüpo de asistenéla las que se destacan los dos enfoques y los ejemplos ulteriores de ellas se presen-
,ocial especial 'en un centro, duránte de la sernana; el gru- tan en el capítulo 8.
po control principal estuvo constituido rd1-11MC relegadéks totalmente. a su . casa y
comparables cOri los niños experimentales en tii , rminos de sexo, clase socia19 rela-
ción étnica. Anexo 1.6. Cirugía ambulztnte
La cuestión central que pr(Y.'0 n16 la investigación se puede contestar COIlclerta en un hurnano
, eguridad: atendey ith centro de cuidzIclo cliunto con empleadosaclultos conscientes
y educativos duranteios 2.5 a .ños nu;pareciti et , ear ult perfil psicológico 'diferente
del crado por la permaneriCia en el:hOgar ,de lOs'nifícis control. Esta concluSión se En años recientes, el sujeto tratado en cirugía arnbulante há llegado a tener un
basa .na ..sÓló . en'la . .vatoración gian interés en el .carnpo del cuidado de la salud. En Estados Unidose1 interes ha
tárribtérferflas pbsertracioná.triforrnales do estimuladp por la'apertura del centro de cuidado quirúrgico gratttito a lo largo
de las'rtiñOS
. • durarité
. él periddci'de
. 2  añOs. nci ¿onfirm
.— an :I'atias
t • rtocto-
nes cpriáticlas acerca de Ids grupos de culd¿Rio. Aunque esrazonable presurnir del país, y por los esfuerzos en incrernento de las ágencias reguladoras de la sdlud
que para contener'el aurnento tan rápidó .de las costos en el cuidado=de aqUella:
encúentradiari .o'Con otroSioños durante los pnmerus doS arios podría aCelerar la
rnaduraciórt de .las secuenclaS interaccio: tales sociales vistas en nitios de 3 y.4:años, El estudio es un exarnen retrospectivo de los datos tórnados de un sistema de
lás datps recabádos riq'apóstaron significatiVamente .e.sta predicción. Las niños de cuidado rnedico autocontenido, que incluyó un cambio en los servictos quirúrgicas,
2ii.y.. 25MeSes de edatinó füerón :Muy'sociablés ni iniciaban juegos con 'otres niñós. de su hOsPital..E1 'servicio dé cirügía ambulatoría queproporciona es sírnilar al ofre-
LoS . juegos:cooperativos y agresivos no se vieron flenteente
roca rri entre arnbos gru- ido en los centrós de ctiidado quirúrgico de estancia libre. Los cirujanos delKalser-
póS: Habia nirios tímidos tanto entre-e1; ..grupo de culdado diurno Corno . entre :lps Permanent_MediCál Caré Program (PrO§rarna de .Cúidado médico permanente Kat-
iños de contipi hogareño. De hecho ocasión los -autores sattlficiéróri 1u. er) "dé Poitland,.Oregon, han practicado "Oirugía arnbulatoria durante más de 20
ctiriósidad acerca de .uria-niña:. qUe:nolmalmente cra poco tírnida, con una semejan- áños. En 1961-,.el . 10%de los pacientes que habían pasado por cirugía en los cuartos
te . extraña-énila : Valóraéión para : 20 . inese s y enviaron una pariente al centro de cui- peratórioS del-hospital_no fueron admitidos antes o después de la cirugía. A su vez
dado.dítirno. La niria • Se refügió de inine d,ato con Sll ITIZ1CStro del centro de éuidado en 1977, cerOa de1419.(Dde los pacientes que habían pasado por cirugía ambulatoria
penSaba que aúnestaba erisu territorío.:Los niños del centró de cuidá; del programano fueron alniticlos en el hospital.
.do no',fueróri'mas.Coóperativos ni rnás agrestvoS que'14. niñós control en Erí
reuine1-1;11á evaluáción:. reki. e. 10 una función de -creCimiento similar entre los nmos
contráLdel hogar -ccirrio. :en . los del centro dé cuidado. AturdisiS del ohcn rro en los costos
mvestigaron las dderencias dcl prc,ccsot I ambulatorias
-
Fuente: Adáptádb de Kagani Eilects of igt'--s'iifiu
nd '- i'a 'sL
la interna,'y encontr6 ;. ciúe la única difcrenc íca()d
tt\;-11: 1. 2,7
14(kitítLtkno se
, Devel6pmentr;_ en Eváluatioh
n 7I n .11 Quarté,Iy. .
de19. 7:7, ; p;Igs 1(19?.1.42
.
admitieron lós pacientes arribblantes (salva costos paralol págetit0.1ittelos),
ea Olue usaban más tiernrio cuartos tielry nternos. Estas
ron cdmol g iáüe : :Pará'hallar tos 'ahorrosen:e
ci costo:
o)iertos:procedirriientoS
ta la mPdalidad interna a ambulatória'éálátlái.t;hi
en, la presuncton de que ,(excepto I ,.)Igunos casos notados el costodel 143n-
a.rvá
,

32 33

.'lisis de los prOceddmientos seleOcIónados) . 1a cirucla ambnlatoria no esiába c1,4ponl-


. ble y, por tanto, podrían haber sido admin dos Po r ellocuatidio:él . Procedirniento se Interrogantes acerca de la utilidad del programa
7ealizó.corneren , e1 . caso ambulatorio se ala-O rr arortéoltós'd'elnternarló:lOS cnales
Meluyen el servicio de rutin por costb de internado y , el'coMO del doetor pár visitar ¿Es efectivo el programa para lograr sus metas?
at intérno v son parcialMente influidos pór el costo extra dél llempo en el cuarto de ¿Se pueden explicar los resultados del programa por medio de algún proce-
recuperacIón del Pacierrte arnbulatorio, el cua1 s Mayor que paia los Internos. so alternativo, el cual no está previsto por dicho programa?
25raty ¿Tiene el programa algunos efectos que no se planearon?
¿Cuáles son los costos de entrega de servicios y beneficios para los partici-
AhOrros;en los; eostos por caso ambulatorlo medlante proccrlimientos selectos pantes del programa?
!(basados en loS prócedinnentos arnbülatorios de 1974, áplicadd a -dólares de 1977) ¿Utiliza el programa eficazmente los recursos, en comparación con los usos
i alternativos de los mismos?
, •
total SustracélÓn del Costo total.
ór pactenté costo del cihorrado
por caso
ra ián lat ETAPAS DEL PROGRAMA
113.41ataaión y curációcfeUútekT1,. 1 54
Etlrpactón y dé,Strude(óri':dé.iél Como se vio en párrafos anteriores, las evaluaciones se realizan para res-
Lven, la piel y el tejido sub-cutkne0
;_ i, 16 . ponder a una variedad de interrogantes relacionadas con las listadas en los
Ilgarnento lateral y divisl¿n déla tres enfoques de la investigación evaluativa: la conceptualización y el diseño
trompás de Falopio'y del programa, la puesta en marcha del programa (monitoreo y explicación) y
salpingectornía bilaterai 2 05 la utilidad del programa (valoración de la repercusión y de la eficacia). Ade-
Miringotomía - 4.32 más de tratar estas interrogantes, una evaluación se debe adecuar a la etapa
(> 131opsia del seno niastectorjifái
del desarrollo de la intervención que se ubica. Esto se puede encontrar al loca-
.pareiál ' •,
Extlrpaciórt de la leslón clel
lizar al programa en un continuo cuyos polos sean los programas "innovado-
muscular y faSclá res" y los programas "establecidos", con puntos intermedios en algún sitio
EX'plórión y neurolisis entre los polos, y que señalen las necesidades de "refinamiento", "modifica-
J:perifiérko ción" o "afinación". Mientras que los mismos procedimientos genéricos
,.Clreuncisión caracterizan todas las evaluaciones, el estado de desarrollo de un programa
parcia1del —al que se hará referencia como la etapa del programa— determina el nivel de
I•tráVe'OtO -mía (éoni,iació111 esfuerzo y los procedimientos técnicos seguidos durante la evaluación.
ITOdos los procediMientos .
selecciOnaclos (tasa promedgi.:
casos 21.9, Evaluación de programas innovadores

onclusiones Las intervenciones nuevas son relativamente raras. Muchos programas pre-
sentados como "nuevos e innovadores" suelen ser modificaciones de las prácticas
. . _
n este ..41.tilfii •sa .'ericoritro-atielá . éttilafá:ár03alaiit . paedé ah"„..<.-iiar-gf-bn-cnriff:• ya existentes. Lo que hace innovadora a una intervención es que el "tratamien-
dad de.dinero : para los constmuclí,res de ciii Lidosaii la s¿alud-rl se ejer utara a nivel to" no se haya aplicado nunca a la población específica. Puede haber sido proba-
nacionaLenuna proporelon sunilar ,7)1 estudlo hectio,-se ahárrarían.apttOmáda- do en pequeña escala, demostrados sus juicios de manera impresionista, pero
i-nchte'750-nrlit anualtriérite.•'(áSaddeiiigrIf4'.'de-19,1».). -1-árn- nunca con el intento de ponerlo en marcha en gran escala.
blén'se encontró que Ids pacrel n tes n,))Ositii-6VééClél-es de cuidados estaban satisfe- En términos nuestros, un programa innovador es aquel que no ha estado
chos con, • la cirugía ambulante y que'-la•cálidad,del , cuidado era muy _ alta. sujeto a ejecución y valoración en los siguientes puntos:
Los resultadoS del estudiO indican clararnente que un- programa de cirugía
arnbulante,podriajSer beneficoal , sisteina,:tptaLdeuiliOps , en la salud. Él estudio 1 La intervención misma está en una fase de desarrollo y de investigación
: tambien rétrela-í. rré tal progranía,se,Todría'gjecutarlácilmer4.
.20?' emergente; es decir, no hay evidencia (o está muy limitada) de que ejer-
ce un efecto en un programa establecido. Por ejemplo, los hospicios, que
PuésteY, 'Ad.,-,p-tn-dó, cnri
n;o1 xt,111. 1,14 , rer.c, : tle 1 50 ;gs:' 127 1,1;0.
se instalaron con propósitos no médicos para pacientes enfermos en vías
de recuperación, están siendo evaluados como una opción innovadora
para la hospitalización prolongada. Aunque los hospicios han funcionado
34 CAP. 1. PROGRAMAS, POLITICAS Y EVALUACIONES ¿CóMO SE USAN LAS EVALUACIONES? 35

durante muchos años, sólo recientemente se les ha considerado como comunitarios para la salud con los hospitales de enseñanza, no cambia el con-
una amplia posibilidad, la cual quizá deba tenerse en cuenta para merecer cepto básico que apoya el servicio de cuidados médicos a personas con bajos
el apoyo gubernamental o de fundaciones nacionales. ingresos. No obstante, puede tener mayores consecuencias en el costo de tales
La entrega de sistemas o parte de ellos no se ha probado adecuadamente. cuidados, desde el punto de vista nacional, y alterar marcadamente la calidad
Tal programa podría incluir la idea no probada de tener estudiantes de del servicio recibido.
nivel medio y dar educación nutrícional e información a los ancianos.
Los objetivos de los programas son nuevos o amplios. Una interven-
ción de este tipo puede ofrecer entrenamiento de lenguaje por medio
de cintas grabadas, para escolásticos inmigrantes, quienes no están Evaluación de programas establecidos
presentes en gran número para justificar los programas educativos
bilingües en escuelas individuales. Los programas que establece la legislación, y aun aquellos con décadas de
4. Un programa, originalmente tomado en respuesta a un objetivo, se conti- existencia, pueden estar sujetos a evaluación debido a causas diferentes. Prime-
núa o amplía a causa de su trascendencia en otros objetivos; por ejemplo, ro, un programa se pudo establecer debido a múltiples razones externas y/o polí-
un programa mediante el cual se proporciona automóviles marcados a la ticas, de modo que es importante, para justificar su continuación, expansión o
policía para el uso de su personal, puede haber sido iniciado con el fin de terminación, tener un programa de computadora y el rango de sus beneficios por
disminuir el índice de delincuencia, pero se continúa para restringir la costo. Los cambios en la disponibilidad de recursos, puntos de vista, prioridad de
inestabilidad del trabajo y mantener a la policía cerca de sus distritos. los miembros de la comunidad y las declinaciones reales o afirmadas en la magni-
tud del programa objetivo, pueden originar actividades evaluativas. Quizá más
importante al estimular la evaluación de un programa establecido sea la suposi-
Evaluación del refinamiento ción de que los programas son deficientes. Incluso, como ya se mencionó, los
programas estatales y locales y el creciente número de los federales deben cum-
plir los requisitos de la legislación vigente, la cual dispone de un programa regu-
Una vez que el programa está en marcha, es importante probar las diversas lar de revisiones y terminaciones "automáticas" de los programas que no pueden
formas de su funcionamiento. La mayor razón para hacer esto es mejorar su efi- demostrar su utilidad. Las evaluaciones de los programas establecidos pueden en-
cacia, o sea, incrementar la magnitud de su repercusión o disminuir sus costos focarse en los rangos de los efectos y en costo por beneficio; sin embargo, a menu-
por unidad de repercusión. Un ejemplo de lo anterior podría ser un programa de do, las valoraciones se limitan a examinar la entrega de servicios. En tales casos, la
instrucción semanal para niños pobres que mejoren sus habilidades en un grado evaluación se centra en las interrogantes del monitoreo: si se sirve o no a los gru-
aceptable, pero que el equipo de trabajo considera que podría ser más efectivo si pos objetivo apropiados y la extensión en que el personal del programa y la admi-
los niños tuvieran oportunidad de aprender una vez a la semana. De acuerdo con nistración cumplen los requisitos con respecto a la calidad de servicios entregados.
esto, se evaluó e incluyó un programa complementario de "tareas para la casa". El área de servicios humanos es altamente susceptible al cuestionamiento serio y
Un ejemplo de lo anterior es el programa que comprende tres meses de asesoría responsable, acerca de cómo se realizan los programas, así como respecto de los
diaria para alcohólicos recién salidos del hospital. Como el costo del programa ataques políticos o de la publicidad. Los resultados de la evaluación (o sea, los ori-
era muy alto, se hizo la evaluación para valorar la reducción del programa de tres ginados por la verificación del programa y los causados al evaluar la eficacia y la
meses a dos. trascendencia) pueden influir en las decisiones acerca de la expansión, continua-
Existen otras razones para depurar las evaluaciones. Una es dar los servicios ción o terminación del programa, así como en las decisiones de las organizaciones
de manera equitativa, esto es, que los servicios del programa se den a la población que son responsables del mismo.
objeto al mismo tiempo que se proporcionan a las personas de la población en
general. En una clínica dedicada al cuidado de la salud, esto implicaría establecer
un programa de citas, con lo que se conseguiría abatír el tiempo de espera. Aquí el
resultado podría ser si se han satisfecho o no las necesidades del paciente; con un ¿C(5/§40 SE USAN LAS EVALUACIONES?
buen sistema de entrega, esto se incrementaría sin pérdida de eficiencia. Otra base
para depurar un programa es reducir las deserciones de la población objeto. En Efectuar evaluaciones no sólo es diferente de acuerdo con el estado del pro-
nuestra clínica hipotética, esto podría ser un razonamiento secundario por ejecutar grama desarrollado, sino también con el uso que se les dé. En el alcance y diseño
después del sistema de citas. de las evaluaciones se deben tener en cuenta los usos múltiples; sin embargo, no
Cabe destacar que no existe una división clara entre innovador y depurado, existe una distinción clara. Aunque el rango de usos nunca se puede describir
este último también conocido como esfuerzo de modificación. Algunas veces específicamente, es posible considerar los usos de la evaluación en términos de la
los cambios que se prueban son menores y fácilmentes modificables. Sin embar- forma de tomar decisiones. El uso también se puede examinar en términos de las
go, en otras son costosos y pueden estar ampliamente ramificados en la red de consecuencias o ramificaciones del esfuerzo evaluativo. Ambas perspectivas son
servicios; por ejemplo, la depuración que en un principio integró a los centros adecuadas con respecto a cómo los evaluadores desarrollan su trabajo.

36 ¿CóMO SE USAN LAS EVALUACIONES? 37

Formas de las tomas de decisiones cia, las divisiones profesionales, políticas y legales acerca de ello; por ejemplo,
la presión para desinstitucionalizar el tratamiento para enfermos mentales y
Como en toda investigación aplicada, las evaluaciones se efectúan para personas retardadas está acompañado de numerosas conclusiones prácticas,
influir en las acciones y actividades de los individuos y grupos que pueden unir políticas y legales. La primera orden dada por un tribunal con respecto a la
sus acciones para obtener resultados derivados del esfuerzo evaluativo. En el desinstitucionalización de las facultades otorgadas por el Estado para retarda-
caso más simple, los resultados se dirigen a un ejecutivo individual, como un dos mentales, fue acompariada por una evaluación pagada, con el fin de termi-
oficial clave en el servicio público, quien tiene la autoridad y responsabilidad de nar las consecuencias de esta desinstitucionalización en las personas severa-
colocar recursos y así establecer un programa de servicios humanos; por ejem- mente retardadas, sus familias y los miembros de la comunidad que viviesen
plo, dentro de ciertos límites, los jefes de policía pueden decidir cómo asignar a junto a donde ellos podían residir. Los resultados podían tener importantes
sus oficiales, cómo estructurar la comunicación entre las diferentes divisiones y consecuencias para la legislación futura y para las decisiones legales en varios
cómo tratar las emergencias y otros sucesos imprevistos. estados e incluso a nivel nacional.
En otros casos, la situación es más compleja; una gran variedad de partes Otras veces, las decisiones tienen un efecto indirecto o diferido. Las que se
influyen en la forma de diseñar y ejecutar los programas de recursos humanos; tomaron para desarrollar el conocimiento o para los objetivos de un programa
por ejemplo, la iniciativa de un seguro nacional para la salud podría requerir con- particular pueden tener una repercusión subsecuente. Esta repercusión evalua-
venios, en programas delineados, para ramas ejecutivas y del congreso del tiva es referida algunas veces como uso conceptual de los resultados de la eva-
gobierno federal, e implicar la atención de las opiniones y el interés de mucha luación; por ejemplo, hace algunos años mediante estudios cuidadosamente
gente evaluada, incluidos los profesionistas en el área de la salud y sus organiza- controlados se examinó la repercusión de la psicoterapia en las prisiones. Los
ciones, grupos de trabajo y manejo, aseguradores y agregados de consumo. Las resultados demostraron que la psicoterapia tenía utilidad limitada, si existía
permutaciones y combinaciones variadas de evaluados, así como el rango de alguna, misma que estaba disponible desde varios años antes de que existiera
influencia y el proceso de toma de decisiones encontradas mediante las activida- preocupación acerca de su eficacia en los programas de rehabilitación con pri-
des de recursos humanos, están sujetas a indagaciones especulativas y sisternáti- sioneros (Kassebaum et al., 1971). Los esfuerzos para ampliar la psicoterapia
cas. Existen tres posibilidades para la toma de decisiones, las cuales se estudiarán en las prisiones, incluidas las acciones de la corte, resultaron poco útiles ante la
en seguida. evidencia de la ineficacia, la cual contó con la evaluación previa. En este senti-
do, aunque con dificultad para ponderarlas, las evaluaciones pueden contribuir
seriamente en el área de los servicios humanos. Asimismo, las evaluaciones sir-
Decisión de continuar o no continuar ven para "disciplinar" el programa de toma de decisiones. Como se verá más
adelante, el énfasis de las evaluaciones sobre metas explícitas, los criterios o la
En varios puntos de la programación de servicios humanos se requieren ac- especificación de actividades intervenidas, puede influir en cuanto pesen otras
ciones decisivas; por ejemplo, la Secretaría de Salud y Servicios Humanos debe decisiones importantes que se hayan dado.
recomendar al Congreso o a la Casa Blanca si se debe o no dar entrenamiento a las
distintas categorías de practicantes en el área de la salud, cuáles pacientes admitir
en los hospitales auspiciados por el gobierno, los requerimientos para elegir los Legitimidad y explicación
programas de bienestar, etc. En un nivel local, los superintendentes y las juntas
escolares pueden decidir si se impone o no un ordenamiento acerca del tamaño del Las evaluaciones también pueden servir a cualquier programa ya sea de opo-
salón de clases, con el fin de establecer un programa de estudio-trabajo para estu- nentes o seguidores, como inicio a los descuidos de los programas. La informa-
diantes de secundaria o para terminar la instrucción preprimaria. ción acerca de cómo se han realizado las intervenciones, la extensión en que han
Relativamente, existen pocos casos en los que las decisiones se basan sólo en alcanzado sus objetivos, su repercusión y sus costos pueden ayudar a los seguido-
los resultados de la evaluación, aunque si estos resultados son convincentes y los res de un problema en particular a tener cuidado de sus oponentes o viceversa.
estudios son defendibles desde el punto de vista de rigor, pueden dominar la La legitimización se puede requerir en niveles diferentes; por ejemplo, la junta
toma de decisiones. de trabajo de una fundación que apoya el programa de salud en una escuela
podría estar preocupada por que se tratara o no a un número de niños suficien-
te y por el costo del cuidado de cada niño como unidad. La administración estatal
Desarrollo de una fundamentación para la acción de ese programa podría usar los reportes regulares de tal información para esti-
mar la producción y el desempeño de los grupos de trabajó sobre salud en la
A menudo, las evaluaciones influyen en la toma de decisiones, a saber; las escuela, los cuales se localizaban en los sistemas escolares en todo el Estado.
consideraciones prácticas, políticas y de los recursos, así como la sabiduría y la Por supuesto, las evaluaciones de los objetivos de la legitimización no tie-
experiencia de aquellos con influencia. Algunas veces, las evaluaciones afec- nen como finalidad justificar el statu quo con respecto del programa. Más bien,
tan directamente la fundamentación esencial de un programa y, en consecuen- alertan a los financiadores del programa o a los administradores acerca de
38 CAP. 1. PROGRAMAS, POL1TICAS Y EVALUACIONES ¿QUIÉN REALIZA LAS EVALUAC1ONES? 39

..puntos débiles" y sirven como base para la modificación, expansión o reduc- dos y evaluados por el gobierno. Uno, realizado en la UCLA (Universidad de
ción de las intervenciones; por ejemplo, en el distrito, los diferentes índices de California en Los Ángeles), consiste en desarrollar centros ambulantes de cui-
personas inválidas que regresan a sus labores, podrían sugerir al director de la dado primario en escuelas públícas, atendidos por enfermeras practicantes
agencia estatal que se necesita reubicar los recursos humanos o trazar de nuevo (con médicos internos), quíenes dan servicio a nirios de familias con escasos
los límites del distrito para centrar la atención en los grupos de población con recursos. Si es eficaz y eficiente, podría ser un modelo para el programa nacio-
grandes necesidades. nal que cuenta con apoyo federal. La naturaleza de la intervención minimiza las
oportunidades para estudiar los componentes individuales del programa; sólo
una interrogante de intervención amplia podría brindar una valoración total. El
La política y los estudios administrativos segundo programa fue evaluado por la Rand Corporation (Corporación Rand)
La bibliografía acerca de la investigación evaluativa, o sea, muchos de los y se diserió para mejorar la salud dental de los escolares; es un experimento en
comentarios en las diversas investigaciones aplicadas, se refiere a la "adecuación el que numerosos escolares, en todos los Estados Unidos son asignados a pro-
política" del trabajo en el campo. Las evaluaciones políticas se pueden describir, gramas de tratamíento diferentes. El tratamiento más completo consiste en un
en general, como aquellas que tienen un efecto potencial en grandes sectores de curso acerca de educación de salud dental, el cepillado y uso de hilo para los
la población, o que originan cambíos operativos mayores en la estructura y las dientes, la fluorhidracíón de éstos y una aplicación anual de un obturador que
actividades de los grupos participantes, o que son críticos para ubicar los recur- rellene las cavidades. El diseño del experimento permite estudiar la repercusión
sos monetarios, humanos u otros. Marginalmente, es fácil separar a la política de y el cbsto por beneficio de los componentes del programa por separado, en todas
las evaluaciones administrativas; sin embargo, en la práctica la distinción recae las combinaciones posibles. Según los resultados, se podrían poner en marcha
en la manera en que los evaluados perciben las consecuencias de la valoración; programas elementales individuales. Por varias razones, esto se podría conside-
por ejemplo, es evidente que la evaluación de un programa como P/aza Sésamo rar un estudio técnico masivo; pero el grupo de la fundación apoyadora y los
se puede considerar un estudio político. Los resultados tienen implicaciones diseñadores en el área de la salud lo consideran un estudio a nivel político, debido
sobre los fondos públicos, los requerimientos para los canales de televisión con al efecto de los costos en el cuidado de la salud dental, incluida su influencia en el
respecto a la asignación de tiempo para la transmisión pública, y los tipos de trabajo de los dentistas particulares, todo lo cual prueba si es eficaz (Robert
otros programas relacionados con el aprendizaje de la lectura o la enseñanza. En Wood Johnson Foundation, 1980).
contraste, la decisión de una agencia del gobierno acerca de evaluar "el tiempo Por supuesto, el nivel de la evaluación tiene consecuencias en su diseño y eje-
flexible" para su grupo profesional (al permitirles trabajar a veces en lo que ellos cución en términos de fondos, tiempo para su terminación y sus requerimientos
escojan, conforme cumplan con el número requerido de horas) se puede consi- de gente. Los evaluadores exitosos son aquellos que se han clasificado a sí mis-
derar una evaluación administrativa, aunque pueda influir en múltiples personas, mos, a sus apoyos y al equipo de trabajo, acerca de cómo debe usarse la evalua-
incluidos los grupos de otras agencias, los clientes y las familias de los mismos ción y sus niveles de aplicacíón. Esto es necesario siempre que la evaluación sea
trabajadores. un programa innovador, un programa con exigencias de depuración o un pro-
Ciertamente, conforme las evaluaciones son más generales y permiten tomar grama establecido.
decisiones costosas y difíciles (esto es, cuando los cambios que se efectúan influyan
chrecta e indirectamente en un gran número de personas), son más factibles de ¿QUIÉN REALIZA LAS EVALUACIONES?
rotularse como "evaluación política". Sin embargo, es importante que la extensión
de las evaluaciones políticas no se destaque sobremanera y que la relevancia de la Los estudios para evaluaciones sistemáticas se basan en las técnicas de
valoración administrativa no disminuya. En muchos programas, pequeños y investigación en ciencia social, que tíenen aplicación en estudios evaluativos.
grandes, la evaluación de la tecnología, de los cambios en los procedimientos Por consiguiente, muchos especialistas en evaluación han tenido entrenamien-
burocráticos y de las modificaciones menores en la entrega de sistemas, puede to en ciencia social. A primera vista, las personas poco relacionadas con la
tener consecuencias importantes en la efectividad y eficacia de los mismos. investigación evaluativa difícilmente podrían comprender los análisis profesio-
También cabe destacar que la dístinción entre política y estudios técnicos nales de las evaluaciones. Como en otros campos profesionales, los evaluadores
administrativos es artificial. En parte, depende de la perspectiva desde la cual han desarrollado su propio vocabulario, sus expresiones taquigráficas y sus re-
se determine el nivel de evaluación; por ejemplo, muchos podrían considerar glas para efectuar el trabajo. Uno de los principales propósitos de esta obra es pre-
que una forma de disminuir el índice de delincuencia de usar autos policiales sentar al lector este lenguaje especial que emplea el evaluador. Para facilitar el
como autos personales, parece un estudio técnico o administrativo. Sin aprendizaje del vocabulario, al príncipio de cada capítulo aparece un glosario téc-
embargo, para administradores políticos, las materias de costos, responsabili- nico especializado con el nombre de conceptos principales.
dad del seguro, moral policiaca y aceptación pública aumentan las responsa- Parte de la complejidad de la evaluación se debe a la tendencia de algunos pro-
bilidades políticas. fesionales de desarrollar su propío lenguaje, pero parte de esas necesidades, en
La manera en que se percibe un estudio depende de lo que es el programa y cuanto a terminología especial, deriva del concepto único y de los desarrollos inter-
de cómo se formula. Existen dos programas nacionales de salud infantil, apoya- nos propios de cada campo. En un nivel mayor de complejidad, las actividades
40 CAP. 1. PROGRAMAS, POLITICAS Y EVALUACIONES

evaluativas pueden ser técnicamente complicadas, complejas en su concepción,


costo y larga duración, por lo cual requieren la participación dedicada de especia-
listas altamente entrenados y con habilidad para asimilar la teoría de la ciencia
social, los métodos de investigación y las técnícas estadísticas. Estas evaluaciones
altamente complejas son realizadas por grupos especializados en evaluación. En el
otro extremo, existen muchas habilidades de evaluación que pueden comprender
y completar fácilmente personas con poca experiencia.
Uno de los propósitos de esta obra es ofrecer a todos aquellos cuyas posicio-
nes actuales, intereses académicos o su natural curiosidad los inspiran a querer Cómo integrar
aprender la forma de realizar las evaluaciones. El objetivo es ayudar a las perso-
nas encargadas de la administración y el manejo de programas de recursos
humanos, con suficiente comprensión de las tareas evaluativas y sus actividades,
las
no sólo a juzgar por sí mismas qué géneros de evaluaciones son apropiados a
sus programas y proyectos, sino también comprender los resultados de estu-
dios completos adecuados para su organización. Se ha tratado de escribir una
evaluaciones
obra que sea útil para aquellos que realizan (o planean realizar) evaluaciones,
para quienes las contratan, para quienes supervisan personal y para quienes
Cada evaluador no puede ser un planeador y un ejecutor de programas; sin embargo,
son consumidores de la investigación evaluativa realizada por otros. las relaciones entre el programa y su evaluación requieren una comprensión mutua de las
habilidades y del proceso en que participan ambas pa:rtes —de aquí la necesidad de consi-
derar la planeación, el diseño y la ejecución del programa. Cada evaluación se debe inte-
grar a su programa. Las tareas emprendidas por los evaluadores son diferentes en varios
sentidos, según la etapa de actividad en que se desarrollan y las necesidades e intereses de
los evaluadores, como los políticos, administradores del programa y grupos financieros.

CONCEPTOS PRINCIPALES

Va/oración de /a eva/uación: Conjunto de procedimientos para planear las evalua-


ciones de tal manera que el interés de los evaluados
se teriga en cuenta con el fin de optimizar la utilidad
de la evaluación.
Metas: Conjunto de declaraciones generales y abstractas de
los estados deseados en las condiciones humanas y
del ambiente social.
Modelos de repercusión: Conjuntos de hipétesis guía que remarcan la planea-
ción y la puesta en marcha de un programa.
Objetivos: Declaraciones específicas y opcionales, mediante .las
cuales se considera el cumplimiento deseado de los
programas de irrtervención social.
Planeación: Proceso de convertir las metas en objetivos, de tal
manera que se formulen las intervenciones específi-
cas y se definan las poblaciones objeto adecuadas.
Sistema de manejo de la infor- Sistema normal de recolección y análisis de datos que
mación (SMI): permite el cumplimiento puntual para la entrega de
servicios y de la información resultante.

La investigación evaluativa es una parte integral del conjunto más amplio de


actividades que generalmente se describe como política racional, toma de decisión
científica o planeación y ejecución de programas Sin embargo, se debe reconocer

41


42 CAP. 2. CóMO INTEGRAR LAS EVALUACIONES 43

que las decisiones que afectan los programas casi siempre se originan de una mez- ,i,ceptabs -irincv; pilqt_)s dr leiew mi v los j‘ jkperiméntalr-_Js•i;Eldirector detpro9e7C4O-ftie
cla compleja de consideraciones políticas, de influencias personales de los princi- cit-)do en la corte N ic n. n 0: jJernsjejy;Y:Se le on-lei'j&JbaCerri iélistros expenUrentaleS.
pales evaluados, de limitaciones económicas y de la disponibilidad del personal . Aunque el citatclirio do tuvb'él cáraeter de obldátário, se'Vequirió o Mattrernati¿á
técnico necesario, así como de tecnología (véase el anexo 2.1). Por tanto, la inves- que conlpens,lra a lo*depaí-tameiitos . de tienestar soclal locales por nl sobiépago
tigación evaluativa se debe considerar como una de las múltiples posibilidades otcTg40:1?ápIps,;familiá'.,éxííéririeht¿ilés.
de iniciar la investigación, el diserio y la ejecución de programas. Para maximi- É11969, Cb-nf¿t-tine eflCcingreso tm nusi deroha uná reforrna al bienestar
zar su influencia, el evaluador debe comprender los arreglos organizativos for- s¿?presionóal equirio,de.trakájo, Par. ágtie prc;dujeralesúltados dei;exPerirriántó gtie
males e informales del ambiente en el que labora. Por otra parte, los políticos y sár jadecuad¿S párá la legi 1 inc o q1:1,2 se .C. onsideraba:t o's
los administradores del programa deben asegurar que la toma de decisiones, la .res sé:coryilíilai. C5i,i;iy ,. -Présentarórt pr,.j .-Ju raciam
en testl j nortio:, antej. e1.1.0,ou'se
planificación y la ejecución se realicen de manera clara y explícita, de modo que WayS -anctMeanS'Corrunittée'(dornIté"de nTaneras y signIticádos de la caSa): ÑC•ijObs:
tante, los op. Ositores á lalégislaérón éSiirnaron a los rrperimnentadoresi COrriO defert
las intervenciones serán para beneficiarse del esfuerzo de los evaluadores. sores reforrnas, proOueStás> al -bjerlestar' sociI y prestonaiorir--.1a.General
Accountin§OffiCe-(Qticina,de Ontabtlid,_n,c1 g rural) - pára gue efeetuara,Unianálisis
crítieó-rdel'éPeliner
'litO;
- , irieluida
'Unáth
„ e-t
>vi¿jaciórt'aCéjitárdil.lOá.'clatoS'OrigiViále
Anc,x0;2:1•:-.:Histotiá-:del experimento,Idel intpuesto los reentn35isras.con 1 ujetos experimentalessj:.,
negátivo áljháiégiM,Pé -nnsylúaniá-Ntieva Jersey •
n Fair, TfiP Nety it y Inc,rit•
LóS'prograrnás ildtinpuctos eg, - It I VUS ti / 1,2I"(2Su ,usotuyen lus debienestar . Es f ritn-77t tol I 'Ara,i,mac P", 'a.15rk. i.ágs 4 5'
, , . . , -
social,whan;sido;defendijdos por per,ona ,,. tan div. ersaScornp .„Milt91:riedrnan y
otrcS•éConbrnistási-riláTlibjerales.
.
..-
>
atractiVOJ 'cle'algáriOs' álljkalés:
. -Prógrántáá...lf• ;'0V&s• .In's-•, e. Zito. JDébido. . •que no
.
Cabe hacer dos advertencias. Primera, el análisis que sigue proporciona una
.gui.ó, la „aprobáción,,pOlítita,:,,e1 equipp de, la-oro busc6 rnaneras d'prbducir perspectiva ideal de las relaciones entre las actividades evaluativas y la planifica-
¿onírin¿érité,'evidericia'de
. , _ - - sn-•factibilidad.,
,.,.... • ción, el desarrollo y la ejecución de los programas; supone que existe un acuerdo
En 1 C_) b 'y 1967, se enüiarorr nun-Jerósós planes.de.la ..:0EQ,para-eornenzar formal entre las partes participantes para efectuar la ejecución en el orden en que
pru t Liás de->"C. .árn-po , ácerca‘j.de lOs-diiid"sos.,plárieS`idel>,,iñnpilestb se hará. El lector debe notar que la tarea actual de ubicación y sus secuencias
Ingreso. 1.111án rriáS > atráctivO'fue , enviádo pof Mathernatica, una erttpresa09 . 1r.inT , varían marcadamente dentro y entre las áreas de servicios humanos.
- ce.ton,- 1\f-tib:ra-:-Jerlesr. Segunda, existe una amplia variación en los arreglos organizativos. En un
, ffil-InciarjestkiSrnbeiliciOn, Sargent.':$ ,. .hliver;'•dtrector >. déj11.0E0, éltába-indecikde, extremo, el evaluador puede hacer su trabajo casi por completo independiente-
_ preSrar:íart §-r:an a0da. á'ea'étripresaJinsisrtó e. n[gLiejel"pro. Yeétose realizartiajó mente, o bien puede programar o planificar al personal. En el otro extremo, el
' - la -jreSPOnsjabilidadj.látj tnCIPal - d' el " InStitnte for ' Re,earchj on Po y erty dristitutó'de
I,, in's;iestigáéféin'S'obre`-.1alSóbrei`aj de lá'UniverSic1,-Jd de Wisconsin corno prirner.co,n- mismo grupo de personas es responsable de la planeación, el diseño, la ejecu-
tratado:y Máthernaticázcomo > subeOntratado. - ción y la evaluación del programa. Es muy raro que el programa qUede tan bien
A.j rn-ediadós-dejl.96,7,se,-firrnáron:los:corittd.tos › se consu nlier-on 141rneses..en.,;,,.• planeado, diseñado y ejecutado, que el evaluador disponga de tiempo para con-
el cliseñó del.estudio, el cual se-ideó cc>rno . un experirnentó cori centrarse sólo en lo que se puede concebir específicamente como las tareas de
j üleatbribS en el qiie-los'ia'ago5 ;negátivoS,del,irnpueSto sOre el , ingres9..variaáfissis- •-• , evaluación técnica. El trabajo del evaluador suele incluir su: participación, sea
iernáti¿ari'leñie'eri'doS,dirneriSionel-S :21a , gáraritláldé.'iiidreSb rnírl'irrWli;165.6ziejjia: - parcial o total, en las actividades que idealmente deben proceder del esfuerzo
jes`cle_jirríptieSTO:allicabler-Désdkelotqñáikle,-.19613.1-iásta evaluativo, o por lo menos deben ser responsabilidad de otros. De hecho, algu-
oágo-s,-„ dierón á.f,"fartnliasjériTgrirpos',¿Zier-tinentales,. = Y 1.61f Ofu—IS-61'. taiít'd. eXpneri- nos evaluadores argumentan que esta participación, en un proceso mayor, es
mentales_, corno cc.ntrol rinnuciu•jaruent„

p.or _ •.-•:-.
J1•_. J2ntrevistas una gran contribución al esfuerzo evaluativo (Wholey, 1979). Es esencial con-
personales •
tar con una orden compartida para diseñar y tomar programas, de tal manera
Dluante todo el espe lunento ocurriel on 5 lOOeventos (11.11: muestran que maximicen la probabilidad de una evaluación rigurosa. Apoyar estas activi-
raccic,nes entre los eventoS, p-olítiqbs y la reálización dela actividácIl.ev'áluati nid'El---'
prun„er evento tue 14P cl-un bi9i eri la:políitc • de1bierteStarsocial--en -ebEstadc? d..e:Nue. dades es uno de los objetivos de este capítulo.
va _ 'jíláCó 'Clejr>ties'd . J é r;'eSi.:71.e`r.é.S. có i ó
cornpub sitiO párCi0;debido á ,. quela, riólítit&de.biénestár.s(pcial actualsólo,abarca-,;-
b#,'"ájá.p:pládiés'de3fámiliábájólalAIDC:;.(Aiiitó.' Fmiliesvith Dependent.Children PLANIFICACIÓN DE LAS EVALUACIONES
farriiliaseón hijos ‘ dependientes-,7 )..Er.¿an-lb:b.tórnó_a las familiás.con DE LOS PROGRAMAS INNOVADORES
cle:biénéStaf:'-'j
Nueva .‹.1,2rse.1,7corup j , Ptivas j cjón algunqs,planes, menos generosos.:,--, El proceso de planificación incluye identificar las metas de los gastos de la
El „.. • Nneva--Jerse9,-c'reóiótrób-•pr'obterna::•Lbs:Of
, . .„,.. - organización y del inicio de la intervención, valorar la extensión en que las actua-
.oeieS de:bienestar so¿JiaLlóc.alés se,p,reoeuparon reicir les condiciones se desvían de aquellas metas, y desarrollar una infraestructura

44 CAP. 2. CÓMO INTEGRAR LAS EVALUACIONES 45

general o estrategia para lograr las metas deseadas al modificar las condiciones o lnve_sttgaciOWS al respecto r velanque et p;cogr9ma
s feer1 f es Inmane-
el comportamiento. Lo segundo requiere especificar los recursos humanos nece- - jable," j-1;íque n rerine UT10 o más cle los'treritehos,
sarios, así como los recursos financieros, designar las responsabilidades indivi- - -
. ,Aunquecada programa fecieral pres-enta di y ersosobjetl y os, &tosgeneralmen-
duales para obtener las actividades de la intervención, y establecer un horario te
Y10 los ha'n definido e ncargados (políticos y administrádoresdelV},,ióátárna)---
, - ,
para llenar los objetivos de la reunión. La planificación se considera un deseo de de mane'ra gire progresenhacia objetl y os quesep,tle'dary'lite.,.seaniítiplotigntes
reducir el vacío entre las metas y la realidad; no obstante, en algunos casos la 'para apoyar las presuncidnes de_l programa prob jW0:- U4. 1):0:01rarflátSfáh 5114;;;J.-
meta puede ser mantener el statu quo para afrontar el deterioro anticipado. cientemente : definidos Párz-1 ap-Oyarlos,
El diseño de todas las evaluaciones tiene cualidades genéricas similares. -modo que se logren obleti y os esPecífico's-telatitiOs alasrnetaS irnplicadas-len
, 1129iSlación autori2ádá --, En ' táleS proliáM-ái;ttliquler actiVidadiealizada tienl?
Aunque en la sección siguiente se examinan estas características en relación con - ,,• , • . „
,ser sinónimo de los -objeti y ós; esto es;desdelá perspecttva,,-adrnintstrativa„
los programas innovadores, muchas de ellas son aplicables a las secciones subse- , ,
efectos Intentados se logán cuando las 4. tiViclades del prográma se realtzan_inde . •
cuentes en la evaluación de programas establecidos y en su depuración. pendientenierde cie los réultadosdei , prograrna ode la repercUsióri subse'ciíentl-
' - • •
lós,-,probternas afrontaclOpor,
Cómo establecer las metas e identificar los objetivos t Tainadu, de
_ Na..1; et .ci
_ Yo.0 -"1 1.42 ” Then I t
Tch M dtt "''
,WIthlWay yuo Go",- én CIC„Abt (chi'.), The EVUILIUtiOn of .Soctal ProlnarpsSpgre POlicati.ortS, bi,verlg
Los programas de intervención social se pueden diseñar sólo en relación con 97 MS • - •- '

una meta. Para propósitos evaluativos, establecer las metas debe permitir operar
con los resultados deseados, una aclaración que especifique la condición por
negociar con un criterio de éxito establecido. Los autores y otros investigadores
evaluativos se refieren a estas condiciones operacionales como los objetivos. El logro de un objetivo absoluto requiere que una condición indeseable se
La distinción entre metas y objetivos operacionales es vital: muchos progra- elimine totalmente o que una deseable sea atendida por todos. Un objetivo
mas, sobre todo aquellos con grandes poblaciones objeto o con efectos lejanos absoluto en el área de la salud podría ser inmunizar a todas las personas de
por alcanzar, inicialmente establecen sus metas en términos amplios y vagos; por enfermedades como la tosferina. Los educadores abogarían por otro objetivo
ejemplo, cada año los componentes de los departamentos del gobierno federal, absoluto, como la eliminación de los iletrados. Los objetivos relativos estable-
como el Department of Health and Human Service (Departamento de Salud y cen estándares de los logros es términos de mejorar de algún modo las condi-
Servicios Humanos), disponen "planes futuros" o papeles estratégicos a sus ciones que existen en algún punto en el tiempo; por ejemplo reducir en 50% la
secretarías con metas que reflejen las aspiraciones de su departamento. A menos gonorrea como enfermedad del aparato sexual podría ser un objetivo relativo.
que esas metas funcionen en objetivos específicos, es improbable que se trace un La contraparte relativa del ejemplo educativo anterior podría ser reducir en
plan y se trabaje para lograrlas (véase el anexo 2.2). 75% el número de personas con menos del sexto grado de educación.
Evidentemente, establecer metas y objetivos específicos requiere suposicio-
nes o conocimientos acerca de los dos aspectos fundamentales de la situación
Anexo 2.2. Sino le importa dónde lo consí u ' social: los valores y las condiciones existentes. La meta de lograr la inmuniza-
entonces no importa hacia dónde va ción refleja ciertos valores básicos que favorecen la salud y los rangos de morta-
lidad bajos. La meta para eliminar el analfabetismo supone la importancia de
Para gue un PrOgrama logré loobjetives, debe s,atIfIt'er los ciiterios las tareas educativas en la participación productiva del sistema económico.
Ambas metas, como cualesquiera otras, están basadas en la suposición de que
1 , „ Q I ós objetivos rnedibWs , se hayan , esPecificaolo; es decir, gue los encarga-
ue hay campo para el mejoramiento; es decir, que hay una discrepancia entre las
dbs del prágrama, cgmo los polífieCil y los nclministradores del p'toorarna, condiciones actuales y las especificadas por las metas.
hayan COnYenido con los objeti y ós nin'edibles, incluida cualquier . medida nece- Aunque una deficiencia se puede reconocer con facilidad, se requiere valorar
saria a los costos y la ,s acti yida44,-del piograma, a los resultados intentados refinadamente la situación empírica, antes de que se puedan formular las metas y
a la irifluenOia , Intentada izril-problerrias afroniado's por el prograrna. los objetivos y planear los programas para lograrlos. Los procedimientos para
,2, 0,'„ ue e,ist-an presunclonlirobables relacionacins orn la aplicación de los ,. diagnosticar los problemas sociales se estudian en el capítulo 3.
recursos a las actividades:del .progr-ama, cOn'lá_'ae,tlyidades del prograrna
pnra intentar resultados i íón los resultadólidéVbferarna'rdspdcto delos Una vez que las estimaciones refinadas de las condiciones existentes se
objetivos de éste— han obtenido, las metas y los objetivos deben modificarse. Esto puede ser
• . ,

3. Los encargadps de.1 programa deben tener la motiVacIón,labilidad v autort-


necesario debido a las condiciones externas referentes a la población objeto o
dacl par:a.adMiniSlrarlos, -• ' • '-' al problema objetivo; por ejemplo, los diseñadores de programas pueden comen-
zar con el objetivo absoluto de eliminar el hábito de fumar, pero encuentran que
Se teconoce que algunpsprogramas, • puoden sér..inás o rnenos rnanejables;de_ la testaruda resistencia de los adictos al cigarro necesita el objetivo relativo de
actici do con':Iá.extensión'en jiue se satistaeén o no,los tres criterios antriores. Las . reducir el número de fumadores en algún porcentaje específico.


46 CAP. 2. CóMO INTEGRAR LAS EVALUACIONES 47

La modificación de las metas y los objetivos puede también resultar de las -


clases prel ttanspor'te.Si cm propósitó::ecáiini.1.4d41,
condiciones que intervienen en el esfuerzo; por ejemplo, es esencial que el eva- n 9 el,otrp. ¿en , que e).cten.sión . se cumplirá el objetivo?"Es.mejOieStablePér un
luador, los diseñadores, el equipo de trabajo y los patrocinadores convengan en
los criterios que se emplearán para valorar si se han logrado o no los objetivos. Si córno "cornenar it'es clAes:Pré:natales para
/nujers preñadas - o "propo l c,,n, I r o o de tr,insporte a 25 nuOeres ernbara-
un programa casero se evalúa parcialmente, de acuerdo con cierta morbilidad, /.adas pár claSe
las medidas específicas de ésta (como el número de inasistencias al trabajo o a la Especificar uri o pr,,itdcto es la tercer técnica que contribuye a
escuela debidas a enfermedad) tienen que basarse en los indicadores del resulta- lograrobjetiVOs ,,enta i osos ; P or e i áTl P 10 , -éstab lecer la declaración "Comenzar tres
do. Al fallar en este acuerdo, la evaluacíón se puede afrontar como un conflicto craleS -.Prénatales para mujeres e-mbarazadas mediante un'subcontrato con el City
rencoroso entre el evaluador y los diseñadores, el equipo y las políticas proyecta- Mernorial : HOspitalOiespital memciriar-citadinor connene dos resultados: las tres
dos, cuando se presenten los resultados de la evaluación. Algunas veces, si se dis- Subcontrato. Es mejor establecer'estos objovoliseparadarnente, sobre
pone de recursos adecuados, la solución es incluir múltiples criterios que reflejen todo Por- ive uno es un objetiV.6-de rriaYOr orden (cornert:lárlies clases prenatales),
los intereses de cada parte que interviene. Otra solución es formar objetivos en adi- ek:cual.depende. yiarcialmente de Li con-IpIctación de un objetivo cle segundo orden
ción a aquellos que proponen los evaluados, con base en los puntos de vista (e.talileCer
, .nri-Subcoritrato).
comunes, así como, en las teorías relativas, el campo sustantivo apropiado . , Un objetivO claramente a ,:cr n to puée-lé contener un propbsito stngular y un
resulta.do.p. -predu.cto., fipal; por.ejernplo,,la dedáración ", Eltablecer_cornúnicáción
(Chen y Rossi, 1980). Healt. t.i;50ern1 'Age Age riciá en-Silternas de Saltid)"indica el propósito
De lo anterior se infiere que una tarea inicial del evaluador es trabajar con los pero no el'resUltado firial deSeado. .¿Clué contribuye a eviclenciar la coinunicación:
diseñadores, los administradores del proyecto y los patrocinadores para transfor- liarnadas telefóniPas, reúniones o inforines? No espPcificar un producto finál cvi-
mar los objetivos ambiguos o contradictorios en declaraciones claras, congruen- dente dificulta extremadarnente la valoración,
tes y operativas. Cuanto más cercanos estén los objetivos a los resultados, de Lo anversoeSequivalente cierto, o sea, pueden existir declaráciones que espe-
manera que se puedan medir directamente, más probable será que resulte una cifigüen . urt..PredlictO . fiñát pero no un objetivo o PrOpóSito. "Rernitir todos ios
evaluación competente. En el anexo 2.3 se muestran las reglas útiles para especi- extractos descargados menslialmente a la Corntnission of.Prófesiónal and Hospital
ficar los objetivos. Activities Iço.misión de actiVidade.s profesionales y hospitálarlásr esun ejemple de
una declaiación'con un produetó:finaL , Peró sin.proPó. lito. El proPósito
puede serrinejorar Ia4 declaracieries ..del eqUipo Médico, y . la adrninistracióh 0, rne io
: la PálidadAel.citidadó médico , pero río- és evidente que rerrntir las extracciones-ra
Anexo. •23. Algunas reglas para arnplir. I . estos objetivos, ni los objetivos-se Pnedén valorar sin un propósitO o . decla-
espcificar bbjetivos raCión Clé . unarinanera acertada: . . Quienes . escriben y evalúan objetivos deben tener
en cúenta,Clos euestionés: a)--¿p6dría alguien ciite'lee el Objetívo, cón o sin conoci-
...cuatro técnicas son particularrnente útil, para decrIbIr objetivos, Velltdi0- mientPdetprograma hallar el mismo p ropostto corrió el primero'i tentado 9 b)
Verbos fuertes;-b) estableeer sólo un próPósitO u objetivO; c)'esbecificar
sos: .á)ju. sar
está-presente come eviden - cia de eue los
un selP resultadp:ó.procludo final;y d).eSpecifiear ei,tiérritie . éperadp -pará-el lógro Ubjetivos se han .CUmplidó? Los pi'dpósitos deScribenlo qué se hará, mientras que el
resultado o prOducto .deséribé las evidencias que existirára de lo que se ha
férence Manúdi, Wasbingion,D. C.', 1975, Department of Fksltli. Educa fiecho, o sea, as. gurarse lector "conoce uno cilándo. ve uno".
tión and'Welfare, Office.'of-Hurnan DevelopMent).
especificar.eltiernpo esperado para lograr el otjetivo La
' Un verbo : "Juerte"'es tiria . aceión orientadá'éri forma cle vc-Tho que describe un ieclaraci6n.dé..-`.'Establecer una - clíniCa • tari--Prónto corno sea posible" no será un
coniportamientdibbseliable o;rnedible que ociirriráj por ejemPlo, bjetivo. a la vaguedad de tan "pronto como sea posible". Es niás útil
,uso . dé los maieriales ,:de.;eduCación una declaráPión.cle,áCción e;. PéCifiCar.la - feeba. .9,: .en cas. ó. s en. .que . exista duc.r. lírla re: oporción cle fechas. por
orientada gúée1. CompOr-farniéntó, , _ .obseniable:-
En cOnti-aste, "Prornover- emplo, `.tín ttia entie maríCil. inatz&-3.0".
-rná.yor uso de los Matetialés educattyós para la salud" es una declaración más débil
y Menos específiea. El térmirío,pr9rriotier se -presta a .rnitchas-,interpretaciones. nn !,,1 5Lep 1,11 5, r.`.1r. I r )1 R1 ,1-131, -Ht,ft. Evuduci(1,,ri T11:
EjemPlOS.dé . . de' aCción.Orientada
Verbos itiertes inéluYe éscribii- reurnr, encontr'ar, I

. - (' Louic igs 21, P.,Impreso Elut,rt:ac!Cm


InCrérriéritar y firrriar; rnienita5 -qué ejetriptos-rde YeibiE;:s rio específicOs y dábilés son
cnr.prénder, estimular, elevar y prornouer.
',.U. na segunda suglypryekalirtibpara describir'un : .objenvo':.0aro, esestablecer un
sob. .:bldhéd:op'roP6110:»IlieSdell116,: rnüchos prPgráinálliendrari,obje061-mtilti-
--ples, Pere err cádá objetivo sólo, deb delinearse un únieo:proj56ájtO. Un-Objetivo Procedimientos formales
.gue establece dos o más propósitos o re ultados deseadOs puedei'équerir diférente
ejénición y estrategil';dé-OloiaPiól; así Porno clifiCialtarétlógro de los objetlyós: Existe un número de medios formales para establecer los objetívos, cuyos
por-..eiempi t,: -esfeblee.e?a
. 7 . 1a.g).W40.. de . trés. -claset .:P..i.'énatalel'ParáM. .ujeznembi..a- detalles técnicos son el tema del presente libro. Un procedimiento muy conoci-
raZadáS-iiique proporCiária-'1eCiP1--de tranSPortáción para-a. Cortiodar.25 nitije‘rs do en el campo evaluativo es la decisión del enfoque teorético (Edwards et al.,
. por e,ue nr re dificultIdes Erte objétivo contieng dos_propósitos: pnvorctonar 1975), el cual permite la explicación formal y la categorización de los objetivos

48 CAP. 2. COMO INTEGRAR LAS EVALUACIONES 49

de los diversos grupos. Cada grupo, primero define y categoriza sus objetivos, Diseño y desarrollo del programa
además de dar información de aquellos que considera más importantes. Luego,
mediante un conjunto de procedimientos conocidos como estadística bayesia- En algunos ejemplos, los evaluadores toman la pauta al diseñar y desarro-
na, los objetivos escogidos se analizan y reportan a los grupos. Con base en llar los programas que evalúan; no obstante, esta tarea suele ser responsabili-
esto, se reordenan las prioridades. El proceso de dar información, vincular los dad de los diseñadores del programa: son encargados por los patrocinadores
objetivos con las inferencias y reordenar los objetivos continúa hasta que los gru- del programa o por los ejecutivos de la fundación y los legisladores. Sin conside-
pos Ilegan a una solución en la cual se tienen en cuenta los diversos puntos de vis- rar quién efectúe el trabajo y para realizar una evaluación exitosa, se requiere
ta. Este enfoque es particularmente útil cuando los evaluadores manejan puntos tener en cuenta ambos aspectos: el del convenio de objetivos y el de la descrip-
de vista conflictivos y agudos, y los fondos de objetivos potenciales apoyan la ción detallada de cómo se lograrán. La susencia de un mode/o de repercusión
reconciliación informal. Otro enfoque formal —valorar la evaluabilidad — busca bien detallado limita severamente las oportunidades para controlar la calidad y
producir evaluaciones con una utilidad potencial básica. Aunque la valoración de efectividad de un programa (Freeman y Sherwood, 1970). Por analogía, el
la evaluabilidad es aplicable a todas las evaluaciones, incluidas aquellas que se paquete de la información de la computadora (software) no es útil si no ha sido
realizan para programas innovadores, se realiza más a menudo en relación con documentado adecuadamente. Aun cuando un programa sea exitoso en su entre-
programas establecidos; por tanto, se estudiará más adelante en otra sección de ga de servicios y en el logro de los objetivos para el que se estableció, sin un
este capítulo. modelo de repercusión explícito no hay base para comprender cómo y por qué
funciona, o para reproducir sus esfuerzos en una escala mayor, en otros sitios o
con otras poblaciones. Si no hay modelos de repercusión (o sólo existe uno
Escala para el logro de metas incompleto), cuando una evaluación se emprende el evaluador debe inducir al
equipo de trabajo del programa o a los patrocinadores a crear uno o efectuar este
Aunque muchas evaluaciones cuentan con declaración de objetivos, que inclu- trabajo él mismo.
yen cambios en las medidas de los grupos objeto, la escala para obtener metas per-
mite reunir las metas en unidades individuales dentro de la población objeto. El
resultado se puede resurnir con el fin de dar una estimación compuesta de la reper- Elementos del modelo de repercusión
cuslón del programa (Kiresuk, 1973). En este enfoque se usan más medidas relati-
vas que absolutas, una idea que ya se ha estudiado; por ejemplo, en un programa Una intervención o modelo de repercusión es un intento por trasladar las
de tratamiento contra el alcohol se emplea el número de días de cada tres meses de nociones relativas a la regulación, la modificación y el control del comportamiento
ausencia en el trabajo como un criterio de resultado. En el caso del trabajador A, social o de las condiciones de la comunidad, en hipótesis sobre las cuales se pueda
quien es inicialmente un "bebedor de fin de semana", la meta puede ser reducir el basar la acción. Son raros los modelos explicados completamente. A menudo, el
número de días por trimestre de 12 a cuatro. Para el trabajador B, quien es un "modelo" de la intervención consiste en las presunciones que destacan el funciona-
"bebedor exagerado", la meta puede ser reducir el número de días de 12 a ocho. miento del programa. Estas presunciones pueden haber sido diseñadas con base
También se pueden diseñar los objetivos para la entrega de sistemas; por ejemplo, en estudios previos (realizados en muestras pequeñas o en otras localidades) o
la frecuencia con que se pierden las citas para terapias se puede individualizar pueden tener bases deficientes o no empíricas, ideadas en vez de los procedimien-
como en el ejemplo anterior. El evaluador puede calcular luego las anotaciones tos no probados, en los cuales se han basado los practicantes.
diferentes y examinar las estimaciones individuales para obtener un resultado com- El modelo de repercusión toma la forma de una declaración acerca de las
puesto. Las expectativas de la obtención de metas se pueden basar en el punto de relaciones esperadas entre un programa y sus metas: establece sucesívamente la
vista de los practicantes, ya sea de los propuestos, de los externos o una combina- estrategia para Ilenar el vacío entre el establecimiento de metas durante el proce-
ción de ambos. so de planeación y el comportamiento o condición existente. Dicho modelo debe
Como la escala para el logro de metas tiene utilidad evaluativa en varias contener una hipótesis causal, una hipótesis acerca de la intervención y una hipó-
áreas, (enire otras las psicoterapéutica y la de la educación especial), también tesis de la acción.
tiene sus limítaciones. Primero, consume mucho tiempo y es costosa para estu- Hipótesis causal. En la esencia de cualquier modelo de repercusión se
dios a largo plazo o en los que se incluyen muchos objetivos. Segundo, se contra- encuentra una hipótesis acerca de la influencia de uno o más procesos o determi-
pone a los enfoques de las intervenciones de muchos programas relacionados nantes del comportamiento o condición que el programa busca modificar. Aun-
con los resultados congruentes para la población objeto. Tercero, dicha escala que existen muchas maneras de pensar acerca de las causas, una simple idea de
puede dar por resultado objetivos deprimidos; por ejemplo, en una clínica, para causa es suficiente; por ejemplo, numerosos científicos sociales creen que care-
reducir peso se diseñó un objetivo con el fin de hacer perder 2.5 Kg a un paciente cer de empleo entre los ex reclusos, después de un cargo de felonía, resulta en un
que tenía un sobrepeso de 15 Kg, de tal manera que éste tuvo un "éxito" reducido regreso el delito (reincidir). Múltiples investigadores (Irwin, 1970) afirman que si
con un mínimo esfuerzo. Sin embargo, independientemente de tales precaucio- el prisionero liberado es incapaz de encontrar un empleo legítimo, buscará pro-
nes, este método sigue siendo atractivo para algunas evaluaciones. bablemente modos ilegales de obtener ingresos.
50 CAP. 2. CóMO INTEGRAR LAS EVALUACIONES PLANIFICACION DE LAS EVALUACIONES 51

En este caso, la hipótesis causal podría ser que reincidír es resultado del las experiencias de trabajo regular; por ejemplo, los ex convictos que han llevado
desempleo; pero, para ser práctico, todas las hipótesis, incluidas las causales, cursos de entrenamiento vocacional pueden no cumplir con el rango de califica-
se tienen que establecer de tal manera que permitan hacer pruebas o medidas. ciones requerido por los empleadores o estimarse que no lo poseen.
Éste es el proceso de operacionalidad. Para operacionalizar las hipótesis, el La importancia de la hipótesis de acción se puede considerar como una
evaluador puede establecer que el rearresto por delitos es más probable entre parte interesante de la investigación reálizada desde hace varios años acerca del
prisioneros liberados, los cuales tengan mínimas calificaciones vocacionales decremento de la discriminación racial en los empleos (Festinger, 1964). Los
o que encuentren mercados de trabajo relativamente pobres. Cabe hacer no- enlaces causales estaban presumiblemente entre: a) la comprensión y el conoci-
tar que esta forrnulación no es la única que parece congruente con la hipóte- miento de los negros; b) los prejuicios, y c) la discriminación. Al respecto, se
sis causal. La reincidencia se puede medir con base en si una persona es convicta ideó un programa por administradores de empleos para incrementar su com-
de felonía o no; las calificaciones vocacionales pueden significar la historia previa de prensión y conocimiento acerca de la raza negra, de manera que se redujeran
contratación, el entrenamiento vocacional mientras se está en prisión, o las califi- sus prejuicios. El resultado raro del programa fue que los administradores de
caciones en varias pruebas de aptitud, y el mercado comunítario de empleos se empleo cuyas actividades cambiaron se convirtieron en sujetos más discrimina-
puede medir por la lista de vacantes que emiten las agencías de empleo, por el torios que antes. Para explicar este resultado, Festinger argumentó que la dis-
nivel medido de desempleo en la comunidad, etc. ponibilidad de nueva información permitió polarizar el . cornportamiento. En
El punto de apoyo importante es que reincidir, las calificaciones para el otras palabras, el enfrentamiento que provocó el programa, hizo imposible
empleo y las oportunidades para obtenerlo se tienen que medir en la evaluación para los administradores continuar comportándose como lo habían hecho. Por
de cualquier programa diseñado para reducir la reincidencia entre los prisione- tanto, mientras que algunos de ellos se volvieron menos discriminantes, otros
ros. Por tanto, parte de la tarea de diseñar un modelo de repercusión consiste en incrementaron esta actitud al realizar sus prácticas de empleo: Ni los hallazgos
especificar las variables causales en términos operacionales medibles. del estudio, ni la explicación de Festinger invalidan las relaciones causales que
Hipótesis de interuención. Esta hipótesis es una declaración que especifica existen en el curso normal de la socialización. Aun cuando los cambios ocurrie-
la relación existente entre un programa, lo que se hará y el proceso o determinan- sen en un ambiente natural, no se podría inducirlos; sin embargo, la hipótesis de
te vinculados en la hipótesis causal con el comportamiento o condición que se acción es tan importante como las otras hipótesis en las investigaciones eválua-
reducirá o cambiará. En el ejemplo del control de la reincidencia, la hipótesis de tivas y se debe estudiar empíricamente.
intervención podría ser que el empleado ex convicto está relacionado con la ter- Fuentes de hipótesis. Idealmente, las hipótesis en las que se basan los mode-
minación exitosa del entrenamiento de un programa vocacional. De esta manera, los de repercusión se derivan de los estudios experimentales que permiten hacer
el modelo de repercusión para reducir la reincidencia podría establecer la hipóte- inferencias causales, de teorías bien diseñadas o de ambos. En la actualidad, los
sis de intervención de que dar entrenamiento vocacional a prisioneros liberados estudios causales y las teorías del comportamiento social y del proceso social
permite reducir la reincidencia. diseñadas con lógica son escasas. Muchosmodelos de repercusión se derivan de
Otras hipótesis de intervención son congruentes también con la hipótesis impresiones clínicas o de asociaciones estadísticas entre las variables indepen-
causal. Una hipótesis de intervención que da oportunidades de empleo directa- dientes (presumiblemente causales) y las medidas dependientes (o resultados).
mente, mediante alguien que motive a los empleadores a contratar a prisioneros El estado de desarrollo en el campo y el conocimiento de los resultados de otros
liberados (quizá por medio de subsidio a los impuestos), podría ser una opción programas de acción son determinantes de las fuentes de hipótesis. Desde luego,
del entrenamiento vocacional. También sería una hipótesis de intervención la los programas exitosos en la entrega de servicios y en sus resultados son más pro-
que destaque la asistencia para buscar trabajo a prisioneros liberados. De hecho, bables cuando def inen razonablemente el conocimiento disponible para diseñar
• 1! una agencia que trate de diseñar un programa efectivo para reducir la reinciden- un modelo de repercusión.
1'
.1i
cia puede considerar los trel - enfoques separadamente y en combinación para
1 diseriar un programa de intervención más eficaz y efectivo.
Hipótesis de acción. Se requiere este tercer tipo de hipótesis, que permita Manipulabilidad y factibilidad
"I
evaluar si la intervención, aun en el caso en que conlleve un cambío deseado de la
variable causal, está necesariamente unida a los resultados, esto es, al comporta- Los modelos de repercusión se basan en la presunción de que las váriables
miento o condición que se busca modificar. Esta tercera hipótesis es necesaria relacionadas con el fenómeno que se modificará son susceptibles de manipula-
porque, aun cuando un cambio natural en las condiciones existentes puede cau- ción. Primero, el modelo de intervención debe especificar las variables de inter-
sar una serie deseable de eventos, la inclusión de este cambio por medio de una vención que son acciones adecuadas para la población objeto, es decir, las
intervención puede no resultar en el mismo proceso social o de comportamiento intervenciones que puedan afectar a los objetivos directa o indirectamente. La
natural. Una acción se puede planear y realizar como una intervención, pero las manipulabilidad se impide cuando existe una condición indeseable, debida a
condiciones deben ser diferentes de cuando tales acciones ocurren "generalmen- que el objeto se vincula a esa condición de una manera particular en el momen-
te". De esta manera, la competencia que resulta del entrenamiento vocacional to en que se produce la intervención. Éste es el caso, aparentemente, en el área
puede no ser la misma que aquella que resulta de aprender lo que sucede durante de la realización educativa. Evidentemente, mucha de la variaCión en la acti-
tud de los estudiantes de nivel medio, por ejemplo, no está en función primor-
52 CAP. 2. CóMO INTEGRAR LAS EVALUACIONES PLANIFICACIÓN DE LAS EVALUACIONES 53

dial de lo que le sucede en la escuela; en vez de ello, se debe principalmente a pagos de los desempleados, los objetos directo e indirecto eran los mismos: aque-
la influencia de sus familiares y el ambiente social anterior (Sewell y Hauser, Ilas personas sin trabajo; sin embargo, el gobierno podía decidir convertir a los
1975). Si se detecta una asimilación deficiente, se prestaría a que hubiera empleadores en el objeto directo, al permitirles reducciones especiales a los im-
cualquier intervención cuando los estudiantes son más jóvenes, aun "sacrifi- puestos, siempre y cuando contrataran trabajadores con un historial de desempleo
cando" a los niños de edad secundaria. Desde luego, el enfoque de un progra- (quienes son ahora los objetos indirectos). Para predecir el efecto de tal interven-
ma se debe hacer en las variables, que sean manipulables y que tengan un ción, el evaluador debería tasar los datos de estudios pasados o recolectar nuevos
tiempo adecuado para manipularlas. datos, y las relaciones existentes entre ese incentivo del impuesto para los
Segundo, se debe evitar seleccionar intervenciones con poca factibilidad. empleadores y el incremento del empleo; una tarea tan importante como prede-
La baja factibilidad se puede deber a la aceptación del programa por los patroci- cir la composición de la población objeto, —los trabajadores desempleados— en
nadores, los sujetos objeto y otros evaluados, los valores ideológicos y los impe- sus características sociales y psicológicas (para un estudio más detallado de los
rativos de la vida comunitaria, o al riesgo de que ocurran efectos colaterales no objetos directos o indirectos, consúltese el capítulo 3).
deseados. Por ejemplo, en un programa diseñado para reducir la contamina- Además, debido a la relación existente entre la manera en que están organiza-
ción del aire, ciertas condiciones (como la cantidad de humo emitido por los dos los programas y su aceptación y uso por las poblaciones objeto, los modelos de
automóviles) se pueden considerar manipulables; otras (como la reducción de repercusión necesitan tener en cuenta la forma en que se organiza un programa en
descargas de la industria contaminante) se pueden identificar como no tan términos de aceptación por parte del objeto. El cambio de la salud constituye un
manipulables debido quizá a la carencia de técnicas científicas para reducir las ejemplo útil. Los estudios correlacionados sugieren que la carencia del cuidado
descargas de humo o la indisposición de la industria para pagar los costos. Los prenatal, sobre todo durante los últimos meses del embarazo, está relacionado con
imperativos ideológicos y políticos se pueden ejemplificar con otro problema. los problemas subsecuentes en la salud de la madre y el niño — entre otros, una
Se ha encontrado que la clase social está correlacionada con las enfermedades alta probabilidad de que el niño estará retardado mentalmente. Un subgrupo
mentales, pero un cambio revolucionario en la estructura económica estado- representativo de una población objeto está constituido por madres solteras,
unidense es difícil, una intervención que se podría atribuir a un político típico. particularmente en áreas con bajos ingresos. La solución viable suele ser muy
Los efectos colaterales pueden resultar del uso de grabadoras telefónicas para simple: incrementar los servicios médicos disponibles en las áreas con bajos
identificar a ciertos delincuentes como los apostadores profesionales. Dado ingresos, las cuales tienen grandes poblaciones de mujeres jóvenes; sin embargo,
que en la grabación se necesita incluir las cintas de gente inocente y de la incul- esto no necesariamente significará que el incremento de los servicios hará más
pada, su uso significa una invasión de la privacía, un efecto colateral militante fácil o incrementará el uso de los servicios médicos para las madres solteras.
, Escoger una población objeto adecuada es una decisión estratégica. El enfo-
contra este género de intervenciones.
Entonces, tanto los evaluadores como los patrocinadores y el equipo de tra- que del programa debe cambiarse rápidamente si las poblaciones objeto no son
bajo necesitan diseñar modelos de repercusión que sean sensibles a la manipula- lo que originalmente se pensó. Por ello, en el capítulo 3 se verá cómo se deben
bilidad. Dichas personas deben estar preocupadas por el espacio político, por el estimar los objetos.
cual se entiende la congeniabilidad entre las acciones de la intervención que se
deben tomar y la factibilidad de la ejecución en términos de los intereses, sus fina-
lidades y los puntos de vista de los evaluados, en los que se incluyen los sujetos Diseño del sistema de entrega
objeto.
Las intervenciones, no importa cómo se conciban, pueden no ser efectivas y
eficaces, a menos que exista un cuidadoso y bien diseñado sistema de entrega.
Selección de poblaciones objeto Algunos sistemas de entrega son comparativamente simples, sobre todo cuando
los objetos están poco definidos. Proporcionar educación para la salud en los
Debe quedar claro que existe una acción entre la selección de la población salones de clase es una proposición comparativamente simple. Otros sistemas de
objeto y el diseño del modelo de repercusión. De alguna manera, la distinción entre entrega son altamente complejos. Los cuidados especiales para la salud de madres
ambas tareas es artificial. El modelo de repercusión debe incluir un conjunto de prospecto, que experimentan "altos riesgos" en los embarazos, pueden requerir
hipótesis acerca de la plausibilidad de un evento que precede a otro. Tales hipóte- médicos familiares, especialistas en obstetricia y pediatría, hospitales generales y
sis se basan en las predicciones respecto de las características de una población centros especializados en el cuidado infantil.
objeto relacionada con la intervención.
Al considerar la selección de una población objeto el investigador debe tener
cuidado de que frecuentemente se desea distinguir entre el grupo que estará sujeto Elementos del sistema de entrega
de inmediato a intervención (el objeto directo) y la población total que requiere
eventualmente intervención (los objetos indirectos). Algunos modelos de repercu- Para documentar y valorar un programa se deben explicar los elementos y cri-
sión implican tales distinciones; por ejemplo, cuando el problema consiste en terios de representación diseñados y medidos. Entre los elementos generalmente
incrementar el ingreso de los desempleados. El gobierno había aumentado los monitoreados, los cuales se estudiarán en el capítulo 4, están los siguientes:


54 CAP. 2. CCI MO INTEGRAR LAS EVALUACIONES PLANIFICACIÓN DE LAS EVALUACIONES 55

Identificación del problema y de la población. nadas con el desarrollo del sistema de entrega, con la selección de objetos y con la
Provisión de procedimientos y servicios. estructuración de la intervención. Otras veces son evaluaciones de repercusión
Las calificaciones y competencia del equipo de trabajo. míníma realizadas para colectar las estimaciones de la magnitud de la repercu-
Los mecanismos para reclutar y obtener la cooperación de la población sión que se espera con una intervención particular. La necesidad de contar con
objeto. una evaluación formativa es una razón importante para permitir un tiempo ade-
Los medios para optimizar el acceso a la intervención, incluidas la localiza- cuado a la planificación y el diseño del programa. Muchos programas fallan en su
ción y las características físicas de los sitios de entrega de servicios. fase de diseño para invertir suficientes recursos en esfuerzos formativos. La con-
Los esfuerzos de referencia y seguimiento. secuencia puede afectar la importancia del programa. Las evaluaciones forrnati-
vas pueden incluir la prueba y valoración de un programa, ya sea en uno o pocos
Por supuesto, cada programa tiene sus propios conjuntos de elementos de sítios, o con una pequeña muestra del objeto antes de la ejecución exhaustiva.
entrega de servicios. Aquí será útil un ejemplo. Una enfermedad neurológica Por ejemplo, como parte de la planificación y el diseño del programa Sesa-
infantil, rara pero invariablemente fatal, es la de Tay Sacs,* por lo general trans- me Street (Plaza Sésamo), el equipo de trabajo estaba consciente de cuáles
mitida y confinada casi exclusivamente a los judíos con antecedentes en Europa características particulares de la televisión debían ser escogidas como los agen-
del este. En uno de cada cuatro embarazos en los que cada padre potencial Ileva tes del mensaje por comunicar. Se realizaron experimentos relativamente senci-
el gene recesivo del defecto, el niño se verá afectado (los objetos están identifica- llos. Los mismos mensajes de aprendizaje se transmitieron en caracterizaciones
dos). Fue diseñada una intervención para prevenir tales embarazos, en la cual se diferentes y en frecuencias distintas. Los grupos de niños que veían las represen-
ofrecen análisis sanguíneos (prueba de Tay Sacs) a la población con anteceden- taciones en las pantallas de televisión eran evaluados en la variación de su aten-
tes en el este de Europa; los portadores son advertidos de los riesgos que corren ción a la pantalla. Con base en esto se tomaron decisiones respecto al formato del
al tener relaciones sexuales con otras personas que Ileven el mismo gene; las por- programa (véase el anexo 2.4).
tadoras embarazadas son aconsejadas para que busquen un diagnóstico evaluati-
vo del bebé en el útero, y en el caso de la existencia de un feto con Tay Sacs, se
recomienda médicamente la intervención de un aborto terapéutico (procedi- , tP.of4nrgt.r.
Anexo 2.4. Investigación format Iva
mientos y servicios). de Plaza Sésamo
El programa está bajo la supervisión de un consejero especialista en genéti- ,
ca, hay enfermeras para tomar las muestras sanguíneas, y un especialista en Ilna parte Unttórt.aritéde h: Investigación formativa $aliz'ada en año y medlo
publicidad es contratado para seleccionar sujetos objeto. Uno de los esfuerzos de de planificación dePtaii Sáhinci impllc6 lárnedtelón dela aildiencia, y su atencIón
la intervención se realiza cada semestre, en los recintos universitarios, en un era Ull elemento importante para saber si Plaza Sésarno lograba su audiencía y si la
lugar conveniente (por ejemplo, la confederación universitaria). Los casos positi- mantenía.Pequelos grupolde : nittós.de¡gclad apropiada y con habilidades cognos-
vos se envían al consejero, el cual se encuentra ubicado en la clínica de la ciudad útiv.al evidentes fueron seleccionados pata que acudieran a los estudios.del Taller
universitaria (reclutamiento y acceso al sitio). Los estudiantes portadores que no de IsphOs cátveiflii:tillier:prograinaS propOestos y 'Partes de estos CiltIrnos:E1,0i-o-
buscan al consejero son contactados tan frecuente y agresivamente como sea grania ssé Proyectá 'étitttiaparatode teleyisión, 'rrtientras que, sobre unapared radya-
cente, se proyettaron transparencias en angulo para los nIños. Los observadores
posible por su doctor y, una vez identificados, son contactados anualmente por obtuyteron una proporción cds 7 5 seaundos de que los niños vefan el programa
correo para impulsar la prueba también en sus parejas potenciales o comunes en vez. de las tr.ánOaréri . CIal, ',Provectablas Lb. s.PródjgVores -pu, dieron
(retención del objeto). pimto en el 'grado de
Además, para valorar los diversos elementos del sistema de entrega se deben atericiákqué existia sobre el ptitglámá'ci . párte de'la pr obada denItios.De:
recabar datos de los costos, si se tiene que efectuar una evaluación eficaz. Los a..lejítar,:‘ii:r. réChazar versiones de prograrnas, se hicieron
costos en salarios, el trabajo, las cuotas y la propaganda podrían ser adecuados y 41.eiC0.-delaS 'carattérláticas que Itrajerono n0:1A_atención de las
aplicables al ejemplo anterior (véase en el capítulo 4 lo relacionado con el moni- n i net.l.é;OnáilnitatpentldesOeittájacióí:12 investilátóri fOrMátiVa desernpeñó un
toreo y en el capítulo 8 lo referente a la eficacia de los estudios). paiiet,-crüciffl,s:seMplo,1 prcidüCtOtéli al reduclr el rIesgo de que Plaza Sésarrio no
iéle:
:.„Jtyla
. t ic,,nzada

Estudios formatiuos 105,0;,Tpe rirít,Ylar-63 Sesame Streml The Formanse


, - '
En el diseño y desarrollo de muchos programas es útil y frecuentemente
necesario efectuar actividades evaluativas durante el diseño de la intervención.
Tales actividades pueden ser rnuy simples o tan complejas como las evaluaciones
exhaustivas. En algunas ocasiones se dirigen a interrogantes específicas relacio- En otro ejemplo de un estudio formativo, una porción "típica" de la población
objeto se seleccionó para partícipar en un proceso de prueba de la intervención.
Entermedad congénita caracterizada por retraso mental, ceguera progresiva, parálisis y muerte (N. del E.). Este estudio se realízó para estimar el número de poblaciones objeto que podrían
56 CAP. 2. COMO INTEGRAR LAS EVALUAC1ONES 57

utilizar un programa comunitario de salud mental con atención semanal. Se man- salud merital qüe conforMbron el ingreso:inicial,de pacientes.pcitenciales
tuvieron registros cuidadosos de los medios para "seleccionar" sujetos objeto, en rios. Los clatos colectaRicís incluyen fuentes referenciales internas y dIsposiCión fue
la proporción de quienes asistieron al curso de ocho semanas y de quienes deserta- ra del pabellón, datos de fechas acerca dé adn'ilsión y, desearga, y fechás de cada
ron. Se entrevistó a los que abandonaron el curso, con el fin de saber por qué no addi.r2.ncia Cárnbio de estains inlentrás los paciCntes PerMariecfail en et
completaron el programa, para encontrar mejores maneras de reclutar a la pobla- , Cada paciente fue clasificado de acue, do con su estado por cada díaen el pabe„--
ción objeto. donde las categorías de estados fueron de bdmisión voluntaria, converttglas
Por supuesto, los estudios formativos varían en el grado en que son rigurosos voluntariás (adn-iltidas thyoluntariamente,.per9 rn , ,ás tardese ton y lno en que se corvi
y en la complejidad de sus recolecciones de datos y de su análisis; sin embargo, en o ,cde 90 días
,
muchos casos aun los estudios más simples permiten examinar los problemas que -Dado el tuegO de,CláSifiCacir5n pára. pacientes, se prograrnas de
afronta la intervención y los medios para resolverlos. Es más, en muchos casos los cornputadoras que podrián ,resurtur. las fuentes referenciales y las disposiciones den, =
- tro-;,;:fuefra de pábellón,-',. tárabjo, seil-"Yel es- tadolde4-,paciente, frecue,ntlay,tipo.s „d. e 1as
estudios formativos también permiten probar con anticipación los procedimien- audiencias legáles, dIstribuclones de las longitiídes de estancias distribuciones d.,
tos e instrumentos de la evaluación, así como la evaluación misma. Los evaluado- nürneros , y'fipoS- de adrnisio,nes, y
res comprometidos en estudios formativos deben participar en el diseño actual y b da tipd de pacientes:
en el esfuerzo de programación, pues el énfasis aquí consiste en incrementar el t3s
'
ne"CUP3El a Cd par_ tictuarrnenle
éxito de los esfuerzos de las intervenciones subsecuentes y de sus evaluaciones. 1ción acerca'lli -admisiortes,audiencias y cambios en.et:
Así, el evaluador se convierte en un defensor y partidario participante de las acti- estatus, Una buena reacción natural cle esos materla Í es hetho7de-,.'que
vidades del programa. fue "¿Qué pasaría mejore,s versIones delaeuestIónIn'eron: b)¿quéliabría
sucedido sI la eornbinációry'de los.Paclentes voluntarios e involuritario's:hublesé''
carnbiadó?:V. b. ) . 4ulliábría'sücedieló si lós jueteS -erhpezaran'a Intfeinentár-odet re.-
Simulaciones del programa .meritaretrailIó en-aüchiCiéton cornprórniIós'en l priinera aüdiencia? Esas
res son de interés especial debido a su repercusIón en la cornbinación de paciente
A menudo, el tiempo, el costo y otras exigencias impiden realizar estudios voluntariosiinvoluntarios (dado que estdafecta'al pr9gre.ama)'proriredIo
formativos en el diseño de actividades innovadoras. En tales casos, el equipo del clo de estadía y proporción de ernpleo de camas. , Talés íSibbierilas
- han,Sidó .de
programa y los evaluadores pueden alternar las simulaciones del programa (véa- importaritia par-litular porqüe,la cg, que representa un cat'nblia,raclical moderado
se el anexo 2.5). Las slmulaciones también pueden complementar los esfuerzos en el próCediriiierito, era aúri'relativaniente nueva, y los mét&lás para responder a
ella apenas se habían consolIdador , Un estudio cle simulación pareció ,la rnahera
formativos. 'apropiacia de dirigir las interrogantes. • ' '
El segundo propósito del estudio de simulacIón . , - fue adquitir alguna
, r777 - "" con'la téenica de sImulación en un esfuério por valorar su utilldad para la évaltia"-:
Anexo ujo Involuntatio
del paciente isa. ción 11:1 kograina y les.fUnclope,s,de.lainVQ.spgacI5n

n segulda de las bastantes ,sóliclas experiencias de éxIto én el aeroespacto, la


Ibillcta;:lárcórnputacIón y las decharactóri,es:;de he§ticlo,s; ta tolcnica de la simulálk
ti¿n Ppr OOputadora aparec-e lasj'aPlidaelOnes de blenest4.i
s6cIaL5Aúnque en los últimos Casos el sisterna rnodelado era rnenosestructurado,y-_
las VarTables cle los .reSultádos eran frecuenternente menos. defintdas, Álgunas simulaciones son altamente cuantitativas y formales, e incorporan
ciones se ernprendían por tazones típicas para la técnica: existía un sistema de
variables interrelacionado, completamente, en el sentido de qüelas relaciOrre
modelos complejos elaborados en computadora (incluidos los estudios de efi-
ehtre los ingresos y los egresos no eran Intuitivamente obvlas, perosídifícileSideenki-, cacia anteriores, examinados en el capítulo 8). En otras se aplican enfoques
car de manera analítica cualitativos, como en las consecuencias de cada manera de identificar, delimi-
.„ -S I el siStema s'e pue.d er relresentar de modoactecu-adá en un
Modelo, los egresos resultantes del patrón particular de ingresos sepodraneSiimany- tar y reclutar poblaciones objeto. Asimismo, varios niveles de repercusión son
L., la información ernpleacla en cu,alquier procesp_dejdecisión es-tará,.~nible:r estimados Por programas de intensidades diversas. Finalmente, los evaluado-
Ehliano de 197 ,se '1:ecabarb n'claíias cle:1'--riodo--de'
pe sePtiembje'de 1974 a res suelen simular los resultados de estudios de programas similares para que
abril de:1975Sue permItIeron describir los númerOS de pacie ,ntes de aCtierdo .con la los patrocinadores, los planificadores y los diseñadores puedan confrontar el
áecIsíión;-, sijas' di'strIbúclohes cle los periodos de ^estancialkir cada `segmento tipo y la magnitud *de resultados que logren.
eStanCia:1-6Súj¿tos fueron pacientes que 'ingtesaron e.nd pabellón durante .else Mucho del trabajo de simulación que los evaluadores efectúan durante el
pertodoTjLá datos Prirnarlos fue un sisterna de ,dátOS cornputárizado.de-un diseño de un programa y durante toda la evaluación es similar al realizado en
Centró de salud rñe-rital:, eOinunItario relativO, el Cnal durante eSe tiernPótamÚlén todos los estudios de investigaciones; por ejemplo, un anexo comúnmente reque-
incluía a todos lospaclentes que ingre ,:aban .en el,pabellón psiquiátrico. Datos
cionales Se -ohiuvieron del regis'tro"del condado.y
rido en los diseños de evaluaciones es un conjunto de "tablas falsas", las cuales
bPortaron profesionales''en
muestran lo que los resultados de una evaluación deben parecer y en cuál rango
58 CAP. 2. COMO INTEGRAR LAS EVALUACIONES EVALUACIÓN DE PROGRAMAS 59

de uso y estimación de la repercusión se debe incluir. Las "tablas falsas" deben Al mismo tiempo, en muchos sectores de recursos humanos existe un escrutinio
alertar al equipo de personas, a los patrocinadores y a los evaluadores acerca de continuo e intensificado de programas establecidos. Muchos se basan en valores y
si se plantean o no las interrogantes apropiadas para la evaluación, sugerirán las modelos de intervención que no son adecuados, mientras que otros han perdido sus
estimaciones razonables de la repercusión y, de este modo, formarán expectati- fundamentos aparentes y sus objetivos. También, como ya se hizo notar, existe una
vas de acuerdo con la adopción del programa en una base más amplia, o si se comunidad creciente e inconforme acerca de la proliferación y la redundancia de los
continuará apoyando en cualquier nivel. programas. El costo en espiral de los programas y las limitaciones incrementadas de
los recursos, sobre todo de los fondos públicos, requiere escoger lo que se apoya y su
magnitud. En consecuencia, se han planteado interrogantes serias acerca del grado
Resumen de las actividades en que el programa funciona eficazmente y se apega a los requerimientos ftscales,
innovadoras de la evaluación legales y operacionales. Finalmente, los distritos electorales y los seguidores de cada
prograrna están preocupados por su repercusión y su relación costo-beneficio, en
Cabe recalcar que el evaluador, al planificar, diseñar y probar los nuevos cornparación con los prograrnas con los que compite por patrocinio y financia-
programas, debe ser capaz de emprender un arnplio rango de actividades. Éstas miento. Por todas estas razones, los encargados de la política y responsables de
varían de acuerdo con el tipo de programa puesto en marcha, las exigencias en ubicar los recursos, los administradores del programa que defienden su puesta en
recursos y políticas y las tareas particulares del equipo del programa y de los gru- marcha y los grupos de seguidores irnplicados reconocerán la necesidad urgente
pos evaluativos. En muchas evaluaciones de programas innovadores, el evalua- de evaluar los progrannas establecidos. En el anexo 2.6 se describe el cuestiona-
dor participará por lo menos en alguna de las tareas examinadas en este capítulo, miento común de los programas de educación acerca del alcoholismo.
a saber:

Identificar y describir el problema o la preocupación.


Operacionalizar los objetivos del programa. educación 'acerca deralciShol,
Desarrollar un modelo de intervención. ¿previene IpCproblemas del aleoholismo?
Definir una población objeto.
Una premka razonable es que la prevenoón de los problemas de alcoholismo
Diseriar el sistema de entrega y los procedirnientos para verificarlo. y consumo de drogas entre los jóvenes debería empezar con enseñar entre los
Valorar la repercuslón y estimar la eficacia. ,
nthos y adolescentes ei conocimientode la realidad acerca de la naturaleza, el co. n-
surno, y los éféctos dé.aquellas sastantias que son bbjeto de abuso. No obstante,
:eyldenclás-ieelentes sugleren que los programas de educación contra el consumo
EVALUACIÓN DE PROGRAMAS ESTABLECIDOS `de drogaS- tiuf?dn aumentar en vez de disrnInuir las achtudes prociroga y el c.onsu-
rno de"droqas ha incrementado las críticas a los esfuerzos actuales de ectUcaclán
Mientras que la evaluación de programas innovadores representa una contra el aicobol y las drogas y ha permitido a algunos buscar una mórátoria a los
importante actividad para el campo, la mayoría de los recursos de los programas enfoques de -preiP encIón pnmaria R e -.pecto dela educación contra el alcohól, este
(y, por tanto, de los esfuerzos evaluativos) recae en la valoración de los progra- papel examina críticarnente las evidencias acerca de esta falla en la edueaólón
mas comunes establecidos. Los esfuerzos evaluativos relacionados con programas como una InedIda preventiva y c.onsidera st una acusaciáncontra, , empleo cfe
establecidos son menos evidentes que aquellos vinculados con prograrnas innova- estos rnE:todos se g¿,trantiza en este tiempo. Adernás, se examin,an varias caracte-
dores. Primero, la mayoría los realizan "en casa" equipos asociados con las agen- rísticas nCcesária;s7dé una'prueba'adecuada de efectividad den la edueactón'eOntra
el•Atifique 'eSte docurnento se retaciona con la educacl6n contra el
cias operantes. Segundo, parte de la evaluación de programas establecidos se alcoholkmo, se ha incluido información de la bibliografía acerca de cclucación
relaciona con asuntos administrativos de mantener y mejorar la efectividad del contra el consurno de drogas más abundante cuando sea pertinente.
programa.
En este sentido, las reglas de campo son diferentes. Los programas estableci-
dos suelen ser una respuesta histórica a preocupaciones sociales; muchos han Efectividucl ambigua de la e ikación
surgido de esfuerzos tradicionales, permanentes o mejorados, y sus estructuras contru ei alcoholisalo
básicas rara vez son susceptibles de cuestionamiento. El valor de los cosejeros-
guía en las escuelas, los programas vocacionales para impedidos, la supervisión Auncitle.:lás.:Inttlínico_ -,édnlati!;4'.:en Estados Llnidos reclben aprobaciones
de la palabra de honor para ex convictos y la educación cornunitaria en la salud corcliáy colinOZIrderiVel'Ireler'ithiCIrlifinar-lOW.: 1110i:lin:a.;,aftaIncia de que virtual-
para prevenir enfermedades se consideran cuestiones resueltas. El público espe- merliltOdos lcil:.10418i:rellgeten. ltistrIcCIÓnAjelaCIO`ii:15g1/ alcohollárnO en las
e sc u c I a s'Príhlióál; ;.11.éjeltielória .Ctithl,de:104ilOgilihállfiltitIctivos generalinente se
ra no sólo que esos programas sean vigentes, sino además que involucren a
, ha„ phriciad4iijg-hallai4i,
.,.„.,.., .„. , :ahlaItiCi6hsf,MérflOat
. ..:,, Gicitietil. entre
.., , :... ...„ ,,..- .....-. Otros: lha , sugeri-
defensores y empleados, y que una proporción significativa de la fuerza de traba- dó.que ,. .„ .:...
..:1¿:Iiréséhté"Iihi
jo nacional intervenga en su continuación. Así, las presiones para mantenerlos ...a, éi6h'se
..,,..,. drigth6Círándóil
,--‹ , . InfliteriakdélOs . grupos de rnode-
ración:(15Or : e)priiplo, i.élr..DeP :. 5.1,q,..nt:Oti; so'mrI. s1 e.nitiérariCe ,Departavinento de
resultan fuertes.

60 EVALUACIÓN DE PROGRAMAS 61
.......I'v,....?•7,111 ~.. ....:;:-.'".:.7.. ., - - , . ,.
ddél:któii.: :Ciério . 40.1i.1¡ • Ilitirpo*.. ; . - • . - irnetos, esfuerzos-de esos'grw, trario, cualquier evaluación que se emprenda será probablemente poco útil.
,. p9.1..rd, 4.:4;bli._e-ra'cl.,ón.. .......tenj4.ó.... 1 ...9 ....., .Çgyr:•4..;".14.....ed..110.¿..I.i5.n ...1Có.nti-a
., .':1.,ral,s6.1451.12-1--' La valoración de la evaluabilidad requiere la disposición incondicional del
üill.Párte:iinpili,tánte de(picig-r."ainá¿ini-10.4ri;i:lklaS:es'Cuejal:PúblIali..S!.¡Srnátéríal personal y, en muchos casos, la colaboración del patrocinador y de quienes se
. ....e¿IúCáíitTói..:Tnéixini.,altiicad01..C:Oiiii>5'..tlilnyliónaélólY,:baIlidós.sPfiliielnáliri'erite:InTiol encargan de la política, para explicar los objetivos, la descripción del programa
Séliiiinieritós'ile.:Wiledólj.:Z141.C:iíti401aIejld-a's-,'"pón.:,el' d.Verii.fnIeri.tól.51:.:IbrOgICIO.I.:,. y decidir las tareas evaluativas. Mientras se puede argüir que el equipo de traba-
‘7.1e',11Pinhibleián, dañareki'd etta.hiddelenfitiáne..:CleinneleYalÓ.n.y:'llejátón'Itnutind.!..-'" jo del programa debía, de acuerdo con su propio convenio, realizar las activida-
.11001:ecímreglarnentos-enlIn¡..que:S.e;‘¡:e0nría,11(illir,11:90.1.esol..0,41.9,911:00.i6.:i. des descritas como valoración de la evaluabilidad, el evaluador encontrará que
.:. riciii•:'1.1•;:.-ílilion ningún : .ffiétime.táltfletitio.::40 ..:teoppioárá • lá•oiétlát,. :ciorlii. • esto ocurre rara vez. En consecuencia, estas evaluaciones se convierten en una
:;.......,wiliiie' .ilabit..Éilfrelit,401 c...dn'eSte.`41erini:;:leiS'..édi4a4.14;e1r.patec.éntiabli-.011.. responsabilidad del evaluador, por lo menos en términos de liderazgo, el cual es
l'.;..t.IrnIi';.::E't difi ere
inetlá yniétnClót;;:-.E.c11: 111teo.010:410 04,..s'4•pto-lii'd14..1é...011.10ii-en Is..1)3-Ci..liá necesario para efectuar el trabajo.
¿:1-..i.áléial'éiái .1.-oliketI. tá.ii.:.cki 1.4...,.."..6ith*. él:iétiíá'.e14.'éducácin ¿cintie
.',.'ll'smciY,lell'efec.t.OICenclüctUaIgl. .:S.• • * . ilt41-clela,ICOJi.011tOn njituna até ".
44:Illiii1044té'. t ." x .ti" . • , . ''''adOé-Icebtes: Valoración de la evaluabilidad
•• '''.-'•Unaideclárációri r:11: -'4:'..1) :1 ›.'. .9.,1-. 3. . -„.. 'm.édibleá",'es
.. .. . • ,,.. Ltna forrna necesar:
.,, .,... . . .. ,
ciAl.r,ul.p.t9glatna'.'1:1491 .L,.......
,flia..re.9.„- . ,003.1 , signi0c4tiva, aun cuando.:-.yarists Realizar la valoración se puede considerar como una serie de aproximacio-
hari .a(?:Itá'c00 -1:•¿$" 'iéiilki .t.án: 'i. leei:¿¡ité szle.'ine.aí,'érilos prograrriA' de'éduca nes sucesivas. El especialista en evaluación usará cada encuentro con el personal
contra'eraltitiOliátntiMúchtisIilogtoriá0. 14 -rietpoi.isin una'clai-a,d'efintciÓn.d de trabajo para ampliar sus conocimientos, identificar a los nuevos informantes,
_filosoff430'..esul:i iilre0,:e.ii , p.áitoi.:. 1«,:;e1..,ke:11501S4ble de la ausenC1A de estudios verificar la información recolectada y probar los diversos escenarios de las futu-
bien c6Vrtídiá'cid s. . ádétcáifela-efecfivIdad . détatéli-biógr.alnaS. En 196 -6, Fre eman y ras actividades evaluativas y las opciones de programas alternativos.
SCOtt infornlaron que muchos de los prOgrátnas'de..;edn.lación contra el alcoholls- El método está reconocido como uno que requiere un juicio detallado de par-
nió,::r. glfeiifei;:: .0.iét:ál: . eltiP.d.f.I.F:e'l,íi. ef I cierecle .:...OFjáii;.e.,Pefct..1.5; ó n y que poco SC te del especialista en evaluación. Se han hecho esfuerzos en varias descripciones
i_-)dría,..ti'a¿'.. --. — - ' - ititáción, El ' eiMa subsiste, después de del método (Rutman, 1980) para codificar los procedimientos, con el fin de que
-. .
proporcionen una valoración reproducible por otros asesores. En general, se han
Dg Alc.:,hol Education P-re--•
seguido los siguientes pasos repetitivos:
up Educovon, vot, 25, ntIm.
, Preparación de una descripción del programa. Esta descripción se basa
en documentos formales, como los de los propósitos de los fondos, los
folletos publicados, los manuales administrativos, los infornnes anuales,
las minutas y los estudios evaluativos cornpletos. Se incluyen las declara-
ciones que identifican los objetivos del programa y los clasifican en forma
Perspectiva de la evaluabilidad entrecruzada con los elementos del programa. En otras palabras, como el
estudiado rnodelo de repercusión para prograrnas innovadores, la des-
La idea estudiada en esta sección parte de las experiencias de un grupo en el cripción del programa compara cómo se supone que funciona actual-
Urban Institute (Instituto Urbano), cuyas actividades evaluativas les permitieron mente la intervención.
llegar a dos conclusiones relacionadas (Wholey et al., 1970; Wholey, 1979). Pri- Entreuistas con el personal del programa. La gente clave es entrevistada
mero, encontraron difícil y algunas veces imposible poner en marcha evaluacio- para recabar descripciones de las rnetas del programa y de sus fundamenta-
nes de los programas públícos porque los adrninistradores y otros evaluados se ciones, así como para identificar las operaciones actuales del programa.
resistieron, fueron poco cooperativos o fallaron en centrar los propósitos de los De esta información, los modelos de las intervenciones de las operaciones
estudios. Segundo, encontraron que, a menudo, los resultados de la evaluación del prograrna se diseñan y verifican subsecuentemente con las personas
no se utilizaban para refinar o rnodificar los programas. Esto fue dirigido desde el entrevistadas.
punto de vista de un enfoque sistemático, lo que Wholey Ilamó valoración de la Exploración del programa. Aunque la valoración de la evaluabilidad
eualuabilidad, que debe preceder cualquier esfuerzo evaluativo tradicional. Las no incluye una investigación forrnal, en el sentido de una recolección
valoraciones de la evaluabilidad o evaluación previa están diseñadas para dar un de datos a gran escala, suele incluir visitas para obtener impresiones
ambiente apropiado al trabajo futuro de la evaluación; además, como una con- prirnarias acerca de cómo funciona actualmente el programa. Estas
sulta de la administración sisternática, tales esfuerzos en sí mismos pueden ser informaciones se confrontan con la inforrnación de los documentos y
utilizados por el equipo de trabajo antes de las actividades evaluativas (Schmidt de las entrevistas.
et al., 1978; Rutman, 1980). La valoración de la evaluabilidad también puede Diseño de un modelo de progr-ama eualuable. A partir de los tipos de
revelar si la puesta en marcha oorresponde al programa tal como la definieron inforrnación variada, los elernentos clel programa y los objetivos se expli-
aquellos que crearon su política y los procedimientos operacionales; en caso con- carán para induirios en los planes evaluativos.
62 CAP. 2. COMO INTEGRAR LAS EVALUACIONES 63

Identificación de los usuarios de la eualuación. De acuerdo con los


Re ,,d,aron cerca de 4() piiCsJr documentaciór, consideracla esencial para .
propósitos de las actividades evaluativas y con los evaluados clave, en rnprender los,,objetivo, y ars actividades ,de la comtsión,. del congreso,•del
seguida se identifica a quién se dirigirá. En reciprocidad, se decidirán e,ta o en relación con ei proyecto incluidos la autortzación de la legtsla
los cambios por efectuar, respecto de las nuevas decisiones (esto es, 1:-)s audiencias'del congresdy. ‹-etinforrne del coinitI;los_dckUrp:entoldéplári1
administrativamente o por medio de la legislación). fIcación estatab9.1a .-a¡alica¿Cn 11.2S cle perraiscrs il proyet Jj"
Logro del conuenio para continuar. El paso final es revisar el plan evalua- Revisaron entié 50 si 60 piezas dc documentación,'Incluidos 1(35 Orm'elst
tivo con varios de los evaluados. El proceso de acopio de la información los cont‘ratos,
, ARC; lós- docilmTltos'.-..„.
de planes locales, los rnateriales proyec-
durante la valoración de la evaluabilidad incluye, típicamente, diálogos taclos;-7 1a" dbCurnentación CSPit,-11- Vlós p roy cc tos de investigación:
con los individuos clave y con los grupos importantes. Para este punto se Entrevistaron aaproximaidmcnte . 75 personas de los equlpos congresiona- -
han aceptado la mayoría de los componentes del plan. Antes de que los les; del Cúarter.de la corm siún, del,OersOnal de los prograrnas de salud y
evaluados "firmen" el plan, es importante que se llegue a un acuerdo -arrollO;del estado de la ARC de otros
. . dos. nnidades. .
explícito en lo siguiente: p'anifIcación local y de los proyectos locales
Participaron en los tattcies con aproximadarnente,Z,QprIcticanteláctiltdr
rs de saluel clesarrolk) del uulo perso nal estatár de laARCy analiaaS.ext
Los componentes del programa que se analizarán, el diseño de la eva-
' 110 S
luación y las prioridades para iniciar el trabajo.
Entregar a las fuentes requeridas y convenir acerca de la colaboración
y cooperación necesarias. nródiajetóri:.01,1"M.
qn preSentába laS actIVidades y IOS-pbietiy n)s elel progfa arcoo ls yeiátjo:e
Un plan para utilizar los resultados de la evaluación. -clusále'asunildás'entrellábáCti.vidadés,det-prórán'iá -r-
Un plan de los esfuerzos requeridos por el equipo de trabajo del pro- láynedición, y,faCtibilidad délds:Obietivos'cletotlpgranía
grama para reforzar el potencial de la evaluabilidad de los componen- redefiniCIOneS.del d. iSeñó del , PrOgiárna. 'Aqní los evaluádores, influtdosorlas5cri
tes del programa, los cuales generalmente no son manejables por la cas estériles'alprograrna y s-u .diseño, sugirieron córnoloS políticos y
evaluación, y un enfoque a la ulterior integración de los mismos en el , cloresP,Odrían estableder objetivosfealistas y inedibles, a"dernááde ciatoS de-,
esfuerzo de la evaluación. ejecucjón'creii=Prográtna „ 'para-rnejOirai'.'n'actuación.
-
jEl- jnforine se pi'esehtó ,de dosrnaherás:,como modelo ma tótárde -
Al final, la planificación de las evaluaciones para programas establecidos serieS indiVidualéde "friódeldCada uno coneerniente con'im objétivo
no es muy distinta, cualitativamente, de la que ocurre en las intervenciones identifieadó del Prbdrainál ' El'infortne'séñal >atia'una serie'de opciones en'la informa-
innovadoras. Quizá las dos distinciones clave en el estilo son: el énfasis incre- ción; eOresadas en;:términóS de Modelo;Cualesquiera de los cuales se podría des-
arroltaren uii estudioespeCífico o sisterria.z‘,clé-"evalaad6n:',At , ieyisar el informe, et
mentado para incluir el modelo del programa de evaluación desde las activi- 'eqüipo de la . ARC tus,›:0 que esco j et explícitarnente -entre,10C-iirm - -ás alternativos de-
dades existentes del programa y la atención más deliberada a los puntos de lá accióri11 . pi.dceso-de reciiáión.empleadó, fue una serie ,s de discusiones intensivas
vista de los evaluados, así como a sus responsabilidades y sus influencias. En _ _ -
Cdn los;-egUibOá:pay'fiCipánt'á de la ,ARGydel Urbárv-IriStmate;centradas en .„
el anexo 2.7 se muestra un ejemplo de la valoración de la evaluabilidad. tiVo y un ificidelo:del .:PXograi-na á- lá _vez..10-cacla sesión; se intentó llegar ci un acuere-lz-
dp acerca dé .1á validez del niodelddeflujo:p .rescntadd,éTVei informe la atenSi."4:
eruque„cullligíti_e'ZI:d1 - '14-1;e-lOnét-41
Anexo . 1,7. Appalachian Regíonál Conamission inforrnáción, se' podíaperSegiiir.
(Cornisión Regional de los "Apalaches) I u,áblbdádse - corn
_ p, eto ,en,apto xima, ,
„. de 50 000dolares Otros dos rheSeside"trabajO'Cai :la Ápi3aighian:
En la Appalachian Regional Conunission (ARC), los e, valuadores trabataron CorniSSIon Con'lás,rupOs'estatales yllóCáles'PiOdujeton decisloriede
administradóreS" ylós pOlítipas, pára lograr un'consensp acerca del diseno .-lFIC 'siltémátiCas para,,mOnítorear;lár eje'C'CiCióit'.Cle'ródíSicis:Iroyectós
un nuevo Prograrria rnaS . verosímll . P ara eos
m rat e escmpeno ce f" d acl
- at e ectivi desárr011o de la niñez de la ÁÉC, aí c- 6mO -pára idehtifieáf-Y -evalual. la 'efectividad de
La-Valoración clé la evalaabilida'd de loS progra'rnas de salud y desarrollo del niño de proyec.tós'::Innò -
Ikha'organizaCián c" nipezo'con una colocción de'datos acerca de las íntenslond, los - -,-6Aiil'13, - estádál;:delafÁRCT 7-1'hah'adoptado voltirn taidaiWit;l'érliátéma
dtlyInistrádores v la confnhiliciálpor.'éitirbáta lnstitute (instituto urt;ano), lOsevalua rhónitoreó de;la,ejecución:=Dhiersós representi,mtes mfOrman que,en la áctualidad
ie .ron io sIguiente- - los diseñOS del - proveCto rst iii mas cl¿Ii¿Irnente artieulados y creen quelosproyectos
• Se han ri-iej¿írádo
Revc=c1 rca) los clatos de la cornisión en cada uria de las 13 ARC estatales fun
dadas y rcspeuy dc lo's:progrartilas-de salucl-y desarrollo delos niños, Adaptaciój ic119::S.,Wytqley;,.."Ustng Lvaluation to Piógram eiís
Visitaron duiante, un ' día crldauno de los cin.co estado-s para' a yndar la e Reseaji-h aricl, F:ractic¿.:Climp¿ratiue óridInterilcrtióni21 Perspect.Iues S
, -Jt1 V-;
ue ba-rticip-andn_en la evaluación de sisterna cle
s• cd_y:ción de dos siaclos, cj
64 EVALUACIÓN DE PROGRAMAS 65

Estudios explicativos El enfoque de las actividades explicativas de un programa está determinado


por dos tipos de requerimientos: externos e internos; por ejemplo, muchas leyes,
Por cualquiera de las dos causas, como consecuencia de los mandatos exter- incluida la legislación reciente, requieren un informe de la repercusión del pro-
nos o con base en la valoración de la evaluabilidad, los estudios explicativos tie- grama antes de la aprobación de su financiamiento para años ulteriores. Los
nen como finalidad proporcionar los hallazgos adecuados a las exigencias de administradores y ejecutivos del programa, a quienes se informa, están conscien-
cada tipo de preocupaciones para explicarlos. tes de la información explicativa, para que se mejoren y modifiquen los esfuerzos
Los patrocinadores, el equipo de trabajo y un amplio rango de grupos comu- y para administrar sus intervenciones eficientemente. De muchos modos, la valora-
nitarios pueden estar preocupados por uno o varios de los puntos que se enume- ción de la evaluabilidad se considera un medio para diseñar una estrategia aclarato-
ran a continuación: ria que se integre a las necesidades actuales y futuras de la intervención. Al diseñar
las estrategias explicativas existen dos consideraciones importantes: las evaluacio-
nes continuas en oposición a las entrecruzadas y las valoraciones internas en oposi-
Explicación de ia repercusión. Los administradores del programa están
interesados por la repercusión por dos razones: las internas de operación ción a las extemas.
y para justificar los programas externamente.
Explicación del alcance. Se refiere a las cuestiones clave relacionadas
con el número y las características de las poblaciones objeto, el grado de Evaluaciones continuas en oposición
la penetración (esto es, qué proporción de poblaciones objeto potencia- a las evaluaciones entrecruzadas
les son servidas), los rangos de deserción, etc.
Explicación de la entrega del servicio. Generalmente, es necesario valo- En muchos programas extensos se utiliza el monitoreo y el sistema de infor-
rar la operación actual del programa conforme a los planes de éste; por mación, a menudo referido como sistema de administración de la información
ejemplo, los centros de salud mental comunitaria pueden incluir en sus (SAI), que permite valorar en una base continua el trabajo y los resultados de los
planes tratamientos de emergencia durante las 24 horas; la explicación programas. Este sistema registra la información de cada encuentro, de la entrega
en cuestión implica si éstos proporcionan o no. Asimismo, muchos pla- de servicios y de los resultados y costos. Los sistemas continuos frecuentemente
nes de intervenciones especifican las calificaciones para los proveedores; se critican porque "frenan" el impulso; sin embargo, como representan una
de esta manera, la extensión de la entrega del servicio por un grupo de entrega permanente de recursos, necesitan justificar su uso constante.
trabajo calificado es otro problema digno de explicación. No obstante, al mismo tiempo, en los estudios individuales o entrecruzados
Explicación de la eficacia. Obviamente, la repercusión relacionada con de vez en cuando se realizan gastos excesivos en los costos y pueden ser eroga-
los costos del programa es importante de dos maneras: internamente, en dos por el equípo de trabajo, pues no se consideran parte de las operaciones
términos del juicio de los beneficios relativos y de la efectividad contra el rutinarias. Es más, pueden no ser oportunos y deben tener menos utilidad en las
costo de cada elemento del programa, y externamente, al competir por decisiones administrativas dignas.
los recursos. Otra vez, aquí no hay modo de aportar las reglas; en su lugar, se debe juzgar
Responsabilidad fiscal. Los programas tienen una responsabilidad clara en términos de costo por beneficio un sistema continuo de monitoreo. En
para explicar el uso de los fondos en sus informes fiscales; sin embargo, muchos programas se usa una mezcla de monitoreo continuo con el fin de valo-
además de lo que es una responsabilidad estricta explicativa, pueden sur- rar el proceso con evaluacíones entrecruzadas para estimar en varios niveles la
gir pertinentes cuestiones anexas; por ejemplo, el costo por cliente y el repercusión y el costo por beneficio.
costo por servicios son datos que no se pueden abstraer de un informe fis-
cal. El incremento de los costos o los costos marginales son también perti-
nentes, dado que los programas varían en tamaño, o porque se incluyen Evaluaciones internas en oposicIón
diferentes pob/aciones objeto, etcétera. Finalmente, los costos diferencia- a evaluaciones extemas
les pueden estar en función del sitio, la época y el inicio de programas
competitivos. Las evaluaciones explicativas agravan tajantemente el problema de si el per-
Responsabilidad legal. Todos los programas, públicos y privados, sonal de los programas debe emprender sus propias evaluaciones o contratarlas
requieren de reglas para cumplir sus responsabilidades legales. Éstas en el exterior. Por una parte, es evidente que en el caso de esas evaluaciones, el
incluyen el consentimiento de información, la protección de la privacía, evaluador debe conocer muchas operaciones del programa, con el fin de diseñar
la representación comunitaria en las juntas para tomar decisiones, la la evaluación y abocarse a la consulta, la educación y el diálogo requeridos para
equidad en la provisión de servicios y el costo compartido. En los pro- optimizar su utilidad. Por otra parte, existe el riesgo de que el evaluador, quien
gramas públicos una adecuada complacencia con los requerimientos forma parte del programa, sea acorralado y que los patrocinadores y los evalua-
legales es un requisito previo, el cual a menudo se debe cumplir para dores que están fuera del grupo de trabajo sospechen de la autenticidad de los
seguir contando con el financiamiento. resultados. En programas extensos en los que los evaluadores pueden trabajar en

66 CAP. 2. CóMO INTEGRAR LAS EVALUACIONES DEPURACIÓN DE PROGRAMAS 67

grupos serniautónomos, probablemente es más benéfico y económico para las eva- tarios de salud con los hospitales y las escuelas de medicina. Mientras que las
luaciones explicativas que éstas sean internas. En programas pequeños puede ser características básicas del cuidado médico no han cambiado en los centros
mejor tener asesoramiento externo, próximo a los métodos de las auditorías fisca- comunitarios de salud, las iniciativas se consideran mecanismos que reducen la
les. En algunos casos, una combinación de ambos, en que se emplee a consultantes sobreposición indeseable de los servicios entre las instalaciones hospitalarias y
para proporcionar asistencia técnica inadvertida, es más ventajosa. los centros mencionados. Asimismo, tales afiliaciones incrementan la continui-
dad en el cuidado del paciente, lo cual da mayor satisfacción al cliente. Simila-
res tipos de esfuerzos para reducir la fragmentación del cuidado han tenido
DEPURACIÓN DE PROGRAMAS lugar en los centros vecinales individuales que ofrecen, a quienes reciben ingre-
ESTABLECIDOS sos de beneficiencia y a otras personas con ingresos marginales, una variedad
de servicios previamente disponibles sólo en oficinas separadas una de otra por
Frecuentemente, como se señaló en párrafos anteriores, existe un sutil límite escasa distancia.
entre lo que se Ilama intervenciones innovadoras y la sintonización del programa La depuración requiere básicamente, por parte de los patrocinadores del
de ejecución, mediante su depuración. Asimismo, la depuración de las evaluacio- personal del programa y de los evaluadores, tres juegos de actividades relaciona-
nes comúnmente traslada las evaluaciones de programas establecidos. Con base dos, los cuales se examinarán a continuación.
en la información de evaluaciones actuales, los administradores del programa
pueden efectuar camblos, día tras día, en el aspecto tanto administrativo como
técnico, bastante extensivos y sujetos a una evaluación sistemática. No obstante,
Reestimación de los objetivos
la parte medular de la depuración es la modificación del programa que repercute
de manera notoria en los esfuerzos de la intervención. Su esencia la denota el tér- y los resultados
mino inicianua, el cual se aplica a menudo en los esfuerzos de depuración en las
intervenciones nacionales o a gran escala. Los esfuerzos de depuración y los programas innovadores constituyen una
Típicamente, la depuración de programas ocurre porque los patrocinadores respuesta a las condiciones existentes; sin embargo, en el caso de la depura-
y el equipo de trabajo no están satisfechos con la efectividad, con la eficiencia de ción, la acción se centra en las condiciones inherentes al programa, en vez de
las intervenciones o con ambas. La base para efectuar tales cambios se origina en aquellas relacionadas con el problema nuevo o poco tratado. A menudo, la
los hallazgos de los estudios de la evaluación sistemática de monitoreo o repercu- advertencia de que un programa no ha resuelto los problemas comunitarios
sión tipo, en los resultados de la valoración de la evaluabilidad o en una evidencia requiere modificar los objetivos del programa y los criterios de los resultados.
más notoria, fundamentada en la nula satisfacción de la manera como se han rea- Al respecto, considérese el problema de los centros comunitaríos de salud men-
lizado los esfuerzos. tal y de la población hispana. El objetivo original de los centros puede haber
Algunos ejemplos serán útiles. En el campo de la salud mental, los centros sido proporcionar un rango de diagnóstico, emergencia y tratamiento en sus
comunitarios de salud mental en áreas donde existe una población sígnificativa programas a corto plazo para atraer a los residentes del área. El objetivo, como
de habla hispana, han llegado a tener cuidado con las barreras que estas personas se estableció originalmente, no incluía considerar de modo especial las cuestio-
afrontan por problemas con el lenguaje. Se ha tornado una variedad de enfoques nes éticas y los pasados culturales de la población objeto. Al afrontar el error de
diferentes con la finalidad de agilizar el acceso a personas de habla hispana. Uno proporcionar acceso a personas particulares por sus pasados sociales y cultura-
de ellos ha sido incrementar la proporción de personal de habla hispana para les, se hacía clara la necesidad de mejorar los objetivos. Asimismo, el programa
transmitir las características del centro por medio de un lenguaje dual en signos y de afiliación de los centros comunitarios de salud con los hospitales locales
material educativo acerca- de la salud, y mediante el empleo de personas de refleja un mejoramiento de objetivos; se han redefinido y operacionalizado los
herencia hispana para contactar a grupos religiosos y culturales que sean clave objetivos para incluir la máxima continuidad en el cuidado.
dentro de la comunidad hispana. Un segundo enfoque ha sido establecer progra- La necesidad de redefinir los objetivos suele ser evidente conforme se esta-
mas "nutridores" satélite en las comunidades altamente pobladas de hispanos; biliza el programa innovador y surge como especulación establecida en el cam-
aquí, el personal, el material y las relaciones interpersonales reflejan la característi- po de los servicios humanos. Algunas veces, la redefinición de objetivos se
ca específica cultural de los residentes, el diagnóstico a corto plazo y el tratamiento ramifica del diálogo que casi siempre acompaña a las actividades administrati-
están disponibles y los pacientes se refieren a sus centros originales. Por supuesto, vas cotidianas. Otras veces, el evaluador realiza estudios especiales, ya sea
el problema es si esos enfoques incrementan el acceso a la población objeto y cuál como contratista independiente o como miembro de un equipo de trabajo, para
de ellos es más efectivo. obtener datos que ayuden al personal del programa a revisar sus objetivos. En
Otro ejemplo de depuración se relaciona con el gran número de iniciativas otros casos, el evaluador y el personal de trabajo tienen a su disposición (como
vinculadas con los centros comunitarios de salud, muchos de los cuales comen- se vio al estudiar los programas establecidos) la administración actual y los ser-
zaron como organizaciones gratuitas. Aquí, los grupos extemos al centro vicios del sistema de información que aportan datos acerca de los problemas
comunitario de salud, incluidos el gobierno federal y las grandes fundaciones, referentes a los objetivos comunes y el grado en que se satisfacen. Cada vez
han adoptado una variedad de programas para relacionar a los centros comuni- más, se han empleado nurnerosos enfoques formales para auditorías continuas.
68 VINCULACIÓN DE LAS EVALUACIONES 69

Valoración del prestigio base informal en cursos de inglés y matemáticas, para someterse a los exáme-
nes de la junta del colegio. Si se puede demostrar a la junta de la escuela que
El término valoración del prestigio se emplea con el fin de denotar el esfuer- esos estudiantes obtienen más altas calificaciones, las sesiones preparatorias
zo sistemático para obtener de los evaluados (sobre todo de las poblaciones obje- formales se pueden incorporar en el currículo regular de la secundaria, sobre
to) opiniones y datos acerca de la experiencia, mediante lo cual se enjuiciará el todo porque optimizan las oportunidades de los estudiantes de elegir la profe-
grado de éxito del programa para lograr sus objetivos. Valorar el prestigio consis- sión y el plantel que prefieran, lo cual es un objetivo congruente con una de las
te básicamente en obtener datos del banco de información. Algunos programas metas generales de la educación secundaria. Al mismo tiempo, tal modificación
contienen cuestionarios para el cliente con el fin de obtener información de ellos curricular puede incrementar el vacío que hay entre estudiantes con aspiracio-
para conocer su satisfacción con los programas. Esto se puede hacer mediante nes y aquellos que no las tienen, lo cual requiere el énfasis de otros aspectos del
un estudio especial o como parte de un esfuerzo común de monitoreo. La investi- programa educativo e interfiere con los planes del maestro durante el curso.
gación podría incluir preguntas acerca de varios aspectos del tratamiento tales Así pues, en términos de depuración, el evaluador debe participar en las
como tiempo de espera, realaciones con los practicantes, costos y cuotas, etc., tareas siguientes:
así como buscar expresiones de los servicios deseados y de las necesidades no
satisfechas. Revalorizar los objetivos.
En resumen, sobre todo para programas extensos, el evaluador puede inves- Usar los datos de evaluaciones previas, así como la información acerca
tigar al proveedor de servicios. Tanto las personas que ofrecen servicios como el del progreso del programa, conseguida como parte de la entrega de ser-
cliente tienen sus proplas desviaciones y riesgos en el programa, pero pueden vicios, con el fin de buscar la manera de modificar el programa.
percibir las fallas y deficiencias susceptibles de corregir mediante una depura- Comprender y usar la valoración del prestigio.
ción; por ejemplo, los datos regulares y sistemáticos se pueden obtener de maes- Participar en la replanificación del programa y en su rediseño.
tros, acerca de varios tipos de servicios especiales ofrecidos por una escuela, e) Planificar y poner en marcha los diseños de la evaluación para realizar el
como el proporcionado por consejeros que tratan problemas emocionales y el de monitoreo de los cambios del programa y su repercusión.
las guías vocacionales (en el capítulo 4 se abundará acerca del monitoreo).
A menudo, la valoración del prestigio señalará los esfuerzos de depuración
comparativamente simples, como dar retroalimentación a los maestros acerca VINCULACIÓN DE LAS EVALUACIONES
del tema que tratan con los estudiantes, áreas en las que fallan los programas CON LOS PROGRAMAS
especiales y la manera de colaborar eficazmente con el fin de entender los proble-
mas del estudiante. Otras veces, la información puede resumir la necesidad de En este capítulo se ha expuesto cómo la evaluación se ajusta al desarrollo de
hacer considerables modificaciones del programa. las intervenciones innovadoras, dentro del conducto de los programas estableci-
La información menos formal incluye las presiones de los que abogan por los dos, y en el mejoramiento y la depuración de los programas. La primera lección
evaluados y los grupos comunitarios, y la dan personas de clase media y en la que se podría transmitir es que la evaluación.se debe vincular con el programa
vida política. Cuando la valoración sistemática del prestigio se realiza antes de (véase el cuadro 2.1).
estas presiones, el personal del programa de administración puede tener inter-
venciones mejores y evitar convertirse en sujetos de juicio.
Cuadro 2.1. Revisión de las actividades de evaluación

Replanificación del programa y rediseño Programas Programas


innouadores estableciclos Depuración
Evidentemente, poner en marcha la depuración y el mejoramiento requie-
Conceptualización 1. Descripción del Determinación Estudios de la
re revisar los diversos pasos y las actividades examinadas con algún detalle en repercusión
problema de la
la sección de evaluación de programas innovadores. Es necesario que el pro- evaluabilidad
blema se halle bien identificado y descrito, que los objetivos estén operacionaliza- Funcionamiento Desarrollo del Redefinición de
dos, que se diseñe un modelo de repercusión revisado, que la población objeto de objetivos modelo de objetivos
sea redefinida, que el sistema de entrega se diserie de nuevo y que se hagan los evaluación
planes, por si se requiere revisar la repercusión del monitoreo y la eficacia. Desarrollo del 3. Identificación de 3. Diseño de las
Cabe destacar que no sólo los esfuerzos de depuración son más comunes modelo de las modificaciones
que las intervenciones innovadoras en el campo de los servicios humanos, sino intervención oportunidades del programa
también que las consecuencias de esos esfuerzos son extensivas; por ejemplo, potenciales de
en muchas escuelas secundarias, algunos estudiantes son preparados con una modificación
70

Cuadro 2.1. (Continuación)

Progra mas
innouadores .
Programas
establecidos

Definición de la 4. Determinación
extensión y
distribución de la
de
Depuración
3
población objeto
Especificación
requerimientos
de contabilidad Procedimientos
del sistema de
entrega

de
Ejecución 1. Investigación
formativa y
desarrollo
1. Verificación del
programa y
estudios contables
1. Refinamientos R
y D al programa diagnóstico
2. Ejecución de la 2. Cambios al
verificación programa de
verificación Como parte del desarrollo de las actividades evaluativas y la aphcación de los méto-
dos de investigación social en el área de servicios humanos, los enfoques sistemáticos y
Vaioración 1. Estudios de la 1. Estudios de la 1. Estudios de la reproducibles se han proyectado para identificar los problemas no tratados y las condicio-
repercusión repercusión repercusión nes que no se ajustan bien a los programas existentes. Estos procedimientos de "diagnósti-
2. Análisis de la 2. Análisis de la 2. Análisis de la co" algunas veces constítuyen el paso inicial en la identIftación del problema, mientras
eficacia eficacia eficacia que otras veces siguen la impresión del evaluado y la valoración de las necesidades para
diseñar programas de acción social organizados. En ambos casos, la documentación siste-
mática de la necesidad del programa se debe realizar de tal -nanera que se puedan planear,
Por supuesto, de ninguna manera se pretende restar importancia a las mejorar, ejecutar y evaluar los esfuerzos para la acción social.
actividades ténicas de evaluación y a sus procedimientos que siguen de la con-
ceptualización de los estudios. De hecho, esto es lo que se pretende en esta
obra. Más aún, es importante reconocer que los programas y las evaluaciones CONCEPTOS PRINCIPALES
son "dinámicos" en el sentido de que la experiencia adicional al programa, la
retrolimentación de la evaluación preliminar y los turnos en los contextos Incíciencía: Número de casos nuevos de un problema particular o
condición identificados u originados en un área específi-
políticos, económicos y sociales en que los programas y las evaluaciones ocu- ca durante un periodo determinado.
rren, pueden requerir modificaciones y ajustes para diseñar las evaluaciones. Indicadores: Medida que refleja un problema o condición del cual exis-
Al mismo tiempo, a menos que las evaluaciones comiencen por ser detalladas te información por series de tiempo.
y que sean congruentes con las operaciones del programa y sus requerimien- Medición de necesidades: Valoración sistemática del tipo, la profundidad y el alcan-
tos, los estudios sistemáticos exitosos probablemente se suspenderán. Mien- ce de los problemas como fueron percibidos por las
tras haya límites con respecto a cómo completar el proceso de enlace —pues poblaciones objeto o por sus defensores.
esto implica no sólo la formulación ordenada y el mejoramiento de ideas con Población en necesidad: Unidad de poblaciones objeto potenciales que común-
la integración de los datos, sino también el diálogo, la discusión y la interac- mente manifiestan una condición determinada.
ción con los evaluados—, el mensaje debe ser claro. La comprensión y partici- Población de riesgo: Segmento de una población que tiene una probabilidad
pación máxima del evaluador para ajustar las evaluaciones a los programas es significativa de desarrollar una condición.
Predominio: Número de casos existeMes con una condición dada en
esencial para emprender con éxito las evaluaciones sistemáticas. un área particular en ur. tiempo específico.
Rango: Ocurrencia o existencia de una condici6n expresada
como proporción de una unidad en la población (por
ejemplo, la muerte de mil adultos).
Inuestigación: Colección sistemática de información de grandes grupos
de estudio, generalmente por medio de entrevistas o
cuestionarios administratívos a una muestra de la uni-
dad de población.

71
72
CAP. 3. PROCEDIMIENTOS DE DIAGNÓSTICO ESTIMACIÓN DE LAS 1NTERVENCIONES 73

Si viviéramos en un mundo utópico, donde casi siempre se tuviera buena En una intervención social diseñada para rehabilitar a delincuentes juve-
salud, no hubiera diferencias sino un equilibrio social completo, amplias oportu- niles en un suburbio de la parte oeste se descubrió, después de terminar el
nidades para participar en las actividades culturales y socioocupacionales y exis- programa, que virtualmente no había delincuentes juveniles en la comu-
tieran programas de servicios humanos eficaces relacionados con las deficíencias nidad. Los planificadores creyeron que como la delincuencia juvenil era
individuales, interpersonales y comunitarias (lo cual, por supuesto, podría ser un problema general de la sociedad, podría encontrarse también en esta
menor), no habría necesidad de efectuar evaluaciones, ni nuevos programas ni comunidad.
depuración de los existentes y tampoco sería útil verificar los esfuerzos estableci- Los planificadores de muchos proyectos de renovación urbana realizados
dos. Así, la evaluación se puede considerar como una respuesta al esfuerzo de durante la década de los sesenta creyeron que las personas que vivían en
encaminarse hacia un mundo perfecto; los múltiples problemas actuales y antici- edificios "en ruinas" y consideraban sus casas como defectuosas, podrían
pados en los campos humano y social, y la gran presión para diseñar, ejecutar y pagar la demolición de su hogar y aceptar la relocalización de nuevas casas.
depurar diversos programas que los reduzcan y controlen son el objetivo funda- De ciudad en ciudad, los residentes de las áreas urbanas renovadas presen-
mental de la evaluación. tan una fuerte oposición a los proyectos de renovación urbana diseriados
por los planificadores.
La media de los programas diseriados para motivar a la gente a buscar un
examen físico con el fin de detectar los primeros signos del cáncer, hizo
EL IMPULSO PARA INTERVENCIONES que los centros de salud se vieran saturados al enviarles más pacientes de
Y EVALUACIONES los que podrían atender, pues muchas personas hipocondriacas sin indi-
cios de cáncer fueron estimuladas por el esfuerzo medio y creyeron que
En una concepción global, la contribución del evaluador en identificar y estaban experimentando síntomas.
escalonar las deficiencias sociales y humanas y en la innovación y el mejora- 'En un proyecto de televisión educativa diseñado para mejorar las habi-
miento de programas que las traten es realmente modesta. Los investigadores lidades de los adultos urbanos en una ciudad poco desarrollada, se
evaluativos deben ser modestos acerca de su influencia en esta materia a la luz encontró, después que el programa había comenzado, que la mayoría
de las acciones de los grupos políticos, de las corporaciones de abogados, de de los adultos sin habilidades educativas no tenían acceso al aparato
los ponentes y de las personalidades carismáticas. La atención del mundo pos- televisivo.
terior a la Segunda Guerra Mundial con respecto a las enfermedades mentales 5. Un proyecto de control natal se amplió para reducir el alto rango de
se debió en gran parte a un congresista singular; los prograrnas con subsidio abortos reportado en un gran centro urbano. El programa falló en
federal para ayudar al retardado mental recibieron un gran impulso durante la atraer a muchos participantes adicionales, y después se descubrió que
presidencia de John F. Kennedy porque él tenía un pariente retardado; el mejora- muchas de las pacientes potenciales ya eran atendidas. Para la mayo-
rniento de la seguridad automovilística se puede acreditar en gran medida a los ría, los pacientes potenciales eran mujeres jóvenes que llegaban a la
abogados de la guía Nader; y los esfuerzos para controlar la prestación impropia ciudad procedentes de áreas rurales; una alta proporción de residentes
e ilegal de los servicios de salud y bienestar a menudo se deben a los riesgos a que urbanos practicaban ya el control de la natalidad.
está expuesta la clase media y a las actividades de interés y presión de ciertos gru-
pos, incluidos los esfuerzos de organización de los clientes. En todos los ejemplos anteriores, la investigación diagnóstica podría haber
Sin embargo, los evaluadores desempeñan un papel (reconocido como par- proporcionado información que permitiría prevenir los problemas de la ejecu-
cialmente responsable) en la identificación de los parámetros de los problemas ción del programa. Cabe señalar que en los ejemplos en los que la intervención
que requieren atención y en las deficiencias y limitaciones de quienes realizan no falló, fue simplemente porque la investigación no se realizó debido a que la
esfuerzos comunes. Lo que el evaluador agrega (por lo cual se hará referencia población objeto no existía, o porque no se procuró el programa previsto, o se
a esto como procedimiento de diagnóstico) son los enfoques sistemáticos y repro- identificó incorrectamente, o se plantearon demandas que la intervención no
ducibles para identificar los problemas comunales y para aclarar su alcance. pudo cumplir.
La importancia del diagnóstico de la información no se puede exagerar.
Mientras que las informaciones especulativas, impresionistas —y aun las desvia-
das— pueden acicatear a los políticos, a los planificadores y a los patrocinadores ESTIMACIÓN DE LAS INTERVENCIONES NECESARIAS
o a sus organizaciones para iniciar acciones, es esencial tener una información
totalmente confiable acerca de la población objeto potencial del programa y res- El paso crítico en el diserio de un programa innovador es verificar que un
pecto del contexto en el que una intervención podría actuar antes que el progra- problema actualmente ígnorado o que se ha tratado sin resolverlo, sea tan gra-
ma comience. Así también, antes de afinar una iniciativa existente o de abreviar ve que requiera una intervención nueva o una adicional. La justificación poste-
un programa actual, se debe estimar la magnitud del problema. En seguida se rior de los programas comunes y de los esfuerzos para depurarlos requiere la
dan algunos ejemplos de los que sucede cuando se ignoran los procedimientos de evidencia de los defectos persistentes o no resueltos en las condiciones sociales
diagnóstico adecuados: o en el sistema de entrega del programa. La acción de veríficar y medir la magnitud
74 CAP. 3. PROCEDIMIENTOS DE DIAGNóSTICO ESTIMACIÓN DE LAS INTERVENCIONES 75
y localización de un problema y de su población objeto intentada se ha llamado que recibirán los beneficios. Por ejemplo, en un proyecto de desarrollo social se
valoración de /a necesídad. Valorar la necesidad es indispensable porque tanto los seleccionó a los granjeros influyentes de las pequerias comunidades y se les pro-
profesionales como los miembros de la comunidad, en su celo por mantener y porcionaron programas de entrenamiento intensivo. Después de un tiempo
ampliar los programas en los que ellos tienen algún interés, pueden sobreestimar el regresaron a sus comunidades y comunicaron sus conocimientos a los otros
tamaño o la característica de la necesidad. En algunos casos, aunque un problema granjeros. De nuevo, un proyecto que identifica a sus poblaciones objeto como
-por ejemplo, el predominio de incapacidades físicas- puede ser obviamente gra- las unidades de habitación subnormales puede influir indirectamente en los ocu-
ve y tan difundido que requiera una intervención, puede ser necesaria información pantes de esas habitaciones.
acerca de sus características de distribución. Entonces, si las incapacidades físicas Si la población objeto se define corno indirecta, la efectividad de un progra-
son predominantemente un problema de personas de edad avanzada, originada ma dependerá de la gran extensión en los patrones, principalmente del inmedia-
por enfermedades relacionadas con la edad, el tratamiento será diferente de aquel to a la última población objeto. La efectividad del prosiecto en el que se emplea a
que se aplica a las incapacidades entre las personas jóvenes. Así pues, las valora- los granjeros influyentes depende de las habilidades y de la motivación de aque-
ciones de la necesidad se realizan para estimar el número y las características de la llos granjeros para comunicar sus conocimientos a otros miembros de su comuni-
población objeto en el programa. dad. Asimismo, si existe una relación estrecha entre la calidad de la vivienda y la
salud de la familia, la investigación e inversión para mejorar físicamente las habi-
taciones se puede justificar; pero si la correlación es tan baja o esencialmente
¿Qué es una población objeto? nula, tal inversión podría ser inefectiva o de desperdicio.
Las poblaciones objeto suelen estar constituidas por individuos, aunque pue-
den ser grupos (famílias, grupos de trabajo, firmas, establecimientos, etc.), áreas Especificación de las poblaciones objeto
relativas geográficas y políticas (como pequeñas comunidades de una región par-
ticular) o unidades físicas (casas, sistemas de carreteras y similares). Cualquiera La especificación del tamaño y la distribución de las poblaciones objeto pue-
que sea la población objeto, al principio del esfuerzo de diagnóstico es imperati- de parecer simple en primera instancia; sin embargo, casi no existen defectos
vo definir claramente la unidad de análisis. El criterio de definición varía. En el humanos y sociales que se puedan estimar fácilmente, sólo por contar a los indi-
caso de indivíduos, las poblaciones objeto generalmente se identifican en uno o viduos u otros componentes de un problerna o una condición particular. Consi-
más de los siguientes puntos: a) características sociales y demográficas; b locali- dérese un ejemplo sencillo: ¿cuál es la población dé personas con cáncer en una
zación, o c) problemas, dificultades y condiciones de la población. La población comunidad determinada? Primero, depende de si se cuenta o no a los residentes
objeto de un proyecto educativo en el que los individuos reprueban se podrían permanentes o si también se incluye a los residentes temporales (lo cual podría
especificar como niños del sexo masculino, cuyas edades van de 10 a 14 años, ser extremadamente importante en Miami Beach, por ejemplo). Segundo, ¿se
quienes residen en un distrito escolar y se encuentran entre uno y tres años por cuentan los casos "recuperados", o aquellos sin una recaída, digamos en los cin-
debajo de su grado normal en la escuela. co últimos años, se eliminan de la estimación? Tercero, en la estimación se deben
Cuando las poblaciones objeto son conjuntos (grupos y organizaciones), a tener en cuenta los propósitos para los cuales se usa. Si se utilizará para diseñar
menudo se definen en términos de las características de los individuos que los un programa especial de cuidados de enfermeras en casa, las personas con cán-
constituyen, de sus propiedades colectivas formales e informales y de sus proble- cer en la piel no se deben incluir, pues su condición rara vez requiere cuidados.
mas comunes. Una población objeto organizacional podría ser las escuelas de Un ejemplo de las consideraciones que consisten en especificar poblaciones
enserianza elemental con por lo menos 300 alumnos, de los cuales el 30%, como objeto se muestra en el anexo 3.1, tomado de un artículo que influye gratamente
mínimo, provenga de familias con ingresos inferiores a la línea de pobreza. en el desarrollo del concepto línea de pobreza, una definición de pobreza que
aún se emplea en la actualidad.
Poblaciones objeto directas e indirectas _
Anexo 3.1 Cómo se mide la pobreza
Como se mencionó en el capítulo anterior, las poblaciones objeto se pueden
considerar como directas o índirectas, según si los tratamientos se dan a las .- ,Contar la pptylza elun ejercicio detartgde 1922..,11. posible. Para decidir quién es
poblaciones objeto ínmediatamente (directamente) o eventualmente (indirecta- , ti.re. ,.las:plegar -- 01- 1bn'rnákirrlábt-tantel ' q' tiébbt ' éá ' ' *la. Pobteza , como la
. lands ,P9Mu
mente). En la mayoría de los programas se especifican sus poblaciones objeto l5Oltézk. ..éstá . éti in i ói'V -
dírectas. Esto sucede claramente en las intervenciones médicas, en que una per- -tiiI.T',s,,,....
é-,",p111. ‘a.e.all'cl:étti 9,21t
v ...,'¿4:i- t Pii°I
,a,jfagé. :"_". .111:17.: é:1:41ép::1Pn.: 111
fieár 0t1n1;1_Zin1 c.iütaic.sti:Su-dgve_vs'iliO°nr,'alu°nn'cnocnattig°
p-94 na
sona con una aflicción directa recibe la atención del médico; sin embargo, en Cli:- 1994 9 n9r.:P991:kii1 119:1-.. pbbi'l.eitáe.locla Clálé d1 táibres de juicios: El.con-
algunos casos ya sea por razones económicas o factibilidad, se intenta establecer ;:...cpp.tb.,:debe: ser inu9 liriiitác1.6›, ..:: tiOs. :00- pnSpite's 4.leinflu'itárt- é-hla definición Nb exis
programas que afectan indirectamente a las poblaciones objeto, haciendo como una rdzon part páro,oritár.la
~1. pobreza,.a:Menol'qüese. hacta alqó'Por evitart-d.
Si 1710511,i I des de la ilaittig"a-ción :Caélyglitiéral son diversas. cuando
sus objetos inmediatos a las poblaciones o condiciones que influirán en aquellos - •


76 77

_
yaea a clehnir I pobreza; solo se puecle ser subjetivo o me.nos que eso, pc-ro no ser
porestas medidas. La Administración delaSegtiri_ adiSocial no establecia la rinea
0 -liobreza. Tanto I Of ficje of E.conomiCOPPorttintriji(0,ficipa de Següill'ad
SW la Colitejl of
.C)c finición de.I piobliVii tenfári la responsábilidad 'de'Seleteitariat- -•--ár rítás bajo en las dos inedldás'y decidtt
. :
cuál irsar conlo instrumento de trabajo
. - -Liamejor ,que se puede decir ta - medida es
En la Administraerón d•el Seguro5Ocial, la pobreza 'se defir0 primero ,en térmi- que cuarldo,era útil estatia;ahí, :Es interetanteadyertir que pocas personas, con
nos. de , problerna o ¡.)olítieIá i `pUbliéa:- ¿a cüántaL getite y a cuáLqtieremos dirigir la '
eXCeptin'. ,-dellás',Perteneciéri Seguiro,Sociatl'qutsiela_
preoCupaeicM cle una po a irec a? Aun cuandci se tehga en.IC4enta.esto,',.eknivel liáblar'aCerCáliélarnay-orde láliriedidás:-,TodbldeéabanliablaUe lá
de \.ida emPleaclo para separIar el - tener" del "no tener" podriIaI S'ertan rigUtIOSo brada . línea de pobre'iája
_ cual produjo c.asi los mismos números de.gente pobre
: geniruso como quisiera LI nivel se Pódría" eStablecer;deltalinaleni .que en¿rlquie- que • de . 3 000,dólares,
, la Orlginal - - excepto- que unaS Pocas familias- con muchos hIjos
o ra güe sIe c-ontara edél de Ioó quie rkitienennl'eallítériteribienga bastanté. Si fueron sustituidaS Por- farnilias de mayor edad, peío-sin ;
se hizo lo Contratid; se Corierá el riesgode contar a alguten qüe no debiese eStar ahf.:
En resu rnery nO-aiste un esquerna perfecto ni uno de"valorlibre. Iny41
Urnbrales de la pobreza
Dado quease intenta mOS-brar el,nIVe1 de r preocupaelárIpPillco,se quiere-estar
rséguro de que cada fámilia o únidad deconsunio tenga lá OPOrttInidaIdeseiContado - Se han diseñado urrIbrales de la Pobreza, que corresponden a los Ilarna-
entre aquellos que Se consideran con necidaddeatención:De-beetiOI,-Precisarnent_é..; dia0:Éppres y los cerca de„Ip. :ppbreza._.Esjc>s.utTibr:4)11:ton conjuntos,séparado0e,:,2,,--
, para asegurar la Inclusión dé las noCr2sidadés defamIlias grancl e:YI1 c11-!e.fiás . , ,
- gente joyerti-,y:gt-andeil.
se.tnejorartkn ,lás'inqrtnas.mlciale_s,diseñadoSPór'el Conntil menores de 18 años el núntero de adultóSytilet familia vive o nra
Econorriíe-:Ádl-iiPers-.'-(ef3ticiliOde umbral se clefine como tm intento de 'espleifIcat ettnininto ingreso.ci:;h.qu'epú
cualquier familia cle dos o rnaS Integrantes comingresos menores111.00(5d-rolare-S de vivir una fanulia promcclio de compostción dada.;',a1 más bajklri1sie1 9git.tentrl,,,,.
:anual; así corno cltalquier
_ . :rsona que viviese sola , coMli5G0 dólares; Se',Pddrían
, pc con b:;,s,cStándare . S5je.:ülda prOálecientes entlpals;.estábásado
cOnsideiar pobres par¿a efectbs de la•plánificaciótidel prGgrarna dé antipObre:?_a, pero néCésttan la gifarroliáSde-difererites tarnañO`Stlipoparatbrriprar uná dletanutriélo-
no par¿lelegtbiliclad-de este Esta original norma permitió . la irrégülaridad reSultante „,
nal adecuada, ante la pruslmción de que no se uSa.más de un terelO[del ingreso
de que tina'pareja.ddedad'¿on,2•900.'dólares dé ingre_so al año se íitielféracánsiclerar farnifiar para corrrprar corriida". Los
- pobre, peroAne uno famili -agan'tin mando, espoSa yetiatr9 hijospe . queños com3 100 _ , dos urribraleIs<1;idesarrollaron-cleinvcstiga:
ciories acerca del consurno de alirnentos, que reyebban que el prorne,diO ,gast.ad,o
dólares dé ingreso anuar ' en cOrnida póIftedas láSfamilías fue de aprO)drnadátrie-nte un tetcio del'Ingresd;-'
Es risas, cuando en las distribuciones derno- gráficas _ sé . cornpara
, -pobres -Se supuso.que los pobres podrían terverlarniSrna;flexibilidad de. --übicíar el ingre=
'Con la PobláCiOn tbtal, se-efectúart .des:Ctibrimientos im, POrtanteS; por ejernplo, el só córno.eliestO de la población-, pero, obilairtente';,:Sti-- rnargen de sele41-6it Podiía
porcentáje de 'farniliás clásifiCadaS cOrrió'PrObres -qúenditerien hltós éra mas'alto que ser menbr: LaTcantidad nbicadá Para cornIda-del Pnl'prnédiagastado ff.ie,re'Cdrt,-;da al
el • de la-'151-Obla¿fánlotal; y - para haCeilo-Poco realista, el porcentaje de :farnilias mínirno que ell:512partamento de agriCulturadijópcIdila seMfa las fatnibas estadou-
pobres eOn:cuatrOhijos pequenos o tnasfer :a menor que la representaciómcle tales ' nidenses para satisfacer una dieta adecuada. Sé-ajalj-c4e1 plaribajo de costos para
farrailiaS;:endipOiilkeión. Co,inOresto'iti>era c-tirt é. cto, se trzttó de váriar bá„línea de- caracterizar a los cercanos a e_Star pobres, y pa - -réalínefite7Pubres uno aún.na4s
-": pobrez-a nece,sano- de, 1-re-rcur:-.'COrtel'farriaño y la eórnposición de la bajo: el plan económico de alirrieritación.2,
familia. La razón dé que estb pp.ló hict tos.dato-
. o,estaban•••
: disponibles para ellos en e_sétiem t : ,M. Orsba.nskyl.zr,Irsiwetves
Floruhly Ldber Ecuiew, núrn. 92, iebrero de 1969, págs. 37-41. Relinpres-o c¿n autoriz.adón.
. ,
- Cómo esta b
- lecer la inarC'- -

Un Coricepdó que puede influir en el pensarnicnto público debe ser social y pOlí-
ticarnente, - crediticio. Se néces-itan rn'aréas Pará diStinguir i grupo de la población Límites de las poblaciones objeto
diii upar. Flsa rriarc,a no debeseleccionar a ungrirPo-tanpégüeño:-ires-
pet,O,de tbda.1á peblaciOnIeqUe parezcz difícil que sin'a para un programa 9,renera/, Una adecuada especificación de las poblaciones objeto establece límites, o
nl tári-gr-a-nde: oíre la SoluciOMa Sus prOblemas Pareca . irnposible-, pOr ejeinpló, eh lá
, dec",:- adadélos treinta el préSid -énte ROOSevelt'dijo `32éo délante de mí a un terelo de sea, reglas de inclusión y exclusión. Un riesgo al especificar a la población objeto
la riación, Sincasasin ropa y sin comida Esta ,fraCCión es ahora parte de la hiltp r ia es hacer la definición muy amplia o que incluya demasiado. Considerar a un cri-
estadeUItiideriSel",WIMPOritalíttl nún-i-eros sé tefiganahora; si Más dé un teráll.de la minal como cualquier persona que ha violado una ley o regulación administrati-
pOblaciárl Se Ilarna pobi-éj--Terclerá yalor como Puntó ,de referencia Pública, va, puede ser de poca utilidad, pues sólo los individuos más honestos no han (de
.En.,--la,/drninistraciórúdei„SegUro . SociaLse-,decidió-,,que se podrían idéat-dos un modo u otro, en algún momento u otro) violado marcadamente o de otra for-
ri-Kidida_S!de 1¿-1 nece ,--(clád y declarar con bals;e enla Mar, -tra de ingresos.de ma una ley o regulación. Los individuos comisionados para evaluar la pobreza
-aciOn-Actual d -P¿'1:1-Jetói;-,'éuantos_O quét¿itétds (le :tánultIs cirin delineados pueden describir a sus poblaciones objeto como personas o familias cuyos ingre-
sos no permiten tener un estándar de vida razonable. Evidentemente, tal defini-
78 CAP. 3. PROCEDIMIENTOS DE DIAGNÓSTICO ESTIMACIÓN DE LAS INTERVENCIONES 79

ción no puede ser el punto de partida para valorar la necesidad útil o para diseñar vivienda cuya proporción era inferior a 10. La perspectiva de los propietarios e
un programa, pues no proporciona un criterio lo bastante específico para deter- inquilinos era muy diferente, ya que estimaban que tales hogares eran suficiente-
minar al grupo objeto adecuado. Por tanto, una definición que incluya demasia- mente adecuados.
do puede resultar en una sobreestimación de la necesidad y causar una inversión Las discrepancias también pueden existir entre los puntos de vista de los
nada económica, en una intervención cuya población objeto se beneficiará poco políticos y los de los otros grupos. El congreso puede tener planeado aliviar la
de ella, o en una malversación del programa con el fin de servir a un grupo objeto carga del gobierno federal al reducir la ayuda especial a las víctimas de los desas-
excesivamente grande. tres naturales. Un medio para lograr esto es estimular a los gobiernos estatales
La definición también puede resultar muy restrictiva o incluir poco hasta el y locales para que inviertan en diversas medidas preventivas, tales como la ad-
punto de que casi nadie forme parte de la población objeto; por ejemplo, en un ministración y el uso de las riveras de los ríos y los códigos de construcción para
programa diseñado para la rehabilitación de presos liberados en la ciudad de disminuir los riesgos de daños y perjuicios. Los gobiernos estatales, y en especial •
Nueva York, se decidió excluir a aquellas personas con algún historial de drogas o los locales, pueden objetar fuertemente al plan con el fundamento de que como
de abuso en el consumo de alcohol. El predominio de abuso de las sustancias fue las crecidas de los ríos ocurren en su propio terreno, tales medidas pueden perju-
tan grande entre los prisioneros liberados que sólo uno de cada 10 era elegible dicarlos. Ciertamente, se ha confirmado que sólo ocurren 100 crecidas por ario,
para ser incluido en la población objeto. en cualquier lugar, una vez cada 100 años (en promedio); sin embargo, desde la
perspectiva federal, las 100 crecidas de ríos pueden ocurrir tan a menudo como
una vez cada pocos días, pues, en Estados Unidos, el gobierno federal tiene que
Factibilidad responsabilizarse de todas las crecidas (Wright et al., 1979).
Obviamente, mientras que la investigación no puede establecer el problema
En resumen, las definiciones útiles son aquellas que pueden tener aplicación. acerca de qué perspectiva es la "correcta", puede eliminar conflictos que podrían
Una especificación en la que se basan algunas características de personas difíciles originarse en los grupos que discuten entre sí. Planificar la investigación puede
de observar, por ejemplo, una actitud favorable hacia la investigación evaluativa, implicar obtener la valoración de la necesidad desde varias perspectivas. En el
es virtualmente imposible de poner en práctica. Las definiciones complejas que anexo 3.2 se describe un método diseñado con el fin de valorar la necesidad de
requieren mucha información detallada son muy difíciles de aplicar en la selec- salud mental para la comunidad, al interrogar a cinco grupos de evaluados, cada
ción, por lo cual se deben evitar: los datos requirieron buscar poblaciones obje- uno de los cuales contribuye con su punto de vista particular. En el anexo 3.3 se
to definidas, tales como granjeros que hubiesen plantado cebada por lo menos muestra un ejemplo de servicios juveniles e indica que se puede requerir una
dos temporadas, y que tuviesen dos hijos adolescentes que fueran miembros de. variedad de fuentes para expresar los puntos de vista de la agencia, de la juventud
una cooperativa de productores, lo cual podría ser difícil, aunque no imposible,
de conseguir. y de los padres.
En general, cuanto más criterios tiene una definición, más pequeño es el
número de unidades que pueden calificar para incluirlas" en la población objeto Anexo 3.2: Valoración de las necesidades
(los granjeros que satisfacen el criterio anterior podrían ser sólo unos cuantos). de salud mental voluntaria
Por tanto, las especificaciones complejas pueden ser parecidas a las estrechas, y
conllevan los mismos riesgos. El modelo cle.consumo pre.senta del yirograma tín máodo paral :. •
,valorar las necesidade. 1 ..de.sáltid incntal comunitaria, para ló cual se ernpleá al con;',..tt
surnidorcomo . mayor , uen e e ingreso. El consumiddi_;_Se -define como cuaiquier
Variación de las perspectivas en la miernbrorletlacornuniciad que en un á rea geografic:a detertninada. El módelo-:;.
especificación de las pobláciones objeto aporta infobnaci6n cle las priorici.de rS'en las flecO dudes de serviciOs
ptor pi oblerna t5Idjetivo,:grupo det_dadesu area geográfica. Dentro del rnoclelo,
co grupos de consurnidores fuerori - investtgados: •
Otro problema aldefinir los problemas y las poblaciones objeto se origina en -
las diferentes perspectivas de los futuros profesionales, así como de los políticos 1 Agencius de Se/illd MEntal: at_tencias o inclividnos que tratan gente directa
o de los beneficiarios de los servicios. Lo que parece un problema humano o IndircctarneMb7?. con prottlermas de
social para un grupo puede no ser percibido así por otro. Así, los diseñadores de =2...ttfigencias,,securtdarius relocionacias: agencias que hacen referencla a.los±;:
un programa orientado al mejoramiento de la calidad de la habitación disponible ertiiCioS -.de-szlud mental. -
para personas pobres, pueden tener conocimientos profesionales acerca de la 3. Ir' i dit;idtios c¿n riesgo§ altos indiciduos que, débklo ' a su „ td
cornPortamien0Y
calidad de las viviendas que difieran del criterio de aquella gente que viva en ellas. pdsado o presente, usan o hatí US,71do serviciol-'dé , sakid ;
Por ejemplo, en el Experimental Housing Allowance Project — Proyecto de asig- 4 Grripos círticos ricbrnurtitariost grupo.. en la comunidad que
nación de vivienda ex -perimental— (Abt Asociados, 1977), se consideraba una edos dIre(_leclor de una meta común o de un propOsito específico.'
norma en la construcción de los edificios lo referente a la proporción del área del -5 1_,(9 rnayoríd u,munitaria.u ira selecctunadá:;.dejesident de. un
piso y del área de las* ventanas en las recámaras; se consideraba inadecuada la ,rt. ue Pueden est,tr asociadós o no cot i cualqureradelcloiroscu%tro -grxr,Pos.,
80 81

A•fin cfe deterrninar la factibiliclad clel moclelo y stritso,se invéstlgárórafflaríosf- Anexo 3,13. VálOraCión de . tas-
g rupoS.pertenécientes-al area s'ubregional'cle. la Me-saKearny'del Conda. do de ' Sa. n áeeesidadés dela jiis-Jentúd
' Diego:bé-laS42 -arM I:suhregionalcs en el coildado, se eSco q i151 a- '-flesa Kearny ' pnr-
. que Se aproxima._estrechamente alas caracten2stic.as'sociodernograficas cle la pobla-
El mas reciente y completo intento por clesarrollar una , metodOlogía y unosloInss ra
; ción total
'truirientós para valorar' las necesidades en los jó\; ; eneS lo Béhav• 1
Research and Evaluation Corporátion (Corporación p-ara la Eváliiáél&tie
CueStionatió1V-0-10-euistas crón Conductual -BREC-).11:álatirneraestrategla recornendada,era'uh ahállsis der-
fáreal,i, ociul;; e1.-cpaipropgrcióna
• • ; . • . ,. Mformacián acerca de,las.,caiá¿terisficas
Agencias de sá ud mental.-Se . - -
n úna-escuelá, 111--pettut , dernégráfWas'yeconó miCas r de.la comuniciad, con énf¿Isis eSpecial:tantO en la
nalniente, un centro,de erists familiar y de personas que e_seapaban, un hospital ps1- ' tud, córno en la estoktura y organización de la bornuniclad ,. 'Aquí se recolectaron
qutátrieo
- privado, un centro de servicios familiares, VarioS ceñtros , de entrenarnientó da Lr ás-áis-pOnibles déteenso_de los iegistroS de la Oorte.Vla policia, los datos
para retardados, clínicas de consulta - externa y'facilidades ,de tratarniento.resiclenT res, los d.é la seguriCtá&lOCiál, los del clesenipleo, etc., y se analIzardrapara
cia!Para ruños. DelaS-13 agenclas qUe reeible,ron el euestiOnárlo, tddaS lo llenaron prender la naturaleza d la comunidad y la extensIón en qtte e_staban preSentes
y regresaron. categorías de próbléffias,-
Agencias, seeundarias ielacionadas. Se incluían varias escuelas el - departa- - La "valoradó:n de las necesidades de la fuVentu d" que BRÉdtta
rnento de vigllancla; el meclico forense, la sala jüvenil, un hos¡attal-generaLuna'casa intento por resufnír iras.„peciclacles de toda la .ju y entud enla poláláél6n,
de cómj alecencia, un centró cle'serviciósjlegaleS, uba clíni dd ció yaúdición - en forma oputa OPTil los jók;ens que 'reciben ' servIcios, La rnetodolog'ía
una oficiña- de desínpleoi De las 33-1-Jgenclas'que-recibleron el cueStiOnario, 22 implicaba tin tnuestreo ai azar éii Iás Ocuelás g un muestreo agrupádOen lás esctielasi.
(66•6%)'»lo lleriaronsY regfes_aron. '
_ o casas..Se cliseñaron cliátro,t1p -c cle;ártícJüléj s del resurrien:
El cuestionario
, _ pedía
. a ambos grupos que graduaran.los-problemas objetivo des y.neeesidades, especificéndo lafrecuencia de su presencla- y Seriedad; 2. sentis •",
que regiterían la primera, segUnda. Jytercera rpás:OrnédiatáValebtlopés en tres _. rnientosi--achtucie:s;wcpmportannentos, en que se consideraban cuatro factores: "c1)1,
pos de edad: jóven es Vn e n n r es'ejllayibS);'aclújtOS(delaiSIM'eriatras (de 60•' oporttinidades percibidas para lograr as metas persbnales .y los paPeles soclales
o inas) Además, se buscó infortnaéjárrco tíaSe en la - cantidac(si,-eljtipo:de progra deseados, b) marcado negátiYól3éI.ibiclo por padres, rnaestroS y arnijOsí_ic)
mas j existerites en el^afea de la Mesa,KeártlY. ,;,le,-plúntearonOteriritas acerca del :nile.ntes de, soledad y recha-z¿a:Y -c4,Mjvolucración autorreportada en conditCtas
Máinértó de persórias . serviclas, tratad¿Sjaltsta de esperay. la ti y as-‘7; 3 percepctón y és;álúrzlcióii -del jOVCilieSpeeto de los servicios disponibles y de
edad; lá rai,ét.,•y el - area, gc gr ifica Se rs ida' - " las age,néias, y 4, Antecedeptes'PersonaleS y,datos socloeebn6rnItial,cle)6140,
Grup(aS,cfrticós y cornunItarióS. Seineluían las mujeres auxibiárdélas aoen- 1 d' t . una i›Cládéklio —1 'd.-1 s , m
cias Públicas, un club'sbcial de darnas, una asóciación de paclre_s y rriaestre, datos base para valoraciones de la.repercusión subsecuentesy
. zaciones de serYicios para bombres. una YivICA (Asociación de:jóveneS'eriStiafiOs")• Lás percepciones del equipo cle la agencia en que se consideran las neceslda7-
y un clülápára niños. pe los 10 grupos a quines se enviótin cueStlbriaraó' ;.cinecares---: des de los jóvenes se pneden medir con el másrno instrumento ernpleado - por los
. • - jóvenes, donde las agencias personales sbn Mterrogadas para astiMar.:el:p.orcenta
requería del respondietiteIltve-,Vei'tfieWtalcil;etkltósYlié'd de jO y enes con problerna.,y,yalori.,,,ar,ta:SértédIr'.de-e..StOsitíltiM'Istr"•--
' rian eStar disyaonibles para un mayor número de gente en el área de la Mesá-l<enny
para lós tres grupos,de edacles. A fin deasegurár,un muestreo representatIVO'POr Fuente::11,urne,-;', con íle ry- ricititrokfórCorybnprotpfip
mediO de los grupos étnicos -ysoeioeconántICOS:'se'P'reg, untd a cada arid Fecubock InstrumenLs, vot 1, ,a1 ke,c31-<_h In-titufz, EGfilder, C.C4drac.1, 6¡1 '
• la
- edad;-'iel niVel dé ingresos y e/ geográfico'délos' miernbros.
ynnyoría cornundada. :,Seenvia.ron cuestionanos a muestras de residentes .
s'eteeelónaclbs al azar del Direéto1r1O,Cle:: Localización Flaines, el cual contenía
r ta .pOr;:ealles y.rastros deF.cerisc1, :-Sel.sétecciónáron doS,d1recciones al azande cada La información colectada de los diversos puntos de vista acerca de la necesi-
al factor c. 6St6;•'S¿leá9.41fati-iilia- S .`,(e1,--16`X)délas farnilias de, la Nlesa dad puede permitir considerar de nuevo el problema, la prospectiva de la inter-
t Kearney) 'ffieron (O-Sea<t,a18.9%) ¿:›gresaron-el vención o la posibilidad de abandonar el programa (sobre todo si cada punto de
cuestionarió. I as 53 famillas inbl6nan 176-thdlVfdttps ;(0, seal,; : 3 3 por familia)... vista pierde validez por manipularse excesivamente y ser altamente contradicto-
El cuestionario peclia que se venficaran los servims.que débeiíen estar dispo- rio). La consecuencia de proceder con la idea de que existe un consenso cuando
; mbles a unnaayor numeró de gente en el área de la Mcsa hearney. También pedíaal lo que hay es un conflicto considerable, se puede ver en el destino del programa
eonstírrildbf:qtie incliéar'a la edad, la raza, los ingresosja Manera de y icia y el tspó de de renovación urbana (Wilson, 1966). Este programa se estableció después de
residencla'de los mlernbros delafarnilia. eincluy6 urilre.sPuesta ablerta qüe
al eortSümicior citie l3tara a la Pers' ona' 'd'persOna.-1a laS'"C `uales'acudiríaen buSca de celebrar un convenio en el que se consideraba el importante criterio de la dilapi-
l aux1110 si tuviera Un-prOblerna.personal. dación y obsolescencia de la vivienda por los diseñadores, los residentes y las ins-
tituciones. El criterio seguido por los diseñadores a menudo no corresponde con
- ,1
Fuenfe:Tfirni¿lo chli n .-T e tonsumer 1.1,1 el de los residentes. En consecuencia, los proyectos de renovación urbana en
El`d osis 5, t,_.1 -2. 1975 u e 71 Rei 'mprécr' .c ó' ri p€rne, . cada ciudad crean conflictos con rencores, tantos que en muchos casos los pro-
gramas se abandonaron gradualmente.
85
84 CAP. 3. PROCEDIMIENTOS DE DIAGNOSTICO

Otra vez, mientras que todos los adultos analfabetas están en el grupo de los que Rango
requieren un programa educativo vespertino, sólo aquellos que tienen disposición Además de estimar el tamaño de un problema grupal, es importante conocer
o que pueden ser persuadidos de participar se consideran la población objeto (esto el rango de un problema específico. Muchas veces es difícil expresar la incidencia
es, aquella con demandas). Evidentemente, las distinciones entre población en o el predominio como un rango: el número de casos nuevos de desempleo o por
riesgo, con necesidades y con demandas son importantes para estimar el alcance debajo del desempleo en un área en la que se experimente una recesión se
de un problema, anticipar el tamaño de la población objeto y diseñar subsecuente- podrían describir con la base por 100 o por 1 000 de una población (por ejemplo,
mente, así como evaluar y poner en marcha el programa.
133 de cada 1 000).
Los rangos o porcentajes son especialmente críticos para identificar las
Incidencia y predominio características de una población objeto; por ejemplo, para describir el tamaño y
las características de las víctimas de delitos, es importante tener estimaciones por
grupos de edad y sexo. Aunque casi todos los grupos de edad están sujetos a ser
Otra distinción útil es la diferencia entre incidencia y predominio. La inciden- víctimas de algún tipo de incidente delictivo, la gente joven es mucho más sus-
cia se refiere al número de nuevos casos de un problema particular identificado u
originado en un área geográfica durante un periodo específico. El predominio se ceptible de ser víctima de robo y asalto, mientras que las personas de edad madu-
ra o avanzada quizá hayan experimentado más asaltos y hurtos en su hogar; el
refiere al número de casos existentes en un área geográfica particular en un tiem- hombre parece ser menos víctima del abuso sexual que la mujer, etc. Poder esti-
po específico.
mar a las poblaciones objeto por medio de varias características permite planear
Aquí, de nuevo se han derivado los conceptos de los esfuerzos en el área de y desarrollar el programa de tal manera que maximicen las oportunidades para
la salud, donde las distinciones entre los términos son agudas; por ejemplo, la incluir a los particípantes más apropiados y vincular al programa con las caracte-
incidencia de la gripe durante un mes determinado podría referirse al número de rísticas particulares de los grupos medibles.
casos nuevos detectados durante el mes. El predominio de la gripe podría ser el Las estimaciones de las poblaciones objeto y de sus características se pueden
número de gente afligida en cualquier momento en un mes específico. Al planifi- hacer en varios niveles de fragmentación; por ejemplo, los rangos de analfabetis-
car proyectos en el sector salud, generalmente existe interés en la incidencia mo, calculados al dividir el rango de iletrados funcionales en varios grupos de
cuando se relaciona con alteraciones de corta duración, como las ínfecciones edad entre el número total de personas en tales grupos de edad, permíten estimar
del aparato respiratorio superior y los accidentes menores. El predominio es un la población objeto que se puede obtener si se relaciona un proyecto con series
concepto importante para aquellos problemas que no se pueden erradicar rápi- específicas de periodos de edad. Las técnicas estadísticas más eficaces se pueden
damente, sino que requieren administración a largo plazo y un tratamiento emplear para tener en cuenta simultáneamente las variables sociodemográficas
exhaustivo. Esto incluye diversas enfermedades crónicas, como el cáncer, y las
enfermedades de larga observación clínica (por ejemplo, la disentería y la des- adicionales.
nutrición severa). En muchos casos no sólo es tradicional sino también útil especificar los ran-
gos por edad y sexo. En las comunidades donde existen marcadas diferencias cul-
Los conceptos de incidencia y predominio se han adaptado al área de los turales, así como variaciones en el pasado racial, étnico y religioso, también son
problemas sociales. Algunas veces su uso obvio; por ejemplo, al estudiar la tras- importantes estos denominadores para dividir las características. Otras variables
cendencia de los delitos en las víctimas, el problema crítico es la incidencia de útiles para identificar las características de la población objeto pueden ser el nivel
casos nuevos que ocurren por intervalo de tiempo en un área dada. Proporcionar socioeconómico, la localización geográfica y la movilidad residencial (para un
servicios para prevenir el abuso por mes hacia los niños en una ciudad sería una ejemplo de los rangos de víctimas por delito divididos por edad, sexo y raza, véa-
medida acertada de la necesidad de intervenir para resolver ese problema.
Para otros problemas sociales, a menudo no es claro si se debería definir o no se el anexo 3.5).
Un conjunto final de rangos se puede referir a los problemas relacionados
a la población objeto en términos de incidencia o predominio. Al relacionar el con la habilidad para participar en el programa y con las medidas relativas a la
problema del desempleó, es importante conocer el número o las proporciones de ejecución del programa. Así, en varios programas de entrenamiento técnico pue-
la población total desempleada en un momento dado. Sin embargo, cuando lo
de ser ventajoso estimar los rangos por grupos que requieren 15 minutos, media
concerniente se basa más en la provisión de apoyo financiero para los desem-
pleados, no está claro si la definición se debe referir a las personas desempleadas hora o más de una hora para llegar a los centros de entrenamiento.
en un tiempo particular o a aquellas que se convierten en desempleadas en un
periodo dado. El principio implica centrarse en el problema de si uno está intere- SELECCIÓN DE LOS OBJETIVOS DEL PROGRAMA
sado en detectar y tratar los casos conforme aparecen, o en detectar los casos
existentes en una población, cualquiera que sea su tiempo de origen. Los programas son más eficaces y efectivos cuando los objetivos alcanza-
dos se limitan a las unidades que necesitan la intervención; es decir, en los tér-
minos señalados en la sección acerca de los límites de las poblaciones objeto, no
hay inclusión excesiva ni inclusión deficiente.
Anexo 3.5. Rangos de victimizacion 87
criminal
Inclusión excesiva
Delitos peisonales: rangos d e_yictimización Especialmente en el caso de proyectos en los cuales los recursos son insufi-
atíos O más, por raza, sexo y edá'd de lás por edad de las personas cle 12
cientes para abarcar a todas las poblaciones objeto potenciales, se considera a
por 1 000 residentes de la población envíctimas, y tipo de delitos (proporción
cada grupo) la selección como más eficaz si el tratamiento se da principalmente a poblacio-
nes objeto con las más altas probabilidades de resultados exitosos. Tal enf oque
Raza, sexo y eclacl Ilomicidlos con uiolencia
hace máxima la probabilidad de contar con rangos favorables de costos por
Homicidio pcir robo beneficio, y la probabilidad de que la trascendencia positiva se pueda demos-
Blancos trar; por ejemplo, un programa diseñado con el fin de reforzar el contenido
Masculino nutritivo de las dietas para niños, a quienes se dieran almuerzos escolares a un
12-•5-(14100) 129 precio bajo, podría ser ineficaz si alcanzase a una gran proporción de nirios que
16-11 05,700) 69
157 133 ya tienen dietas adecuadas. Éste podría ser el caso si todos los niños con defi-
20-24 (28.100)
25-34 (29 100)
139 164 ciencias nutricionales también fuesen beneficiados por el programa. Así, si en el
112 150 programa se incluye a todos los niños con deficiencias nutricionales, pero el 90%
35-49 (26.700)' 51
50..-64 (27.-700) 93 de beneficiados no sufren esa condición, una gran proporción de los recursos que
54 69
.65 .b . rnás (19.900) 38
llegan al programa se podrían "desperdiciar". Tal inclusión excesiva a menudo
66 resulta en intervenciones poco económicas.
Fernenino Sin embargo, cuanto más exacta y precisa sea la selección de las poblaciones
12-15 (13.100) 64 objeto más costosa será la selección de los procedimientos implicados. Un proce-
.1619 (19.200) 56
65 187 dimiento de selección en un proyecto para combatir el analfabetismo funcional
2024
,1 (133.400) 73 de poblaciones objeto específicas por medio del sometimiento de múltiples per-
25-34 (31.400) 229
62 190 sonas a pruebas elaboradas, sería muy costoso por cada caso de analfabetismo
35-49 (29.7.00) 34 no incluido, agotando de este modo los recursos que se podrían usar para pro-
50764 (36.500) 131
31 81 porcionar los servicios.
65 o más (34.400) 14 59
Negros
Masculino Inclusión exceSiva y evaluación
42-15„(4.200) de la utilidad de un programa
71 148
(3.6b0) 113 Las implicaciones de tal deficiencia suelen ser serias para el esfuerzo total del
(4á00) 97
173 160 programa; por ejemplo, en términos de costos, es cuestionable exponer a comu-
25-34 (5900) 59
35 19--(5.8b0) 131 nidades enteras a programas educativos, culturales, de vivienda y médicos, cuan-
65 100
50-64.(3700) 56
do sólo un pequeño porcentaje de esa población está "en riesgo". Es más, desde
- 650 más (1.800) 15-4 el punto de vista de estimar la repercusión del programa, fallar en definir efecti-
191 vamente a la población en riesgo disminuye las posibilidades de detectar efectos
Femenino positivos. Éste es el problema de tener demasiados "positivos falsos" en el grupo
1245 15.0P0) 47 objeto en una evaluación de la repercusión (véase el capítulo 9). Considérese un
16.19:(4.500) 56
102 94 programa diseñado para incapaces de aprender, en el cual se incluía a todos los
'20-24•(7.000) 67 escolares de una comunidad en la que sólo el 5% de los niños presentaba esta
2534 (10...100) 82
64 114 anomalía. Si el programa es eficaz sólo con el 5%, las diferencias en el aprendiza-
35 ,19. (8.200) 46
50 64 (5.100) 114 je de las prepruebas y de las pospruebas probablemente no son reveladoras (a
30 123 menos que la población de escolares sea grande), pues la mayoría de los niños
65.o rnás:(.,?,po)„..,... O '66 a quienes se dio tratamiento no lo necesitaban y, por tanto, podría no esperar-
tefletéla:/a . población en eT grupo, se beneficio alguno.
, . e,staciísticarnente poco
significatisiá,q
. . . .
Inclusión deficiente
Ncitioritit:Olíne. Sun., ' Reltrirf
Ii;i A
La inclusión deficiente no sólo niega oportunidades al programa y a la parti-
D" 1977, ros 26
- - • cipación de poblaciones objeto con necesidades altamente en riesgo, sino que
88 CAP. 3. PROCEDIMIENTOS DE DIAGNÓSTICO PROCEDIMIENTOS PARA ESTIMAR LOS OBJETIVOS 89

también existe una negociación entre los costos de selección y los recursos dispo- características de la población que lo requiere; además, tiene la ventaja adicional
nibles para la entrega del tratamiento. En un programa'preventivo diseñado para de que desarrolla el apoyo de las influencias de la comunidad, las cuales pueden ser
cuidar la salud será posible identificar, mediante pruebas de laboratorio, a aque- necesarias para diseñar el proyecto y continuarlo.
llas personas en la comunidad que no hayan desarrollado una inmunidad a la po- La mayor limitación de este tipo de procedimiento es que tiene una desvia-
lio, y dar la vacunación sólo a este grupo. Sin embargo, tal procedimiento podría ción interna de los individuos y de las organizaciones investigadas; descuida la
ser ineficaz, pues los recursos necesarios para realizar este fin son mayores que el posibilidad de que las características, el predominio y la incidencia de los proble-
costo de proporcionar vacunas contra la polio a todos los miembros de la comuni- mas de las poblaciones objeto puedan ser percibidos incorrectamente por los
dad. Asimismo, un proyecto en el cual se abastezca de agua desde la central por líderes y los expertos. Es más, las perspectivas de los líderes y los expertos se pue-
medio de tubos para todos los hogares de la comunidad, incluidos aquellos que ya den caracterizar tanto por su carencia de conocimiento profundo de los segmen-
disfrutan el líquido potable, puede parecer muy complic,ado; no obstante, los cos- tos que constituyen una compleja y ampliamente distribuida sociedad, como por
tos de enlazar el proyecto para eludir las viviendas, la ulterior contaminación que sus "intereses"; por ejemplo, el punto de vista de un terrateniente con respecto al
sufre el agua potable y la dificultad para que el público acepte un proyecto selecti- problema de la habitación puede ser diferente del de los inquilinos.
vo son argumentos válidos para restringir a las familias objeto a sólo aquellas que El acceso al informante clave funciona mejor cuando los líderes y los exper-
tienen pozos contaminados. tos son cuestionados acerca de la información concreta y específica. Así, se
Algunas razones psicológicas y políticas permiten definir aisladamente a la arriesga la perspectiva de desviación al preguntar a los líderes acerca de cuáles
población objeto, en vez de la exclusiva de población con necesidades o en ries- son los problemas principales de su comunidad. En contraste, si se identifica
go. Primero, la identificación eficaz de la población objeto con una condición que cuántas familias se localizan en el bloque de transportación de líneas públicas, lo
pueda estigmatizarlos aumenta - seriamente las condiciones éticas: un estudio hace menos propenso de desviación, ya sea hacia arriba o hacia abajo, especial-
efectivo para localizar a niños medianamente retardados para un proyecto espe- mente si se consulta a quienes están familiarizados con los servicios locales de
cial, puede resultar en un señalamiento hecho por compañeros y maestros, con transporte público.
la consecuencia de que cualquier beneficio del programa selectivo es opacado Cuando se usa este procedimiento, es buena estrategia diseñar una lista de
por los efectos negativos del proceso de señalización. Así, podría ser mejor abrir entrevistas potenciales antes de iniciar la investigación. Si el evaluador conoce
el proyecto a todos los niños (o por lo menos a aquellos que parezcan experimen- muy bien a los líderes y a los expertos de la pequeña comunidad, podrá elaborar
tar menores efectos por el hecho de ser señalados). una lista de hasta 25 líderes clave. En caso contrario, un enfoque alterno será
Segundo, cuando en los programas se incluyen oportunidades, bienes y comenzar con un pequerio número de informantes (por ejemplo, de cinco a 10) y
servicios valiosos para todos los miembros de la comunidad, y sólo aquellos luego usar una técnica conocida como bola de nieve, la cual consiste en solicitar
con características particulares o que vivan en determinadas circunstancias al informante que mencione dos o tres nombres al final de su entrevista, que sepa
son admitidos, tanto el personal como los políticos del programa pueden que conocen el sector de este problema particular. Esta técnica no se debe
tener que afrontar antagonismos considerables y pérdida del apoyo comunita- emplear en más de 50 entrevistas.
rio. Esto se puede explicar porque los proyectos son poco cuidadosos para Los dos principales criterios para seleccionar a un informante clave deben
identificar a las poblaciones objeto y para seleccionar a aquellas que tengan ser: a) el conocimiento de la comunidad, su gente, sus necesidades y los patro-
una alta y definida probabilidad de tener necesidades o estar en riesgo. nes del servicio recibido, y b) su liderazgo potencial. El primer criterio permite
exarninar la entrevista con profesionales locales y expertos (maestros, docto-
res, enfermeras, expertos locales técnicos, empleados civiles y similares) quie-
PROCEDIMIENTOS PARA ESTIMAR LOS OBJETIVOS nes, por virtud de sus ocupaciones, se relacionan con un rango de personas,
propietarios y condiciones en el área. El segundo criterio está comprometido
Para estimar el alcance de los problemas que requieren nuevos esfuerzos de con el punto de vista de los posibles beneficios políticos para el proyecto. El uso
intervención y la población objeto de manera que permita el empleo más efectivo de líderes puede permitir a los administradores del proyecto obtener su apoyo,
de los recursos y el personal disponible, se pueden utilizar una gran variedad de en el mejor de los casos, o por lo menos la neutralidad. Esto facilitará la etapa
técnicas, las cuales varían en su complejidad y costo. Las listadas a continuación de ejecución del programa, si el proyecto reúne cierta oposición potencial entre
se describen en orden ascendente de complejidad y costo. las poblaciones objeto. Otro criterio puede incluir accesibilidad con los adminis-
tradores del proyecto, si un informante potencial representa a un subgrupo o
Acceso al informante clave población particular, y si la persona es un consumidor o un consumidor poten-
El acceso al informante clave es un término que denota una técnica de investi- cial del programa.
Con esta técnica es útil construir una guía de datos por adelantado; es
gación poco costosa e informal, la cual incluye a los líderes y expertos conocidos decir, una lista de reactivos que cada informante plantee para completarlos o
que pueden identificar, seleccionar y cuestionar de tal manera que se construyan que se conteste ulteriormente en una discusión informal con los informantes
estimaciones de los problemas y poblaciones objeto. Esta técnica facilita una ima- clave (para un ejemplo, véase el anexo 3.6) El uso de una guía de datos facilita
gen amplia de las necesidades y los servicios percibidos como importantes y las
90 CAP. 3. PR OCEDIMIENTOS DE DIAGNOSTICO
91

una rápida recolección de las respuestas de los informantes clave y ayuda a Acceso al foro comunitario
estandarizar la información de todos los informantes. Una vez que todos los
informantes han sido contactados y entrevistados, la información se debe Este tipo de enfoque asemeja una asarnblea abierta, esto es, una recolec-
resumir y, si es posible, poner en forma tabular. Muchas veces, después de ción de miembros de una organización comunitaria designada o aun de gru-
tabular los datos es valioso proporcionar una ret roalimentación a los infor-
pos informales. En esta técnica se obtiene la participación del ciudadano, aun-
mantes clave, un paso que permite verificar la información y los resultados que también es una manera de obtener estimaciones de una variedad de
recolectados. También es un medio para que los informantes clave sigan parti- individuos acerca de la incidencia y el predominio de los problemas particula-
cipando en la planificación y el desarrollo del programa.
res y respecto de las características identificables de las poblaciones objeto. El
enfoque también se puede usar para recolectar datos acerca de qué tan bien se
percibe el trabajo de un sistema.
nexo 3.6. Guía de entrevistas sugeridas para La utilidad del acceso al foro comunitario depende principalmente de si la
et'enfoque del inforrnante clave, a fin de valorar atención a tales reuniones abiertas constituye una representación equilibrada de
las necesidades en salud mental comunitaria los miembros y las poblaciones objeto de la comunidad considerada, y de si los
participantes se sienten libres para expresarse abiertamente. La técnica puede
Posibles temas por discutar con cada persona entrevistada: ser superior a la anterior —el acceso al informante clave — para obtener informa-
ción clave válida acerca de si el evaluador tiene éxito al efectuar una junta entre-
1. Problemas c-ornunitanos (general) cruzada de los evaluados. A menudo, esto se puede hacer cuando se tiene en la
junta un representante de las personas influyentes o un patrocinador de las orga-
En orden de prioridad de la importancra. nizaciones respetadas. Por tanto, esta técnica algunas veces se utiliza como de
Recursos extstentes ,.para ayudar a cada problerna, seguimiento para los accesos a los informantes clave.
Necesidades y p ró6lernas rio reunidos. por grupos. Este tipo de acceso es económico, pues permite aprender las percepciones y
- ¿Quién abandona mas consistentemente los sei vicios?
los diagnósticos de un gran grupo de personas a un costo relativamente bajo. Las
¿Qué problemas no son evidentes?
, limitaciones son bastante obvias. Un foro puede restringir los géneros de informa-
-
2. Problemas de salud mental ción que las personas deseen revelar. También puede esconder los puntos de vista
de aquellos quienes es más probable que participen, y probablemente se desvíen y
Una Ilsta prIontaria de serjeclad incluido ci predonanio). no obtengan información ni perspectivas de los individuos que se perciben a sí mis-
Fuentes easi,pentes de ayuda á cacla pioblerna. mos como menos influyentes en la comunidad. Un foro puede convertirse en el
Actitudleeamitarias hácia el usb de los servie.íos de s escenario en el que los resentimientos políticos locales se manifiesten, de modo
público-s. ilud mentai
que produzcan más rencor que datos.
Grupos que toman mús SCrViCi05 de salud mental, Esta técnica del foro es más efectiva cuando los objetivos del programa y las
Grupos que están más desfavoreCidos. operaciones del sistema de entrega se pueden establecer explícitamente en térmi-
nos de accesibilidad al grupo que integra el mismo. De otra manera, la informa-
3. Actitud bacía los centros de salud mental comunitaria. ción recibida puede ser valiosa en términos de necesidades de valoración general,
pero puede no estimar la extensión de un problema particular y las características
¿Quién solicita ayuda a • los centros?
, ,.Qué otros tipbs de recursos dé ilud de las poblaciones objeto.
mental usa la gente en la cornuni- Algunas veces, con el fin de obtener un entrecruzamiento más amplio que el
tlad?, ¿qUién los tra?
Qt0.(..,'n no uud. que se pueda esperar al tener un foro general, se hace un esfuerzo para realizar
adira a Ios centros y por varias juntas del mismo género, pero con poblaciones variadas, cuidadosamente
¿Q0é.gli:Ipds—oknetelidades de.servicios de'sálud mental son menos
?"-(1,-;17élt7-2 un mapCi cie la cornurudad). definidas y seleccionadas; por ejemplo, en las comunidades con varios grupos
religiosos se pueden manejar juntas separadas para cada iglesia, bajo el patroci-
Fúéát1::Adá át tó jjályiitiiiité c>f -
Worki7?q Manud of Slu g ; , le Pr,lururn
nio de los líderes religiosos locales.
/4'ilini101'.;1¿7(tri '/F-1,2,-,101Cen t ,.rs GJVC. Fs m Las restricciones en uso y aplicadas al acceso al informante clave también se
D. C . 1976, p.. 107. rut Print inq DffIce. 1ru un ton,
-
aplican a este tipo de acceso. El potencial de estructuración de la desviación para
las necesidades, el tamaño y la extensión de la población objeto es considerable.
Esta técnica se debe usar sólo como complemento de otros métodos, con el fin de
estructurar el consenso patrocinador de un programa, o en ausencia de bastantes
recursos para emplear alguno de los otros métodos mejores, los cuales se descri-
birán en las secciones siguientes.
92
PROCEDIMIENTOS PARA ESTIMAR LOS OBJETIVOS 93

Acceso a los porcentajes bajo tratamiento


tener registros es una actividad que tiene poca prioridad, sobre todo cuando se
exige la prestación de servicios. Asimismo, como el proyecto recibe apoyo eco-
Este acceso, tan comúnmente usado, estima a las poblaciones objeto me- nómico y político cuando demuestra que hay una población de clientes grande,
diante los servicios utilizados para el mismo problema objetivo en una comunidad
muchos se esforzarán en exagerar las necesidades de su servicio yfa extensión de
similar. La suposición que subraya este acceso es que las características de la los servicios ofrecidos. Algunas veces esto es a propósito y muchas otras esto
población objeto deseada y su tamaño están relacionadas estrechamente con los aparece más o menos inconscientemente, debido al entusiasmo de los proveedo-
atributos que presentan aquellos que ya han recibido tratamiento. Algunas veces,
sobre todo en las comunidades donde no se han efectuado intervenciones pre- res de servicios por su proyecto particular.
vias, las estimaciones se pueden derivar de una o más áreas geográficas que se
asemejen al sitio propuesto para el proyecto. Si se pueden encontrar áreas en las Acceso a los indicadores
que las propiedades sociales y culturales de los individuos se reflejen iguales a
aquellas en las áreas proyecto, se podrán derivar estimaciones de las poblaciones Muchas oficinas federales, estatales y comunitarias mantienen buenas estadís-
objeto en términos de tamaño y características. ticas que se pueden usar como base para estimar a las poblaciones objeto. Estas
Casi seguramente, las estimaciones derivadas de los porcentajes bajo trata- estadísticas incluyen datos tales como tendencia a la fertilidad, a la mortalidad y a
miento tendrán una desviación hacia abajo. Los proyectos rara vez abarcan total- la incidencia de ciertas enfermedades; los indicadores económicos tanto del des-
mente a una población objeto; por tanto, cualquier cliente dado al proyecto será empleo como de los ingresos personal y familiar, y la información acerca de deli-
un subconjunto seleccionado de la población objeto. La selección puede ser for- tos, pobreza y delincuencia juvenil. En Estados Unidos se encuentran disponibles
zada por la escasez de recursos o por fallas de la población objeto para usar los datos valiosos acerca de la población y la composición de las casas en las jurisdic-
servicios ofrecidos. Esto puede tener sentido en ciertas circunstancias para consi- ciones estatales, locales y políticas (ciudades, pueblos, condados), y las pistas de
derar tales estimaciones, como en los límites más bajos para estimar el tamaño de los censos en las áreas urbanizadas. Dichos datos se pueden obtener ya sea publica-
una población objeto y para ajustarlos de manera coordinada; por ejemplo, los dos como resúmenes o en cintas de computadora para uso público.
Reportes uniformes de criminalística, publicados por el Department of Justice Para los problemas sociales definidos en térrninos para los cuales los datos del
(Departamento de Justicia), se basan en los delitos informados por la policía. Las censo son apropiados, el censo decenal puede aportar excelente información de
gráficas y figuras se trasmiten luego al Federal Bureau of Investigation —Oficina las necesidades de la valoración y para ubicar las pollaciones objetivo; por ejem-
Federal de Investigación— (FBI). Los porcentajes de delitos impresos en esos plo, se puede usar el censo para ubicar a personas y familias de acuerdo con su
reportes son, en principio, índices de los "porcentajes bajo tratamiento" y expre- raza, edad, estatus socioeconómico y condiciones de vivienda. Para las áreas esta-
san los "casos" que han recibido algún tratamiento (o se,a investigación) por los dísticas estándares metropolitanas (AEEM, definidas como las ciudades y áreas
departamentos de la policía local. principales que tiene una población de 50 000 habitantes o más) están disponibles
Cuando estos delitos se comparan con los delitos informados en las investi- los datos por área de censo, o sea, superficies con promedio de 13 km 2 y que
gaciones (en las cuales las personas son interrogadas acerca de los delitos que contienen un promedio de 4 000 personas. En el anexo 3.7 se muestra el uso del
han sufrido), esto hace obvio que dicho reporte no estima significativamente censo de 1970 para producir estimaciones de la población objeto para los pro-
(pór un factor de cerca de cuatro) el número total de delitos en los cuales una víc- gramas denominados límite superior e ínvestigación del talento.
tima está involucrada. Esta baja estimación ocurre, en parte, debido a que algu-
nos delitos no son informados a la policía y, en parte, porque la policía no pasa
fielmente al FBI las gráficas correctas elaboradas por todos los delitos informa- Anexo 3.7. Estímación,de lawoblación
dos a ella. de los prOgranias en busca del talento educ.atilki
De muchas maneras, el uso ecle las estadísticas del servicio y de las oportunida- y brnite superior, con datos de14censt„
des para sustraer información de los registros de las poblaciones tratadas parece „
proporcionar un rnodo atractivo de estimar a la población objeto. Los porcentajes .• Los propd p sitos del estudio fueron esti mar el tarnaño
bajo tratamiento también se usan para estimar el rango que abarca cualquier pro- en laIBTE -educativo».de lá•pobl3ción=6bjetci:ydesd-ribirlsW:•:,
grama existente; por ejemplo, si la información acerca del desempleo proporciona composición 'dón, r espetiolde las caracteilstiéas persenalés y demográficas En , este
una estimación de 5 000 personas desempleadas entre los 18 y los 25 años en una estucho, lalpobla.cióiY:elbjétodefinió paráinclu,todas las,personas.de,14 a 24
comunidad particular, pero las estadísticas revelan sólo 250 personas de esa edad 1970, Oyo. lradOsnpertor cursado enla ec'uélá--ésttivieraeiitté-étS0xto,yel
de.cirricendC?)IradiSS:derlducacrón; y:cuYbs-ingre_scs,familiáres en.1969;:fáéran
que participan actualmente en los programas de entrenamiento para el trabajo de inferiCreárniel da pobreza Las personas incluicLAs,enjá ppbl'adón
la comunidad, esto hace evidente que el programa se debe modificar. Offtcof (Oficina de
Llicaion:dá$Ciá'¿le
No obstante, cabe señalar un buen número de precauciones importantes. En EduCaajend.é.:ES'tad. regi.ohir 'y-.Jsratai 'Según
muchas intervenciones los registros del servicio y las estadísticas derivadas de 9.2X0; . arif&.-edéntes:ctriori-Seia l es y estatus escolar,
ellos son poco confiables. Es evidente que muchas agencias consideran que man- - 1._(5.-:'daidsr,registraclos en el Cé.nsó CIC'pOblaCión cle 1970 revelaron queJas
94 95

-poblaciones objetoppra , L5 y BTE incluía. ná'3,8130:000 personas„ó„. Investigaciones y censos


páblacióri de Estack,s pnid-c.)s en 1970 La población objeto seael 2c1;de
' ábardába a 2.1
millones de rnujeres y 1 8 millémede,hornbrés;y:sírcolnposiciórán-Oii-acIO-nal El medio más directo y generalmente más seguro para tener datos exactos
incluvi5 1:1'1:,7_1c` blaneos36T,;_.de n Idt4-:1.:(5,111.:.d¿keS'ee-
ridléntes de...e'sbaotes acerca de los problemas objetivo y de las poblaciones objeto puede ser realizar
metiosf-cieLlyde personas con otros antecedentes etnorraciales:-EnU976;e-1 censos especiales o investigaciones de la muestra, en las que se empleen las mejo-
2. ilráélJ- POSIOcióii:6b5to estaba'inscrita e'tála
segundo grados. y
, , - escuela entre.elsexiOde
. „ ." eirno‘ res técnicas de medición y que las estimaciones se deriven en las condiciones más
no lo estaban. Ge o g ráíicarnente,..erniayor núme- •
ro de:persolias:n lá-, población . objeto esta,ba en la reglón IV de la USOE la cual rigurosas. Un censo se puede definir como una enumeración completa de las uni-
incluía a 1 0 .5 .1.S200. 1er sonas (o sea .el 27;(i,de la poblati6rilObTáitOtáWeguiela dades poblacionales (individuos, familia, firmas, etc.) respecto de las cuales se
.de
lá regióttYeon VI27
, 6 (o Sea, e11.6% de la po6lación objetO'idtal):
200 obtienen las características adecuadas de la unidad. En contraste, una inuestiga-
La polalacip'n"objeto se estirnó de'uno en 100 - ción de la muestra se puede definir como la medición ampliada a una muestra de
muestraS de IplregistróSibáslcos
del eenso -de l pb-bláCión de,1970, pero la estimación agredada
rmáneceálid en la unidad en Una población, y la muestra se sortea de tal manera que minimice la
térr ytinos de,-,..1objettyos desviación al seleccionar la unidad. Evidentemente, existe una relación estrecha
población óbjetiy naáónal d eelin 6 . -enÁláV:de'l70'a que el tamaito de.la
• entre los censos y las investigaciones de la muestra, pues unos y otras comparten
los problemas y se esfuerzan en dar estimaciones acerca de las poblaciones.
l'- Fttentel 'Art l.MA,-cen .pri-rn176';'& rr FI:-Stri71-riits
for Upward Bnund und Taent Search 1?ro9rams, Re_seai-c 1.-
CiiilzéS;t1rhateso thé.T Las investigaciones de la muestra son preferibles a los censos por dos razo-
~é)01011. atO.DiaianV ' nes: 'Primero, son considerablemente inenos costosas y segundo, cuando se reali-
zan apropiadamente proporcionan estimaciones de las características de la
población en cualquier grado de precisión deritro de los límites calculables de
error para la muestra. Además, las investigaciones de la muestra se pueden efec-
Si se pueden usar o no los datos del censo, ya , sea en su forma publicada o no tuar con mayor cuidado y minimizar los errores de medición. Cabe señalar que
publicada, dependerá de qué tan rápido éstos se vuelvan obsoletos conforme las investigaciones no se deben limitar al estudio de individuos. Las investigacio-
pasa el tiempo o de qué tan adecuada es la serie de ellos. En áreas que han experi- nes de la muestra se pueden realizar en familias, grandes grupos organizados
mentado considerable crecimiento y cambio en la estructura de las poblaciones (como en unidades) o entidades físicas (como en hogares, negocios, parcelas
por medio del aumento de la inmigración, los datos del censo pueden ser extem- agrícolas y caminos).
poráneos en pocos años y, por tanto, de poca utilidad para estimar a la población La ciencia y el arte de examinar la investigación de la muestra los explican
objeto. bien Rossi y sus colaboradores (1982) y Sudman (1976). Existen las metodolo-
Sin embargo; los indicadores tienen otro valor: como series de tiempo. Los gías para los muestreos cuidadosos y la entrevista apropiada de los instrumentos
datos de series de tiempo derivan de observaciones hechas a intervalos regula- para la construcción. En la investigación se usa la medición estándar para medir
res, de tal manera que la pista de la incidencia y del predominio de problemas el predominio y la incidencia de ciertos problemas. Por ejemplo, un esquema de
particulares se puede evaluar (Sistema Estadístico Federal, 1976). Los cambios la investigación podría incluir una lista de las habilidades funcionales medidas en
repentinos y agudos en esos indicadores generalmente señalan la emergencia los miembros de la familia, en tanto que los artículos y las pruebas para hacerlo
del fenómeno que requiere los programas de acción; por ejemplo, dado que incluirían una lista de las características de la vivienda, los niveles de incapacidad
hay una correlación coriocida entre el desempleo y el rango de suicidio, y los en la salud, etc. Estos géneros de medidas, junto con las características de dura-
datos de las series de tiempo del punto del desempleo hasta un aumento máxi- ción de la residencia y los ingresos familiares, permiten estimar a las poblaciones
mo en el número de trabajadores desempleados, también se puede anticipar objeto con gran exactitud. Los requisitos mínimos para realizar adecuadamente
que habrá un incremento marcado en el número de personas que requieran los una investigación de la muestra incluyen un buen procedimiento de muestreo, un
servicios de la unidad de intervención de suicidios. bien preparado y probado esquema de entrevistas o guía de observación y entre-
Se pueden obtener muchas series de datos de interés para personas rela- vistadores o tabuladores capaces que conozcan las áreas que se investigan o que
cionadas con problemas sociales, pero principalmente se definen para unida- se consideran implicadas.
des geográficas muy grandes, a veces la nación en su totalidad, los estados o Debido a que las investigaciones pueden ser costosas y de mayor demanda
las AEEM (definidas anteriormente). Los datos indicadores sociales para técnica, deberán emplearse sólo cuando exista una justificación adecuada de
áreas dentro de ciudades o'condados, se pueden elaborar mediante el acopio los costos implicados y cuando esté disponible el personal entrenado adecuada-
de datos provenientes de las agencias encargadas de recolectar esa informa- mente. Muchas investigaciones de la muestra, aun las de pequeñas poblacio-
ción (en este caso, el Departamento de Salud Citadíno). A menudo, la compa- nes, requieren meses de preparación, y para proporcionar información útil y
ración de esos rnateriales y el cálculo de los rangos de varios periodos son muy predictiva, necesitan ser en gran escala. En general, pocas investigaciones de
costosos y consumen mucho tiernpo. Por tanto, a menosque las séries dé tiempo menos de mil entrevistas u observaciones serán de utilidad; las investigaciones
estén publicadas, no será posible reconstruirlas en una locálidad particular y en gran escala suelen ser necesarias para estimar la incidencia o el predominio
comunitaria. - de fenómenos relativamente raros.

96 97
cAP. 3. PROCEDIMIENTOS DE DIAGNÓSTICO

En el anexo 3.8 se ilustra el uso de investigaciones de la rnuestra realizadas Anexo 3r9. Una nwestigación d un
entre familias con niños de menos de 13 años que aún viven en el seno familiar. El rnuestra para un área p-equena
propósito del estudio era estimar las necesidades en cuanto a facilidades para el
cuidado del niño, así como el uso de los diversos tipos de arreglos para el cuidado Una rnuestra de familias con bajos ingresos que y Ivian en Brookline, Massaf,!
infantil en las familias de esta . clase en Estados Unidos en .1975. Mientras que .chuSetts dnrante 1965 y,qUe ,,terilap.porilo.,rnÇ n ou n híjo en la escuela secundartav,,,
pocos investigadores evaluativos necesitan estimar las poblacionés objeto para local públIca o eaviarrOclúlát,Se'tó4Trile dl an ie' el- er-npleo . de lds regIstroS-'d0,k:
Estados Unidos como una unidad, los .mismos principios se aplican a investiga- saludmanterudos
_ , en las
. escuelas en cuestión. La seleccI
, ón prelImInarde ..___lal famillas'
.
ciones .de la muestra en, pequeñas áreas o aun dentro de instituciones. En el anexo se hízo con bás-é en la inforrnación de los reg1stros de l lS í 'escuela, y _ deterrhina.j.4.j'
uría
eídel crédIto-':-.;
3.9 se ilustra ei uso de investigadonesde la muestra para áreas Pequeñas (en este ción final se tomó de_spues de var .las entrevistas y algunalverifIcación
casóBrookline, Massachusetts). .1 acerc_a de'su estatus cle . bajóSjingresCis'de l a famIlia y de la ocupacióddellefe de fárnk:"zi:
- lía. Se usó una muestra - de 806'.,fámílias,
famIllas que pudie,serm,.;
, : : El propósíto de la inve stIglOnfue,obtener un grupo de
necesitar lós serilic ios de la clíni¿á elental"PúblIca. Se emprendleron entrevIstas.ebriV
Ariexo' 3.8.'Estudio riacional acerc ..cada farnilia para asegurar lospatz'Ories del culdado dental de los mlembros de lall,
del -cOnsumidor del cuidado al;niñ -:;farnilía. Los exámenes desitálésse'reafizarem
. ,- en es- cuelas de adOlescentes.para
gurar la necesidad del cuidado dental de las farnilias con bajos Ingresos, suponlendellb
Los datos Colectados en esta inVestigación representan el e -xain e. n: Mas comple•: , que los adoleseentes implicadoSrepresenta ba n razónablemente el'estatus de Culdaí
haaja_teehalle los patiOrieS aiTtuales del u5o clel cuidado al niño en EStados Unidos. 1 do de la salucl de y.akfarnlltal:dejalque provenían.,
niuesira dC2 Probabilidad estratificadanaélon'al:de:= ::44
....,?, ...¿.,.--„,--.1..„.-1.,---
.,,
ubit:Cotiege and
aprox" ínádarMente 4 600. fanallias . cOn niños de13 aflos o menores. Ni lo5 niños . [ Fuente: Re,,,. uvnen; loh'i peryrtrip:,`iide.l.ar, n bert;::J.i.:yrylE;Iréérnan, The clin.
' ' r;:1,,!..:
familias con baj oslii, g-resós.:,fueron sobtirpt!' eitreados para garannzar-,-,su íUniv,-rsity Pre-,s, Nekkr 05iii<e0111íi4:19.67. ' '
La 1n si estidá 'éb¿ri'if"derit1f1éj5 las n-iliCigdés'Slgulerítes réspect&del
Ouidado- iarni casá por un pariente b) en casa por 'un desconotido', c) co otra . 1
L --- s
caSa por un desConóelcio; enfermeras . cuidad a
preascolar,f) centros dé :reiii. dado q) programas dé cbp'perativas;.h) progra:
Mas de'cuidado El establecimiento de las características del objetivo debe estar basado en
_ t)- rhaefici::Tam-
bien sé:hizo una distiriCión entre el ctif.dé'clOdét.-i-nercade,;' por medio det cual se una combinación del conocimiento de las investigaciones prevlas y la práctica,
paga ep . efectivo'ci'él .'gobierno aportá un subsidio; y el euida0o slirmercado, el
cual r la experiencia y la información, obtenidas cuando se determina el tamaño de la
es proporcicirk-ido. -sin cuota . o en intercamblo:
, población en necesídad, demanda o riesgo. A menudo, después de decidir los
,
Niteve de las ,10„ casas con niños cle, mynos de 14 , años iriformaron usar tina de criterios, se pueden adoptar procedimientos adicionales para verificar la utili-
Mencionaclas. : No valía el múltiple arreglo 'qUe para el dad de tales decisiones en cuanto a la selección característica del objetivo; por
Una cle cacla tre_s caRas us,5 sólo Lin metódóldétuidado ejemplo, un proyecto educativo para entrenamiento intensivo puede tener
írás . que' los dos tércioS restanteS usaroh por lo Menos como definición de objetivo apropiado a todos los miembros de la comunidad
Ej estudio nacional,acerca cleb„consuiniciori-cletp.lidadója,LñiDO..e.Sjaarti4iIáv,;,. que tengan entre 16 y 60 años y que hayan cursado menos del cuarto grado
rnente_aniplio z11-eriurneMr lS factiaíje.S-'cli:e'.,11-ffIlyenTliláqéleCCIÓdde escolar. Una estimación del 10% de analfabetismo funcional en una comunidad
:í çobre el modo del cuidado Ls rnportancia "de lol.diyersos tipoS de cuiclado pre;Por-
a I te tiV(D' S:" (0
de 2 000 adultos puede provenir de la investigación de un informante clave.
„_. 'e.rí marOo .c1 la dermariclá)las Una investigación de la muestra puede proporcionar datos acerca de si se debe
caracterfStitás_ _ del bien ,
inflnyen.en la se2.1_e"ción
, y se exarnlnan con alqún detallé.
El inforrné tainbién "s:e lirnita propiaMente a-recolCar qüe las a 'étitüdelas de los cOnsu-: usar o no una definición del cuarto grado que produce una población potencial
, micioreS suelen carecer de lo c , ancreto, sobrébodó - eitando algunaS'ele'las cuestiones de cada 10 entrevistados.
las interpretan ecnnó hipo . tencas alguno de los respenclentes.,Dadelta advertencia
, cOn el„heelao -,clé que los datos nca se anal4an de tal manera qué,influ9an ealos.Otrow:V.:,í1
factore[ConstIllteS, de nada ilc quer fiuchos corisumidores IMPORTANCIA DE DIAGNOSTICAR
cuida dd .d i a:IJs-preescolárés-pkii raignes propias . del niño, en vez de Por
su pr4"1- eonv é n ienCiaHlá ..VálldéZ.: .-del'esie cuc,,siionatnientd permánece'en dadá, LAS EVALUACIONES
peró si se cdnfirma P-Or mas vigerosds;arkíliSk de datos -junto con el resultadó delqtre Evidentemente, la especificación y selección de la población objeto se debe
nincl-raS' í familías risan n un ' estilo-d e'C'Ubdado,-'sm--,rpercado—darauna eVidentiljt:Ié
có rno se f o rrnanlas: Preférencia : ;"v loS • éjeteOs'en eirriei'cadei-dereüidadOdel.4
basar en mediciones de las características, las cuales sean fácilmente detectables
- y exactas. Desde el punto de vista de la administración de un programa, sin tal
especificacíón es virtualmente imposible realizar una intervención exitosa. Des-
pués, a menos que el diagnóstico esté bien establecido, ni la verificación ni la utili-
dad de la evaluación tienen probabilidad de ser usadas. Como un buen pescador
98 CAP. 3. PROCEDIMIENTOS DE DIAGNÓSTICO

sabe, existe poca probabilidad de capturar un pez, incluso después de seleccionar


bien la carnada y el aparejo, a menos que se conozca bien qué tipo de pez existe y
cuál es la profundidad adecuada para hundir el anzuelo. Asimismo, la mejor
intención para mejorar las condiciones humanas no será apropiada, a menos que
el personal del proyecto y/o el evaluador puedan especificar precisamente los
objetivos y seleccionarlos adecuadamente.
Monitoreo del
programa

contabilidad
El monitoreo del progranna tiene por objeto resolver dos interrogantes principales: a) si
el programa alcanza o no a la población objeto apropiada, y b) si la entrega de servicios es
congruente o no con las especificaciones del diseño del programa. Existen varias razones para
que se requiera el monitoreo de un programa. Primero, el monitoreo generalmente se requie-
re para propósitos de contabilidad; el manejo del programa y los patrocinadores buscan con-
tinuamente información para contestar la pregunta siguiente: "¿Quién está haciendo qué y
cómo?". Segundo, el monitoreo de las evaluaciones generalmente es un auxiliar necesario
para valorar la repercusión, pues los errores en el programa a menudo se deben a ejecuciones
incompletas o defectuosas de las intervenciones, más que a la inefectividad del tratamiento.
Tercero, el monitoreo de la información puede ser la base de la valoración de utilidad o un
complemento de ella; por tanto, es un medio que interviene en la decisión de continuar,
ampliar o terminar los programas en curso.

CONCEPTOS PRINCIPALES

Estrategia de acceso: Plan para alcanzar y proveer de servicios a una población


objeto.
Contabilidad: Responsabilidad del personal del programa para aportar
evidencias a los patrocinadores y a las unidades de supe-
rordinados, de conformidad con la cobertura del progra-
ma, su tratamiento, su legalidad y sus requerimientos fis-
cales.
Desuiación: Medida en que los subgrupos de una población objeto parti-
cipan diferencialmente en un programa.
Cobertura: Grado en que un programa alcanza a su población objeto
intentada.
Estudios del proceso: Término generalmente referido a las actividades relaciona-
das con la identificación del objetivo y con la valoración
de la conformidad del proyecto.,
Elementos del programa: Actividades identificables y discretas de la intervención.
Entrega de seruicios: Procedimientos y arreglos de organización empleados
actualmente para proporcionar los servicios a las pobla-
ciones objeto apropiadas.
100 CAP. 4. MONITOREO DEL PROGRAMA CONTABILIDAD DEL PROGRAMA 101

Después de firmar una nueva ley, se atribuyó al presidente Kennedy haber detallen los procedimientos administrativos, la entrega de servicios, las calificacio-
dicho a sus colaboradores "Ahora que -está hecha la ley de la tierra, espera- nes necesarias del personal, etc. El resultado de monitorear el programa en la eta-
mos tener a nuestro gobierno abocado a llevarla a cabo". Si el presidente de Esta- pa de desarrollo, se puede aprovechar en la preparación de tales manuales.
dos Unidos se pudo expresar escépticamente en lo relativo a la ejecución de la ley Para programas que están más allá de la etapa de desarrollo y en funciona-
federal, ¿cuánto más vacilante e incierta es la complementación de los progra- miento, su monitoreo sirve para satisfacer las necesidades de la administración al
mas específicos? Por cierto, realizar o no cualquier programa con total interés en proporcionar información acerca del alcance y el proceso y, por tanto, retroali-
la ayuda de sus patrocinadores y de los integrantes del programa, es siempre pro- mentar con respecto a si el programa cumple con las especificaciones. La depura-
rip lemático (si es que alcanza a la población designada para que resulte beneficia- ción del programa se puede requerir cuando la información del monitoreo indica
da con el programa y la entrega de servicios ordenados). que los objetivos no se han alcanzado o que los costos de la producción son mayo-
En este capítulo se estudiará el problema que se refiere al monitoreo de la res que los planeados inicialmente. Los administradores del programa que descui-
puesta en marcha. Por monitoreo de la puesta en marcha se entienden ciertos den verificar un programa sistemáticamente corren el riesgo de administrar un
intentos sistemáticos para medir la cobertura del programa, o sea el grado en programa que sea muy diferente de sus mandatos.
que el programa alcanza a la población objeto designada, y por proceso del pro- Los programas en gran escala en los que se incluyen unos cuantos sitios y gas-
gra ma se entiende el grado en que el servicio por prestar concuerda con lo que se tan grandes cantidades de recursos, pueden formalizar el monitoreo del programa
intentaba proporcionar. Tanto la cobertura del prograrna como el proceso del al establecer un sistema de administración de la información (SAI). Esfuerzos siste-
programa se conocen frecuentemente como producción del programa, esto es, máticos y continuos suelen generar datos acerca de lo que sucede en el programa
los productos y servicios que se prestan a los beneficiarios apropiados. La pro- al contestar interrogantes tales como ¿cuántas personas abarca el programa y cuá-
ducción no se debe confundir con los resultados, pues éstos se refieren a los efec- les son sus características?, ¿cuántas "unidades de servicio" son entregadas?,
tos de la producción en las poblaciones objeto, es decir, la repercusión (para un ¿cuánto del fondo se gasta?, ¿qué tanto permanecen las personas en el programa?
estudio más extenso de los problemas y de la investigación acerca de la puesta en Los objetivos de un sistema de administración de la información bien diseñado son
marcha, consúltense Williams y Elmore, 1976; Williams, 1980, y Pressman y proporcionar a los administradores del programa y al personal reportes detallados
Wildavsky, 1973). y periódicos acerca de qué tan bien funciona el programa y alertarlos en la entrega
de problemas conforme se originan, de tal manera que se pueda emprender una
acción correctiva.
USOS DEL MONITOREO

Realizar el monitoreo de la puesta en marcha del programa es una actividad CONTABILIDAD DEL PROGRAMA
que se realiza en diferentes momentos del programa en curso y en la administra-
ción de programas establecidos. El monitoreo de la ejecución del programa es fun- Por supuesto, la información del monitoreo del programa es también crítica
damental para desarrollar el proceso cuando los programas se han probado y para quienes apoyan y patrocinan los programas, los niveles diarios del programa
depurado. Los diseñadores necesitan conocer cuáles problemas se encuentran en anterior de manejo. En esas circunstancias, el problema es la contabilidad. ¿Se
la ejecución, de manera que se efectúen cambios en el diseño del programa, con el emplean adecuadamente los fondos del programa?, ¿se incluyen las poblaciones
fin de resolver tales obstáculos. Los resultados inesperados y los efectos colaterales objeto designadas?, ¿cuánto del servicio intentado se presta? Por cierto, para el
indeseados aparecerán rápidamente en el curso de la prueba; por ejemplo, una clí- Congreso, por lo menos tanto como a los programas educativos nacionales con-
nica médica destinada a ayudar-a las madres trabajadoras y que está abierta sólo cierne, la información del monitoreo del programa parece tan importante como la
durante el día, descubrirá pronto que la mayor demanda será para la prestación de información de su repercusión (Raizen y Rossi, 1981).
servicios clínicos y que tales horas no son adecuadas para madres que trabajan Desde una perspectiva del monitoreo, la contabilidad adopta varias de las
durante el día. En un programa establecido para resolver severos problemas psico- formas mencionadas en el capítulo 2.
lógicos en el comportamiento de los niños en la escuela, se encontró súbitamente
que muchos de tales niños no tienen alteraciones profundas, sino sólo superficia- Contabilidad de la cobertura: ¿son las personas beneficiadas aquellas
les; por ello, el programa se debe modificar. que fueron diseñadas como objetivo?, ¿hay beneficiarios que no debe-
Los resultados del monitoreo del programa también son esenciales para reca- rían ser?
bar datos con el fin de difundir el programa. De esta manera, se pueden reproducir Contabilidad del servicio de entrega: ¿se entregan las cantidades propias
las características esenciales de una intervención en sitios diferentes de donde se de la producción?, ¿son los tratamientos entregados aquellos que el pro-
originó. Se debe describir el programa en detalle operacional. Los puntos críticos grama suponía entregar?
en la ejecución necesitan ser identificados, las soluciones a los problemas adminis- Contabilidad fiscal: ¿se usan los fondos apropiadamente?, ¿se facturan
trativos bosquejadas, las calificaciones del éxito del personal del programa docu- adecuadamente los gastos?, ¿se usan los fondos dentro de los límites esta-
mentadas, etc. El buen desarrollo del programa incluye elaborar manuales que blecidos por el presupuesto?
102 CAP. 4. MONITOREO DEL PROGRAMA POBLACIONES OBJETO 103

• Contabilidad legal: ¿observa el programa las leyes vigentes, incluidas cios de los centros comunitarios de salud mental, después de su alta, a menudo
aquellas que conciernen a la acción afirmativa, la seguridad ocupacional y fallan en hacer contacto con sus centros (Rossi, 1978).
la salud, así como la privacía de los registros individuales?

Los problemas de la contabilidad legal y fiscal deben resolverlos los profesio- Selección de poblaciones objeto
nales especialistas en esas áreas. Seguir los procedimientos propios de la contabi-
lidad y cumplir las condiciones de las leyes estatales y federales son cuestiones En general, cualquier intervención o tratamiento que requiera participantes
que implican conocer la contabilidad y el derecho, y arriesgarse al tratamiento para aprender nuevos procedimientos, cambiar los hábitos existentes o tomar
inexperto de trabajadores sociales entrenados en la investigación social, pero que instrucciones, puede encontrar dificultades para atraer a los grupos objetivo. Por
trabajan aisladamente. Por tanto, los problemas de cobertura y el tratamiento de consiguiente, para saber si en un programa se incluye o no a las unidades objeti-
la contabilidad son comunes en el monitoreo de la puesta en marcha, desde el vo, aquellas con las características apropiadas y específicas, se necesita monito-
punto de vista de la investigación social. rear las evaluaciones.
Aun cuando el monitoreo orientado a la administración (incluido el uso de los El problema del grado en que la población objeto participa en un proyecto
sistemas de información) y los estudios de contabilidad del programa se refieren a concierne tanto a los administradores del proyecto como a los patrocinadores del
menudo a las mismas interrogantes, se diferencian por los propósitos a los cuales programa. La administración eficaz del proyecto requiere contar con la informa-
va dirigida su evaluación. Los sistemas de información administrativa se diserian, ción. adecuada y oportuna de la participación de la población objeto, especial-
típicamente, para detectar las fallas que deben corregir los miembros del progra- mente en los casos en que la modificación de los procedimientos del proyecto se
ma. Los estudios de contabilidad primero proporcionan información que los puede requerir si la participación de la población objeto no se encuentra en el
patrocinadores y el equipo que toma decisiones necesitan juzgar con respecto a la nivel esperado. Desde el punto de vista de los administradores del programa, la
pertinencia de las actividades del programa y para decidir si debe o no continuar, participación de la población objeto es una medida crítica de la vigencia del pro-
ampliarse o limitarse. Los estudios de contabilidad generalmente se realizan con yecto y de su efectividad última.
un espíritu más crítico, mientras que las actividades orientadas al monitoreo de las Los problemas de participación de la población objetivo, a menudo se des-
actividades se relacionan menos con efectuar juicios decisivos y más con incorpo- cuidan en el desarrollo de los programas nuevos, cuando se asume que las pobla-
rar medidas correctivas como parte regular del programa de operaciones. ciones objeto están necesariamente motivadas para participar, sin embargo, éste
Algunos comentaristas de las actividades evaluativas (Crobach et al., 1980) puede no ser el caso: en los experimentos de la demanda de la vivienda disponi-
sostienen que los resultados de la repercusión son producto no de la administra- ble (Kennedy, 1980; Struyk y Bendick, 1981), menos de un tercio de las familias
ción del programa, sino del diseño del mismo, lo cual generalmente no está al elegidas participó en uno de los tratamientos, el cual exigía a las familias que ren-
alcance de los administradores del programa. Por tanto, su punto de vista, es que taban casas que cumplieran ciertos requisitos. Asimismo, un programa diseñado
los administradores deberían ser los responsables primarios de la integridad fis- para proporcionar información a los probables compradores de casas podría
cal, la cobertura y el tratamiento. revelar que pocas personas se interesan en los servicios ofrecidos. De aquí se
Estamos de acuerdo en que los administradores del programa deben ser infiere que los diseñadores del programa deben preocuparse por dar los mejor
explícitos en la entrega de servicios a la población objeto; además, aceptamos con el fin de motivar a las poblaciones objeto potenciales para que busquen el
primero los procedimientos para monitorear la cobertura y luego a aquellos que programa y participen en él. En algunos casos, podría requerirse que los esfuer-
se emplean en el proceso del monitoreo. zos alcanzados se integren al programa, mientras que en otros sería necesario
ubicar especial y geográficamente al personal del programa, etcétera.

POBLACIONES OBJETO Y
COBERTURA DEL PROGRAMA Cobertura y desviación
El problema de la particípación de la población objeto consiste en aspectos
Como se vio en el capítulo 3, es esencial definir cuidadosamente a la pobla- de cobertura y desviación. Por cobertura se entiende el grado en que mediante
ción objeto; pero esto será úttl sólo si existe un procedimiento para determinar la un programa se obtiene la participación de la población objeto, como se especifi-
extensión en que la actual participación de las poblaciones objeto tiene lugar. có en el diseño del programa. La desviación es el grado en que los subgrupos de
Esto es particularmente esencial para múltiples intervenciones en las que la acep- una población objeto designada participa de manera distinta. Una desviación en
tación del programa y la participación son voluntarias; por ejemplo, los centros la cobertura de un programa significa simplemente que algunos subgrupos son
comunitarios de salud mental diseñados para prestar un amplio rango de servi- cubiertos de modo más extenso que otros. La desviación puede quedar fuera de
cios suelen fallar en atraer a un número razonable de personas que puedan bene- la autoselección, debido a que algunos grupos participan más frecuentemente
ficiarse de esos servicios. Aun muchos pacientes recientemente dados de alta en que otros. También puede derivar de las acciones del programa; por ejemplo,
hospitales para enfermos mentales y que han sido alentados para usar los servi- algún miembro del personal puede mostrar favoritismo hacia algunos grupos y

104 CAP. 4. MONITOREO DEL PROGRAMA POBLACIONES OBJETO 105

rechazar a otros. Finalmente, esto puede resultar de influencias imprevistas, de las metas del programa era llenar el vacío existente entre los niños aventajados
como la ubicación de la oficina del programa, lo cual puede estimular mayor par- y los niños en desventaja, el éxito del programa para abarcar a una audiencia
ticipación de un subgrupo, o sea, para quienes el acceso a las actividades del mayor que la planeada ha exagerado un problema que se buscaba remediar.
programa es más conveniente. En otros ejemplos, la cobertura inapropiada puede ser costosa. Los progra-
Al probar los programas, la desviación suele constituir un obstáculo serio mas bilingües patrocinados y dotados de recursos económicos por el Departamen-
para la validez de la valoración de la repercusión. Especialmente crítica es la par- to de Educación de Estados Unidos incluye a muchos estudiantes cuya lengua natal
ticipación diferente de los grupos experimentales que reciben el nuevo tratamien- es el inglés. Los sistemas escolares que gastan el presupuesto del programa y que
to y de los grupos control o testigos, quienes son observados con el fin de valorar dependen del número de niños inscritos en clases bilingües, han inflado las listas de
la repercusión de la evaluación. En muchas valoraciones de la repercusión los asistencia al registrar a más niños que los necesarios, incluidos los estudiantes defi-
miernbros del grupo control renuncian más frecuentemente que aquellas que cientes (Raizen y Rossi, 1981). En algunos casos se ha demostrado que las escue-
reciben el tratarniento en los grupos experimentales (véase el capítulo 6, donde las han empleado la asignación para instrucción bilingüe como medio para tratar a
se estudia con mayor detalle el problema de la cobertura durante la prueba de algunas. clases de "niños problema" e impartir las clases bilingües con saturación
programas). de casos disciplinarios.
La cobertura y la desviación son relativas, de manera muy clara: un progra-
ma que incluye a todos los participantes proyectados, obviamente, no se desvía
en su cobertura; pero como pocos programas sociales tienen una cobertura total Medición de la cobertura
y exacta, la desviación se convierte en un problema típico.
Generalmente, se estima deseable que un programa sirva para una gran pobla- Los integrantes del programa y los patrocinadores deben relacionarse con los
ción objeto. La excepción, por supuesto, se presenta cuando los recursos del proyec- fenómenos de cobertura excesiva y cobertura baja. La cobertura baja se refiere a la
to son limitados para dar el tratamiento apropiado a todas las unidades objetivo proporción de grupos objetivo de un programa, con necesidades, en el que partici-
potenciales; sin embargo, en este caso, la definición del objetivo durante la planifica- pen. Por su parte, la cobertura excesiva se emplea algunas veces para referirse al
ción y el desarrollo del programa probablemente no fue lo bastante precisa. Para número de participantes de un programa que no tienen necesidades, comparado
corregir este problema se puede dar una definición más ajustada a las características con el número total que no tiene necesidades de una población dada; mientras que
de la población objeto mediante el empleo de recursos más efectívos; por ejemplo, en otras ocasiones se refiere al número de participantes que no tienen necesida-
establecer un centro de salud que proporcione servicios médicos a personas sin fuen- des, comparados con el número total de un programa. Generalmente, esta últi-
tes regulares de cuidados médicos puede resultar en un desconcierto de la demanda ma figura es la importante; el uso eficaz de los recursos de un programa requiere
de servicios, que limite al recurso y que las facilidades sean imposibles para muchas minimizar tanto al número no servido de quienes tienen necesidades como al
personas que deseen recibir este beneficio. En tales circunstancias, si se agregara el número de quienes son servidos aunque no tengan necesidades. La eficacia de la
criterio de elegibilidad que considera la severidad del problerna de la salud, el tama- cobertura se puede medir mediante la fórmula siguiente:
ño de la familia, la edad y los ingresos, se podría reducir el tamaño de la población
objeto a proporciones más manejables. ÍEI número con El número de los que
necesidades de no tienen necesidades
El problema más común con respecto a la cobertura en intervenciones socia- — de servicio
Eficacia de la cobertura = 100 x servicio
les es que no se ha logrado la total participación de una población objeto, ya sea El número total con El número total servido
debido a la desviación al seleccionar participantes de un grupo específico o por- necesidades
que los clientes potenciales rechazan el tratamiento. Por ejemplo, los experimen-
tos de la demanda de la vivienda, que se realizaban correctamente, han tenido La fórmula produce un valor positivo de 100 cuando el número actual servi-
rangos de participación bajos: sólo del 30% al 40% de los grupos elegidos han do equivale a la población objeto designada con necesidades y que no se sirven a
participado, en oposición a la aparente obviedad de las ventajas que tendrían al poblaciones objeto inapropiadas. Un valor negalivo para 100 se da sólo sí sirve
seguir el experimento (Carlson y Heinberg, 1977; Struyk y Bendick, 1981). a poblaciones objeto inadecuadas. Los valores positivos y negativos entre + 100
Sin embargo, también existen ejemplos de sobrecobertura: el programa y — 100 indican el grado de eficacia de la cobertura; por ejemplo, si en un área
Sesame Street (Plaza Sésamo) ha logrado reunir consistentemente audiencias geográfica particular se ha éstimado que 100 inclividuos objetivo necesitan un
que por mucho han excedido el número de poblaciones objeto designadas origi- programa, pero del actual grupo de 100 servidos sólo 70 son individuos objetivo
nalmente, a saber: preescolares en desVentaja. Otras audiencias, incluidos niños apropiados, el valor obtenido mediante la fórmula anterior podría ser de + 40. Si
que no están en desventaja y aun adultos, han sido atraídas por el programa. 100 individuos objetivo necesitan un programa y sólo 10 de los 100 son indivi-
Afortunadamente, como tales audiencias se han logrado reunir sin un costo adi- duos objetivo apropiados, el valor obtenido podría ser de — 80.
cional, esta cobertura inapropiada no es un desperdicio financiero. También se La fórmula produce un medio de estimar los intercambios de un programa,
ha descubierto que los niños aventajados que ven el programa se benefician incluidas las poblaciones objetivo inapropiádas y las apropiadas. Un programa
mayormente que los espectadores en desventaja (Cook et al., 1975). Como una administrativo confrontado con un valor de — podría imponer un criterió de

106 CAP. 4. MONITOREO DEL PROGRAMA 107

selección adicional al eliminar a 70 de los 90 individuos objetivo inapropiados y,


por medio de una campaña de reclutamiento intensivo, asegurar 70 reemplazos 1• ' --- .' Los niariufacturerbs gne reckeron estampillas alimentanas tuVlerán rriejor,es.,
t - dletas; fanHilias mas grandes y nlasicir, es ingresos qüe quienes participardn eriel pra- :-.--
apropiados. Entonces, el valor para la eficacia de la cobertura podría ser de + 60. , drarna de diStdb.Lsciemi 'aliinentiCta -o'gueaquelloSelegibles, perclque no partiCiparon'
Si el programa fue poco costoso o poco inteligente desde el punto de vista `1 'en el prOgrama de --a, 9stencia':,áln-rregtria. .. ::. _ .: ..: 'ffl,,,-..''.':,:-.
político o muy difícil de imponer un criterio de selección adicional para eliminar :Apróxlmádáme -dte, el 37(V.i'delas' finIlia 'St> 11.-n1 E-frp141416•Vd 4: 7 lOs progra,.z":'
la cobertura baja, el administrador podría ampliar el programa para incluir a ' Mas de alstencia-a1ii-nentafiá‘.de...lá'TISSE1.4::ért,111I,1,,I'23% eStaba l tistado eil
todos los individuos objetivo apropiados. Sl suponemos que la misma propor- ii ç):14 'éc1b14gstamptIlas alimentarias, -
: -. P rograrna de clis,fribución al entaray.
ción de individuos objetivo inapropiados son servidos, también el número total ( Uha de cada cuatiO far'inilias .éian elegiblel.';'Petó,rió'plr'ficIpabanenelprograrna;::
de participantes podría ser de 1 000. r mieri"tras que 2 -3.,..%'erári -in-eTégiblesdebid4 1,1t¿ilá esos o at ' tainaño.famt- ''• N'''', ,- '."' ,-
El problema de medir la cobertura es casi siempre su incapacidad para especifi- i. llar reducido, ••-,-,1'::-', ,.. . 1 ..'4•T•nts
,A.,
•• Las caractetísticas socióeconórMcas se comparaban pará : amilia pa'rtletpan.,-,.
car el número con necesidades o la magnitud de la población objeto. Las actividades
descritas en el capítulo 2, si se realizan como parte integral de la planificación del , tés en los programas l:des ‘ tarnpillas alimentarlás : y dé distribuchán dé álirnentos,::',,,
programa, generalmente minimizan este problema. Además, se pueden usar tres parano parncipantes elegibleIy -Para no participantes lnelegibles durante 1969:, En .
enfoques para valorar el grado en que la población objeto apropiada ha servido para ' toclos los ,gmpos,lals-fa'n'illiobtenían pocOS Ingrescrs,- vlvfan'prinetpalment e eni,,
are_as:_urbanas, tenian antecedentes einicó ,j :,y racIales minoritarlos y nlveles edu7:
un programa particular. cativos relativameriq.bajOs.Pereade s ditteídode las fam111Q¿g -Oza - ba. ride seguridad.
Social. El'grliPo cl14cii'iiii,?¡5"OiÉt6ilitó :faiit1llas nerásy deresidentes urbanc
_fue el de ao particiPaiiteS : elegiblel. I,os nlveles educativos fueron bajás (rnenós cle .-
Uso de registros
octicianos de esColarlda c̀I) :en lo -g-tiapós de distribuffin dealirnento Yde nó Pártict:*,:i•
-pin-re.'S:elegibles;La participacióh cle.1 seguro socla1 entre las familias asistldas fue --
Casi todos los programás requieren mantener registros acerca de las I sustanel:alrnente_ mayor que para,las-farrillia.s . nO participantes, ...','..'-.•,':;:5.`,,- ' -1 .' ::
poblaciones objeto servidas. Esta información es útil, en términos generales, EiProMedlb de i 'ngfesos p gi: . fa'Inilia'¿;:iá de 'cerca de 200 dólare g Por rnes Para .
en la contabilidad del tiempo del equipo de trabajo y de los recursos gastados. los asiStenteS',ál progranla de i estarripillas y dei 65 dólareS para los programas de
Existe una gran variación entre la caliclad y extensividad de los registros y en la farnillato:PartIgpaptes relegtbles y déclig,rilSución alímentaria: Annque-los,partIcl-
complejidad inmiscuida con su almacenamiento y mantenimiento. Aún más, „panteSen ' éj,áiiijitáté7éáiiíhiltáOüviero'ri - riiáyo-i:és-:áastos en alimento,-.16;S"óclasio-:
familtas elegilp:Who`Partt:':
la factibilidad de mantener sistemas de registro completos y al corriente para c •nados , por Personas
_ fueron
. . equivalentesa aquellóS de las.
' clpant;:s. 1.1.15s ` no - participantes elegibles gastai-oItnáld4 e -Jrilresbs en
todos los participantes del programa varía con la naturaleza del tratamiento y
con la disponibilidad de los recursos; por ejemplo, la administración compleja aliffientos -un porcentajealto en coMparación con u:,:ilq.,:

por computadora y el sistema de inforrnación al cliente se han diseñado para -Elingresci de : lat . familias ineleglbles ex:cedi6--,ilú,300:416 pal ms 6t15
r., , 7".1,estabía afiliado'ala Seguridaá soCial, y et.j:iiiirriedlódelliná n o farniliar fue de:„.-
sistemas de salud mental y médica (Gall y Norwood, 1977). En el anexo 4.1 se ,,
,-, I, c:iiatirOffnien-lbros. Comparados cón otras farnilas, los Melegibles fueron m-ás urba-,:
,nOteníamr.nertos negros y:se afiliaban menos'a la Seguridad soClat: 1 as.- ventajas : ' '
muestra el uso de los registros para describir a los participantes en un programa
de vales alimenticios. Un sistema de administración de la información para un ....'.,
..:Icónárnital ':de, l'sas familias se áeflejaban en sus mayores ingresOs y gastos en. . alt,-
proyecto pequeño de demostración se describe en el anexo 4.2. Mientras que, .:25mentatión,Taíntmén gastaron una:rnenor proporcion del mgreso, famillar en comt-
inicialmente, este sistema se puede diseñar con el fin de describir las actividades a. 51-..teníart,knejorerSjOr'áenca s allnienticias.• - — --
del proyecto para propósitos de la evaluación, el administrador del proyecto . -, . .
< ,
también empleó los resultados para reentrenar a los trabajadores del servicio, de iltel'Resuinea :de J.,G7Feuster v G ES PerkIns, in the Evanciéd Foad and Nutritiort
Educuttbn .Prfiigrcirri: Compariti. .bf Fr d Sta 11tp and Fcvo' d Dtstributfon Progran Participa nts arxi Non,
modo que éstos pudieran entregar la producción más apropiada a los problemas S'ner',-3-í-1-rneñt'Cl'Agnculture, Washirnteri:,-D.
['.rtle-Ir.,-,7ts. „ , C., 1973.
_
presentados por las poblaciones objeto. •

r Aner 4.1..Degcr1pcOn de los participante


en un progirarna d'e tipo , -='-'' -.--
1 ,. -25:"riekol 4.2," '1..in''s-ís- tverna dezaár;'-ilálir'áCión
,
1 ' dé lá, irlfórmaciónipará pi - ogramas' tiO
reddos,,-,
- L1na muestra naCional (de-naás de. 10500) se torn6,dé : rnanufacture ,ros en . , - ,
,- S, :_Dpat'frnent o f'./1 2 r icultureOSDAY:.'--DepartarriéntO de'Agricultura:de.E.S.tados.,' 1.,,...--,--, Uh prograrnade 'demóstraclOn , di-eñado Con el:fin-,&.;P.ro.4ár-la_viabiltdad de-_,
lega- ;"
ExteMdon Sél'y' 1Ce's Exp:34-rdát ., entrenamiento'de subprof c'S . lontStás parálegales paraldentlflOak.Tól'proble rnas
de . Extensióri de;Sers.itieiC,Icle EciireatiCamen Allinentati6n i a
láde -pa-Cientes cie: s ' lUid Mental deiltro de los hosPilalls:delE.Siad41;quejlan_stdo
Jel pregran-la'eraelrkre rioctmienfo dé la . nutriefe5i0 la'- 1.: desiiistitución..dizados; y para á - ,udar a los pac'e tés cilSterser --áts'áéreh'ri-s'LtOtal.
dieta de fa 'rniliaS Pobres e ii-npnisar el prograina de familras,pará que se listén en 1 n-lente, flie financiado por-el Natioaal I nstitute of Mentaltlealth:ffinsíitütbiKactOnal :: r
dC ilW5tencia 'ainnent4ria. - cle Salud Mentálr a'fin'de operar en lá régiOn desattid trintat deitiéiáé:IklqS10¿Ñl-: :i
-'-'...--11.--.Á..._:.~-- • ------_-___,.--''--------------„,'''—'-,--"''--- 2____ 1----;«.---'41
108 POBLACIONES OBJETO 109

Cabe señalar que todos los sistemas registros están sujetos a un mayor o
.,setts Los trabajactores paraleesdes (sobre todo estudiantes) - son entrenadosjpara,. menor grado de confiabilidad. Algunos registros contendrán información inco-
conoccr lisp,u . tes pet tinc ntes de las leyes federales - y estatales, así cOrno de las rrecta o anticuada y otros estarán incompletos. La extensión en que los regis-
regLilaciones, son euviactos'a contactar pacientes mentales,a r sea a hóspltales o a tros poco confiables se pueden usar para tomar decisiones depende del género
centros cie tratarniento c(Traniitarnof Pára podet identificat'loSiptoblernasle-gáles y el grado de su confiabilidad y de la naturaleza de las decisiones en cuestión.
presentados pordOS-Axacientes (y, Portanto, ajustar su entrenatnle,nto , de 'aeuercló
con'esto), scnis15 un sls. tJma de adrUíntstración de la- inforrnaCión que proporcio- Obviamente, las decisiones críticas que implican resultados significativos
t nara f tchas
‘ resurntdas'acerca de Ihs eUcuentros entre el perseiñal parálegal requieren mejores registros que las decisiones triviales. Una decisión para conti-
pacientes Despnes ducada encuentro con un pactente; los trabajadore.s paralegalesf: nuar o suspender un proyecto no debetía basarse en datos derivados de registros
inicIban el ilénadó'doicasá'én el cual se registrat,a la inconformidad del paClente, parcialmente inconfiables, mientras que una decisión para cambiar un procedi-
las acciones tomadas • por el . personal.paralegal- las fechas los tiernpos y las referen, miento administrativo se puede tomar con base en datos derivados de esos regis-
ciáscí- izadasa otras fichas de In stituciones y centros de.contacto': Asf, era posible tros. Si los registros administrativos desempeñan un papel importante en la toma
idéntifiear áteaS de problemas leeales, para las que se había putólnucho'enfasis'ety.::, de decisiones o problemas de gran alcance, será deseable hacer una auditoría a
el entrenarniento y para las que se dn o,poco énfasis. Además, el sisterná.'donformla
tales registros.
ción pernutió calcular la.entrega de serviciOS:j.- Los datos del sistema de registro, sobre todo de los sistemas de información
1149t< administrativa diseñados para programas en gran escala e instituciones de ser-
,lohn Hornik si :ár.f:3:éch'niccd vicios humanos, se pueden usar para estimar la cobertura del programa y la
P.ItichtsA s Prc n ert, West;Gnipils'llchuétti
con Jsiltortzación, desviación. La información acerca de los diversos criterios de una población
objeto se puede tabular para determinar si las unidades servidas son las especifi-
cadas en el diseño del programa; por ejemplo, el registro de participantes de un
programa de planificación familiar, cuya población objeto está constituida por
mujeres con una edad menor a los 50 años y quienes han sido residentes de una
Al medir la participación de las poblaciones objeto, la principal preocupa- comunidad particular por los menos seis meses y tengan niños con una edad
ción es que los datos sean seguros y confiables. Existen múltiples procedimientos
menor a los 10 años, pueden ser examinados para ver si las mujeres a las que se
que se pueden efectuar para asegurarse de su confiabilidad. Quizá el más impor- sirve actualmente están dentro de los límites de elegibilidad, y el grado en que
tante es diseñar un sistema de registro que sea lo bastante simple para no volver- los participantes están representados en una edad particular o grupos de pari-
se una carga al personal del programa y lo bastante comprensible para satisfacer dad. La desviación en la participación del programa en términos de las caracterís-
las necesidades de la evaluación. A menudo existe mucho riesgo al diseñar tanto ticas de la elegibilidad, observadas singularmente o juntas, podría ser evidente de
un sistema de registro demasiado extensivo como uno que contenga poca infor- tal análisis. Asimismo, la cobertura y la desviación se pueden determinar por hos-
macióri. Al no pensar en todos los requisitos de la información, un sistema puede pitales que normalmente mantengan registros completos de las personas admiti-
ser parcialmente ignorado debido a su connplejidad, por tedio o porque consume das, del diagnóstico del paciente, de la cobertura del seguro y de las condiciones
mucho tiempo al aplicarse.
de su alta. Estos datos los tabula y luego los consolida la American Hospital Asso-
Por otro lado, es importante no sólo que las formas apropiadas y otros ins- ciation (Asociación Americana de Hospitales) de acuerdo con el estado o la
trumentos de registro se construyan, sino también que el personal reciba un región. Muchos departamentos de seguridad estatal también tienen excelentes
entrenamiento adecuado acerca de las habilidades y técnicas relacionadas con sistemas de administración de la información.
su uso; por ejemplo, si la ocu pación, en el tiempo de la admisión del programa, La cobertura del programa se puede estimar del sistema de registro utilizado
es un criterio importante para definir a la población objeto, entonces las instruc- en combinación con otra información disponible. En un programa preescolar
ciones para registrar la información detallada ocupacional son esenciales para ideado para satisfacer las necesidades respecto al cuidado del niño se podría esti-
registrar y guardar datos. Aún más, el continuo entrenamiento y reentrena- mar la cobertura mediante la fórmula dada, si en una investigación previa se
miento, así como la instrucción inicial, suelen ser necesarios para mantener al hubiera estimado el número de niños en edad preescolar en la región del progra-
personal informado de los desarrollos que afecten a los registros y para mante- ma y con ambos padres trabajando lejos de casa. Tales cálculos eran importantes
ner sus habilidades. Esto puede implicar verificar las muestras de registros con cuando el valor del programa dependía parcialmente de si se prestaban servicios
sus fuentes autoritarias y denotar los errores de comisión omisión. en cierto nivel a personas con necesidades (generalmente designado por área,
Otro procedimiento para asegurar la confiabilidacl implica las pruebas de nivel socioeconómico, antecedentes étnicos y criterios similares).
control de calidad de una manera simple. Para hacer esto se puede pedir a varios Cuando los programas son de larga duración, como en muchos de los esfuer-
miembros del personal del proyecto que completen registros independientemen- zos para desarrollar la educación e intervención en la salud, puede ser necesario
te y que verifiquen la congruencia de la información codificada. Finalmente, la actualizar los datos con cierta regularidad. Menciones como tamario familiar y
información obtenida de los registros del programa se puede comparar con otros composición, ocupación, ingresos y lugar de residencia cambian frecuentemen-
datos disponibles; por ejernplo, un programa de planificación familiar puede te, y las estimaciones de la población objetivo, cobertura y desviación deben
comparar sus registros con los de una clínica local o de un hospital.

110 CAP. 4. MONITOREO DEL PROGRAMA POBLACIONES OBJETO 111

seguir el paso de esos cambios. En resumen, un sistema de registro útil debe ser selectos, como los delincuentes juveniles, los ancianos o las mujeres en edad
confiable y actualizado. reproductiva. Las investigaciones son el mejor medio para valorar si los objetivos
se han alcanzado.
Para medir la cobertura de los programas del Department of Labor (Departa-
Inuestigación de los participantes mento de trabajo), como aquellos de entrenamiento y empleo público, el Depar-
en el programa tamento comenzó una investigación periódica y racional de las muestras (Westat
Inc., 1976-1980). Por medio de entrevistar con el personal, esta gran investiga-
Una alternativa para usar los registros de servicios y de la administración es ción interna comprobada si cada adulto era o no miembro de las familias mues-
realizar una investigación especial acerca de los participantes en el programa. La treadas, o un participante común en cada programa del Department of Labor. Al
investigación de muestras es deseable cuando no se pueden obtener los datos contrastar a los participantes con los no participantes en el programa, la investi-
requeridos rutinariamente como parte de las actividades del programa, o cuando gación proporcionó información acerca de las desviaciones en la cobertura del
el tamaño de la población objeto es muy grande y resulta más económico y eficaz programa. Además, también se generó la información de la población no cubier-
emprender una investigación de muestras de la población para obtener los datos ta, pero que es elegible.
de todos los participantes.
Por ejemplo, un proyecto educativo espeCial realizado primariamente
por los padres de una comunidad se puede emprender sólo en unas cuantas Utilizadores del programa,
escuelas. Los niños son examinados en todas las escuelas y enviados para edu- elegibles y desertores
cación especial a sitios especiales, si obtienen notas bajas en las pruebas de
lectura o aritmética. El proyecto puede aceptar a todos los niños enviados, Otra forma de valorar la población objeto consiste en detectar la desviación
pero el personal del mismo puede no tener tiempo o entrenamiento para de la participación en el programa, y aun a aquellos que lo abandonan, a aquellos
administrar las pruebas de habilidades educativas apropiadas. Más bien, un que son elegibles pero que no participan del todo. En parte, el promedio de
grupo de evaluación, probablemente de una base simple, puede efectuar lo deserción o de abandono de un proyecto puede ser el indicador de la poca satis-
anterior para estimar la adecuación de los procedimientos de selección y para facción por parte del cliente con las actividades de intervención. También puede
valorar si cubre o no a la población objeto servida por el proyecto. indicar condiciones en la comunidad que prevengan a las personas para realizar
una participación total; por ejemplo, en ciertas áreas carentes de transportación
adecuada, esto puede prevenir la participación de aquellos que en otras circuns-
Inuestigaciones de la comunidad tancias serían elegibles y estarían dispuestos.
Es importante identificar a los subgrupos particulares dentro de la población
Cuando los proyectos no están dirigidos a grupos perfectamente selecciona- objeto, quiénes no son los participantes iniciales o quiénes no siguen el trata-
dos y definidos, sino a una comunidad entera, la más eficaz y algunas veces única miento con una participación completa. Tal información es no sólo valiosa para
manera de examinar si la población presumidamente en riesgo es cubierta, con- estimar el valor del esfuerzo, sino también necesaria para desarrollar la hipótesis
siste en realizar una investigación de una muestra de la comunidad. de cómo se puede modificar el proyecto para atraer y retener a una gran propor-
La evaluación de Feeling Good (sentirse bien) es un buen ejemplo del uso ción de la población objeto. Así, los aspectos cualitativos de la participación tam-
de las investigaciones para aportar datos de audiencias de tamaño y composi- bién pueden ser importantes para planificar los programas subsecuentes.
ción nacional. Este programa de televisión fue una producción experimental del Como ya se señaló, la información acerca de los abandonos y la de la no
Children's Television Workshop _(Taller de la televisión para niños), productores participación en el programa es esencial como forma de documentar y modelar
de Plaza Sésamo. Dicho programa se diseñó con el fin de rnotivar a los adultos la naturaleza de la autoselección de la desviación. Aún más, y en especial proble-
para emplear prácticas de salud preventiva; aunque el programa era accesible a mático 15ara examinar longitudinalmente los nuevos programas, la pérdida en la
casas de todos los niveles de ingresos, su principal propósito era motivar a las participación debida al abandono o a datos omitidos, es de daño potencial para
familias de escasos recursos para rnejorar sus prácticas de salud. Gallup efectuó la validez de la valoración de los resultados de la repercusión (Watts et al., 1977).
cuatro investigaciones nacionales, cada una con aproximadamente 1 500 adul- Los datos concernientes a los abandonos puede provenir del servicio de
tos, en momentos distintos durante las semanas en que el programa se televisó. registro o de las investigaciones diseñadas para ubicar a quienes no participan.
Los datos proporcionaron estimaciones acerca de las audiencias que lo veían, así Las investigaciones comunitarias generalmente son los únicos medios factibles
como las características demográficas, socioeconómicas y la actitud de los espec- para identificar a las personas que no han participado en un programa. Por
tadores (Mielke y Swinehart, 1976). El resultado mayor fue encontrar que el pro- supuesto, la excepción tiene lugar cuando existe una información adecuada acer-
grama fallaba enormemente en abarcar al grupo de objetivo. ca de la población total elegible antes de ejecutar el proyecto (como en el caso de
Además de la televisón educativa, muchos programas de diversos tipos los datos provenientes de un censo o de las entrevistas). En las comparaciones
(entre otros de salud, educativos, recreativos y de servicios humanos) suelen ser con cada dato recolectado para planificar el proyecto o para efectuar las investi-
comunitarios, aunque las poblaciones objeto designadas pueden ser grupos gaciones comunitarias, realizadas durante la intervención o después de ésta, se

1.

112 CAP. 4. MONITOREO DEL PROGRAMA 113

emplea una amplia variedad de enfoques analíticos, desde los puramente des-
criptivos hasta los modelos muy complejos. confianza en la retorma,-contribuyeron a las actitudes negativas de
maestros. -
En el capítulo 8 se describen los métodos de análisis de los costos y de los
2. E. n parOcilla-031,01aestroljnp , estat»01011íg rrries con sus.condiclones
beneficios de un programa, para Ilegar a medir la eficacia económica. Evidente- ñtóIen.listdoS y sus corieSpondlentes
rias. kle al 1nr
mente, las estimaciones del tamaño de la población con necesidades o en riesgo, gas de trabajo, con clases matutinas y vespertínas des-de las 7:00 hasta
de los grupos que comienzan un programa pero que lo abandonan, y de aquellos 11:0Ohngs.1NgXCeppi(5.11,det tzgao ,extrá,- .1ps,salarlas y sus niVeles no
que participan hasta su terminación, son importantes para calcular los costos. ban'zidéCuadaniente. :MejOradóI ,:svr:;kegUiatS l en dó poco atractivos,Dadas
Dichos datos son también la base para estimar los beneficios. Además, son muy elf41' ;OriCliOdnes; :::tiffer4',sciffifOidente.1 14 u e ocurriesen dos huelgás
útiles para estimar la importancia de un proyecto, su continuación o expansión -
en cualquier caso, ya sea con la misma comunidad o en otras localidades. Ulte- 3, Existía una confusión general acerdddeVhIpélilue' -410
riormente, dicha información es esencial para el personal, ya que por medio de en el nuevo sistema de culiflcactóny promoción y ,itlenttid
ella reconoce sus responsabilidades administrativas y de contabilidad. Mientras inadecuadarnente preparado pára , iikar tat sistéma.;Eiti:IsterikksbnávOc;
que los datos de la participación del proyecto no son sustitutos del conocimiento requería que los rnaestros esttiviesenpreparados pára sus clasesStpar4i0s;
de la repercusión para estimar la eficacia o la efectividad de los proyectos, existe nzarmveltigaciones, así corno pará - lnvertir su tlempo en diversal adv)1.í--
poca base para adelantar si se tiene un análisis de la repercusión sin una descrip- dadegí.:11e'éliklilión fuera-del horario norrnal Al mismo tlempo, el núev15-:
sisteina de^caliírcátión disminuia Ikpostbgidadde
, _ ue
un estudiante
ción adecuada acerca del grado de participación de la población objeto. de sér considerádo al no aprobái fib "de
Fuente:Tomado de H "Reconsidettng the, Use of Televislon tor EducationalFtlform:1h47t.'
MONITOREO DE LA ENTREGA DE SERVICIOS: - Case of El Salvadot", en R. F. Arnove (d1r),-EdúCatioñal Teleuislon: Policy Crnique and Gulde
ESTUDIOS DEL PROCESO Cuuntrles, Prmgex Publishers: 1975, H:g -130, Rorrpresocon perrnisdeHoit, Rinehet,;
WInston -

El monitoreo de la e\ntrega de servicios es importante desde el punto de vista de


las decisiones relacionadas con la continuación y expansión del programa. El gra-
do en que las especificaciones del programa se reúnen actualmente en la entrega de
la intervención deben ser, desde luego, totalmente documentadas por los diseriado- ¿Por qué falla un programa?
res de la política. Además, la investigación en la entrega de servicios es valiosa
para determinar los niveles de desemperio de los miembros del equipo (véase el El monitoreo de la entrega de servicios, para evaluar la ejecución de un pro-
anexo 4.3 en el cual se describe el reporte de la repercusión de un programa de grama, se realiza debido a múltiples propósitos. Una gran proporción de progra-
televisión en los maestros en El Salvador). Sin embargo, antes que nada, los eva- mas que fallan en demostrar su repercusión, son así porque fallan en entregar las
luadores de la entrega de servicios buscarán determinar si la producción actual intervencíones de la manera especificada. Existen tres géneros de fallas en las eje-
de una intervención se aproxima suficientemente a la producción intentada. cuciones: primero, se entregan sin tratamiento o no se tratan de modo suficiente;
segundo, se da el tratamiento de modo erróneo, y tercero, el tratamiento no está
estandarizado, no se controló o varía entre las poblaciones objeto. En cada ejem-
plo, la necesidad de monitorear la actual entrega de servicios e identificar las
n programa fallas y deficiencias es esencial.

ár-te na reform lic tis u 1 1 ior se emprenclid un esfuer-


zo serio para r¿entreriar. a todos lós i rriaestros ele tercer grado, de tal ruaní2ra que Los "no programados" y el tratamiento
pudicsen trabajar efectiízamente cbrütodas laS irínovaciones propuestas Por tanto. íncompleto de los mismos
las aCtitudeS de los maestres 1-161cia la reforma se convirtierOn en un importante
cle ewíluación y de ives tigación. A continuación se expol. Considérese primero el problema de los "no programados" (Rossi, 1978).
nen :bres'iénienfd;Iós:.i"esUltados.• McLaughlin (1975) revísó la evidencia de la ejecución del Título I de la Elemen-
tary and Secondary Education act (Acta de evaluación de la Educación Elemental
in ser Olháll¿lzgos en los estudiantes, hubo una declinación y Secundaria), la cual programaba un billón de dólares anual para ayudar a las
entuslusmo en 1969 con respecto a la TI (tele-
Iii 0 1 6211riil'iriiltS)'lia01.áctitudempenorgs en . quantoolaOipositivisrno en escuelas locales con el fin de vencer las privaciones educativas de los estudian-
.ma, estr.O .s.....téri:dierop más ' á geilcríticos varios
tes asociados con niveles de pobreza; sin embargo, las autoridades escolares
arit:iii. aritelí;dela . ínclusión cle la TI U l progrtirna -de refcarna. Sin embar-
locales fueron incapaces de describir con algún detalle sus actividades para su
-
Okitros . prOhletnas, mas gue la la televisión instructiva o la Título 1; por tanto, pocas actividades se podrían identificar como servicios edu-
cativos entregados a los escolares, aunque los fondos sí se gastaron.

114 CAP 4. MONITOREO DEL PROGRAMA MONITOREO DE LA ENTREGA DE SERVICIOS 115

En la bibliografía se han documentado otros numerosos programas como La distinción hecha aquí entre un tratamiento y su modo de entrega no siem-
ejemplos de fallas en la entrega de servicios. Datta (1977) revisó la evaluación en pre está definida claramente; por ejemplo, la diferencia es bastante clara en los
los programas de carrera educativos y encontró que los ojetivos diseñados rara programas de mantenimiento de ingresos, en los cuales el "tratamiento" es el dine-
vez participaban en las actividades planeadas para el programa. ro que se otorga a los beneficiarios y los modos de entrega varían desde depósitos
En un intento reciente de evaluar un programa diseñado para motivar a los automáticos en cuentas de ahorro o cheques, hasta la entrega personal del efectivo
estudiantes de niveles secundarios y desaventajados, con el fin de que lograran a los receptores; la entrega del mismo por transferencia electrónica o manual ejer-
niveles más altos de realización académica, se descubrió que el programa consis- ce poco efecto en el tratamiento. En contraste, un programa orientador se puede
tió principalmente en distribuir botones y bibliografías exhortiva y poco más manejar mediante el reentrenamiento del personal existente, ya sea al contratar a
(Murray, 1980). Aunque el programa recibe gran apoyo de la publicidad, pocos consejeros o emplear psicoterapeutas con título profesional. En este caso, la distin-
de los estudiantes de nivel secundario de las escuelas participantes, o quienes se ción entre el modo de entrega y el tratamiento es poco clara, pues generalmente se
suponía serían abarcados por los conocimientos del programa, sabían de su exis- sabe que los tratamientos de orientación varían según el consejero.
tencia, y menos habían participado en cualquiera de las actividades que se supo-
nía formaban parte del programa.
En vez de no entregar servicios de modo alguno, un sistema de entrega pue- Tratamiento no estandarizado
de diluir el tratarniento de manera que sólo una cantidad eficaz alcance la pobla-
ción objeto. Aquí el problema puede ser una falta de compromiso de la parte La categoría final de fallas en los programas se debe a la ejecución de un tra-
principal del sistema de entrega, que resultará en una entrega mínima o "cumpli- tamiento no estandarizado o no controlado, en algunos casos que implican
miento ritual" hasta el punto de no existencia (Rossi, 1978). Por ejemplo, las "variación planificada" por diserio. El problema es que la discreción en la ejecu-
leyes afirmatival de la acción han requerido al cornercio anunciar la apertura del ción del programa suele ser relegada al sistema de entrega, con el resultado de
trabajo al público; sin embargo, las organizaciones suelen poner anuncios públí- que el tratamiento puede variar significativamente a través de cada sitio. Los pri-
cos cuando las posiciones han sido ocupadas formalmente. meros programas de la Office Economic Opportunity (Oficina de Oportunidad
Económica) proporcionan ejernplos pertinentes. El Community Action Program
(Programa de Acción Comunitario) dejó considerable discreción a las comunida-
Tratamiento incorrecto des locales para emplear una variedad de acciones que sólo requieren "la máxi-
ma participación factible" por parte de los pobres. En consecuencia, es casi
La segunda categoría de fallas en los programas, Ilamada entrega del trata- imposible documentar qué programas se completaron (Vanecko y Jacobs,
miento incorrecto, puede ocurrir de dos maneras. Una es que en el modo de 1970). Asimismo, el Project Head Start (Proyecto Head Start) financió a las
entrega se niegue al tratamiento; por ejemplo, un experimento al azar para pro- cornunidades locales con el fin de establecer proyectos de enserianza preescolar
bar la efectividad de un grupo, que dictaminaba en prisión, tenía que recurrir a para niños no privilegiados. Los centros diseminados por todos los Estados Uni-
guardias de ésta sin entrenamiento y a veces hostiles como líderes del grupo dos variaban debido a las agencias patrocinadoras, a la cobertura, al contenido, a
(Kassebaum et al., 1971). En el experimento de representación contratado, en el las calificaciones del equipo, a los objetos y a un sinnúmero de otras característi-
que se contrataban firmas privadas para enseñar matemáticas y lectura, y que se cas (Cicirelli et a/., 1969).
pagaba en proporción a la realización obtenida por los alumnos, la compañía
enfrentó dificultades extensivas para operar el programa. De hecho, en algunos
sitios el sistema escolar saboteó los experimentos, y en otros las compañías se Conceptos del sistema de entrega
encontraron con fallas del equipo con la hostilidad de los maestros (Gramlich y
Koshel, 1975). Algunos programas son tan simples y directos que la evaluación de su pues-
El tratamiento incorrecto puede resultar también en un sistema de entrega ta en marcha requiere sólo un rnínimo de recursos; no obstante, otras son exce-
excesivamente complejo. Puede haber una diferencia considerable entre los pro- sivamente complejas. Una combinación de los métodos evaluativos se debe
yectos piloto y las producciones dirigidas a tratamientos complejos. Así, la inter- emplear para valorar adecuadamente la puesta en marcha del proyecto. Antes
vención que podría funcionar bien en las manos de entregadores de servicios de analizar las diversas metodologías puede ser útil revisar un conjunto de con-
altamente motivados y entrenados, puede finalizar en forma incorrecta cuando la ceptos que se emplean en la valoración de la entrega del programa. Durante la
administra el personal, para el sistema de entrega en serie, cuyo entrenamiento y planificación del programa es necesario formular hipótesis acerca de esas
motivación sean considerablemente menores. El campo de la educación es un características del sistema de entrega. Como parte de la planificación, se acon-
ejemplo: los métodos de enseñanza (por ejemplo, el aprendizaje asistido por seja efectuar pruebas de las decisiones para la puesta en marcha.
computadora, la instrucción individualizada) que han funcionado bien en los cen- El sistema de entrega de un programa consiste frecuentemente en un núme-
tros de desarrollo experimental no han funcionado tan bien en los sistemas esco- ro de elementos separados. Como regla general; es prudente valorar todos los
lares ordinarios. elementos; sin embargo, en algunos ejemplos, las experiencias previas con cier-
116 CAP. 4. MONITOREO DEL PROGRAMA MONITOREO DE LA ENTREGA DE SERVICIOS 117

tos aspectos del sistema de entrega hacen poco necesaria la valoración de algu- programas necesitan tener una estrategia para suministrar los servicios a la
nos elementos. Se puede pensar en sistemas de entrega como una combinación población objeto adecuada. En algunos casos, el acceso más simple puede con-
de patrones y acciones realizados de manera que se proporcione una interven- sistir en abrir una oficina y trabajar bajo la presunción de que los participantes
ción (consúltese la obra de Wholey, 1977). En el anexo 4.4 se muestran los ele- designados llegarán "naturalmente" y usarán los servicios de intervención pro-
mentos de un programa público de servicios humanos. porcionados en el sitio. Sin embargo, en otros casos, el acceso puede incluir cam-
pañas activas de alcance para reclutar participantes, dar transportación de tal
manera que se traslade a las personas al sitio de la intervención, y en esforzarse
Acceso durante la intervención por minimizar las deserciones.
Numerosas interrogantes de la evaluación se originan en relación con el acce-
El acceso se refiere a los arreglos organizativos y estructurales que propor- so, algunas de las cuales son relativas sólo a la entrega de servicios y algunas otras
cionan oportunidades y que facilitan la participación en el programa. Todos los están relacionadas directamente con (o tienen implicaciones) los problemas exa-
minados previamente acerca de la participación de la población objeto. Primero,
las operaciones de acceso establecidas ¿son congruentes con el programa y su
Anexo 4.4. Un rnodelo simple del diseño? Segundo, ¿permanecen los participantes en el programa y terminan como
sisterna de servicios hurnanos fue planeado? Cuando los rangos de abandono son excesivos, no sólo las poblacio-
nes objeto son alcanzadas mínimamente por la intervención, sino que los costos
por población objeto potencial pueden volverse excesivos.
Tercero, ¿existe acceso para las poblaciones objeto potenciales a los servi-
Elementos del unc tón cios apropiados? Por ejemplo, se ha observado que los miembros de la comuni-
dad, que originalmente usaron los sistemas del cuidado médico de emergencia
, Publacián serVida tiupo de rniernbros comunitarios en un area para propósitos apropiados, pueden utilizarlos ulteriormente para el cuidado
'eográfica reducida, que re¿ibe serviclos del médico general. Este mal uso de los servicios de emergencia puede ser muy cos-
y tlene. sus necelciades e interees toso y estorbar su disponibilidad a otros Miembros de la comunidad (National
...r:épresentacios por rnedio dék.gc„,biemo Center for Health Services Research —Centro Nacional para la Investigación de
n grupo '''de rniernbrial '; eohntinitarios que-
"t.:epreseratara las necesidadeS'yclós itítéresaés ciej.„ los ServiciOs de Salud—, 1977). Cuarto, la estrategia de acceso ¿adopta la utiliza-
á p oblactdn. .servicla ción por las poblaciones objeto en forma diferente para los diversos grupos étni-
'
-EspecifICICt na, definiCión 'dé laS necesldáles ctela cos, culturales y sociales o existe el acceso equilibrado para todas las poblaciones
oblación servida,• establecida
- en terminos objeto potenciales?
. - Finalmente, hay proyectos en los que es importante, como para el acceso, eva-
.,:•• '
Meca ddhe •••:•Idn rnk_, dio de registrar la extensión en-que las luar la satisfacción de la participación en el programa; por ejemplo, si un proyecto
sijades neces,icladeS''de la poblacián por servir han sido preescolar es visto con poca satisfacción por las macires de los niños participantes,
sansfecha. sisgema puede fallar en seleccionar a otros niños de esas familias en años sucesivos, o de las
Adrninistrador del sIstcma Al g ún Ihdividuo o g rupo contable respecto de - familias vecinas influidas por el informe de la madre.
los doctos 9,=c6s'tós'clelsiSterna
Evolución del chente tin'conjuntodé`-:-. ftíncióries del sisterna pór
rnedio cle las cuales el cliente pasa desde su
mgreso hasta su alta cuando ha sansfecho sus. Especialización de los servicios
rieeesiciades'
Agerité••de fin punto sinLttilar de contablidad acerca del Es crítico especificar en términos operacionales los servicios actuales que se
• prbgreso clel cliente por rneclio delsisgema proporcionan. La primera tarea es definir cada género de servicios en términos
Sh, terna:de infounación Un rneccausmo para proporcionar• datos al
, de las actividades y acciones que tienen lugar y/o en términos de los tipos de par-
personal de entrega y a drni nistración¡coni'et fin ticipación de los diversos proveedores. En el anexo 4.5 se investigan los linea-
de ayudar a los'clientes,fáCilltár.'laS'aeCiones
Earrectiyas que e deben ernprender_si . el mientos para examinar un programa educativo.
cliánte-:-Mene, clificultádes - Las unidades de servicio, o elementos del programa, se pueden definir en
' términos de tiempo, costos, procedimientos o productos; por ejemplo, los ele-
mentos del programa se pueden referir a las horas de tiempo de orientación
suministradas en un proyecto de entrenamiento vocacional, en un esfuerzo por
mejorar la vivienda; una unidad de servicio se puede definir en términos de la
cantidad de materiales de construcción proporcionados; en un proyecto de la in-

118
MONITOREO DE LA ENTREGA DE SERVICIOS 119

Anexo 4.5. Especificación de fos eleneentos dustria del queso, un elemento del programa se puede referir a una actividad,
' de un prdgrama edticátivo como entrenar a la gente para operar las máquinas cortadoras, y en un programa
_ educativo un elemento puede consistir en especificar los materiales curriculares
_El lcctor puede comenzar a clescial-nr el pro g ramaii'déltal manera que_ Çubraye utilizados en los salones de clase. En todos estos ejemplos lo importante es que
los eenle:no.
e'ns tbs del conte rto del proqra
arn -las caracten stic asangi
esc tbles ,es e9 s haya una definición explícita de lo que constituye un elemento o unidad.
Existe una negociación entre especificar un gran número de elementos del
....., •, '. programa simples y específicos y tener sólo algunos pero complejos; por ejem-
E:ip s salones de'c asps, esClié,/as;IO• distritos''dóéll
é' , elpr.ogranWse ha Instalado plo, si un proyecto que proporciona educación técnica para desertores escolares
Él personal del.prograrna. ihCluiddslcas.adrillnisfia"
, . ,deek:16s
, • . ....,... , , .,.., pi4eltios,,áwd
,.. incluye entrenamiento literario, tareas de carpintería y un periodo de por lo
1
liares los
, padres volüntarios
. y las- secretarias. ."'",111,,,i,. " - ••• : . ,., - : •• menos un trabajo como aprendiz del oficio, será deseable que se separen éstos en
i-. Lo§ recursos utilizados incluidos los rnatriales deTi
li's lifos o comprados, el tres conjuntos de servicios, en vez de una combinación de actividades. Para esti-
,equipo, particularmente aquel comprado para el,.prpgrapa.
.
. Los estudiantes ,
inclu idos las características par ti:dila:1_451i.11.:¿)s hieieró.lete. mar los costos de un programa mediante un análisis del costo por beneficio y una
.gibles'al programa, su número y us nivel decorn auditoría fiscal, es importante anexar los valores monetarios de los diferentes ele-
,•-:: - . ..... ' - '1ii- '''''' iniciadeill.'" mentos del programa o de las unidades del servicio. Esto es más importante
cuando se comparan los costos de varios programas y cuando los programas
reciben una reinversión con base en la unidad de servicios proporcionados.
` Dlchas'características del contexto tonstituyen el cii Simplemente, los elementos específicos son más fáciles de identificar y contar,
, erpo del programa y
deben IncluIrse en cualquier infornie resurnen:,, Listarló así como entrenar personal para registrarlos; sin ernbárgo, los elementos complejos
kgeneralMenteriorequie-
1 re Mucha captura dé datos, pues no son el g énelb'íle',dátás 'cju'iá"tínii-eSp suelen corresponder más estrechamente a los objetivos del programa. Por tanto, la
--cambien o se , veán cort escepticismo. A menos'_citieeljlector t .era" qu
,de la entreg adé,materlál èl„6. piense que el g riiTiOr engá ,duclas ,aCerc#14 cuestión estratégica es cómo se procura un balance, mediante el uso de los elemen-
'neo p articipará, no es rnuy neéesarlo contar con datos de' trabajo o estnálántes' tos del programa identificables y contados confiablemente, y al mismo tiempo ser
"su déscripción... antecedentesisju ea0y0i.'1-..:.1 significativos, tanto como las metas de los programas pertinentes.
ppn Especificar los elementos del programa o las unidades de servicio también
- Además de la descripcíán de
ener algti n,tlempo'para'examinarlasy características cieltontexto, el ledt -nece.sitará
reportar las activicláCle en las que los partici-
ayuda en la administración del programa. Un monitoreo minucioso de la actual
ntesi wel eqüipei de tratii)jo distribución del programa en cuanto a las unidades del servicio entregadas a los
irnplia contar con tornarán parte. Describir laS-acttvidades importántes¿.1.,: participantes puede ayudar a los integrantes del programa y a la administración a
, citestionarios formulados
. ,, y contestadOs
cutú;,11progr 1-11 éj51rj'Sé
mantener los programas más apegados y alineados con los intentos originales.
Por ejemplo, algunas unidades de servicios pueden parecer más atractivas al per-
• ¿Se utilizaron los rnateriales?-é, se emplearcm sonal del proyecto que otras, el simple provisionamiento de ingresos que apoyen
¿Qué pi-ocec-limientos prescribieron.los maestros,,pAta,,..legülis los pagos se puede intentar más fácilmente que entregar una variedad de servi-
ie,.:.g0Sii;.ertse cios sociales complementarios, y el personal del proyecto puede tender conscien-
ñanza y otras interacciones con los estuchantes.?,:,1.1.ggitiét_Omestós;151.4¿erlb
mientos? te o inconscientemente a favorecer las unidades de servicios más simples.
¿En qué aCtivtda1e4 se supOrla . ue los estudiáil Describir los elementos de servicio del proyecto en términos de las actividades
han? . lo hicieron7 lIdefPl. rantá. 4:rti011-
- y acciones es preferible a describir en términos de las características de los provee-
¿Qué actividacles fueron ' indiCadásv- Por los otrill;Váifícipliité§,: dores. En el anexo 4.6 se muestran los elementos del programa. Desde luego, el
padres y tutores?, ‹.. -se ájustarcini' a 7 e as r-auxillrési esquema mostrado en este anexo es congruente con cada incidente de la interac-
¿, Qué arreglos adrninistrativos incluyó el Progranía ción entre maestros y estudiantes. Por lo general, los elementos del pograma
9 , ,qué líneas de autori-
dad tuvieron que -emplearse_para tornaf decisiones imPoi rtantÇ,,s? ¿que cam- podrían no ser medidos con este grado de refinamiento. Se da el ejemplo en este
bios ocurrieron eiii- éItás ' á rregi_ors o libes.de'or momento para mostrar el grado en que se pueden describir los elementos de un
programa en circunstancias apropiadas. Evidentemente, si se puede ofrecer una
Decir detallado sIgiáifica que
extensión concisa y una descripción detallada de los elementos del programa, será
.1.)fid uir;una prescri 16 posible ampliar y duplicar los programas.
tcauriettelc eiets odfiirdclón lás
pec ica paranpertnitille4isé.gár)E1'
Aunque las descripciones de los elementos del programa en términos de activi-
,
dades concretas son preferibles, en muchos proyectos la naturaleza de la interven-
_FiiiisteAdÍptácki cie
ción permite una amplia opción acerca de lo que tiene lugar. En tales situaciones,
Gibbon HototQhf,lásuié
Progrdrn Eualuation f?ublicatx,ss„Bévelly':11
rtt Implernentüttóri ‘id por lo menos en el comienzo, se pueden describir los elementos sólo en térrninos de
las características generales de las actividades y de los entrenamientos y habilidades •
de los prestadores de servicios. Por ejemplo, los artesanos maestros se pueden ubi-

120 MONITOREO DE LA ENTREGA DE SERVICIOS 121

las intervenciones para los individuos objetivo, pueden ser' difíciles de monito-
FAexu11.6 Medlción delo que,sucecie
rear, dado el problema para desembrollar las modalidades de la intervención par-
en los salones de clase
- ticular, que influyen favorablemente en términos de las metas del proyecto. Al
j En'r un-eSfuerzo por relácIonar qué - sucede en los salones - de clase don él
mismo tiempo, es evidente que muchos programas ofrecen elementos de servi-
arnenchzáje,delcis. alurnnos de:esctlelas elementales„19s InvestIgacfpres fílmori cio alternativos debido a los requerimientos de los individuos objetívo, a las con-
1,1 IndíVldalles ,de salón cbarairi:SelmpattíaSésioneiFcte, diciones en las que el programa se ofrece o a la competencía y experiencia de los
instruCC16.1é matemáticas y lectura. Las películas se cgiiiflcaron Para móstrar proveedores del programa. El monitoreo requiere que las alternativas se identifi-
lae;triCide'ri'eiajj ':-Ide'ciertos tipos de interacclones-ma'estrolalurnno que se creían quen y especifiquen tanto como sea posible.
Inipottánies;Para,lograr un- aproVechamlento én dichas Materlas, A continua- La fase de planificación incluye la depuración de los conceptos del siste-
(5`ri'á'já_it4Ic'én algún6t7dé"161'cód1§11-dlléñado s' paí'a los evehtol'instruétivo§ ma de entrega, el desarrollo de las especificaciones operativas y una anteprue-
a'C'elones féli'adáS -porelmae s VestiOnh n" ba del sistema de entrega. Durante la ejecución del programa, es aconsejable
omésde los-estudiantes: - - ' ' para el administrador de éste efectuar un estudio periódico y continuo del pro-
ceso de ejecución (véase el anexo 4.7).
Mandatos Inclividuales . dé rnanejo (establecidos1
los estuchantes para normar su comportamietilci R9r.éjlerhiip:
tórne,aslérítol"-),,
Manclátos cognoscittvos Indlvicluales (manclat , Anexo 4.7. Evalnaciones corninuas
rIal InstructIvo dirigido a un estudiante en - versus evaluaciones rápiclas
Mandatos cognoscItIvos a todo el salón (el
do a la clase por entero): " Slos adrrunistradores- consIderan
- , a la evaluación. como una de sus responsabR.--
lidades principales están aptos para creér que la evaluación debería ser un
El código esquernátIco total, contenía literalrherité' so constante y continuo. En laJpractica, esto ha permindo destacar-el ingreso y
que las pelfculasse codIficaron, fue necesário resumír las cIntas en.`' procesó déeyaluación. En loS,P,regrarnas sociales, el desarrollo clk.?,s1 m ; emas estacIíS,f'
y por cada'eltúdiante y relaeidnar los resultados en a Menü06-,..,bastantecorriPlérk :y.:Cle¡prnéháS:eStariclariz_aclas OnlóS:se_jernplo-l'
resurrien resültante conta, Ontldájd, de aprendlzaje que tuvo lugar .en lal,elases más sign'ifiCatiY6S.' Los siliernS - eStadístleOs'-riéflejah'irn'Cleseo y uría neéésidad
un totary con cáda estudiante.' , _ . 1 . parte del:adruinistrador para cohocer algo acerca de los:'clientes que son servIdo,:j-
„ L por sus progre-iMas y, además, alcO acerca de lo que,sucede a eStos Clientes y
Fuente: Tomado de W, W ' CocIesi3. LeIrn hardt, iThetriitiiic1tc-1131.11riTimsíans Stuifyl;e1Ecilica- 'Ibs iniernbros del ecjinpO.gastan , su tien-Mo. Cüando tales sIstemas están razonab)le
tIonai EualuatIon and Polici; Analysls 2, Ainerkan Eduqgt19. 941{1.1110. Allpelation, 1.4110,1101,.. D C„ mente bien dlSehadóSpropoicionanjbüenalnfOrmación detállada acercá de
enero de 1980.: F',eirnp -reso con autorIzaci6n. _
: I . ' características cle.má:qráficas de
. , cliis, or 12- mcjnos alguna indicacIón de4 '.
. 'IOS`Clientes se turnan para p'artiClpar:cín el programa (Por ej.ernplo,
árit
c de'rrfer6ncia),
'cI una asignaeión categóricIde j por qué erelle,nte parhcipo p
grarria (por ejcInplo, cliagnosns) ei?"rno gdStd l Cquipó de tratiajo su tlenipo entre
- las • diversás aótiYidacles,(analls1S ,:de tiernpoithabajb) ,,y f_;rectr ratiee rsnent isn te citjtji
i tn adelberi e.9

car en una comunidad con bajos ingresos, con el fin de que instruyan a los miembros ' ser el p¿lso' (disposieión);.1.̀.,:tenos frecuentcm.c.n . b
de la misma acerca de los diversos métodos para mejorar sus unidades habitaciona- .;prj pbrcidnan infOrmación al _rastrear alellentc un sistema o.programa 7--_ servl:
les. Las actividades que pueden desarrollar los artesanos varían gradualmente de ' cios prOporcienaclos, en transferencias, , éte; jTípieamente, nu sistema estaclístIcc17i'
una familia a otra. Así, aquéllos puederi asesorar a una familia acerca de cómo dise- pro¡-,orclona algunos cie esos ,Upos deinforrhaeitáh,.lo ctial depende de las referen.::
ñar y colocar las ventanas, y a otra darle instrucciones sobre cómo levantar los cias de 105 idriiinistrador es y de la dispaibilidád cle rectirsos, y los sistemaS eStadís=, -
hcos prc4,bleniente son tosincj ores • c_1_1-1 l . S-15~ d0. 5 y OS
cimientos de su casa. En tales casos, las actividades sólo se pueden describir en tér- corno forma de evaltnción cüritlilua en' los pro,
minos generales y con ejemplos; sin embargo, es posible describir las características _alilaci55,n,-,rapfda i,es HIrnas lí_iónea c9tno , respuesta a una:crisllyerelhíd a,--,
requeridas por los proveedores. De este modo, se puede establecer que las personas una-;declión,POlítiea partieülarrnente dIfícile o quizá la,perceP-eión
seleccionadas para esta actividad tengan un mínimo de cinco años de experiencia en 1 . - so. ' Por naturaleza, la. in\lestigación, evalqailv. a es de un Solp golpe, Porqu.e
la construcción y reparación de casas y que posean conocimientos sobre carpintería, _ plicar un estu,clio. Por cualquier razón, una evluación de un solo golpe' siri'e
cableado eléctrico, cimientos y construcción exterior. Por supuesto, durante el pro- responder una cuestión e c,pecífica ,acerca de LITI prograrna particular 0 et életnerd&r•
yecto es importánte ser capaz de documentar las actividades actuales y tareas que de un prograrna et-On n-lorne:nt ,o dado. Las fuéntes de criSls son íniiumerrableS:pero,
este asesor realice. genen, men e resu lt' and e necess.(1_ snmechata-de contar con información acerca.
Como un lineamiento general, el monitoreo es más exitoso cuando los pro- L1J-' Un .un Existe "¿Ina fúerte- tenáencia,- á menudo
gramas se mantienen lo más simples posible. Los programas que ofrecen fuera CH_conceprqdecc ifiabilid ida emplear evaluadores externrOs en situaciones "
muchos servicios diferentes y en los cuales existe una integración minuciosa de de crisis, aultcuie - ró„"qué cc,r1Itittwe "fuoia - depencte--Cle-:i¿s


122 RECOPILACIÓN DE DATOS 123

En algunos casos puede ser útil al observador convertirse, por lo menos


co4Initerell.netekintei'venir 'en..e `stdcasibá. V.las.CórnpañíaS .deitensul- durante cierto tiempo, en participante parcial o total del programa; por ejemplo,
to'reli'llniiii;StratíVOYSIsbafflrn.
Reiss (1971) situó en los carros policiacos a observadores que Ilenaban reportes
., sisternáticos de cada encuentro entre los policías y ciudadanos de una muestra de
....4.:S71e-vatnalCi.Orie'S'7.-P'ertókbea's .,,.100.:itn.ptirttwrkted(cirntiy.'..útif . en:tre las e y alua-
can-lbaan rondas de guardia. Un enfoque similar se dio en el experimento de la policía pre-
otrós ventiva de Kansas City (Kelling et al., 1974). En el anexo 4.8 se describe el uso de
son-. 1entos en observadores en ese estudio y algunos de los problemas encontrados.
.cle§..4i;i:O11:0,,r.0:156.í:..16:iné.IOS.711.'efeCtO::eictirr./;IO'n.Ientitud.--1.:StO:' .eS'Particntarínenfe
adernás;-Muchos de los instru,
sens.itivoS sólo a can-Jblos Anexo 4.8. El programa del observador
que requieren medición participante en el experirnento de la patrulla
ni la-evalnactOn rapida . ni .1a preventiva de Kansas City
monitóreo Perii5. dito:-es;faCtibIé y . . -
descanso al evaluador LOS observadorcs enirenados , fueron asignados a vlajar en can-os patrulla con
no nry coMpromete a el ni a la los oficiales clurante, las- . tepéticlonesdel experimento.
. Se crefa que talc,s observado-
etVi. rm
r,1112cirían ser valiosps al.obsei-vw:y regittlar las consecuencias ine_speraclas de, tal
c:(perirnento; propOrCiOnarret.roalimentaCiÓnvallbsa refactonada Opri la-extensión
FulitteAda 1,_ FnralinyJ F1 T5 In4r !n JutIr to Pr,,grani enque, había un eXPerirnento, régisaar dé -ifíangra segurayPropbrddriar datoS ton-
hirition, John Nor'j iork, 1979. 1. , ;/( 1 s, 26 29.
cernientes a las activiclecles rcalizadas por los oficiales mientras se encontrahan en
su Patrulleje preventiyo de rutina (Para la expediCión de análisis de tiempo no pac-
tados) y servir'conio'itecanisrno priricipal de recolección de datós en el tiernpo dé
restitieStayférvitis .gn¿úentros policía7cludadartos del experlmento.
RECOPILACIÓN DE DATOS PARA EL MONITOREO ii . .-i'f;i-ig'Zá difícultad Sederivó de las objeciones acerca de la habilidad pa r a Utl-
lizer obsen r edores. Vatios miernbros expresaron miedo que los ofictales de policía
Una amplia variedad de técnicas se pueden utilizar singularmente y en com- pudieran,modificar dutpnválicarnente su comportamiento con la presencla de
binación para recolectar datos de la ejecución del programa. En los enfoques par- obsetVadores, de küje Plidieián :Igt,fiós.tiles allégr4no, de que hubiera constante
rnonitorep pqr Pártedg fos'iSartICibarrtesque nó son potiofas y deb105:a. que pudie-
ticulares se deben tener en cuenta los recursos disponibles y la experiencia del sin_lentlrSe re.sponsableS dé iiiá'obleiVadores; lOS Ofictales de Olicía pódrían poner
evaluador, como en todos los aspectos de la evaluación; sin embargo, existen res- ennligro SU propia seguidad erj situaclones de pe igro. La discusión eventualmen-
tricciones adicionales, una de las cuales concierne a los problemas de privacía y te'TeaMbi6:4e la habilidad 40 iáholtilidad ala precaúdón abierta y a la aprobación y
confiabilidad. Los servicios del programa que dependen de los métodos de entrega el intekés";aiinque'la babilidad:Se r'élervó el clereclio de suspender el uso de particl-
de persona a persona, sobre todo en áreas como las de salud mental, planificación pantes ohservadores ellos: d ' eherían juzgar una descontinuaclón que este en el tnejor
familiar y educación vocacional, no son rápidamente susceptibles a la observa- it -iterC, s del experirnento. -
ción directa de las actividades del programa sin violar la privacía. En otros con- Uno cle los conflictos mayores cra el mCJtodo de_ colecclón de datos. El prirner
textos, los cuestionarios autoadministrados pueden ser un medio económico paÇo en el acopio..de-datos por parte dekpbservadgr , inclula la captura de cuentas
para estudiar la ejecución del programa, aunque el analfabetismo funcional y fenotn'endlógicas'IdefinidaicOino rma , de.S.Criti¿Idil Sitf1cíentemente - COrnpleta que
las normas culturales limiten su uso. una defintda irnagen- de los eventos generados enla menti, det rleCtór qOlen eácapaz
Cuatro fuentes de datos se deberían considerar al evaluar el monitoreo: la de inferir ét humor de-los particmantes acerca del cornpOrtaraiento registrado) En
el curso del w_cperimento, el metcdo se camibló por un medio más altamente estruc-
observación directa efectuada por el evaluador, los registros de servicios, los turado de recolecciowde datos,
datos del equipo del programa que presta el servicio y la información de los parti- Una secJunclalál-ée cle conflicto incluyó la cooptatividad por el poltcía de
cipantes del programa y de sus asociados. El enfoque utilizado en la colección muchos k_le 10,, J ,bservedoreSjpartjc Mantes. Debe notarse que este problen-ra nunca
actual de datos y los procedimientos de análisis se sobreponen de una fuente de se l nrnitó á l'OSobserv¿I(lores, ni fue prerneditado por el departamento de ' policía. El
datos a la siguiente. Una evaluación del monitoreo integrado debe incluir datos abajo delJposcs,a tlene r -nuchoá:,áspectos excitantes, atractivos y que deducen a
de todas las fuentes. cluienel no••éltán i.direc tamerite 'relaÇionadosiCón:lei.:organWatiOnZ Pomo resplado,
: OS aboqados son fácllmnvnte convencidos'.1.111.'el`likint6;i:fg..11ista del P91111.álátmos
dé lo.s. ebsérliadlf1.1,fir4i. lighaládos Pa-ia. „-de' féñtili.,1:),,ii.:;15)ida SiC.CtrdiétiCidos de
Datos observacionales ' eilic lainfoirnh0511rICOlé` .'Sénoclijal!i:Ila - ,1*:..4..-e-',',rii 4. qelf,154
. 01.e—::: ,. :51-1, aV.P9r el
departarneñfó'<'ClklibliOál: ' ..fíltlidálitf,11.014;ae.1105,1'.14.1 t. 'bP15,4:elét écitlipo,
En muchos programas, el enfoque preferido para recabar datos para propó- Aláiiiiollililiáin.ladólég 'Illlezari,:11..á irliátiperi.,<ie...énólsi..1.0.10 g .01:plitkiátsilécidrt
sitos de monitoreo es la observación directa. Los métodos observacionales son -e1 ,.ál,ado:...0e,,peiío.900,:ii-áriliocw:911teiálr.rielit • PittgetciteIdela-policia;., .
factibles siempre que la presencia del observador no resulta obstructiva. ... „ d. e..:Cillit'dlié ",iiifiD,rineiúri clébéi41;i1Z-61édarWii
1.4,--..;;I:.1-.,14,41.1:;:ii.:,....„Li....,,,.. . .,:,;,..5,,--,.....s.
. . . ., ....--,...k„.:_.-.,-,.... . 2. .-
124
RECOPILACIÓN DE DATOS 125

Pr7Ir i reSOIsiei : este . PrObleiria:Sé .ü


••• ••• • • • . nedadde roecoismos. Prirnero, un como: "¿cómo usó el instructor las ayudas disponibles para el entrenamiento?,
oficial cie policYá
, g e délabílidn Iccióriá-t:10'páVal-evisar regularmen- ¿cuándo y dónde se usaron?". El empleo de un instrumento de registro como esta
te láltifórrhación recotee„ . tádá , por lOs ObserVadóre.s
. y dicutir con ellos naturaleza guía simplifica considerablemente el análisis. Existe también mayor probabilidad
. -
y sülHihilided_de los,dátOs.'Segundo, se realizaron reuntones resi.ularrnente con los de congruencia en la información entre los observadores, que con el reporte
ub-crv idores párá artalilaisis trábajo, sus hallazgos y problernas encontrados en el
carnpo. Tercerp, los observaclor,..s-del experirnento fueron puestos bajo la directa
narrativo; sin embargo, supone más específicamente acerca del diseño del pro-
supervisión'de un . mie.mbro del eginPo de tiernpo cornpletp para reforzar las funcio-
grama y es difícil de manejar si hay múltiples intervenciones alternativas para
nes .5 !rntnistrativas yiprr orcioncir p apoyo acin-linitátiv0f-en curso. aplicarlas a los participantes individualmente considerados.
Los obs,2rv¿)dores ro aL si on datos de grzin valor pai-a el ex- P:e'rirnento y hubo El tercer enfoque consiste en usar alguna forma del esquerna de proporción
mucha conficlencia en la calidad dÇoo .11,4c)s. En 4..spech9 de 14)roblernas expe- estructurada. Algunos de los porcentajes pueden ser puramente descriptivos,
rim j ntuclos LlurzInte las ctapas iniCtale§:de .: 111 programa y cle I At: ficultacks de la como una lista que especifique el lapso dedicado a diferentes géneros de activida-
investigaciónletriornetodológie0, ha habldó .Y . habra . tiri olio nivet se regresos en ter- des. Otros esquemas de porcentaje son normativos o actitudinales, como un
minos; de- rééolécción de. d - atds-y . lát forinw de usarl os . esquema del porcentaje para medir la claridad de la presentación de un instruc-
tor o la escala para valorar la naturaleza del encuentro entre los participantes y el
Fltente: 5 t it con T :c. tnnso, cleG 1-1.'SIru et al The K,:lri&as Ctiv Patro F_9,v;inerit: sistema de entrega.
Police Er ,uncidl:Gn. W..35/ung[on, D. C., 1974, 1010. 60 62-
Aunque los métodos de observación directa parecen simplemente atracti-
vos, no debe suponerse que son fáciles para los observadores no entrenados; ade-
más, consumen mucho tiempo y producen datos difíciles de resumir y analizar.
Estos problemas son particularmente complejos cuanto menos estructurado es el
Los investigadores que deseen emplear los métodos de observación de los método de observación empleado y más complicado el programa de servicios.
participantes encontrarán que generalmente es posible explicar al personal del Más aún, como ya se serialó, la observación puede cambiar el comportamiento
programa y a los otros participantes los propósitos servidos por medio de la del personal del programa y de los participantes.
observación; sin embargo, el grado en que la presencia del observador partici- En algunas circunstancias es posible reducir los problemas de la observación y
pante puede alterar el comportamiento del personal del programa, de los otros desarrollar enfoques de muestreo apropiado, de tal manera que algunos observa-
participantes o del sistema de entrega, como una unidad, no es del todo claro. La dores puedan registrar las actividades del proyecto en forma más económica. Para
evidencia impresionista de los estudios en la policía indica que los observadores hacer este muestreo, algunas veces se selecciona al azar un número adecuado y
no afectaron al sistema de entrega, pues la policía en los carros patrulla se acos- estadístico de periodos para observación. Otro enfoque para proyectos en los que
tumbra fácilmente a ser observada. A pesar de todo, los métodos de observación se incluye a individuos es muestrear a los participantes y luego observarlos confor-
por un participante deben ser sensitivos a los problemas surgidos de los efectos me desempeñan las actividades del proyecto.
de observar. Algunas veces es práctico y aconsejable combinar la observación directa con
Una parte esencial de cualquier esfuerzo observativo es un plan para regis- otros enfoques del monitoreo, pues la experiencia sugiere que la observación
trar sistemáticamente, la observa-Erdn, hecha (consúltense las obras de Schatz- directa es difícil de completar con un alto grado de confiabilidad y está sujeta a las
man y Strauss, 1973, y de , Patt , 980, para una guía de los métodos de la limitaciones descritas en párrafos anteriores.
investigación en este campo). Los observadores deben ser entrenados acerca de
cómo efectuar observaciones y cómo registrarlas uniformemente.
Las observaciones sistemáticas se pueden efectuar de tres maneras típicas. Datos del registro de servicios
El primer enfoque implica la última imposición de un esquema de conjuntos para
clasificar los eventos: el observador es requerido para que anote los eventos con Los datos del registro se examinaron en la sección en que se medía la cobertu-
tanto detalle como sea posible y en el orden en que ocurren. Esto también se ra. De la misma manera que las características de las poblaciones objeto se pueden
conoce como método narratiuo. En su forma más extrema, no se dan guías al valorar de los registros, la entrega de servicios proyectados puede ser monitoreada
observador acerca de cuáles eventos registrar y cuáles ignorar. Sin embargo, típi- por ellos (en el anexo 4.9 se describe cómo en una revista gráfica de medicina se
camente, se ha encontrado útil proporcionar al observador una lista de activida- evaluó la entrega de servicios pediátricos).
des importantes respecto de las cuales debe centrar su atención. El registro de servicios varía; puede ser equivalente a un informe narrativo o
El segundo enfoque es proporcionar al observador una guía de datos, un una forma de datos- altarnente estructurada sobre la cual el personal del proyecto
conjunto de preguntas para las cuales se requiere una respuesta del observador revise silos servicios se prestan o no, cómo se recibieron y los resultados observa-
acerca de sus observaciones. Una guía de datos puede semejar un instrumento de bles (Cernea y Tepping, 1977). Su nivel de detalle está relacionado con la com-
investigación en el que existen espacios en blanco entre las interrogantes, los cua- plejidad del proyecto y con el número de alternativas que se puedan identificar y
les deberá llenar el observador; por ejemplo, la guía de datos para observadores especificar por adelantado (véase el anexo 4.10 para un ejemplo de procedi-
que atienden clases de entrenamiento técnico puede incluir preguntas diversas, miento simple en una evaluación de la nutrición). El registro de servicios también
126 CAP. 4. MONITOREO DEL PROGRAMA 127

varía en cuanto a la complejidad en el almacenamiento y acceso; por ejemplo, Anexo 4.10. Ejecucilm de un programa
dentro del contexto clínico, los sistemas de información computarizada se han en un experunento nutricional
diseñado con base en los principios del manejo científico.
eic mplo de un_proyecto en el que cxi te una rnedicIón precisa de la
de un prograrnzl la'evaluación del fecto de la altas caloríasy:delt:5-1Cornplemen-.
An exo 4.9. Uso cfr7efrosTara
— tos ,t1e , álta. s prctcírias del Institute for Nutrition.,,oWentrát,Arraldail'and-.Panarna
evaluar un sistema de entrega para la biutries u de ArnIrieá,eéntralypa'n-arn0?e-n
rnientdfíSleó y,eld&.arrello de I ,s funcic,nes ci hgnóseitivasitle'ia ihos e'lledádi k
, p ' -
y -

El n,Vatts Health'C'éñter,(Centro de Salud !!,, atts),es ur-lt,e1itro de salud vecd,nal I colár. ,En cunpleinentos de calOríaS se pr'oporciónarón'clós yecis al
(_1e orsentaelón faMillár.e'ra•t.4 comuniclad prederninantemente défeolor día ldurante los misrnos periodos a toclos los ocupantes que lorécibteion.-E1Ingai.,
l

9
1.1 r s o '¿?Peráció.ri.09s09»,§7, -.0i0acg para la alitnehació cncontr,lba eer ca ele la ebcuela de la vi115.'F'it iaS otras
' : `

sivos y arnbulat6rios y 'aProxirnadárin'éntéS100,0:1érsláriaá qúe viven en ét á'rea de control" se proporcionó un complernento menos integradd,
pero .
tivo de 5 lilOtnetros Criadraclos y éuYos ingresoSsop Inferiores alos de lálínea féde- ` beneflco.'
‘ 1.110 _ -
5.1"1.
Todas las personas--escogidas bahían siclo venficada.s érrilbsta dél eensó de los .'
En el'registró de paclentes Se mantenía una fila . perrhanente iniciada por el miembros de la villa. Cada persona recibía su complemento, en una táza estandar
'Oliente y por todós los miembros farniliares, Este Proeso de reglstro, aun cuando cdanclodo ilabían behIclo tanto cornd habían desé.9do, la taza.era devuelta' a
-

facilithha el cuidado continuonOcomprornetía al reiStiante a utillZar el centro. 7. n • - -


miembrós quiLmes poLlían rnedir la .eánticlad ingerida, al sustraet
- En clklembre cle 1970, inia rmtéstra de 2":5%',(2 14'familias) de 2
total de la cantidad que sobraba én la taza. Corñó se lt..;piérrnitta beber tántas tazaS'''
i-.total registtada:de 11 721 famihasdue selecclonada;rrid)anteeu.so de,una.tabía colno desc asen, no había razón para que hicieraritranipa'al pasarla taZa a otras
,

sonas, aunque fueron observados ctudadosamente. • „


edacl cuando'- fue registrado la estudial,131.
• latrNylaj - --"yd - , Esos registros diarios cl n-_ spués se enviaron al INCARy, por medió de trin sist&
,

una:forma resuMida.. ' • ' ' rna computarizado, se integraron


Él cuicládo "pedlatricd,rde altá calidad e_staba pre participaba en el estudio.
,registraba en el hytorial_del ; pácieri té;:porií:i !nen9s uri*,servicio OtíPiltjii..11
; -

; Ftiertte: R n H E lát1456i
rican Acadeoy.. ,Of:Pediátries (Aeadernia estadounicienál.,:cle pecliatras), la atenCIOn tbil 1f I Ru 'r.-11 GIIMCI11.113 " . C/1 Artit,IC ,7r7 j eumul PubliSérgt/i7ilak.
pres:'enta'd, la todós lolnforni de labo rátorio a'norrnale,lás visltas subsecuentes
'

apropladas'lPaia todás lasltondíciónes clínicas signIficativasdeíectaáas. " .

Un'Ciiárto áe los niños esal <farnIlialreg¡stradás riunc a había sidó-Presehtádo


' 7
. '

para su ¿Uldadó„ n.el centrO.Ot ró'6% había silio llevado solarnente


- ' - Muchas veces, el sistema de registro de servicios es tan complejo que no se
habSa'recibido'¿uidadb médito, perO no dental..Érres.iante puede usar para los propósitos del monitoreo (un problema, como ya se señaló,
- 22%"fiabi aMlitScIó abriiédicó y al,.dentista.
l •
que satura los registros de las poblaciones objeto). Esto ocurre debido a que los
Delds_339:niños ,qt..tc. 1-labíap redbiclo por lo me 110 S alq(in culdadólnedidofervel.9,:.
,
sistemas primero se diseñan para satisfacer las necesidades admínistrativas y de
c.entrO. él:1131: 11-iábía,Preseritado ex¿lusivaniÇnte al clarto de'érnergencia. Otro..
- - -
manejo del personal del programa. En tales casos, las formas del registro no se
53% habfáyisi¡JzjO alguna oti a íiár-te,del c'entro de salud:a ineritid&adernás_de una
: • '
llenan correcta o completamente o las partes que se cree no son adecuadas para
a SOlo.con üna base digresiva. Sóló el 24% se
eshmó qüe habl arecikido Uneí r ell+alúzición rriedica cOrnpleta, la cüal cOpsistían la
l
los miembros del proyecto se completan al azar. Por un lado, existe el riesgo de
historia ékarneiT físiCri. y„, pru(4-; a_sde laboratodo (cornojó:ieciiinierídá I.á que al reunir los componentes del monitoreo se tornen demasiado molestos para
, clínica,
. • - '
- el personal del programa, se limite la cooperación del equipo de trabajo y, por
Ainerican Acaderny of Pecliatrics), —
-'-De esa manera sólo el:17% del grupo Ibtáf de mnosli3tn
:
tanto, se rinda un informe de datos resultantes incompleto y poco confiable para
Ll.spélétós ..,'elecció-fijakiii.rderéUídado los propósitos del monitoreo. Por otra parte, el registro de la información es
Un ll ;)adiCional ful'ciéficiente sólo eri las innumiii Ción'es, Corno se registró" en la -
e - poco costoso y muy eficaz. Evidentemente, su uso depende del adecuado
carta. El rhayor grupb; 8`,. o:recibi a cuidado digrepéro todas las anornialida-
?. v - entrenamiento del personal del programa para optimizar su confiabilidad al
des clínicas y de láhofatorló'habían sIdó notadas y Seguldas. En el restar-de 23% proporcionar motivación a dicho personal, y controles de calidad para asegu-
babia oc<i:11-9 'dci ¡ior Idnierialtm
.<1 _ ejeri-TIO'de segUtmierito madecuado Ind clien - rar su terminación oportuna y apropiada.
.tementé'as1":', Como con el registro de poblaciones objeto, unas cuantas series de datos reca-
badas de manera congruente y confiable suelen ser mejores para propósitos de
monitoreo que una serie más comprensiva de información, pero de dudosa confia-
bilidad y de recolección incongruente.
Una segunda regla es que, siempre que sea posible, será útil estructurar las for-
mas de registro como listas, de tal manera que el programa y su equipo de trabajo
128 CAP. 4. MONITOREO DEL PROGRAMA
129

puedan verificar varias series de datos en vez de proporcionarles una información grama diseilady paraIpdos los , n1Dos: lenguaje, motor, sgn.sybIlidad, peLr'
narratíva. Tal procedimiento no sólo reduce el tiempo de trabajo requerido por el social e r Mt7leCtual: LOs visltadores -caS- er6 -s'-dleion entrena-mlato'enlastaPas.
personal, sino también es más conveniente para el análisis ulterior. ,secuencias de todas esas áreas _ de desarrollo, además de la dlnámlc `a dela conítin.Y
La tercera regla consiste en revisar tan minuciosamente como sea posible los dad, instrucción e.n la infancia temprana, , admIntstracIón del coírlpprtémiento
registros completos para verificar su congruencia y exactítud, lo cual se debe rea- aprendizaje:-Los visltadoreS caseros,planeáron, ejecntaron y evaluarorfl antervri ,
lizar lo más pronto posible. La oportunidad para editar y los procedimientos del ción para cada`familia. Las visitas alas 'casas se planearon cop tina base Sernana! erv
control de calidad pueden señalar las omisiones y 'las congruencias. un tiernpo corwenlente para las ' rnadres. '
Es importante destacar que existen riesgos al usar el registro de servicios Además de las funciones y los papeles del -litsltadoí, 'se'pldt6 lós '‘krisitzidór
Choctaw de_senlpeñar funcloneS de,evalua, ción del programa..Tarnbién se les p9111.
como única fuente de datos. El personal del programa, con o sin intención, pue- que graduaran b situación del hogár para su estimulactón potenclakpará probár:
de exagerar el grado en que los diferentes elementos del programa son entrega- Ios niñbs y para recahar cúálqiner infdirriaciffivadiclonatillerldkPor Tos éva,lu
dos a las poblaciones objeto. Algunas veces, éste es el resultado de intereses ,dore.s para documenta , r o valorar . el proyecto,,-;[.?./...,,:,,...,,,,¿.,,,,,,--',T.,;:i.,.-1 ,--1-7
muy celosos para mantener las apariencias de eficiencia y responsabilidad;
otras, esto se puede deber al desencanto por parte del personal con respecto a F t .iente: Atado,
cin con permiso. de P. Quigley', L. Mor ns vG,arnrilJt
It i:Thii ..é-h'e,c.10-1.Htirrulr
.".,1: 9
4;4egn.tesred.Fo.7 ily Educatio,n atiorr ehavtor ARoctete3,,Tuczon:Alrzona,,i976,
los procedimientos para proporcionar ciertos servicios proyectados, aunque z
,
haya un requerimiento formal para que se apeguen a ello. Finalmente, en otras
ocasiones la interpretación"del personal del proyecto respecto de un servicio de
intervención particular diferente de aquella presentada por el diseñador del
programa o por el evaluador. Un compromiso entre una entrevista altamente estructurada o cuestionario
y una narración completa es algtina forrna dé entreVista 'semiairecta o cuestio-
1 nario semiestructurado. Este enfoque es análogo al de la gula de datos estudia-
Datos del proveedor de servicios da con el rubro de métodos observacionales; permite profundizar más en la
1 En vez de confiar en la información anotada en los registros administrativos y información, pero al mismo tiernpo acorta el tiernpo y el esfuerzo del personal
de servicíos, los administradores del programa pueden requerir del personal del prograrna.
a.,
información especial para propósitos del monitoreo (en el anexo 4.11 se muestra El enfoque niás eficaz es el uso de un instrumento de investigación altarnen-
di
ai te estructurado que se pueda completar con una entrevista o por el personal
cómo el personal obtiene datos para el monitoreo de un programa de educación
familiar en la tribu Choctaw). Algunas veces, los reportes narrativos son requeri- únicamente. Los instrumentos estructurados prestan ayuda por sí mismos para
c
dos al personal del proyecto en forma de diarios, mientras que otras, el personal la tabulación. Como en el caso de los esfuerzos observacionales,
- a menudo es
n Prudente muestrear ya sea los periodos o los encuentros con las poblaciones ob-
puede requerir al evaluador que llene o codifique formas porcentuales de la infor-
mación diaria. Los diarios se usan generalmente sólo para información de apoyo. jeto, de tal rnanera que se reduzca el trabajo del personal. Al hacer ésto es impor-
711ii tante emplear imé rnuestra representativa y dejar que el personal escoja entre los
periodos o las poblaciones objeto particulares para sujetos de investigación, ya que
et]
de otra forma se corre el riesgo de estimular al personal para desviar intencional-
rii, A
—'nexo .s.-71';ítadó-res Caseros Mente la explicación'de la ejecución del .proyecto.
fuente de iriforrnaCión para el monítoreo
proyecto de iriforrnación familiar
s<1
Datos de los partícipantes en el programa
tcr El'F'royecto ‘ de educación tamul mu centrado'iyunt . iilciráo Linuliárje"li±p,Ct01;..
ái dernós,trO;. la existencta cie un rnocielo..de educación tei`npraiidfuncionai El último enfoque para colectar inforrnación con fines de monitoreo es obte-
po niral de una reervación..Elpecíficarrienté, pbjetívOftte ernplear:átin visitante:',1 ner datos acerca de la entrega del programa de los participantes. Tal información
tc cascro Choctaurpara que traba)ara con la madre o con sus sustttutos a fin de esta-
blecer 'un medto que esnroulara el desarrollo cognocitivc3/441:14tniñosChoetav, , des-
es valiosa no sólo debido a sus diferentes perspectivas desde las que se ofrece,
t
de su nacirn - i-ento ha-sta la edad de cuati- '6 años. sino tarnbién, entre otras razones, porque puede ser el único medio para conocer
.La iita al hOgar in strucci o nal fue élcornponente princlpaluttlizadoparaman- lo que actualmente se entrega. Los datos de los participantes pueden servir a los
t tener contaao con los chentes faMiliarel EheEte enfoque, la intéración entre la proveedores para conocer lo que es importante para los clientes, incluidos su
rfiadre y el niño fne el enfoque centiál, El visitador casero clemostraba _ las tecnicas. satisfacción y aceptación de la intervención.
instruccIonale_s; su comportarniento-,sirYró .i,cornp_ modelo de aquellas actitucle_s-y Puede haber disparidades en muchos programas entre los servicios y las
práctIcas' que se'Comunicaban a las rnádres.-gl y lsitadOr casero y las madres fueron intervenciones proporcionadas y aquellas actualrnente recibidas o utilizadas,
ti etirnuladOs para'adaPtar la in-_--tru'cctón a los tiLiteriales cas.eros u al estilo como se ha demostrado en la bibliografía acerca de planificación familiar; por
_
de la madte La . estimulación co g noscuiva propuesra ocumo como parte oei pro- ejemplo, como parte de un programa cle eclucación técnica, los participantes
130 CAP. 4. MONITOREO DEL PROGRAMA 131

pueden recibir guías de estudio, ejercicios, manuales y equipo para utilizarlos „Con calidad del culdado rnéclicó recibid0"
fuera de clases. Mientras que el personal del proyecto puede creer que éstos se
emplean como se planeó, reahnente éste puede no ser el caso. Para tales proyec- -0óri T- S,. E:C-rótiaPláeériCia'',,deLdaetdr -para
to "s, puede ser crítico inquirir a los participantes para conocer si ciertos servicios PaCien'teáCerea'idé-sii,-Sálud
se usaron o incluso si se recibieron. , Tales- datos de los participantes pueden tam-
bién ser generados por medidas que indirectamente prueben si los servicios se •
FuentTomackrde s,.titá¿t147-,
recibieron, tales como asignaciones extraescolares consistentes en calcular las mparative w'ñd: Soc ia I Behai;Jor:ndlikl,16-; :e-4.1th
distancias y convertirlas a los valores estándares. En ese caso, no sólo se podría - ,
prgso cerks,autorizacsén. . 'Teas.2f..m
entrevistar a los párticipantes de modo que se considerara si usaron o no los

servicios de la manera asignada, sino también se podría probar si pueden o no
cumplir razonablemente con las tareas quienes al aprender tenían 1111 mejor
desempeño en los servicios en cuestión. Anexo 4.13. InvestigaCión comunitaria
El análisis previo acerca del acceso destacó que a veces la satisfacción del en Kansas City para determlnar los efectos
participante hacia un programa 'es un indicador clave para la ejecuCión del pro- -de runalinte 'ención '
grama de monitoreo. Evidentemente, los participantes son la fuente de informa-
ción única y apropiada. En el anexo 4.12 se proporciona un ejerriplo de estudio aleatoria de las familias se diseñó para exarninar sels
de la satisfacción del cliente con respecto a los servicios médicos, y en el anexo tos;génerale'clé.-19s posiblelt..etectdtall experimento sotgre té corpunIdad:„;
4.13 se muestra cómo se empleó una investigación cornunitaria en el experimen-
to de Karisas City, cán el fin de examinar su efecto en una comunidad grande. Percepción del cludadartO-a¿eica de la px-obab11144,de'ser:Mcttn-la de-'t
rapto, asaltb, robo de autO '',5ae'CrUnen V'solen't6Y.MP"-eé'tó'dé
yeaeral del yecsndarlo.
i1nexo 4 12. sátisfacción del' cónsumicior Grado'éri:qUé:los citidadanos'se Protegena_sl .9:_pledades
con respecto a un grupo practicarite pagado junto con. las rnedlclas protectoiallomadá . • .

3. Los ciudadanos
„ percibieron las neceslclades de-oficlales .d. e policra,.dg
- - -
rondas efectaadas por patrullas de policiay dé patrullas de policía agre,
satIsfáCCión del paeienté con la""entrega
- tatle
, prAttco gruPal.pagado, y los datos„.cortsparatiyOs,de_tírifiálanaltenOW.dese,guro
13 I u'e:Cross:(Clu
:2_,?Az3.11) ; , se obtuVieerOn,:iaediante,,lnV0.1gl'ciót111-4 4; Las percepciones de los ciudadanos acerca de las reputacio ,neS de-ios
les de policta, de la efects yldad etó de 15s ciudadanos p"Cd-
:resaltadb.s- (seuiclos del -problerna ctiet'ionado) •se r'esumen
,los pohcías '
..t'411.1:,-,11111:415:11111,11filffiblás11:1-t111411!:1:'j11:210-1'ir, 5. Las pertepckinei'de los ciudáctIOS :ac-er4*. e a conducta'de
e Y't de la beindad"si tíatarniento hactalo ciudadanos-
Lás percepciones y satisfacciosils'.'
ólIcla
',11-f¿di-cji5h cusail acet
VS--r

Proporclbrrde,encUesta oS1-1191141,1111ilisb,11.111tio:1-14..áfíiti
,i pasacio
tPorcentaje maYrIattlféttidléfitre.jol'enuelta
1 ro—rt:sery- ic-los; el año pasádii'lrf',:-<1,1-,"."
Conaha cantSd,-.1d,cle pri yáCía é.thlay.;Oficjpg;... el:'.¿Ilopy:::. Finalmente, Nicholson y Wright (1977) han demostrado que en intervencio-
-CO:iltierta cantidacl. de , tiempo .: 5.301.:,;'.4.),fillgOI:diillt nes que implican tratamientos complejos es importante asegurar que los partici-
paciente pantes comprenden tal tratamiento, las reglas operativas del programa, etc. En
pon preocupacIót?4déktfoc >' tor por la sa- lud del pacite, 70 resumen, es necesario establecer no sólo que los servicios diseñados han sido
iCon.atención fina'y:persónal . interé en él paciente , : 67..' entregados, sino también que fueron recibidos, utilizados y comprendidos como
,Con,,cderta cantidad -de información dada al paciente acerca,.'",'' se intentó. La información proveniente de los participantes se debe obtener
. 1.,-cle su salud-: 64 mediante cuestionarios autoadministrativos o por medio de entrevistas. Los par-
león entrenaíniento .del doctor y.competencia técnica --, :-'•
Con la arnistad dél.-doctor - ' .... -,
ticipantes deben ser muestreados de alguna manera sistemática o definitivamen-
Con atenclón arnistosa de recepclonistas, eaferméras, te realizar un censo completo.
.81
132 RETROALIMENTACIÓN DESDE EL MONITOREO 133

ANÁLISIS DE LOS QATOS DEL MONITOREO datos del monitoreo proporcionan lineamientos acerca de la congruencia entre el
diseño del programa y su ejecución. A menudo se recomienda que sean recolec-
En general, el análisis de los datos del monitoreo muestra los problemas tados antes de la firma de un compromiso, para realizar un análisis de la repercu-
siguientes: la descripción del proyecto, la comparación entre los sitios y la con- sión, aun cuando puede ser necesario que se realicen de forma paralela con el
formidad del programa. análisis de la repercusión, pues un estudio del monitoreo llevado en avance no
puede proporcionar evidencias válidas de la conformidad del diseño una vez que
el proyecto se efectúa.
Descripción del proyecto Las evaluaciones del monitoreo realizadas para proyectos administrativos y
de contabilidad suelen ser retroalimentadoras para los administradores del pro-
Una cuestión importante es en qué grado el programa puesto en marcha se yecto y para el personal en una base continua. Para un proyecto establecido que
asemeja en los detalles cruciales al programa diseñado. Una descripción del actual conlleva un conjunto continuo de evaluaciones emprendidas, la fluctuación y los
proyecto derivada de los datos del monitoreo podría abarcar los temas siguientes: cambios en el tiempo pueden permitir rediseriar o depurar los programas y reva-
las estimaciones de la cobertura y desviación en la participación; los tipos de servi- lorar la extensión en que el conjunto de objetivos y la ejecución del proyecto
cios entregados y la intensidad de los servicios prestados a los participantes de necesitan una modificación. Sin embargo, el evaluador no puede asumir que el
géneros significantes, y las reacciones de participantes a los servicios entrega- mero hecho de proporcionar información asegura su uso. Así, como se verá en
dos. Las manifestaciones descriptivas podrían tornar la forma de explicaciones el capítulo 9, se requiere estar relacionado con la máxima diseminación y el
narrativas, especialmente cuando los datos del monitoreo se derivan de fuen- empleo del monitoreo, cuestiones que por sí solas implican una evaluación.
tes más cualitativas; sin embargo, los análisis cualitativos son más útiles. Además
los métodos y las medidas de análisis complejos se han diseñado más seguido
(consúltense Miley et al., 1978; Heumann, 1979).

Comparación entre los sitios


Cuando un programa incluye más de un sitio surge una segunda cuestión
concerniente con las díferencias de la ejecución del programa entre los sitios.
La comparación permite comprender la diversidad de las fuentes del proyecto,
como personal, administración y diferencias entre las poblaciones objeto o
entre el ambiente contextual del programa, y también puede facilitar los esfuer-
zos para lograr la estandarización. Además, las diferencias entre los sitios pueden
proporcionar pistas acerca de por qué los proyectos en algunos sitios pueden ser
más efectivos que los de otros.

Conformidad del programa


Desde luego, el tercer problema es el grado de conformidad y convergencia
entre. el diseño del programa y su puesta en marcha. Las discrepancias entre
ambos pueden conducir a especificar de nuevo al diseño del proyecto o a esfor-
zarse en centrar el inicio del proyecto más en su diseño. Tal análisis permite juz-
gar la adecuación de una evaluación de la repercusión y, si es necesario, optar
por una evaluación formativa, de manera que se desarrolle la convergencia
necesaria.

RETROALIMENTACIÓN DESDE EL MONITOREO


Como ya se mencionó, los datos del monitoreo tienen múltiples usos, lo cual
depende de quién ha financiado el monitoreo y del estado del desarrollo del prá-
grama. Cuando se realiza como parte de una evaluación más comprensible, los
Estrategias
para evaluar
la
repercusión
La evaluación de la repercusión tiene por objeto establecer, con tanta certeza como
sea posible, si una intervención produce p no los efectos intentados. Dada la naturaleza de
las actividades científicas, dicha estimaPión no se puede hacer con mucha certeza, sino
sólo dentro de los límites de error y con diferentes grados de factibilidad. Para reducir
dichos errores y aumentar la factibilidad de las estimaciones de efectividad, la evaluación
de la repercusión se debe emprender tan sistemática y rigurosamente como sea posible.
Sólo de esta manera el evaluador podrá identificar los efectos de una intervención.
Las consecuencias de los programas sociales son valoradas mediante la compara-
ción de la información disponible acerca de los participantes y de los que no participan,
antes y después de la intervención, o mediante otros diseños de investigación menos
eficaces. Sin embargo, las consideraciones esenciales implican el rechazo sistemático
de las alternativas, explicaciones competitivas para otros resultados observados que
no forman parte de la intervención.

CONCEPTOS PRINCIPALES

Factores de confusión: Variables extrañas que resultan en efectos significativos


que disimulan o exageran los "verdaderos" efectos de una
intervención.
Efectos resultantes brutos: Medidas totales de la repercusión encontrada en una eva-
luación, sólo parte de la cual se podría deber a la interven-
ción.
Efectos resultantes netos: Repercusión de una intervención, después que los efectos o
factores de confusión se han retirado.
Medida aproximada: Variable empleada para "sustituir" a otra difícil de medir
directamente.
Confia Grado en que las marcas son reproducibles en administra-
ciones repetidas, con el supuesto de que todos los .facto-
res adecuados son iguales.
Efectos estocásticos: Medidas de las fluctuaciones atribuibles al azar.
Medidas válidas: Medidas para las cuales existe la evidencia o presunción
que refleja el concepto que se intenta medir.

135
136 CAP. 5. ESTRATEGIAS PARA EVALUAR LA REPERCUSIÓN RELACIÓN DE LAS INTERVENCIONES 137

Los obstáculos para valorar la repercusión se originan en fuentes diversas, a sa- cualquier meta. Todos los programas efectúan algo más que sólo dejar ingresos a
ber: primero, el mundo social es complejo, y muchos fenómenos sociales tienen sus diseriadores y administradores. A menudo, como Chen y Rossi (1980) sugie-
múltiples orígenes y causas. Con tantas "partes cambiantes", la severidad de un ren, el científico social perceptivo, en su conocimiento general del trabajo de la
problema social puede estar influida por numerosas circunstancías, además de sociedad actual y de sus organizaciones, puede hacer deducciones razonables
aquellas que contiene el programa. Segundo, las teorías y las generalizaciones acerca de cuáles efectos se pueden esperar y formular las presunciones de trabajo
empíricas de las ciencias sociales son débiles e incompletas. Es difícil diseñar mode- del programa y el adecuado conocimiento de la ciencia social; sin embargo, el
los de los fenómenos sociales que sirvan adecuadamente corno marco dentro del principal serialamiento que cabe hacer aquí es que tales metas se deben especifi-
cual las valoraciones de la repercusión se puedan emprender. Tercero, no cabe car antes de valorar la repercusión.
esperar que los programas sociales tengan más que una repercusión poco signífi- No se puede soslayar la dificultad de emprender evaluaciones de la repercu-
cativa en el mundo social. Un programa de bienestar no se puede ver como la sión. Mientras las reglas fundamentales para realizarlas estén bien establecidas, el
solución para erradicar la pobreza, ni un programa de rehabilitación criminal evaluador deberá fomentar constantemente la cooperación del equipo de trabajo
puede ser totalmente exitoso para cada caso. Más a menudo, cabe esperar que los y de los particípantes objetivo, además de presionar para obtener resultados
efectos sean pequeños y difíciles de medir o detectar. Por último, algunos programas oportunos y no ambiguos.
sociales son especialmente difíciles de -valorar, debido a que han funcionado
durante un periodo largo. Los programas actuales que abarcan a vastas poblacio-
nes objeto sólo se pueden valorar si se efectúan presunciones heroicas que fre- RELACIÓN DE LAS INTERVENCIONES
cuentemente afectan la credibilidad de los contribuyentes. CON LOS RESULTADOS
Existen dos puntos en el proceso de evaluación total en los que es especial-
El problema de discernir la efectividad de un programa es semejante al de
mente importante valorar la repercusión. El primero (y tal vez el más significativo)
establecer que el programa es la "causa" de algún efecto específico. Por tanto, al
está en la prueba de nuevos prograrnas propuestos o en los cambios propuestos a
determinar las cantidades esenciales de repercusión se establece la causalidad.
los ya existentes. La cobertura en esos programas suele ser parcial, y a menudo es
Muchos problemas espinosos y graves se relacionan con el concepto de causali-
imposible realizar experimentos que proporcionen estimaciones parciales definiti-
vas de los efectos del programa. dad. Aquí se aceptará que el rnundo es una entidad ordenada y llena de leyes, y
El segundo punto es la revisión de los progr.amas actuales. Aun cuando que "A es causa de B" como una regla válida.
parezca que un programa establecido funciona bien o por lo menos sin fallas En las ciencias sociales, las relaciones causales se establecen generalmente
evidentes, los evaluados o el personal del programa generalmente desean esti- de una manera probabilística; así, la regla de que "A es causa de B" suele signifi-
maciones plausibles acerca de qué tan bien el programa cumple con los pro- car que si se incluye A, B será más probablemente el resultado que sí no se hicie-
pósitos. Por otra parte, las cosas no son siempre conno aparentan ser: las se de ese modo. La regla por sí misma no implica que B siempre resulte si se
observaciones sistemáticas y objetivas frecuentemente contradicen la impre- incluye A, ni significa que B sólo ocurre después de incluir a A. La frase "es más
sión general. Los políticos quizá necesiten resultados de las evaluaciones de la probable que ocurra" significa que la probabilidad de B, dada A, es más alta que
repercusión para justificar la expansión de lo que puede ser un recurso en la probabilidad de B, con A ausente.
expansión, obligado por la competencia persistente en cuanto a fondos o por Considérese el ejemplo siguiente: la inclusión de proyectos de entrenamien-
las presiones políticas de los diversos grupos interesados. Los administrado- to voluntario para el empleo, para adultos, puede reducir la cantidad de desem-
res del programa necesitan contar con los resultados de la repercusión para pleados entre la gente con pocas habilidades, por lo menos en un corto plazo; es
aprender a mejorar sus programas e incrementar su efícacia. decir, es más probable que el desempleo decline con la presencia de tal programa
Como se destacó en el dapítulo 2, los requisitos previos para valorar la reper- que con su ausencia. Sin embargo, ningún programa de entrenamiento, por más
cusión de una intervención son los siguientes: primero, tanto el proyecto debería bien diseñado que esté, erradicará por completo el desempleo. Algunos adultos
tener sus objetivos lo suficientemente bien articulados para permítir identificar la simplemente rechazarán aprovechar la oportunidad ofrecida; otros serán incapa-
obtención de las metas, o el evaluador debería establecer sus objetivos; segundo, ces de beneficiarse (debido a enfermedad, incapacidad, inhabilidad u otras obli-
la intervención debería haber sido lo suficientemente bien ejecutada para que no gaciones) , aun pensando que están deseosos. Aún más, los niveles de desempleo
quepa duda de que sus elementos críticos han sido entregados a las poblacíones son influidos fuertemente por las vacantes. Desde luego, si no hay trabajos, los
objeto apropiadas. Obviamente, esto podría ser una pérdida de tiempo, esfuerzo desempleados no podrán ser abarcados por la fuerza laboral, no importa qué tan
y recursos para estimar un programa que carece de metas medibles y que no se bien entrenados estén.
ha ejecutado propiarnente. Un programa de entrenamiento no es también la única manera de reducir
La tarea de elegir los objetivos o de alcanzar un consenso con ellos se puede el desempleo de trabajadores poco habilidosos. Las oportunidades de entre-
manejar con una o varias de las técnicas descritas en el capítulo 2. Díscemir acer- namiento en el trabajo deben estar disponibles, los trabajos especiales de
ca de un conjunto de objetivos para un programa dado no es una tarea imposible, "refugio" pueden ser creados para que los trabajadores capaces adquieran
aun cuando los evaluados no convengan en las metas o incluso níeguen que haya experiencia mientras trabajan y aprenden, etc. Por ello, la valoración de si un
proyecto de entrenamiento para el empleo específico puede incrementar o no
138 CAP. 5. ESTRATEGIAS PARA EVALUAR LA REPERCUSION OBLIGACIONES AL VALO1RAR RESULTADOS 139

los empleos se complica porque las direcciones del empleo responden a esto, el evaluador deberá aclarar los efectos de los resultados brutos mediante la
muchos factores, entre los cuales el programa de entrenamiento específico es depuración de los elementos contaminantes, conocidos como factores de confu-
sólo uno. sión o factores combinados. Éstas son las "causas" extrañas que se completan
De lo anterior se infiere que el problema crítico al evaluar la repercusión es si con los esfuerzos de una intervención para explicar los cambios en la población
el programa produce o no más de un efecto o resultado que podría haber ocurri- objeto o en el problema objeto después que el programa se ha puesto en marcha.
do sin la intervención o con una intervención alterna.

Factores combinados extrailos


RESULTADOS BRUTOS EN OPOSICIÓN
A RESULTADOS NETOS Los factores de confusión varían de acuerdo con el fenómeno social en
cuestión. Así, cabría esperar que una intervención diseñada para mejorar los
El punto de partida para valorar la repercusión es la identificación de una o hábitos nutricionales de las familias podría competir con procesos distintos de
más de las medidas de los resultados que representen a los objetivos del pro- aquellos que afectan al programa para mejorar las habilidades ocupacionales
grama. Así, al estudiar un programa diseñado para incrementar la cultura en el de la gente joven. En despecho de las características idiosincrásicas de cada
adulto, los objetivos del programa se pueden representar como aquellos que programa y de las características especiales de la población objeto por abarcar,
aumentan las notas de lectura con base en una prueba estándar de habilidades ciertos procesos son lo bastante generales para ser identificados como competi-
educativas. El programa se puede considerar exitoso si, después de aplicarlo, dores potenciales en cualquier intervención (Campbell y Stanley, 1966; Cook y
las notas de los participantes son más altas de lo que cabría esperar en los que Campbell, 1979). A continuación se describen varios de estos procesos.
no participaron en él (la manera de medir los resultados se estudiará más ade-
lante, en este capítulo).
Se debe efectuar una distinción entre resultados brutos y resultados netos. Cambios endógenos
Los resultados brutos son aquellos cambios en la medida de los resultados que se
observan después de que un programa ha estado funcionando. Así, los resulta- Los programas sociales funcionan en escenarios en los que las secuencias
dos brutos medidos en el programa de cultura para adultos son el incremento en ordinarias o "naturales" de eventos influyen en los resultados; por ejemplo,
las notas de los participantes en su nivel de lectura, lo cual resulta del programa y muchas personas que se recobran de condiciones agudas lo hacen así "natural-
de cualquier número de otras influencias (por ejemplo, la introducción simultá- mente" , un cambio endógeno al que los médicos y los investigadores llaman
nea de la televisión educativa en las comunidades en cuestión). Por otra parte, remisión espontánea. De este modo, los experimentos médicos que prueban la
los resultados netos son los que se atribuyen a la intervención, libres y claros validez de un tratamiento para algunas condiciones patológicas (por ejemplo,
de los efectos de otras causas en el contexto del programa. la gripe) deben distínguir su efectividad del hecho de que numerosos pacientes
En términos simbólicos, la relación que existe entre los resultados brutos y se recobran espontáneamente sin tratamiento.
los resultados netos se puede expresar como sigue: Asimismo, al probar los efectos de una intervención social se debe tener en
cuenta que la condición para la cual la intervención se ve como un remedio pue-
Efectos de la intervención Efectos de los factores de de cambiar su propia espontaneidad. En consecuencia, un programa para entre-
Resultados brutos = (resultados netos) confusión nar a los jóvenes en habilidades ocupacionales específicas debe competir con el
hecho de que alguna gente obtendrá las mismas habilidades de maneras no con-
Así, un beneficio detectado en las medidas de la cultura en las observaciones templadas por el programa. Igualmente, un programa para reducir la pobreza
anteriores y ulteriores de un grupo de personas que hayan participado en un pro- tiene que considerar que algunas familias e individuos podrán mejorar su posi-
grama de cultura para adultos (resultados brutos), está constituido por dos par- ción económica sin ayuda del proyecto.
tes: por los efectos del programa (resultados netos) y por los efectos de los otros
eventos, experiencias, etc., que influyen en el aprovechamiento durante el perio-
do en cuestión (factores de confusión). Vertíente secular
Relativamente, las tendencias a largo plazo en la comunidad o el país en
OBLIGACIONES AL VALORAR cuestión pueden producir cambios que mejoren o enmascaren los efectos de
RESULTADOS NETOS un programa. Por tanto, en un periodo en que el rango de nacimientos de una
comunidad declina, puede parecer que un programa diseñado con el fin de
Como los resultados brutos reflejan no sólo los efectos de una intervención, reducir la fertilidad en esa comunidad es efectivo, pues la tendencia natural de la
sino también los de otros procesos que ocurren al misrno tiempo, al valorar la fertilidad es hacia abajO. Otro programa diseñado para mejorar el grado de cali-
repercusión se deben estimar los efectos netos de la intervención. Para realizar dad de la vivienda puede parecer adecuado, debido a que la tendencia nacional
140 CAP. 5. ESTRATEGIAS PARA EVALUAR LA REPERCUSIÓN OBLIGACIONES AL VALORAR RESULTADOS 141

respecto al ingreso real capacita a cualquiera para obtener más recursos en su En algunos programas voluntarios, la autoselección puede ocurrir involunta-
vivienda. Tal vertiente secular puede también enmascarar los efectos del progra- riamente, desde el punto de vista de los participantes, como resultado de las
ma; por ejemplo, un proyecto para incrementar la producción de la cosecha puede acciones políticas o administrativas. Considérese el caso de una comunidad que
parecer que falla, debido a que las condiciones del tiempo permiten desarrollar por medio de su gobierno municipal busca "voluntarios" para un programa de
condiciones de crecimiento pobres durante un periodo del programa. Asimismo, mejoramiento de la tubería de desecho, mediante la instalación de una infraes-
un programa diseñado para proporcionar oportunídades de empleo a ex convictos tructura apropiada y técnica. Aunque los miembros de la comunidad no partici-
puede parecer que no es útil, debido a la coincídencia de un periodo de depresión pen voluntaria e involuntariamente, todas las personas que viven en el área serán
en el mercado laboral. sujetos a "tratamiento" y por tanto, podrán beneficiarse con el programa. Asimis-
mo, en la adopción de una nueva (y presumiblemente no probada) versión del
libro de texto para los niveles elementales escolares, los alumnos individualmen-
Euentos de interferencia te considerados no son voluntarios para usar el libro. En este caso, el "voluntaria-
do" lo efectúa la escuela o el sistema escolar.
Al igual que las vertientes seculares a largo plazo, los eventos a corto plazo Procesos similares en el trabajo, pero en dirección opuesta, llevan al abando-
pueden producir mejoramiento o enmascaramiento de los cambios. Un temblor no diferenciado. Así, rara vez se da el caso de que la participación en un tratamien-
de tierra que interrumpe las comunicaciones y dificulta la entrega de productos to la realicen hasta el final todos los participantes. Los abandonos en su proporción
ali menticios puede interferir con un programa nutricional. El pacto de guerra con varían de proyecto a proyecto, pero casi siempre son inquietamente significativos.
otra nación puede hacer aparecer a un programa como mejorador de la comuni- Los sujetos que abandonan un programa pueden ser diferentes de aquellos que
cación local y de la cooperación (o sea, efectivo) cuando la potencial crisis forta- permanecen hasta el fin. F'or una cosa, aquellos que se benefician en forma clara
lece la unidad de los miembros de la comunidad. de la intervención probablemente permanecen o son estimulados para quedarse,
mientras que quienes hallan poca recompensa o dificultades con el proyecto pro-
bablemente lo abandonen o se desanimen de seguir participando en el programa.
Tendencias de moduración Aunque varios autores han identificado adicionales factores combinados
(consúltense especialmente Campbell y Stanley, 1966, y Cook y Campbell, 1979),
Los programas diseñados para personas en vías de cambios durante su infan- éstos se aplican primero a condiciones de laboratorio o se encuentran rara vez.
cia, niñez o adolescencia (de hecho, cualquier población objeto de cierta edad) Los factores de confusión extraños que se acaban de mencionar son sólo aquellos
tienen que enfrentar el hecho de que, con el tiempo habrá cambios significativos a los cuales un evaluador debe estar alerta, particularmente al diseñar la investi-
en las vidas de los individuos. En consecuencia, la evaluación de un programa gación de la valoración de la repercusión.
educativo diseñado para incrementar la capacidad de manejo del lenguaje de
niños pequerios tiene que estar compensada por el hecho de que tales capacida-
des se incrementan con la edad. Asimismo, la efectividad de una campaña para Erv-or en la medida
incrementar el interés en los deportes entre jóvenes adultos se puede enmascarar
por una declinación en el interés que ocurre cuando los jóvenes adultos ingresan Los factores combinados que se han examinada no están equivalente ni uni-
en el mundo laboral. La tendencia a la maduración puede afectar también a los formemente distribuidos en todas las evaluaciones de la repercusión; están pre-
adultos: un programa diseñado para mejorar las prácticas de salud preventiva sentes o ausentes según el área implicada. Así, quizá no se tenga mucho que ver
puede parecer ineficaz, debido a la declinación de la salud con la edad. con los efectos de maduración en un estudio de incipientes trabajos potenciales
por beneficios del desempleo, pues generalmente se dan a adultos que empiezan
su vida laboral durante periodos relativarnente cortos. Sin duda, los efectos de
Autoselección rnaduración son más importantes para éstudiar la repercusión del desarrollo inte-
lectual de programas dirigidos a niños preescolares.
Tal vez la obstrucción más seria para valorar la repercusión de la interven- • POr otro lado, los errores en la medición están siempre presentes. Afortu-
ción es el hecho de que las porciones más fáciles de alcanzar de una población nadamente, el conocimiento de esos "efectos del método" es más completo que
suelen ser también las que cambian en la dirección deseada, debido al potencial el conocimiento de los factores combinados. Por tanto, es posible estimar y
diferente del objetivo por cambiar. Desde luego, los proyectos basados en la algunas veces compensar tales errores, mientras que la extensión de los efectos
cooperación voluntaria de los individuos, familias u otras unidades probable- cornbinados extraños siempre es problemática. En el apartado siguiente, el
mente son más afectados por los procesos de autoselección. Así, un proyecto énfasis se centrará en dos de los errores rnás prevalecientes en la medición: los
diseñado para mejorar las habil idades vocacionales parece más atractivo a perso- efectos estocásticos y la no confiabilidad.
nas interesadas en mejorar sus habilidades ocupacionales. Tales personas son,
probablemente, las que administran el mejoramiento de sus habilidades, sin
importar si se inscriben o no en el proyecto.

142 OBLIGACIONES AL VALORAR RESULTADOS 143

Efectos estocásticos nados. Al obtener nula desviación y precisa estimación de los efectos netos del
proyecto, es necesario tener en cuenta a los elementos de confusión.
En cualquier esfuerzo para medir, la fortuna o las fluctuaciones al azar deno- Otro rnedio para resumir los problemas examinados en esta sección es
minadas procesos estocásticos, pueden hacerlo difícil de estimar si un resultado mediante la fórmula siguiente:
es lo bastante significativo para garantizar la atención. Estas variaciones resultan
del hecho de que cada serie de observaciones son una muestra de una población -Cambios endógenos
Vertiente secular
objeto o de todos los posibles ensayos de ese proyecto. La teoría del muestreo Efectos netos = [Resultados brutos] — Eventos de interferencia + [Efectos
aplicada apropiadamente describe cuánta variación cabe esperar y cuán a menu- Tendencias de maduración — estocásticol
do se debe esperar de una magnitud específica, dados numerosos muestreos Autoselección
extraídos con métodos probabilísticos (Kish, 1965; Sudman, 1976). Al aplicar Efectos de no
confiabilidad
los resultados de pruebas estadísticas apropiadas, se puede estimar cuán a menu-
do puede ocurrir un resultado dado sólo por azar, aun bajo el supuesto de que el La valoración de la repercusión se delinea por esta fórmula; es necesario
resultado verdadero es cero. De este modo, un efecto dado (por ejemplo, una di- mejorar las medidas de producción bruta, para lo cual se deben estimar la mag-
ferencia del 5% en la producción de una cosecha para granjeros que han adoptado nitud y dirección de los procesos de confusión posibles. De hecho, cada efecto
una nueva fórmula de fertilizante) se puede ver como un resultado improbable del de confusión puede ser positivo o negativo numéricamente. Por fortuna, no
programa en el cual el "verdadero" efecto es cero. La significación estadística de siempre es necesario estimar la magnitud de cada uno de los siete factores de
un resultado particular se estima al compararlo con lo que cabría esperar por azar, confusión por separado. Más bien, mediante el uso de diseños de investigación
cuando se muestrea de un conjunto hipotético de ensayos en los cuales el "verda- apropiados es posible desarrollar buenas y adecuadas estimaciones de ra reper-
dero" efecto es cero. cusión combinada de los efectos que la enmascaran.

No confiabilidad
Investigaciones relacionadas con factores enmascaradores
Los procedimientos de acopio de datos siempre están sujetos a cierto grado
de no confiabilidad. La confiabilidad de una medición está definida como el gra- En este resumen del estudio de las necesidades para valorar la repercusión,
do en que marcadores idénticos o los valores se pueden obtener como medición se considerwl algunos de los efectos enmascaradores que se podrían originar
en colecciones repetidas de datos con los mismos sujetos. Una gran fuente de no fuera del esfuerzo evaluativo y en la medición de la repercusión misma. Espe-
confiabilidad son los instrumentos de medición; por ejemplo, muchas medicio- cialmente en evaluaciones que requieren esa medición especial y que se lleve
nes actitudinales revelan baja confiabilidad cuando se aplican al mismo sujeto o a más allá de lo que se genera comúnmente, existe el riesgo de que esos factores
sujetos similares. La prueba o situación de medida, la confiabilidad en el entrevis- enmascaradores adicionales sean una inquietud; no obstante, cabe señalar que
tador u observador o aun el humor variable del sujeto también contribuyen a la tales efectos son significativos.
no confianza. No existen reglas precisas o rápidas de aplicar acerca de los níveles
aceptables de confiabilidad; sin embargo, las mediciones generalmente pierden
su utilidad cuando su reproducibilidad decae debajo de 75 u 85% (consúltese Efecto Hawthorne
Blalock y Blalock, 1968, con el fin de conocer los medios para estimar la no con-
fiabilidad). Nótese que la variación estocástica y la no confiabilidad están separa- En un experimento famoso, un intento para determinar los efectos de la va-
das y tienen distintos efectos en el diseño. riación en la intensidad de la luz sobre la productividad de mujeres que se dedican a
El empleo de mediciones no confiables de resultados disimulará cualquier ensamblar pequeñas partes electrónicas (Roethlisberger y Dickson, 1939), se des-
efecto real que un proyecto pueda tener. Cuanto más poco confiable sea una cubrió que cualquier cambio en la intensidad de la luz, ya fuese positivo o ne-
medición, mayores serán las diferencias actuales para indicar un resultado signifi- gativo, incrementaba la productividad de las trabajadoras. El efecto Hawthorne
cativo. Como la confiabilidad es un problema constante al medir resultados, se (nombrado así por el sitio donde se realizó el experimento) fue interpretado por
examinará con mayor detalle al final de este capítulo. los experimentadores como resultado del experimento, lo cual incluía observa-
ciones continuas de los miembros trabajadores. Roethlisberger y Dixon razonaron
que los trabajadores tomaron el hecho de que habían sido señalados como un
Fórmula para valorar la repercusión grupo experimental y consíderaban a toda la atención mostrada por los experi-
mentadores como una serial de que la empresa estaba interesada en su bienestar
Un resultado bruto es el derivado de todos los elementos estudiados con personal. Su respuesta fue desarrollar un alto nivel de trabajo grupal e incremen-
anterioridad más los efectos netos o "puros" del proyecto; el resultado bruto está tar su productividad. El resultado medido por el experimento fue una combina-
siempre en función de los efectos netos del programa y de los elementos combi- ción de la intervención (iluminación incrementada), la entrega de la intervención

144 CAP. 5. ESTRATEGIAS PARA EVALUAR LA REPERCUSIÓN OPCIONES EN EL DISEÑO 145

(concerniente, por una parte, a la administración y a la presencia de los experi- efectividad, aun cuando todos implican establecer "controles". A continuación se
mentadores en el sitío de trabajo) y la observación constante. mencionan estos enfoques y se analizarán detalladamente en los dos capítulos
El efecto Hawthorne no es específico para experimentos sociales; también siguientes:
puede estar presente en cualquier circunstancia en la que los sujetos a ella sean
humanos; por ejemplo, en los experimentos médicos, especialmente aquellos Controles aleatoríos. Las poblaciones objeto se dividen al azar en un gru-
que implican tratamientos farmacológicos, el efecto Hawthorne se conoce como po experímental, y se les administra la intervención y los "controles aleato-
efecto del placebo. Los sujetos pueden ser afectados tanto por el hecho de saber rios", los cuales no están sujetos a la intervención.
que reciben tratamiento como por el tratamiento mismo. Así, la evaluación de la Controles construídos. A las poblaciones objeto que se da intervención
efectivídad de un nuevo analgésico (destructor del dolor) generalmente implica son confrontadas con un grupo "equivalente", llamado de controles cons-
tanto un control con placebos, consístente en un grupo de pacientes a quienes se truidos, apartados de la intervención.
da esencíalmente medicación neutral (píldoras de azúcar), como cierto control de Controles estadísticos. Las poblaciones objeto partícipantes y no partici-
píldoras "estándar" comúnmente prescritas. La efectividad del analgésico es medi- pantes son comparadas, y se asientan las constantes diferencias estadístí-
da por cuanto más consumo se reporta para la nueva droga, en comparación con cas entre ambos grupos.
el informado para aquellos que consumen el placebo o las píldoras estándar. Controles reflexívos. Las poblaciones objeto que reciben la intervención se
Una análisis reciente del experimento Hawthorne (Franke y Kaul, 1978) comparan entre sí, medidas antes de la intervención.
despertó serias dudas acerca de si el trabajo efectivamente demostraba cualquier Controles genérícos. Los efectós de la intervención entre las poblaciones
efecto Hawthorne, un hallazgo que destacó el hecho de que el efecto es raro. objeto se comparan con normas establecidas respecto de los carnbios típi-
cos que ocurren en la población objeto.
Controles espectro. Las poblaciones objeto que reciben la intervención se
Contaminantes del sistema de entrega comparan con los juicios de expertos, los administradores del programa
y/o los participantes en quienes los cambios de la población objeto son
Otro factor enmascarador es que el tratamiento rara vez se da en forma "ordinariamente esperados".
"pura". De este modo, la terapia guía para jóvenes que han sido delincuentes
implica generalmente la participación no sólo del terapeuta, sino también la Nótese que las alternativas señaladas no son excluyentes mutuamente. Los
presencia de otros factores (por ejemplo, el encargado de verificar las entra- controles aleatorios se pueden comparar con grupos experimentales, mlentras que
das), un escenario en el cual se realice la terapia, las reacciones de otros jóvenes los controles estadístícos también se pueden emplear; a su vez, los controles cons-
que conocen la terapia, etc. Por tanto, el sistema de entrega de la intervención, truídos y los estadísticos, al margen, son difíciles de distinguir unos de otros en
incluidas la plantilla física, el personal, las reglas, los ordenamientos y la deno- la práctica.
minación de las poblaciones objeto, afecta de tal manera los resultados de una Las altematívas no se mencionan en orden estricto de preferencia. Mientras se
intervención planeada que el monitoreo de la entrega de las intervenciones casi usan los controles aleatorios como el rnejor método alternativo por seguir, los con-
siempre se debe hacer junto con la valoración de la repercusión. troles reflexívos algunas veces son mejores que los construidos, y el uso de los
Cabe destacar que los efectos enmascaradores de la intervención y de la controles estadísticos puede ser inferior al de los controles genéricos. Las sutile-
medición están más relacionados cuando el programa es incompleto. Una inter- zas de tales juicíos se describen con mayor detalle en los capítulos 6 y 7.
vención eficaz que produce resultados significativos tiende a superar a aquellos
que provienen de los efectos de la entrega y medición. Así, cuando una interven-
ción es deficiente, uno debe preocuparse particularmente acerca de si los efectos Cobertura parcial en oposición a cobertura total
o su carencia son resultado de la suposición, de la confiabilidad y de otros errores
en la medición. La más severa restricción al escoger la estrategia es si la intervención en
cuestión se da o no a todos (o virtualmente a todos) los miembros de una pobla-
ción objeto. Para programas con cobertura total (como los programas total-
OPCIONES EN EL DISEÑO PARA mente patrocínados, comunes y de largo alcance), generalmente no es posible
VALORAR LA REPERCUSIÓN encontrar un grupo que no reciba la intervención, en el sentido esencial, com-
parable con los sujetos beneficiarios. En resumen, no es posible definir a un gru-
Otra vez, el problema estratégico al valorar la repercusión es cómo obtener po control; en tales circunstancias, la principal estrategia disponilDle es usar
estimaciones acerca de cuál podría ser la diferencia entre dos condiciones: una en controles reflexívos y comparaciones antes y después. En contraste, las inter-
la cual la intervención esté presente y otra en la cual esté ausente. En teoría, la venciones que se deben probar con base en una demostración, generalmente no
condición ausente debería ser idéntica en todos los aspectos a la condición pre- se entregarán a todos en la población objeto. Por tanto, en la fase inicial, los
sente, libre de intervenciones. Existen varios enfoques alternos que varían en programas nuevos son, casi por definición, con cobertura parcial.


146 CAP. 5. ESTRATEGIAS PARA EVALOAR LA REPERCUSIÓN 147

Con toda probabilidad, ningún programa ha alcanzado nunca la cobertura


total de su población objeto intentada. Aun en el mejor de los programas, algunas
personas rehúyen participar, otras no son advertidas de que pueden participar y
aun otras son declaradas inelegibles técnicamente; sin embargo, muchos progra-
mas logran una cobertura casi total. La Social Security Administration (Adminis-
tración para la Seguridad Social), en sus pagos a los retirados, logró más del 85% 0O
.—
de las porciones elegibles de la población. sco

Como regla general, cuando los programas alcanzan cuatro o cinco unida- 0 z

C cr)
des elegibles (80% de cobertura) se dice que tienen "cobertura total" para propó- o Q)
0 ,":j.):
."-ES "C3 t) m-7„- -CS CS)
sitos del presente estudio. Cuanto rnenor sea la proporción de quienes no son cs w
E ,o) o C o
0 U
alcanzados, mayores serán las diferencias de estar entre aquellos que abarca el >
C1)
"10 8N 00)
0 9.
programa y aquellos que no la abarca. Para todos los intentos prácticos, casi o -oó> e
todos los nirios entre los seis y 14 años asisten a la escuela; aquellos que no lo o
hacen así sufren incapacidades permanentes o temporales, reciben enseñanza en o
cn
o 9.
casa de los padres o de un tutor privado o acomparian a sus familias migratorias 1.) Ci) 0
o
cle sitio en sitio. De esta nnanera, los niños que en cualquier momento no están orCi o
o us
inscritos en la escuela probablernente serán distintos de aquellos que sí lo hacen, us ps
o y«j
11> c
res o
de manera que ninguna comparación del empleo de controles estadísticos produ- -13 -C) 0 0
cls o
co)
cirá la misma sernejanza necesaria para el diseño mediante el uso de controles o o E 1 21
estadísticos, aleatorios o construidos.
s..
"e'
szs. o o. cn C--,
0
Afortunadamenté, bastantes programas con cobertura total no son uniformes s-.
0.1 (/)
1).
— -c
<ts
con el tiempo o en las localidades. Las políticas cambian y los programas con ellas. o
1.
Un administrador de la intervención también puede establecer modificaciones con o iii o
el fin de reunir nuevas condiciones o para hacer más fácil la adminístración. Así, de o o
0
1.)
o
cv
vez en vez, los beneficios de la seguridad social se han incrementado para tener en 0

cuenta las nuevas condiciones o para agregar servicios nuevos (por ejemplo, cui- 2
dados médicos). Asirnismo, se puecle dar suficiente autonomía local a los estados y .E w
a los gobiernos locales para que un programa (por ejemplo, el de ayuda a las fami-
0.)
lias con hijos depenclientes) varíe de lugar en lugar. Con las precauciones apropia- *0 tkl
das, tal "variación natural" puede proporcionar un punto de apoyo para estimar o fTf
los efectos del programa. o
Para programas con cobertura parcial, está disponible una serie de estrate-
gias. Si el programa se encuentra bajo el control del evaluador (como en progra- n7 0 0 O CIS
mas nuevos o prospectivos), la solución ideal es usar controles aleatorios: un 0 0)
u.
1-
o o
o cr,
.0
c o— C
conjunto de sujetos objetivo y potenciales se seleccionan de alguna manera y se -(3
o "co' 00 o
,o c cn .15. 0)
sortean al azar en grupos experimentales y de control. Este proceso aleatorio ase- (1)
c u /i c.
w o CO
gura la equivalencia probabilfstica de los beneficiarios que reciben la interven- > o C ‘13 o cr, > .1•••
1/1

ción, en oposición a los que no la reciben. Cuando un evaluador no puede .0 ?.; -11 co E 0.)
Cn sc"v
0 En" •s7) w w C 0
emplear el azar para formar los grupos experimental y de control o sus condicio- < < -cy < > 73 U

nes, los grupos de control construídos adecuadarnente pueden ser formados por "cs
o <o)
los sujetos objetivo no cubiertos, si se tornan las precauciones adecuadas. o
co

o
O
Tipología de los diseños -o o.
o
1. (0
para valorar la repercusión 1.0
o
cCI

o o ,
‹)

.0
El entrecruzarniento de las estrategias de recolección de datos y las caracte- ..c)

rísticas de la intervención producen una clasificación esquemática, rnostrada en o 0 0 o


o0

el cuadro 5.1, cuyos conceptos se estudiarán a continuación.



148 149

Experimentos aleatorios "yerdaderos" Pormenores en el acopio de datos

Este tipo sólo se aplica a programas con cobertura parcial. La característi- Los diseños de la evaluación que se pueden aplicar a la valoración de la
ca principal de los experimentos verdaderos es la asignación al azar de los tra- repercusión también varían en los planes del acopio de datos que se emplean.
tamientos a las poblaciones objeto y el manejo aleatorio de los que quedarán Esto se divide en dos categorías: los diseños longitudinales y los diseños de
fuera de ellos, constituyéndose en el grupo experimental y el grupo de con- obseryación posterior. Los primeros son aquellos en los que por lo menos se
trol, respectivamente. hacen dos observaciones: una antes y otra después de poner la intervención en su
Los experimentos aleatorios verdaderos pueden variar en complejidad lugar. Idealmente, los datos de las observaciones adicionales en cuestión también
como lo ilustran los ejemplos siguientes (consúltese también Boruch et al., 1978, se usan. Los diseños de observación posterior son aquellos en los que se hace
para una lista relativamente completa de experimentos sociales aleatorios). sólo una observación después de tener lugar la intervención.
Los experimentos verdaderos más elaborados, así como los de otros dise-
1 Para medir la efectividad de las técnicas educativas de las películas de ños (que se estudiarán en la sección siguiente), consisten en observaciones de
entrenamiento usadas en la Segunda Guerra Mundial, se mostraron ver- los grupos experimentales y control tomadas en distintos momentos. Muchos
siones alternas de películas de entrenamiento para tomar al azar a las tro- de los experimentos de campo en gran escala emprendidos durante las dos déca-
pas cuya comprensión de las /ecciones fue medida antes y después de la das pasadas con el fin de probar los programas propuestos han sido experimen-
exposición. Después se compararon las versiones (Hovland et al., 1949). tos longitudinales aleatorios; por ejemplo, en los experimentos acerca de los
Para probar si la provisión de ayuda financiera limitada podría ayudar a ingresos y su gravamen se han empleado los mismos diseños longitudinales bási-
prisioneros liberados de las cárceles estatales a adaptarse a una vida civil, cos, pero varían uno del otro en los géneros de tratamientos probadoss, en la lon-
400 prisioneros liberados de la prisión de Maryland fueron divididos al gitud de tiernpo en que se dan los tratamientos de la intervención. El experimento
azar en tres grupos experimentales: uno tuvo elegibilidad para tener 13 del mantenimiento del ingreso en Nueva Jersey (Kershaw y Fair, 1976; Rossí
semanas de beneficio como desempleado; otro recibió 13 semanas de y Lyall, 1976) se diseñó con ocho grupos experimentales, cada uno de los cua-
beneficio y auxilio de trabajo, y otro más recibió ayuda de trabajo única- les fue ofrecido a planes de mantenimiento del ingreso ligeramente distintos,
mente. Un cuarto grupo no recibió nada. Los 400 ex convictos fueron y un grupo control. Las familias elegibles se designaron al azar a cada uno de
entrevistados periódicamente en los años siguientes a su liberación (Rossi los nueve grupos. Cada familia participante fue estudiada durante un periodo
et al., 1980). de tres años, tiempo durante el cual se ofrecieron beneficios a los grupos fami-
Para valorar si reducir la ansiedad de las madres en cuanto a la cirugía prac- liares experimentales.
ticada a sus hijos resultaba, en una secuela posoperatoria, mejor para Experimentos de mayor aleatoriedad se diseñan con las medidas de resulta-
éstos, aquéllas fueron separadas primero al azar en grupos de control y dos anteriores y ulteriores. La principal razón es mantener constantes los detalles
experimental. El grupo de control recibió el cuidado "común", mientras iniciales al principio en las poblaciones objeto en el análisis ulterior de los efectos
que el grupo experimental recibió asesoramiento y reaseguramiento cuan- experimentales (la razón estadística de esto se explica con más detalle en el capí-
do se admitió a los niños (Skipper y Leonard, 1968). tulo 6). Sin embargo, en algunas circunstancias, las mediciones de las interven-
Para probar cómo manejar mejor los casos de abuso de la esposa, la poli- ciones previas suelen ser indefinibles; por ejemplo, los experimentos para la
cía de Minneapolis convino en participar en un experimento al azar en el rehabilitación de prisioneros, diseñados con el fin de evitar la reincidencia, se
que los casos de abuso a la esposa reportados fueron manejados al azar pueden basar sólo en las mediciones de la intervención posterior, pues este fenó-
en tres formas: el esposo abusivo fue arrestado y mantenido en la cárcel meno no se puede medir ni definir antes de abandonar la prisión. Asimismo, los
toda la noche; se le solicitó abandonar el dornicilio y no regresar en 16 esfuerzos de la intervención hechos para reducir la incidencia de enfermedades o
horas, o se intentó conciliar a los esposos (Sherman, 1980). accidentes tienen medidas de los resultados de la intervención previa indefinidos.
En el experirnento de la demanda de la vivienda disponible, una muestra Varios ejemplos de experimentos de diseño exclusivamente posterior se dan en
al azar de familias pobres en Pittsburgh y Phoenix se puso aleatoriamente el capítulo 6.
en uno de los 23 grupos experimentales o en el grupo control. A los gru-
pos experimentales se les ofreció una variedad de planes mediante los Experimentos no aleatorios con controles
cuales se subsidiaban los costos de la vivienda. Los planes variaban en construidos y/o controles estadísticos
generosidad y en las condiciones bajo las cuales debían hacerse los pagos.
Cada familia participante fue estudiada durante cuatro años, con entre- Una gran clase de diseños para valorar la repercusión consiste en enfoques
vistas periódicas e inspecciones de la vivienda (Kennedy, 1980). no aleatorios, todos los cuales tienen como denominador común las compara-
De acuerdo con la complejidad, los costos de los experimentos descritos ciones entre los grupos experimentales, creados de las poblaciones objeto
varían ampliamente; el más costoso fue el último y el de menor costo fue el expe- seleccionadas (de alguna manera) para participar en el programa (o selecciona-
rimento realizado con los soldados de la Segunda Guerra Mundial. das administrativamente como participantes) y de "controles construidos",

150 CAP. 5. ESTRATEGIAS PARA EVALUAR LA REPERCUSIÓN 151

grupos de no participantes, que de alguna manera crítica son comparables con Investigaciones seccionales cruzadas
los participantes. Tales comparaciones se pueden hacer mediante la construc-
ción de grupos de individuos objetivo no participantes (de aquí el término con- En la columna derecha del cuadro 5.1 se define a las investigaciones secciona-
troles construidos). les cruzadas, que son investigaciones de una muestra de las poblaciones objeto,
Relacionados estrechamente con los controles construidos están los contro- algunas de las cuales no han recibido tratamiento (o han recibido una variación de
les definidos mediante el análisis estadístico. Ambos son esfuerzos para aproxi- éste). Las poblaciones objeto que han recibido el tratamiento se comparan con
mar a lo ideal a los controles aleatorios. Las personas que no han participado en aquellas que no lo han recibido en las medidas de los resultados de la intervención
un programa son comparadas con las que lo han vivido, para lo cual se utilizan posterior, para lo cual se utilizaron técnicas estadísticas con el fin de manejar las
técnicas estadísticas que manejan las diferencias constantes conocidas entre los constantes diferencias entre ambos grupos. Aunque los diserios seccionales cruza-
participantes y los no participantes. Por supuesto, los controles estadísticos se dos son de los menos costosos para estimar la repercusión, también son de los más
pueden usar con medidas posteriores únicamente, en cuyo caso el diseño es en adecuados para completarlos rigurosamente. Por tanto, se deben emplear con
realidad el de una investigación seccional cruzada, sin embargo, los controles todas las precauciones que se examinarán en el capítulo siguiente.
estadísticos se pueden utilizar con medidas anteriores y posteriores de los resulta- Cuando las investigaciones seccionales cruzadas se emplean en programas
dos en relación con los grupos control construidos. En resumen, la relación entre de cobertura parcial, se debe considerar una variante de los grupos control cons-
los experimentos no aleatorios con controles construidos e investigaciones de truidos; no obstante, su uso para medir la efectividad de programas de cobertura
una tirada aún no está bien definida; sin embargo, el punto importante, es que el amplia, que varían de lugar a lugar, constituye Sll única aplicación. Así, en varios
razonamiento implicado en ambas es el mismo: ambas intentan estimar los efectos estudios se intenta medir la efectividad de la legislación sobre el control de armas,
netos mediante la creación de grupos control que presumiblemente representen a mediante la comparación de los niveles de restricción para obtener licencias y el
los individuos objetivo potenciales que no están expuestos a la intervención. A con- uso de las armas en estados diferentes (Krug, 1967; Geisel et ai., 1969; Seitz,
tinuación se exponen varios ejemplos de grupos control construidos. 1972). En este caso, el estado constituye la unidad, con las observaciones Ileva-
das a un porcentaje en varios tipos de delitos en un año específico. Nótese que
Para estimar el efecto de la disponibilidad de viviendas en la oferta de valorar la repercusión permite estimar cuántos de los efectos netos de una varia-
éstas hecha por los constructores y los terratenientes, se pusieron en mar- ción en el tratamiento se han comparado con otros. Por tanto, se puede valorar si
cha programas diseñados con el fin de demostrar su disponibilidad en los planes de asistencia médica en diversos niveles de generosidad afectan o no el
Green Bay (Wisconsin) y South Bend (Indiana). Después de varios años uso del cuidado médico, pero no se puede decir si esta asistencia médica por sí
de demostración, los precios de las casas en ambas ciudades se compara- misma ejerce algún efecto en el consumo de cuidado médico.
ron con los de ciudades del Medio Oeste estadounidense (Struyk y Ben- Los grupos control constituidos con medidas posteriores son también muy
dick, 1981). frecuentes. Una evaluación controversial del proyecto Head Start (Cicerelli et
Los estudiantes que asistían a escuelas secundarias públicas, en una ai., 1969) se basaba en la comparación de los niños en el primer grado que
muestra al azar de tales escuelas, fueron comparados con estudiantes que acu- habían participado en el programa a la edad preescolar con nirios de primer gra-
dían a escuelas privadas religiosas o seculares, para lo cual se manejaron do con antecedentes comparables en la misma o en una escuela cercana, pero
factores socioeconómicos constantes. La comparación se hizo para ver si que no habían participado. Al evaluar los efectos de las clínicas de planificación
el tipo de escuelas al que se acudía tenía algún efecto en el nivel promedio familiar con apoyo del gobierno (Cutright y Jaffe, 1977) se siguió el mismo plan,
de calificaciones en áreas específicas y críticas (Coleman et al., 1981). y contrastaron los porcentajes de nacimientos en los cOndados que tenían clíni-
3. Las familias seleccionadas para admitirlas en la vivienda pública en Bal- cas muy activas con aquellos que presentaban clínicas menos activas.
timore se compararon con familias que lo habían solicitado, pero que no Los problemas implicados en el diseño propio y en el análisis de investigacio-
fueron admitidas en la unidad. Tanto las familias de la vivienda pública nes de una sola vez acerca de programas existentes de cobertura total con trata-
como las de control construido fueron entrevistadas en un lapso de cin- mientos variables para cada sitio son complicados, por lo cual el tema se estudiará
co años (Wilner et al., 1962). con más detalle en el capítulo 6.
¡ Algunos de estos diseños implican muchas medidas de los resultados obteni-
dos antes y después de las intervenciones; por ejemplo, un estudio reciente Análisis de series de tiempo
mediante el cual se compararon los porcentajes mensuales de delitos en Boston,
antes y después de promulgada la ley sobre control de armas, con direcciones en Los programas de cobertura total presentan problemas especialmente difíci-
jurisdicciones comparables en los estados vecinos de Nueva Inglaterra, así como les para valorar la repercusión, debido a que carecen de una población objeto no
en toda la región (Pierce y Bowers, 1979). cubierta que pudiese servir como control o producir observaciones control; no obs-
tante, si existen observaciones extensivas, extraordinarias o de contrato previo al
trabajo, acerca de las medidas de los resultados, se podrán emplear enteramente
las técnicas eficaces del análisis de series de tiempo. Con esto será posible estUdiar

152 CAP. 5. ESTRATEGIAS PARA EVALUAR LA REPERCUSICIN 153

el efecto de decretar la ley sobre control de armas en una jurisdicción particular, Controles genéricos y controles espectro
pero sólo si el evaluador tiene tiempo suficiente para estudiar estadísticas de deli-
tos que permiten examinar aspectos relacionados con lesiones con armas. Desde Finalmente, en el cuadro 5.1 se muestran diseños en los que se pueden usar
luego, para muchas intervenciones comunes tales medidas de términos largos no controles genéricos y espectro, con el fin de desarrollar estimaciones de lo que
existen; por ejemplo, no existen largos términos en series de tiempo detalladas con podría suceder sin la intervención. Debido a que no existen medidas de interven-
respecto a la incidencia de ciertas enfermedades agudas, lo cual dificulta valorar el ción previa, no se pueden utilizar los controles reflexivos; y como todos están
efecto que ejerce el cuidado médico o la ayuda médica en ellas. cubiertos por el programa y éste es uniforme en cuanto a lugar y tiempo, no se
Aunque los procedimientos técnicos del análisis de series de tiempo es pueden usar los controles construidos ni los aleatorios.
bastante complicado, las ideas que lo sustentan son enteramente simples. La Los controles genéricos consisten en estimaciones basadas en estudios de lo
tendencia es que el tratamiento se analice antes, de manera que se obtenga que generalmente sucede en el tiempo; por elemplo, se sabe que el promedio de
una proyección de lo que podría haber sucedido sin la intervención. La ten- edad para contraer matrimonio en Estados Unidos es de aproximadamente 22 años
dencia después de la intervención se cornpara luego con las proyecciones para el hombre. Para evaluar un programa diseñado con el fin de cambiar los in-
resultantes y las pruebas estadísticas se emplean para determinar si las ten- centivos antinupciales de leyes sobre impuestos a los ingresos, se debe observar
dencias observadas en la dirección a la intervención postertor son diferentes o cuántos cambios ocurren en el promedio de edad para contraer matrimonio por
no de la proyección para inferir que el tratamiento tuvo efectos positivos; por parte del hombre después que las leyes han cambiado. Muchos constructores de
ejemplo, los efectos de cambiar la política de precios en el consumo de agua pruebas psicológicas publican "normas" que indican cuántos carnbios cabe "normal-
se pueden estudtar rnediante el análisis de series de tiempo, al investigar la mente" esperar en, por ejemplo, el mejoramiento de la lectura cada año conforme
dirección del consumo antes que la política del precio cambiara; al proyectar el niño aprueba los ciclos escolares elementales. Asimismo, en la Current Popula-
la dirección del consumo del agua sobre esta base, y al comparar el consumo tion Survey (Investigación de población actual) de la U.S. I3ureau of the Census
actual con las proyecciones gráficas (Berk et al., 1981). (Oficina de censos de Estados Unidos) se podrían buscar datos acerca del prome-
Algunas de las limitaciones del análisis de series de tíempo se detallarán en el dio de ingresos de las personas que desernpeñan trabajos partículares, de manera
capítulo 7. La más seria limitación es que se necesitarán muchas observaciones que se estimaran los ingresos de aquellos que atienden a un programa de entre-
en intervenciones previas, de manera que se modele la dirección en el tiempo de namiento, si no hubiesen participado en dicho programa.
dichas intervenciones de un modo seguro (se recomiendan más de 30 puntos en El uso de grupos control genéricos está Ileno de peligros. Algunas de las nor-
el tiempo). Por ello, el análisis de las series de tiempo generalmente se limita a lo mas publicadas por los diseñadores de pruebas no están basadas en investigacio-
concerniente con los resultados, para lo cual el gobierno u otros grupos recaban nes realizadas cuidadosamente. Los reportes del censo publicados pueden no
inforrnación rutinariamente y publican estadísticas. ofrecer información suficiente para destacar a los individuos que serían compara-
bles con las poblaciones objeto que experimentan una intervención.
También se pueden usar los grupos control espectro, que consisten, a jui-
Estudios previos y posteriores cio de los expertos, en los administradores del programa o en los participantes
de la cobertura tota/ y pueden producir estimaciones aún más frágiles acerca de si los resultados se
interpretarán como efectos netos. Mientras el juicio de los expertos puede ser
Para muchos programas de cobertura total, las series de tiempo previos y suficiente en algunos campos, el conocimiento preciso de un conjunto de nece-
posteriores al programa o a su decreto pueden no estar disporales; en su lugar, sidades no está disponible para muchos programas sociales, aun para el más
puede existir sólo una serie anterior al decreto. Con la adición de una medida experimentado de los expertos. De este modo, mientras por un lado puede
tomada después de que la intervención ha ocurrido (con las precauciones ade- tener algún sentido confiar en la valoración de un ingeniero acerca de la seguri-
cuadas), aún se puede valorar la repercusión; por ejemplo, sí los oficiales del dad de diseño de un puente, puede tener poco sentido confiar en el juicio de un
gobierno estatal anticipan una limitación legislativa sobre el estado real de los penalista acerca de la efectividad de un programa de rehabilitación para un pri-
impuestos, pueden realizar una investigación acerca de la valoración por parte sionero en particular.
de los residentes estatales de los servicios locales, quienes están afectados por Los grupos control genérico y de espectro son los únicos disponibles para
bajas tarifas estatales, las más de rentas públicas. Después de que la reforma ha programas uniformes de cobertura amplia, para los cuales no existen medidas de
afectado o influido en los desembolsos para servicios locales y estatales, se la intervención previa. Esta clase de programas incluye programas establecidos
podría ernprender una seguncla investigación para medir los cambios en los nive- por muchos arios (por ejemplo, los pensionados bajo administración del Seguro
les de satisfacción de los residentes. Social o la educación elemental coactiva). Por tanto, las estimaciones acerca de
Existen muchas dificultades con los diseños anterior y posterior, como se lo que podrían ser los efectos de abolir tales programas se deben tratar con caute-
verá con mayores detalles en los capítulos subsecuentes. El princípal problema es la, pues son grandemente especulativas.
obvio y parte de la posibilidad de confundir los factores que enmascaran la reper- Más aún, debido a, que los grupos control genérico y de espectro hacen estima-
cusión del programa en cuestión. ciones relativan-iente poco costosas y requieren poco tiempo, es muy tentador '
154 CAP. 5. ESTRATEGIAS PARA EVALUAR LA REPERCUSIÓN NOTAS TÉCNICAS 155

usarlos. Esto se puede hacer con relativamente poco riesgo en algunas valoracio- En resumen, mientras que la valoración de la repercusión de una variedad
nes de la repercusión: los grupos control genérico se pueden emplear para estimar estructurada como se muestra en el cuadro 5.1 se podría realizar cualitativa-
si un programa educativo es exitoso o no, para lo cual se comparan las calificacio- mente en principio, las consideraciones de los costos y el capital humano por lo
nes de los aspirantes después del programa de lectura con las normas nacionales general desechan tales enfoques. Valorar la repercusión de tal manera que sea
para niños del mismo grado y que son publicadas por el diseñador de la prueba. científicamente plausible y que produzca estimaciones relativamente precisas
Asimismo, con el fin de valorar la eficacia de un programa de entrenamiento voca- de los efectos netos, requiere datos que sean cuantificables y sistemática y uni-
cional para adultos, se podría consultar a los expertos; sin embargo, los grupos formemente recolectados.
control genérico y de espectro se recomiendan sólo como último recurso. Las
razones para esta recomendación se dan en el capítulo 7.
NOTAS TÉCNICAS ACERCA DE LAS
MEDIDAS DE LOS RESULTADOS
TIPOS DE DATOS ÚTILES PARA
VALORAR LA REPERCUSIÓN Tradicionalmente, la seguridad en la medición se considera como dos pro-
blemas separados: la confiabilidad y la validez (Bohmstedt, 1970). Para que ten-
El análisis en la sección previa acerca de los diseños 'de la investigación ha
ga alguna valía, la valoración de la repercusión debe reunir ambos requisitos.
sido casi exclusivamente en términos de estudios cuantitativos. Si los datos reco-
lectados deben ser caulitativos o cuantitativos es un problema por separado. Los
datos cuantitativos se pueden definir como observaciones que rápidamente Ile-
van a sus representaciones numéricas por sí mismas: respuestas a cuestionarios Cómo seleccionar medidas
estructurados, registros de paga compilados por personal de oficina, cuentas de válidas de los resultados
las interacciones habladas entre los cotrabajadores, etc. En contraste, los datos
cualitativos, como los protocolos de las intervenciones no estructuradas y las Es difícil solucionar el problema de la validez. Una medida es válida en la
notas de las observaciones, generalmente se resumen con menor facilidad a la extensión en que mide lo que se intenta medir. Mientras que el concepto de vali-
forma numérica. Obviamente, estas distinciones no son rígidas ni firmes; la línea dez es fácil de comprender, se dificulta probar si un instrumento particular es
divisoria entre ambos tipos de datos es imperceptible. Aún más, los datos cualita- válido, pues muchas variables sociales y de comportamiento no concuerdan
tivos se pueden transformar en datos citantitativos mediante un análisis del con- con las pruebas estándares existentes; por ejemplo, la validez dé una medida
tenido, mientras que los datos cuantitativos se pueden tratar como cualitativos que permita estimar el riesgo en los negocios, si se formula como escala de acti-
mediante la disgregación de los valores numéricos (por ejemplo, aquellos que tud, podría requerir como prueba de validez alguna meclida del comportamien-
dan como respuestas a entrevistas estructuradas, y cada entrevista programada to en el grado en que un individuo eStá dispuesto a tomar acciones que podrían
se trata como una unidad). ser lucrativas, pero que tarnt;ién implicarían gran riesgo.
Las ventajas y desventajas relativas de ambos tipos de datos se han debatido En la práctica, hay muchas formas de medir tales actitudes; esto es, existen
extensamente en la bibliografía de la ciencia social (Cook y Reichardt, 1979). Las muchas cuestiones diferentes que se podrían argumentar como relacionadas,
críticas hechas a los datos cuantitativos desacreditan las tendencias deshumaniza- por lo menos conceptualmente, con la idea de correr un riesgo. Si hubiera una o
doras de la representación numérica y afirman que se puede comprender mejor el algunas maneras de aceptar los "mejores" métodos para medir los riesgos, las
proceso causal mediante la familiarización estrecha con la gente y con sus proble- medidas potenciales se podrían comparar con las "mejores" medidas; sin embargo,
mas y mediante las observaciones cualitativas resultantes. En respuesta, quienes en ausencia de esa medida ideal, la interrogante de si una medida particular o un con-
defienden los datos cuaniftativos replican que los datos cualitativos son costosos junto de medidas son válidas suele ser, materia de argumento caso tras caso.
para recabarlos, si se supone que deben tener una base extensiva; son objeto de Evidentemente, una medida válida también debe ser confiable, concepto que
gran confusión, y por lo general contienen información que no está uniformemen- se estudiará al final de esta sección; no obstante, la confiabilidad, si bien se requie-
te colectada a través de todos los casos y en todas las situaciones. re, es un criterio insuficiente de la validez. Una medida válida debe demostrar lo
No se pueden solucionar aquí todos los debates acerca de la preferencia de que a menudo se nombra en la bibliografía acerca de la evaluación como cons-
datos. Como se indicó en capítulos anteriores, las observaciones cualitativas trucción de la validez (Campbell y Stanley, 1966; Cook y Campbell, 1979). En
desempeñan papeles muy importantes en ciertos tipos de actividades evaluati- relación con la confiabilidad, ésta incluye los criterios siguientes:
vas, particularmente en el monitoreo de programas actuales. Sin embargo, es
verdad que los procedimientos cualitativos son difíciles y costosos de usar en 1. Congruencia con el uso. Una medida válida de un concepto debe ser con-
muchos de los diseños descritos en el cuadro 5.1. Sería imposible reunir un gruente con el trabajo que ha emPleado este concepto. En consecuencia,
experimento con alto rango aleatorio con observaciones cualitativas a un costo una medida de la "adopción de la innovación" no debe contradecir las
razonable; asimismo, las investigaciones a gran escala o las series de tiempo maneras usuales en que el término "adopción" se ha utilizado en los estu-
generalmente no se basan en tales observaciones cualitativas. dios previos de innovación.
156 CAP. 5. ESTRATEGIAS PARA EVALUAR LA REPERCUSIÓN
NOTAS TÉCNICAS 157

Congruencia con las medidas aitemas. Una medida válida debe ser con- y, en términos de lo que se sabe respecto del comportamiento de la fertilidad, los
gruente con las medidas alternas empleadas efectivamente por otros cambios en las prácticas contraceptivas están relacionados directamente con la
autores; debe producir aproximadamente los mismos resultados que fertilidad (consúltese el anexo 5.1 para estudiar cómo una variedad de medidas
otras medidas propuestas o, si éstas son diferentes, deben tener buenas de los resultados se han establecido para un programa diseñado con el objeto de
razones conceptuales para ser de este modo. mejorar el uso de las clínicas de salud pública en cuanto a las prácticas de salud
Congruencia interna. Una medida válida debe ser congruente interna- preventiva en niños).
mente; es decir, si se utilizan varias cuestiones para medir un concepto,
las respuestas a ellas deben estar relacionadas unas con otras como si fue-
sen medidas alternas del mismo tema. Medidas aproximadas

La medida de un resultado empleada como sustituto de una meta no medi-


Decisión de medir da directamente se Ilama medida aproximada. La selección de una medida
aproximada es una decisión crítica. Idealmente, una medicia aproximada debe-
Es muy crítico y a menudo no fácil decidir qué tipo de medición usar de
modo que sea válida (Blalock y Blalock, 1968; Bohrnstedt, 1970); por ejemplo,
en un programa de planificación familiar se podrían considerar las alternativas
siguientes para medir los resultados, cada una de las cuales cumple con los crite- Anexo 5.1. Medición de los resultados
rios señalados en líneas anteriores: del programa

La proporción que adoptan las prácticas contraceptivas efectivas. En an prognima para incaemlentar el uso de las clínicas de salud pública 'por
La proporción de niños deseada. ,.personas jóvenes para el ctuclado preventivo de la s alud en vez del cuidado episódt-
co en cpndiclones cle emef gencia, los resultados se inidieron de manerasdiversas, a
La proporción de niños nacidos para completar una familia. Sater:
Las actitudes hacia familias numerosas.
1. Medidas clel xito clel programa cie inmunizzlción de la clínica:
Estas cuatro posibilidades no agotan todas las medidas que se pueden revisar
razonablemente como adecuadas respecto de las metas para disminuir la fertili-
Promcclio de edad en que el paciente recibió cada una cle las siete Mmu-
dad. Aún más, varían en términos de la facilidad para medir y en los costos para nizaciones distintas.
su recolección de datos. Así, aunque la reducción en el promedio del número de Porcentaje (le pacientes que recibieron su primera inmunización contra
niños que nacen para "completar" una familia (esto es, los sobrepartos pasados) la pollo antes de los tres meses de edad.
pueda ser la mejor expresión de la meta eventual cle un prograrna de fertilidad, el Porcentale de pacienteS qup recibieren sus inmunizaciones totallnente
uso de esa medida para definir los resultados implica una evaluación a largo pla- antes de las - 30rnéses 'de iedád.
zo, lo cual representa mucho costo y complejidad. En contraste, parece más fácil
medir la actitud hacia las familias numerosas, para lo cual se supone que un pro- 2. Mecficlas clel éxito clínico para reducir l incidencia de acc dentes y enferme-
grama efectivo diseñado con el fin de disminuir la fertilidad se refleja en una baja dades:
aprobación hacia este tipo de familias.
Las medidas alternas de los resultados se pueden considerar como expresio- Porcentaje cle incremento o disrninución en episodios aguclos.de acci-
nes más o menos directa-s de las metas del programa. Dado lo que se conoce acer- dentes y enferineclades, descle el priniero hasta el segundo años de ins-
ca de las pequeñas y erráticas magnitudes de las relaciones entre la actitud y el cripción en la clínica.
comportamiento, una desviación hacia abajo en el promedio del deseo de tener 3 1\le,lidas en la continuidad ciel cui(L)do jaidico de la salud:
una familia numerosa probablemente es una medida remota de las metas del pro-
grama para disminuir la fertilidad. Los cambios en este tipo de actitudes suelen al Rango de citas cancelaclas por ef paciente con la clínica.
ocurrir sin una variación correspondiente en cuanto a las prácticas de la fertilidad. Rango de launtualidact. Y-
En otras palabras, una buena medida de los resultados es aquella que es facti- c) Eango de retorno del paciente para seguir con sus visitas después del
ble de emplear, dadas las limitaciones de tiempo y dinero, y más o menos relacio- tratarniento inicial.
nada directamente con las metas del programa y, por tanto, válida. De las cuatro
alternativas mencionadas para medir la disrninución, los cambios en las prácticas
Eft..1,
Hu c iirteliCt n periiI,11e Sf. E. StnY, ns y O. Hicks "An E yii,itorl,f the
contraceptivas pueden ser, en balance, la rnejor opción para una medida; se pue- of el fdren 1 \'outh;EIrcij:
e0"' en Ekifith Serf q ,ns.f,:,,fort, ru 5 1 rut r fn 1973

den estudiar durante periodos relativamente cortos; existen amplios anteceden-


tes para adecuar las medidas en la bibliografía acerca de la investigación previa,

158 CAP. 5. ESTRATEG1AS PARA EVALUAR LA REPERCUSICIN NOTAS TÉCN1CAS 159

ría estar relacionada estrechamente con una medida "directa" de la meta de un Detectar tal efectividad requiere una gran muestra, lo cual no sería el caso cuan-
proyecto, pero también debe ser más fácil de obtener. En la práctica, es frecuen- do se usan medidas más confiables.
te aceptar que las medidas aproximadas son menos que ideales. Mientras no El efecto de la no confiabilidad se indica en la tabla 5.1, en la que dos medi-
haya reglas firmes para seleccionar las medidas aproximadas pertinentes sólo das de diferente confiabilidad se comparan en una muestra hipotética de una
existirán lineamientos. intervención educativa diseñada para aumentar los niveles en los logros cognos-
Primero, para las metas y los objetivos medibles en principio pero muy citivos en nirios con un pasado desaventajoso. El resultado "verdadero" del pro-
costosos de medir, la investigación previa puede incluir estudios que prueben grama hipotético-se muestra en la parte I. En el grupo participante, 40 de los 50
la valía de las alternativas; por ejemplo, se puede estar preocupado con res- sujetos (80%) alcanzaron un aprovechamiento de nivel alto para el fin del pro-
pecto a si los trabajos obtenidos por personas que completaron programas de grama, pero sólo 25 de los 50 (50%) de los que no participaron alcanzaron esos
entrenamiento son mejores que aquellos que los entrenados pudiesen hallar niveles. Estos resultados "verdaderos" se podrían observar si se hubiese tenido
por otros medios. En principio se puede medir la calidad de los trabajos, una medida perfectamente confiable del aprovechamiento cognoscitivo.
mediante alguna combinación de ingresos, proporciones de salarios, estabili-
dad en el empleo, condiciones de trabajo u otros atributos medibles del traba-
jo. Varias medidas aproximadas razonables se pueden emplear en vez de este Tabla 5.1. Ejemplo hipotético de efectos de atenuación en las medidas desconfia-
procedimiento largo y costoso: los ingresos y el porcentaje de salarios son bles de los resultados de una intervención
buenas medidas aproximadas, pues investigaciones previas han demostrado
que tales atributos del trabajo están correlacionados altamente (esto es, los I. Resultados verdaderos sin la medición del error:

trabajos mejor remunerados tienden a tener mejores condiciones de trabajo, Participantes No participantes
Asimilador alto 40 (80%) 25 (50%)
más seguridad en el empleo, etc.). Asimilador bajo 10 (20%)
Segundo, las metas y los objetivos que se espera alcanzar en un futuro lejano 25 (50%)
Efecto verdadero del programa = 30%
se pueden representar por medidas aproximadas que constituyan pasos interme-
dios hacia esas metas; por ejemplo, mientras que el objetivo de un proyecto acer- Comparación de porcentajes correctamente clasificados sobre la medición de la asimi-
ca de la fertilidad familiar es disminuir la proporción del tamaño familiar, la meta lación que varía en confiabilidad:
se puede medir definitivamente sólo ddspués que las mujeres de esas familias han Medición observada Medición observada
pasado sus años con posibilidades de tener hijos. Las medidas aproximadas que para la medida A para la médida B
se centren en la adopción de prácticas que reduzcan la fertilidad completa son Alta Baja Alta Baja
razonables sustitutos (por ejemplo, la adopción de prácticas contraceptivas y los Asimilador alto 60% 40% 90% 10%
Asimilador bajo 40% 60% 10% 90%
cambios en el deseo expresádo hacia un tamario fanniliar).
La selección de variables aproximadas en primera instancia debería ser guia- III. Medición de resultados mediante las mediciones A y B:
da por el criterio de validez señalado en líneas anteriores; además, las variables Medición A Medición B
aproximadas y otras medidas deberían ser confiables; este tema se estudiará a No partici- No partici-
continuación. Participantes pantes Participantes pantes
28 (56%) Asimilador alto 25 (50%) 37 (74%) 25 (50%)
Asimilador bajo 22 (44%) 25 (50%) 13 (26%) 25 (50%)
Efectos de la medición = 6% 24%
Confiabilidad de las medidas
de los resultados

Una medida es confiable en el grado en que la aplicación de esa medida a una La confiabilidad de dos medidas, A y B, se compara en la parte II: la medida
situación determinada produce los misMos resultados repetidamente, si la situa- A es menos confiable que la medida B. Nótese que cuando un niño verdadera-
ción en cuestión no cambia entre las medidas. Así, la medida de la altura y el peso mente asirnila en un nivel alto, la medida A muestra al individuo correctamente
entre los adultos mediante el uso de aparatos estándares se considera más confia- clasificado el 60% de las veces; cuando un niño asimila en un nivel bajo, la medi-
ble que la medida de la inteligencia. Esto es, el uso de aparatos de medición para da A lo rnuestra como tal sólo el 60% de las veces. En contraste, la figura corres-
la altura y el peso, en manos de personas competentes, producirá menor variabi- pondiente a la medida B, la medida más confiable, es de 90%. En resumen, la
lidad en las medidas de una administración a otra, cornparada con la que resulta- medida A produce error en la clasificación en el 40% del tiempo, mientras que
ría de la repetida aplicación de varias pruebas de inteligencia. la medida B lo hace sólo el 10% de las veces.
El efecto de la no confiabilidad en la medida oscurece las diferencias reales Los diferentes efectos de la aplicación de dos medidas no confiables de los resul-
cuando existen. Una intervención verdaderarnente efectiva cuyos resultados se tados de la intervención hipotética se muestran en la parte inferior de la tabla 5.1
miden de manera poco confiable, parecerá ser menos efectiva de 16 que es. (parte Ill). En la medida A, se encuentran 28 asimiladores con un nivel alto, 56% del
160 CAP. 5. ESTRATEGIAS PARA EVALUAR LA REPERCUSIÓN

grupo de participantes: (60% de 40 = 24) + (40% de 10 = 4) o 28. Con la medida B


se pueden obtener 37 asimiladores con nivel alto, o sea, 74% del grupo experimen-
tal: (90% de 40 = 36) + (10% de 10 = 1) o 37. Mediante el empleo de la medida A
se tiene un contraste entre los participantes y el grupo control de sólo 6% más de
6
asimiladores con nivel alto en el grupo participante, mientras que con la medida B el
contraste es de 24%. Evidentemente, la medida B es más confiable, pues se apega
más a demostrar la extensión en que el programa es n-iás efectivo.
Diseños comparativos
Nótese que ni la medida A ni la B dan una estimación segura de los efectos del
programa hipotético; más bien, ambas subestiman los verdaderos efectos conside- para valorar
rablemente. Este problema se conoce como atenuación debida a la no confiabili-
dad y está bien documentado (Bohrnstedt, 1982; Nunnally y Durham, 1975). En
muchos casos, no es posible erradicar completamente el error en la medida, aun-
la
que se pueden efectuar ajustes en los resultados que tengan en cuenta tales errores,
si el grado de no confiabilidad se conoce. Con el ejemplo mostrado en la tabla 5.1
interesa destacar la importancia del cuidado tanto para la construcción como para
repercusión
la aplicación de los instrumentos de medición.
Aunque los experimentos aleatorios y controlados se presentan en este capítulo
como los mejores diseños de investigación para valorar las repercusiones netas de las
ESTRATEGIA "CORRECTA" PARA intervenciones, también se reconoce que los controles estadísticos y construidos son fre-
VALORAR LA REPERCUSIÓN cuentemente los diseños prácticos alternos que pueden producir estimaciones útiles si el
evaluador es cuidadoso en reconocer sus limitaciones. En este capítulo se dan muchos
Aunque en este capítulo se ha destacado que los experimentos azarosos pro- ejemplos de los usos de los tres enfoques comparativos, las circunstancias específicas en
porcionan las mejores estimaciones de los efectos netos del programa, es necesario las cuales cada uno es más aplicable y se identifican algunos de los riesgos asociados con
insistir en que el enfoque preferido en una circunstancia particular depende de cada uno; se pone especial atención al empleo de los controles estadísticos, un método
múltiples factores contextuales. Para algunos programas, los experimentos alea- apropiado para valorar programas en curso recomendado en combinación con las evalua-
ciones en las que se emplean controles aleatorios o construidos.
torios son sencillamente inaplicables. En otras circunstancias, el tiempo, los fon-
dos y las habilidades harán imposible un enfoque experimental. Con el cuidado
apropiado, los otros diseños descritos en este capítulo se pueden usar con consi-
derable confianza. En los capítulos 6 y 7 se dan ejemplos de todos esos enfoques CONCEPTOS PRINCIPALES
y se detallan sus ventajas y sus limitaciones.
Grupos control: Grupo de individuos objetivo potenciales no tratados
que se comparan con los grupos experimentales en
cuanto a las medidas de los resultados al valorar la
repercusión.
Grupos control construidos: Grupos de individuos objetivo no tratados que se
seleccionan por métodos no aleatorios comparables
en aspectos cruciales a los individuos objetivo en los
grupos de intervención.
Estudios seccionales cruzados: Estudios en los que los datos se recaban en un punto
del hempo.
Grupo experimental: Grupo de individuos objetivo potenciales a quienes se
da una intervención y cuya medida de los resultados
se compara con la de los grupos control.
Igualación: Construcción de grupos control mediante el método
de hallar individuos que sean idénticos en ciertos
aspectos a los de las personas en los grupos experi-
mentales.
Coberturas parcial y total: Grado en que un programa abarca a alguno o a todos
los individuos objetivo intentados.

161
162 VALORACIÓN DE LA REPERCUSIÓN 163

Sorteo: Selección al azar en la asignación de individuos objeti- para eliminar las influencias de confusión en los resultados brutos. No obstante,
vo potenciales para los grupos experimental y de
control. mientras el tamaño de la muestra en dos casos está constituida por estudiantes y
clases, respectivamente, la recolección de datos en una muestra de 200 estudian-
Controles estadísticos: Uso de técnicas estadísticas para mantener constantes
las diferencias entre los grupos de tratamiento y de tes suele ser más fácil y considerablemente menos costosa que acumular datos
control. similares en 200 clases.
La selección de unidades de análisis no es arbitraria, sino determinada por la
naturaleza de la intervención implicada. Así, un programa diseñado para efectuar
Los objetivos de este capítulo y el siguiente son describír de manera más a las comunidades (por ejemplo, mediante libretas de concesiones a las municipali-
detallada los diseños para valorar la repercusión mencionados en el capítulo 5 dades locales) requiere que las unidades estudiadas sean las municipalidades. La
y demostrar córno se usan en la valoración actual de la misma. Como el eva- valoración de la repercusión de las libretas de concesiones realizada mediante la
luador siempre trabaja con limitaciones de tiempo, presupuesto, contexto cornparación de dos municipalidades tiene una muestra doble, completamente
dentro del cual el programa realiza y limitaciones técnicas, las soluciones inadecuada por muchos motivos, aun si se supone que las observaciones se pue-
actuales alcanzadas en situaciones específicas siempre son cercanas a los den hacer en muestras muy grandes dentro de cada comunidad.
compromisos entre lo ideal y lo factible. Al evaluador que intenta diseñar la valoración de una repercusión se le
No se pueden escribir reglas rígidas y firmes acerca de cuándo y cómo com- advierte que comience por identificar las unidades designadas como objetivos de
prometerse, aunque se pueden establecer algunos lineamientos generales: pri- la intervención al respecto, y que, por tanto, se especificarán como unidades
mero, cuanto más importante se considere un programa, mejor deberá ser el de análisis. En algunos casos, definir las unidades de análisis no presenta
diseño de la investigación. Por cierto, puede no tener ningún sentido evaluar ambigüedad; en otros, la decisión puede requerir evaluar cuidadosamente las
con cierto cuidado programas ideados con el fin de no tener la menor repercu- intenciones del programa y las de los diseñadores. En otros casos, las inter-
sión o costos bajos relacionados con él (Cronbach et al., 1980; Rossi, 1979). venciones pueden dirigirse a varios tipos de objetivos: un programa de subsi-
En contraste, los programas que se espera sean muy costosos y potencialmente dio de la vivienda puede ser diseriado para aumentar el grado de la habitación
peligrosos a los grupos objetivo u otros se deberían evaluar con tanta precisión de familias pobres y el mercado de vivienda de las comunidades locales. Aquí,
como sea posible. el evaluador quizá desee diseñar la valoración de la repercusión de tal manera
En el pasado, algunos comentaristas, incluido uno de los autores (Rossi, que consista en muestras de casas individuales dentro de muestras de las
1979), han establecido que la valoración de la repercusión no se debería hacer si comunidades locales.
la información resultante probablen-iente no sea usada en la toma de decisiones
ulterior o en la administración del programa. Entonces, si cierto programa ha
sido ampliamente apoyado por quienes toman decisiones, lo cual hace muy VALORACIÓN DE LA REPERCUSIÓN DE
improbable que los hallazgos al valorar la repercusión puedan cambiar la magni- PROGRAMAS CON COBERTURA PARCIAL
tud o la dirección del apoyo, no se justifica la valoración de la repercusión, sólo Por programas de cobertura parcial se entienden aquellos que deben pro-
por el interés de conservar el recurso. Mientras que generalmente no se acepta por
completo esta posición, la posibilidad de conservar los recursos es bastante persua- barse con base en el juicio o que no abarcan (por cualquier motivo) a todos o
siva. Corno quiera que sea, el evaluador debe reconocer que el uso que se debe dar virtualmente a todos los miembros de la población que se intenta beneficiar.
a la valoración de la repercusión condiciona el cuidado y los recursos que deberían Principalmente en estas circunstancias, es posible hacer comparaciones entre
los grupos de personas que reciben los servicios de la intervención y aquellas
dedicarse a la misma. que no lo reciben.
Cabe señalar un aspecto importante acerca de las unidades de análisis. El len-
guaje empleado en este capítulo permitirá al lector creer que las valoraciones de la
repercusión se realizan sólo con personas, como individuos objetivo de la interven- Grupos control y grupos experimentales
ción intentada. No se desea dar tal impresión, como el lector pudo darse cuenta en
los capítulos anteriores. Es fácil escribir como si sólo los individuos fueran las Se pueden conceptualizar los resultados netos como las diferencias entre las
poblaciones objeto, pero, como se señaló en el capítulo 3, las intervenciones tam- personas que han participado en un proyecto y los individuos objetivo compara-
bién se pueden dirigir a las viviendas, familias, vecíndarios y comunidades, bles exactamente que no han participado. Como la misma confusión se podría
empresas y otras organizaciones, condados, estados y aun naciones. La lógica de presentar en ambos grupos, los dos podrían estar sujetos a cambios endógenos, a
la valoración de la repercusión en general, no cambia conforme uno actúa de un la deriva secular y a los otros factores de confusión mencionados en el capítulo 5.
género de unidades a otro, aunque las dificultades para realizar investígaciones La única diferencia entre los dos grupos se podría deber a la intervención y a los
de campo pueden incrementarse con el tamario y complejidad de la unidad; por efectos de suposición. Comúnmente, el grupo contrastante se Ilarna grupo con-
ejemplo, los factores de confusión que afectan a los estudiantes individuales tam- trol, mientras que aquellos que participan en la intervención se denominan gru-
bién influyen en las clases, por tanto, el mismo diseño formal puede ser necesario pos experimentales.
164 CAP. 6. DISEÑOS COMPARATIVOS VALORACIÓN DE LA REPERCUSIÓN 165

Con base en la fórrdula descrita en el capítulo 5, la estimación de los efectos los que sólo una o pocas unidades están en los grupos control experimentales
netos de un proyecto en términos de los grupos control y experimentales se pue- rara vez, si no es que nunca, son suficientes para va/orar la repercusión.
de demostrar como sigue: Mientras que en el caso anterior los grupos control o de comparación están
constituidos por individuos objetivo que "no reciben tratamiento", no es éste
Efectos netos = [Resultados brutos de un grupo experimental] generalmente el caso. A menudo, los individuos objetivo en los grupos control
— [Resultados brutos de un grupo control] reciben programas de tratamiento existentes o tratamientos alternativos; por
+ [Efectos estocásticos] ejemplo, una evaluación que prueba la efectividad de un programa de nutrición
puede tener un grupo control o de comparación constituido por personas que
Desde que los efectos del proceso estocástico se pueden estimar mediante el sigan una amplia variedad de prácticas nutricionales, algunas de su propio pro-
empleo de pruebas estadísticas" apropiadas, utilizar los grupos control junto con yecto y otras dirigidas por su doctor. Todo esto significa que la efectividad del
la estimación de los efectos estocásticos proporciona aproximaciones cercanas a programa bajo evaluación se estima en relación con si el tratamiento o la combi-
los efectos netos del proyecto.- nación de tratamientos son experimentados por los individuos,objetivo control o
Un elemento crítico para estimar los resultados netos es la identificación y de comparación. Otra variación en el diseño consiste en comparar de manera
selección de grupos control y experimentales comparables. La comparabilidad más sistemática dos o más programas. Puede haber varios grupos experimenta-
entre los grupos control y experimentales significa, en términos ideales, que ambos les, cada uno de los cuales siga un régimen nutricional particular, con los efectos
deben ser idénticos, excepto en lo que se refiere a su participación o no en el progra- netbs de cada estimación relacionada con los otros que son probados.
ma por evaluar. En términos más específicos, la comparabilidad requiere: Al respecto, cabe señalar lo siguiente: mientras una distinción útil entre los
grupos control y de comparación se hizo en párrafos anteriores, en muchos de
Composición idéntica: los grupos control y experimentales deben conte- Ips"siguientes estudios la distinción no es pertinente. Por tanto, se empleará el
ner combinaciones similares de personas u otras unidades. término grupo control para hacer referencia a los grupos control y de compara-
Experiencias idénticas: los grupos control y experimentales deben ción, excepto en los casos en que la distinción sea importante.
experimentar sobre el periodo de observación el misrno próceso rela- Existen varios enfoques para construir o identificar a los grupos control com-
cionado con el tiempo: la maduración, los cambios o "derivaciones" en parables y a los grupos experimentales, que varían en factibilidad, costo, claridad
el tiernpo, etcétera. y validez de los hallazgos. Desafortunadamente, los mejores enfoques, desde el
Predisposiciones idénticas: los grupos control y experimentales deben Punto de vista del criterio científico pueden ser los más difíciles de ejecutar. En
estar equitativamente dispuestos hacia el proyecto; esto es, las tendencias términos generales, tales enfoques siguen una de las cuatro estrategias o diseños
de autoselección deben ser idénticas en ambos grupos. de investigación:

1 Hay varios diseños experimentales en los que las poblaciones objeto se


Ejecución de las evaluaciones asignan por sorteo, ya sea los grupos experimentales que reciben la
a los grupos control intervención o a los grupos control a quienes se niega la intervención
—método de experimentación al azar (Mendenhall, 1968; Namboodiri
Idealmente, la comparabilidad de la clase más precisa se podría lograr si se et al., 1975; Riecken y Boruch, 1974; Winer, 1971).
comparara cada individuo objetivo en el grupo experimental con un individuo Los participantes en el programa pueden ser contrastados con los que no
objetivo idéntico en un grupo control, lo cual, desde luego, es imposible. No hay participan que son seleccionados por comparación en aspectos impor-
dos individuos, familias u otras unidades que sean exactamente comparables en tantes —método de comparación de grupos no aleatorios.
todos los aspectos. Los participantes pueden ser comparados con los que no lo son mediante
Afortunadamente, la comparación uno a uno no es necesaria. Sólo se requie- el control estadístico de las diferencias conocidas entre los participantes y
re que los grupos experimental y de control sean idénticos en términos de agrega- los que no lo son —método de cqntrol estadístico.
ción y en los aspectos pertinentes para los efectos intentados del programa que Se puede seguir una estrategia mixta en la que los grupos control aleato-
se prueba. De esta manera, al valorar la repercusión no importa que los miem- rios y los que no lo son y los grupos control estadístico se empleen juntos.
bros de los grupos control y experimental difieran en cuanto al lugar de nacimiento o
varíen ligeramente en edad, pues dichas diferencias no son estadística ni sustantiva- - En las secciones siguientes se estudiarán los diseños de la evaluación en
mente significativas. Una de las implicaciones más importantes de exposición es que los que existe sólo una intervención que se pruebe en su repercusión. Como se
la valoración de la repercusión requiere más que sólo unos cuantos casos. Cuan- kridicó-en párrafos anteriores, esta restricción no es inherente al diseño, sino
to mayor sea el número de unidades estudiadas (dado el método de selección se slrnplemente se hace por conveniencia para la exposición. El diseño se puede
estudiará en los párrafos siguientes), más probable será que los grupos control y ampliar fácilmente para incluir simultáneamente la prueba de las diversas
experimental sean estadísticamente equivalentes. En resumen, ios estudios en intervenciones
- alternativas (o la combinación de intervenciones). En realidad,
166 CAP. 6. DISEÑOS COMPARATIVOS
EL AZAR EN EL ESTABLECIMIENTO 167
hay mucho que ganar en cuanto a la manera de contar con información útil efectuar tal cálculo son muy accesibles y se pueden encontrar en cualquier tex-
para los políticos y administradores del proyecto si se emprenden evaluacio- to relacionado con la inferencia estadística (por ejemplo, Namboodiri et al.,
nes de las intervenciones comparativamente, de tal modo que una interven- 1975; Hanushek y Jackson, 1977). También se estudiarán en relación con los
ción dada se compare no sólo con la condición en la que no se realiza una controles espectro, reflexivos y genéricos en el capítulo siguiente.
intervención, sino también con intervenciones alternativas. La valoración de
la repercusión de intervenciones -múltiples proporciona más información en
problemas como de qué manera mejorar los tratamientos, solos o en combina- Significado del sorteo
ción, para maximizar los efectos en cierto nivel de fondos, lo cual se estudiará
con mayor detalle en la sección siguiente. Es importante no confundir el sorteo, en el sentido que se le dio en el apar-
tado anterior, con el muestreo al azar. Sortear significa tomar un conjunto de
unidades y ubicarlas en un grupo experimental o control, mediante el empleo
EL AZAR EN EL ESTABLECIMIENTO de algún procedimiento fortuito. El muestreo al azar consiste en seleccionar
DE LA COMPARABILIDAD unidades de tal manera que no haya sesgos para formar la muestra de una
población (Sudman, 1976; Kish, 1965). Se puede usar el muestreo al azar para
La comparabilidad entre los grupos experimentales y control se establece seleccionar a un grupo de estudio de la población objetivo y luego, por sorteo,
mejor si se coloca por sorteo a los rniembros de la población objefivo a los grupos. ubicar cada miembro de la muestra resultante ante las condiciones experimenta-
Si una persona (u otra unidad) se ofrece al tratamiento o se deja sin éste es una les o de control, con base fortuita. Aunque el uso de muestras al azar para formar
cuestión que se decide al azar. Cabe señalar que "sorte,ar" no significa capricho; más un conjunto de individuos objetivo que luego se sortean para formar grupos
bien, el sorteo de colocación de las personas a los grupos experimental o control experimentales y control es un procedimiento altamente recomendado, en
requiere extremo cuidado para asegurar que cada unidad en una población obje- muchos experimentos aleatorios se emplean grupos de individuos objetivo que
tivo tenga la misma oportunidad que cualquiera otra de ser seleccionada, ya sea no son el resultado del muestreo azaroso (esto es, no representa necesariamente
para los grupos experimental o control (Fisher, 1935; Rieken y Boruch, 1974). una población determinada).
Como los grupos experimental y control resultantes sólo difieren de cual-
quier otro por fortuna, cualquier proceso puede competir con un tratamiento
para producir resultados que estén presentes en los grupos experimental y con- Procedimientos para sortear
trol en la misma extensión, excepto por las fluctuaciones de la fortuna. Por
ejemplo, las personas que más probablemente buscasen el tratamiento si se les El sorteo es técnicamente fácil de realizar. En muchos libros de texto elemen-
ofreciera con base en una elección libre quizá estarían equitativamente en los gru- tales acerca de estadística o muestreo se incluyen tablas de números al azar.
pos experimental y control. Por ende, el factor de confusión en la autoselección Muchos paquetes de computadoras estadísticos pueden generar rápidamente
tiende a estar presente tanto en un grupo como en otro, y no puede afectar si se núnneros fortuitos. Incluso, algunas de las mejores marcas de computadoras pre-
observan resultados diferentes entre ambos grupos. sentan generadores de núrneros fortuitos incluidos en sus sistemas. Los clásicos
De lo anterior se infiere que el sorteo es la manera más segura de obtener volados o los dados también pueden utilizar como medios fortuitos, siempre y
comparablidad entre los grupos experimental y control. Por supuesto, aun si se cuando no tengan sesgos (consúltese Riecken y Boruch, 1974, para un estudio
piensa que las personas sean colocadas al azar, los grupos experirnental y control de cómo ejecutar el sorteo; para procedimientos alternativos, consúltense . Con-
nunca serán exactamente comparables en cualquier hecho particular; por ejem- ner, 1977; Goldman, 1977; Roos et al., 1977).
plo, las fluctuaciones en la fortuna pueden ubicar a más mujeres en los grupos Un diseño típico de un experimento al azar se puede representar mediante la
control que en los experimentales; pero si la ubicación por sorteo se hiciera siguiente modificación de la fórmula de valoración básica de la repercusión:
varias veces, estas fluctuaciones podrían tener un promedio de cero. Además, la
proporción esperada de veces que una diferencia de cualquier tamaño se puede Efectos netos = Puntuaciones de los resultados y sus medidas después de efectuada la
encontrar en una gran serie de sorteos es factible de calcular de modelos estadísti- intervención para grupos experirnentales sorteados
cos apropiados. Cualquier diferencia en los resultados entre los grupos sorteados — Puntuaciones en las medidas de los résultados después de la Mterven-
experimental y control se puede comparar con lo que se espera con base en la for- cion en grupos control sorteados (no tratados)
tuna (esto es, generada sólo rnediante el proceso de sortear). Así, se puede formar + Efectos estocásticos
un juicio acerca de si una diferencia específica se debe simplemente a la fortuna o
si podría representar los efectos del tratamiento. Como en el tratamiento de Nótese que la fórrnula incluye sólo las medidas ulteriores o los resultados. En
experimentos bien conducidos la fortuna es. la única diferencia entre los gru- otra sección de este capítulo se considerará lo que áe puede ganar o perder al
pos experimental y control, tales juicios pueden Ilegar a ser la base para dis- emplear sólo medidas ulteriores o por tener medidas múltiples antes y clespués
cernir la existencia de un efecto neto. Los procedimientos estadísticos para de la intervención.

168 CAP. 6. DISEÑOS COMPARATIVOS EL AZAR EN EL ESTABLECIMIENTO 169

En el cuadro 6.1 se muestra el diagrama de un experimento sencillo con Las diferencias estocásticas generadas entre los grupos experimental y con-
control al azar anterior y posterior, indicando la lógica que apoya la estima- trol dependen casi enteramente del número de observaciones (esto es, de las
ción de efectos netos que se pueden calcular. Por supuesto, las diferencias poblaciones objeto) en los dos ,grupos y de la variabilidad en los resultados entre
entre los grupos experimental y control, E — C (E menos C), contiene necesa- las unidades participantes. Esto significa que cuanto mayor sea el núrnero de uni-
riamente los efectos estocásticos descritos en el capítulo 5. Por ello, se dades en el experiniento, menor será el efecto estocástico y más probablemente
podrían aplicar pruebas de inferencia estadística con la finalidad de estimar si, se detectará cualquier efecto verdadero de la intervención, así corno que cuanto
en un caso particular, E — C puede ser tan grande que probablemente no sea más uniformes sean los efectos entre todas las poblaciones objeto, más probable
un error estocástico, o sea, si E — C es mayor que uno, cabe esperar fluctua- será detectar tales efectos. Por tanto, para intervenciones que tienen pequeños
ciones en la fortuna cuando el verdadero valor de E — C es cero. Las pruebas efectos probables, los grupos experimental y control deben ser lo suficientemen-
estadísticas convencionales para antes y después de los experimentos inclu- te gandes: por ejemplo, en los experimentos TARP, mediante los cuales se proba-
yen el análisis de la varianza y las pruebas de t (por ejemplo, consúltense Nam- ba la repercusión de la elegibilidad para el seguro del desempleo sobre el hecho de
boodiri et al., 1975; Hanushek y Jackson, 1977, y Winer, 1971, para detalles reincidir entre ex convictos, había cerca de 1 500 personas en los grupos experi-
acerca de la computación e interpretación de pruebas estadísticas estándar). mentales, mientras que en el grupo control casi 2 500 eran todos ex convictos
(Rossi et al., 1980) (véanse los textos estadísticos estándares para abundar en
detalles acerca de cómo planear el tamaño apropiado de los grupos experirnental y
control; por ejemplo, Namboodiri et al., 1975; Hanushek y Jackson, 1977).
Cuadro 6.1. Representación esquemática de un expenmento aleatorio En el anexo 6.1 se clescribe detalladarnente un experirnento al azar efec-
tuado con el fin de probar la efectiviclad de un programa educativo televisado
MedicIón de los resultodos por niños mexicanos de edad preescolar. La atención del lector se dirige hacia
Antes del Después def varias de las características del experirnento. Prirnero, nó' tese que se empleó
programa prograrna Diferencta el número cle la producción total medida, de manera que se abarcaron los mul-
Grupo experimental E2 E E2
Grupo control C I C2 C = C2 — C, tiples objetivos del proyecto educativo. Segunclo, obsérvese el cuidado toma-
do para asegurar que el grupo control de niños no fuese expuesto al programa de
Efectos netos del programa = E — C