Está en la página 1de 18
El reto de evaluar programas sociales ainadecuadamente ‘planificados: un caso- colombiano Elvia Vargas Trujillo | Me podria indicar hacia dénde tengo que ir desde aqui? Eso depende de hacia dénde quieras llegar ~contest6 el gato. A mi no me importa demasiado donde -comenz6 a explicar Alicia. En ese ¢as0 da igual hacia dénde vayas ~interrumpié el gato. Siempre que leque a alguna parte ~terminé Alicia a manera de explicacion ~iOht, siempre llegards a alguna parte. Lewis Carroll: Alicia en el Pais de las Maravillas * Este capitulo incluye los valiosos aportes que realizaron a la primera versién Jorge F. del Valle, Carmen Pozo y Maria Cristina Villegas de Posada, Captulo 19 w Et reto de evaluar programas sociales inadécuadamente’‘laniicados: un cas olombiano . ee COMPENDIO DEL CAPITULO Ante la preocupante dimensién que estaba adquiriendo el consumo de sustancias psi coactivas en Colombia, en 1986 se pone en marcha el programa universitario «La Ca- sa» (PLC), un centro con proyectos y servicios entre los que se encontraba la asistencia terapéutica y a prevencién del consumo de sustancias psicoactivas. A Ia hora de pro- ceder a su evaluacién se observé que los objetivos del programa no cumplian con los requisitos necesarios para poder ser evaluados. El PLC no era el resultado de un pro- ‘ceso riguroso y sistematico de planificacién, y en ese sentido era poco probable que las actividades tuvieran algiin impacto en la poblacién. A lo largo de este capitulo se des- Yelan los errores en la planificacién y su repercusién en la evaluacién de acuerdo al siguiente esquema: |. El programa «La Casa» (PLC) 2. El contexto social en la implantacién del PLC 3. Evaluacién de la evaluabilidad del PLC 4. Conclusiones y recomendaciones 535, 536 INTERVENCIOW psicosociAt En Colombia, al igual que en otros paises, son frecuentes las iniciativas de intervencién en contextos sociac les. Los gestores de estos programas se plantean mejorar la calidad de vida de la poblacién incidiendo sobre los problemas que se reconocen como socialmente relevantes. El énfasis que se le concede a estas proble- maticas va cambiando en funcién del contexto politico del pais y de las instituciones responsables de su ad. ministeaci6n. Es asf como en la década de los 80 y 90 se observ6 una proliferacién de programas relacionados con el problema del consumo de sustancias psicoactivas (SPA); posteriormente, el interés se dirigié hacia el embarazo en la adolescencia y la infeccién por VIH, del que nos hemos ocupado en los capitulos 4y 10 de este texto, y en la actualidad el problema que recibe mayor atencién es el del desplazamiento forzado por el conflicto armado, Frente a esta situacién surge la duda sobre el papel de la evaluaci6n en ese proceso de toma de decisiones Politicas. Como se mencioné en el Capitulo 15, la evaluacién es la tinica manera de asegurar que los pocos Fecursos con los que contamos se destinen a satisfacer las necesidades prioritarias de la poblacién y a apoyar aquellos programas que han demostrado ser més eficaces, efectivos y eficientes. En este sentido, y retomando la definicién de Osigweh (1986) de decisiones politicas, podemos preguntarnos si los responsables de decidir «quién obtiene qué, cuando y cémo» tienen en cuenta la evidencia que arroja la evaluacién de programas sociales para definir las prioridades y la asignacién de los recursos. Tal como Jo hemos planteado en las conclusiones del Capitulo 15, en paises en desarrollo como Colombia Ia evaluaci6n es una necesidad, no un lujo. Ademés, dado que las intervenciones sociales pueden arrojar tanto resultados positivos como negativos, existe el compro: so ético de que las nuevas politicas se basen en la evidencia que arroja la evaluacién, Ahora bien, de acuerdo con Ferndndez-Ballesteros (1995), la evaluacién requiere que el programa objeto de anilisis cumpla una serie de condiciones. No obstante, el profesional se ve abocado en el mundo real a diversos problemas cuando se le solicita la evaluacién de un programa. Las dificultades obedecen a que, con no poca frecuencia, las iniciativas sociales ni se planifican, ni se disefian, implementan y ejecutan de manera sis- temitica y organizada. En muchos otros casos, las intervenciones sociales se ponen en marcha (por decisiones Politicas ¢ incluso presupuestarias) sin que exista una planificaci6n previa, en especial en lo que tiene que ver con el andlisis de las necesidades de la poblacién que se ve afectada por un determinado problema. A podrfamos encontrarnos con programas que no son pertinentes, es decir, que no responden a necesidades previamente identificadas. Es asi como, en muchas ocasiones, el evaluador se enfrenta a la exigencia de evaluar programas sobre los que no existe documentacién, o de los que no se cuenta con informacién suficiente y de calidad. Tampoco 8 raro encontrar programas que carecen de una definiciGn clara del problema que atienden, de las necesidades ue pretenden satisfacer y de los objetivos que persiguen, raz6n por la cual proven poca direccidn a quienes se encargan de su implementacién. Otras intervenciones se ejecutan sin haber sido especificadas formalmente, 0 se disefian sin tener en cuenta referentes te6ricos 0 empiticos que articulen el problema, o sin concretar los objetivos y los diferentes componentes de la estrategia. Otea dificultad reside en que la evaluaciGn raras veces se incluye como parte integral del ciclo de la intervencién (Mathison, 2004; Wholey, 1987). Desafortunadamente, en la préctica cotidiana estas deficiencias se detectan al intentar poner en marcha la evaluacién del programa y s6lo es posible evitarlo si se leva a cabo, previamente, una evaluacién de la evalua- bilidad. La evaluacién de la evaluabilidad consiste en examinar Ia estructura del programa para establecer en ‘qué medida es susceptible de ser evaluada su efectividad. La evaluaciGn de la evaluabilidad también permite de- terminar qué ajustes se le deben realizar al proceso de planificacién a fin de que la intervencién consiga los objetivos que se persiguen y asegurar que sus resultados sean evaluables en el futuro. Ahora bien, aunque la informacién que se deriva de la evaluaci6n de la evaluabilidad puede ser witil para los responsables de las decisiones politicas, rara vez los evaluadores y los gestores de los programas divulgan los resultados de evaluaciones desfavorables. Algunas de las razones que explican la baja publicacidn de este tipo de evaluaciones se pueden encontrar en Mathison (2004). Por esta razdn, el propésito de este capitulo es compartir los resultados de la evaluacién de la evaluabilidad del programa «La Casa» (PLC) que se llev6 a nl Capitulo 19, m El reto de evaluar programas sociales inadecuadamente planificados: un caso colombiano 537 cabo durante el primer semestre del afio 2001 con la colaboracién de Hilda Gambara y José Manuel Herndn- dez, de la Universidad Auténoma de Madrid. Se espera que la publicacién de esta experiencia sea util para otros evaluadores y, especialmente, para quienes estén tomando decisiones relacionadas con problemas € iniciativas similares. 1. EL PROGRAMA «La Casa» (PLC) El programa La Casa es, segtin Jiménez (1991, p. 19), «la experiencia de una extensién universitaria». Su ori- gen se remonta al afio 1986, cuando para responder a los requerimientos de la Ley 30° se pone en marcha una estrategia de intervencién telefénica denominada Linea Directa 86, «El servicio surgié como la primera alter- nativa y la mas fécil de desarrollar estratégicamente» (Jiménez, 1991, p. 19) para abordar el problema del uso yelabuso de sustancias psicoactivas (SPA). La Linea Directa 86 se propuso como un «medio de obtener resultados inmediatos para justiticar cualquier tipo de esfuerzo que fuese posible generar en cuanto al problema de las drogas [que en ese momento era] poco 0 nada reconocido» (Jiménez, 1991, p. 19) en Colombia. A partir de la sistematizaciGn y anélisis de los datos recopilados en los registros de las llamadas recibidas en los primeros meses de trabajo, se consideré necesario crear el «Programa La Casa» (PLC), un centro con proyectos y servi- cios més integrales entre los cuales se propusieron la asistencia terapéutica y la prevencién del consumo de sustancias psicoactivas a nivel comunitario, Las necesidades identificadas a partir de la demanda del servicio telefénico sirvieron de justficacién para establecer que el PLC era el centro responsable de organizar, administrar y desarrollar cuatro dreas principales de trabajo: El Servicio Telef6nico, la Prevencién, la Intervencién Terapéutica y la Investigacién. Desde 1987, el PLC entré nominalmente a formar parte de las unidades académicas de la Universidad, pero funcionaba co- ‘mo una entidad con una estructura técnica y administrativa independiente y autOnoma similar a la de una Or- ganizaci6n No Gubernamental (ONG) (Jiménez, 1991). En 1991, dentro de las probleméticas a trabajar, se incluyeron dos nuevos temas socialmente relevantes, VIH/SIDA y suicidio. En 1998 los problemas econémi- ‘cos que venfa atravesando el PLC lo obligaron a abandonar Ia sede que habia ocupado durante diez afios. Esta decisién significé el cierte definitivo de los servicios de tratamiento y la suspensién temporal del servicio de ayuda telef6nica, el cual se reanuds en el afio 2000. En enero de 2001 las directivas de la Universidad definen que el PLC debe ser sometido a evaluacién para conocer su situacién y tomar decisiones acerca de su futuro. 2. EL CONTEXTO SOCIAL EN LA IMPLANTACION DEL PLC El programa «l.a Casa» estaba integrado por un conjunto de subprogramas cuya poblacién diana estaba con- formada, principalmente, por los habitantes de Bogoté. Las diversas acciones que se proponian en el marco de cada uno de estos subprogramas no estaban vinculadas, de forma especifica y concreta, a politicas de orden na ional o local, aunque respondian indudablemente a las politicas nacionales ¢ internacionales en el campo de la salud y, més especificamente, a aquellas que hacfan referencia al control del consumo o a la demanda de sus- tancias psicoactivas. La mayor parte de las acciones eran ejecutadas por profesionales, generalmente psicdlo- La Ley 30 de encro St de 1986, por la cual se adopta el Estatuto Nacional de Estupetacientes en Colombia, establece que las fn tituciones universtarias pblicas y privadas incluicin en sus programas académicos el servicio obligatorio gratuito de consultorios 0s para Is atenci6n de farmacodependientes (art. 12) 538° -Wwreavenciow Psicosocuat 205, y en el caso de las Ifneas de atencién telefénica, hasta diciembre del 2000, se vinculaban estudiantes uni- versitarios (principalmente de Psicologia) como voluntarios. Como ya se mencioné, durante sus quince afios de funcionamiento la estructura administrativa y funcional del programa «La Casa» se transforms en tres ocasiones como consecuencia de los cambios en el contexto de a Universidad. Estos cambios administrativos de funcionamiento se tuvieron en cuenta en el proceso de eva- luacién para definir tres momentos 0 perfodos objeto de andlisis: 1986 a 1991, 1992 a 1998, 1999 a 2001 3. EVALUACION DE LA EVALUABILIDAD DEL PLC En el Capitulo 15 planteamos que la evaluaci6n en el contexto del ciclo de la intervencién permite el mejora- miento de los programas que se implementan en los distintos ambitos sociales. Esta afirmacién puede hacer Pensar al lector que, por un lado, siempre es apropiado atender la solicitud de una evaluacién y, por otro, que todos los programas son evaluables. ‘Todo ello con las excepciones de rigor. Cuando los responsables de la to- ‘ma de decisiones estén interesados en su mejoramiento pero no tienen claridad respecto a los criterios para eva- luar el programa, se recomienda que antes de implicarse en la evaluacién el profesional dedique un tiempo a conocer si el programa es evaluable, tomar contacto con las personas involucradas en su disefio e implementa- cién y familiarizarse el contexto en el que se desarrolla. Es decir, el profesional debe realizar la evaluacién de la evaluabilidad del programa. La evaluacién de la evaluabilidad es un proceso que facilita a los evaluadores (Chen, 2005; Wholey, 2004): 4) identificar si el disefio del programa cumple con las condiciones requeridas para que la evaluaciGn tenga como resultado la mejora del mismo; b) determinar si la evaluacién que se le solicita va a ser til y factible; ©) precisar cudl es la informacién que interesa a quienes solicitan la evaluaci6n y cules son los medios reque- ridos para satisfacer esta demanda, y d) establecer si el proceso va a favorecer el aprendizaje de habilidades de planificacién y evaluacién en los individuos y en los grupos involucrados. De acuerdo con Wholey (1987) hay cuatro éreas probleméticas que dificultan o entorpecen la evaluaci6n y que, por lo tanto, justfican llevar a cabo una evaluaciGn de la evaluabilidad, a saber: a) falta de definicién del problema abordado, del programa implantado, de los resultados previstos 0 de los objetivos esperados; b) falta de una I6gica clara en las asunciones de partida del programa y de las relaciones entre acciones y resultados esperados; c) ausencia de establecimiento de prioridades en la evaluaci6n, y d) falta de claridad en la forma como serdn utilizados 1os resultados de la evaluacién en el futuro. En el caso del PLC, en la primera fase de familiarizaci6n con el programa se logré establecer deficiencias en todas estas reas pero particularmente en las tres primeras. Por esta raz6n se decidié iniciar el proceso de evaluacién examinando la evaluabilidad del programa. Adicionalmente, Wholey (2004) define las condiciones que debe reunir el diseiio de un programa para que Ia evaluaci6n tenga como resultado su mejorfa. En la columna de la izquierda del Cuadro 19.1 se sinte- tizan las condiciones que se tuvieron en consideracién como criterios de calidad en el proceso de evaluacién de la evaluabilidad del PLC. En los siguientes apartados se presentard evidencia de las implicaciones que tiene el incumplimiento de estas condiciones para el proceso de evaluaci6n; éstas se resumen en Ia columna de la derecha, 3.1. Objetivos de la evaluacién de la evaluabilidad del PLC Laevaluacién de la evaluabilidad tenia como propésito determinar si el PLC cumplia las condiciones que se re- quieren para que un proceso de evaluacién aporte informacién itil para la toma de decisiones conducente al me- Capitulo 19" w El reto.de evaluar programas socales inadecuadamente planificades: un caso colombiano 539 ‘CUADRO 19.1. CONDICIONES QUE SATISFACEN LOS PROGRAMAS EVALUABLES E IMPLICACIONES DE ‘SU INCUMPLIMIENTO PARA EL PROCESO DE EVALUACION (Adaptado de Wholey, 2004) ‘CONDICIONES aa) IMPLICACIONES DEL INCUMPLIMIENTO Los propésitos y objetivos del programa estin ctaramente defi- | Los implicados en el programa no estin de acuerdo en los ob- nidos. - jetivos que persigue el programa, No hay evidenca teérca ni empirca de que las actividades del Programa petmitan akanzar los objetivos que persigue. Hay evidencia de que el modelo teérico que fundamentae pro- Los propésitos y objetivos del programa son plausibles; es | grama es inadecuado para alcanzar los objetivos. | decir, factbles de lograr. Las actividades del programa no son suficientes para lograr los ‘resultados que se persiguen. Los operadores del programa no cuentan con ls habilidades Fecutsosrequeridos para lograr sus objtivos. ‘Noes posible establecer criterias oindicadores de cumplimiento Los objetivos del programa son evaluables, de los objets, No hay informacién sobre las actividades del programa y los datos disponibles no permiten verificar el cumplimiento de Se tienen claramente establecidos los mecanismos de evalua- | los objetvos. ‘Gn del programa. ‘Los implicadas en el programa no coinciden en los objetivos de la evaluacion yen el uso que se leva a dar ala informacion para tomar decisiones sobre el futuro del programa, joramiento del programa. Para lograr este prop6sito se definieron los siguientes objetivos especificos de la eva- luacién de la evaluabilidad: 1, Clarificar el modelo tedrico del programa. 2, Analizar sila forma como estaba siendo implementado el programa se ajustaba al modelo tedrico y, por consiguiente, era posible que se estuvieran alcanzando los objetivos planificados. 3. Determinar si la calidad con la que se habfa realizado el proceso de planificacién e implementacién del PLC permitia adelantar un proceso de evaluacién de resultados y, ademés, establecer las barreras que cexistfan para llevar a cabo la evaluacién, Para cumplir con estos objetivos del proceso evaluativo se utilizaron diferentes fuentes de informacién: se consulté la documentacién sobre el programa disponible en los archivos institucionales, se realizaron en- trevistas abiertas con los implicados en el programa, se realizaron observaciones directas de las activida- des del programa y se aplicé el «Listado de Cuestiones Relevantes en Evaluacién de Programas» —LCREP— a los responsables de su direccién y administracién (Fernéndez-Ballesteros y Hernindez, 1995). En los siguientes apartados se describen los resultados del proceso en funcién de los objetivos plan teados arriba. 3.2. Modelo tedrico del PCL EI modelo te6rico de un programa describe los factores determinantes del problema o de la situacién que se pretende modificar y los principios que relacionan los objetivos de la intervencién con los componentes, las 540. INTERVENCION PsicosociaL ie ee = actividades y los recursos del programa (Chen, 2005). Por esta raz6n, en la primera fase del proceso de evalua- cin se procuré identificar los supuestos bésicos a partir de entrevistas con los responsables (administradores, gestores y operadores) y de la revisin de los documentos de archivo disponibles. De esta manera se identificaron los objetivos formales del PLC y las acciones que se habfan definido para alcanzatlos que se sintetizan en el Cuadro 19.2. ‘CUADRO 19.2. OBJETIVOS Y ACCIONES DEL PROGRAMA «LA CASA» ~ bles Acciones General Expecfcas COfrecer altenativas de inter- | Proporcionarinformacindetéclaccesoatra- | Atencién telebnica a personas que requieren venciénpreventiaasstencale | vés de servicio teleténico informacion porque tienen problemas decon- investgava en problemas s0- sumo de SPA, ViH/SIDA y suc, oa sus fa- Gialmenterelevantes como el miliares consumo de ustanciaspsicoac- | Promover esos de vida saludables encami- | Realizaciin de eventos de capacitadén y tivas y alcohol, infeccidn por | nados proveer a las comunidades de herra- | formacién con grupos a nivel escolar, VIN/SIDA y suicio, mmientas humanas, tenicas y operatvas que | organizacional o comunitaro les permitan de manera autonoma buscar respuestas adecuadas a las problematicas desde su medio. Desarrollarestrategias deinformaciényorien- | No se encontré informacién que permitera tacién que, através dela gestion social la di- | establecer con dlaridad las acciones especi- namizacién y potenciacién de las redes | ficas para el logro de este objetivo, sociales einsttucionales, generen el fortalec- tmiento de recursos reduzcan elimpacto que estas fenémenos producen en la poblacin, Realizar prevencién secundaria tercariame- | Tratamiento médico y psicolégico ambula- dante el desarrollo de estrategias de trata- | toro, rmiento que se adapten tanto ala idiosincrasia de los consuitantes colombianos como a sus condiciones de vida reales. CContar con informacién adecuada y actual- | Realizacidn de investigaciones. zada que permita elaborar materiales pre- | piseioy desarrollo de materiales de apoyo a ventivos, desarrollar nuevas estrategias de | acciones de prevencén, intervencién y modalidades de teraia,justif- Car la necesidad de los servicios del progra- mma, obtener financiacién y promover el estudio yla reflexion sobre distntos aspectos de las problemsticas atendidas. El andlisis de estos objetivos formales se realizé teniendo como guia preguntas tales como cual es la si- tuacién 0 problema sobre el cual se pretende incidir con el programa? {Sobre qué determinantes de la situacién va a incidir el programa? {Qué grupos de la poblacién van a participar activamente en el programa? {Cémo se ‘aaa incidir sobre los determinantes del problema? {Qué resultados se van a aleanzar al incidir sobre los deter- minantes? , Que nevesidades se vant a satintacer von a intervenciGn y C6mo se van a satisfacer? Este andlisis revel la dificultad que generaba para !a evaluacién la forma como habjan sido definidos los objetivos del PLC. Se observé que los objetivos no cumplian con los requisitos necesarios para poder ser Capitulo 19 m El reto de evaluar programas sociales inadecuadamente planificados: un.caso colombiano “S41 evaluados (Fernéndez-Ballesteros, 1995): carecian de claridad y especificidad; eran dificilmente identificables, medibles, factibles y cuantificables; no estaban expresados temporalmente y no eran operativos, Se encontré que tanto el objetivo general como los objetivos especificos del programa eran de cardcter instrumental. Es decir, como plantea Feméndez-Ballesteros (1995), los objetivos nada tenian que ver con los cambios que se bus aba producir en la poblacién como resultado de la intervencién, sino que indicaban las acciones que se lleva~ ban a cabo y, por lo tanto, se relacionaban con el hecho mismo de implantar el programa, Si examinamos el objetivo general del PLC, que estaba definido en términos de «ofrecer diversas alternativas de intervencidn», encontramos que no indica nada sobre la situaciGn ideal o esténdar a la cual se pretende acer- car la situacin actual o el problema que se busca mejorar 0 modificar. Por si fuera poco, tampoco incluye dos Componentes esenciales de los objetivos generales: a) quiénes son las personas implicadas en la situacién (po- blacién sujeto, participants o beneficiarios), y b) qué pretendemos cambiar como consecuencia del programa, es decir, no describe el resultado que se espera observar al final de la implementacién de las acciones previstes, Un objetivo definido de esta forma no ofrece ninguna directriz itil para definir la estrategia de intervencién més apropiada, para concretar las actividades del programa y para identificar los grupos de poblacién que ben beneficiarse de los servicios que se ofrecen. Estas implicaciones de un objetivo general inadecuadamente definido se pueden apreciar en la forma como estan planteados los objetivos especificos. De otra parte, los objetivos especificos se examinaron a la luz de los siguientes criterios: a) el resultado a alcanzar; b) las condiciones bajo las cuales va a ser observado el resultado; c) el criterio que se va a usar para determinar que el resultado se logr6, y d) la poblacién sujeto de la accién. A partir de este andlisis se pudo con- . FRilamadas efectivas wy, 94195 | 1986 1867-1988 1889 880 HT 19941895 1986 957 1886 2000 2001 | Los datos indicaron, ademas, que la poblacién de mayor riesgo para el consumo de SPA estaba constituida por hombres; adolescentes, estudiantes de secundaria y adultos j6venes universitarios. Los resultados de la eva~ luacién evidenciaron también que era necesario tener en cuenta como beneficiarias de los programas de pre~ vencién de consumo de sustancias psicoactivas a las mujeres, especialmente a las madres de adolescentes; ellas, indicaron los datos, eran las principales usuarias de los servicios y, probablemente, constitufan una figura de apoyo relevante para las personas que consumfan sustancias. Con respecto al medio de comunicacién més efectivo para divulgar el servicio se encontré que la mayoria de los usuarios reports haberse enterado de su existencia a través del directorio telefnico. Los resultados mos- traron que la falta de seguimiento y evaluacin de las actividades del programa no permitié establecer, de ma- neta oportuna, el impacto negativo que tuvo en lademanda el dejar de contratarel aviso en el directorio telefénico. Esta informacién, por supuesto, tampoco se tuvo en cuenta cuando se amplié el servicio a nivel nacional en el aiio 2000. Este resultado mostré la necesidad de que a los servicios telefnicos que funcionan con base en la demanda se les garantice la divulgacién de su disponibilidad a través de los medios que son més eficientes. En este caso, por ejemplo, la evaluacién revels que el directorio telefbnico es una fuente de consulta relevante, pro- bablemente porque permite que Ta persona que se enfrenta a un problema obtenga Ia informacién sobre los servicios de apoyo de manera andnima e inmediata, lo cual no ocurre con otras estrategias de divulgacién més costosas como los carteles, los folletos o los anuncios radiales. Los andlisis también permitieron establecer que las diferencias observadas en las trecuencias relativas co rrespondientes a cada una de las variables consideradas en la evaluacién estaban relacionadas significativamente con la etapa del programa en la cual fueron registrados los datos. Estos resultados seitalaron la importancia de 546 que este tipo de servicios dé apoyo social cuente con sistemas de informacién que recojan, de forma estable y rigurosa, los datos de sus usuarios y las acciones del programa a lo largo del tiempo. Esta informacién es in- dispensable para « context. Policy Studies Review, 6, 90 ~ 98. Rocha, A. y Barreto, A. (1991) Bl teléfono como instrumento de orientacién y apoyo. En A. Pérez (Ed.). Pro- grama La Casa: Atencién a la Comunidad en las Areas de Drogadiccién, Sida y Suicidio (p. 237-243). Bogoté: Programa La Casa. Scheid, T. L. y Greenley, J. R, (1997) Evaluations of organizational effectiveness in mental health programs. Journal of Health and Social Behavior, 38, 4, 403-426. ‘Vargas Trujillo, E., Gambara D’Errico, H. y Hemdndez, J. M. (2003). Evaluacién de un servicio telefinico de informacién sobre el consumo de sustancias psicoactivas: Una experiencia Colombiana. Revista Interna- cional de Psicologia Clinica y Salud, 3, 3, 633-644, Wellman, M. Ch, (1993) An AIDS hotline: Analysis of callers, presenting problems and social factors. Journal of Applied Social Psychology, 23, 11-124 Wholey, J. S. (2004), Evaluability assessment. En J. S. Wholey, H. P. Hatry, y K, E, Newcomer (Eds.), Hand- book of practical program evaluation (33-61). San Francisco: Jossey-Bass. Windle, M. y Miller-Tutzauer, C. (1991) Adolescent perceptions of help-seeking resources for subs abuse. Child Development, 62, 179-190.

También podría gustarte