EVALUACION CUANTITATIVA

INTRODUCCIN Los libros referidos a los conceptos de evaluacin, son libros aplicados al trabajo social y que hacen un breve resumen de cmo se realiza todo el proceso de una investigacin desde el diagnstico hasta la evaluacin y puesta en marcha de correcciones del proyecto o del enfoque que se le haba dado en un principio. Consideramos que a estos libros les falta un poco de contenido prctico, es decir, algn contenido donde especifique el modo en el que se lleva a cabo la evaluacin en los distintos procesos y en que se enfatiza ms o en que menos a la hora de tener en cuenta determinadas variables. Nos pareci que tena un contenido bastante terico. Respecto a los conceptos de evaluacin expuestos por los diferentes autores trabajados, destacar que ambos coinciden en el principio de eficiencia y eficacia a la hora de evaluar un proyecto. Tambin estn de acuerdo en que la evaluacin es un procedimiento que se utiliza para comprobar si funciona o se logran las metas que se han propuesto desde un principio teniendo presente la posibilidad de cambiar o parar durante el proceso fijado. Quizs uno de los libros que puede ser ms aplicado a la prctica es el de Fernndez Ballesteros, Evaluacin de programas: una gua prctica en mbitos sociales, educativos y de salud (1996) ya que establece unas diferencias y unas tcnicas claras referidas especficamente a la evaluacin cuantitativa. Otro de los libros utilizados es el de Fernndez Garca, T; Ares Parra, A Servicios Sociales: Direccin, gestin y planificacin(2002) nos parece muy incompleto con respecto a este tema ya que en ningn momento menciona la evaluacin cuantitativa como tal, slo se centra en la evaluacin en general y consideramos que tampoco es muy completo.

RESUMEN
1. CONCEPTO DE EVALUACIN Hay diferentes conceptos que nos intentan definir el trmino Evaluacin. Estos conceptos se complementan unos con otros ya que estn formulados desde diferentes puntos de vista, pero siempre con alguna caracterstica comn. De forma general podemos decir que el trmino evaluacin es una palabra elstica que tiene usos diferentes y que puede aplicarse a una gama muy variada de actividades humanas. En una acepcin amplia designa el conjunto de las actividades que sirven para dar un juicio, hacer una valoracin o medir algo (objeto, situacin o proceso). Aplicado al trmino a planes, programas o proyectos, la evaluacin consiste en utilizar una serie de procedimientos destinados a comprobar si se han conseguido o no las metas y objetivos propuestos, identificar los factores o razones q han influido en los resultados (xito o fracaso) y formular las recomendaciones pertinentes que permitan tomar decisiones con el fin de introducir correcciones o los reajustes que sean necesarios1 Cuando hablamos de evaluacin podemos referirnos a uno o varios conceptos: - Evaluar puede referirse a la accin de reflexionar para comprender los diversos valores o pesos que diversas variables pueden tener. En este sentido lo utilizan los que utilizan con tcnicas de supervisin, asesoramiento, anlisis institucional, etc - Evaluar puede querer decir tener elementos suficientes para tomar una decisin, y en este sentido se utiliza en los servicios de atencin primaria cuando se dice que tienen como funcin valorar el caso. - Evaluar puede querer decir tener pruebas para mantenernos en una opinin, una concepcin terica; en este sentido se utiliza por los trabajadores de la comunidad que desarrollan diversos programas-proyectos. - Evaluar puede querer decir tener pruebas para que nos den recursos o nos permitan mantener abiertos los servicios o las acciones. En este sentido lo utilizan los rganos de planificacin2 La evaluacin forma parte del proceso de planificacin de la poltica social que permite elegir entre diversos proyectos, de acuerdo con su eficacia y eficiencia. Asimismo, analiza los logros obtenidos por esos proyectos, creando la posibilidad de rectificar las acciones y reorientarlas hacia el fin postulado. Evaluar es fijar el valor de una cosa; para hacerlo se requiere un procedimiento mediante el cual se compara aquello a evaluar respecto de un criterio o patrn determinado. Tambin, el proceso encaminado a determinar sistemtica y objetivamente la pertinencia, eficiencia, eficacia e impacto a todas las actividades a la luz de sus objetivos. La evaluacin debe distinguirse del seguimiento. ste, es el examen continuo o peridico que efecta la administracin, en todos sus niveles jerrquicos, de la manera en que est ejecutando una actividad. 3 Ander-Egg,E, Evaluacin de programas de Trabajo Social, 1990. Pg. 19 Rueda Palenzuela, J M, Programar, implementar proyectos, evaluar. 1993. Pg. 137 3 Cohen E, Franco,R, Evaluacin de proyectos Sociales. 1992. Pg. 73
1 2

Otro concepto referido a la evaluacin es el citado por Olga Niremberg, Josette Brawerman y Violeta Ruiz que nos dicen que entendemos por evaluacin de programas o proyectos sociales una actividad programada de reflexin sobre la accin, basada en procedimientos sistemticos de recoleccin, anlisis e interpretacin de la informacin, con la finalidad de emitir juicios valorativos fundamentados y comunicables sobre las actividades, resultados e impactos de esos programas o proyectos, y formular recomendaciones para tomar decisiones que permitan ajustar la accin presente y mejorar la accin futura.4 Una evaluacin no es equivalente a una investigacin. Ambos permiten concluir que son las recomendaciones para la toma de decisiones las que las distinguen la evaluacin de la evaluacin. Evaluacin Cuantitativa y cualitativa: Los proyectos se evalan buscando obtener elementos de juicio para la adopcin de decisiones cualitativas o cuantitativas. Lo cualitativo tiene que ver con la decisin de si continuar con el proyecto o no proseguir con l, sobre la base de los resultados obtenidos hasta el momento. Si se justifica seguir con su ejecucin aparece la dimensin cuantitativa que, a su vez, presenta dos opciones: mantener la formulacin original o introducir modificaciones en la programacin5 2. DIFERENCIA ENTRE EVALUACIN EVALUACIN CUALITATIVA. CUANTITATIVA Y -

La evaluacin cuantitativa parte de unos supuestos ontolgicos, epistemolgicos y metodolgicos contrapuestos a los que mantiene la evaluacin cualitativa. Guba, 1987, citado en Evaluacin de programas. Una gua prctica en mbitos sociales, educativos y de salud, plantea que la evaluacin cuantitativa, tambin llamada positivista, desde el supuesto ontolgico, defiende que el mundo externo existe como realidad independiente del observador o evaluador. Desde la perspectiva epistemolgica postula el objetivismo; puede conocerse la realidad con independencia del observador y metodolgicamente plantea el intervencionismo; el control, la manipulacin y la medicin son garantas necesarias para la investigacin cientfica. Contrariamente, la evaluacin cualitativa o naturalista, desde la perspectiva ontolgica, mantiene el relativismo, es decir, existen varias realidades construidas socialmente, es una construccin consensuada. Desde el enfoque epistemolgico defiende el subjetivismo; la relacin entre el observador y lo observado es tan importante que el producto de la investigacin ha de ser entendida como una creacin de tal relacin, y metodolgicamente la posicin cualitativa propone la hermenutica; el observador se convierte en el principal instrumento para la comprensin del objeto de estudio6.

Nirenberg,O, Brawerman J, Ruiz V, Evaluar para la transformacin, 2003. Pg. 32 Cohen E, Franco R, Evaluacin de proyectos sociales. 1992 Pg. 73 6 Fernndez Ballesteros, R. Evaluacin de programas. Una gua prctica en mbitos sociales, educativos y de salud. 1996. Pg. 43
4 5

Niremberg, 2000 ( Pg. 80-82 ) establece las siguientes diferencias7: Evaluacin Cuantitativa Se centra en verificar hiptesis especficas a travs de pruebas empricas. Privilegia la explicacin de los fenmenos desde el punto de vista de los investigadores. Diseos experimentales. Perspectiva desde afuera ( punto de vista del observador). Mtodos de anlisis estadsticos. nfasis en los aspectos objetivos, observables y cuantificables. Resultados generalizables. Evaluacin cualitativa Intenta recuperar el contexto del fenmeno en el estudio. Predominio de induccin comprensin, interpretacin. Investigacin naturalista. Perspectiva desde adentro ( punto de vista de los actores). nfasis en los aspectos subjetivos: captacin , comprensin de actitudes, conductas, valores y motivaciones internas. Utiliza el lenguaje de las palabras y un enfoque inductivo en el anlisis de datos. Resultados limitados en su generalizacin.

3. MTODOS Y TCNICAS UTILIZADAS EN LA EVALUACIN CUANTITATIVA. A la hora de evaluar hay que tener en cuenta que la metodologa va estar condicionada por el tipo de programa objeto de valoracin, y adems plantearse qu perspectiva es mejor: la cuantitativa o la cualitativa. En nuestro caso hemos elegido para estudiar la perspectiva cuantitativa, aunque coincidimos con los autores del libro Servicios Sociales: Direccin, Gestin y Planificacin Toms Fdez y Antonio Ares que lo mejor en una investigacin es poder optar por una metodologa mixta que ane las dos perspectivas, pero teniendo presente que en ocasiones esto no siempre es posible. La metodologa cuantitativa permite acercarse: - Bsqueda de la objetividad. - Establecimiento de generalidades. - Obtencin de datos. - Sujeto de evaluacin: individuo en poblaciones. - Diseo planificado. - Dirigidos a evaluaciones de programas de gran alcance. - Evaluacin de resultados. Los mtodos cuantitativos utilizan medidas estandarizadas que ajustan diversas opiniones y experiencias en categoras de respuestas predeterminadas. La ventaja es que mide las reacciones de una gran cantidad de personas a un conjunto limitado de preguntas, facilitando la comparacin y la agregacin Niremberg O, Brawerman J, Ruiz V, Evaluar para la transformacin, 2000. Pg. 80-82 5

estadstica de los datos. Esto ofrece un amplio y generalizable conjunto de resultados. Las tcnicas de recogida de informacin de ndole cuantitativa hacen referencia a tcnicas de medida de una determinada realidad social y son las siguientes: 1. Entrevista estructurada: El objetivo de esta tcnica es la de recoger la mxima informacin que pueda aportar una persona. Es costosa, porque requiere la utilizacin de mucho tiempo y la exclusividad del entrevistador en ese tiempo para obtener informacin de una sola persona. Es recomendable cuando se pretende conocer si existe coincidencia entre los implicados en cuanto a la determinacin de las necesidades a las que supuestamente se pretende dar respuestas, naturaleza de los objetivos que se pretenden cumplir tras la implantacin del programa y la pertinencia y adecuacin de los medios puestos a disposicin para el cumplimiento de tales objetivos. El entrevistador debe manejar una serie de variables que contribuyan a obtener informacin til. Son aquellas que Matarazzo ( 1965,1978) denomin anatoma de la entrevista: duracin de las verbalizaciones del entrevistador y entrevistado, refuerzos, manejo del contacto ocular, latencias, interrupciones del discurso, adems de la variable denominada conexin positiva entrevistador- entrevistado que garantice la reduccin del entrevistado ( Pope, 1979) y cree una atmsfera confortable y facilitadora del desarrollo de la entrevista ( Nay, 1979). Desde el punto de vista del contenido hay que contar con una serie de caractersticas: Disear un formato de entrevista adecuado a las peculiaridades del programa y a la posicin con respecto al mismo del implicado a entrevistar. Duracin de la entrevista.

2. La encuesta: consiste en la formulacin de preguntas a un nmero determinado de individuos que representan a un colectivo ms amplio en la bsqueda de informaciones que sean generalizables para ese colectivo ( Ghiglione y Matalon, 1989). Permite recabar la opinin sobre aspectos relacionados con el programa, de una muestra representativa de individuos pertenecientes a alguno de los grupos de implicados. Resulta imprescindible cuando tratamos de recabar informacin sobre la poblacin objetivo (aquella que presenta las mismas caractersticas que los usuarios pero que, por alguna razn, no est recibiendo el programa) y, especialmente, sobre la poblacin general a la que sera poco probable acceder de otra manera. Las ventajas que presenta esta tcnica son: el ahorro de tiempo porque accede a un gran volumen de personas con un menor coste de tiempo y esfuerzo, y no requiere conocimiento del programa por parte del encuestador. Esta ltima supone un arma de doble filo, ya que, el encuestador podra introducir sesgos en la recogida de la informacin, por lo que se podra evitar con el entrenamiento a los encuestadores y un formato de cuestionario estructurado.

3. Medidas de autoinforme: Presentan la ventaja de la accesibilidad a un mayor nmero de elementos con un menor esfuerzo debido a que no es precisa la interaccin individuo a individuo propia de la entrevista. Es una tcnica que ayuda a recabar informacin ms profunda sobre determinados aspectos del programa a costa de no abarcar tantas personas, y pretende conocer indicadores subjetivos sobre una serie de tpicos marcados de antemano por el evaluador. 4. Observacin estructurada: Pretende recoger informacin complementaria a la obtenida mediante la utilizacin de otros procedimientos. Esta tcnica requiere la precisin del objetivo de la observacin, la disposicin de medios tcnicos adecuados, la obtencin de datos cuantificables y la plausibilidad en la formulacin de hiptesis. Las tareas del evaluador son el diseo del formato de observacin y del cdigo que sirva de traduccin de la realidad percibida a los datos a analizar. Es importante que los observadores sean expertos. La observacin puede ser natural, aquella que permite recoger datos del contexto natural donde est implantado el programa; y la observacin artificial que se lleva a cabo en un contexto alejado del natural donde se pretenden replicar las condiciones del mismo. 5. Indicadores sociales, econmicos y de salud: Es considerada la forma ms objetiva de recoger datos sobre grupos de implicados en la evaluacin de un programa. Es una medida estadstica que permite reflejar una realidad social desde un punto de vista diacrnico para reflejar su evolucin y desarrollo. Los indicadores son empleados para tres propsitos: como una herramienta en el anlisis de necesidades de la poblacin objetivo. como medio para contrastar el logro del cumplimiento de los objetivos del programa. Como instrumento de estimacin de los efectos no deseados que ha generado su implantacin.

Para cualquiera de los tres propsitos el evaluador ha de tener en cuenta la construccin de un sistema de indicadores que como dicen Aguilar y AnderEgg (1992) deben cumplir estos requisitos: Independencia, verificabilidad, validez y accesibilidad, la seleccin de indicadores que hayan sido recogidos por organismos externos a la propia realidad del programa. Esta seleccin debe tener estas caractersticas como apuntan Bertrand, Mock y Franklin: Accesibilidad al indicador. Relacin de ste con los objetivos del programa. Conocimiento sobre la calidad de cmo se ha obtenido. Bajo coste de consecucin. Poder ser contrastado peridicamente. 6. Consulta de datos de archivo: Est directamente relacionado con los indicadores. 7

A la hora de consultar el archivo de un programa se puede realizar de dos formas: Se puede extraer datos acerca de cul era la posicin de los implicados en el programa antes de iniciar ste. Consulta a la documentacin escrita del programa que aporte el evaluador una informacin inicial. DEL ANLISIS DE

4. CARACTERSTICAS ESENCIALES CONTENIDO CUANTITATIVO.

En el anlisis de contenido cuantitativo el nfasis recae en la cuantificacin de sus integrantes (palabras, expresiones, frases, temas). Esta cuantificacin permite, la comparacin de los contenidos de diferentes documentos y, la inferencia. Esta sera de acuerdo con Weber (1994) difcilmente alcanzable por otros medios. La cuantificacin ha de hacerse de forma sistemtica y objetiva. No solo se han de elegir indicadores que constituyan una representacin vlida de los conceptos. Tambin ha de lograrse la coincidencia en la codificacin de un mismo documento, por personas diferentes, si se pretende que la clasificacin efectuada se considere fiable. El anlisis de contenido cuantitativo puede caracterizarse como un anlisis no limitado a la descripcin, sino orientado a la inferencia. 5. ANLISIS, EXPLOTACIN Y PRESENTACIN DE LOS DATOS CUANTITATIVOS El anlisis, explotacin y presentacin de los datos se realiza para determinar los efectos de un programa, intervencin, etc a travs de una evaluacin de resultados, que se basar en la recogida de informacin para posteriormente realizar una comparacin de datos. Para la contrastacin de datos se utilizan tcnicas estadsticas que han sido diseadas precisamente para ayudarnos a comprender e interpretar los fenmenos a partir de conjuntos relativamente grandes de datos. Una consecuencia importante del empleo de tcnicas estadsticas es que las conclusiones y estimaciones no podrn ir acompaadas de una completa certeza, sino con un grado limitado de confianza. Por ltimo sealar las principales funciones del anlisis de datos:
8

Describir de una forma comprensiva conjuntos de datos brutos. Ayudar a decidir si alguna relacin aparente en los datos puede admitirse con confianza, o por el contrario, podra considerarse una relacin espontnea debida al azar. Estimar magnitudes, especialmente cantidades de cambio o diferencias. Determinar si ciertos efectos que aparecen en la informacin alcanzaran un nivel relevante en el contexto del programa. 8

Fernndez Ballesteros, R. Evaluacin de programas. Una gua prctica en mbitos sociales, educativos y de salud. 1996. Pg. 174 8

6. DISEO DE LA EVALUACIN CUANTITATIVA. Un informe de avaluacin tiene que tener segn Fernndez-Ballesteros las fases siguientes: 1. Plantear la evaluacin. - Quin es el receptor de los resultados? - Cul es el objetivo de la evaluacin? - Qu es lo que se va a evaluar? - Es previsible la aparicin de algn obstculo durante el proceso evaluativo? 2. Seleccionar que informacin ser recogida, mediante qu instrumentos y qu fuentes se utilizarn. 3. Seleccionar el diseo de evaluacin. 4. Recoger la informacin. 5. Analizar los datos. 6. Elaboracin del informe de evaluacin9.

7. APORTACIONES AL TRABAJO SOCIAL

La evaluacin cuantitativa nos permite objetividad a la hora de investigar y evaluar. No estamos de acuerdo en que se de la opcin de manipular los datos, porque el observador no tiene derecho de presentar la realidad tal y como l quiere verla, intentando ser neutral en el proceso y siempre teniendo en cuenta que la realidad va a ser diferente dependiendo de quien la observe. Consideramos que la evaluacin de todo proceso es muy importante y ms en una profesin como es el Trabajo Social en donde se trabaja cara a cara con personas y se tiene que tener en cuenta una continuidad en los procesos y una evolucin en los mismos, es decir, tanto a los profesionales como a cualquier investigacin. La evaluacin nos permite saber lo que debemos cambiar para mejorar la calidad del trabajo hacia los usuarios y hacia nosotros mismos como tcnicos. Las tcnicas de la evaluacin cuantitativas son muy simplistas, desde nuestro punto de vista, porque nosotros manipulamos la informacin. Sometes a esas personas a que lleguen a donde queremos llevarlas no dndoles la posibilidad de expresarse libremente y que den otras opciones de respuesta. La evaluacin cuantitativa se dirige slo a la descripcin de hechos sociales, opiniones o aptitudes individuales sin ninguna intencin de explicar. Consideramos que las evaluacin cuantitativa es un complemento a la hora de llevar a cabo una evaluacin total de un proceso. Decimos que se complementan porque la evaluacin cuantitativa te aporta unos datos ms concretos, permite valorar grandes poblaciones y te da resultados que se pueden presentar. A travs de la evaluacin se pretende establecer una situacin ideal a la cual se quiere alcanzar y por eso, hace hincapi en el anlisis de los datos que debe ser adecuado por que de ello depender el desarrollo del proceso que puede tener como resultado una aportacin positiva o negativa. De ah tambin se deriva la importancia de la sistematizacin de los datos, hecho importante en cualquier disciplina o Fernndez Garca, T; Ares Parra, A. Servicios Sociales: direccin, gestin y planificacin. 2002. Pg. 246-249
9

investigacin, que hoy por hoy en el campo del trabajo social no se realiza como debiera interviniendo as en la calidad del servicio. Creemos que la evaluacin ms correcta para el Trabajo social en intervencin directa y personal, es la evaluacin cualitativa ya que sta, tiene en cuenta los sentimientos, expresiones y pensamientos de las personas. Mientras que para la investigacin y la evaluacin de proyectos debemos utilizar las dos perspectivas ya que no podramos tener una conclusin completa y acertada de los datos si nos faltara alguna de las partes de la evaluacin.

8. BIBLIOGRAFA
Cea Dacona, M ngeles (1998): Estrategias y tcnicas de investigacin social. Ed. Sntesis. Madrid. Cohen, Ernesto, Franco Rolando (1993): Evaluacin de proyectos sociales. Ed Siglo XXI. Mxico Ezequiel Ander- Egg.( 1990): Evaluacin de programas de Trabajo Social. Ed: Humanitas. Buenos Aires. Fernndez Ballestreros, Roco (1995): Evaluacin de programas una gua prctica en mbitos sociales educativos y de salud. Ed. Sntesis Psicologa. Madrid. Fernndez Garca, T., Ares Parra, A. (coords.) (2002): Servicios Sociales: Direccin, gestin y planificacin. Ed. Alianza. Madrid. Giner, Salvador, Lomo de Espinosa, Emilio, Torres Cristbal (1998): Diccionario de Sociologa. Ed. Alianza. Madrid. Niremberg O, Brawerman J, Ruiz V, (2000): Evaluar para la transformacin. Ed. Paidos. Buenos aires. Prez Llantade, M Carmen, Lpez de la Llave, Andrs (1999): Evaluacin de programas de salud y servicios sociales: metodologa y ejemplos. Ed. Dikynson. Madrid. Rueda Palenzuela ,J M (1993): Programar, implementar proyectos, evaluar. Instruccin para la accin. Ed. Coleccin intress. Zaragoza

10