Está en la página 1de 10

RMIE, OCT-DIC 2004, VOL. 9, NM. 23, PP.

807-816

Presentacin temtica

LA EVALUACIN EDUCATIVA
EDUARDO L. DE LA GARZA VIZCAYA

La naturaleza de la evaluacin educativa

a Revista Mexicana de Investigacin Educativa dedica la seccin temtica de este nmero a la evaluacin educativa. La evaluacin, como conceptointegrante de las polticas pblicas, ha estado presente en el contexto educativo mexicano, en los ltimos veinte aos. El trmino ha estado vinculado con otro concepto: el de la calidad de la educacin. A la evaluacin se la concibe como una actividad indispensable y previa a toda accin conducente a elevar el nivel de la calidad de la educacin. La evaluacin as formulada constituye un momento de la planeacin, entendida sta como una accin racional dotada de propsito. Se identifica a la evaluacin con la ltima etapa del proceso natural del conocimiento que concluye con la emisin de juicios informados, proceso que antecede a las decisiones y a la accin humana. En su forma ms simple, la evaluacin conduce a un juicio sobre el valor de algo y se expresa mediante la opinin de que ese algo es significativo. Se llega a este juicio calificando qu tan bien un objeto rene un conjunto de estndares o criterios. As, la evaluacin es esencialmente comparativa. Supone la adopcin de un conjunto de estndares y la especificacin del grupo contra el cual el objeto es comparado. El objeto puede ser calificado como bueno o malo, cuando la referencia es la totalidad de los objetos o el objeto promedio del grupo; o bien como mejor o peor, si es comparado con un subconjunto particular del grupo. La evaluacin, en esencia, supone adoptar un conjunto de estndares, definirlos, especificar el grupo de comparacin y deducir el grado en el cual el objeto alcanza los estndares. Una vez realizado lo anterior, el evaluador

Eduardo L. de la Garza Vizcaya es profesor titular de la Universidad Autnoma Metropolitana, Unidad Azcapotzalco: edelag@correo.azc.uam.mx

Revista Mexicana de Investigacin Educativa

807

De la Garza

est en posibilidad de hacer, en un segundo momento, un juicio sobre el valor del objeto evaluado. Es preciso notar que no todas las evaluaciones son racionales y explcitas; los estudios de caso revelan los estndares, comparaciones y juicios de manera implcita e intuitiva, y algunos buscan entender ms que juzgar. El juicio de valor puede ser expresado mediante palabras ordinarias de tipo descriptivo y no necesariamente mediante calificativos de bueno o malo. Los ejemplos y ancdotas en una descripcin pueden servir para este propsito, ya que el juicio de valor reside en la forma en que las palabras son usadas. El proceso de evaluacin real es complejo y no se ajusta a una mera deduccin a partir de ciertos estndares; ms bien se trata de un proceso dialctico entre principios abstractos y ejemplos concretos, en donde quien evala verifica sus juicios contra aquellas situaciones particulares en las que se siente confiado de conocer sus resultados. An ms, los estndares pueden estar en conflicto unos con otros, y ser necesario balancearlos as como establecer precedencias relativas entre ellos, algunas veces de manera intuitiva. Cuando el evaluador es distinto al que toma las decisiones, hay otro factor que interviene: la credibilidad. La preocupacin del tomador de decisiones no es slo atender al grupo de comparacin y a los estndares, y cmo stos son pesados relativamente entre s, sino tambin si los hechos son reales y si estn presentados por el evaluador en forma correcta. Normalmente, la evaluacin educativa supone la existencia de acuerdos comunes: juicios previos consensuados, sobre lo que es bueno o conveniente para todos como propsito de las acciones educativas. Este es el espacio que permite el disenso y la controversia sobre el sentido, el propsito y el uso de la evaluacin en la educacin. Es, asimismo, el que permite adjudicarle un carcter ideolgico. La evaluacin no es meramente un proceso tcnico, neutral e inocuo; por el contrario, como toda accin social posee una dimensin poltica y, en su carcter instrumental, obedece a una lgica de control. Estos aspectos constitutivos de la evaluacin estn presentes, lo mismo en una actividad tan antigua y concomitante a los procesos de educacin como la evaluacin en el aula, como en las recientes polticas gubernamentales identificadas con procesos de metagestin, los cuales condicionan y vinculan recursos econmicos a los resultados de la evaluacin.
808
Consejo Mexicano de Investigacin Educativa

La evaluacin educativa

La evaluacin asumida como un campo particular de la investigacin educativa es reciente. Se ha cuestionado incluso si los proyectos de evaluacin pueden considerarse investigacin educativa. Se arguye que el mismo carcter instrumental de la evaluacin contraviene el sentido desinteresado de la obtencin de nuevo conocimiento que subyace a la lgica de la ciencia. Lo cierto es que, en un sentido amplio, el propsito de los proyectos de evaluacin es la obtencin de conocimiento, si bien se busca que ste sea til para la toma de decisiones. La mayor parte de los estudios de evaluacin requiere, asimismo, diseos metodolgicos complejos y debe satisfacer normas que justifican la validez y confiabilidad del conocimiento que obtiene. En ello, las evaluaciones no se apartan de la parsimonia inherente a las investigaciones cientficas. Por otra parte, el fenmeno educativo, como el hombre mismo, es complejo y su conocimiento es siempre parcial e idiosincrtico, pues est constreido a la condicin temporal de sus actores y posee una dimensin inevitablemente subjetiva. En este sentido, cualquier pretensin cientfica de las investigaciones educativas debe ser matizada, dado el carcter peculiar de su objeto de estudio. En lo que respecta a los estudios de evaluacin, en los ltimos aos, se ha generalizado su aceptacin como una rama de la investigacin aplicada en educacin.
El origen y evolucin de la evaluacin educativa

La evaluacin educativa tiene su origen en los primeros aos del siglo XX , en Estados Unidos. Est influida por las ideas de progreso, de la administracin cientfica y por la ideologa de la eficiencia social. El modelo de los objetivos de aprendizaje impact en los aos treinta el desarrollo curricular y su evaluacin. Para los sesenta era una tecnologa poderosa que, junto con los diseos experimentales, constituan la metodologa tradicional de la evaluacin educativa. Evaluacin, entonces, era sinnimo de medicin, prueba o examen. Con la expansin educativa en las dcadas de los cincuenta y sesenta surgieron las preocupaciones por la rendicin de cuentas y la relacin costo-beneficio, lo que condujo al empleo de sistemas de informacin y de procedimientos para monitorear los programas como parte de la administracin social. A finales de los sesenta, se hace la crtica del modelo tradicional de evaluacin y, en la siguiente dcada, surgen nuevas formas para evaluar las innovaciones educativas.
Revista Mexicana de Investigacin Educativa

809

De la Garza

Las crticas expresadas por evaluadores connotados como Atkin (1963), Cronbach (1963, 1975), Scriven (1967), Stake (1967), Parlett y Hamilton (1972) o Stenhouse (1975), sealaban que el modelo de objetivos limitaba la reforma curricular y trivializaba la naturaleza del aprendizaje. Algunos de ellos abogaban por una evaluacin que permitiera entender el proceso de la innovacin y no slo emitir juicios acerca de su efectividad. Se deca que las evaluaciones no respondan a las preguntas de los educadores. Estos evaluadores enfatizaban la utilidad de la evaluacin en el mejoramiento de los cursos y no en la obtencin de juicios terminales. Destacaban el carcter multidimensional de cualquier innovacin educativa, el cual no poda alcanzarse con los exmenes. Se deca que el modelo impeda juzgar el valor de las metas propuestas, pues separaba los hechos fcticos de los valores implcitos. Alguno sealaba que conduca a una visin equivocada de la educacin, ya que su pretensin de determinar las conductas de los estudiantes contravena el propsito de la verdadera educacin: el desarrollo de la autonoma personal, cuyos resultados son, en s mismos, impredecibles. El diseo experimental, por otra parte, haba mostrado que con frecuencia se daba un conflicto entre la confiabilidad y la relevancia de los resultados. En la evolucin subsiguiente de la evaluacin educativa fueron relevantes cuatro conferencias realizadas en Cambridge, Inglaterra, a partir del inicio de los setenta, con el objeto de explorar acercamientos no tradicionales a la evaluacin educativa y establecer algunas guas para su desarrollo futuro. Se buscaba justificar prcticas metodolgicas y funciones polticas alternativas para la evaluacin. El cambio de paradigma abrevaba en la tradicin de las investigaciones humanistas, fuera de la psicometra, el experimentalismo y las encuestas sociales. En la primera de ellas, llevada a cabo en 1972 (Hamilton, 1977), se estableci que la evaluacin debera: a) responder a las necesidades y perspectivas de diferentes audiencias, b) iluminar los procesos complejos organizacionales, de enseanza y de aprendizaje, c) ser relevante para las decisiones pblicas y profesionales por venir, y d) reportarse en un lenguaje accesible a las audiencias. Recomendaba tambin que fueran usados datos proporcionados por la observacin, cuidadosamente validados (algunas veces en sustitucin de datos provedos por preguntas y exmenes); que la evaluacin se diseara de tal forma que fuera lo suficientemente flexible para responder a eventos no anticipados (que su foco fuera obtenido de manera
810
Consejo Mexicano de Investigacin Educativa

La evaluacin educativa

progresiva, en lugar de con un diseo preordenado), y que la posiciones de valor del evaluador, tanto si fueran resaltadas como constreidas por el diseo, se hicieran evidentes a los patrocinadores y a las audiencias de las evaluaciones. Las tres restantes conferencias se llevaron a cabo en 1975 (Simons, 1980), cuyo foco fueron los mtodos de la investigacin mediante estudios de caso; en 1979, para examinar el uso de los mtodos naturalistas, y en 1987 para considerar la evaluacin del desempeo y diferentes formas de evaluar a maestros y alumnos. Para 1979, haba adquirido importancia poltica la rendicin de cuentas y se haca un nfasis excesivo en la administracin. Para entonces, la evaluacin educativa comparta los problemas de la investigacin vinculada con las polticas. Entre los problemas detectados en la tercera conferencia se encontraban: la inadecuacin de las teoras sobre polticas y los procesos para establecerlas; el nfasis usual en la evaluacin de programas en cuanto opuesto a la evaluacin de las polticas; el deterioro en la relacin entre evaluadores y sus patrocinadores, clientes y otras audiencias, con frecuencia debido a la abierta naturaleza poltica de la innovacin; la dificultad de hacer coincidir las necesidades de informacin de los tomadores de decisiones y el servicio a audiencias mltiples dentro de la escala de tiempo establecida por los administradores de los programas; una historia de productos rechazados, especialmente por los administradores quienes esperaban reportes que simplificaran sus tareas en lugar de hacerlas ms complejas; la dificultad de mantener la independencia; la vulnerabilidad personal e institucional vinculada con las formas de evaluacin naturalista las cuales emplean retratos de las personas y descripciones amplias de los climas y contextos institucionales, y la naturaleza conservadora de esta misma investigacin, la cual favoreca la descripcin sobre el anlisis. A fines de la dcada setenta era claro que la evaluacin haba tenido poco impacto en las polticas educativas y que, en donde lo haba tenido, haba hecho ms complejo el proceso de toma de decisiones. No se alcanzaba el propsito de proporcionar informacin til y confiable.
El nuevo paradigma de la evaluacin educativa

La nueva evaluacin que surge de los cuestionamientos anteriores posee las siguientes caractersticas: a) es pragmtica desde el punto de vista metodolgico, b) responde a situaciones particulares: pone su atencin
Revista Mexicana de Investigacin Educativa

811

De la Garza

en las preguntas, preocupaciones, problemas y necesidades de informacin de los implicados y de los tomadores de decisin, c) hace a un lado el paradigma hipottico deductivo y acoge otro de decisiones que enfatizan mtodos mltiples, acercamientos alternativos y el hacer coincidir los mtodos de la evaluacin con las preguntas y las situaciones especficas. Se llega a decir que el propsito ms importante de la evaluacin es responder a los requerimientos de informacin de las audiencias, particularmente, en formas que tomen en cuenta las variadas perspectivas de sus miembros. La intencin es incrementar la utilidad de los resultados, aun sacrificando la precisin proporcionada por las mediciones. Investigacin naturalista ha sido el trmino genrico que fue usado para describir varios de los acercamientos alternativos a la evaluacin que obtuvieron prominencia en los setenta como reaccin a las formas tradicionales. Se han caracterizado como acercamientos que atienden la pluralidad de las audiencias y asumen el carcter poltico de la evaluacin. Sus rasgos se expresan de la siguiente manera:
Comparados con los mtodos clsicos, tienden a ser ms extensivos (no necesariamente centrados en datos numricos), ms naturalistas (basados en la actividad del programa o proceso, ms que en su intento o logro), y ms adaptables (no constreidos por diseos experimentales o preordenados). Asimismo, muy probablemente son sensibles a los diferentes valores de los participantes en el programa, suscriben mtodos empricos que incorporan trabajo de campo etnogrfico, desarrollan materiales de retroalimentacin formulados en el lenguaje natural de los destinatarios, y desplazan el lugar de los juicios formales, del evaluador a los participantes (Hamilton, 1977). Significan un compromiso de estudiar los programas en su contexto social, el uso de mtodos cualitativos de indagacin, tales como las entrevistas no estructuradas, la observacin directa y la reconstruccin histrico dramtica, y formas de reportar que permiten a los lectores generalizar por s mismos, utilizando una generalizacin naturalista (Simona, 1987). Dirigidos a audiencias no tcnicas resaltando el uso del lenguaje ordinario, el razonamiento informal y cotidiano y el uso de argumentos para tratar de establecer la estructura de la realidad. Estos argumentos son: los ejemplos, las metforas, las ilustraciones y las analogas (House, 1980).
812
Consejo Mexicano de Investigacin Educativa

La evaluacin educativa

La evaluacin educativa en Mxico en los ltimos aos

Las acciones y los estudios de evaluacin han estado creciendo y se han consolidado en el medio mexicano en los ltimos quince aos. Las pruebas objetivas en gran escala, aplicadas a poblaciones del nivel bsico, estudiantes y en menor medida maestros, recibieron un impulso importante a mediados de los noventa desde la Secretara de Educacin Pblica y, recientemente, con la creacin en 2002 del Instituto Nacional para la Evaluacin de la Educacin ( INEE ). La creacin en 1994 del Centro Nacional de Evaluacin para la Educacin Superior ( CENEVAL ) generaliz tambin el empleo de estas pruebas en el mbito de la educacin superior. En este nivel, ha cobrado importancia la evaluacin de programas a travs de pares a partir de la creacin de los Comits Interinstitucionales para la Evaluacin de la Educacin Superior en 1991 y, desde 1994, de los organismos integrados en el Consejo para la Acreditacin de la Educacin Superior, en 2000. ltimamente, tambin en el mbito del nivel superior, ha destacado el Programa Integral de Fortalecimiento Institucional ( PIFI ) iniciado en 2001, para impulsar la evaluacin y planeacin de las instituciones. En el nivel de la educacin bsica es pertinente mencionar dos lneas ms cultivadas actualmente por el INEE . La primera, es la evaluacin cualitativa de las escuelas, la cual haba sido iniciada previamente por la SEP en programas como el de Escuelas de Calidad. La segunda lnea se refiere a la definicin de indicadores educativos, aspecto tambin atendido previamente en la SEP . Desde su creacin, el INEE ha fomentado la elaboracin de investigaciones y estudios vinculados con sus tareas de evaluacin; recientemente lo ha hecho mediante una convocatoria abierta a la comunidad de investigadores. Tambin el CENEVAL ha sido un factor importante para impulsar la elaboracin de estudios, pues ha auspiciado, desde 1995, la celebracin de foros nacionales bianuales dedicados a la evaluacin de la educacin. El recuento anterior no pretende ser exhaustivo, sino slo mostrar el creciente impulso de las actividades de evaluacin en nuestro medio, muchas de ellas derivadas de polticas gubernamentales que hacen eco a tendencias de orden internacional. Tampoco es aqu el lugar para hacer una relacin de las investigaciones o estudios de corte evaluativo realizados en el pas, lo cual rebasara el propsito de esta introduccin. Baste decir que constituyen un campo de investigacin creciente y en proceso de maduracin.
Revista Mexicana de Investigacin Educativa

813

De la Garza

Las investigaciones en este nmero

A pesar de la afirmacin anterior, la repuesta de la comunidad a la convocatoria para este tema fue reducida. Se presentaron slo cinco trabajos, todos del medio mexicano. Cuatro de ellos fueron aprobados para integrar la seccin que ahora introducimos. En l, el lector encontrar una muestra de las investigaciones educativas de corte evaluativo que se realizan actualmente en el medio mexicano. Tres de ellas son de naturaleza emprica. En stas, se ha pedido expresamente a los autores reflexionar sobre la metodologa utilizada. Consideramos, como debe haber quedado claro con las ideas anteriores, que las investigaciones de corte evaluativo se benefician al explicitar y justificar su mtodo, en relacin con su propsito. El primer trabajo, Aprobar o reprobar? El sentido de la evaluacin en educacin bsica, es una investigacin documental que cuestiona, con base en experiencias y en la evidencia de estudios empricos realizados en contextos distintos al mexicano, la prctica de la reprobacin en ese nivel educativo. En la medida en que se considera al xito un indicador de la calidad educativa, esta discusin se hace pertinente. Los lectores familiarizados con la educacin en los niveles superiores encontrarn tambin resonancia en algunas conclusiones que vinculan el abandono con la reprobacin. El segundo texto, Evaluacin del desempeo en lectura y escritura. Aportes empricos a la nocin de componentes lingsticos en el cuarto grado de primaria, se detiene en el debate sobre la evaluacin del aprendizaje, su sentido y el uso de sus resultados. La investigacin postula la necesidad de explicitar una teora que sustente tanto a los medios de medicin utilizados como a las caractersticas y propiedades a evaluar y aporta hallazgos significativos sobre la pertinencia de organizar en bloques el currculum de espaol en primaria. El tercer artculo, Evaluacin de la docencia universitaria: una propuesta alternativa que considera la participacin de los profesores, es una investigacin que privilegia el carcter formativo de la evaluacin, es decir su utilidad para mejorar la calidad del mismo proceso educativo. El trabajo pretende contribuir a la construccin de un modelo de evaluacin desde la prctica, a partir del anlisis de la vida cotidiana en las aulas. El evaluador en este modelo, acompaa al docente como consultor y orientador, ayudndole en la reflexin sobre su propia prctica.
814
Consejo Mexicano de Investigacin Educativa

La evaluacin educativa

El cuarto trabajo, Evaluacin de la docencia y el contexto disciplinario: la opinin de los profesores en el caso de ingeniera y tecnologa, es un estudio que explora las dimensiones de la docencia que, a sugerencia de los propios docentes, deben incorporarse a un cuestionario de evaluacin. La investigacin identifica componentes relevantes de la enseanza en la disciplina de estudio. Como en los dos trabajos anteriores, los autores reflexionan sobre el estado del arte de la investigacin y las metodologas empleadas, en este caso para la evaluacin de la docencia, y hacen aportaciones importantes sobre el uso de los cuestionarios de opinin de alumnos como recurso generalizado. La entrega del nmero temtico se enriquece con una colaboracin en la seccin de Aporte de discusin de dos investigadores, quienes desde la experiencia de la evaluacin en el contexto espaol abogan por la necesidad de iniciar procesos de metaevaluacin. Presentan una serie de criterios o parmetros que deben ser satisfechos por las evaluaciones. En su propuesta, el propsito de la metaevaluacin es avivar la reflexin para generar comprensin rica y relevante sobre los programas evaluados y, al mismo tiempo, garantizar la calidad de la evaluacin. Los autores destacan seis contextos bsicos de toda evaluacin que permiten explorar los elementos a ser considerados en la metaevaluacin. Ms adelante, se detienen en los aspectos de la validez y confiabilidad de las evaluaciones, y discuten su sentido en los distintos modelos utilizados. Se puede estar de acuerdo o no con las posiciones de los autores y el tratamiento que hacen de los tpicos, pero resulta interesante el propsito, aunque no del todo exitoso, de sistematizar en una perspectiva nica paradigmas cuantitativos y cualitativos que, hasta hace poco, se ubicaban en parcelas irreconciliables. La colaboracin termina discutiendo tpicos relevantes en los estudios de evaluacin: su propsito, la generalizacin del conocimiento obtenido, la tica y el aprendizaje.
Bibliografa
Atkin, J. Myron (1963). Some evaluation problems in a course content improvement project, Journal of Research in Teaching 1, pp.129-32. Cronbach, Lee J. (1963) Course improvement through evaluation, Teachers College Record 64, may, pp. 672-86. Cronbach, Lee J. (1975) Beyond the two disciplines of scientific psychology American Psychologist 30, 2, pp. 116-27.
Revista Mexicana de Investigacin Educativa

815

De la Garza

Hamilton, David et alii (eds.) (1977) Beyond the numbers game. A reader in educational evaluation, Londres: Macmillan Education. House, Ernest (1980) Evaluating with validity, Beverly Hills: Sage Publications. Lincoln, Yvonna & Guba, Egon (1985) Naturalistic inquiry, Beverly Hills: Sage Publications. Martnez R., Felipe (2003). Elementos para la definicin de una poltica nacional de evaluacin educativa Mxico, D F : Instituto Nacional para la Evaluacin de la Educacin. Norris, Nigel (1993). Understanding educational evaluatio, Londres: Kogan Page, CAREUEA . Parlett, Malcolm y Hamilton, David (1972). Evaluation as illumination: a new approach in the study of innovatory programmes, Occasional Paper 9, Center for Research in Educational Sciences, University of Edinburgh. Reimpreso en Glass, G. (ed.) (1976) Evaluation Studies Review Annual , I, Beverly Hills: Sage Publications, pp. 140-57. Scriven, Michael (1967) The methodology of evaluation en Tyler, R. W., Gagne, R. M. y Scriven, M. Perspectives of curriculum evaluation AERA Monograph Series on Curriculum nm. 1, Chicago: Rand McNally. Simons, Helen (1980). Towards a science of the singular Norwich, G. B.: CARE - UEA . Simons, Helen (1987). Getting to know schools in a democracy. The politics and process of evaluation, Londres: The Falmer Press. Stake, Robert (1967). The countenance of educational evaluation, Teachers College Record 68, abril, pp. 523-40. Stenhouse, Lawrence (1975). An introduction to curriculum research an development, Londres: Heinemann.

816

Consejo Mexicano de Investigacin Educativa