TEMA 1

PARADIGMAS Y MODELOS DE LA EVALUACIN EDUCATIVA

1. Introduccin 2. Paradigma cualitativo y paradigma cuantitativo en educacin: repercusiones en la evaluacin educativa. 3. Modelos y enfoques de la evaluacin. 4. Diseos de evaluacin educativa.
1.1. INTRODUCCIN La evaluacin es un concepto de gran relevancia en el mundo educativo. Muchas son las pginas que se han escrito o se han dicho para tratar este tema. Afortunadamente, en este momento nos encontramos con muchsimas referencias vlidas, sin embargo tambin es preciso advertir que hemos de ser crticos y consecuentes ante tanta informacin. Son muchos los subconceptos derivados del primero y tambin muy variados los enfoques bajo los cuales la evaluacin puede ser estudiada y aplicada. Los trabajos que podemos encontrar en las obras de Tenbrink, Gimeno y Prez, Stufflebeam, Shinkfield, Tyler, Escriven, Rippey, Stake u otros a los que a lo largo de estas pginas hagamos referencia, nos ofrecen unas perspectivas no siempre coincidentes, si bien, en muchos casos, pueden considerarse complementarias. As podramos hablar de paradigmas cualitativos y cuantitativos en evaluacin, evaluacin por objetivos, evaluacin sin referencia a objetivos, evaluacin por norma o evaluacin segn criterios... evaluacin inicial, continua y final; evaluacin diagnstica, formativa y sumativa, etc. Si el campo conceptual se nos presenta bastante abigarrado, todo aquello referido a tcnicas e instrumentos de evaluacin puede parecernos o presentarse igualmente amplio, heterogneo, confuso e inconexo. En el plano educativo, los temas son aquellos que afectan a los alumnos, a los profesores, a los programas, a la organizacin, a los procesos de enseanza, a los resultados... y a la propia evaluacin, porque tambin es necesario evaluarla. 1.2. CONCEPTO DE EVALUACIN. Evaluar es asignar un valor a algo, juzgar. De entre las muchas definiciones que existen de evaluacin, vamos a resaltar la que formula Tenbrink (1981, pg.19): Evaluacin es el proceso de obtencin de informacin y de su uso para formular juicios que a su vez se utilizarn para tomar decisiones. Las decisiones educativas se toman sobre la base de unos juicios, y los juicios, a su vez, se emiten sobre la base de una informacin. La interdependencia de estos tres conceptos (decisiones, juicios, informacin) define esencialmente la evaluacin. Cuando evaluamos estamos realizando tanto una medicin (obtencin de informacin) como una valoracin (emisin de un juicio). Una y otra dimensin cumplen funciones diferentes en el proceso

total de evaluacin. A travs de la medicin constatamos el estado actual del objeto o situacin que queremos evaluar. A travs de la valoracin realizamos una comparacin entre los datos obtenidos en la medicin que reflejan el cmo es el aspecto a evaluar y unos determinados parmetros de referencia que reflejan bien el cmo era o el cmo debera ser dicho aspecto. Una y otra dimensin son necesarias para que exista una buena evaluacin. Sin la valoracin quedara reducida a una simple medida descontextualizada. Sin medicin, la sola valoracin da pie a una opinin subjetiva, no a una evaluacin. Pero, el objetivo ltimo, la razn de ser del juicio es la de tomar decisiones que mejoren el proceso de enseanza-aprendizaje. Para concluir, diremos esquemticamente que esta forma de entender la evaluacin implica cuatro tareas bsicas: 1. Recoger informacin sobre las situaciones a evaluar. Una pretensin fundamental de la evaluacin es conseguir informaciones pertinentes para conocer la eficacia de la accin. Y la eficacia de la accin no depende solamente del alumno/a sino de un cmulo de componentes de variada naturaleza: la adecuacin de las pretensiones a la capacidad y actitudes de los nios, el ritmo de aprendizaje, los medios de que se dispone, los momentos elegidos, la relacin del profesor con los nios, el ambiente de aprendizaje... 2. Realizar juicios de valor apoyados en los datos obtenidos y en las metas previamente seleccionadas. La recogida de informaciones, la obtencin de datos de calidad extrados de la realidad, permitir efectuar una evaluacin de la situacin y del proceso que facilitar al profesor la comprensin de lo que sucede en el aula. 3. Orientar y reconducir la accin didctica y los procesos de aprendizaje individuales. De esa evaluacin no slo surgir una atinada y precisa comprensin sino una intervencin ms efectiva. Por eso la evaluacin es una fuente de mejora de la prctica: reconduciendo el hecho educativo, proponiendo alternativas a las deficiencias encontradas, adaptando los procesos educativos a las necesidades de los alumnos... 2.1. NATURALEZA DE LA EVALUACIN EDUCATIVA. Desde la perspectiva de las Ciencias de la Educacin, la evaluacin es uno de los elementos fundamentales (bsicos) del currculum. Es impensable cualquier tipo de planificacin yo puesta en prctica de algn programa educativo, que no incluya un diseo de cules deben ser los aspectos a evaluar, de cules sern los medios y recursos que se emplearn en la evaluacin y de cundo o a travs de qu fases se llevar a cabo la misma. Siendo la evaluacin un elemento bsico en cualquier tipo de actividad educativa, es preciso sealar que sta se encuentra sometida a la misma polmica sobre su estatus cientfico a la que se haya sometida la propia didctica (entendida sta como la ciencia de la enseanza y el aprendizaje). En la actualidad existen, en los estudios sobre la didctica, dos posiciones, en cierta medida encontradas, que parten de presupuestos tericos distintos y que, de esta manera, tienen puntos de vista distintos acerca de cmo deben resolverse los problemas que se plantean en los contextos educativos. De forma resumida, podemos hablar de la existencia de dos corrientes o paradigmas que se conocen con el nombre de paradigma cuantitativo (formado por aquellos investigadores que consideran que la didctica debe ser una ciencia hipottico deductiva, que base la elaboracin de sus teoras y la

resolucin de los problemas a los que se enfrenta, en el mtodo experimental) y paradigma cualitativo (formado por aquellos cientficos que piensan que el mtodo experimental no ha sido capaz hasta la fecha de resolver los problemas que se plantea la educacin, fundamentalmente debido a la singularidad de los mismos, lo que impide la formulacin de leyes universalmente vlidas; lo cual invita a la utilizacin alternativa de mtodos cualitativos que permitan la interpretacin y la comprensin de lo que ocurre en el contexto singular en el que surgen los problemas).

2.2. PARADIGMA CUANTITATIVO Y PARADIGMA CUALITATIVO EDUCACIN: REPERCUSIONES EN LA EVALUACIN EDUCATIVA. 1) EL PARADIGMA CUANTITATIVO

EN

Como seala Casanova (1992), en principio, cabra preguntarse a qu nos referimos cuando empleamos el trmino paradigma. Tal y como lo defini Kuhn en 1962, "un paradigma es un conjunto de suposiciones interrelacionadas respecto al mundo social, que proporciona un marco filosfico para el estudio organizado de este mundo". Por tanto, es un marco de referencia para las generalizaciones, los valores, las creencias, normas y actitudes ante la vida y el conocimiento de cada individuo y de los diferentes grupos sociales. A lo largo de la historia se han ido configurando dos posiciones filosficas ante la ciencia, cuyo enfrentamiento ha tenido, y para algunos tiene todava, un carcter paradigmtico. Estas concepciones de la ciencia han venido adoptando distintas denominaciones: idealismo/realismo, neopositivismo/relativismo, etc., aunque en el campo de las ciencias humanas y sociales se ha extendido el uso de los trminos paradigma cuantitativo/cualitativo, quiz por la identificacin con los procedimientos e instrumentos utilizados. Para adentrarnos en las bases tericas epistemolgicas que sustentan estas dos lneas de pensamiento, es necesario que comencemos sealando lo que se entiende por ciencia. Los partidarios de la metodologa experimental, cuantitativa, definen la ciencia como "el conocimiento generado en una determinada parcela de la realidad (biologa, fsica, qumica, etc.) siempre que se haya generado dicho conocimiento con la aplicacin del mtodo experimental o hipottico-deductivo". Desde una perspectiva estrictamente cientifista se podra sealar que la nica verdad que existe es la generada por la ciencia positiva. El mtodo experimental se refiere a cmo obtener informacin cientfica mediante la realizacin de experimentos. Todo mtodo consiste en una serie de reglas. En el mtodo experimental, las reglas se refieren a cmo hay que realizar los experimentos para que sus resultados sean fiables. A modo de sntesis puede sealarse que en todo experimento se pueden distinguir, a grandes rasgos, cuatro pasos fundamentales: Determinacin del problema, creacin de las hiptesis, comprobacin de las hiptesis y anlisis de los resultados con el fin de comprobar si se han generado o no nuevos conocimientos. El proceso de obtencin de nueva informacin a travs del mtodo experimental debe presentar dos caractersticas esenciales, a saber: en primer lugar, el experimento su pone crear una situacin

artificial totalmente controlada, en la que se hace una prueba y se obtienen unos resultados que pueden ser interpretados de manera precisa y objetiva; en segundo lugar, el mtodo experimental pretende detectar relaciones causales entre las variables estudiadas (variable independiente y variable dependiente). Esto ltimo se apoya en la suposicin de que si en una situacin se mantienen todas las condiciones constantes, menos una (que vara de forma controlada), las consecuencias que se produzcan hay que achacarlas exclusivamente a aquello que se vari. Como sntesis, podemos definir un experimento como una situacin controlada, en la que se trata de detectar las relaciones causales entre algunos eventos. El mtodo experimental/hipottico deductivo pretende la elaboracin de teoras cientficas mediante la contrastacin de hiptesis a travs de la realizacin de experimentos. El esquema que sigue a continuacin refleja este procedimiento:

Desde la publicacin en el siglo XVI de la obra de Comenio "Didctica Magna" hasta nuestros das, las Ciencias de la Educacin han pretendido buscar leyes universalmente vlidas que trataran de dar solucin a los problemas generados en los contextos de enseanza-aprendizaje. De esta manera, la didctica como ciencia experimental ha pretendido la elaboracin de un cuerpo slido de conocimientos tericos que permita actuar, como si de un vademcum se tratara, de forma que a cada situacin problemtica diagnosticada le siguiera un tratamiento preciso y adecuado (a esta forma de proceder se le denomina enfoque tecnolgico). Esta perspectiva conceptual tan restrictiva ha producido lgicamente el desarrollo de presupuestos ticos, epistemolgicos y metodolgicos coherentes con sus planteamientos. Presupuestos que, agrupados bajo diferentes denominaciones: modelo experimental, esquema tecnolgico, enfoque sistmico, pedagoga por objetivos, evaluacin objetiva, han dominado la investigacin y la prctica de la evaluacin durante la mayor parte del siglo XX. Las caractersticas que definen este enfoque pueden resumirse, en principio, en los siguientes presupuestos: La bsqueda y la creencia en la objetividad de la evaluacin. La objetividad en la ciencia y en la evaluacin es el resultado de la fiabilidad y de la validez de los instrumentos de la recogida y anlisis de los datos. Lgicamente, el nico procedimiento que puede proporcionar el rigor requerido por este concepto de la objetividad es el mtodo hipottico deductivo establecido en las ciencias naturales y en la tradicin de la psicologa experimental. La verificacin experimental de la hiptesis o la bsqueda de apoyo emprico para las formulaciones tericas exige el tratamiento estadstico de los datos, por tanto, la cuantificacin de las observaciones. El investigador que trabaja dentro del paradigma experimental tiene que observar rigurosamente las normas estrictas de la metodologa estadstica: operacionalizacin de variables, estratificacin y aleatorizacin de las muestras, construccin de instrumentos de observacin objetiva con suficiente grado de validez y fiabilidad, la aplicacin de diseos estructurados, la correlacin de conjuntos de dimensiones a lo largo de diferentes y generalmente extensas poblaciones... El nfasis casi exclusivo en los productos o resultados de la enseanza. El evaluador mide el xito docente de manera similar a como un agricultor comprueba la eficiencia de un

nuevo fertilizador [...]. La medicin de los productos, as como la situacin inicial, requiere la operacionalizacin exhaustiva de las variables y la consideracin de los aspectos observables de la conducta del alumno. No cabe duda de que las exigencias que impone la estadstica y la medicin numrica conduce al olvido intencional de aspectos del aprendizaje y desarrollo del alumno que son tambin susceptibles de transformacin educativa. Aspectos no siempre previstos y frecuentemente imprevisibles. Estricto control de las variables intervinientes. El diseo experimental requiere un control riguroso de los factores que intervienen, neutralizando unos y manipulando y observando el efecto de otros. Ello supone el intento de simular en el aula las condiciones del laboratorio. La posibilidad tcnica y la bondad tica de tal intento es uno de los puntos ms crticos del modelo experimental. En cualquier caso implica la artificializacin del medio escolar. El diseo estructurado de un proyecto de evaluacin requiere la permanencia y estabilidad del currculo durante un perodo prolongado de tiempo independientemente del cambio de circunstancias que puedan ocurrir durante el perodo de investigacin y evaluacin. Es sta una condicin difcilmente eludible de los diseos de investigacin pretest-postest. Los estudios de evaluacin poseen un carcter longitudinal que impone la primaca de la estabilidad e incluso, en ocasiones, la renuncia a considerar variables "nuevas" no previstas ni tenidas en cuenta en el pretest. Los efectos secundarios o laterales son difcilmente manejables en el diseo pretest-postest. El modelo experimental se concentra en la bsqueda de informacin cuantitativa mediante medios e instrumentos objetivos. El problema de la relevancia y significacin de los datos no es el centro de la preocupacin evaluadora. Demasiados aspectos, quizs de importancia crtica para analizar un proceso de innovacin, son descartados por considerarse subjetivos, anecdticos e impresionistas. Asimismo, el empleo de extensas muestras de casos que permitan las generalizaciones estadsticas tienden a mostrarse insensible a las perturbaciones locales y efectos poco usuales. El modelo de evaluacin cuantitativa encaja en una perspectiva terica que considera la educacin como un proceso tecnolgico (...). La evaluacin cuantitativa debe preocuparse nicamente de comprobar el grado en que se han alcanzado los objetivos previamente establecidos.

Sin embargo, la utilizacin del enfoque tecnolgico, derivado en primera instancia de considerar que el nico conocimiento posible es el obtenido a travs de metodologa experimental, presenta algunos inconvenientes que hacen necesario un replanteamiento de los presupuestos cientficos y prcticos que han sustentado hasta ahora la Didctica como ciencia de la enseanza-aprendizaje. Algunos de los principales inconvenientes que surgen a la hora de aplicar la metodologa experimental para resolver los problemas de la educacin son los siguientes: El enunciado de leyes universalmente vlidas es materialmente imposible: por un lado, porque en la medida en que no hay dos personas iguales nunca los problemas educativos ni los objetivos a conseguir sern iguales; y, por otro lado, porque los contextos educativos en los que los profesores ensean y los alumnos aprenden son nicos e irrepetibles, lo cual impide la replicacin exacta de los experimentos. Existe un problema especfico en la realidad educativa que la hace radicalmente distinta a la de otras ciencias fsicas y naturales. Esta realidad seala que no se puede establecer una relacin de causa-efecto entre el hecho de ensear y el hecho de aprender. No siempre que un profesor ensea el alumno o los alumnos aprenden. Se puede hablar de una relacin de dependencia pero no de causa-efecto. Esta particularidad de los procesos de enseanza y

aprendizaje mina los supuestos tericos del mtodo experimental al imposibilitar el establecimiento de relaciones causales slidas. Quiz la crtica ms demoledora, realizada desde los detractores del enfoque tecnolgico, sea la que seala que despus de casi quinientos aos de estudios bajo los presupuestos cientifistas, la didctica no ha generado un cuerpo slido de conocimientos que de solucin a los problemas educativos, por lo que parece necesario afrontarlos desde otra perspectiva que resulte ms fructfera. La mayora de los trabajos realizados con la metodologa experimental han sido realizados desde los despachos de la universidad. En la mayor parte de los casos, los problemas que han tratado de resolver estos estudios son problemas ficticios y descontextualizados, problemas, en muchos casos, alejados de las verdaderas necesidades que tienen los docentes y los alumnos. Por otro lado tambin hay que sealar que el enfoque tecnolgico no slo genera dificultades en la investigacin educativa, sino que tambin se ha deja sentir en otros aspectos de la prctica evaluadora habitual como son las calificaciones escolares. El enfoque tecnolgico, experimental, aboga por la utilizacin del nmero como referencia objetiva en las calificaciones escolares. Sin embargo, la utilizacin indiscriminada de calificaciones numricas genera algunas dificultades sealadas, entre otros, por Casanova (1997). Es imposible expresar con una cifra la riqueza de informacin que se puede tener acerca de la formacin de un alumno o alumna en todas las facetas de la personalidad que se van desarrollando durante su proceso educativo. Sealaremos ahora algunos ejemplos que pretenden ilustrar que la utilizacin del nmero en las calificaciones no garantiza la pretendida objetividad que persigue con su uso: 1er Ejemplo: Todos tenemos constancia de que un mismo ejercicio puede obtener calificaciones distintas en funcin de quin lo haya corregido. Es ya una prctica adoptada habitualmente, que en los exmenes de oposiciones se descarten las puntuaciones que presentan una diferencia mayor de tres puntos. Igualmente, el mismo profesor valora ms o menos un trabajo segn el nivel general del grupo -evaluacin normativa-, como ya comentamos en su momento. Por qu se producen estas situaciones? Porque si valora nicamente un evaluador, sin referencias externas -criterios- y rigurosas para ello, lo har siempre: En funcin de sus criterios personales. En funcin del nivel de exigencia que tenga en su programacin (lo que piense que un alumno debe dominar en ese curso determinado). En funcin de lo que ese evaluador conozca del tema trabajado. En funcin del nivel del grupo. En funcin de sus circunstancias personales -estado fsico, anmico, situacin laboral, etc.en el momento de valorar. 2 Ejemplo: Si llega un alumno nuevo a un grupo y la informacin que aporta sobre sus aprendizajes es un boletn donde aparece: Lengua y Literatura: 6 (o Bien, es indiferente). Matemticas: 5 (o

Suficiente), etc., el profesor que debe comenzar a trabajar con l no sabe en absoluto qu aspectos del rea domina ese alumno y en cules necesita reforzar sus aprendizajes. Puede interpretarse que, en funcin de la programacin del profesor precedente, el alumno haba alcanzado lo bsico para continuar sin graves dificultades. Pero, primeramente, la programacin de ese profesor no tiene por qu coincidir con la del actual (ms an con un sistema educativo que acepta la flexibilidad y apertura del currculo y, por lo tanto, diferentes secuenciaciones de objetivos y contenidos); en segundo lugar, el alumno ha alcanzado unos aprendizajes bsicos y le quedan por dominar otros tantos (del 5 al 10 hay un amplio margen de aprendizaje), que no se sabe cules son; en tercer lugar, en esa evaluacin escueta habrn incidido numerosos factores personales -salvo que se nos aclare lo contrario-, segn venimos comentando, que no es posible conocer para encuadrar adecuadamente la informacin que se recibe del alumno. En sntesis: con una calificacin no descriptiva, un profesional no conoce la situacin de aprendizaje del estudiante evaluado. Debe, por tanto, comenzar por realizar una amplia y profunda evaluacin inicial de las diferentes facetas del rea, para determinar qu es lo que domina y dnde necesita reforzar y ampliar sus aprendizajes. En la actualidad, cuando se produce un cambio de centro por parte de un alumno que no ha finalizado una etapa educativa (si la hubiera terminado y superado habra que suponer que haba alcanzado los objetivos propuestos para ella), se exige que se emita un informe en el que aparezcan: el grado de consecucin de las capacidades enunciadas en los objetivos generales de la etapa y de las reas, el grado de asimilacin de los contenidos de las diferentes reas o materias, las valoraciones parciales del aprendizaje que se hubieran emitido y la aplicacin, en su caso, de medidas educativas complementarias. Esta completa informacin que se solicita para que sea trasladada al nuevo centro es difcil -por no decir imposible- simplificarla en unas cifras, por muy expresivas que algunos quieran verlas. Nos encontraramos en una situacin similar en los casos en que un alumno precisa de medidas especiales de adaptacin o diversificacin curricular o simples refuerzos educativos para algunas facetas de su aprendizaje. Estas medidas hay que tomarlas sobre datos concretos, claros, bien descritos..., porque hay que elaborar un programa individualizado para el estudiante. Con la evaluacin expresada numricamente seria imposible realizar ese programa de manera que se produjera la regulacin de su proceso de enseanza y aprendizaje para que superara los fallos especficos en su formacin. Se plantea un problema aadido en la situacin social y educativa del momento actual. Tal y como se ha promulgado en los decretos de currculo en nuestro pas, aparecen contenidos relacionados con actitudes, valores y normas que se deben ensear, que los alumnos deben aprender y que, por lo tanto, tambin se deben evaluar. Si ya es incomprensible un "7" en el rea de Lengua y Literatura, resultara grotesco afirmar que un alumno ha obtenido un "7" en solidaridad, sinceridad, respeto a las ideas de los dems, etc. 3er Ejemplo El siguiente ejemplo alude a un problema matemtico realmente expresivo: "Supongamos una simple suma de ocho sumandos, todos ellos de ms de cinco cifras. Supongamos que veinte alumnos han coincidido en el mismo error curiosamente: todos ellos han puesto en la tercera cifra de la suma/resultado, comenzando por la derecha, la cifra de las centenas, un 6 en vez de un 7. Probablemente la brutalidad tosca y acientfica, superficial, irreflexiva y burda del profesor/corrector de turno, diagnosticar a todos los alumnos el mismo dictamen: una "M" (mal), sin ms especificacin o anlisis, y propondr a todos el mismo tratamiento: repetir la suma (o hacer otras tantas). Pues bien, no hace falta mucha imaginacin para advertir que el error de ese 6

en lugar de la cifra correcta, el 7, puede ser debido a veinte procesos mentales diferentes (...), cada uno de los cuales, para ser destruido, requerira intervenciones tcnico-didcticas cualitativamente distintas, ya que se trata de errores de tipo cualitativo diferentes (...). Por ejemplo: o Un alumno puso 6 en vez de 7, porque se olvid de sumar las que se llevaba de la columna anterior; o Otro alumno puso 6 en vez de 7, porque no saba que hay que sumar las que se llevan; (...) o Otro alumno, porque padece una ligera miopa y confundi en la columna anterior un 3 con un 8; (...) o Lo ms grave de todo: un alumno de los veinte "acert" y fue calificado por su profesor/corrector disparatadamente con una "B" (Bien), porque se equivoc dos veces, en vez de una, como la mayora de los compaeros (...)" Parece incuestionable que la evaluacin de procesos hace necesario un modelo de evaluacin ms amplio, ms comprensivo, que extienda sus tcnicas y sus instrumentos de valoracin y que, adems, exprese sus resultados mediante la descripcin explcita de lo que se ha alcanzado y lo que est pendiente, y de las causas de un rendimiento concreto o las dificultades que presenta el alumno evaluado. A la luz de estos ejemplos, refirindonos a la evaluacin de procesos de formacin humana, debemos sealar que no es posible evaluar de forma ntegra el complejo mundo educativo, exclusivamente con mtodos experimentales: hay que decantarse obligadamente por el uso de mtodos no experimentales como el etnogrfico, el estudio de casos, la investigacin-accin, etc., que permitan planteamientos eminentemente cualitativos, ajustados a las facetas humanas que se van a valorar, precisamente porque utilizan tcnicas procedentes del campo de la antropologa, apropiadas a estos tipos de investigaciones y evaluaciones. Estos y otros inconvenientes han llevado a los estudiosos de la educacin a la necesidad de utilizar un concepto de ciencia ms amplio y unos mtodos de investigacin y evaluacin ms adecuados a los contextos en los que surgen los problemas. El conjunto de mtodos alternativos a la utilizacin en educacin de la metodologa experimental-cuantitativa, se denomina investigacin cualitativa. 2) EL PARADIGMA CUALITATIVO

La estrechez del paradigma positivista en sus aplicaciones a la elaboracin y evaluacin de proyectos educativos ha provocado el desarrollo paralelo de enfoques alternativos con presupuestos ticos, epistemolgicos y tericos bien diferentes. Desde la dcada de los sesenta se ha producido un rpido y acelerado incremento del inters sobre la perspectiva llamada evaluacin cualitativa (Eisner, Cronbach, McDonald, Stenhouse, House, Guba, Parlett, Hamilton, Elliot, Stake...). Tal inters se debe en gran medida al reconocimiento de que los tests estandarizados de rendimiento no proporcionan toda la informacin que se precisa para comprender lo que los profesores ensean y los alumnos aprenden. De forma breve podran considerarse las siguientes caractersticas como las definitorias del paradigma alternativo: La objetividad en la ciencia y en la evaluacin es siempre relativa y de ninguna forma puede considerarse su objetivo central ni prioritario (...). La comprensin de un fenmeno, de un

sistema o de un conjunto de acontecimientos es una empresa humana intencional y tentativa sujeta inevitablemente a limitaciones y errores. Comprender una situacin donde interactan los hombres con intencionalidad y significados subjetivos requiere tomar en consideracin las diferentes posiciones, opiniones e ideologas mediante las cuales los individuos interpretan los hechos y los objetivos y reaccionan en los intercambios. La posicin del evaluador no es neutral, libre de consideraciones de valor. Como afirma Lawton, la evaluacin debe referirse no slo al grado en que el alumno aprende un conjunto de habilidades o un tipo de conocimientos, la evaluacin debe tambin responder a cuestiones de justificacin (por qu han de aprender x?), as como a los efectos de aprendizaje no intencionados (qu han aprendido, adems?), (aprendiendo x qu han dejado de aprender?). Ni la educacin ni la evaluacin pueden comprenderse, pues, como procesos tecnolgicos desligados de la esfera de los valores. En el intercambio escolar se generan significados y se comparten o contrastan valores. La evaluacin no puede versar nicamente sobre la contrastacin asptica de resultados con objetivos preestablecidos, observables y cuantificables. La vida en el aula es un sistema abierto de intercambio, evolucin y enriquecimiento segn Doyle (...)Eisner afirma que en parte como resultado de la creciente literatura sobre "currculum oculto", aquellos que trabajan en el campo educativo han reconocido que los profesores y la escuela como institucin, ensean ms que lo que se proponen. La mayora de las lecciones ms importantes que los alumnos aprenden en la escuela no estn integradas en el currculum explcito. El objetivo de la evaluacin no se restringe a las conductas manifestadas, ni a los resultados a corto plazo, ni a los efectos previsibles o previstos en los objetivos de un programa. Los efectos secundarios y a largo plazo son tanto o ms significativos que los inmediatos y planificados. Comprender el significado de los productos complejos, a corto y largo plazo, explcitos y ocultos, requiere un cambio de orientacin. Una traslacin desde el nfasis en los productos al nfasis en los procesos. Slo comprendiendo la gnesis y la historia, la sucesin compleja de fenmenos y acontecimientos, pueden explicarse las conductas y los resultados del aprendizaje. Los mtodos cualitativos de evaluacin estn diseados en gran medida para enfocar los procesos de la prctica educativa, con objeto de proporcionar la informacin requerida para la formulacin y reformulacin racional de la accin didctica (evaluacin formativa). La evaluacin centrada en los procesos de enseanza-aprendizaje intenta capturar la singularidad de las situaciones concretas, las caractersticas particulares que definen una situacin y que pueden considerarse responsables del curso de los acontecimientos y de los productos de la vida en el aula. Los estudios sobre procesos han de registrar los sucesos en su evolucin, en su estado de progreso, observar las situaciones e indagar los juicios, interpretaciones y perspectivas de los participantes. La bsqueda de significados y procesos supone la traslacin desde las generalizaciones estadsticas al anlisis e interpretacin de lo singular e irrepetible. La evaluacin cualitativa requiere, pues, una metodologa sensible a las diferencias, a los acontecimientos imprevistos, al cambio y al progreso, a las manifestaciones observables y a los significados latentes. Un movimiento metodolgico que supone el anverso de los presupuestos del paradigma psicoestadstico [...] La evaluacin cualitativa incorpora, pues, un conjunto de tcnicas, orientaciones y presupuestos de la metodologa etnolgica, de la investigacin de campo extensamente desarrollada por la Escuela de Chicago. Ms all de la objetividad asptica de datos descontextualizados y con difcil interpretacin, la investigacin de campo, en una cultura primitiva o en el mbito del aula, busca el significado, el contenido de los signos o

indicadores externos, impregnndose da a da de la vida del medio, de los significados compartidos y latentes, de los comportamientos simblicos..., la inmersin del evaluador en el centro del intercambio (...). El enfoque sobre los procesos (que enfatiza la descripcin e interpretacin, el cambio y el contexto) no rechaza los datos cuantitativos ni sugiere que al prestar ms atencin al proceso se olviden los resultados. Aunque el enfoque debe ser particular, la base de datos se ampla y puede incluir indicadores del progreso de naturaleza cualitativa y cuantitativa, as como evidencias tanto de resultados como de procesos de enseanza, aprendizaje y vida escolar. El diseo estrictamente estructurado de antemano no puede ser un instrumento adecuado para la evaluacin cualitativa. La atencin a lo singular y a los movimientos previsibles o accidentales requiere un diseo flexible que permita el enfoque progresivo en reas particulares que aparecen ms significativas en el curso de la investigacin. El estudio se orienta y desarrolla frecuentemente hacia direcciones que no han sido previstas e incluso ni sospechadas con anterioridad. La evaluacin centrada en los procesos es ella misma un proceso que evoluciona en virtud de los descubrimientos sucesivos y de la transformacin del contexto. Supone, pues, un enfoque selectivo y progresivo. El propsito de la evaluacin cualitativa es comprender la situacin objeto de estudio mediante la consideracin de las interpretaciones, intereses y aspiraciones de quienes en ella interactan, para ofrecer la informacin que cada uno de los participantes necesita en orden a entender, interpretar e intervenir del modo ms adecuado. La informacin ni es unvoca ni monopolio de un grupo o estamento, es un instrumento vlido para el contraste y la reformulacin de interpretaciones y actuaciones de cada individuo que interviene en la actividad educativa (...). Como consecuencia del desarrollo de enfoque y perspectivas cualitativas, los modelos de evaluacin que trabajan dentro del paradigma experimental han ido modificando sus estrechos planteamientos y moderando su posicin inicial. No es difcil, hoy, encontrar una base de acuerdo para definir: la evaluacin como un proceso de recogida y provisin de evidencias, sobre el funcionamiento y evolucin de la vida en el aula, sobre la base de las cuales se toman decisiones sobre la posibilidad, efectividad y valor educativo del currculum. Ms que medir, la evaluacin implica entender y valorar. Se ha producido, pues, una mltiple apertura: Apertura conceptual para dar cabida en la evaluacin a resultados no previstos y acontecimientos imprevisibles. Apertura de enfoque para dar lugar a recogida de datos tanto sobre los procesos como productos. Apertura metodolgica. La primitiva e inflexible estrategia formal cambia para incluir procedimientos informales. Del monismo al pluralismo metodolgico. Apertura tico-poltica. La evaluacin proporciona informacin a todos los participantes y recoge opiniones e interpretaciones de todos los grupos de inters implicados en un proyecto educativo. De la evaluacin burocrtica a la evaluacin democrtica.

A continuacin presentamos los atributos ms representativos de ambos paradigmas:

PARADIGMA CUANTITATIVO Bsqueda y creencia en la objetividad en la evaluacin. PARADIGMA CUALITATIVO Bsqueda y creencia en la comprensin de los fenmenos educativos: para comprender los fenmenos se necesita trabajar con las perspectivas subjetivas, con las creencias, de los agentes implicados en los hechos.

El nico procedimiento que puede proporcionar Existe un conjunto heterogneo de mtodos que tiene objetividad y rigor es el mtodo hipottico deductivo o como objetivo comprender los fenmenos educativos mtodo cientfico. tratando de interpretar las opiniones de los agentes implicados en los procesos educativos. El mtodo cientfico es muy restrictivo y universalmente Hay una gran libertad en la utilizacin de distintos vlido. mtodos cualitativos, siempre que se utilicen con conocimiento y rigor. Enfasis casi exclusivo en los productos o resultados de la No interesan exclusivamente los productos de los enseanza. aprendizajes, interesan fundamentalmente los procesos: lo que ocurre en los contextos fsicos, sociales, psicolgicos y filosficos que rodean al hecho educativo. El mtodo experimental requiere un estricto control de las La evaluacin cualitativa se produce en situaciones variables intervinientes para asegurarnos que lo que naturales en las que el observador es un agente implicado ocurre se ha producido como consecuencia de la causa en el problema educativo concreto que se estudia. estudiada. Esto exige simular en el aula las condiciones de laboratorio. Para comprobar la eficacia de un mtodo se deben No se pretende comprobar la eficacia de los mtodos mantener constantes todas las condiciones educativas manteniendo las condiciones constantes sino que se aunque cambien las circunstancias. pretende reorientar y adaptar a los cambios el mtodo que se est utilizando, de forma que el mtodo inicial puede que no sea el mismo al final del programa. Lo subjetivo, lo anecdtico y lo particular es despreciado El inters se centra en la solucin de un problema puesto que lo que se buscan son leyes universalmente concreto, que ocurre en una situacin determinada con vlidas. personas muy concretas que tienen su particular manera de interpretar el mundo.. La evaluacin cuantitativa se preocupa por el grado en La evaluacin cualitativa se preocupa por analizar los que se han alcanzado los objetivos previamente procesos educativos para que los propios agentes establecidos al comienzo de un programa. introduzcan los cambios oportunos para conseguir los objetivos propuestos. Validar mtodos con carcter universal. Hacer vlida la accin educativa concreta que se pone en marcha en cada momento.

3.- MODELOS Y ENFOQUES DE LA EVALUACIN. Hasta hace muy poco tiempo, en nuestro mbito, era muy fcil encontrarse con el siguiente reduccionismo: evaluar es igual a calificar a los alumnos. Afortunadamente, muchas voces se han levantado en su contra, y as, sin negar esa funcin, la evaluacin se ha convertido en un elemento del proceso educativo con una incidencia muy fuerte en otros aspectos y mbitos que superan con mucho la figura del discente. Evaluar programas, evaluar contextos, evaluar centros, evaluar profesores, evaluar materias... son accidentes que ha de cumplir la evaluacin dentro del sistema educativo. La evaluacin ha ido

ampliando sus centros de influencia, hasta convertirse en uno de los ejes y en uno de los requisitos imprescindibles, si queremos hablar con seriedad, de una enseanza de calidad. La preocupacin por la evaluacin en educacin es antigua; pero no nos vamos a remontar a los exmenes que los funcionarios chinos ya tenan que realizar 2.000 aos antes de Cristo, ni nos detendremos en la influencia positivista primera y la presin de la Psicologa ejercida a travs de las medidas mentales de la inteligencia, la memoria, la atencin, etc. La adscripcin de un autor a uno de los paradigmas anteriormente citados, se realizada despus de que dicho autor se haya decantado por la utilizacin prctica de algn modelo de evaluacin. Esto viene a indicar que los paradigmas evolucionan y cambian porque los evaluadores introducen cambios en sus prcticas evaluadoras; cambios que surgen por la insatisfaccin a la hora de utilizar los modelos anteriores. Como ya se ha sealado, a lo largo del ltimo siglo, se han ido sucediendo, en funcin de las necesidades de los investigadores educativos, distintos modelos de evaluacin. Desde los puramente cuantitativos, como el Tyler, centrado en la evaluacin del producto de los resultados de la enseanza, hasta otros, ms de tipo cualitativo, centrados en el anlisis de los procesos, como los de Scriven, Stufflebeam o Stake. Aunque no se agotan aqu todas las posibilidades, podramos hablar de la evaluacin crtica de Eisner, de la evaluacin iluminativa de Parlett y Hamilton, de la evaluacin democrtica de MacDonald, de la eva1uacin como investigacin de Stenhouse, etc. Estudiaremos ahora tres de los modelos de evaluacin que ms han influido en nuestro sistema educativo a lo largo del ltimo siglo. A travs de su presentacin podremos observar cmo han ido cambiando las modas, desde concepciones positivistas centradas en los productos, hacia posiciones ms formativas basadas en la evaluacin de los procesos. 3.1. El modelo de evaluacin de Tyler Iniciaremos nuestro hipottico andar con la figura de Tyler; tras la Segunda Guerra Mundial. Su aportacin y preocupacin por 1a evaluacin en educacin ha ejercido una gran influencia. Muchos han sido sus seguidores. Todava hoy, puede que sea su modelo uno de los ms extendidos en el panorama actual de la evaluacin en los centros, si bien est siendo criticado y superado ampliamente por otros planteamientos. Su concepcin de la evaluacin podra sintetizarse as: Evaluar supone establecer comparaciones entre las realizaciones de los alumnos, tras un perodo de aprendizaje, y los Objetivos que se establecieron con anterioridad y determinar hasta qu punto stos han sido logrados. Llevar a la prctica este modelo de evaluacin supone: Enumerar, secuencializar objetivos. Establecer controles o procedimientos para obtener informacin de los resultados de los alumnos, de forma observable. Comparar los resultados con los objetivos. Aceptar o rechazar de acuerdo con unos valores o normas.

El procedimiento de diseo evaluativo es el siguiente: 1. 2. 3. 4. 5. 6. 7. 8. Establecer las metas u objetivos. Ordenar los objetivos en amplias clasificaciones. Definir los objetivos en trminos de comportamiento. Establecer situaciones y condiciones segn las cuales puede ser demostrada la consecucin de los objetivos. Explicar los propsitos de la estrategia de evaluacin al profesorado encargado de realizarla y cules sern los mementos y situaciones ms adecuadas para la evaluacin. Escoger o desarrollar las apropiadas tcnicas de evaluacin (a ser posible instrumentos objetivos y estandarizados) y utilizar los procedimientos estadsticos apropiados. Recopilar los datos de trabajo, que podrn referirse a los centros, a los programas desarrollados o al aprendizaje concreto de los alumnos). Comparar los datos con los objetivos de comportamiento.

El procedimiento tyleriano, con las modificaciones, mejoras y ampliaciones de Scriven (evaluacin formativa) y Stufflebeam (evaluacin del proceso) principalmente, representa un gran avance para la evaluacin educativa, tanto de programas, como de curricula o de alumnos. Este modelo se muestra adecuado para: Labores de diagnstico. Tratamiento posterior de aprendizajes defectuosos o lagunas. modificacin de objetivos. Ajuste de objetivos. Obtencin de informacin para la direccin y administracin educativas. Gua indicadora para el profesor de su actividad y de su repercusin en el aprendizaje de sus alumnos. Proporcionar informacin para evaluaciones orientativas de procesos de aprendizaje subordinados de dichas evaluaciones. Proporcionar informacin para evaluaciones sumativas o finales dada su especial preocupacin por acabar ciclos o programas y as poder establecer las comparaciones. Las limitaciones, que son varias, tal como veremos al desarrollar otros modelos, hacen referencia, principalmente, a: Dificultad de objetivizar, segn taxonomas, las metas y fines educativos. No aporta criterios suficientes y claros para seleccionar objetivos. Elaborar los objetivos operativos para los curricula es excesivo. Los objetivos de mayor relevancia (juicios, valores, actitudes) pueden quedar fuera de los procesos de evaluacin.

El modelo de Tyler se encuentra claramente dentro de lo que hemos considerado anteriormente corriente cuantitativa o experimental. Pretende objetivar al mximo tanto los objetivos educativos, las situaciones de aprendizaje como la propia prctica de la evaluacin, con la pretensin de ejercer el control total de las variables implicadas en el proceso. Pero ya hemos sealado anteriormente las dificultades que este enfoque, tomado en sentido estricto, manifiesta a la hora de ajustarse a las verdaderas necesidades de los centros y de los alumnos.

3.2. La evaluacin formativa de Scriven y la evaluacin del proceso de Stufflebeam Aunque ya Tyler introdujo el trmino feed back (retroalimentacin o retroaccin) en sus planteamientos educativos, este trmino tuvo escasa incidencia en los primeros planteamientos. Fueron los estudios posteriores los que detectaron la potencialidad y las posibilidades de ese concepto. Existe una clara distincin entre la evaluacin sumativa (final) la evaluacin formativa (o de proceso); la primera tiene como objetivo el de certificar un estado resultante de los aprendizajes de los alumnos respecto a unos objetivos preestablecidos, es decir; establecer unos niveles o unas clasificaciones de los resultados obtenidos por los alumnos; la segunda por el contrario, pretende proporcionar una informacin que sirva para que el alumno y el profesor puedan conducir reconducir sus esfuerzos y sus trabajos dentro de unas coordenadas de accin que faciliten el desarrollo de las actividades y faciliten aprendizaje mientras ste se est desarrollando. En palabras de Scriven, recogidas por Stufflebeam y Shinkfield (1987:345) resulta que: La formativa ayuda a desarrollar programas y otros objetos; la sumativa calcula el valor del objeto una vez que ha sido desarrollado y puesto en el mercado Esta idea es importante porque nos sita ante un hecho irreversible: hablar de evaluacin sumativa nos lleva a planteamientos cerrados y acabados, en tanto que la evaluacin formativa nos invita a procesos abiertos y flexibles. Su incidencia es manifiesta tanto en el diseo y desarrollo de determinados programas parciales o en la elaboracin de currcula complejos como en el seguimiento y control (ayuda) del desarrollo didctico de cualquier actividad y, en consecuencia, de los aprendizajes de los alumnos en un momento determinado, con el propsito de mejorar todos y cada uno de los procesos. As entendida, la evaluacin se convierte en parte integrante del proceso didctico, mientras ste se realiza de modo distinto al considerarlo una parte final e independiente del mismo. La evaluacin formativa o del proceso tiene como finalidad principal la de obtener informacin, que, una vez contrastada en cuanto a su validez, nos lleve a desarrollar y optimizar el proceso objeto de evaluacin, es decir, el desarrollo y la ejecucin de una determinada actividad o programa. La caracterstica esencial de las evaluaciones formativas o de proceso radican en que las decisiones que se toman afectan al propio proceso; esto no ocurre con la evaluacin sumativa cuyas repercusiones afectan a otros procesos. Las repeticiones, en una evaluacin formativa, afectan a secuencias o partes del proceso, considerando este no acabado; en una evaluacin sumativa esas repeticiones afectan a otro proceso, entendiendo el anterior como algo acabado.

PUNTO DE CONTRASTACIN

DATOS PARA EMITIR JUICIOS

La realizacin de un examen, en una evaluacin sumativa, tiene su constatacin en una calificacin (apto, no apto); a continuacin se pasa a realizar otro proceso, que no tiene repercusiones ni sobre los procesos ni sobre los contenidos que han sido evaluados (no existe retroalimentacin) Los efectos se vern en otro proceso, ya que lo facilitan, lo permiten o lo impiden. Por su parte, Stufflebeam concibe la evaluacin del proceso como una parte de un planteamiento evaluatorio ms amplio al que denomina CIPP, o sea, evaluacin del contexto (C), evaluacin de las entradas- inputs- (I), evaluacin del proceso propiamente dicho (P) y evaluacin del producto (P). La finalidad del CIPP es perfeccionar un sistema, no demostrar su validez. Este modelo se ajusta ms a la evaluacin de centros que a la evaluacin de los aprendizajes individuales de los alumnos, aunque pueden utilizarse tambin para esta tarea siempre que se realicen los ajustes oportunos. En la tabla siguiente se pueden observar las intenciones de Stufflebeam para cada uno de los aspectos del CIPP
CONTEXTO Definir el contexto escolar y sociocultural, identificar la poblacin objeto de estudio y valorar sus necesidades. Analizar si los objetivos propuestos son con coherentes con las necesidades valoradas. Para ello pueden utilizarse mtodos como la observacin, la inspeccin, la revisin de documentos, las entrevistas, los cuestionarios, etc. ENTRADA Identificar y valorar la capacidad del sistema, las estrategias de programa alternativas, la planificacin de procedimientos para llevar a cabo las estrategias, los presupuestos y los programas que lleva la institucin a la prctica. Para ello se puede inventariar y analizar los cursos humanos y materiales disponibles. El estudio de las posibilidades de viabilidad, aplicabilidad y las econmicas. PROCESO Identificar durante el proceso los efectos de la planificacin del procedimiento o de su realizacin, proporcionar informacin para las decisiones preprogramadas y describir y juzgar las actividades y aspectos del procedimiento. PRODUCTO Recopilar descripciones y juicios acerca de los resultados y relacionarlos con los objetivos y la informacin proporcionada por el contexto, por la entrada de datos y por el proceso, e interpretar su valor y su mrito.

Qu evaluar?

Cmo evaluar?

Para ello se debe tratar de establecer una continua interaccin con el personal del proyecto y la observacin de sus actividades. Los cuestionarios, las planillas de observacin de los elementos centrales del proceso, los diarios y el anlisis de documentos son buenos procedimientos para la evaluacin del proceso. La evaluacin del proceso permitir introducir en todo momento los cambios necesarios para llevar a cabo y perfeccionar la planificacin y los procedimientos del programa.

Para ello puede utilizarse como mtodo de evaluacin, la tarea de definir operacionalmente y valorar los resultados, mediante la recopilacin de los juicios de los clientes y la realizacin de anlisis cualitativos y cuantitativos.

La evaluacin del contexto permitir definir el marco, las metas, los objetivos Para qu y la planificacin evaluar? inicial del programa.

La evaluacin de las entradas o imputs permitir la seleccin de los recursos de apoyo, los procedimientos y las capacidades del sistema para llevar a cabo el proceso.

La evaluacin del producto permitir decidir la continuacin, la modificacin o readaptacin o la finalizacin del programa.

Teniendo en cuenta, como seala el propio Stufflebeam, que la evaluacin es una parte integrante del programa regular de una institucin y no una actividad especial que se lleva a cabo en determinados momentos, los objetivos de una evaluacin formativa o de proceso podran sintetizarse en los siguientes: Aportar una informacin suficiente y contrastada a las personas interesadas sobre el ritmo de las actividades de un determinado programa. Si stas se ajustan a lo planificado y si se emplean los recursos de forma eficiente. Proporcionar elementos de ayuda y orientacin para modificar algn plan concreto previamente establecido o justificar su inadecuacin. Indicar niveles de satisfaccin tanto de ejecutores como de usuarios. Elaborar un informe en el cual se recoja la calidad, el coste y el nivel de ajuste respecto a lo planificado.

Despus de la presentacin de estos modelos, es preciso insistir en la problemtica, que se apuntaba ms arriba, respecto a los paradigmas cualitativos y cuantitativos. En un primer momento, la aparicin de los modelos cualitativos en educacin se presentan enfrentados a los modelos cuantitativos-experimentales tradicionales. Tras largos forcejeos en la actualidad, y en el mbito de las ciencias sociales en general y en las ciencias de la educacin en particular, parece que se llega a un consenso: ningn mtodo tiene la exclusividad a la hora de intentar explicar o profundizar en el conocimiento de los fenmenos; es ms, presentar los paradigmas como incompatibles constituye un error. Creemos que son muy acertadas las ideas de Reichardt, 1986 y Filstead, 1986, cuando intentan centrar la polmica y buscar una solucin considerando que:
Los atributos de un paradigma no se hallan ligados ni a los mtodos cualitativos ni a los cuantitativos.

Los paradigmas no constituyen el determinante nico de la seleccin de los mtodos.

La eleccin del mtodo depender, en parte, de las exigencias de la situacin que se pretende analizar. La eficacia, validez y utilidad de una investigacin o de una evaluacin sern mayores en la medida que hayamos logrado disear un proceso que se ajuste a las situaciones que comprende, de las cuales unas sern de ndole cuantitativa y otras cualitativas o, la mayora de las veces, mixtas,

Los evaluadores han de sentirse libres para cambiar de paradigma cuando lo consideren oportuno. Que lo inapropiado es situar a cualquiera de los dos mtodos en posicin inferior Que la evaluacin de un programa puede verse fortalecida cuando en un diseo de investigacin se hallan integrados los dos paradigmas. 4. DISEOS DE EVALUACIN

Abordar el diseo de la evaluacin, en funcin de la realidad del centro evaluado, de los componentes seleccionados y de las necesidades detectadas, supone disponer el camino para llegar a la meta propuesta. La definicin de diseo, en sentido amplio, puede concretarse en: la planificacin de las actividades que deben llevarse a cabo para solucionar los problemas o contestar a las preguntas planteadas (De la Orden, A.:1985, p. 71). Una vez identificados los componentes y subcomponentes que se van a evaluar y sealadas las condiciones generales del proceso que se emprende, es necesario determinar el tipo de diseo ms adecuado para las finalidades que se pretenden (ver Cuadro que aparece ms abajo). Decidido el tipo de diseo, hay que precisar, dentro de su planteamiento genrico, las fases del trabajo, las personas que deben intervenir, los recursos con que se cuenta, las tcnicas que se utilizarn, los instrumentos que deben emplearse o elaborarse, el tiempo previsto para su realizacin, etc.

Cuadro: Tipos de diseos.

Diseo experimental
Diseo quasiexperimental Tipos de diseo evaluador Diseo no experimental

Ex-post-facto Correlacional Longitudinal Transversal Estudio de casos Investigacin-accin

Etnogrfico

La realizacin del diseo supone una importante toma de decisiones para hacer realidad la evaluacin proyectada; sin esta tarea previa, es fcil que no se alcancen los objetivos propuestos en un principio. En el cuadro anterior hemos presentado una posible clasificacin de los tipos de diseos vlidos tanto para investigacin como para evaluacin. Segn esta propuesta, podemos distinguir bsicamente tres tipos de diseos: a) Experimental. b) Quasi-experimental. c) No experimental. En principio, es vlida la eleccin de cualquier tipo de diseo para realizar la evaluacin global o parcial de un centro, pero nos decantamos por los diseos no experimentales por su mayor adecuacin y utilidad en la evaluacin interna y formativa de los centros escolares. As, aunque entendemos que para casos concretos, especialmente en la evaluacin parcial de un centro, puede emplearse un diseo experimental o quasi-experimental, creemos que las situaciones habituales de la vida de un centro, consideradas globalmente, son ms fcilmente valorables con diseos no experimentales, por adecuarse mejor a la naturaleza compleja de estos hechos, a la evaluacin de procesos y a la dinmica diaria de la tarea educativa. Los diseos no experimentales permiten incorporar las eventualidades que van apareciendo y, por ello, el ajuste de los pasos establecidos previamente en ellos. De esta forma, la continua mejora del proceso y las circunstancias en que ste se desenvuelve y la utilizacin de la evaluacin como estrategia de formacin permanente en el centro, se convierten en una realidad. Dentro de los diseos no experimentales, el diseo etnogrfico se adecua especialmente a la flexibilidad que necesita la evaluacin de las instituciones educativas. En consonancia con la exposicin que venimos haciendo, consideramos necesario realizar algunas puntualizaciones que quiz orienten al lector a lo largo de las pginas que siguen:

La descripcin de los tipos de diseo es sencilla y breve; en ella nos limitamos a destacar sus principales caractersticas, de manera que el interesado disponga de unos elementos bsicos de juicio para decidir el tipo de diseo que puede resultar ms conveniente en cada caso. Para su ampliacin, le remitimos a la bibliografa, donde podr encontrar obras que tratan con mayor profundidad los diseos mencionados. 4.1. Diseo experimental Un experimento consiste en modificar el valor de una variable (denominada independiente) y observar el efecto del cambio en otra variable (denominada dependiente). Por tanto, la caracterizacin del mtodo experimental en educacin viene dada porque el evaluador controla y manipula deliberadamente las condiciones de los hechos que le interesa valorar. De esta forma se pretende establecer relaciones de causa/efecto entre unas variables y otras. Las funciones que se asignan al diseo experimental son complejas y variadas; siguiendo a De la Orden, A. (1985, PP. 71-72), citamos entre ellas: La formulacin precisa de la hiptesis y su traduccin a trminos estadsticos, la identificacin tanto de la variable independiente (V. I.) como de las extraas y la toma de decisiones sobre los niveles de aqulla y el control de stas, la seleccin de la muestra, su tamao y procedimiento de asignacin, la seleccin de tcnicas para la medicin de la variable dependiente (V. D.), la decisin sobre la prueba estadstica y el nivel de significacin, y el grado de generalizacin de los resultados. Se ha utilizado frecuentemente este diseo para controlar, por ejemplo, el efecto de una nueva metodologa sobre el aprendizaje de grupos de alumnos. Para aplicarlo es necesaria la formacin aleatoria de los grupos y, tambin, contar con un grupo de control. Dada la dificultad de que se d la condicin de aleatoriedad, en sentido estricto, dentro del campo educativo, y dados los problemas ticos que en algunos casos puede plantear la manipulacin de sujetos, se hace realmente difcil su utilizacin en buena parte de la evaluacin educativa, lo que no significa que para investigaciones muy especificas no deba realizarse y, de hecho, se realice. No obstante, los obstculos que presenta su utilizacin en la evaluacin interna de los centros, son prcticamente insalvables. 4.2. Diseo quasi-experimental Considerando las dificultades del diseo experimental puro, los investigadores en educacin manifiestan, en los ltimos aos, una clara tendencia hacia la aplicacin de la quasiexperimentacin. No todas las leyes que rigen en el mbito de la educacin son leyes linealmente causales, sino que ms bien encontramos relaciones teleolgicas (regidas por metas, intenciones, objetivos, etc.), o bien ecolgicas (orientadas por mecanismos complejos de adaptacin). Ciertamente, el contexto en el que ocurren los hechos constituye un sistema abierto donde aparecen interacciones de todo tipo y en el que, por lo tanto, es casi imposible establecer relaciones causales puras. Por ello, hay que convenir en que son mayores las posibilidades de aplicar el diseo quasi-experimental para obtener resultados no reduccionistas en educacin. El objetivo principal de este diseo se centra, como en el caso anterior, en establecer ciertas relaciones causales entre las variables estudiadas, pero sin exigir la completa aleatorizacin de los grupos, por lo que resulta ms sencilla y apropiada su utilizacin. Presenta, de este modo, un menor grado de validez interna, pero un nivel aceptable de validez externa..

Los condicionantes a los que hemos aludido hacen que algunos autores achaquen a este tipo de diseo un menor valor cientfico. No obstante, las ventajas que presenta, muy especialmente su viabilidad y su escasa interferencia en el curso natural de los hechos, llevan a que los investigadores/evaluadores recomienden este diseo para muchos estudios educativos. 4.3. Diseo no experimental Para caracterizar los diseos no experimentales habra que indicar que son aquellos que no incorporan los elementos de control disponibles en los diseos anteriores. Es decir, no se controlan y manipulan las variables (no se utiliza grupo de control, no se seleccionan y asignan sujetos por procedimientos aleatorios) y no pretenden definir la estricta relacin causa-efecto entre una variable y otra. Por el contrario, s pretenden descubrir relaciones entre los componentes de un hecho, ofrecen una rica informacin sobre los procesos, explican las complejas interacciones que se producen en los grupos humanos, dejan un gran margen para la interpretacin, y por todo ello, sus resultados no son generalizables, pero resultan de gran utilidad para la toma de decisiones en la situacin o el centro evaluados. Por lo tanto, desde un punto de vista experimental, estos diseos resultan muy dbiles; no obstante, con fines formativos esto puede ser muy acertado; pero con fines sumativos son mucho menos convenientes que los diseos ms rigurosos (Weiss, C. H.: 1982, pp. 93-94). Y es precisamente por esta serie de razones por lo que mostramos nuestra preferencia por los diseos no experimentales en la evaluacin de centros: los fines que pretendemos con la evaluacin interna del centro son, justamente, su continua formacin y mejora y, como dice Weiss, es en ese campo en el que los diseos no experimentales encuentran su adecuada aplicacin. A continuacin describiremos algunos diseos incluidos en la clasificacin respecto a la que, como ya comentamos antes, todava no se ha llegado a un consenso general y la inclusin o no de algunos diseos en un grupo u otro depende ms de un criterio personal guiado por motivos prcticos que de un consenso aceptado de forma general, como seala De la Orden (1985). a) Diseo ex-post facto Interpretado literalmente, el trmino ex-post-facto significa de lo que se hizo antes, es decir, diseo para la evaluacin de lo ya realizado o diseo retrospectivo. Se centra, por tanto, en una variable independiente cuyas manifestaciones ya han ocurrido. De ah que este diseo se defina como: ... aquella investigacin en la que no se ejerce control directo sobre la variable independiente (De la Orden, A.: 1985, p. 107). Esta es, tambin, su diferencia esencial con el diseo experimental. Constituye un intento planificado para evaluar la relacin causa/efecto entre una situacin dada y los factores que en el pasado hayan podido producirla. Por ejemplo, en un centro aparecen porcentajes de abandono escolar que antes nunca se haban dado. El evaluador, para intentar averiguar las causas, investigara los factores que hubieran podido presentarse en el funcionamiento general del centro a lo largo de los cinco ltimos aos, buscando as la explicacin a la alarmante situacin que ahora se manifiesta. Este tipo de diseo ve amenazada su validez interna por la desaparicin a corto plazo de la muestra y la regresin estadstica. No obstante, hay autores, como E. N. Kerlinger (1975), para quienes este planteamiento es tan riguroso como el experimental, pero teniendo en cuenta su aplicacin a la investigacin pedaggica, ya que el objeto de estudio (la educacin) no posibilita el control riguroso de variables y condicionamientos, como ya hemos comentado antes.

b) Diseo correlacional Insistiendo en la ambigedad de las clasificaciones, este diseo es considerado, a veces, como una modalidad del diseo ex-post-facto, al igual que el denominado diseo de grupo criterial o diseo causal-comparativo (Cohen, L. y Manion, L.: 1990, p. 224), mientras que otras es incluido entre los quasi-experimentales. No obstante, presenta algunas diferencias significativas que permiten su diferenciacin. La evaluacin mediante un diseo correlacional se propone la identificacin de las relaciones existentes entre las diferentes variables que confluyen en un fenmeno, intentando determinar el tipo (positivo o negativo) y ponderar su incidencia. La pretensin no es hallar la relacin directa de causa/efecto, sino simplemente poner de manifiesto relaciones entre unas variables y otras. De esta forma, no requiere la manipulacin de la variable independiente, por lo que resulta ms aplicable al campo educativo, aunque los experimentadores cuantitativos puros ponen en entredicho su validez al no poder establecer el tipo de relacin que efectivamente se produce. Son importantes sus aportaciones para constatar la fiabilidad y la validez de una prueba (Tyler, L. E.: 1978). e) Diseo longitudinal El diseo de evaluacin longitudinal se lleva a cabo mediante la recogida y valoracin de los datos a lo largo de un determinado perodo de tiempo. Este periodo puede establecerse de antemano cuando se evala un tema que as lo precise, como puede ser la implantacin de un programa, de una reforma educativa, etc. Asimismo, el diseo puede plantearse sistemticamente cada ao en torno a aquellos componentes o aspectos del centro escolar que se consideren de inters (rendimiento del alumnado, funcionamiento de los criterios de evaluacin previstos, aplicacin de metodologas innovadoras...). Dado que en todos los casos este tipo de diseo evaluativo implica un seguimiento en el tiempo, presenta ciertas ventajas e inconvenientes que comento brevemente. La evaluacin longitudinal es til para llegar a conocer los esquemas de desarrollo del objeto evaluado, para establecer las relaciones que se producen entre unos y otros componentes o resultados, para demostrar cmo los cambios individuales suelen coincidir con los cambios sociales de conjunto y, muy especialmente, para la observacin de tendencias en los grupos. No obstante, por el motivo antes citado (su prolongacin en el tiempo hace que cuanto mayor sea su duracin, ms fuertes sean sus limitaciones), tambin presenta inconvenientes y problemas relativos a su validez, que han hecho reducir enormemente su utilizacin en los ltimos aos; entre ellos, el largo perodo de tiempo en el que se debe contar con un equipo evaluador que realice el seguimiento, el gran coste econmico que lleva consigo, la mortalidad de la muestra (cambio o desaparicin de los sujetos evaluados por traslado de residencia, de centro, etc.) y las dificultades de organizacin, ya que las continuas modificaciones impiden cumplir en muchas ocasiones la planificacin prevista (Cohen, L. y Manion, L.: 1990, p. 102). No obstante estos inconvenientes, y como ya adelantaba al comenzar este comentario, para la evaluacin longitudinal de un centro educativo no existen tantas dificultades como las sealadas por los investigadores cuando se refieren a estudios planificados a escala nacional o internacional y que deben efectuar equipos especialmente contratados para ello. Creo que no es difcil llevar a cabo la evaluacin de aquellos componentes que se consideren de mayor inters para el centro, mediante un diseo longitudinal. Ni siquiera es imprescindible precisar de antemano el final de la misma, salvo que as lo requieran los objetivos previstos. Por ejemplo: los resultados obtenidos por los alumnos y las alumnas a lo largo de varios cursos acadmicos pueden ser objeto de un diseo de evaluacin longitudinal sin necesidad de predeterminar el final del estudio. Esto ofrecera al centro datos comparativos por grupos y por reas o disciplinas durante

toda su vida como institucin, y permitira establecer correspondencias entre stos y los diferentes factores que se hayan ido introduciendo o modificando en el proceso de funcionamiento (metodologa, recursos didcticos, profesorado especialista, programas especficos, etc.) o las modificaciones de contexto o entrada que se hayan producido (en el nivel sociocultural de la poblacin de la localidad o del barrio, en el tejido industrial, en los apoyos externos, en las instalaciones, etc.). Por las caractersticas de este diseo, algunos autores lo sealan como prximo a los diseos quasi-experimentales e, incluso, cuando los diseos experimentales cuentan en su planteamiento con observaciones sistemticas repetidas en el tiempo, tambin participan de este carcter longitudinal que acabamos de comentar. Por otro lado, si el diseo longitudinal se aplica a hechos ya ocurridos, al menos en parte, se acerca a la caracterizacin de los diseos ex-postfacto. d) Diseo transversal El diseo de evaluacin transversal intenta salvar los inconvenientes de aplicacin temporal que se atribuyen al longitudinal y, para ello, la toma de datos y su valoracin correspondiente se realizan en un momento preciso, pero recogiendo informacin de muy diferentes estratos de poblacin. situaciones. edades, mbitos de actuacin, etc., de manera que sea posible deducir unas ciertas tendencias de comportamiento a lo largo del tiempo aunque el estudio se realice en un plazo realmente corto: Un estudio transversal es aquel que produce una fotografa instantnea de una poblacin en un momento determinado. El resumen o compendio de un estudio transversal es un censo nacional en el que una muestra representativa de la poblacin formada por individuos de diferentes edades, diferentes ocupaciones, diferente educacin e ingresos y residentes en diferentes partes del pas, es entrevistada en el mismo da (Cohen, L. y Manion, L.: 1990). Al igual que el anterior, este diseo de evaluacin presenta ventajas e inconvenientes claros. Haciendo referencia a los citados anteriormente, podra afirmarse que las ventajas de la evaluacin longitudinal corresponden a los inconvenientes de la transversal, y viceversa. En concreto, las ventajas son su inferior coste econmico y organizativo, la mayor rapidez en la obtencin de resultados, el mayor nmero de sujetos con los que se puede contar para su realizacin y la facilidad para contar con la cooperacin de los sujetos evaluados. FI inconveniente bsico es la dificultad de determinar tendencias en el comportamiento de los grupos a lo largo del tiempo (sean stos ms o menos amplios) y, por tanto, el estudio de procesos de desarrollo mediante este tipo de evaluacin es slo aproximativo. Un ejemplo comparativo: si queremos conocer la incidencia de la aplicacin de una reforma educativa en los resultados obtenidos por los alumnos durante los seis primeros aos de implantacin, su evaluacin bajo un diseo de tipo longitudinal supondra realizar el estudio sobre los factores que se desea evaluar al menos una vez al ao. Al cabo de los seis aos se podra redactar el informe final de la evaluacin con los resultados obtenidos. Si decidimos que no es posible mantener el estudio anual a lo largo de todo ese tiempo, cabe la posibilidad de plantear una evaluacin con diseo transversal. Para ello, cuando hubiese finalizado el periodo de seis aos, se tomaran muestras de alumnos de los cursos 1, 2, 3, 4, 5 y 6, con datos relativos a todos los componentes que vayan a ser evaluados (reas, disciplinas, metodologa, modelo de evaluacin, organizacin del centro...). De esta forma se obtendra una visin global, pero referida a los distintos momentos de implantacin (cursos 1, 2, 3, 4, 5 y 6) y a todos los componentes que deseamos evaluar. Se consigue as un resultado similar al del diseo longitudinal. No obstante, si deseramos obtener mayor informacin sobre algn aspecto

concreto y profundizar en cualquiera de los factores estudiados, ya no sera posible, puesto que este tipo de diseo se realiza cuando el proceso ha finalizado. Esto obstaculiza tambin la posibilidad de reformulacin, ajuste o correccin de las disfunciones que se vayan produciendo, limitando, por tanto, los valores formativos de la evaluacin y la efectividad de las decisiones tomadas en el momento oportuno. Otro ejemplo ms, referido estrictamente al mbito de un centro educativo: podramos plantearnos la determinacin del valor de los criterios establecidos para la evaluacin del alumnado a lo largo de toda la Educacin Primaria y Secundaria Obligatoria. El diseo transversal de esta evaluacin supondra que, al finalizar un curso, se tomaran datos del funcionamiento de esos criterios en los tres ciclos de la Educacin Primaria y en los dos ciclos de la Educacin Secundaria Obligatoria, simulando as la continuidad en el tiempo del proceso de aplicacin de esos criterios. Una vez hecho esto, se estableceran las comparaciones oportunas actuando como si los datos se hubieran obtenido curso tras curso. e) Estudio de casos El diseo de evaluacin caracterizado como estudio de casos aparece, como en las situaciones anteriores, clasificado de diversas maneras. Vzquez Gmez, G. (1976) lo considera inscrito dentro de los diseos quasi-experimentales, cuando es capaz de satisfacer, al menos en cierto grado, las exigencias de validez interna y externa necesarias. No obstante, otros autores, como Campbell, D. y Stanley, J. (1979), lo citan como diseo precientfico, al sealar que no controla ninguna de las fuentes de invalidez. Lo incluimos ahora en los diseos no experimentales, continuando con el criterio ya mencionado, no considerndolo estrictamente experimental ni quasi-experimental, tanto por los principios generales que lo inspiran como por las situaciones a las que generalmente suele aplicarse. Este diseo de evaluacin implica el estudio profundo de las caractersticas de una realidad singular, de la unidad individual que se pretenda evaluar: un centro educativo, un alumno, una pandilla, una clase, etc. Su propsito fundamental es conocer profundamente y analizar con intensidad los diferentes fenmenos que componen esa unidad. Por lo tanto, la tcnica principal que se utiliza para la recogida de datos es la observacin, complementada con la entrevista. De esta forma, el evaluador incluso puede pasar a formar parte integrante del medio evaluado con la pretensin de conocerlo en toda su amplitud (observacin participante). Interesa especialmente el conocimiento del proceso tal y como est ocurriendo y la opinin que las personas intervinientes tienen de l, y resulta til sobre todo cuando el objetivo de la evaluacin es comprender la naturaleza y la fenomenologa de los procesos. La funcin asignada al estudio de casos es doble: investigadora y formativa, puesto que se propone ayudar a los protagonistas de la accin a conocer lo que hacen y a reflexionar sobre ello para mejorar su actividad profesional. Es evidente que este tipo de diseo se enmarca dentro del modelo cualitativo de evaluacin (metodologas naturalistas, idiogrficas, iluminativas...) y ltimamente se ha extendido considerablemente en el mbito de la evaluacin de centros, ya que se adapta muy bien a las necesidades evaluativas de los mismos y responde adecuadamente a los intereses de sus miembros y a la forma de hacer que en estas instituciones tiene lugar.

f) Investigacin-accin En trminos generales, se puede definir la investigacin-accin o investigacin activa (recibe diversas denominaciones) como la intervencin sistemtica en el funcionamiento de realidades reducidas (un aula, un centro), que lleva al examen continuo de la situacin y permite los ajustes permanentes para perfeccionar el proceso que se desarrolla. Si enfocamos nuestro inters hacia el centro o el aula, esto se traduce en que los propios integrantes de la comunidad educativa, que da a da hacen la vida de la institucin, son los principales observadores/evaluadores de su actividad, de modo que la retroalimentacin puede tener lugar en cada momento en que resulte necesaria, a la vista de las interacciones y los resultados que se van produciendo. Constituye la reflexin personal del profesional sobre su propio trabajo. Como caractersticas del diseo enmarcado en el mbito de la investigacin-accin, Cohen y Manion (1990, p. 271) citan las siguientes: f.1). Situacional Se preocupa del diagnstico de un problema en un contexto concreto y lo intenta resolver en ese mismo contexto (en nuestro caso, el centro escolar). f.2). Colaborador Trabajan juntos el equipo de evaluadores y los profesionales del medio evaluado (profesores y directivos). f.3). Participativo Los miembros del centro toman parte en la evaluacin/investigacin. f.4). Autoevaluador Se evalan continuamente las modificaciones que se produzcan en la situacin del centro, siendo el ltimo objetivo mejorar la prctica profesional especfica. Por otra parte, la investigacin-accin se suele recomendar para el estudio o evaluacin de mtodos de enseanza, de estrategias de aprendizaje, de procedimientos de evaluacin, de actitudes y valores, de formacin de profesionales en ejercicio, de cuestiones relacionadas con direccin y control y de situaciones problemticas de gestin. En resumen, puede resultar idnea para la evaluacin de muchos elementos que forman parte del funcionamiento de un centro educativo. La inclusin de la investigacin-accin dentro de los tipos de diseo no experimentales viene justificada por su propio planteamiento, que no intenta controlar y manipular las variables, sino explicar desde dentro la realidad de una situacin social. De forma parecida al estudio de casos: se basa en dos principios esenciales: mejora y participacin... Dado que es una forma de investigacin social... el campo de la interaccin y la prctica humanas configura los lugares aptos para la investigacin y el perfeccionamiento (Grundy, 5.: 1991, p. 193). Por otra parte, las tcnicas de recogida y anlisis de datos que se ajustan a este tipo de diseo son las utilizadas habitualmente por los investigadores o evaluadores cualitativos, ya que se adecuan mejor al estudio de la compleja e interactiva realidad del centro educativo. g) Diseo etnogrfico Siguiendo el trabajo realizado por Goetz, J. P. y Le Compte, M. D. (1988), sintetizo los rasgos de los diseos etnogrficos que nos pueden resultar ms interesantes para su aplicacin a la evaluacin de centros, ya que este diseo se suele utilizar para estudios de investigacin ms amplios dentro

del campo de evaluacin de sistemas y, por tanto, con mayor complejidad e implicaciones que las que aqu van a aparecer. La etnografa educativa ha tomado la terminologa y los procedimientos de trabajo del mbito de la antropologa cultural y de la sociologa cualitativa, siendo sus elementos bsicos los siguientes: -Comienzo de tipo exploratorio y abierto a cualquier posibilidad de planteamiento para abordar el problema que se investigue o evale. -Fuerte implicacin del evaluador en el medio social objeto de su trabajo, como observador y como participante. -Utilizacin de diversas tcnicas de investigacin, especialmente la observacin participante y las entrevistas con informantes clave. -Intento de comprender los acontecimientos desde el significado que tienen para los protagonistas del medio evaluado/investigado. -Interpretacin de los datos dentro del importante papel que el contexto posee en la determinacin de las conductas y en la interaccin entre conducta y acontecimientos en el sistema. -Producto de investigacin con forma escrita (la etnografa), que debe interpretar los hechos de acuerdo con las caractersticas sealadas en los puntos anteriores y describir el entorno social con detalles lo suficientemente vivos como para que las personas informadas lleguen a conocer lo que es estar all. Por lo tanto, supone la reconstruccin o descripcin analtica de escenarios y grupos culturales (una fotografa del medio estudiado, en nuestro caso el centro educativo), para llegar a esa visin absolutamente real que pretende ofrecer. Con objeto de corregir los posibles sesgos de la informacin y garantizar la objetividad de los datos, suelen aplicarse tcnicas de triangulacin. Por su propia naturaleza, planteamientos bsicos, tcnicas utilizadas y objetivos pretendidos, este diseo entra de lleno en los modelos cualitativos de evaluacin y en el mbito de los diseos no experimentales. La obra de Woods, P. (1987) es sumamente ilustrativa en relacin con la aplicacin del diseo etnogrfico a la evaluacin del centro escolar.

BIBLIOGRAFA
Casanova, M. A. (1992). La evaluacin, garanta de calidad para el centro educativo. Zaragoza: Edelvives. Casanova, M. A. (1997). Manual de evaluacin educativa. Madrid: La Muralla. Ferrndez Arenaz, A. y Jimnez Jimnez, B. (1989): Seguimiento y Evaluacin de los Procesos Didcticos. Madrid: Fondo Formacin Empleo. Guerrero Lpez, J. F. (1991). Introduccin a la Investigacin Etnogrfica en la Educacin Especial. Salamanca: Amar. LeCompte, M. D. (1995). Un matrimonio conveniente: diseo de investigacin cualitativa y estndares para la evaluacin de programas. RELIEVE (Online), 1 (1). Disponible en http://www2.uca.es/RELIEVE/v1n1.htm (1 julio 1999). Morales Domnguez, J.F. (1985). Metodologa y teora de la psicologa. Madrid: UNED. Rodrguez Diguez, J. L. (1980 ). Didctica General: 1. Objetivos y Evaluacin. Madrid: Cincel.