Está en la página 1de 26

— 

Evaluación Comprensiva y Evaluación basada estándares

cLeonardo Corredor Toro http://www.twitter.com/leo_corredor


cPablo Emilio Romero http://www.twitter.com/mutantexx
cMaestría en Informática Educativa
cUniversidad de la Sabana
cBogotá ʹ Colombia, 2010
cFuente de la presentación : Evaluación Comprensiva y evaluación basada en
estándares. Robert Stake 2006
Evaluación Comprensiva y Evaluación basada estándares

Orden de la presentación

c Vida y Obra
c Qué es evaluación
c Qué evaluamos
c Para qué la evaluación
c Cómo se evalúa
c Quiénes evalúan
c Meta evaluación
c Anexo
Evaluación Comprensiva y Evaluación basada estándares

Vida y Obra

c Titular emérito de la cátedra Robert Stake de educación y director del Center for
Instructional Research and Curriculum Evaluation CIRCE de la Universidad de
Illinois USA.
c Especialista en educación de programas educativos
c Trabajo bajo el liderazgo de Thomas Hasting y Lee Crombrach en la fundación del
CIRCE (1975).
c Ha trabajado la mayor parte del tiempo en Gran Bretaña, Estados Unidos, Suecia y
Brasil.
c Posee afinidad con las técnicas etnográficas, estudio de caso y elaboración de
informes.
c Stake se define como un evaluador interpretativo, naturalista, comprensivo,
particularista y cualitativo.
Evaluación Comprensiva y Evaluación basada estándares

Vida y Obra
c Miembro de la American Educational Research Association.
c Participó en las redes profesionales Evaluation Research Society and Evaluation
Network hoy en día American Evaluation Association
c Doctor en psicometría de la Universidad de Priceton y Doctor honoris causa de la
Universidad Upssala, Suecia
c Libros escritos por el:
Stake, R. E. & Easley, J. A. (1979). Case Studies in Science Education. University of Illinois: CIRCE.
Stake, R. E. (1986). Quieting reform: Social science and social action in an urban youth program. Urbana: University of
Illinois Press.
Stake, R. E., Bresler, L., & Mabry, L. (1991). Customs and cherishing: The arts in elementary schools. Urbana, IL:
National Arts Education Research Center.
Stake, R. E. (1995). The Art of Case Study Research. Thousand Oaks: Sage Publications.
Stake, R. E. & Kerr, D. (1995) Rene Magritte, constructivism, and the researcher as interpreter. In Educational Theory,
Winter, volume 45, number 1, pages 55-61.
Stake, R.E. (2004). Standards-Based and Responsive Evaluation. Thousand Oaks, CA: Sage Publications.
Stake, R.E. (2006). Multiple Case Study Analysis. New York: Guilford Press.
Evaluación Comprensiva y Evaluación basada estándares

Qué es evaluación?
c En un proceso en el cual se busca determinar la calidad de un evaluando
c Esta de acuerdo con la evaluación formativa y sumativa conceptos de Scriven.
c Gusta por estándares y criterios así como por comprensividad e interpretación.
c El observa no solo el objeto de la evaluación sino también todos los actores del mismo
en un contexto.
c Correlaciona estrechamente las evaluaciones comprensiva e interpretativa entiendo sus
diferencias.
c Para él la calidad se encuentra en la experiencia humana y es particular en cada
persona.
c Los fenómenos educativos se llegan a conocer a través de episodios, sucesos
actividades (pensamiento episódico).
c ͞Un modelo es mas bien un prototipo, una plantilla, una receta o un ideal͟. Para él no se
pueden establecer modelos de evaluación por la singularidad del evaluando.
c Según él, el evaluador no puede pasar por alto el efecto que la evaluación tendrá en el
programa.
Evaluación Comprensiva y Evaluación basada estándares

Qué es evaluación?
c El propósito central de la evaluación es descubrir la calidad.
c Ir mas allá de los objetivos que plantean los clientes.
c La evaluación comprensiva es basada en criterios e interpretativa al mismo
tiempo.
c Es importante en la evaluación revelar tanto los aspectos positivos como negativos
del evaluando.
c En la evaluación basada en estándares predominan los instrumentos, en la
evaluación comprensiva los significados descubiertos en la evaluación.
c Los datos cuantitativos y cualitativos son complementarios mas no confirmativos.
c ͞Las preguntas centrales de toda evaluación seguirán siendo: ¿cuál es la calidad
del evaluando? Y ¿cuáles son las principales percepciones que se tienen de su
calidad?͟ (Stake 2006, P 383).
Evaluación Comprensiva y Evaluación basada estándares

Qué Evaluamos?
m  
    
 


c Son los problemas seleccionados y propuestos en formas de preguntas que influyen en el
significado que damos a una situación concreta.
c Cada evaluador genera sus propias cuestiones.
c Para tener en cuenta : Sesgo
c ͞Hacemos caso de los intereses de los patrocinadores, los administradores del programa, los profesionales
educativos, los estudiantes y los miembros de la comunidad, pero las cuestiones de estudio no se escogen
para favorecer esos intereses. Nuestra intensión central no es la de ser útiles a los agentes implicados, sino
la de ayudarles a entender lo que el programa tiene de bueno y demás͟ (Stake 2006, P275)
c Diagrama para desarrollar una cuestión de interés
¿Qué fuentes?
¿Que virtudes?
¿Qué problemas?
¿Qué más?
¿A quién le importa?
¿Qué métodos?
¿Qué hay historias?
Evaluación Comprensiva y Evaluación basada estándares

Qué Evaluamos?
Ñ  
c La estandarización de programas.
c La imparcialidad de los programas.
c El desarrollo del personal.
c Los test del alumnado.
c Los objetivos de un programa.
c El funcionamiento interno de una organización.
c Decisiones.
c Utilización.
c Acreditación institucional.
c La búsqueda de meritos y defectos.
c En educación: Puede tratarse de una clase, de un curso en línea, de una innovación o de una
escuela .
Evaluación Comprensiva y Evaluación basada estándares

Cómo se evalúa?
O
  
  


.
Evaluación Comprensiva y Evaluación basada estándares

Cómo se evalúa?
i 
     
c 



Determina y representa la calidad mediante el uso de números y escalas.
c £

Determinar los méritos y los defectos del objeto a evaluar.
c m  

Por comparación con programas o estándares.
Por comparación con resultados anteriores.
Se pueden comparar un programa comparando su resultados en dos grupos.
Consiste en la búsqueda del conocimiento sobre el valor de algo.
Este tipo de evaluación podría clasificarse como de proceso lineal pero es cíclico y autocorrector.
No cambiar la pregunta central de la investigación en la realización de la evaluación.
Mas allá de la cantidad de datos recogidos es la importancia de sus conclusiones.
No descarta las experiencias y meritos de los actores, los considera como antecedentes.
Evaluación Comprensiva y Evaluación basada estándares

Cómo se evalúa?
4    
     
c Las necesidades de los receptores
c Los objetivos del programa
c Los criterios de evaluación
c Los estándares de evaluación
c Los pesos o ponderaciones de síntesis
c Los rendimientos o actuaciones del personal y de los participantes
c Los costes del programa

ë   

ë  
Evaluación Comprensiva y Evaluación basada estándares

Cómo se evalúa?
i 
 m 





c Sinónimos = sensible, responsiva, respondiente, replica, comprensiva.
c La evaluación comprensiva es el estudio empírico de la actividad humana.
c La evaluación comprensiva intenta facilitar el nivel de comprensión.

£

c Determinar la calidad de un programa a través de sus meritos, su valor y su
representación y documentarla.
Evaluación Comprensiva y Evaluación basada estándares

Cómo se evalúa?
i 
 m 

m  

c Construye puentes entre la evaluación cuantitativa y la cualitativa.
c La postura compresiva es mas una actitud que un modelo.
c Adaptación continua al propósito de la evaluación.
c Busca comprensión a la complejidad del evaluando.
c Presta su atención a episodios.
Evaluación Comprensiva y Evaluación basada estándares

Cómo se evalúa?
i 
 m 

m  


Acontecimientos destacados de una evaluación comprensiva.


Evaluación Comprensiva y Evaluación basada estándares

Cómo se evalúa?
i 
 m 

m  

c Múltiple uso de instrumentos.
c Saber elegir a las personas correctas a las que preguntar es uno de los primeros pasos dentro de la evaluación.
c A veces la información que se entrega en el proceso de la evaluación se sesga solo a la mejora.

c ë   

c  

  

c ë  
En el informe se debe describir al evaluando, al programa, al método de evaluación y sus resultados sean positivos o
negativos.
Se debe tener cuidado de resaltar la subjetividad en los datos y de la interpretación.
Se espera que les llegue a los diversos grupos que les parezca importante, entendiendo con esto que el evaluador se
puede ver afectado.
Debe argumentar los aspectos encontrados del evaluando.
El evaluador deberá ayudar a construir las conclusiones del estudio a su lector apoyado en sus recomendaciones.
Evaluación Comprensiva y Evaluación basada estándares

Quiénes evalúan?
c á   
      
    


c m  
   
Capacidad de describir los diversos aspectos de la calidad de un objeto a evaluar.
Investigador de méritos y deficiencias de un evaluado.
Un evaluador debe propiciar que las instituciones sean mas abiertas, participativas y deliberativas.
Debería procurar poner la misma atención a las instancias formativas y sumativas del proceso.
Preocuparse por entender al evaluando.
Describir al evaluando con sus interacciones.
Debería trabajar en equipo.
Procurar que el público comprenda la calidad el programa.
Ser independiente, no dejarse manipular por el cliente.
Tener la capacidad de distinguir entre interpretaciones fiable y opiniones y preferencial personales.
Evaluación Comprensiva y Evaluación basada estándares

Quiénes evalúan?
m  
   
c El buen evaluador no se debe anticipar a los estándares, pero debe tenerlos en cuenta si
existen. Estos serán construidos en el proceso de evaluación.
c Todo evaluador deberá establecer un conjunto de controles y contrapesos para determinar si
el programa se está desviando del curso previsto. Hay que plantearse una y otra vez la
pregunta ?Qué puede estar yendo mal?.
c i   

Clientes.
Personal del programa.
Los receptores del mismo.
Los agentes implicados .
Al público en General.
A sus colegas evaluadores .
A los estudiantes que estudian evaluación.
Evaluación Comprensiva y Evaluación basada estándares

Quiénes evalúan?

m  
   
c          


 !
A la rendición de cuentas.
A un caso de estudio en toda su complejidad.
A la erudición -estricta alineación a la rigurosidad académica.
Democrática - elección personal.
Etnográfica - énfasis a relaciones y actividades culturales.
Experimental - se valora el conocimiento preciso y objetivo.
Ilustrativo - describen lo que los lectores ven por si mismos.
Judicial - se hacen argumentos en favor en contra.
Naturalista - valorar las actividades corrientes de los propios entornos.
Comprensiva - se deciden por los temas y valores.
Evaluación Comprensiva y Evaluación basada estándares

Quiénes evalúan?

m  
   
c —  "
   
  
Evaluar la consecución de objetivos
Ayudar al desarrollo de la organización
Evaluar la calidad contextual
Estudiar un ámbito complejo
Ayudar la acción social
Legitimar el programa y desviar la críticas
c Garantizar la rendición de cuentas
c Acreditar programas
c Conceder premios o prestigio
Evaluación Comprensiva y Evaluación basada estándares

La Metaevaluación

c Es la evaluación de la calidad de una evaluación.


c La determinación de los puntos fuertes y débiles del estudio de la calidad.
c Puede ser llevada cabo por los propios evaluadoras, por los compañeros
de trabajo o por personas externas.
c Es la mejor forma de mejorar la confianza en la investigación.
c Puede ser basada en estándares o compresiva.
Evaluación Comprensiva y Evaluación basada estándares

Diferencias entre evaluación e


Investigación
c ͞Ambos son términos comunes en nuestro lenguaje y su diferencia varia según quien los
pronuncie y según la ocasión͟ (Stake 2004, P89).
c ͞Buena parte de la evaluación (de la valoración de la calidad) es informal o incluso
inconsciente. Difícilmente querremos llamarla investigación͟. Es evaluación sin embargo por
que determina el valor de algo (Stake 2004, P90).
c La evaluación formal puede ser meramente procedimental (como en el caso de la votación),
deliberativa (como en los juicios con jurado) o investigativa (como en la investigación en
ciencias sociales) (Stake 2004, P90).
c Cuando se reduce a la recogida de una suma de opiniones, por procedimental que esta sea es
mejor que no la llamemos investigación. Pero cuando realizamos un esfuerzo sistemático
para descubrir la actividad, los significados y los valores de una entidad (o evaluando), se
trata tanto de una evaluación como de una investigación (Stake 2004, P90).
c Ocurre también que buena parte de la investigación que se realiza no se centra en los
méritos o el Valor de una entidad en ese caso es mejor no llamarla evaluación (Stake 2004,
P90).
Evaluación Comprensiva y Evaluación basada estándares

Diferencias entre evaluación e


Investigación
c Existe una categoría de estudios denominados investigación evaluativa en los que no se busca
el valor de un único evaluando, sino el de toda una clase de ellos (Stake 2004, P90).
c La investigación institucional es también investigación evaluativa si se evalúa el conjunto de la
docencia en todo un campus por ejemplo (Stake 2004, P90).
c La investigación educativa es investigación evaluativa cuando se evalúa a una pedagogía
como la del método casuístico de la docencia en una facultad de derecho (Stake 2004, P90).
c La investigación evaluativa es el nombre que mucha gente daba al estudio de la calidad con
un afán paralelo de generalización (Stake 2004, P90).
c Todos los estudios de evaluación formal son investigación, pero solo los que aspiran a la
generalización de algo para todo una población de casos se conocen con el nombre
específico de investigación evaluativa (Stake 2004, P90).
Evaluación Comprensiva y Evaluación basada estándares

i     


   #   

  
 $ m 

4  %
m 
    i 
i 
&'()'*

c Deben identificarse los públicos implicados en la evaluación o afectados por la misma al fin
de que puedan abordarse sus necesidades.
c Las personas que llevan a cabo la evaluación deben ser fiables y competentes para realizar
ese trabajo, a fin de que los resultados alcancen la máxima credibilidad y aceptación.
c La información recopilada debe ser de tal alcance y debe haber sido seleccionada de tal
modo que permita abordar las cuestiones pertinentes acerca del objeto de la evaluación y
ser receptiva a las necesidades y los intereses de los públicos especificados.
c Deben difundirse los resultados de la evaluación entre los clientes y otros públicos con
derecho a saber, a fin de que puedan valorarlos y usarlos.
c Los informes deben publicarse en el momento oportuno para que los públicos a los que van
destinados puedan darles el mejor uso posible.
c Los procedimientos de evaluación deben ser prácticos para que produzcan los mínimos
trastornos y se obtenga la información que se necesita.
Evaluación Comprensiva y Evaluación basada estándares

i     


   #   

  
 $ m 

4  %
m 
    i 
i 
&'()'*

c Las obligaciones de las partes que suscribe formalmente una evaluación (lo que hay que
hacer, cómo, quién y cuándo) deben ser acordadas por escrito para que dichas partes se
obliguen mutuamente a adherirse a todas las condiciones del acuerdo o, en su caso, a
renegociarlo formalmente.
c Los conflictos de intereses, a menudo inevitables, deben ser tratados de forma abierta y
honesta, de manera que no comprometan los procesos ni los resultados de la evaluación.
c Los informes orales y escritos de la evaluación deben ser abiertos, directos y honestos a la
hora de revelar los resultados pertinentes, incluyendo las propias limitaciones de la
evaluación .
c Las partes formales de una devaluación deben respetar y garantizar el derecho del público a
saber (dentro de los límites de otros principios y estatutos relacionados, como los que rigen
la seguridad pública y el derecho a la intimidad).
Evaluación Comprensiva y Evaluación basada estándares

i     


   #   

  
 $ m 

4  %
m 
    i 
i 
&'()'*

c Las evaluaciones deben diseñarse y realizarse de tal modo que se respeten y se proteja los
derechos y el bienestar de los sujetos humanos.
c La asignación y el gasto de recursos que realice el evaluador debe regirse por sólidos
procesos de rendición de cuentas y en cualquier caso, debe ser prudente y éticamente
responsable.
c El objeto de la evaluación (ya sea un programa, un proyecto un material) debe examinarse
suficientemente de manera que la forma del objeto que se tome en consideración para la
evaluación pueda ser identificada.
c Los propósitos y los procedimientos de la devaluación deben estar supervisados y descritos
con suficiente detalle como para que pueda ser identificados y valorados.
Evaluación Comprensiva y Evaluación basada estándares

c Documento fuente para realizar la presentación en:

c http://leocorredor.files.wordpress.com/2010/06/robert-stake-evaluacion-comprensiva.pdf