Documentos de Académico
Documentos de Profesional
Documentos de Cultura
de Educacin Ambiental
Serie Educacin
Ambiental
EVALUACIN DE LA
EDUCACIN AMBIENTAL
EN LAS ESCUELAS
Gua prctica para los maestros
Dean B. Bennett
mresco
Oficina Regional
de Educacin
para
Amrica Latina
y el Caribe
OREALC
Divisin de Educacin
Cientfica, Tcnica
y Ambiental
Las opiniones expresadas en esta publicacin no coinciden necesariamente con algn punto de vista oficial de
U N E S C O . Las designaciones empleadas y la presentacin d e este material no implican la expresin d e alguna
opinion, cualquiera q u e sea, por parte d e U N E S C O
concerniente al status legal d e cualquier pas o de sus
autoridades, o en relacin a las delimitaciones de las
fronteras d e cualquier pas o territorio.
INDICE
Prlogo
Prefacio
11
11
11
13
13
14
15
15
16
17
I.
19
19
19
II.
III.
20
33
37
37
37
38
40
44
64
67
67
69
83
65
66
85
85
89
V.
91
VI.
91
103
103
104
Glosario
107
113
123
PROLOGO
Las diversas reuniones internacionales y regionales sobre educacin ambiental (EA),
organizadas desde 1975 por U N E S C O , con la cooperacin del Programa de Naciones
Unidas para el Medio Ambiente ( P N U M A ) , y particularmente la conferencia
Intergubernamental sobre Educacin Ambiental (Tbilisi, U R S S , 1977), han destacado la
importancia de elaborar pautas e instrumentos para estimular a los responsables de las
actividades educacionales, a los diferentes niveles, a desarrollar una pedagoga
ambientalmente pertinente
En esta perspectiva, el Programa Internacional de Educacin Ambiental (PIEA) de
U N E S C O / P N U M A ha puesto especial nfasis en el desarrollo de contenidos y mtodos
que favorezcan una integracin eficiente de la E A en los procesos educacionales, tanto
escolar c o m o extraescolar.
Entre los principales aspectos metodolgicos relacionados con la E A , la evaluacin
de la prctica educacional parece ser esencial. D e hecho, la evaluacin debera proporcionar informacin til sobre los cambios que deberan realizarse en las concepciones que
fundamentan la preparacin de programas educativos y de capacitacin y la forma de
mejorar los materiales didcticos. Sin embargo, la evaluacin de la educacin ambiental
demanda an m s que los enfoques, mtodos y tcnicas comnmente utilizados en la
evaluacin de la educacin general. A d e m s de logros cognoscitivos, la evaluacin de la
educacin ambiental debe valorar la competencia en la toma de decisiones, la solucin
de problemas y la organizacin para la accin, as c o m o los valores que determinan la
orientacin de las personas y grupos hacia el medio ambiente.
Los complejos aspectos involucrados en la evaluacin de la E A explican el limitado
desarrollo que sta ha tenido hasta el presente en la mayora de los pases. Recientemente
se han realizado algunos intentos para lograr mejores mecanismos de evaluacin de la
E A en relacin con ciertas acciones llevadas a cabo por el PIEA, a saber, los instrumentos propuestos en los mdulos relativos a la administracin de los recursos naturales
(Serie de Educacin Ambiental N 8 3) y a los problemas ambientales en las ciudades (Serie
de Educacin Ambiental N 5 4) Sin embargo, ellos se limitan a reas o problemas
especficos
Esta gua para la evaluacin de la E A en las escuelas ha sido preparada por el Dr.
Dean Bennet, profesor de la Universidad de Maine en Farmington, conocido c o m o
especialista internacional en educacin ambiental y tambin dentro del marco de
actividades del PI E A . Tiene porobjeto satisfacer las urgentes necesidades en este campo
proponiendo un enfoque general para la evaluacin de la E A , as c o m o conocimientos
prcticos que puedan ser utilizados por los docentes mismos.
La gua consta d e seis captulos que se refieren, gradualmente, a diferentes
interrogantes que deben ser consideradas en un proceso de evaluacin realmente
cientfico, pero de una manera prctica y accesible. En el anexo se incluyen instrumentos
de evaluacin y estadsticos pertinentes que revisten cierta complejidad.
E su desarrollo y organizacin original, la gua tiene un carcter experimental. Los
lectores de diferentes pases deben considerar, tanto los contenidos c o m o los enfoques,
dentro de una perspectiva crtica, examinando si es adecuada a las condiciones locales
y/o procediendo a las adaptaciones necesarias antes de hacer uso de la misma.
PREFACIO
lo inesperado, lo que no se puede anticipar. Existen mtodos para ayudarle a medir lo que
ocurre objetivamente y otros para reconocer resultados no tan fciles de medir, que exigen
m s confiabilidad en su sentido de intuicin.
Luego de los captulos que describen los pasos de la evaluacin del programa; el
Captulo V presenta un estudio de caso que le ayudar a apreciar m s claramente laforma
de utilizar la evaluacin para reforzar el papel que desempea la educacin ambiental en
el currculo escolar. El ltimo captulo -Captulo VI- proporciona fuentes de informacin
adicional y de apoyo.
El autor desea expresar su agradecimiento a las siguientes personas por su apoyo
en la preparacin de este libro: lan Robottom, Presidente del Grupo de Investigacin sobre
Innovacin y Evaluacin del Currculo, Deakin University, Victoria, Australia; Harold R.
Hungerford, Profesor del Departamento de Currculo, Instruccin y Medios, Southern
Illinois University; George T . O'Hearn, Profesor y Director de la Oficina de Investigacin
y Desarrollo Educativo, University of Wisconsin; L. Albala-Bertrand, Especialista de
Programa de la U N E S C O .
10
INTRODUCCIN:
QUE ES LA EVALUACIN Y POR QUE DEBE INTERESARME?
QUE ES LA EVALUACIN?
Debe usted interesarse por la evaluacin? Desea que sus alumnos tengan mayor
preocupacin por el medio ambiente, ser servidores m s capaces? Desea usar su
tiempo, su dinero y otros recursos m s inteligentemente? y D E S E A H A C E R S U S
P R O P I O S JUICIOS Y T O M A R S U S P R O P I A S D E C I S I O N E S S O B R E E S T O S A S U N T O S ? D e haber respondido "s" a estas preguntas, este libro le ser til.
La efectividad y eficiencia son dos puntos claves para una enseanza sobresaliente.
Y este documento es su gua para lograr ambos aspectos. Efectividad significa que los
efectos o resultados de sus esfuerzos valen la pena; por ejemplo, que sus alumnos
adquieran un alto nivel de competencia en una rerfextn crtica sobre aspectos ambientales. Por otro lado, la eficiencia se traduce en que los mtodos utilizados y las acciones
creadas por usted sean los mejores en trminos de costos, tiempo requerido y adecuacin
al trabajo, c o m o por ejemplo, si usted cuenta con escaso tiempo y dinero para la educacin
ambiental y, por lo tanto, aprovecha cada minuto de una visita a terreno.
En base de lo expuesto, la evaluacin utilizada en este mdulo consiste en juzgar el
mrito o valor de su programa de educacin ambiental, sus productos, conclusiones o
resultados (su efectividad) y sus procesos, medios o formas para cumplir con su cometido
disponiendo de recursos limitados (su eficiencia). La evaluacin difiere de la investigacin,
a la que no le preocupa tanto emitir juicios c o m o buscar, localizar y recolectar nueva
informacin para un mayor conocimiento.
11
Tal vez una de las mejores maneras de apreciar los beneficios de la evaluacin es
considerndolos c o m o cuatro componentes interrelacionados de su programa de educacin ambiental (ver Figura 1).
Figura 1
COMPONENTES DE UN PROGRAMA DE EVALUACIN
12
13
Figura 2
14
U N A C O N S I D E R A C I N ESPECIAL S O B R E E L P A P E L D E L O S A L U M N O S 1
Existe an otra razn, tal vez m s relevante, para que los alumnos participen en la
evaluacin de los programas de educacin ambiental. Tal como se discutir en el
prximo captulo, entre los objetivos fundamentales de la educacin ambiental se encuentra el desarrollo de un pensamiento crtico independiente. Si se reconoce, verdaderamente, que esta es una meta importante, usted debe estar preparado para afrontar la posibilidad de que sus procesos de evaluacin estn en contradiccin con dicho
fin. Por ejemplo, si no ha establecido una atmsfera libre de crtica en la que los alumnos sientan que sus juicios no les sern adversos, no se sentirn estimulados a pensar
libre y crticamente sobre los problemas y otras cuestiones ambientales. La evaluacin,
por su naturaleza, hace que sus alumnos piensen que su desempeo ser juzgado.
Puede estar seguro que en la mayora de los casos, estn conscientes de ello. Es imprescindible, por lo tanto, que usted incorpore en su programa de evaluacin medidas
que consideren las siguientes sugerencias:
1.
Informe a los alumnos sobre los objetivos de su programa de evaluacin y uso claro
de los resultados sin amenazas.
2.
3.
4.
SUPERACIN D E O B S T C U L O S EN LA EVALUACIN
Misterio
Usted ya debe saber que la evaluacin no es misterio. Consiste en recoger y utilizar
informacin para poder determinar el valor de lo que realiza. En otras palabras, le ayuda
a decidir cuan eficientes o eficaces son sus esfuerzos y la forma de mantenerlos y
mejorarlos.
Tiempo
Tal vez el mayor obstculo en la evaluacin es disponer del tiempo para realizarla. El
secreto para superar esta limitacin consiste en incluir desde un comienzo la evaluacin
dentro de su programa, presupuestando el tiempo para ello tal como lo hacen en la
preparacin y la enseanza. En realidad, calificar a los alumnos conforma un rea de
evaluacin que puede en s constituir una herramienta de la enseanza.
1
El autor agradece especialmente al Sr. lan Robottom, School of Education, Deakin University,
Victoria, Australia, por m u c h a s de las ideas expresadas en esta seccin.
15
A veces, es posible tambin extender sus actividades de evaluacin concentrndolas en diferentes horarios y en diferentes componentes de su programa, tales c o m o
dispositivos en la sala de clases y diversos mtodos de enseanza. En otras palabras, si
el tiempo es limitado, no realice todo a la vez; adopte una visin a largo plazo.
Otra recomendacin es circunscribir la evaluacin a lo m s importante, por ejemplo,
al mejoramiento del programa, aclarando un concepto difcil o habilidad, o buscando
apoyo. Concentre sus esfuerzos. Determine sus prioridades.
Gastos
El costo m s significativo en la mayora de las evaluaciones es el de contratar un consultor.
Esta gua est diseada para ayudarlo a convertirse en evaluador. Est basada en la
premisa de que una adecuada evaluacin puede ser realizada por el profesor. D e hecho,
en ciertos momentos y partes del proceso la ayuda externa sera beneficiosa; y stos se
sealan. E n la prctica, sin embargo, usted estar capacitado para realizar los pasos
importantes por s mismo.
Subjetividad
U n a crtica que indudablemente enfrentar se refiere a la subjetividad - c m o puede ser
objetivo en relacin a su propio programa? Ser honesto en su apreciacin? Sern sus
resultados confiables? Ser imparcial con respecto a lo que desarrolle, a sus anlisis y
conclusiones?
Sin embargo, el hecho es que uno de los fines de la evaluacin consiste en
demostrarle c o m o mejorar sus esfuerzos -para as simplificar su labor. Por consiguiente,
ya que usted piensa utilizar los resultados en forma prctica y se beneficiar personalmente, su inters es sincero y honesto. Y ya que la evaluacin ha sido, asimismo, diseada
para ayudar a sus alumnos a progresar y desarrollarse, y principalmente para ayudar a
crear un medio ambiente mejor, sus efectos estn al alcance de todos y pueden ser
estudiados y discutidos por personas fuera del programa. Finalmente, si invita pblicamente a una inspeccin y revisin, solicita reacciones y opiniones de los alumnos, padres
y la comunidad, e informa de sus resultados con honestidad, usted podr superar muchas
crticas sobre parcialidad en su enfoque e interpretacin de los resultados.
Complejidad
Si define claramente lo que desea lograr por medio de la evaluacin y sigue los
cuatro pasos simples de evaluacin que se presentan a continuacin, eliminar con
xito gran parte de su complejidad. Esta gua ha sido organizada para ayudarle a realizar
estos cuatro pasos fcilmente con una comprensin clara de las decisiones que deber
adoptar.
16
1.
2.
planificar la evaluacin;
3.
realizar la evaluacin;
4.
UTILIZACIN D E L A G U I A
El resto de esta gua tiene por objeto ayudarlo a comprender claramente - y a realizarcada uno de estos cuatro pasos. En conjunto, pueden ayudarlo a mejorar su programa y
sus resultados. Esta gua ha sido diseada c o m o una referencia y c o m o una serie de
pautas para asistirlo en desarrollar una evaluacin comprensiva de su programa global o
un aspecto especfico del mismo, c o m o por ejemplo, sus fines y objetivos, actividades
especiales, o recursos didcticos.
Para conocer sus posibilidades, se sugiere que primeramente, d una hojeada a
cada captulo tomando nota de los encabezamientos e ilustraciones. Para una visin de
c m o opera un programa de evaluacin, usted puede leer en primer lugar el Captulo V :
Un estudio de caso de una evaluacin. El Captulo VI proporciona fuentes.de ayuda
complementarias para resolver problemas especficos.
17
INTRODUCCIN
La pregunta Q u debo evaluar?, es medular de toda evaluacin. Si usted es un tpico
profesor de educacin ambiental; dispone de escaso tiempo, dinero y experiencia en
evaluacin. Su situacin, por lo tanto, no ser m u y diferente a la de un viejo gato
acechando una presa escondida para una comida m s -tiene que tomar medidas de
todo! Y , en particular, es importante saber qu busca:
Su mayor preocupacin es el impacto que su enseanza ha tenido en sus alumnos?
Por ejemplo, existe evidencia de que ellos no han captado los conceptos ecolgicos
bsicos o no tienen un pensamiento crtico de los aspectos ambientales?
Su mayor preocupacin es la influencia que tienen los diferentes aspectos del
aprendizaje acerca del medio ambiente en los resultados que obtiene? Por ejemplo,
piensa que debera hacer mayor uso de una clase al aire libre?
Su principal preocupacin es la relacionada con los efectos que causa su programa
en otras personas y en el medio ambiente? Por ejemplo, existen aspectos o problemas
ambientales tales c o m o el deterioro de un parque local o la falta de un c a m p o d juegos,
sobre los cuales sus alumnos quisieran tener injerencia?
Le preocupa la pertinencia de sus fines y objetivos para satisfacer necesidades
reales?
Est interesado en saber cmo los resultados de su programa se comparan con
otros programas?
Decidir sobre estas interrogantes puede provocar confusin, pero el visualizar las
necesidades y fines de la educacin ambiental puede ayudar a definir prioridades.
19
20
dente, por lo tanto, que lo que suceda al alumno c o m o resultado del programa es,
asimismo, una interrogante prioritaria en la mayora de los esfuerzos de evaluacin.
Encontrar la respuesta ayuda a predecir c m o actuarn o c m o no actuarn los alumnos
en relacin a su medio ambiente, y a menudo puede sugerir cules son los aspectos del
programa de educacin ambiental de mayor o menor eficacia.
Objetivos
Una escuela de pensamiento postula que la evaluacin debe basarse primeramente en
definir lo que se desea obtener al final del programa. En otras palabras, se debera
establecer un claro conjunto de objetivos. Otra escuela piensa que la educacin es
fundamentalmente un suceso - u n a experiencia imposible de prever y que no puede
reproducirse, llena de sorpresas y eventos espontneos, y que la evaluacin debera ser
una investigacin para saber lo que aconteci. En el ltimo de los casos, el programa es
visualizado esencialmente c o m o una meta libre.
Esta gu a se basa en el supuesto de que ambos enfoques tienen mrito y, por lo tanto,
se presentan diversos mtodos de evaluacin -algunos que utilizan objetivos predeterminados y otros que confan menos en definir resultados por adelantado. La forma de
armonizar estos dos enfoques es una de las primeras decisiones que deber adoptar. S e
recomienda aqu que sea moderado al establecer el nmero de objetivos, dando la
oportunidad a resultados no previsibles y dejando tiempo para su bsqueda.
Los objetivos difieren de los fines porque son m s especficos, de menor alcance y
permiten mayor medicin. A menudo, los programas utilizan dos niveles de objetivos: 1)
aqullos de carctergeneral, que no se basan en el desempeo y que pueden ser medidos
m s subjetivamente; y 2) aqullos especficos, basados en el desempeo y medidos con
mayor objetividad.
Objetivos generales
Los objetivos generales son utilizados para describir resultados en trminos amplios y
para dar orientacin hacia objetivos conductuales m s especficos y qu se pueden
medir. Algunos programas, por ejemplo, deducen de los fines anteriores tres objetivos generales: un objetivo cognoscitivo, un objetivo afectivo, y un objetivo de habilidades.
Sin desea hacer uso de objetivos generales, los siguientes ejemplos pueden servirle de
gua.
Objetivo cognoscitivo general:
Ayudar a los alumnos a comprender su medio ambiente global, la relacin con su
medio ambiente, y diversos aspectos y problemas ambientales.
Objetivo afectivo general:
Ayudar a los alumnos a apreciar su medio ambiente y tener una preocupacin y una
motivacin dinmica con vistas a mantener y mejorar la calidad de su medio ambiente.
21
22
23
24
25
26
Las siguientes categoras podran tambin ayudarlo a evitar dejar de lado importantes hechos o conceptos:
la naturaleza y sistemas ecolgicos
los recursos naturales
el medk) ambiente hecho por el hombre
los problemas y aspectos ambientales
los sistemas sociales-polticos, econmicos, legales
las artes y humanidades
la interaccin social
el desarrollo individual o auto-desarrollo
las dimensiones de espacio y tiempo.
En cualquier aspecto que estime que sea clave para que sus alumnos conozcan y
comprendan, usted debe primeramente estar convencido de su importancia. Escoja
atinadamente.
Desarrollo de objetivos medibles
La evaluacin acerca de lo que sus alumnos conocen y comprenden es mucho m s
fcil y directa que determinar actitudes y valores. El conocimiento de los efectos de la
contaminacin del aire puede probarse, por ejemplo, haciendo que los alumnos simplemente recuerden lo que saben; y el comprender, que es un nivel cognoscitivo superior,
puede comprobarse, por ejemplo, pidiendo a los alumnos que expliquen la relacin entre
la contaminacin del aire y la salud humana. Debido a que la evaluacin del conocimiento
y la comprensin es m s directa, se necesitar menos medidas de dicha comprensin.
Al redactar objetivos de comportamiento, se sugieren los siguientes verbos de accin
para describir la forma c o m o los alumnos demostrarn conocimiento y comprensin de la
educacin ambiental por parte de los alumnos:
recordar
repetir
afirmar o establecer
definir
decir
27
explicar
listar
duplicar
dar ejemplos
A continuacin se dan ejemplos de objetivos conductuales:
1. "Dados los componentes de un ecosistema, tal c o m o de una zona pantanosa; el
75 por ciento de los alumnos podr relacionarlos correctamente en una red o trama
alimentaria".
2 . "Al plantersele al alumno un problema de escasez de recursos, debera ser capaz
de explicar su relacin con el concepto del crecimiento exponencial".
3. " D a d a una serie de diez diapositivas sobre condiciones ambientales, el 70 por
ciento d e los alumnos sealar correctamente la causa m s probable de ocho de ellas".
4 . " D a d a la tarea de investigar sobre asuntos ambientales, el 50 por ciento de los
alumnos preparar una lista con no m e n o s de diez diferentes fuentes de informacin".
Aptitudes mentales
D e acuerdo a la conferencia de Tbilisi sobre educacin ambiental, el enfoque de solucin
de problemas es probablemente la caracterstica distintiva m s importante de la educacin
ambiental. El informe de la conferencia detall las preguntas que las personas necesitan
hacer para utilizar el enfoque con eficacia.
Quines adoptan decisiones que afectan la calidad de nuestro medio ambiente?
Por qu fueron tomadas? Segn qu criterios? Se consideraron las consecuencias
a largo plazo?
Estas y otras preguntas similares estn en la raz del pensamiento crtico necesario
para prevenir y resolver problemas y otros aspectos ambientales. Sin embargo, estas
aptitudes mentales de nivel superior son m s difciles de desarrollar y evaluar que el
conocimiento y comprensin. Y usted debera estar conciente que es m u y probable que
d e m a n d e n mayor tiempo. N o obstante, en vista de las contribuciones especiales de la
educacin ambiental a la sociedad mundial, el tiempo y la energa que usted dedique al
desarrollo d e estas aptitudes habrn sido bien empleadas.
Actualmente, parece haber consenso de que existen diferentes niveles de aptitudes
cognoscitivas que progresivamente avanzan desde el conocimiento -el nivel inferiorpasando por la comprensin, aplicacin, anlisis, sntesis y evaluacin -el nivel superior.5
C a d a nivel del pensamiento incluye las aptitudes inferiores. C o m o docente que trata de
lograr los fines de la educacin ambiental usted necesitar ayudar a sus alumnos a
28
adquirir las aptitudes mentales superiores que constituyen lo medular del pensamiento
crtico y de la solucin d e problemas.
Desarrollo de objetivos medibles
Para ayudarle a preparar el desarrollo y la evaluacin de aptitudes de pensamiento
crtico, se describe brevemente a continuacin cada una de ellas:
1. Aplicacin es la capacidad para aplicar el conocimiento y nuevas ideas con vistas
a un mejor desarrollo de la comprensin y solucin de problemas.
Los verbos de accin que describen los que los alumnos pueden hacer para
demostrar que han adquirido la habilidad de aplicacin son:
aplicar
disear un mtodo
probar
construir un grfico
organizar
reformular
identificar
comparar
discriminar
contrastar
distinguir
analizar
especificar
Para una detallada descripcin de estas competencias, ver : Benjamin S . Bloom, ed., Taxonomy
of Educational Objectives Handbook I: Cognitive Domain (New York: David McKay C o . , Inc., 1956).
29
reorganizar
predecir
generalizar
integrar
planear
30
Habilidades d e accin
Tal vez no sea slo el enfoque de solucin d e problemas la caracterstica m s distintiva
de la educacin ambiental sino que c o m o se emplea dicho enfoque, es lo que frecuentemente destaca a la educacin ambiental de otros mtodos educacionales. La relacin
con problemas y asuntos concretos es considerada c o m o la forma m s efectiva d e
desarrollar las habilidades d e accin necesarias para investigar, evaluar e implementar
soluciones d e los problemas. Hungerford y Litherland identificaron seis categoras d e
accin ambiental: 1) persuacin; 2) consumismo; 3) accin poltica; 4) accin legal; 5)
ecogestin o actividades directas de mejoramiento ambiental, tal c o m o el paisajismo, y 6)
interaccin (una combinacin d e dos o m s categoras).6
Desarrollo d e objetivos medibles
N o es necesario puntualizar q u e las habilidades d e accin son m s fciles d e
evaluar. A diferencia de los valores, los que slo pueden serdeducidos del comportamiento,
la existencia de las habilidades d e accin pueden ser observadas directamente. Al
redactar un objetivo conductual para una habilidad d e accin, usted no necesita pensar
sobre el tipo d e comportamiento que demostrar u n a habilidad particular porque el
comportamiento que usted describe es aquel que espera c o m o resultado. La nica
inferencia que usted necesita formular se refiere a la magnitud que tienen las habilidades
intelectuales asociadas a las habilidades d e accin en los alumnos. Por ejemplo, un
debate eficaz d e m a n d a la aplicacin d e conceptos, anlisis, sntesis, etc., as c o m o la
bsqueda d e fallas en una pieza de equipo requiere un anlisis y una variedad d e otras
habilidades intelectuales. El alcance o magnitud del desarrollo d e estas habilidades
intelectuales, es un asunto d e observacin indirecta.
E n el caso de las habilidades de accin, los verbos d e accin que usted selecciona
para sus objetivos son las habilidades que espera desarrollar. A continuacin se da u n a
lista d e ejemplos:
persuadir
testificar
cabildear
planear
boicotear
escribir
supervisar
fotografiar
debatir
plantear
calibrar
ilustrar
disectar
operar
demostrar
situar
31
"Dado el equipo necesario, el 60 porciento de los alumnos ser capaz de realizar una
prueba sobre oxgeno disuelto".
2.
"Al utilizar un equipo convencional de dibujo, el 57 por ciento de los alumnos podr
proyectar con precisin un plano de los terrenos de la escuela en una hoja de dibujo
a una escala de 11 " x 14"".
3.
32
33
ejemplo, la planificacin y construccin de un sendero interpretacin ambiental comparado con el progreso en el aprendizaje; los costos relacionados con ciertas actividades; el
uso y comparacin de dos enfoques distintos, tales c o m o , el trabajo al interior vs. al
exterior de la escuela o clase expositiva vs. investigacin, para lograr el dominio en el
mismo concepto o habilidad. Cualquiera sea su eleccin, lo importante es que los factores
sean observables, cuantificables y comparables.
La consideracin d e aspectos para la medicin intuitiva
Es aqu donde usted preguntara a sus alumnos lo que m s les agrad, lo que dio
mejor resultado, lo que desearan volver a realizar; en resumen, lo que sintieron sobre sus
experiencias. Estas preguntas deben hacerse en diferentes perodos de tiempo a travs
de todo el programa con el fin de poder efectuar cambios a medida que se avanza. Usted
tambin debe hacerse este mismo tipo de preguntas y estar atento a sus propios
sentimientos.
La consideracin d e situaciones no previstas
M u y a menudo un "momento educativo" se pasa por alto porque el profesor no quiso
o no pudo "cambiar de rumbo" para acomodar una oportunidad inesperada de aprendizaje. Es, por lo tanto, importante no considerar sus mtodos y actividades c o m o "la ltima
palabra" en el arte y ciencia de ensear. U n profesor, por ejemplo, comenz una unidad
de una semana de duracin sobre la eliminacin de desechos y termin con un estudio
de seis semanas sobre el problema de las ratas en la comunidad, todo porque un alumno
pregunt si las ratas en el basural del pueblo significaban un problema. Por lo tanto, est
alerta y sea flexible, y al evaluar su programa compruebe si usted es flexible en captar las
oportunidades de enseanza.
El ambiente del aprendizaje
U n a caracterstica importante de la educacin ambiental es su focalizacin en el m u n d o
real, lo que implica estudios de los ecosistemas natural y humano y problemas afines. La
educacin ambiental, por lo tanto, tiene lugar en muchos entornos -la sala de clases, el
lugar de la escuela, la comunidad y m s all de ella. El maestro es el responsable de hacer
el mejor uso de estos ambientes de aprendizaje. C o m o profesor usted naturalmente
desea poder controlar aquellos factores importantes que influyen en el aprendizaje dentro
de dichos ambientes. Al conocer lo que son y cual es su influencia, le ayudar a manejarlos
eficazmente.
La Identificacin d e factores medlbles
La sala de clases
En la sala de clases usted tiene un mayor control del entorno. Tiene m s oportunidad
de crear un ambiente de aprendizaje, para mejorar su eficiencia y efectividad con el fin de
lograr sus objetivos de aprendizaje. Factores importantes incluyen:
34
35
36
INTRODUCCIN
Al proyectar la evaluacin de su programa, sobre todo, sea, prctico. Q u puede, c o m o
profesor m u y ocupado, realizar concretamente con tiempo y recursos limitados? Q u es
lo m s importante para usted, sus alumnos, su administracin, su comunidad? Q u tipo
de informacin es m s esencial? Tal vez hayan tres preguntas claves que son la base de
la planificacin de un programa de evaluacin:
a) Cules son las interrogantes que m s le preocupan al intentar mejorar
su programa y lograr sus objetivos?
b) Cules son los mejores disenos que se deben utilizar para responder a
dichas interrogantes?
c) Cules son las tcnicas e instrumentos actuales que U d . puede utilizar?
37
Figura 3
DISEO D E POST-TEST P A R A EVALUACIN SUMATIVA
POST-TEST
En este diseo, usted evaluara a los alumnos al finalizar su programa. Este tipo de
prueba se conoce c o m o evaluacin sumativa.
En muchos programas educaciones, particularmente aquellos de varias semanas o
m s de duracin, es corriente tomar varias pruebas m s cortas durante el programa (ver
Figura 4). Estas permiten al profesor apreciar el progreso de los alumnos durante el
perodo y hacer cualquier ajuste necesario en el proceso de enseanza. Por lo tanto, este
diseo utiliza mtodos de evaluacin formativa a la vez que sumativa.
38
Figura 4
DISEO D E P O S T - T E S T P A R A E V A L U A C I N F O R M A T I V A Y S U M A T I V A
Los profesores a veces toman un pre-test para conocer como estn los alumnos con
respecto a los objetivos del programa. Esto tambin proporciona un punto de referencia
para determinar el progreso en el aprendizaje u otros efectos al tener los resultados del
post-test (ver Figura 5).
Figura 5
DISEO D E P R E Y P O S T - T E S T P A R A
EVALUACIN FORMATIVA Y SUMATIVA
PRE-TEST
POST-TEST
Otros diseos m s complejos implican comparar los cambios efectuados en aquellos estudiantes que participaron en su programa, con los cambios que se efectuaron en
estudiantes que no participaron.
Figura 6
PRE-TEST
POST-TEST
39
Estos diseos le permiten a usted tener una mayor certeza que ios efectos que
observa son el resultado de su programa y no de otra causa.
El Apndice A contiene informacin detallada sobre la eleccin de diseos y otras
consideraciones para quienes desean explorar, m s profundamente, este importante
paso d e la evaluacin.
40
Validez y confiabilidad
Validez y confiabilidad son dos caractersticas importantes de cualquier instrumento
de evaluacin. Usted debe conocer el significado de estos dos conceptos.
La validez se refiere al alcance que tiene un instrumento de evaluacin para medir
lo que debe medir. Por ejemplo, considere el objetivo: "El alumno podr identificar tres
posibles efectos dainos de la lluvia acida". Si el instrumento contiene slo temes que
prueban la comprensin del alumno sobre lo que es la lluvia acida pero no incluye temes
que permitan al alumno identificar los efectos perjudiciales, el instrumento no proporcionar una medida vlida de este objetivo. Otro ejemplo sera: usted desea medir lo que los
alumnos comprenden sobre conceptos, y su prueba no es vlida porque slo mide hechos.
Una manera sencilla de visualizar la validez es pensando en un blanco.
Si su instrumento tiene alta validez, los temes de la prueba darn justo en blanco -lo
que desea medir (ver Figura 7).
Figura 7
VALIDEZ
Vlido
N o vlido
.50) = incierto
41
La conf labilidad se refiere al grado en que un instrumento de evaluacin proporciona medidas que son consistentes cada vez que se le aplica a los mismos individuos. Suele
llamarse reproductibilidad. Si un instrumento produce diferentes resultados debido al
tiempo, al da u otras condiciones, no es confiable. Ntese que un instrumento puede ser
confiable pero no vlido -los resultados pueden ser consistentes pero pueden no medir lo
que el instrumento debera estar midiendo (ver Figura 8)
Figura 8
CONFIABILIDAD Y VALIDEZ
Confiable y vlido
42
43
Prueba piloto
Es importante que siempre pruebe sus instrumentos con un pequeo grupo de alumnos
similares a aquellos que usted realmente piensa evaluar.
Esto le dar una oportunidad de comprobar aspectos tales como claridad, legibilidad,
duracin del test. Igualmente podr comprobar la facilidad de tabular y de realizar anlisis
de datos.
Quizs sera posible probar el instrument con otra clase o, si lo estima pertinente,
con slo dos o tres alumnos tutores. Esta ltima situacin le da la oportunidad de observar
de cerca a unos pocos alumnos e interrogarlos cuidadosamente cuando percibe algn
problema.
TIPOS D E I N S T R U M E N T O S R E L A C I O N A D O S C O N O B J E T I V O S
En esta seccin usted tendr la oportunidad de conocer las mediciones m s tradicionales
de objetivos. En la siguiente seccin, conocer aquellas para explorar m s libremente
resultados imprevistos.
Progreso en el aprendizaje de los alumnos
Los siguientes tipos de instrumentos e temes han sido diseados para medir el progreso
de los alumnos. Algunos son m s adecuados para medir el progreso cognoscitivo,
mientras que otros lo son para evaluar actitudes y valores y destrezas manuales.
a)
44
2.
3.
Proporcione espacios especficos para las respuestas (casilleros, parntesis cuadrados, parntesis, rayas) ordenados para una fcil tabulacin; por ejemplo, en la
orilla de la pagina o en un formulario especial de respuestas.
4.
5.
6.
Validez - el tem mide lo que debera medir (ha sido discutido anteriormente bajo la
seleccin sobre validez y confiabilidad).
Discriminacin - se refiere al grado de discriminacin del tem entre los alumnos que
califican alto y los con bajas calificaciones, aquellos que han logrado el objetivo y los que
no lo han hecho. En primer lugar, divida la clase en dos grupos: aquellos que han obtenido
alta calificacin en la prueba y los que han obtenido baja calificacin. En programas con
m s de 50 alumnos, seleccione un cuarto de los alumnos con las m s altas calificaciones
y otro cuarto con las m s bajas. En programas de m e n o s de 5 0 alumnos, simplemente
divida el grupo por la mitad basndose en las calificaciones altas y bajas. E n segundo
lugar, normalmente se espera que los alumnos con altas calificaciones aborden mejor un
tem que los alumnos con calificaciones bajas. Por lo tanto, aquellos temes que favorecen
calificaciones bajas podran estar midiendo un aspecto diferente, lo q u e afectara la
validez y confiabilidad d e la prueba. Estos deben ser identificados y descartados o
redactados nuevamente.
Es posible cuantificar el grado de discriminacin utilizando la siguiente frmula:
N m e r o de alumnos con
calificaciones altas que
respondieron correctamente la pregunta
Discriminacin =
1/2 del nmero total de alumnos con altas y bajas calificaciones.
45
20-5=
25
15 = 0.60
25
= 1.00
25
La dificultad puede comprobarse utilizando la siguiente frmula:
Dificultad (%)=
(Alta)
N m e r o correcto
en el tem
:
(Baja)
N m e r o correcto
en el tem
46
H e m e s de muestra
El siguiente cuadro presenta muestras de temes y consideraciones adicionales:
C U A D R O I: ITEMES D E T E S T D E M U E S T R A
Tipo de Item
Verdadero-falso
(si o no)
Ejemplo
Ventajas
-Fcil de construir
y calificar
-Util cuando existen dos alternativas
En la naturaleza,
los minerales del
suelo son utilizados por las plantas.
Si la naturaleza
funciona adecuadamente, sern
reutilizados
Desventajas y
sugerencias para
superarlas
-Estipule si es
verdadero o falso
en una proporcin
de 50-50
-Mantenga las
preguntas de un
largo uniforme
-Evite trminos
cualitativos, tales
c o m o todo, slo,
siempre, etc.
-El adivinar puede
ser un factor
Verdadero-falso
modificado
-El adivinar es un
factor m e n o s relevante
- U n a pregunta del
tipo por completar
es a veces m e n o s
ambigua
Tipo de Item
De completacin
de frases
Ejemplo
Ventajas
-Fcil de desarrollar
-Bueno para respuestas cortas
(Contaminante) U n
contaminante en el
agua que es daino para la salud se
llama
Seleccin mltiple
(Haga un crculo
alrededor de la
letra de la alternativa correcta)
En la ilustracin,
cul d e las reas
es la m s
ecolgicamente
estable?
-Provee cinco
alternativas
-Las respuestas
directas son mejores
-Mantenga las
respuestas de un
largo uniforme
a. El rea con
rboles
-Evite respuestas
negativas
b. El rea con
pasto
c. El terreno rido
d. U n charco
e. La zanja d e
drenaje
48
Desventajas y
sugerencias para
superarlas
-La construccin
c o n s u m e tiempo
Tipo de Item
Aparear
Ejemplo
Ventajas
-Fcil de construir
-Maneja varas
variables relacionadas
Desventajas y
sugerencias para
superarlas
-Tenga un nmero
diferente de temes
en cada columna
1. Consumidor
primario
a. Orqudea
b. Rata
c. Serpiente
2. Descomponedores
d. Hongos
3. Productor
49
Tipo de Item
Ejemplo
Ventajas
- D a oportunidad
de mediar actitudes y valores, y
grados de criterio
Desventajas y
sugerencias para
superarlas
- N o proporciona
informacin sobre
criterio o razn
Tipo de Item
Orden de categoras
Ejemplo
(Clasifique los
tems siguientes en
orden de su propio
inters, con 1
c o m o su mayor
inters, 2 el siguiente, etc.)
Ventajas
-Fcil de desarrollar
Desventajas y
sugerencias para
superarlas
-Limitado por un
nmero de tpicos
similares
-Proporciona una
medida relativa de
intereses, actitudes
y valores
Plantar rboles
en terrenos de la
escuela
Limpiar el
incinerador
Levantar la
basura esparcida
Crear una nueva rea de juegos
Semntica
diferencial
- D a la oportunidad
de comprobar tanto
objetivos
cognoscitivos y
afectivos
-Los trminos
deben de comunicar
Ejemplo
Tipo de Item
Ensayo modificado
<
^^_
LU
/
/y
z
a
O
a>
ZD
Ensayo
-Demanda m e n o s
tiempo de preparacin
-Evala aptitud
mental superior,
valores y actitudes
y"^
Desventajas y
sugerencias para
superarlas
- D e m a n d a la
identificacin de
respuestas especficas
-Analizar y tabular
d e m a n d a tiempo
A -Menos subjetivo y
/^
ce
LU
LU
Ventajas
TIEMPO
Cul estima
usted c o m o el
mayor problema
ambiental que
enfrenta el m u n d o
actual? D razones de su preocupacin
-Demanda menos
tiempo de preparacin
-Evala aptitud
mental superior,
actitudes y valores
- D e m a n d a la
identificacin de
respuestas especficas
-Analizar y tabular
d e m a n d a tiempo
-Corrija cada
pregunta del
ensayo una a la
vez
52
b)
Pruebas de rendimiento
Las pruebas de rendimiento son aquellas en las cuales se les solicita a los alumnos
demostrar una destreza manual adquirida, tal c o m o calibrar o utilizar un instrumento. Le
permiten estimar situaciones reales m s claramente que las pruebas de papel y lpiz. Por
ser una medida directa del resultado, no es necesario tanta deduccin para determinar si
se ha logrado. Sin embargo, establecer y aplicar las pruebas de rendimiento puede
demandar mucho tiempo.
Pautas para el desarrollo
1.
2.
Especifique los criterios que emplear para determinar el grado de destreza que
demuestra el encuestado, por ejemplo, duracin, uso de equipo y calidad del
producto.
3.
1.
2.
c)
Cuestionarlos
Los cuestionarios son instrumentos de papel y lpiz utilizados para medir intereses,
opiniones y actitudes de las personas que participan en un programa o son influenciadas
por l. Pueden aplicarse c o m o pruebas de rendimiento, enviados por correspondencia a
los encuestados para ser completados por ellos o bien utilizados en entrevistas. Los
cuestionarios demandan tiempo en su preparacin y requieren de un ensayo piloto
cuidadoso, pero suelen ser de gran valor m s all de la informacin que proporcionan.
Empleados adecuadamente, con las preguntas correctas, los cuestionarios pueden
proporcionar a los alumnos las oportunidades de entregar al programa insumos adecuados y significativos. Pueden representar un enfoque democrtico para la evaluacin y
ayudara contrarrestarposibles efectos negativos y opresivos que podran estar vinculados
con el programa de evaluacin.
Orientaciones para su desarrollo
1.
2.
Utilice papel de colores pastel -beige o verde claro; evite colores chillones y fuertes.
53
3.
4.
5.
6.
7.
8.
9.
Muy
bajo
Bajo
Indeterminado
Alto
Muy
alto
d)
Sin valor
D e poco valor
Indeterminado
D e algn valor
D e gran valor
Entrevistas
2.
55
3.
Disene una hoja d e respuestas que pueda utilizar para registrar datos en que
incluya la facilidad de tabular las respuestas.
4.
Itemes de muestra
E n qu manera piensa usted que su estilo de vida es compatible con un medio
ambiente saludable? Explique.
Existe algn medio que usted deseara adoptar para cambiar su m o d o de vida con
vistas a mantener un medio ambiente adecuado para la vida? Explique.
e)
Instrumentos d e observacin
2.
56
3.
4.
5.
Materiales
57
2.
3.
Determine los mtodos de anlisis necesarios para estimar el tipo y grado del
conocimiento, de las destrezas manuales, etc., representado porcada instrumento,
tal c o m o las escalas de calificacin.
Itemes de muestra
1. C U A D R O II: E V A L U A C I N D E U N M A P A D E INCLINACIN
Variables
representadas
M u y malo
Malo
Regular
Bueno
Muy Bueno
Habilidad para
transformar formas
tridimensionales
en representaciones
bidimensionales
Exactitud
- '
Etc.
Variables
representadas
Credibilidad
dla
evidencia
Presentacin
dla
evidencia
Etc.
M u y bajo
Algo bajo
-
Indeterminado
Algo alto
M u y alto
g)
2.
3.
1.
59
2.
3.
4.
5.
Historias de caso.
6.
Convalidaciones.
7.
Actividades de recreacin.
8.
Cursos escogidos.
9.
Falta de puntualidad.
Actividades e n situaciones artificialmente creadas
1.
2.
3.
Respuestas a boletines, afiches o exhibiciones solicitando la participacin voluntaria, tal c o m o inscribindose en un concurso.
4.
h)
En lo posible, usted debe utilizar varios instrumentos y tcnicas descritas anteriormente para medir el rendimiento en el aprendizaje del alumno. El acopio de datos de
padres, maestros, miembros de la comunidad y colegas, as c o m o de los alumnos en el
programa, y el uso tanto de medidas directas c o m o no perceptibles dar una base de datos
m u c h o m s amplia para poder formarse una opinin. Al utilizar mediciones mltiples,
usted tendr mayor confianza en los resultados.
El programa de instruccin
Las medidas de rendimiento del aprendizaje del alumno descritas anteriormente,
son los principales indicadores del xito o fracaso del programa. Y su empleo con algunos
de los diseos sugeridos anteriormente le permitirn comparar el rendimiento del alumno,
tanto con el programa global c o m o con una estrategia didctica particular, tal c o m o una
cinta de pelcula, una visita en terreno, o una simulacin.
a)
60
2.
3.
Decida sobre cules variables importantes se relacionan con el mtodo que desea
evaluar.
4.
5.
61
El ambiente d e aprendizaje
62
Identifique las variables que usted estima tendrn mayor influencia en su programa.
2.
3.
4.
63
c)
Efectos externos
2.
Seleccione un diseo adecuado (verla seccin de diseos y el Apndice A), tal como
un pre-post diseo de observacin.
3.
4.
I N S T R U M E N T O S P A R A D E T E C T A R R E S U L T A D O S N O PREVISTOS
Aun cuando fuese posible (y no lo es), no sera acertado anticipar y desarrollar objetivos
para todos los resultados de su programa; sera muy demoroso, abrumador, frustrante y
limitante. Una postura que apoyamos en este documento es la de desarrollar slo algunos
resultados medibles, para luego utilizar una variedad de medidas para la recopilacin de
64
datos sobre otros resultados que usted no puede anticipar. E s m u y posible que los
resultados imprevistos sean m s adecuados para ayudarle a juzgar el valor d e su
programa que aquellos por los cuales usted ha perdido horas tratando de anticipar.
Tipos de mediciones
Aquellos materiales de medicin as c o m o las tcnicas que le permiten sondear, explorar
y buscar, son los adecuados para conocer lo desconocido -lo que usted no anticipa. D e
ellos puede obtener informacin tanto cualitativa c o m o cuantitativa.
Los cuestionarios y entrevistas que contienen temes de libre expresin son
sumamente tiles. Algunos ejemplos de preguntas que se pueden hacer son: Q u fue
lo m s importante que usted obtuvo o aprendi? Q u es to que piensa se podra haber
hecho en forma diferente? Qu le caus mayor satisfaccin o desilusin? Cul es la
reaccin de sus amigos sobre el programa? D e qu manera piensa que se benefici la
comunidad?
Los instrumentos de observacin con temes d e libre expresin desarrollados
cuidadosamente pueden ayudarlo a estar m s alerta en ubicar cambios aparentemente insignificantes otque a veces es obvio y no obstante se pasa por alto. Por ejemplo,
de qu manera apoyan el programa los padres? Q u comentan otros alumnos sobre
las actividades del programa? Muchos de estos enfoques podrn utilizar tcnicas
discretas que involucran tanto el estudio de registros y materiales c o m o situaciones
artificialmente creadas, tal como llenar una solicitud para ser miembro de una organizacin ficticia.
El enfoque de estudio de casos es igualmente un medio til para detectar resultados
imprevistos. En este enfoque, utilizara informacin obtenida de las tcnicas mencionadas
anteriormente y describira en detalle lo ocurrido a sus alumnos, a otras personas de la
comunidad y al medio ambiente como resultado de su programa. Frecuentemente, al vertir
la informacin e intentar ponerla en palabras, descubre nuevos aspectos sobre ella y tiene
un mejor discernimiento que no anticipaba.
Los enfoques de investigacin-accin por medio de los cuales examina su programa
y sus efectos, tambin proporcionan medios para detectar resultados imprevistos. Estos
incluyen entrevistas exhaustivas con sus alumnos; registros escritos, grabados y video
cintas de su clase; participacin en descubrimientos con sus alumnos; y, la utilizacin de
observadores invitados.
65
La bsqueda de resultados imprevistos podra tambin revelar necesidades imprevistas que usted no imagin que utilizara, dndole as una base terica adicional al
programa y nuevos fines y objetivos. S u informacin podra asimismo indicarle que no
puede, en realidad, lograr algunas de los fines y objetivos en cuyo caso deberan
descartarse o modificarse.
P L A N E S P R E L I M I N A R E S P A R A E L ANALISIS D E D A T O S
Al desarrollar instrumentos, temes de prueba y preguntas, debera igualmente planificar
por adelantado el tipo de anlisis que utilizar. Esto le permitir elaborar el instrumento
y las hojas de registro para una fcil tabulacin y tratamiento de datos. Por ejemplo, podra
desarrollar categoras para tabular las respuestas a las preguntas de respuesta abierta del
cuestionario. Para la pregunta, "qu sinti respecto a la actividad?" podra tener
casilleros en la hoja de tabulacin para respuesta negativa y positivas. Esto le ayudara
a determinar con mayor rapidez frecuencias y distribuciones porcentuales.
La comprobacin preliminar del desarrollo de instrumentos a m e n u d o proporciona una oportunidad para realizar un ensayo final de los procedimientos de anlisis. Y a
que la tabulacin y el anlisis pueden ocupar mucho tiempo, cualquier cosa que haga
para anticipar lo que se necesitar en este importante paso tendr una amplia recompensa.
66
C A P I T U L O III: C O M O P U E D O R E A L I Z A R MI E V A L U A C I N ? ( P A S O T E R C E R O )
Existen dos pasos principales para que realice su evaluacin: la recoleccin de informacin
y el anlisis de datos. Una vez finalizados, estar listo para el paso final, la utilizacin de
resultados. Este captulo presenta claramente cada paso del procedimiento, incluyendo
las opciones que tiene para variantes y caminos secundarios a medida que recolecta y
analiza su informacin sobre el programa y sus resultados.
RECOLECCIN DE DATOS
Y a que esta gua presume que el docente tiene un papel preponderante en la evaluacin,
usted puede ejercer un control directo sobre la consistencia de sus enfoques al recopilar
datos. Si participan varias personas, puede suscitarse un problema, a menos que todos
sean sus colegas y que estn trabajando en situaciones idnticas. Y a que esto es
improbable, es conveniente que sea consistente en administrar pre-test y post-test y en
utilizar tcnicas de medicin tales como listas d. registro y entrevistas. Una sola palabra
puede generar respuestas diferentes y afectar la validez y conf iabilidad de sus resultados.
Si emplea ayudantes dele a cada uno las mismas instrucciones especficas.
Usted debe tambin intentar anticipar potenciales problemas en el proceso de
recoleccin de datos. Las siguientes consideraciones le dan una especie de lista de
registro para llevar a cabo el procedimiento sin tropiezos:
Consideraciones generales
1.
2.
Obtenga la aprobacin necesaria para todos los arreglos de parte de los administradores y otro personal (secretarias, otros docente y voluntarios). Esto involucrar
informar sobre los propsitos y expectativas as c o m o establecer horarios.
3.
Si utiliza ayudantes, seleccione a los que tienden a ser objetivos. Dele a cada uno
67
5.
E n el caso de ausencias, podra ser posible seguir los casos en que se han utilizado
cuestionarios para encuestas, pero se debe tener cuidado de evitar la influencia de
tiempo adicional y de otras variables.
68
ANALISIS D E D A T O S
A estas alturas usted podr estar sentado en una ruma de datos considerando seriamente
abandonar el barco antes de hundirse en un mar de papeles. Las siguientes pginas le
ayudarn a tratar con facilidad y eficacia la pltora de informacin que puede haber
acumulado.
El anlisis implica la organizacin, resumen e interpretacin de sus datos utilizando
nmeros, operaciones matemticas y descripciones d e palabras. Las operaciones
matemticas del anlisis se denomina estadstica. Existen dos tipos de estadstica;
descriptiva e inf erencial. La estadstica descriptiva consiste en nmeros que describen los
datos. Por ejemplo, incluyen las veces que algo ocurri (frecuencia) y la proporcin de algo
en un todo (porcentaje). La estadstica inferencial consiste en nmeros que le ayudan a
comprobar sus conjeturas y hacer inferencias -conclusiones de los datos- sobre la
eficacia de su programa.
A travs del anlisis usted puede:
determinar los logros de sus fines y objetivos;
determinar resultados imprevistos y sus valores relativos;
determinar el valor de sus fines y objetivos.
Conjuntamente, estos papeles que desempea el anlisis le permiten juzgar el
mrito de su programa. A pesar de que las tcnicas presentadas en este captulo le
ayudarn a adoptar estas determinaciones con creciente objetividad, no podr eliminar la
subjetividad totalmente. E n realidad, no debera, ya que la intuicin, en m s de una
ocasin, mantuvo programas vigentes los cuales eventualmente se comprobaron c o m o
eficaces en formas imprevistas. Y , de hecho, si usted ha seguido estas orientaciones
hasta este momento en la evaluacin de su programa, habr acumulado una buena
cantidad de datos subjetivos que podrn reforzar sus propias intuiciones,
C m o resumir sus datos (estadstica descriptiva)
En esta seccin se le presentarn algunas modalidades para reducir la cantidad de
cuestionarios, pruebas y listas de registro que posee convirtindolos en resmenes
ordenados y descripciones numricas de fcil interpretacin.
69
a)
Los grficos son resmenes visuales de informacin que hacen que los datos sean
m s comprensibles e interpretables. A continuacin se dan varios esquemas:
Figura 9
HISTOGRAMAS
1. Histograma (grfico de columna)
60504030"
2010o-
100
Pre
Post
Pre
Post
Test
Test
Test
Test
Habilidades para Habilidades para
el Descubrimiento
la solucin
y la Investigacin
de problemas
EJEMPLO U N O
90
80
70
60
50
40
30
20
10
i
10
i
4
i
6
Frecuencia
Pre-test
Post-test
EJEMPLO D O S
70
ir
8 10
Figura 10
POLGONO DE FRECUENCIAS
2 . Polgono d e frecuencias
10
o
<S
LU . 5
LU O
CC
" E
z
10
20
30
40
50
60
70
80
90
100
Figura 11
GRFICO CIRCULAR
3 . Grfico circular ("de torta")
71
El grfico circular es til para destacar proporciones. Para su construccin, multiplique el porcentaje de cada categora por 360 grados y dibuje el crculo con un comps.
b)
Bsqueda de frecuencias
Bsqueda de porcentajes
150:100 = 0.15=15%
100
500
500
000
Las frecuencias a menudo se convierten en porcentajes para apreciar m s claramente la proporcin de lo que se mide con el entero. Por ejemplo, usted puede pedir a su
curso que clasifique una pelcula sobre ecologa. El cuadro siguiente demuestra cmo se
utilizan las frecuencias y porcentajes para analizar las clasificaciones:
C U A D R O IV: CALIFICACIN D E U N A PELCULA P O R L O S A L U M N O S (24 A L U M N O S )
Calificacin
Frecuencia
Por ciento
Muy buena
12
50
Buena
25
Indeciso
Regular
17
Mala
Total
24
100
72
d)
92
87
85
84
84
84
80
80
14
5_
Total
695
69.5 = M E D I A
10
16950
73
todos los datos en la distribucin. Sin embargo, en el ejemplo anterior, los dos puntajes
m u y bajos afect en gran medida la media, dando un puntaje distorsionado, mucho m s
bajo dei logrado generalmente por los alumnos. En este caso, la mediana y la m o d a dieron
mejores medidas de la tendencia central. Debido al efecto de c m o se distribuyen los
puntajes -la variacin de los puntajes- usted puede estimar conveniente calcular las tres
medidas antes de decidir cul usar.
e)
74
Figura 12
GRFICO DE PUNTAJES DE UNA PRUEBA
4J-
z
3
1-0
10
20
30
40
50
60
70
80
90
100
PUNTAJES
Para calcular la desviacin utilice la frmula: (ver Figura 12)
desviacin estndar
El proceso es el siguiente:
Paso 1 : Calcule la media, la cual es 69.5
Paso 2 : Reste la media de cada puntaje para obtener una serie d e cifras que
demuestren cunto se desva cada uno de la media.
92 - 69.5 = 22.5
87-69.5 = 17.5
85 - 69.5 = 15.5
84-69.5 = 14.5
84-69.5 = 14.5
84 - 69.5 = 145
80-69.5 = 10.5
80 - 69.5 = 10.5
14 - 69.5 = -55.5
5 - 69.5 = -64.5
75
Paso 3: Si usted sumara las desviaciones anteriores, stas sumaran cero porque
dos son nmeros negativos. As que para sacar el promedio de los puntajes debe
primeramente elevar al cuadrado cada uno de los resultados anteriores.
Esto eliminar los nmeros con signo menos o negativos (un nmero negativo
multiplicado por un nmero negativo da un nmero positivo, por ejemplo, -5 x -5 = 25).
Luego divida por el nmero de puntajes para obtener una desviacin promedio. Ver el
ejemplo siguiente:
22.5 X 22.5 =
506.25
17.5x17.5 =
306.25
15.5x15.5 =
240.25
14.5x14.5 =
210.25
14.5x14.5 =
210.25
14.5x14.5 =
210.25
10.5x10.5 =
110.25
10.5x10.5 =
110.25
que cuanto m s distanciados estn los puntajes de la media, mayor ser la desviacin y
dispersin de stos y mayor ser la desviacin estndar. Los matemticos han calculado
76
que si un gran nmero de personas dieran una prueba la distribucin normal de los
puntajes, al azar, se vera de la siguiente manera (ver Figura 13).
Figura 13
LA CURVA NORMAL
40--
a>
O
30--
Z3
20--
10--
-4
-3
-2-1
-1
-2
-3
-4
77
Este anlisis es especialmente apropiado para diagnosticar las necesidades individuales y para dar instrucciones individuales.
U n objetivo tpico sera:
El alumno podr demostrar dominio del concepto de la estabilidad ecolgica al
responder correctamente un 60 por ciento de los temes de una prueba escrita.
El anlisis slo requerira la tabulacin de los puntajes y el clculo del porcentaje de
los puntajes correctos. Si la prueba constaba de 30 temes y el alumno contest 24
correctamente, la fraccin sera 24/30 o el 80 por ciento, bastante superior a su estndar
de 60 por ciento.
c)
78
por ciento -lo cual no es suficientemente alto para lograr su objetivo. E n este caso,
necesitara investigar m s las razones, por ejemplo, podra realizar un anlisis de temes
para comprobar la prueba o entrevistar a los alumnos con puntajes bajos para conocer por
qu no alcanzaron sus expectativas.
d)
Evaluacin del prog reso de los alumnos utilizando medidas del rendimiento d e
la clase c o m o base de comparacin
Otro mtodo comn para juzgarel rendimiento individual de los alumnos o de la clase
en su totalidad es comparndolos con una media esperada u otra medida, Por ejemplo,
podra decir:
El promedio del puntaje o media del grupo ser considerado un nivel aceptable de
rendimiento y cualquier puntaje inferior a un determinado nmero de puntos bajo la
media se considerar c o m o reprobado. Por ejemplo, si usted realiza una prueba de 100 ;
temes a 25 alumnos y la media es 80, podra aprobar a todos los alumnos que recibieron
puntaje bajo 80 que est dentro del 25 por ciento de la media. As, 25 por ciento x 8 0 =
20 y 80-20 = 60. Por lo tanto, cualquier puntaje inferior a 60 sera m u y bajo para ser
aceptable. An cuando el establecer este tipo de estndares parece ser m u y arbitrario, en
realidad este mtodo generalmente refleja la observacin del maestro de muchos
factores, incluyendo niveles de habilidad, tiempo empleado en el tema, y rendimiento
anterior.
A veces, los profesores estn tentados de usar unidades de desviacin c o m o
estndar c o m o un promedio de establecer grados; por ejemplo, otorgando un grado C si
est incluido dentro de una unidad de desviacin estndar de la media. Las B y las A
podran darse a aquellos que estn dentro de la segunda y tercera unidad de desviacin
estndar por encima de la media. Esta prctica no se aconseja; la curva normal es un
estndar m u y arbitrario que no toma en cuenta otros factores que usted podra desear
considerar, tal como fomentar el rendimiento o recompensando el progreso. M s an, la
curva normal es slo una distribucin matemtica idealizada, solamente enfocada a
medida que se obtiene m s y m s puntajes. En el caso de clases poco numerosas, la curva
normal generalmente no existir.
e)
79
Figura 14
CURVAS SEPARADAS DE PRE Y POST TESTS
50
60
90
100
PUNTAJES
Figura 15
CURVAS SUPERPUESTAS DE PRE Y POST TEST
80
\-J\
0
10
20
1 P r P r
30
40
50
60
70
r H
80
90
1
100
A lo largo de esta gua usted ha sido estimulado en repetidas ocasiones para buscar
evidencias de resultados imprevistos, tales c o m o nuevos conceptos, actitudes o aptitudes
que no esperaba.
Este tipo de evidencia, probablemente, se podr apreciar en temes de ensayo o en
pruebas d e papel y lpiz, durante observaciones o en respuesta a preguntas de libre
expresin de los cuestionarios, entrevistas e instrumentos de auto evaluacin.
81
Suponiendo, por ejemplo, que usted recibe una serie de respuestas no esperadas
de la pregunta "qu piensa usted es lo m s importante que aprendi?". En este caso,
primeramente realizar un anlisis de contenidos, estableciendo categoras para las
diferentes respuestas y registrando las frecuencias de respuestas en cada categora. Por
ejemplo, 10 alumnos de una clase de 3 0 podran indicar que ellos piensan que lo m s
importante aprendido es que podran realmente influir sobre un cambio de actitud de sus
padres hacia asuntos ambientales. En este caso, tambin podra calcular el porcentaje,
33 por ciento, para as poder comparar con facilidad este cambio de actitud con otros
cambios.
Anlisis de datos para el mejoramiento del programa
C o m o ya se ha mencionado, una de las razones m s importantes para evaluar su
programa es conocer el xito de l y lo que podra hacerse para mejorarlo. Y a se han
descrito los disertos e instrumentos necesarios para ayudarlo a atribuir los resultados a
su programa en su totalidad o a mtodos especficos de enseanza y aspectos del
ambiente de aprendizaje. A estas alturas, se supone que ya cuenta con una variedad de
datos, listos para analizar en trminos de lo que result mejor y lo que no fue as, o lo que
tuvo el mayor o menor efecto en sus resultados. Existen varias modalidades de anlisis
que usted est en condiciones de poder adoptar.
a)
82
83
1.
2.
3.
4.
5.
Interprete y justifique los resultados en trminos del logro de los objetivos y de los
resultados imprevistos.
6.
Describa las bondades y debilidades de los componentes del programa de instruccin y proporcione evidencia de apoyo sobre su xito y fracaso.
7.
8.
9.
84
INFORMACIN DE RESULTADOS
Informar sobre los resultados es un paso esencial en su programa de evaluacin. Por
medio de informes usted puede dar conocer otros el rigoro la debilidad d e un programa
y cualidades generales, demostrar un grado de responsabilidad, generar confianza, ganar
apoyo, organizar la informacin para mejorar el programa, y proporcionar material d e
estudio a los participantes.
Identificacin d e las audiencias
Hay muchas audiencias para su informe d e evaluacin. Ellas incluyen:
los estudiantes;
el personal administrativo escolar;
los padres;
los ciudadanos y grupos interesados;
otros maestros;
las agencias pblicas;
las organizaciones financieras.
85
86
Otras audiencias se interesarn slo por los informes finales basados en informacin
sumativa. Y , por supuesto, hay quienes pedirn a m b o s , el informe provisorio y el final.
A veces, los informes provisorios pueden entregarse en forma oral e informalmente.
Si no est seguro de las necesidades y requerimientos de informacin de su audiencia,
una comprobacin rpida estara correcta.
El informe final
Propsito
El propsito del informe final es resumir los resultados de la evaluacin, sacar
conclusiones generales, y hacer recomendaciones.
E s q u e m a (sugerido)
(a)
resumen
1.
(b)
1.
Describa en trminos de fcil comprensin lo que usted esperaba lograr y por qu.
2.
(c)
1.
2.
3.
4.
5.
(d)
1.
87
2.
(e)
1.
2.
3.
4.
(f)
Conclusiones
1.
2.
3.
Discuta el efecto d e la evaluacin sobre el fundamento, los fines y los objetivos del
programa.
4.
5.
6.
(g)
Recomendaciones
1.
2.
3.
1.
2.
88
3.
Escriba con claridad y en forma directa. Evite palabras innecesarias, jerga y frases
largas. Organice su escrito en forma lgica y fluida de manera que tenga sentido.
4.
2.
Establezca un lmite de tiempo, una agenda para llevar a cabo las recomendaciones.
3.
89
dinero;
recursos humanos;
informacin;
materiales y equipo.
4.
90
91
2.
3.
4.
Ayudar a los individuos a desarrollar las habilidades para la accin necesarias para
la prevencin y solucin de asuntos y problemas del medio ambiente.
Objetivos conductuales
Los siguientes representan dos de los principales objetivos conductuales de la
unidad.
1. (Objetivo afectivo)
El alumno demostrara una motivacin para ayudar a prevenir y solucionar problemas
92
SEMANA 1
Lunes
UNIDAD P R E - T E S T
Martes
F A S E 1 : Descubrimiento exploracin
A . Introduccin a la Unidad
1. La necesidad de calidad ambiental
2. El papel de los ciudadanos y
B. Presentacin con diapositivas
1. Componentes del medio ambiente natural y construido por el hombre.
2. Conceptos relativos a ecosistemas naturales y ecosistemas h u m a nos.
C . Plano del terreno de la escuela desarrollado por los estudiantes en el
pizarrn.
93
Mircoles
1. Upo
2.
Localizacin
3. T a m a o - f o r m a
4. Cantidad
5. Caractersticas
B. Demostracin del equipo y tcnicas para la investigacin del medio
ambiente
C . Seleccin de los tpicos a investigar por los estudiantes
D . Lineamientos para recopilar y trazar m a p a s a base de la informacin.
Jueves
Viernes
SEMANA 2
Lunes
94
Martes
Mircoles
Jueves
Viernes
95
El Programa de evaluacin
Debido a que se esperaba que la unidad fuera incorporada dentro del currculo regular de
la escuela secundaria, el programa de evaluacin lleg a ser parte integral de la unidad.
El proceso consisti de los siguientes cuatro pasos o fases:
a)
Decidiendo qu evaluar
C o m o resultado del programa, cunto progresaron los estudiantes en las habilidades del pensamiento crtico y motivacin relacionadas con la exploracin del medio
ambiente, identificacin y solucin de problemas?
2.
3.
(b)
Planificacin de la evaluacin
GRUPO
GRUPO
GRUPO
1
2 semanas
2 semanas
2 semanas
6 semanas
96
FIGURA 18
PLAN DEL P R O G R A M A - P R I M E R A FASE
1a. Etapa
2a. Etapa
2 semanas
2 semanas
3a. Etapa
2 semanas
GRUPO
1
PiRUEBA PILOl"O
D E LA UNIDAD Y
E\ /ALUACION [)E
INSTRUMENTC )S
El Grupo 2 se transform en el grupo experimental y recibi la unidad durante la
segunda etapa de dos semanas. Durante este mismo tiempo, el Grupo 3 se transform
en el grupo de control. Ver Figura 19.
FIGURA 19
P L A N D E L P R O G R A M A segunda fase
1a etapa
dos semanas
3 S etapa
dos semanas
2 " etapa
dos semanas
Pretest
Post
test
GRUPO
-O
' ' '. 'O2
P R O G R A M A (Experimental)
Pretest
Post
test
GRUPO
3
\-o
NO HAYPROGRAMA
(Control)
97
2 a Etapa
dos semanas
GRUPO
O-
3 8 Etapa
dos semanas
r-O
PROGRAMA
i
GRUPO
-O
PRUEBA PILC)TO
O-
GRUPO
-O
NO HAY PROGRAMA
O-
GRUPO
-O
PROGRAMA
Siguiendo el desarrollo del diseo, los instrumentos de evaluacin fueron planificados y elaborados. Estos consistieron en un pre y post test de papel y lpiz con diapositivas,
dos instrumentos de observacin discreta para evaluar la motivacin y una lista de cotejo
de observacin para ser usado durante la unidad.
La prueba de papel y lpiz consisti en temes desarrollados con base a los objetivos
conductuales. Durante esta parte del proceso de diseo, se seleccionaron diapositivas
para acompaar los temes.
Cientos de diapositivas fueron revisadas. Estas sirvieron para dos propsitos: 1)
para algunas preguntas, las diapositivas proporcionaron una imagen visual frente a las
cuales se les pidi reaccionar a los estudiantes; y 2) para otras preguntas las diapositivas
sirvieron slo c o m o estmulos en relacin al tpico en cuestin.
Siguiendo el desarrollo del instrumento, ste fue examinado por un panel de cinco
profesores que calificaron cada tem segn el grado de congruencia que ellos crean haba
con el objetivo. Aquellos temes que recibieron notas bajas fueron revisados o, bien,
descartados.
Siguiendo el desarrollo de la primera redaccin del instrumento, ste fue previamente probado con la participacin de los 25 estudiantes que haban participado en la primera
unidad "de dos semanas". E n forma adicional al post-test, hubo interrogantes sobre qu
era lo que a los estudiantes m s les gustaba de la unidad y aquello que menos les gustaba.
S e les pidi, tambin, sugerir cambios. Este segundo uso del borrador del test sirvi
adems c o m o evaluacin formativa y proporcion informacin til en la revisin de la
98
unidad antes de aplicarla una segunda vez. Apenas completado el pre-test de la primera
redaccin del instrumento formal, ste fue analizado, tem por tem, para poder aumentar
su validez, capacidad de discriminacin y duracin apropiada. Tambin, al trmino de la
primera etapa de las dos semanas, la primera versin fue presentada nuevamente para
obtener una evidencia de confiabilidad (mtodo de e x a m e n y re-examen o test-re test)
El primer test discreto sobre motivacin fue diseado c o m o un cuestionario hecho
por un comit ficticio de la comunidad de la escuela. S e supona que el comit estaba
recolectando informacin sobre la opinin de los ciudadanos en relacin a un mejor uso
de los terrenos de la escuela tanto en beneficio de sta, c o m o de los ciudadanos de la
comunidad. En una breve introduccin para la versin del pre-test, se presenta la prueba
a m o d o de un borrador de la versin final que sera desarrollada m s tarde. Sabiendo que
los estudiantes participaban en una unidad sobre el terreno de la escuela, el comit
interrogaba a aquellos estudiantes que estaban interesados en completar el cuestionario
c o m o si ste fuera, supuestamente, un pre-test sobre dicha materia antes de que la
versin final fuera desarrollada. A los estudiantes se les dijo que el profesor por pedido del
comit, iba a introducir este cuestionario al final de la sesin de la primera clase d e la
unidad. S e hizo hincapi en que el profesor no tena ingerencia en el trabajo del comit
y era, por lo tanto, completamente neutral respecto a la preparacin del cuestionario.
Se dejaron copias del cuestionario del aula para que los estudiantes las tomaran al
salir al final del perodo. S e les solicit que las devolvieran al da siguiente durante la
segunda sesin de clases. Durante el post-test se repiti el mismo procedimiento con la
salvedad de que esta vez se present c o m o la versin final revisada. Las preguntas, sin
embargo, eran las mismas; slo la iritroduccin era diferente. U n a nota de agradecimiento
fue agregada expresando la apreciacin sentida hacia aquellos que ayudaron en el primer
desarrollo del cuestionario. A todos los participantes se les pidi indicar si haban o no,
participado la primera vez. En este test dos tipos de respuestas pudieron ser medidas: 1 )
el nmero de cuestionarios completados; y 2) la naturaleza d e las respuestas a las
preguntas.
El segundo test de observacin discreta fue tambin diseado para uso de pre y posttests. Los estudiantes que participaron fueron llevados a un paseo por una ruta predeterminada alrededor d e los terrenos de la escuela. Durante el pre-test se les dijo q u el
objetivo era la recoleccin de informacin para una unidad de ciencias que se estaba
organizando para ellos. Para a m b a s pruebas cada estudiante recibi una tarjeta de tres
por cinco en la cual haba una pregunta sobre una observacin que l o ella deba hacer.
La tarjeta dispona de espacios en blanco para las respuestas y nombres y estaba doblada
y envuelta con una banda de papel de seda de tres colores de una pulgada de ancho por
diez de largo fcilmente identrfcable. Esto estaba asegurado con una tira de pegar de tal
m o d o que para abrir la tarjeta la tira deba serdesgarrada. Cuando los estudiantes llegaron
al lugar en que comenzaba el camino por donde se efectuara la prueba, el coordinador
distribuy las tarjetas y les pidi abrirlas y leer sus instrucciones. Intencionadamente, en
este momento, ignor a los estudiantes para dejarlos libres durante la accin de
deshacerse de la envoltura.
Una vez que el estudiante estuvo familiarizado con sus instrucciones el grupo
procedi a recorrer el terreno. A lo largo de la ruta haba 20 trozos de basura (papel blanco.
99
de cuadernos, papel de seda de color naranja', papel de seda blanco y cintas rojas).
Durante y despus del test, quienes lo administraron hicieron las siguientes observaciones: 1) el nmero de envoltorios que fueron dejados caer al suelo; y 2) el nmero y tipo
de basura que fue recogida. A continuacin del desarrollo de los instrumentos y
procedimientos de observacin discreta, stos fueron probados con 25 estudiantes que
haban participado en la primera unidad de dos semanas. La lista de cotejo fue tambin
desarrollada para registrar el tipo y grado de participacin en la unidad. La conducta
registrada incluy el tiempo ocupado en la tarea, en la participacin de discusiones, y en
la finalizacin de las instrucciones o tareas.
(c)
Conduccin d e la evaluacin
2.
Consigui el grupo experimental puntajes m s altos en el post-test que en el pretest despus de dos semanas en el programa?
3.
4.
100
Figura 21
INTERRELACION D E LAS P R E G U N T A S D E E V A L U A C I N C O N EL DISEO
GRUPO
EXPERIMENTAL
GRUPO
CONTROL
PREGUNTA 1
^
PRE
TEST
"O
m
O
NO HAY UNIDAD
>
>
POST
TEST
J
PREGUNTA 3
El primer test de observacin discreta "el cuestionario" dio como resultado una
mayor participacin en el post-test, indicando de este m o d o , algn aumento en la
motivacin para ayudar a resolver los problemas ambientales. Un temporal de viento se
desencaden durante el post-test del segundo test de observacin discreta, que vol la
basura esparcida a lo largo de la ruta del terreno. Por lo tanto, este test fue invalidado
indicando que estas medidas discretas no son siempre fciles de controlar, ya que son
vulnerables a influencias no esperadas.
(d)
101
CM
<
DC
<
O
il
>UJ <
< UJ
m
O
o
=>
o
oo
1 J
zo
< <9
to
UJ
< rt UJ
_l UJ UJ
UJ
o
UJ
<
(O -I
UJ
IM a. <
5 UJ O
o <
*
9 o
mo
< ui
x u.
m ce
UJ
. <
UJ
3^
tO
<
o
z
UJ -I CC
OC O uj
UJ DC UJ
a.DC
X <
UJ CO
CO UJ <
< Q 2
-I <
UI
UJ
DC
_l
UJ
Q
CO
O m
1
m3o
U. CO
UJ
102
o
r--
O
CD
o
m
o
CM
Q.10Z2
UjOrr_i
S30-
S<Q
2 c/)9uu
Q Q
0<:0
h
D. O = - -
Stgo
rP
Este captulo es una gua para obtener mayor informacin sobre evaluacin d e la
educacin ambiental. Aunque la disponibilidad de m u c h o s de los materiales buenos que
pertenecen especficamente a la educacin ambiental es limitada, algunos excelentes
materiales estn siendo publicados. Las fuentes de informacin que aqu se incluyen han
sido seleccionadas por su disponibilidad y su potencialidad para extender el radio d e
alcance de su conocimiento y tcnicas m s all de la informacin entregada en esta gua.
Tiempo
Tpicos
P R I M E R DIA
9.00-9.15 h.
Bienvenida y generalidades
9.15-10.00 h.
10.00-10.15 h.
Receso
10.15-11.00 h.
11.00-12.00 h.
Q u debo evaluar?
12.00-13.00
Almuerzo
13.00-14.00 h.
C m o planificar mi evaluacin?
14.00-15.00 h.
103
anlisis de la informacin)
15.00-15.15 h.
Receso
15.15-16.00 h.
16.00-16.30 h.
Nota: Este formato bsico puede ser extendido, no slo en contenido sino para que
incluya las oportunidades de trabajar sobre el desarrollo de los planes locales de
evaluacin por los participantes del Taller.
104
105
GLOSARIO
107
108
109
110
cia en las vidas guiando las acciones. Aqu se consideran derivados de las actitudes.
Variable educacional: S e refiere a los aspectos del programa de instruccin y a sus
resultados y que los programas de evaluacin tratan d e identificar, controlar y medir
cuando los resultados de un programa son conseguidos al nivel deseado.
112
I.
DISEOS UNI-GRUPALES
Los diseos para un grupo considera slo alumnos en su programa. Debido a que la
informacin que usted recaba no puede ser comparada con otros grupos similares, estos
diseosentregan resultados de rendimiento que no pueden ser relacionados con factores
del programa con la misma confiabilidad que puede efectuarse con otros diseos.
1 . Diseo nico para post-test (estudio de caso)
PROGRAMA
POST-TEST
Este diseo entrega, sin duda, informacin til sobre el progreso de los estudiantes
a pesar de poseer ciertas debilidades, principalmente el hecho de que usted no puede
comparar resultados del programa con niveles de desempeo antes del programa. Por
ejemplo, se puede pedir a los alumnos que indiquen en qu medida ellos piensan que ha
progresado su conocimiento y habilidades. Asimismo, se les puede pedir que describan
cunto han cambiado sus actitudes respecto a: 1) algn aspecto o problema ambiental;
2) sus propios ambientes; 3) sus papeles en la prevencin y solucin de los problemas
ambientales; y 4) sobre ellos mismos, incluyendo su auto-estima. E n este sentido, este
diseo puede ser usado c o m o una evaluacin sumativa dbil.
En otro sentido, el diseo nico de post-test puede entregar informacin til sobre
el programa mismo. S e les puede pedir a los alumnos que reflexionen sobre lo que ha
sucedido durante el programa y ofrezcan sugerencias para perfeccionarlo. El docente,
puede tambin resumir sus propias observaciones y opiniones. Estas pueden, entonces,
ser recopiladas como estudio de caso del cual usted puede sacar informacin que le ayude
a tomar decisiones sobre el mejoramiento del programa. D e esta manera, el diseo es til
como mtodo de evaluacin formativa.
113
2. Diseo d e pre-test/post-test
Este diseo es un mejoramiento del diseo nico de post test. Sin embargo, an
adolece de ciertas debilidadessubstanciales ya que no permite eliminar lainf luencia sobre
los resultados de otros factores que no sean el programa Algunos ejemplos: eventos
externos, tales c o m o contacto)con un libro, film o programa de televisin.que pudieran
habertenido influencia en algurnssde ios resultados; erndcaso de algn prfido efe tiempo
largo entre pre y post-tests, los aJlwiwos pueferon, naturalmente, haber madfarado; el uso
de los m i s m o s tests podra habwrim&ienciado los resultados; el uso de diferentes tests
podra haber tenido algn efecto}; el grupo de docentes podra haber sido)en,, cierto
sentido, poco corriente. Hasta ototfc punto estos prottfemas se pueden contrarrestar
acortando eJtiempo entre los tests?oanftolando inf luenciaseearternas, yusando lsmfsmos
tests pero no dando a conocer losq^untejes sino hasta despus del post-test.
Apesardesusfalas, el diseocof femela oportunidad b&caimpararTinformacirnstdbre
ios estudiantesdiespus del programasenaquella antes dllpiograma. Particularmente
til para liar, ewaiacS&niformativa es la ewatlsacin del programa mientras ste se lleva a
cabo y as;'pmpraffifiamar una base paraaeftetuar cambios...ahn embargo, no se puede
comparai? cmim el! pndter de los diseosspreferidos bi-grupaltes que se discutirn m s
adelante.
3. Disertofl^p4topo d e d o s vueltas
Sin
Pre-test
Programa
LU
Z)
Q.
'/A
Post-test,
Pre-test
TIEMPO
114
'rograma
Post-test,
Una variacin de este diseo, a veces llamado "diseo de grupo nico en una serie
temporal", mide las caractersticas del alumno a intervalos regulares antes y despus del
programa. Si, aparentemente, el programa interfiere la tendencia de los resultados de las
pruebas en forma positiva, esto podra ser la evidencia d e que el programa ha sido
efectivo.
La presentacin grfica de los datos producidos por este diseo podra verse as:
RESULTADOS
DEL TEST
AUMENTO
PRESUMIBLE
LU
TENDENCIA SIN
PROGRAMA
z
3
0_
PRETESTS
PROGRAMA
POSTTEST
TIEMPO
4. Anlisis d e la tendencia unl-grupal
Programa
Pretest
" M Test,
Test2 Test,
> Posttest
Tests formativos
115
LU
O.
TESTS
TIEMPO
DISEOS BI-GRUPALES
Los diseos bi-grupales tienen la ventaja de permitirle comparar el progreso de los
alumnos que siguen el programa y de aqullos sin el programa. Estos diseos pueden
darle m s seguridad en su medicin y en su interpretacin. Por ejemplo, le permitirn
eliminar los efectos de influencias externas. El grupo que recibe el programa se denomina
"grupo programa o experimentar; el grupo que no recibe el programa es generalmente
denominado "grupo de control".
U n a palabra sobre la distribucin aleatoria de alumnos en los grupos
Cuando usted compara dos grupos, es importante que stos sean lo m s parecidos
posible. Un m o d o aceptado de aumentar tal posibilidad, es escogiendo aleatoriamente a
los alumnos del grupo programa y los sin programa.
En una muestra aleatoria simple cada alumno en la poblacin tiene igual oportunidad
de ser seleccionado. Un mtodo aceptado implica usar una tabla de nmeros aleatorios
c o m o la encontramos en los libros de estadstica. Suponga una poblacin de 50
estudiantes de los cuales 25 han sido seleccionados aleatoriamente para el grupo
programa y los restantes debern quedar en el grupo sin programa. Comience con una
lista alfabtica (esta est generalmente libre de prejuicios). Numere a todos los alumnos
del 01 al 50 inclusive. Decida desde dnde comenzar a leer los nmeros en la tabla
(esquina superior izquierda, por ejemplo) y en qu direccin querr seguir usted (cruzadade izquierda a derecha y lnea por lnea) y usar los dos primeros dgitos de cada grupo de
nmeros hasta que 25 alumnos hayan sido seleccionados. Obviamente no se tomarn en
cuenta los nmeros sobre 50.
Puesto que usted est usando grupos relativamente pequeos, posiblemente querr
116
Distribucin
Aleatoria
Algunas veces, el pre-test puede ser eliminado y es posible que as deba ser, por
ejemplo, si se introducen nuevas habilidades y conceptos, si se opina que el pre-test
influenciar los resultados del post-test, o si usted cree necesario evitar tanto e x a m e n .
(2) Diseo con grupo control aleatorio y con pre-test y post-test
POBLACIN
DE ALUMNOSi
Pre-test
Programa)
Pre-test
sin Droarama
Post-test
C o n distribucin,
aleatoria
Post-test
POBLACIN \
DE ALUMNOSJ
Sin distribucin
aleatoria
Pre-test
sin programa
Post-test
117
Pre-test
Post-test,
Sin programa
PosMestg
POBLACIN1
iDE ALUMNOS/
sin distribucin
aleatoria
Cuando usted est usando estos dos tipos de grupo, uno de ellos necesariamente
no deber quedar fuera del programa. En escuelas donde todos los alumnos deben recibir
el programa, esto es una unidad de dos semanas, la mitad podran ser aleatoriamente
seleccionados c o m o el grupo programa y la otra mitad c o m o el sin programa. A m b o s
grupos podran pasar un pre-test, la "unidad de dos semanas" serle enseada al grupo
programa, y luego a m b o s grupos pasar un post-test (ver Captulo VI). Luego el grupo de
control podra recibir la "unidad de dos semanas" y a m b o s grupos recibir un tercer test. El
puntaje promedio podra ser comparado tres veces. Los resultados detospre-tests
deberan ser casi iguales en los dos grupos; los primeros resultados del post-test deberan
mostrar ventaja para el grupo programa; y ambos grupos deberan mostrar casi los
mismos resultados en el segundo post-test aunque pudiera haber pasado desapercibido
algn detalle.
II.
Hay ocasiones en que a usted le gustara probar los efectos de una nueva tcnica
de enseanza, tal c o m o un juego de simulacin, o una visita a terreno; un nuevo recurso,
tal c o m o una pelcula o un centro de aprendizaje. Idealmente, usted podra comparar los
resultados de un grupo que usara la nueva tcnica o recurso, con los resultados de un
grupo que no lo hiciera.
Todos los diseos bi-grupales descritos pueden ser usados para evaluar el efecto de
tcnicas especficas de enseanza, algn aspecto del ambiente de aprendizaje o un
118
III.
Para determinar efectos directos en el medio ambiente, usted, sus alumnos, y otras
personas podran completar un cuestionario de opinin e informes. En algunas situaciones
se podra considerar, asimismo, seguimientos de amplio alcance.
Diseos para responder a la Interrogante: c m o se comparan los resultados con
aquellos de programas similares?
Al comparar los resultados de su programa con los de otro programa, usted tendr
oportunidad de obtener una visin ms amplia del progreso de sus alumnos. El programa
POSTTEST
COMPARACIN
OTRO
PROGRAMA
-H POSTTEST
119
tendr mayor significacin si puede demostrar las similitudes entre los dos grupos de
alumnos, el programa y los ambientes. A continuacin se dan varias consideraciones de
importancia :
edad del alumno, nivel de lectura, capacidad, relacin entre mujeres y varones,
desempeo anterior;
filosofa de la escuela y de la enseanza;
tamao de la escuela y niveles o grados;
capacitacin y experiencia docente;
tamao de la comunidad y de la poblacin;
costo de la educacin por alumno;
ingreso familiar (mediana)*
fines y objetivos del programa.
IV.
DISEOS PARA RESPONDER A LA INTERROGANTE: ES VALIDA LA JUSTIFICACIN DEL PROGRAMA Y SON APROPIADOS LOS FINES Y OBJETIVOS?
Necesidades
L.
Fines
T
.1.
* Objetivos Programa
Resultados
,_L.
EVALUACIN
Para beneficio de largo alcance de su programa y para las futuras generaciones de
alu m n o s que lo recibirn, la verdadera importancia de la evaluacin quizs radica en c m o
usted use los resultados para perfeccionar su programa. Esto significa reexaminar su
evidencia y proposicin de necesidad (justificacin o fundamentacin del programa) a la
luz de los descubrimientos de su evaluacin. Y significa examinar la conveniencia de sus
fines y la aplicabilidad de sus objetivos. Por ejemplo, si su fin es que todos sus alumnos
seleccionen carreras relacionadas con la ecologa, usted encontrar despus de conducir
el programa varias veces, que este fin es poco real y que deber ser modificado.
Nota del revisor: podra ser til disponer, a d e m s , del valor promedio del ingreso familiar
120
121
Algunas medidas de su programa pueden producirle resultados que lo harn cavilar sobre
si son simplemente lo esperado o si son el resultado de algo en su programa. Por ejemplo,
supongamos que quiere saber si exhibir una pelcula sobre contaminacin ambiental
causar alguna diferencia en el nmero d e alumnos que aprobarn un test referido a
objetivos de conducta sobre contaminacin ambiental. Exhiba la pelcula a la mitad d e la
clase, pero someta a la prueba a todo el curso al finalizar la pelcula. Encontrar que entre
los 15 alumnos que vieron la pelcula, nueve pasaron la prueba y seis no lo hicieron y, de
los otros 15 que no vieron la pelcula, cinco pasaron la prueba y 10 no lo hicieron. Ahora
bien, es que la pelcula realmente produjo una diferencia o esos resultados fueron fruto
del azar? La prueba de "chi cuadrado" puede ayudarlo a contestarse esta pregunta.
Primero, construya el siguiente cuadro :
Pasaron
N o pasaron
Total
vieron la pelcula
9*
(7.0)
6
(8.0)
15
Mo vieron la pelcula
5
(7.0)
10
(8.0)
15
14
16
30
Total
Segundo, compute la frecuencia esperada para cada casilla del cuadro. La frecuencia esperada se obtiene multiplicando el total de la fila a que pertenece la casilla por el total
de la columna de casillas y luego dividiendo por el gran total. Por ejemplo, computar la
frecuencia esperada de la casilla identificada con un asteriscof) arriba, multiplicar 14 x
15 = 210 : 30 = 7.0. Este nmero va en la casilla entre parntesis. C o m o se ve, las
frecuencias esperadas son las mismas para aquellos que pasaron la prueba vieran o no
la pelcula. Lo mismo es tambin cierto para aquellos que no pasaron la prueba. Esto tiene
sentido puesto que si la pelcula no produjo diferencias sobre la prueba, se podra esperar
123
xA
K
(| 9 - 7 . 0 |-0.5) 2
7.0
(16-8.0 1-0.5)*
8.0
(|5-7.0 | -0.5) 2
7.0
(| 10-8.0 | -0.5) 2
8.0
X 2 = 0 . 3 2 + 0.28 + 0 . 3 2 + 0.28
x z = 1.20
i
i
Grados
de
libertad
Niveles de significancia
.50
.25
.10
.05
.025
.01
.005
.001
.5
1.3
2.7
3.8
5.0
6.6
7.9
10.8
1.4
2.8
4.6
6.0
7.4
9.2
10.6
13.8
2.4
4.1
6.3
7.8
9.4
11.3
12.8
16.3
124
resultados de la prueba para aquellos alumnos que vieron la pelcula fue slo debido a la
suerte, o alternativamente, existe un 25 por ciento de probabilidades que. la diferencia
ocurriera debido a una fluctuacin aleatoria. E n otras palabras, usted podra, estar
equivocado 25 de cien veces si opinara que la pelcula haba producido alguna diferencia.
Este es un alto riesgo; los evaluadores, en su mayora, preferiran reducir los efectos del
azar a, digamos, un 0.05 de nivel de significacin o m e n o s .
Finalmente, algunas reglas que servirn cuando se use x2:
1.
2.
Cada individuo o evento en una categora puede ser contado slo una vez.
3.
125