Validacin de instrumentos para medir conocimientos

Lucero, Irene - Meza, Susana Departamento de Fsica - Facultad de Cs. Exactas y Naturales y Agrimensura - UNNE. Av. Libertad 5450 - (3400) Corrientes - Argentina. Tel./Fax: +54 (03783) 473931 int. 135 E-mail: sjmeza@exa.unne.edu.ar
INTRODUCCION Y PLANTEO DEL PROBLEMA

En el campo de la enseanza de la Fsica, la Teora Constructivista y el modelo del aprendizaje significativo de Ausubel, constituyen los marcos referenciales de mayor consenso actualmente. As es, que los educadores buscan estrategias didcticas de enseanza que pongan al alumno como protagonista, convirtindolo en actor de su propia formacin. Aprender significados es realizar un proceso de construccin, cambiando las ideas que se tienen, interactuando stas con la informacin nueva. Ese proceso de construccin implica ajustes, generalizaciones, discriminaciones y reestructuraciones de los conocimientos anteriores. "En la historia de los aprendizajes personales, como en la de las teoras cientficas, se producen cada cierto tiempo revoluciones conceptuales que reorganizan y cambian radicalmente nuestra forma de entender un dominio dado de conocimiento" (Pozo Municio, 1998). Es por ello que una de las condiciones necesarias para que se produzcan aprendizajes significativos es tener en cuenta los conocimientos previos de los alumnos. Todo proceso de enseanza aprendizaje lleva necesariamente aparejado un proceso de evaluacin. Al decir evaluacin surgen vocablos ligados a l, tales como apreciar, estimar, atribuir valor o juzgar. Al docente le interesa evaluar, tanto los conocimientos previos, como los conocimientos aprendidos, de los estudiantes. Generalmente, para poner en evidencia esos conocimientos se aplica algn test para indagar las preconcepciones o pruebas de lpiz y papel que contienen situaciones problemticas, dado que la resolucin independiente de problemas es una de las formas de poner en evidencia que los aprendizajes significativos. Es as que se hace necesario disear instrumentos adecuados para tal fin. Es sabido que, en cualquier tipo de investigacin, la validez y confiabilidad de los instrumentos de recoleccin de datos son cuestiones fundamentales para la calidad de los resultados obtenidos y, en la mayora de las veces, en las investigaciones en enseanza desarrolladas en los propios contextos instruccionales, donde el accionar cotidiano se transforma en la fuente de datos por excelencia, no se hace un anlisis tan riguroso de la consistencia interna de los instrumentos utilizados. En este trabajo se muestra un procedimiento de validacin para instrumentos utilizados en enseanza, uno que pretende medir conocimientos previos y otro de evaluacin, elaborado como examen parcial de asignatura, destinado a medir el aprendizaje de los estudiantes, a travs del rendimiento acadmico alcanzado.
MARCO TEORICO

La evaluacin de aprendizajes implica reflexin y anlisis sobre qu y cmo aprenden los estudiantes. La evaluacin tiene distintos momentos, donde hay que tomar decisiones, pero es un proceso permanente de reflexin. Segn este momento en el cual la evaluacin tiene lugar, dentro de la secuencia didctica, se puede hablar de evaluacin diagnstica o inicial, evaluacin formativa o procesual y evaluacin sumativa o final. Los test diagnsticos que se usan al iniciar una asignatura, actan como instrumentos para realizar evaluacin inicial. Los exmenes parciales, tal como estn instaurados en la normativa de las instituciones universitarias en general, actan como instancias de evaluacin sumativa que miden el logro de aprendizajes de los alumnos, en un lapso determinado de tiempo, principalmente en el plano cognitivo. Con esta idea, las situaciones problemticas de un parcial pueden cumplir el papel de instrumento de recoleccin de datos, si se est interesado en medir el aprendizaje de los estudiantes. Usar un test elaborado para diagnstico inicial o cuestionario de examen como instrumento de recoleccin de datos lleva necesariamente a controlar la confiabilidad y validez de los mismos. Estas dos condiciones son cruciales, porque si las herramientas de recoleccin usadas son defectuosas, hay que olvidarse del xito de la investigacin, dado que el tratamiento estadstico no conseguir el milagro de transformar datos de mala calidad en buenos resultados. La validez se refiere al grado en que el instrumento mide lo que se pretende medir. La confiabilidad se refiere a la confianza que se concede a los datos. Esta ltima est relacionada con la estabilidad o constancia, con la coherencia o consistencia interna y la precisin de las medidas que se obtienen con el instrumento. Un referente fundamental en procedimientos de validacin de instrumentos para medir aprendizajes es el libro Instrumento de Pesquisa em Ensino y Aprendizagem de Moreira y Lang Silveira (l993). De acuerdo con ellos, la consistencia interna del instrumento se obtiene calculando los coeficientes de correlacin Pearson tem - total, para depurar el instrumento y estimando la fiabilidad a travs del coeficiente alfa de Cronbach. Para poder validar el cuestionario es necesario aplicar como mnimo a una cantidad de individuos igual a 5 veces el nmero de temes a

efectos de evitar obtener correlaciones tem total espuriamente altas, que pueden aparecer cuando el nmero de temes y el de individuos que responde la prueba, son semejantes. Los coeficientes de correlacin de Pearson tem- total, entre el puntaje de cada pregunta individual (variable independiente X) y el dado por el puntaje total (variable dependiente Y) indican la magnitud y direccin de la relacin entre las variables y proporcionan una medida de la fuerza con que estn relacionadas estas dos variables. Su valor puede oscilar entre + 1 y -1. Los temes cuyos coeficientes de correlacin tem - total arrojan valores menores a 0,35 deben ser desechados o reformulados (correlaciones a partir de 0,35 son estadsticamente significativas ms all del nivel del 1 %) ( Cohen Manion, 1990), dado que una baja correlacin entre el tem y el puntaje total puede deberse a diversas causas, ya sea de mala redaccin del tem o que el mismo no sirve para medir lo que se desea medir. La depuracin de los temes tiene como consecuencia aumentar el coeficiente de fiabilidad del instrumento. La confiabilidad del instrumento se estima a travs del coeficiente de Cronbach. La ventaja de este coeficiente reside en que requiere de una sola administracin del instrumento de medicin. Puede tomar valores entre 0 y 1, donde 0 significa nula confiabilidad y 1 representa la confiabilidad total. El coeficiente de Cronbach puede ser calculado sobre la base de: a) la varianza de los temes o b) la matriz de correlacin de los temes (correlacin de Pearson entre todos los temes, todos contra todos, de a pares), con las siguientes frmulas: a)

K Vi K 1 Vt

donde: K es el nmero de temes, Vi es la varianza de cada tem y Vt es la varianza del puntaje total. b)

N pr 1 + pr ( N + 1)

donde: N es el nmero de temes y pr es el promedio de las correlaciones entre temes, que se calcula incluyendo cada coeficiente de correlacin una sola vez y excluyendo los coeficientes entre las mismas puntuaciones. El valor del coeficiente de Cronbach aumenta cuando las correlaciones tem total son altas, por ello, mejores correlaciones, dan mayor fiabilidad al instrumento. El coeficiente de fiabilidad es afectado por la heterogeneidad de los individuos que contestan la prueba; cuanto ms heterogneo es el grupo de encuestados, mayor es el coeficiente de fiabilidad. As entonces, este coeficiente no es una propiedad exclusiva del instrumento en si, sino que es del instrumento para un determinado grupo de personas en una determinada situacin (Lang Silveira, 1993). El coeficiente de fiabilidad representa la fraccin de variabilidad observada entre los individuos que es verdadera, no atribuible a los errores de medida. El valor mnimo aceptable del coeficiente de fiabilidad depende de la utilizacin que se har del instrumento. En los casos de puntajes generados por instrumentos para comparar grupos a travs de diferencias de medias, se toma 0,7 como valor mnimo aceptable (Lang Silveira, 1993).
METODOLOGIA

La validacin de los instrumentos se llev a cabo mediante dos procedimientos complementarios: una evaluacin cualitativa, y la determinacin de la consistencia interna. La validacin cualitativa fue concretada a travs de la consulta a expertos: otros docentes especialistas actuaron como jueces externos que juzgaron crticamente los enunciados permitiendo realizar los ajustes necesarios. La consistencia interna se determin de acuerdo con la bibliografa referenciada en el marco terico. Se presentan aqu dos tipos de cuestionarios, uno para medir conocimientos previos que consta de temes de eleccin mltiple y de respuestas cortas y otro para medir aprendizajes de determinados contenidos, que consta de situaciones problemticas con temes de resolucin cuantitativa y cualitativa de justificacin de repuestas, que fueron utilizados en investigaciones referidas al anlisis de estrategias didcticas que favorezcan el aprendizaje significativo. Para evaluar cuantitativamente un cuestionario de situaciones problemticas que involucran respuestas explicativas o diferentes soluciones algebraicas, se hace necesario especificar claramente los criterios para la correccin y asignacin de puntajes. El test para determinar conocimientos previos respecto del tema elegido para el estudio: movimiento en un campo homogneo fue confeccionado tomando como referencia tests tradicionales de indagacin de preconcepciones y adaptaciones de los mismos realizadas por otros autores. Clement, (1982, 1983 a) citado en Pozo (1987); Driver y otros (1985) citado en Carretero (1997); McCloskey (1983 a, b) citado en Pozo (op cit)., (Lang Da Silveira y otros (1992).

En el test se consideraron tres ncleos temticos que conformaron tres subtests, cada uno de ellos construido por diversos temes, cada uno con su correspondiente puntaje, que genera a su vez un puntaje total particular para cada alumno. La divisin del test se realiz sobre la base que la respuesta a cada tem es, desde el punto de vista terico, el indicador del constructo a ser medido y de esta manera, al considerar en cada subtest un aspecto determinado, los temes que lo integran seran homogneos. Los subtests denominados 1,2 y 3, estn destinados respectivamente, a indagar sobre el manejo de magnitudes de uso corriente en Mecnica, establecer el conocimiento que los alumnos poseen sobre las posibles fuerzas en un cuerpo cuando ste se halla en distintas contextos, a indagar sobre los conocimientos respecto de la velocidad y aceleracin en las situaciones presentadas en el subtest 2 y la tarea a realizar consiste en respuesta a cuestiones e identificacin de distintos fenmenos, movimientos, trayectorias, fuerzas actuantes, velocidad, aceleracin, etc. Los criterios empleados para la asignacin de puntaje se indican a continuacin: Ncleo temtico. Criterios de puntuacin 1 Magnitudes: se asigna un punto por cada respuesta correcta. 2 Fuerzas : Un punto por cada alternativa elegida que coincida con la concepcin cientfica y un punto por cada fuerza actuante que es explicitada correctamente 3 Velocidad, aceleracin: Un punto por cada alternativa elegida que coincida con la concepcin cientfica vigente. TOTAL TEST N temes 5 9 5 19 Puntaje total subtests Mnimo Mximo 0 15 0 0 0 18 5 38

El test fue aplicado a 141 alumnos y se calcularon las correlaciones item-total para cada uno de los subtest y para el total del test (subtest1+subtest2+subtest3), de manera similar se realiz el clculo del coeficiente de Cronbach, obtenindose para el total del test un valor de 0,797 considerado aceptable. Para el cuestionario referido a la medicin de aprendizajes de los temas interferencia y polarizacin de la luz, aplicado en el 2 parcial de Fsica II (Optica y Sonido), los puntajes se asignaron de acuerdo a la lectura de cada una de las variables consideradas en el estudio, en cada uno de los temes, de acuerdo al valor nominal que asuman. El cuadro siguiente resume estos conceptos: Variable Valor Variables relevantes: habilidad del alumno para reconocer y seleccionar las Bien magnitudes fsicas involucradas en la situacin problemtica dada Mal Solucin: si el alumno da la solucin correcta al problema planteado Bien Regular Mal Fundamentacin: capacidad del alumno para fundamentar su estrategia de Bien solucin o explicar la situacin involucrando los conceptos fsicos necesarios Regular Mal Puntaje 1 0 2 1 0 2 1 0

Estas variables seleccionadas no son otras que aquellas que dan cuenta de los pasos inelidubles para resolver un problemas y que, si el alumno los hace correctamente, estara poniendo en evidencia el aprendizaje significativo de los contenidos involucrados en la situacin dada. El cuestionario aplicado constaba de problemas que conformaban 7 temes y en cado uno de ellos se leyeron las tres variables. Fue necesario especificar claramente, para cada tem, el criterio para considerar bien, regular o mal. No se dan aqu stos, por razones de espacio. El "puntaje del tem" se obtuvo sumando los puntajes de cada variable en el tem considerado, de acuerdo al valor nominal que asumieron. As el puntaje de cada tem puede oscilar entre 0 y 5 puntos. El puntaje total de la prueba es el resultado de la suma de los puntajes totales de cada tem. Como la prueba consta de 7 temes, el puntaje total vara entre 0 y 35 puntos. Este puntaje es la calificacin total de la prueba y representa el valor de la variable rendimiento, constituyendo una medida del conocimiento que posee el estudiante, tal como lo expresa Lang Silveira (1993). La prueba fue aplicada a 57 estudiantes y con los puntaje hallados se calcularon, con un programa computacional de estadstica bajo entorno Windows, los coeficientes de correlacin de Pearson tem- total y el coeficiente de fiabilidad alfa de Cronbach. Como todas las correlaciones superaron el valor de referencia 0,35, y el coeficiente Cronbach arroj un valor superior a 0,7, la prueba fue considerada tal como se la construy.
CONSIDERACIONES FINALES

De ninguna manera pretendemos reivindicar originalidad en cuanto al procedimiento llevado a cabo en este trabajo. Es nuestra intencin contribuir a la literatura especializada presentando ejemplos del uso de instrumentos de recoleccin de datos y su proceso de validacin, poner en evidencia que cuando se utilizan diversos tests o problemas para evaluar

aprendizajes no es fcil lograr objetividad en las puntuaciones. Hay que ser conciente que segn el tem que se emplee, el criterio adoptado para la correccin puede ser ms o menos riguroso y la claridad en los criterios de correccin es imprescindible. No obstante, si se realiza el anlisis de la consistencia interna, se puede dar una confiabilidad mayor a los datos obtenidos. En cuanto al instrumento a emplear para la recoleccin de datos, cualquier actividad que se realice en el aula puede ser considerada un instrumento de recoleccin de datos, siempre y cuando haya sido sometida a un proceso de validacin. Los problemas planteados como examen podran funcionar como un instrumento de recoleccin de datos, sometindolo a un anlisis de validez y confiabilidad cuidadoso que requiere de criterios claros y precisos para la correccin de las soluciones presentadas por los estudiantes. De acuerdo con la revisin realizada por Doran y otros (1994), se mantienen dos posiciones complementarias en el rea de la investigacin sobre instrumentos y tcnicas para evaluar el aprendizaje de los estudiantes: Si un instrumento con aceptable validez existe y es aplicable en el dado contexto de investigacin, entonces debera ser usado en preferencia al desarrollo de otro instrumento que debe ser l mismo sometido a un riguroso tratamiento de confiabilidad y validez" (Stever y otros, 1989, citados por Doran y otros, 1994) (p 393). Shymansky y Kyle (1988) (en Doran y otros) sostienen el desarrollo de nuevos instrumentos para responder a nuevos interrogantes. Y entre las dos anteriores posiciones puede considerarse otra alternativa como es la de disear un test con temes que pertenecen a instrumentos ya validados. Sin embargo, adhiriendo a la posicin de Stever o a sta ltima, es necesario tener presente que un test ya validado no implica obtener datos confiables en el nuevo contexto en el que se aplica.
REFERENCIAS BIBLIOGRAFICAS

AUSUBEL- NOVAK- HENNESIAN- 1991- Psicologa educativa: un punto de vista cognoscitivo. (Edit. Trills, Mxico)- , citado en GANGOSO, ZULMA- l999- Resolucin de problemas en Fsica y aprendizaje significativoPrimera parte: revisin de estudios y fundamentos. Revista de Enseanza de la Fsica. Vol. 12. N 2. P- 6 COHEN, L. MANION, L. 1990- Mtodos de Investigacin Educativa- (Edit. La Muralla, Espaa) DORAN, R. L.; LAWRENZ, F. y HELGESON, S. - Reserach on assesment in science. In Gabel, D. L. 1994. Handbook of research on science teaching and learning (Macmillan). USA. HERNANDEZ SAMPIERI, R. - FERNANDEZ COLLADO, C.- BAPTISTA LUCIO, P- 1997- Metodologa de la Investigacin- (Edit. Mac Graw Hill- Colombia) LANG DA SILVEIRA, F.; MOREIRA, M. A. Y AXT, T1992- Estrutura interna de testes de conhecimento em fsica: um exemplo em mecanica. Enseanza de las Ciencias. 10 (2). LUCERO, I. 2002 - El anlisis cualitativo en la resolucin de problemas de Fsica y su influencia en el aprendizaje significativo. Tesis del Magister en Metodologa de la Investigacin Cientfica y Tcnica. UNER. MEZA, Susana 2001 Anlisis de actividades evaluativas como instrumento de aprendizaje significativo en Fsica. Tesis del Magister en Metodologa de la Investigacin Cientfica y Tcnica. UNER MOREIRA, M.A. - LANG DA SILVEIRA, F. 1993- Instrumento de pesquisa em ensino y aprendizagem(EDIPUCERS- Porto Alegre- Brasil) POZO MUNICIO, JUAN I. 1998- Aprendices y maestros- La nueva cultura del aprendizaje. (Alianza Editorial, Madrid- Espaa) SALKIND, NEIL J. 1997- Mtodos de Investigacin- (Prentice Hall- Mxico) WAYNE, DANIEL- 1995- Estadstica con aplicaciones a las Ciencias Sociales y a la Educacin. (Edit. Mc Graw Hill, Colombia)