VALIDEZ

Nuestro inters se centr en determinar hasta dnde los resultados de un instrumento de medicin son estables a travs del tiempo, cuando ste ha sido utilizado varias veces con los mismos sujetos y bajo las mismas condiciones de aplicacin. En esta seccin, nos interesa estudiar la exactitud con que pueden hacerse mediciones significativas y adecuadas con un instrumento, en el sentido de que mida realmente el rasgo que pretende medir. Esta propiedad o caracterstica de un instrumento de medicin recibe el nombre de validez. Es decir, en sentido general, la validez de un instrumento tiene que ver con las preguntas siguientes: qu miden los puntajes del test? y qu predicen dichas puntuaciones? (Guilford, 1954; Nunnally, 1967; Anastasi, 1976; Magnusson, 1982).

Tipos de Validez

La validez como la confiabilidad de un instrumento, a pesar de tener ambas sus respectivas definiciones tericas genricas, en la prctica, dado que estas caractersticas pueden adoptar diferentes significados, es necesario adjetivarlas cada vez que se haga referencia a ellas. Es decir, no es suficiente con que se diga que un instrumento determinado tiene una alta confiabilidad o validez. Por qu el lector especializado inmediatamente se preguntara: Qu tipo de Confiabilidad? Que tipo de validez? Es necesario ser especfico al usar estos trminos. De esta manera se podra decir, por ejemplo, este instrumento tiene una alta confiabilidad deconsistencia interna o esta prueba tiene una alta validez predictiva. En el caso particular de la validez, cuando investigamos esta caracterstica en un instrumento determinado, intentamos responder tres tipos de cuestiones, que aluden a igual nmero de tipos de validez. Estas cuestiones son: 1. Cun representativo es el comportamiento elegido como muestra del universo que se intenta representar? 2. Qu significado tiene el comportamiento con respecto a los atributos del individuo que son de inters para la medicin?

3. Hasta dnde se puede predecir el rendimiento del sujeto o su aprendizaje en un programa de entrenamiento (o hasta dnde se puede anticipar su nivel de desempeo en el trabajo), a partir de su ejecucin en la prueba?

Estos tres tipos de preguntas corresponden a lo que en la literatura especializada se ha denominado respectivamente como validez de contenido, validez de constructo y validez predictiva. A continuacin se presenta una descripcin de cada una de ellas, as como sus respectivos procedimientos para estimar los diferentes ndices de validez.

a) Validez de Contenido

A travs de la validez de contenido se trata de determinar hasta dnde los tem es de un instrumento son representativos del dominio o universo de contenido de la propiedad que se desea medir. Esta definicin, aunque bien en teora, presenta dificultades prcticas, ya que es imposible extraer muestras aleatorias de reactivos de un universo de contenido, puesto que este existe slo conceptual o tericamente. Algunos autores han tratado de resolver el problema, de la validez de contenido, generando grandes cantidades de tem es de un dominio determinado, para luego obtener muestras representativas de dicho universo, a los fines de integrar un instrumento; sin embargo, en la opinin de autores como Kerlinger (2002), la validez de contenido de tales conjuntos, independientemente de qu tan grandes y tan buenos sean los reactivos, es siempre dudosa y, por tanto, cuestionable. Cmo lograr, entonces, una estimacin de la validez de contenido de un instrumento? A diferencia de otros tipos de validez, la de contenido no puede ser expresada cuantitativamente, a travs de un ndice o coeficiente; ella es ms bien una cuestin de juicio. Es decir, la validez de contenido, por lo general, se estima de manera subjetiva o intersubjetiva. El procedimiento ms comnmente empleado para determinar este tipo de validez, es el que se conoce con el nombre de juicios de expertos, para lo cual se procede de la siguiente manera:

1. Se seleccionan dos jueces o expertos, por lo menos, a los fines de juzgar, de manera independiente, la bondad de los tems es del instrumento, en trminos de la relevancia o congruencia de los reactivos con el universo de contenido,la claridad en la redaccin y la tendenciosidad o sesgo en la formulacin de los tem es.

2. Cada experto recibe suficiente informacin escrita acerca de: el propsito de la prueba conceptualizacin del universo de contenido plan de operacionalizacin o tabla de especificaciones (en el caso de las pruebas de rendimiento acadmico).

3. Cada juez recibe un instrumento de validacin en el cual se recoge la informacin de cada experto. Dicho instrumento normalmente contiene las siguientes categoras de informacin por cada tem: congruencia tem-dominio, claridad, tendenciosidad y observaciones.

4. Se recogen y analizan los instrumentos de validacin y se toman las decisiones siguientes: los tem es donde hay un 100 por ciento de coincidencia favorable entre los jueces (los tem es son congruentes, estn escritos claramente y no son tendenciosos) quedan incluido en el instrumento Los tem es donde hay un 100 por ciento de coincidencia desfavorable entre los jueces, quedan excluidos del instrumento; y (c) los tem es donde slo hay coincidencia parcial entre los jueces deben ser revisados, reformulados, si es necesario, y nuevamente validados.

b) Validez de Constructo

La validez de constructo intenta responder la pregunta hasta dnde un instrumento mide realmente un determinado rasgo latente o una caracterstica de las personas y

con cunta eficiencia lo hace? Esta pregunta tiene sentido, particularmente en los instrumentos que se utilizan en la investigacin psicoeducativa, ya que, como se ha mencionado anteriormente, en este campo hacemos mediciones indirectas de ciertas variables internas del individuo que denominamos constructos. En consecuencia, es necesario que podamos mostrar evidencia de que, efectivamente, el instrumento mide el rasgo o constructo que pretende medir.

Gronlund (1976) seala que la validez de constructo interesa cuando queremos utilizar el desempeo de los sujetos con el instrumento para inferir la posesin de ciertos rasgos o cualidades psicolgicas. Por ejemplo, en lugar de hablar de los puntajes que una persona obtuvo en un instrumento determinado, podemos hablar de: la actitud hacia la matemtica la satisfaccin o disfrute con el aprendizaje de la matemtica la valoracin o significado de la matemtica. Todas stas son cualidades hipotticas llamadas construcciones, cuya existencia se supone para explicar la conducta en muchas y diferentes situaciones especficas.

c) Validez Predictiva

La palabra prediccin o predictivo normalmente se la asocia con visin o anticipacin de futuro. En este sentido, cuando estudiamos la validez predictiva de un instrumento lo que nos interesa es determinar hasta dnde podemos anticipar el desempeo futuro de una persona en una actividad determinada, a partir de su ejecucin actual en dicho instrumento; por ejemplo, se podra estudiar, hasta dnde la Prueba de Aptitud del Consejo Nacional de Universidades predice el xito acadmico de los estudiantes en los primeros semestres universitarios, o anticipar el desempeo futuro de un vendedor a partir de su ejecucin en un test de inteligencia social.

En consecuencia, la validez predictiva, tambin llamada validez de criterio externo o validez emprica, se estudia comparando los puntajes de un instrumento (variable independiente) con una o ms variables externas (variables dependientes) denominadas variables criterio. Se asume que tales criterios, indicadores del desempeo futuro, estn terica y lgicamente relacionados con el rasgo representado en el instrumento bajo estudio. Esta comparacin entre los puntajes de la variable en estudio y los de los variables criterios se expresa a travs de un coeficiente de correlacin, el cual se interpreta como un ndice de validez. Entre ms alta sea la correlacin entre una medida o medidas de aptitud acadmica y el promedio de notas, tomado como variable criterio, mejor ser la validez predictiva de la prueba de aptitud acadmica. Es importante destacar que la validez predictiva suele estar asociada con problemas y resultados prcticos; es decir, el inters no es tanto en lo que est detrs del desempeo en la prueba, sino ms bien en ayudar a resolver problemas prcticos y tomar decisiones. Muchos de estos problemas y toma de decisiones estn relacionados con la evaluacin, seleccin y asignacin de personas para diferentes actividades (estudio, trabajo, deporte, arte, etc). No obstante, determinar la validez predictiva de un instrumento tiene sus problemas, los cuales en buena medida estn relacionados con la calidad del criterio externo seleccionado, ya que si ste no es significativo o relevante con respecto a lo que mide el instrumento bajo estudio, la validez predictiva no podr quedar evidenciada, pero no porque efectivamente la prueba no tenga un determinado tipo de validez predictiva, sino porque el criterio utilizado, para probar dicha propiedad del instrumento, no fue el apropiado. Es decir, la obtencin de criterios apropiados para validar una prueba a veces tiene sus dificultades

Factores que Afectan la Validez de una Prueba

La validez de los resultados de un instrumento de medicin puede verse afectada por diferentes factores, los cuales pueden estar asociados tanto al proceso de elaboracin de la

prueba misma, como a otros factores relacionados con los procedimientos de administracin, calificacin e interpretacin de los resultados. A continuacin se presentan algunos de estos factores con la intencin deliberada de que, en la medida de lo posible, sean evitados en el proceso de construccin de los instrumentos. Entre estos factores estn:

a) Construccin del instrumento.- Estos factores pueden influir en que las preguntas del instrumento no funcionen en la forma prevista y, por lo tanto, contribuyen a minar la validez de los resultados; algunos de ellos son: instrucciones imprecisas o vagas estructura sintctica de la oracin demasiado difcil preguntas con niveles de dificultad inapropiados preguntas que sugieren la respuesta ambigedad en la formulacin de los reactivos, lo cual lleva a diferentes interpretaciones de los mismos pruebas demasiado cortas tem es incongruentes con el dominio o universo de contenido ordenamiento inadecuado de los tem es patrn identificable de respuestas, particularmente en las preguntas de seleccin.

b) Administracin y calificacin de la prueba. Entre estos factores se encuentran: tiempo insuficiente para responder, ayuda adicional a algunos sujetos, ms all de las instrucciones generales y de los ejercicios de prctica, uso de chuletas o ayudas escritas, por parte de los sujetos, uso de la subjetividad de la puntuacin de las preguntas.

c) Respuestas de los sujetos. Algunos de estos factores son: bloqueo de los sujetos para responder, debido a situaciones emocionales y las respuestas formuladas al azar. d) Naturaleza del grupo y del criterio. Como ya se ha mencionado, la validez es siempre especfica con respecto a un grupo en particular. Por lo tanto, si una prueba

de comprensin de lectura, por ejemplo, que ha sido diseada y validada para alumnos de sexto grado, pudiera carecer de validez de contenido y predictiva, para medir el nivel de comprensin de lectura en estudiantes de noveno grado.

Por otra parte, es sumamente importante prestar atencin al criterio que va a ser seleccionado como validador del instrumento, ya que, como se mencion anteriormente, el uso de un criterio inapropiado puede disfrazar o distorsionar la validez de la prueba.

Importancia de la Validez

Una de las principales dificultades que se presenta con la validez de los instrumentos en Educacin y Psicologa, como ya se ha mencionado antes, es que la medicin siempre es indirecta; es decir, debemos inferirla a partir del desempeo que los sujetos tienen en las pruebas. Este hecho en s mismo representa un problema, ya que cmo sabemos que estamos haciendo la inferencia correcta a partir de los resultados?. Pero, el problema de fondo sigue siendo el de poder asegurarse de que el instrumento mida lo que pretende medir, es decir, que sea vlido a los fines propuestos. Muchos de los cuestionamientos que se hacen, hoy da, en la investigacin sociolgica y psicoeducativa tiene que ver, primero que todo, con la validez de la medida. Obviamente, un instrumento que no tiene una validez demostrada no vale la pena que sea utilizado. Si comparamos la confiabilidad con la validez, nos damos cuenta que la obtencin de la primera puede ser reducida bsicamente a una cuestin tcnica. Sin embargo, la validez es mucho ms que eso. Tiene que ver con el aspecto sustantivo de la ciencia misma. Tambin se relaciona con la epistemologa, en tanto que teora del conocimiento, y con los paradigmas cientficos. Particularmente, en lo que se refiere a la validez de constructo, puesto que tiene que ver con la naturaleza de la realidad a las propiedades del objeto que se estn midiendo (Kerlinger, 2002). No obstante, las dificultades prcticas que se presentan para lograr obtener medidas vlidas y confiables, dentro del paradigma de la ciencia clsica, en los ltimos aos se han desarrollado una serie de mtodos, tcnicas y procedimientos, que facilitan, cada vez ms, esta tarea. Pero, ms que el manejo de todo este instrumental tecnolgico (mtodos

estadsticos, procedimientos electrnicos, paquetes computarizados, etc), lo ms importante es que el investigador se haga consciente de la necesidad de utilizar instrumentos apropiados, tcnicamente bien calibrados, a fin de garantizar la utilidad y significado de los resultados obtenidos. Queda claro entonces que la construccin de instrumentos de medicin no se reduce a la simple presentacin de un listado de preguntas en un formato determinado. Construir buenos instrumentos de medicin es, primero que todo, una tarea tcnica, que requiere, por parte del investigador, un entrenamiento especfico para acometerla con xito. Construir un instrumento tcnicamente bien hecho implica, en s mismo, una investigacin. De all que cuando se requiera hacer un estudio (trabajo o tesis de grado, trabajo de ascenso, investigacin libre) antes de tomar la seria decisin de construir una instrumento de medicin, sin ser un especialista en el rea, se debera averiguar previamente acerca de la existencia de la disponibilidad comercial de dicho instrumento en el mercado, o a travs de otros investigadores. Si despus de esta indagacin se llega a determinar que el instrumento no existe y que es indispensable trabajar en el desarrollo del mismo, lo ms recomendable sera buscar el asesoramiento tcnico especializado correspondiente.