1.
VALIDEZ se hará en la base de la puntuación o patrón de
ANTECEDENTES
La validez se refiere al grado en que las pruebas y
la teoría apoyan las interpretaciones de la prueba
puntajes para los usos propuestos de las pruebas.
La validez es, por lo tanto, la consideración más
fundamental en desarrollo de pruebas y
evaluación de pruebas. de validación implica la
acumulación de información relevante pruebas
que proporcionen una base científica sólida para
las interpretaciones propuestas de la partitura.
Son las interpretaciones de los resultados de las
pruebas para los usos propuestos que son no la
prueba en sí misma. Cuando los resultados de las
pruebas son interpretado de más de una manera
(por ejemplo, tanto para describir el nivel actual
del atributo del examinando y para hacer una
predicción sobre una futuro), cada una de las
interpretaciones previstas debe ser validado.
Declaraciones sobre la validez deben referirse a
interpretaciones particulares para Es incorrecto
utilizar el no calificado "la validez de la prueba".
Pruebas de la validez de una interpretación dada
de los resultados de las pruebas para un uso
específico es una condición necesaria para el uso
justificado de la prueba. existe prueba de validez,
la decisión como a si realmente administrar una
prueba en particular generalmente tiene en cuenta
consideraciones adicionales. Estas incluyen
consideraciones de costo-beneficio, enmarcados
en diferentes subdisciplinas como análisis de
utilidad o como consideración de las
consecuencias negativas de uso de la prueba y
ponderación de las consecuencias negativas
contra las consecuencias positivas del uso de la
prueba.
La validación - lógicamente comienza con una
declaración de la interpretación propuesta del
ensayo junto con una justificación de la pertinencia
de los resultados. la interpretación del uso
propuesto. El La interpretación propuesta incluye
la especificación de la la construcción de la prueba
está destinada a medir. El se utiliza en las Normas
para referirse al concepto o la característica de
que un ensayo está diseñado a medida. Rara vez,
si es que alguna vez, hay un solo posible lo que
significa que se puede adjuntar a un resultado de
un examen o a un patrón de respuestas a las
pruebas. Por lo tanto, siempre es incumbente en
los desarrolladores y usuarios de pruebas para
especificar la interpretación de la construcción que
respuesta.
Ejemplos de construcciones utilizadas
actualmente en la evaluación incluyen el logro de
las matemáticas, las matemáticas en general
habilidad cognitiva, actitudes de identidad racial,
depresión, y autoestima. Apoyar el desarrollo de
pruebas, se elabora la interpretación del
constructo propuesto describiendo su alcance y
extensión y definiendo los aspectos de la
construcción que van a ser representada. La
descripción detallada proporciona una marco
conceptual para la prueba, delineando los
conocimientos, habilidades, habilidades, rasgos,
intereses, los procesos, competencias o
características que se han de evaluados.
Idealmente, el marco indica cómo el constructo tal
como está representado debe distinguirse de otras
construcciones y cómo debería relacionarse con
otras variables.
El marco conceptual está parcialmente moldeado
por la forma en que se utilizarán los resultados de
las pruebas. Para de matemáticas podría ser una
prueba de rendimiento matemático ser utilizado
para colocar a un estudiante en un programa
apropiado de instrucción, para avalar un diploma
de secundaria, o para informar una decisión de
admisión a la universidad. Cada uno de estos
usos implican una interpretación algo diferente de
las puntuaciones de la prueba de logro en
matemáticas: que un el estudiante se beneficiará
de un programa de instrucción particular
intervención, que un estudiante ha dominado un
idioma específico plan de estudios, o que es
probable que un estudiante tenga éxito evidencia
que podría ser recolectada para evaluar la
interpretación propuesta a la luz de los objetivos
de pruebas. A medida que avanza la validación, y
nuevas pruebas con respecto a las
interpretaciones que pueden y no pueden de los
resultados de las pruebas está disponible, pueden
ser necesarias revisiones en la prueba, en el
proceso conceptual y en el que le da forma, e
incluso en la construcción subyacente a la prueba.
La gran variedad de pruebas y circunstancias
hace que sea natural que algunos tipos de
evidencia
ser especialmente crítico en un caso dado,
mientras que otros tipos serán menos útiles.
Decisiones sobre qué tipos de pruebas son
importantes para la validación en cada caso puede
ser aclarado mediante el desarrollo de un conjunto
de proposiciones o reivindicaciones que apoyan la
interpretación propuesta para el propósito
particular de la prueba. Por ejemplo, cuando se
utiliza una prueba de rendimiento en matemáticas
para evaluar preparación para un curso avanzado,
evidencia para las siguientes proposiciones
podrían ser relevantes: a) que ciertas aptitudes
son un requisito previo para la adquisición de
conocimientos avanzados (b) que el dominio de
contenido de la prueba es consistente con estos
prerrequisitos c) que los resultados de las pruebas
pueden generalizarse a través de los conjuntos de
elementos pertinentes; d) que los resultados de
las pruebas no están indebidamente influenciados
por variables auxiliares, como la capacidad de
escribir; (e) que el éxito en la educación avanzada
el curso puede ser evaluado válidamente; y (f) que
los examinandos con puntajes altos en el examen
ser más exitoso en el curso avanzado que
examinandos con bajas calificaciones en el
examen. Ejemplos de proposiciones en otros
contextos de pruebas podría incluyen, por
ejemplo, la proposición de que la prueba las
personas con altas puntuaciones de ansiedad
general experimentan ansiedad significativa en
una variedad de entornos, la proposición de que el
puntaje de un niño en un examen de inteligencia
está fuertemente relacionada con el nivel
académico del niño. o la proposición de que un
cierto patrón de puntuaciones en una batería
neuropsicológica indica un impedimento que es
característico de lesión cerebral. El proceso de
validación evoluciona a medida que estas
proposiciones se articulan y evidencian se reúne
para evaluar su solidez. Identificar las
proposiciones implícitas en una propuesta la
interpretación de las pruebas puede facilitarse
mediante considerando hipótesis rivales que
pueden desafiar la interpretación propuesta.
También es útil para considerar las perspectivas
de los diferentes interesados de las partes, la
experiencia existente con pruebas similares y y las
consecuencias esperadas de la crisis económica
mundial. uso propuesto para el ensayo. Un
hallazgo de consecuencias no deseadas del uso
de la prueba también puede dar lugar a que se
considere la posibilidad de hipótesis rivales.
Hipótesis rivales plausibles a menudo se puede
generar al considerar si un mide menos o más de
la construcción propuesta. Estas consideraciones
se denominan construir una subrepresentación (o
construir una deficiencia) y la variación irrelevante
de la construcción (o la contaminación de la
construcción), respectivamente. La
subrepresentación constructiva se refiere a la
grado en el que una prueba no capta importantes
aspectos de la construcción. Implica un
estrechamiento de la el significado de los
resultados de la prueba porque la prueba no
muestrear adecuadamente algunos tipos de
contenido, participar algunos procesos
psicológicos, u obtener algunas formas de
respuesta que se engloban en el ámbito de
aplicación de la construir. Tomemos, por ejemplo,
una prueba concebida como medida completa de
la ansiedad. Un particular la prueba podría
subrepresentar la construcción prevista porque
sólo mide las reacciones fisiológicas y no
componentes emocionales, cognitivos o
situacionales. Como otro ejemplo, una prueba de
lectura para medir la comprensión de los niños.
capacidad de leer e interpretar historias con
comprensión podría no contener una variedad
suficiente de leyendo pasajes o puede ignorar un
tipo común de material de lectura.
La relevancia de la construcción se refiere al
grado de qué resultados de las pruebas se ven
afectados por procesos que son ajeno a la
finalidad prevista del ensayo. El los resultados de
las pruebas pueden ser sistemáticamente
influenciados para en cierta medida por procesos
que no forman parte de la construir. En el caso de
una comprensión de lectura puede incluir material
muy por encima o por debajo del nivel del agua.
por debajo del nivel previsto para la prueba, una la
reacción al contenido del ensayo, la familiaridad
con el el tema de los pasajes de lectura del
examen, o la habilidad de escritura necesaria para
componer una respuesta. Dependiendo de la
definición detallada de la construcción,
Conocimiento de vocabulario o velocidad de
lectura.también podrían ser componentes
irrelevantes. En una prueba diseñada para medir
la ansiedad, un sesgo de respuesta a la ansiedad
de uno podría ser considerada una fuente de
desviación irrelevante para la construcción. En el
caso con trabajo de nivel universitario. Del mismo
modo, una prueba de conciencia podría ser usado
para el asesoramiento psicológico -para informar
una decisión sobre el empleo, o para el propósito
científico básico de elaborar el construcción de la
conciencia. Cada uno de estos los usos
potenciales conforman el marco especificado y la
interpretación propuesta de los resultados de la
prueba y también puede tener implicaciones para
el desarrollo de pruebas y evaluación. La
validación se puede visualizar como una proceso
de construcción y evaluación de argumentos a
favor y en contra de la interpretación prevista de la
prueba y su relevancia para el uso propuesto.
el marco conceptual apunta a los tipos de una
prueba de matemáticas, podría incluir una
dependencia excesiva en habilidades de
comprensión lectora que el idioma inglés los
estudiantes pueden estar faltando. En una prueba
diseñada para medir el conocimiento de la ciencia,
la toma de pruebas de interiorización de los
estereotipos de género sobre las mujeres en las
ciencias podría ser una fuente de información
irrelevante para la construcción. varianza. Casi
todas las pruebas dejan fuera elementos que
algunos los usuarios potenciales creen que debe
ser medido y incluyen algunos elementos que
algunos usuarios potenciales La validación implica
un cuidadoso control de la calidad. atención a
posibles distorsiones de significado que se derivan
de una representación inadecuada de la y también
a aspectos de medición, como el formato de la
prueba, las condiciones de administración, o nivel
de idioma, que pueda limitar materialmente o
calificar la interpretación de las puntuaciones de
las pruebas para varias grupos de examinandos.T
es decir, el proceso de validación puede dar lugar
a revisiones en el ensayo, en el marco conceptual
de la prueba, o ambos. Interpretaciones de la
prueba revisada, se obtendrían de nuevo
necesitan validación.
Cuando las proposiciones han sido identificadas,
el chat apoyaría la interpretación propuesta de la
prueba se puede proceder con la validación
obteniendo evidencia empírica, examinando la
literatura relevante, y / o la realización de análisis
lógicos para evaluar cada una de las
proposiciones. La evidencia empírica puede incluir
pruebas locales, producidas en el marco de la los
contextos en los que se utilizará la prueba, y las
pruebas de aplicaciones de pruebas similares en
otros entornos. Uso de la evidencia existente de
pruebas similares y los contextos pueden mejorar
la calidad de la validez especialmente cuando los
datos para la prueba y la contexto en cuestión son
limitados. Porque una interpretación para un uso
dado típicamente depende de más de una
proposición, pruebas sólidas en apoyo de una
parte de la interpretación de ninguna manera
disminuye la necesidad de pruebas para apoyar
otras partes de la interpretación. Por ejemplo,
cuando se realiza una prueba de empleo para la
selección, un fuerte criterio de predicción. relación
en un ambiente de empleo es ordinariamente no
es suficiente para justificar el uso de la prueba.
Uno debería considerar también la idoneidad y la
significación de la medida criterio, la idoneidad de
la medida. de los materiales y procedimientos de
prueba para la gama completa de solicitantes, y la
consistencia de la el apoyo a la interpretación
propuesta a través de grupos. El juicio profesional
guía las decisiones con respecto a las formas
específicas de evidencia que pueden mejor apoyo
a la interpretación prevista para una uso
especificado. Como en todos los esfuerzos
científicos, La calidad de las pruebas es
primordial. Unas pocas piezas de evidencia sólida
con respecto a una proposición en particular son
mejores que numerosas piezas de evidencia de
calidad cuestionable. La determinación de que un
la interpretación de prueba dada para un propósito
específico es
se basa en el juicio profesional que la
preponderancia de las pruebas disponibles apoya
esa interpretación. La calidad y cantidad de
pruebas suficiente para llegar a la sentencia chis
puede diferir para los usos de la prueba
dependiendo del Una interpretación dada. puede
no estar justificada como consecuencia de una
insuficiencia de pruebas en apoyo de la misma o
como resultado de una investigación creíble.
pruebas en su contra.
La validación es responsabilidad conjunta de la
desarrollador de pruebas y el usuario de la
prueba. es responsable de proporcionar las
pruebas pertinentes y una justificación en apoyo
de cualquier interpretación de las puntuaciones de
los exámenes para usos específicos previstos por
el promotor. El el usuario de la prueba es
responsable en última instancia de evaluar las
pruebas en el entorno particular en el que se
encuentran las se debe utilizar la prueba. Cuando
un usuario de prueba propone un interpretación o
uso de las puntuaciones de las pruebas que
difieren de los soportados por el desarrollador de
la prueba, el responsabilidad de proporcionar
pruebas de validez en el apoyo de esa
interpretación para el período de tiempo
especificado el uso es responsabilidad del usuario.
Debería ser señaló que las importantes
contribuciones a la validez la evidencia puede ser
hecha a medida que otros investigadores reportan
las conclusiones de las investigaciones, el chat
está relacionado con la significado de los
resultados de la prueba.
Fuentes de Evidencia de Validez
Las siguientes secciones describen varias fuentes
de evidencia que podría ser utilizada en la
valuación de la validez de una propuesta de
interpretación de la prueba para un uso particular.
Estas fuentes de evidencia pueden iluminar
diferentes aspectos de la validez, pero no
representan distintos tipos de validez. La validez
es un concepto unitario. Es el grado en el que
todas las pruebas acumuladas apoya la
interpretación prevista de la prueba para el uso
propuesto. Como las normas de 1999, esta
edición se refiere a los tipos de pruebas de
validez, en lugar de distintos tipos de validez. Para
enfatizar esta distinción, el tratamiento que no
sigue la nomenclatura histórica (es decir, el uso de
los términos validez de contenido o predictivo
validez).
Como enfatiza la discusión en la sección anterior,
cada tipo de evidencia presentada a continuación
no es necesario en todos los entornos. Más bien,
se necesita apoyo para cada proposición que
subyace en una propuesta interpretación de
pruebas para un uso específico. que una prueba
es predictiva de un criterio dado puede ser sin
pruebas de que las muestras de ensayo un
determinado dominio de contenido. En contraste,
una propuesta que una prueba cubre una muestra
representativa de un currículo en particular puede
ser apoyado sin pruebas de que la prueba predice
un criterio determinado. Sin embargo, un conjunto
más complejo de proposiciones, por ejemplo, que
una prueba muestre un dominio específico y por lo
tanto, es predictivo de un criterio que refleja una
relación de dominio, requerirá evidencia que
apoye tanto partes de este conjunto de
proposiciones. Desarrolladores de pruebas
también se espera que demuestren que las
puntuaciones no están indebidamente
influenciados por factores de construcción
irrelevantes. (véase cap. I, proyecto de decisión I,
apartado a). 3 para el tratamiento detallado de
cuestiones relacionadas con la varianza
irrelevante de la construcción). En apoyo general y
adecuado a las interpretaciones propuestas para
usos específicos requerirá múltiples fuentes de
evidencia. La posición desarrollada anteriormente
también subraya el hecho de que si una prueba
dada se interpreta en múltiples maneras para
múltiples usos, las proposiciones subyacentes a
estas interpretaciones para diferentes usos
también es probable que difieran. Se necesita
apoyo para la propuestas que subyacen a cada
interpretación para una uso específico. Pruebas
que apoyan la interpretación de puntajes en una
prueba de logro de matemáticas para colocar a los
estudiantes en cursos subsiguientes (por ejemplo
pruebas de que la interpretación de la prueba es
válida para su para el uso previsto) no permite
inferir validez para otros fines (por ejemplo,
promoción o evaluación del profesorado).
Evidencia basada en el contenido de la prueba
Las pruebas de validez importantes pueden
obtenerse en un análisis de la relación entre el
contenido de una prueba y la estructura a la que
se destina El contenido de la prueba se refiere a
los temas, la redacción, y el formato de los ítems,
tareas o preguntas en un prueba. La
administración y la puntuación también pueden ser
Los desarrolladores de pruebas. a menudo
trabajan a partir de una especificación del
contenido La especificación del contenido describe
cuidadosamente el contenido en detalle, a
menudo con una clasificación de áreas de
contenido y tipos de artículos. Evidencia basado
en el contenido de la prueba puede incluir lógica o
análisis empíricos de la idoneidad con la cual el
contenido de la prueba representa el dominio de
contenido y de la relevancia del dominio de
contenido para la interpretación propuesta de los
resultados de las pruebas. Evidencia basado en el
contenido también puede provenir de juicios
expertos de la relación entre las partes de la y la
construcción. Por ejemplo, en el desarrollo de una
prueba de licenciatura, las principales facetas que
son relevantes al fin para el que está regulada la
ocupación y expertos en esa ocupación. se le
puede pedir que asigne ítems de prueba a las
categorías definidas por esas facetas. Estos u
otros expertos puede entonces juzgar la
representatividad de los elegidos conjuntos de
artículos. Algunas pruebas se basan en
observaciones sistemáticas de comportamiento.
Por ejemplo, una lista de las tareas que
constituyen un dominio de trabajo puede ser
desarrollado a partir de observaciones del
comportamiento en un trabajo, junto con juicios de
expertos en la materia. Juicios periciales puede
utilizarse para evaluar la importancia relativa, la
criticidad y/o la frecuencia de las distintas tareas.
Una prueba de muestra de trabajo se puede
construir a partir de una muestreo aleatorio o
estratificado de las tareas mejor valoradas en
estas características. La prueba puede entonces
ser administrada bajo condiciones estandarizadas
en un fuera del trabajo. La idoneidad de un
determinado dominio de contenido está
relacionado con las inferencias específicas que se
deben hacer de los resultados de las pruebas. Por
lo tanto, al considerar una prueba disponible para
un fin distinto del de que fue desarrollado por
primera vez, es especialmente es importante
evaluar la idoneidad de las dominio de contenido
original para la nueva propuesta propósito. Por
ejemplo, una prueba dada para la investigación
propósitos para comparar los logros de los
estudiantes a través de en un dominio dado
también puede cubrir adecuadamente material
que recibe poca o ninguna atención en el
currículo. Los responsables de la formulación de
políticas pueden entonces evaluar el logro del
estudiante con respecto a ambos contenidos
desatendidos y el contenido abordado. Por otro
lado mano, cuando el dominio del estudiante de
un plan de estudios impartido es probado con el
propósito de informar decisiones sobre
estudiantes individuales, tales como la promoción
o la graduación, el marco que elabora un dominio
de contenido se limita apropiadamente a lo que los
estudiantes han tenido la oportunidad de aprender
de
el plan de estudios tal como se imparte.
La evidencia sobre el contenido puede ser
utilizada, en parte, para abordar cuestiones sobre
las diferencias de significado o interpretación de
las puntuaciones de las pruebas a través de los
subgrupos pertinentes de examinandos. Es motivo
de especial preocupación el grado de
subrepresentación de la construcción o detección de pruebas a la que se pretende llegar
construcion-irrelevante puede dar una ventaja
injusta o desventaja para uno o más subgrupos de
prueba tomadores. Por ejemplo, en una prueba de
empleo, el uso de vocabulario más complejo de lo
necesario en el trabajo puede ser una fuente de
información irrelevante para la construcción
varianza para los estudiantes que están
aprendiendo inglés o los ocres. Revisión
cuidadosa del contenido de la construcción y de la
prueba por un panel diverso de expertos puede
apuntar a fuentes potenciales de dificultad
irrelevante ( o facilidad) requieren una mayor
investigación.
La evidencia de validación orientada al contenido
se encuentra en el corazón del proceso en el
ámbito educativo conocido como alineación, que
implica la evaluación de la correspondencia entre
los estándares de aprendizaje de los estudiantes y
el contenido de la prueba. Los problemas de
muestreo de contenido en el proceso de
alineación incluyen la evaluación de si la prueba
muestre adecuadamente el contenido del dominio
que se redirección en los estándares del currículo,
si las demandas cognitivas de los elementos de
prueba corresponden -al nivel reflejado en los
estándares de aprendizaje de los estudiantes (por
ejemplo, contenido ), y si la prueba evita la
inclusión de características irrelevantes para el
estándar al que está destinado de cada elemento
de ensayo.
Evidencia basada en procesos de respuesta
Algunas interpretaciones de construcción implican
más o menos explícitas acerca de las
suposiciones cognitivas procesos en los que
participan las personas que descansan. Teórico y
análisis empíricos de los procesos de respuesta
de los que descansan pueden proporcionar
pruebas relativas a la abeto entre la construcción y
la naturaleza descarrilada de la actuación o
respuesta realmente comprometida por los
examinandos. Por ejemplo, si se pretende realizar
una prueba para evaluar el razonamiento
matemático, se vuelve importante para determinar
si los examinandos están, en hecho, razonamiento
sobre el material dado en su lugar de seguir un
algoritmo estándar aplicable sólo a los elementos
específicos de la prueba.
Evidencia basada en procesos de respuesta en
general proviene del análisis de las respuestas
individuales. Interrogar a los examinandos de
varios grupos que constituyen la población de
sobre sus estrategias de desempeño o respuestas
los artículos particulares pueden producir
evidencia el chat enriquece re definición de un
constructo. Mantenimiento de registros char
monitorean el desarrollo de una respuesta a un
tarea de escritura, a través de sucesivos
borradores escritos o revisiones controladas
electrónicamente, por ejemplo, también
proporciona evidencia del proceso.
Documentación de otros aspectos del rendimiento,
como los movimientos oculares o rimas de
respuesta, también pueden ser relevantes para
algunas construcciones. Inferencias sobre los
procesos involucrados en rendimiento también
puede ser desarrollado por analizando la relación
entre las partes de la y entre el resto y otras
variables.
Las grandes diferencias individuales en el proceso
pueden ser reveladoras y puede dar lugar a la
reconsideración de algunas formatos de
descanso. La evidencia de los procesos de
respuesta puede contribuir a para responder a
preguntas sobre las diferencias de significado o
interpretación de las puntuaciones de las pruebas
a través de los subgrupos pertinentes de
tomadores de descanso. Estudios de procesos
que incluyen las personas que toman descanso de
diferentes subgrupos pueden ayudar en
determinar hasta qué punto las capacidades
irrelevantes o accesorio a la construcción puede
ser diferencialmente influir en el rendimiento de los
examinandos.
Los estudios de los procesos de respuesta no son
limitados a la persona que realiza la prueba. Los
asesoramientos a menudo se basan en
observadores o jueces para registrar y/o evaluar a
los examinandos prestaciones o productos. En
tales casos, se debe tener en cuenta La evidencia
de la validez incluye el grado en que la los
procesos de los observadores o de los jueces son
coherentes con la interpretación de las partituras.
Por ejemplo, si se espera que los jueces apliquen
determinadas en la puntuación de la actuación de
los descansados, es importante para determinar si
son, de hecho, aplicando los criterios adecuados y
no siendo influenciados por factores que son
irrelevantes para el objetivo que se persigue
interpretación (por ejemplo, calidad de la escritura)
es irrelevante para juzgar el contenido de un
documento escrito. ensayo). Por lo tanto, la
validación puede incluir pruebas empíricas
estudios sobre la forma en que los observadores o
los jueces registran y evaluar los datos junto con
el análisis de la idoneidad de estos procesos a la
interpretación prevista o construir la definición.
Si bien las pruebas sobre los procesos de
respuesta pueden ser central en entornos en los
que las afirmaciones explícitas sobre los procesos
de respuesta son realizados por desarrolladores
de pruebas o donde las inferencias sobre las
respuestas se hacen por medio de pruebas
usuarios, hay muchos otros casos en los que las
reclamaciones sobre los procesos de respuesta no
forman parte de la argumento de validez. En
algunos casos, la respuesta múltiple están
disponibles para resolver los problemas de interés,
y el constructo de interés sólo se refiere a si el
problema se resolvió correctamente.
Es un ejemplo simple, puede haber varios posibles
vías para obtener la solución correcta a un
problema matemático. Evidencia basada en la
estructura interna Los análisis de la estructura
interna de una prueba pueden indicar el grado en
que las relaciones entre los elementos y
componentes de prueba se ajustan a el constructo
sobre el que se basan las interpretaciones
propuestas de los resultados de la prueba se
basan. El marco conceptual para una prueba
puede implicar una sola dimensión de
comportamiento, o puede plantear varios
componentes que son cada uno de ellos que se
espera que sean homogéneos, pero que también
son distintos entre sí. Por ejemplo, una medida de
malestar en una encuesta de salud podría evaluar
tanto la salud física y emocional. las
interrelaciones de los ítems confirman las
presunciones del marco sería relevante para la
validez.
Los tipos específicos de análisis y su
interpretación depende de cómo se utilice la
prueba. Por ejemplo, si una aplicación en
particular postuló una de componentes de prueba
cada vez más difíciles, pruebas empíricas de la
medida en que la respuesta los patrones
conformes a esta expectativa serían Una teoría
que postulaba la unidimensionalidad de la
homogeneidad del artículo. En este caso, el
número de ítems y el ítem interrela- de los
resultados de la evaluación de los resultados.
fiabilidad, pero un índice de este tipo sería
inapropiado para ensayos con una estructura
interna más compleja.
Algunos estudios de la estructura interna de los
ensayos están diseñados para mostrar si
determinados artículos pueden funcionar de forma
diferente para subgrupos identificables de
examinandos (por ejemplo, subgrupos
raciales/étnicos o de género). El funcionamiento
del elemento de diferencias se produce cuando
diferentes grupos de examinandos con un total
similar capacidad, o un estado similar según un
criterio apropiado, tienen, en promedio, respuestas
sistemáticamente diferentes a un artículo en
particular. Este tema se discute en capítulo 3. Sin
embargo, el funcionamiento de la posición de
diferencias no siempre es un defecto o una
debilidad. Subconjuntos de artículos que tienen
una característica específica en común (por
ejemplo, contenido específico, representación de
tareas) puede funcionan de manera diferente para
diferentes grupos de personas de manera similar
que califica a los examinandos. Esto indica una
especie de multidimensionalidad. que puede ser
inesperado o puede se ajustan al marco de
pruebas.
Evidencia basada en relaciones con otras
variables En muchos casos, la interpretación
prevista para una de un uso determinado implica
que la construcción debe ser relacionados con
otras variables y, como resultado, análisis de la
relación entre las puntuaciones de las pruebas y la
variables externas a la prueba proporcionan otra
importante fuente de validez de las pruebas.
Externo las variables pueden incluir medidas de
algunos criterios que se espera que la prueba
prediga, así como las relaciones a otras pruebas
hipotéticas para medir las mismas construcciones,
y las pruebas que miden las o diferentes
construcciones. Medidas distintas del ensayo
como los criterios de rendimiento, son a menudo
utilizado en entornos laborales. Variables
categóricas, incluyendo las variables de
pertenencia a un grupo, se convierten en relevante
cuando la teoría que subyace a una propuesta el
uso de pruebas sugiere que las diferencias de
grupo deben ser presente o ausente si se propone
una interpretación de los resultados del examen
debe ser apoyada. Evidencia basada en
relaciones con otras variables proporciona
evidencia sobre el grado en que estas relaciones
son que sea consistente con el constructo que
subyace a la propuesta interpretaciones de los
resultados de los exámenes.
Evidencia convergente y discriminante.
Relaciones entre los resultados de las pruebas y
otras medidas importantes para determinar si son,
de hecho, aplicando los criterios adecuados y no
siendo influenciados por factores que son
irrelevantes para el objetivo que se persigue
interpretación (por ejemplo, calidad de la escritura)
es irrelevante para juzgar el contenido de un
documento escrito. Ensayo). Por lo tanto, la
validación puede incluir pruebas empíricas
estudios sobre la forma en que los observadores o
los jueces registran y evaluar los datos junto con
el análisis de la idoneidad de estos procesos a la
interpretación prevista o construir la definición. Si
bien las pruebas sobre los procesos de respuesta
pueden ser central en entornos en los que las
afirmaciones explícitas sobre procesos de
respuesta.
Evidencia convergente y discriminante.
Relaciones entre los resultados de las pruebas y
otras medidas destinados a evaluar
construcciones idénticas o similares proporcionar
evidencia convergente, mientras que las
relaciones entre los resultados de las pruebas y
las medidas supuestamente de diferentes
construcciones proporcionan evidencia
discriminante. Por ejemplo, dentro de algunos
marcos teóricos, calificaciones en una prueba de
comprensión de lectura de opción múltiple podría
esperarse que se relacionen estrechamente
(evidencia convergente) a otras medidas de
lectura comprensión basada en otros métodos,
tales como respuestas de ensayos. Por el
contrario, los resultados de las pruebas pueden
ser se espera que se relacionen menos
estrechamente ("pruebas discriminatorias: lo") a
medidas de otras habilidades, como el
razonamiento lógico. Relaciones entre los
diferentes métodos de medición la construcción
puede ser especialmente útil en afinar y elaborar
el significado de la puntuación y interpretación.
La evidencia de relaciones con otras variables
puede involucran evidencia tanto experimental
como correlacionar. Los estudios podrían estar
diseñados, por ejemplo, para investigar si las
puntuaciones en una medida de ansiedad mejorar
como resultado de algún tratamiento psicológico o
si las puntuaciones en una prueba de rendimiento
académico diferenciar entre instruidos y no
instruidos grupos. Si el rendimiento aumenta
debido al corto plazo son vistos como una
amenaza a la validez del adiestramiento sería útil
para investigar si los entrenadores y los grupos no
entrenados se comportan de manera diferente.
Relaciones de criterio de prueba. Evidencia de la
relación entre los resultados de las pruebas y un
criterio pertinente puede ser se exprese de varias
maneras, pero el fundamental la pregunta es
siempre, con qué precisión se obtienen los
resultados de las pruebas predecir el rendimiento
del criterio? El grado de precisión y el rango de
puntuación dentro del cual la precisión depende
de la finalidad para la que se necesita. se utiliza la
prueba.
La variable criterio es una medida de algún
atributo o un resultado que sea operativamente
distinto de la prueba. por lo tanto, la prueba no es
una medida de una sino que es una medida
hipotética como un predictor potencial de ese
criterio. Si una prueba predice un criterio dado en
una el contexto dado es una hipótesis
comprobable. que son de interés son
determinados por los usuarios de la prueba, por
ejemplo, administradores en un sistema escolar o
gerentes de una empresa. La elección del criterio
y los procedimientos de medición utilizados para
obtener Las puntuaciones de los criterios son de
importancia central. En la credibilidad de un
estudio de criterios de prueba depende de la
pertinencia, fiabilidad y validez de la interpretación
basado en el criterio de la medida para una
aplicación de prueba dada. Históricamente, dos
diseños, a menudo llamados predictivos y
concurrentes, se han distinguido por evaluar
relaciones de criterio de prueba. Un predictivo el
estudio indica la fuerza de la relación entre las
puntuaciones de las pruebas y las puntuaciones
de los criterios que son obtenidos posteriormente.
Un estudio simultáneo obtiene los resultados de
las pruebas y la información de los criterios en
más o menos al mismo tiempo. Cuando la
predicción es en realidad como en el caso de la
admisión académica o el empleo o en la
planificación de la rehabilitación regímenes, los
estudios predictivos pueden retener el tiempo
diferencias y otras características de la práctica C
pruebas actuales, que evitan la pérdida de tiempo.
Cambios, es particularmente útil para el
psicodiagnóstico pruebas o en la investigación de
medidas alternativas de alguna construcción
especificada para la que se ha aceptado un El
procedimiento de medición ya existe. de una
estrategia de investigación predictiva o significado de la puntuación.
concurrente en un dominio determinado también
se informa de forma útil mediante evidencia de
investigación con respecto a la medida en que
estudios predictivos y concurrentes en ese campo
producen los mismos o diferentes resultados. Los
resultados de las pruebas a veces se utilizan para
asignar individuos a diferentes tratamientos de
una manera que es ventajoso para la institución
y/o para los individuos. Algunos ejemplos serían la
asignación de a diferentes puestos de trabajo
dentro de una organización, o determinar si
colocar a un determinado estudiante en una clase
de recuperación o en una clase normal. En ese
contexto, se necesitan pruebas para juzgar la
idoneidad de utilizar una prueba al clasificar o
asignar un de una persona a un trabajo versus
otro o a uno tratamiento contra otro. Soporte para
la validez del procedimiento de clasificación es
proporcionado por que demuestre que la prueba
es útil para determinar qué personas pueden
beneficiarse de forma diferente de un tratamiento
u otro. Es posible para pruebas para ser altamente
predictivas del rendimiento para diferentes
programas de educación o trabajos sin
proporcionar la información necesaria para hacer
una comparación juicio de la eficacia de las
asignaciones o tratamientos.
En general, las reglas de decisión para la
selección o la colocación también están
influenciados por el número de personas a ser
aceptadas o los números que pueden ser
acomodados en categorías de colocación
alternativa (véase el capítulo 11). La evidencia
sobre las relaciones con otras variables es
también se utiliza para investigar cuestiones de
diferencial predicción para subgrupos. Por
ejemplo, un hallazgo que la relación entre los
resultados de las pruebas y un criterio pertinente
difiere de un subgrupo a otro puede implicar que
el significado de las puntuaciones no es lo mismo
para los miembros de los diferentes grupos, tal
vez debido a la construcción de la
subrepresentación o fuentes de varianza
irrelevantes para la construcción. Sin embargo, la
diferencia también puede implicar que el criterio
tiene un significado diferente para los diferentes
grupos. El las diferencias en las relaciones de
criterio de prueba también pueden se derivan de
un error de medición, especialmente cuando grupo
significa diferente, por lo que tales diferencias no
necesariamente indican diferencias en el
Ver la discusión sobre la justicia en el capítulo 3
para una consideración más amplia de los
posibles cursos de acción cuando las
puntuaciones tienen diferentes significados para
diferentes grupos.
Generalización de la validez.
Una cuestión importante en educativo y de
empleo es el grado a la cual la evidencia de
validez basada en el criterio de reposo las
relaciones pueden generalizarse a una nueva
situación sin más estudios de validez en esa
nueva situación. Cuando se utiliza una prueba
para predecir lo mismo o criterios similares (por
ejemplo, el desempeño de un trabajo
determinado) en diferentes momentos o en
diferentes lugares. típicamente se encontró que
las correlaciones observadas entre los criterios de
prueba varían sustancialmente. En el pasado,
esto ha sido se ha interpretado como que los
estudios de validación focal son siempre
obligatorios. Más recientemente, una variedad de
los enfoques para generalizar la evidencia de
otras se han desarrollado escenarios, con meta-
análisis el más utilizado en la literatura publicada.
En particular, los meta-análisis han demostrado
que en algunos ámbitos, gran parte de esta
variabilidad puede ser debido a artefactos
estadísticos como las fluctuaciones del muestreo y
variaciones entre los estudios de validación en los
rangos de los resultados de las pruebas y en la
fiabilidad de criterio mide. Cuando estas y otras
influencias se tienen en cuenta, puede constatarse
que la la variabilidad restante en los coeficientes
de validez es relativamente pequeño. Por lo tanto,
los resúmenes estadísticos del pasado los
estudios de validación en situaciones similares
pueden ser útil para estimar las relaciones
test/criterio en Esta práctica se conoce como la
estudio de generalización de validez. En algunas
circunstancias, hay una fuerte para utilizar la
generalización de validez. Este sería el caso
cuando los datos meta-analíticos- la base de datos
es grande, donde los datos meta-analíticos
adecuadamente representan el tipo de situación a
la cual se desea generalizar, y donde la corrección
para los artefactos estadísticos produce una clara
y consistente patrón de validez de las pruebas.
En tales circunstancias, el valor informativo de un
local el estudio de validez puede ser relativamente
limitado, si no lo es realmente engañoso,
especialmente si el tamaño de la muestra es
pequeño. En otras circunstancias, el riesgo
potencial el salto requerido para la generalización
puede ser mucho La base de datos meta-analítica
puede ser pequeña, los hallazgos pueden ser
menos consistentes, o el nuevo la situación puede
implicar características marcadamente diferentes
de los representados en el meta-analítico base de
datos. En tales circunstancias, la situación
específica las pruebas de validez serán
relativamente más informativas. Una investigación
sobre la generalización de la validez muestra que
los resultados de una validación local única el
estudio puede ser bastante impreciso, hay
situaciones donde un solo estudio,
cuidadosamente realizado, con la adecuada
tamaño de la muestra, proporciona pruebas
suficientes para apoyar o rechazar el uso de
pruebas en una nueva situación.
Esto pone de relieve la importancia de examinar
cuidadosamente el valor informativo comparativo
de estudios locales versus metaanalíticos. En la
realización de estudios de la generalizabilidad de
evidencia de validez, los estudios previos que se
incluyen puede variar de acuerdo a varias
situaciones facetas. Algunas de las principales
facetas son: a) las diferencias en la forma en que
se mide la construcción del predictor, b) el tipo de
trabajo o plan de estudios que se trate tipo de
criterio de medición utilizado, d) el tipo de prueba
e) el período de tiempo en el que se realizó el
estudio se llevó a cabo. En cualquier estudio
particular de validez generalización, cualquier
número de estas facetas podría varían, y uno de
los principales objetivos del estudio es determinar
empíricamente la medida en que la variación en
estas facetas afecta a las correlaciones criterio de
prueba obtenido. El grado en el que los factores
predictivos o concurrentes las pruebas de validez
pueden generalizarse a nuevas situaciones es en
gran medida una función de la acumulación de
investigación. Aunque la evidencia de
generalización a menudo puede ayudar a apoyar
una reclamación de validez en una nueva
situación, el grado de disponibilidad. los datos
limitan el grado en que la reclamación puede ser
sostenida. La discusión anterior se centra en el
uso de bases de datos acumulativas para estimar
el criterio de predicción relaciones. Las técnicas
meta-analíticas también pueden se utilizará para
integrar otras formas de datos relevantes a otras
inferencias que uno pueda desear extraer de los
resultados de las pruebas en una aplicación en
particular, como por ejemplo efectos del coaching
y efectos de ciertas alteraciones en las
condiciones de ensayo para los examinandos con
discapacidades. Recopilación de pruebas sobre lo
bien que funciona los resultados de la validez
pueden generalizarse en todos los grupos de los
examinandos es una parte importante de la
validación Cuando la evidencia sugiere que las
inferencias de las puntuaciones de las pruebas se
pueden dibujar para algunos subgrupos pero no
para otros, buscando opciones como las
siguientes discutido en el capítulo 3 puede reducir
el riesgo de uso injusto de la prueba.
Evidencia de Validez y Consecuencias de las
pruebas
Algunas consecuencias del uso de la prueba son
las siguientes de la interpretación de los
resultados de las pruebas para los usos previstos
por el desarrollador de la prueba. La validación
implica la recopilación de pruebas para evaluar la
solidez de las interpretaciones propuestas para los
usos a los que están destinados. Otras
consecuencias también pueden formar parte de un
que se extiende más allá de la interpretación o de
la el uso de las escobillas previstas por el
desarrollador de la prueba. Para por ejemplo, una
prueba de rendimiento estudiantil podría
proporcionar datos para un sistema destinado a
identificar y mejorar las escuelas de bajo
rendimiento. La afirmación
que los resultados de las pruebas, utilizados de
esta manera, darán como resultado la mejora del
aprendizaje de los estudiantes puede basarse en
proposiciones sobre el sistema o la intervención
en sí, más allá de proposiciones basadas en el
significado de la prueba en sí mismo. Las
consecuencias pueden indicar la necesidad de
evidencia sobre los componentes del sistema que
va más allá de la interpretación de los resultados
de las pruebas como una medida válida de los
logros de los estudiantes. Y otras consecuencias
son imprevistas, y son a menudo negativos. Por
ejemplo, el distrito escolar o pruebas educativas
en todo el estado sobre temas seleccionados
puede llevar a los profesores a centrarse en esas
materias en a expensas de los demás. Como otro
ejemplo, una prueba desarrollado para medir el
conocimiento necesario para una de un trabajo
dado puede resultar en menores tasas de
aprobación para un grupo que para otro.
Consecuencias imprevistas merecen un examen
minucioso. Aunque no todas las consecuencias en
algunos casos, se pueden anticipar factores tales
como experiencias previas en otros ámbitos
ofrecen una base para Anticipar y tratar
proactivamente las situaciones no deseadas.
Consecuencias. Ver capítulo 12 para ejemplos
adicionales de los entornos educativos. En
NORMAS DE VALIDEZ
Las normas de este capítulo empiezan con un
enfoque global estándar (numerada con 1.0), que
está diseñada para para transmitir la intención
central o el enfoque primario del capítulo. La
norma general puede también como el principio
rector del capítulo, y es aplicable a todas las
pruebas y a todos los usuarios de pruebas. Todos
las normas subsiguientes se han separado en tres
algunos casos, acciones para hacer frente a una
de las consecuencias otras consecuencias. Un
ejemplo de ello es el la noción de "oportunidades
perdidas", como en el caso de la pasar a la
calificación computarizada de los ensayos de los
estudiantes para aumentar la consistencia de la
clasificación, renunciando así a la beneficios
educativos de abordar el mismo problema
capacitando a los maestros para que califiquen de
manera más consistente. Este tipo de
consideración de las consecuencias de las
pruebas se discuten más adelante.
Interpretación y uso de las puntuaciones de las
pruebas previstas por desarrolladores de
pruebas.
Las pruebas son comúnmente regido con la
esperanza de que se obtenga algún beneficio de
la interpretación y utilización de las partituras
previstas por los desarrolladores de pruebas.
Algunos de los muchos posibles los beneficios que
pueden ser reclamados son la selección de los
terapias, la colocación de los trabajadores en un
lugar adecuado trabajo, la prevención de personas
no cualificadas de entrar en una profesión, o la
mejora de la clase prácticas de instrucción. Un
propósito fundamental de La validación debe
indicar si se trata de. Por lo tanto, en el caso de
una prueba utilizada en las decisiones de
colocación, la validación se basaría en pruebas de
que la alternativa las colocaciones, de hecho, son
diferencialmente beneficiosas para las personas y
la institución. En el caso del empleo si un editor de
pruebas afirma que usa de la prueba resultará en
una reducción de la formación de los empleados
costes, mejora de la eficiencia de la mano de obra,
o algún otro tipo de beneficio, entonces la
validación sería informada por evidencia en apoyo
de esa proposición.
Es importante tener en cuenta que la validez de la
prueba las interpretaciones de las partituras
dependen no sólo de los usos
grupos temáticos etiquetados de la siguiente
manera:
1. Establecimiento de los usos e interpretaciones
previstos
2. Problemas relacionados con las muestras y los
ajustes utilizadosen Validación
3. Formas Específicas de Evidencia de Validez
Estándar 1.0
Articulación clara de cada una de las
interpretaciones de los resultados del examen
para un uso específico,
y pruebas de validez apropiadas en apoyo de
cada interpretación prevista debe ser
proporcionada.
Cluster 1 . Esta blishing Intentado Usos e
Interrupciones
Estándar 1 . 1
El desarrollador de la prueba debe establecer
claramente cómo los resultados de los exámenes
están destinados a ser interpretados y por lo tanto,
se utiliza. La(s) población(es) para la(s) cual(es) la
prueba que se pretende realizar debe estar
claramente delimitada, y la construcción o
construcciones que la prueba es que se pretende
evaluar debe describirse claramente. Comentario:
Las declaraciones sobre la validez deben referirse
a a interpretaciones particulares y usos
consecuentes. Es incorrecto usar la frase sin
calificar "en la validez de la prueba." Ninguna
prueba permite interpretaciones que son válidos
para todos los propósitos o en todas las
situaciones. Cada interpretación recomendada
para un uso determinado requiere validación. El
desarrollador de la prueba debe especificar en un
lenguaje claro la población para la cual el ensayo
está previsto, la construcción que se pretende
conseguir los contextos en los que las
puntuaciones de las pruebas deben y los procesos
mediante los cuales se llevará a cabo la prueba.
Debe ser administrada y puntuada.
Estándar 1.2
Se debe presentar un razonamiento para cada
uno de los proyectos. Interpretación de los
resultados de las pruebas para un uso
determinado, junto con un resumen de las pruebas
y que se refiere a la interpretación que se
pretende dar. Comentario: La justificación debe
indicar lo que son necesarias para investigar las
interpretación prevista. El resumen debería
combinar el análisis lógico con la evidencia
empírica para apoyar la lógica de la prueba.
Evidencia puede provenir de estudios realizados
localmente, en la donde se va a utilizar la prueba;
de los valores específicos de de estudios previos;
o de estudios estadísticos exhaustivos síntesis de
los estudios disponibles que se reúnen claramente
especificadas criterios de calidad de los estudios.
No hay ningún tipo de evidencia intrínsecamente
preferible a otros; más bien, la calidad y relevancia
de la evidencia para la prueba prevista
interpretación de la puntuación para un uso
determinado determinar la
valor de un tipo particular de evidencia. de
evidencia empírica sobre cualquier punto debería
dar a todos los hallazgos relevantes en la
investigación científica. literatura, incluyendo
aquellas que son inconsistentes con la
interpretación o uso previsto. Desarrolladores de
pruebas tienen la responsabilidad de proporcionar
apoyo para sus propias recomendaciones, pero
los usuarios de prueba tienen la responsabilidad
última de evaluar la calidad de las pruebas de
validez aportadas y su pertinencia a la situación
local.
Estándar 1.3
Si la validez para alguna interpretación común o
probable para un uso determinado no ha sido
evaluado, o si dicho uso una interpretación es
inconsistente con la disponible de la evidencia,
este hecho debe ser dejado claro y potencial los
usuarios deben ser fuertemente advertidos acerca
de haciendo interpretaciones sin fundamento.
Comentario: Si la experiencia pasada sugiere que
una prueba es probable que se utilice de forma
inapropiada para ciertos fines.
CAPÍTULO 1 tipos de decisiones o ciertos tipos de
examinandos, advertencias específicas contra
tales usos deben ser dado. Se requiere juicio
profesional para evaluar el grado en que las
pruebas de validez existentes apoyanun uso de
prueba dado.
Estándar 1.4
Si se interpreta la puntuación de un examen para
un uso determinado en una manera que no ha
sido validada, es incumbente al usuario para que
justifique la nueva interpretación para que utilizan,
proporcionando una base lógica y recogiendo
nuevas pruebas, si es necesario. Comentario: Se
requiere el juicio profesional para evaluar en qué
medida las pruebas de validez existentes se aplica
en la nueva situación o a la nueva grupo de
examinandos y para determinar las nuevas puede
ser necesaria. La cantidad y tipo de evidencia de
nueva evidencia requerida puede estar
influenciada por experiencia con usos o
interpretaciones de pruebas anteriores similares y
por la cantidad, calidad y relevancia de los datos
existentes. Un examen que ha sido alterado o
administrado en formas que cambian la
construcción que subyace a la La prueba para el
uso con subgrupos de la población requiere la
prueba de la validez de la interpretación de la
prueba modificada (véase el cap. I, proyecto de
decisión I, apartado a)). 3). Por ejemplo, si una
prueba se adapta para su uso con individuos con
una discapacidad particular de una manera que
cambia el constructo subyacente, el modificado
debe tener su propia evidencia de validez para la
interpretación prevista.
Estándar 1.5
Cuando se afirma o se implica claramente que una
recomendación interpretación de los resultados de
la prueba para una el uso resultará en un
resultado específico, la base para esperar que el
resultado sea prestablecido Comentario:
Materiales para ayudar en la interpretación de la
puntuación debe resumir la evidencia que indica el
grado de a la que mejora con la práctica o
Entrenamiento. es de esperar. Además, los
materiales escritos para el examen los interesados
deben proporcionar orientación práctica sobre el
valor de las actividades de preparación de
exámenes, incluyendo Entrenamiento. así como
datos empíricos. Peso apropiadose deben tener
en cuenta los resultados de la investigación
científica. literatura que puede ser inconsistente
con la declarada expectativa.
Estándar 1 . 6
Cuando se recomienda el uso de una prueba en el
terreno que las pruebas o el programa de pruebas
en sí mismo de un beneficio indirecto, además de
los siguientes la utilidad de la información
procedente de la interpretación de los resultados
de las pruebas en sí mismos, el recomendante
debe explicitar los motivos de la anticipación el
beneficio indirecto. Argumentos lógicos o teóricos
y evidencia empírica para la investigación indirecta
se debe proporcionar un beneficio. Peso
apropiado a cualquier hallazgo contradictorio que
se produzca en la literatura científica, incluyendo
los hallazgos que sugieren resultados indirectos
importantes que no sean los pronosticados.
Comentario: Por ejemplo, ciertos descansos
educativos los programas han sido defendidos
sobre la base de que que tendrían una influencia
saludable en el aula prácticas de instrucción o que
clarificarían las prácticas de los estudiantes la
comprensión del tipo o nivel de de los logros que
se esperaba que alcanzaran. en la medida en que
dichas alegaciones estén justificadas para un
programa de pruebas, se convierten en parte del
argumento para su uso en pruebas. Pruebas de
tales afirmaciones debe examinarse junto con las
pruebas sobre la validez de la interpretación
prevista de los resultados de los exámenes y
evidencia sobre negativos no deseados
consecuencias del uso de la prueba-en la
realización de un análisis general decisión sobre el
uso de la prueba. El peso debido debe ser a la
evidencia en contra de tales predicciones, por
ejemplo, evidencia de que bajo ciertas condiciones
la educación puede tener un efecto negativo sobre
instrucción en el aula.
Estándar 1.7
Si el rendimiento de la prueba, o una decisión
tomada a partir de ahí, no se ve afectado en lo
esencial por la práctica y el coaching, entonces la
propensión al rendimiento de la prueba para
cambiar con estas formas de instrucción debe ser
documentada.
Cluster 2 . Cuestiones relativas a los servicios
sanitariosy parametrizaciones utilizadas en la
validación
Estándar 1.8
La composición de cualquier muestra de
examinandos de la que se obtienen pruebas de
validez deben se describirán con el mayor detalle
posible y en la medida de lo posible de la
información, incluidos los principales datos
sociodemográficos pertinentes y características de
desarrollo.
Comentario: Los resultados estadísticos pueden
ser influenciados por factores que afecten a la
muestra en la que el Cuando la muestra tiene por
objeto representan una población, esa población
debería y se debe prestar atención a lo siguiente
los factores sistemáticos que puedan limitar la
representatividad de la muestra. Factores que
podrían que se espere razonablemente que afecte
los resultados incluyen autoselección, desgaste,
capacidad lingüística, discapacidad estatus,
criterios de exclusión, entre otros. Si los
participantes en un estudio de validez son
pacientes, por ejemplo, entonces los diagnósticos
de los pacientes son importantes, así como otras
características, como la gravedad de las
condiciones diagnosticadas. En el caso de las
pruebas utilizadas en el entorno laboral, el empleo
(por ejemplo, los solicitantes frente a los actuales
de los trabajadores), el nivel general de
experiencia y de educación, y el género y la
igualdad de género. la composición étnica de la
muestra puede ser pertinente información. Para
las pruebas utilizadas en la credencialización, el
estado de las personas que proporcionan
información (por ejemplo, los candidatos para una
credencial contra una ya acreditada de los
individuos) es importante para la interpretación de
los resultados. datos. Para pruebas utilizadas en
entornos educativos, la información pertinente
puede incluir información educativa antecedentes,
nivel de desarrollo, características de la
comunidad o políticas de admisión a la escuela,
como por ejemplo así como el género y la
composición étnica de la población. muestra. A
veces las restricciones legales sobre la privacidad
impedir la obtención o divulgación de dicha
población información o limitar el nivel de
particularidad a qué datos pueden ser divulgados.
El sistema de leyes de privacidad, si las hubiera,
que rigen el tipo de datos con el fin de garantizar
que cualquier descripción de una población no
tiene el potencial para identificar a un individuo de
una manera inconsistente con tales estándares. El
alcance de los datos que faltan, si los hubiere, y
los métodos de tratamiento datos faltantes (por
ejemplo, uso de procedimientos de imputación)
debe ser descrita.
Estándar 1 . 9
Cuando una validación se basa en parte en los
dictámenes o decisiones de jueces expertos,
observadores o calificadores, los procedimientos
para la selección de dichos expertos y para la la
obtención de sentencias o calificaciones debe ser
completa descrito. Las calificaciones y experiencia
de los jueces deben ser presentados. La
descripción de los procedimientos debe incluir
cualquier tipo de capacitación y las instrucciones
proporcionadas deben indicar si los participantes
tomaron sus decisiones de forma independiente; y
debe informar el nivel de acuerdo alcanzado. Si
los participantes interactuaran entre sí o
intercambiado información, los procedimientos a
través de que pueden haberse influenciado
mutuamente deben ser expuestos.
Comentario: Recopilación sistemática de
sentencias o las opiniones pueden darse en
muchos puntos de la construcción del ensayo (por
ejemplo, obtener juicios de expertos sobre el
contenido adecuación o representación adecuada
del contenido), en la formulación de reglas o
normas de puntuación interpretación (por ejemplo,
en el ajuste de las puntuaciones de corte), o en la
prueba almacenamiento (por ejemplo, clasificación
de las respuestas de los ensayos). Siempre que
de los procedimientos empleados, la calidad de
los servicios Los juicios resultantes son
importantes para la validación. El nivel de acuerdo
debe especificarse claramente (p. ej, si el acuerdo
porcentual se refiere a un acuerdo antes o
después de una discusión de consenso, y si el
criterio para el acuerdo es el acuerdo exacto de o
un acuerdo dentro de un cierto número de escala
de puntos.) La base para especificar ciertos tipos
de individuos (por ejemplo, profesores
experimentados, profesores con experiencia los
titulares de los puestos de trabajo y los
supervisores), según proceda. para el juicio o la
tarea de calificación debe ser articulada. Puede
ser totalmente apropiado que los expertos trabajen
juntos para llegar a un consenso, pero no lo
lograría ser apropiados para tratar sus respectivas
sentencias como estadísticamente independiente.
Los diferentes jueces pueden
ser usado para diferentes propósitos (por ejemplo,
un juego puede clasifican los artículos por su
sensibilidad cultural, mientras que otro para el
nivel de lectura) o para diferentes porciones. de
una prueba.
Estándar 1 . 1 O
Cuando la evidencia de validez incluye análisis
estadísticos de los resultados de las pruebas,
solos o junto con los datos en otras variables, las
condiciones en las que los datos recopilados
deben describirse en suficiente detalle para que
los usuarios puedan juzgar la relevancia de los
resultados estadísticos a las condiciones locales.
Atención deben ser atraídos a cualquier
característica de una validación recopilación de
datos que pueden diferir de las pruebas de
funcionamiento típicas condiciones y que podría
influir de forma plausible en el rendimiento de las
pruebas.
Comentario: Tales condiciones podrían incluir
(pero no se limitaría a) lo siguiente: persona que
realiza la prueba la motivación o la preparación
previa, la gama de pruebas resultados por encima
de los de los examinandos, el tiempo permitido
para el examen a los demandantes para que
respondan u otras condiciones administrativas, el
modo de administración de la prueba (por ejemplo,
no reproducido) pruebas en línea frente a las
pruebas in situ supervisadas), formación del
examinador, los intervalos de tiempo que separan
la recogida de datos sobre diferentes medidas, o
condiciones que pueden tener cambiado desde
que se obtuvo la prueba de validez.
Cluster 3 . Formas específicas de
Evidencia de Validez
( a) Evolución orientada al contenido
Estándar 1 . 1 1 1
Cuando la justificación para la interpretación de
los resultados de la prueba para un uso dado se
basa en parte en la idoneidad del contenido de la
prueba, los procedimientos seguidos en la
especificación. a descripción del contenido de las
pruebas y de su generación y justificado con
referencia a la intención población a ser probada y
la construcción de la está destinado a medir o el
dominio en el que se encuentra que se pretendía
representar. Si la definición de la el contenido de
la muestra incorpora criterios tales como
importancia, frecuencia o criticidad, estos criterios
también deben ser claramente explicados y
justificados.
Comentario: Por ejemplo, los desarrolladores de
pruebas pueden proporcionan una estructura
lógica que mapea los ítems sobre la prueba para
el dominio de contenido, ilustrando la la
pertinencia de cada elemento y la idoneidad con
que el conjunto de elementos representa el
dominio de contenido. Áreas del dominio de
contenido que no son incluidos entre los ítems de
la prueba podrían ser indicadas también. La
examinador u otras características del
concordancia del contenido de la prueba con el
objetivo en términos de complejidad cognoscitiva y
de la accesibilidad del contenido de la prueba a
todos los miembros de la población destinataria
son también consideraciones importantes.
( b) Evidence Regard ing Cognitive
Procesos
Estándar 1 . 1 2
Si la justificación de la interpretación de la
puntuación para una determinada el uso depende
de las premisas sobre el estado psicológico
procesos u operaciones cognitivas de los
examinandos, entonces la evidencia teórica o
empírica en apoyo de esos locales. Cuando los
extractos sobre los procesos empleados por los
observadores o los calificadores son parte del
argumento a favor de la validez, debe
proporcionarse información similar.
Comentario: Si la especificación de la prueba
delinea la procesos a ser evaluados, entonces se
necesita evidencia que los elementos de prueba,
de hecho, golpean con el botón procesos.{c)
Evolución de la estructura interna
Estándar 1 . 1 3
Si la justificación de la interpretación de los
resultados de un examen para un uso
determinado depende de las premisas sobre la
relación