Evaluacin Diagnstica Cognitiva

(Cognitive Diagnostic
Assessment, CDA)
Roberto D. Cceres Bauer
Unidad de Evaluacin, Dep. de Educacin Mdica, Facultad de Medicina,
UDELAR.

(PARTE I)

Teoras Psicomtricas y
Evaluacin Cognitiva

TEORA CLSICA DE LOS

TESTS(CTT) Y EVALUACIN
COGNITIVA.

1. Introduccin.
La construccin de tests de evaluacin cognitiva, basada en
CTT, en su origen, se sustentan en teoras y tcnicas que no
incorporan el conocimiento actual en ciencias cognitivas
(Psicologa Cognitiva, Neurociencia Cognitiva).

No se consideran modelos acerca de las estructuras

especficas de conocimiento o los procesos mentales o
cognitivos involucrados.

CTT y Evaluacin Cognitiva.

Puntaje Observado del Test = Puntaje Verdadero Test + error

La aplicacin de CTT a la evaluacin cognitiva permite

desarrollar instrumentos de evaluacin con propiedades
psicomtricas conocidas que caracterizan el test: confiabilidad,
validez predictiva, validez de criterio.
La estrategia para establecer la validez de constructo, es
relativamente dbil y limitada.
El anlisis factorial exploratorio de tests construidos usando la
CTT ha permitido desarrollar una taxonomia de habilidades
cognitiva en los seres humanos.

CTT y Evaluacin Cognitiva.

No obstante, los escores totales de tests desarrollados dentro
del marco de la CTT son una forma limitada de caracterizacin
de los sistemas cognitivos relacionadas con las respuestas a
un test.
La relacin entre el puntaje total en un test y las estructuras de
conocimiento y procesos mentales involucrados es muy
compleja.
La seleccin de contenidos de los tests es artesanal y
subjetiva.

TEORA DE RESPUESTA A LOS

TEMS (IRT)Y EVALUACIN
COGNITIVA.

TRI y Evaluacin Cognitiva.

En la TRI se obtienen modelos probabilsticos que dan la
probabilidad de respuesta correcta a un tem.
Un tem est compuesto por un estmulo complejo y un
conjunto de prescripciones acerca de cmo responder a dicho
estmulo.
La interaccin de un cierto dominio de sujetos y tems es
caracterizada en un espacio latente en el cual cada sujeto y cada
tem tiene sus coordenadas.
La estimacin de los parmetros de los tems
estadsticamente independiente de la muestra de sujetos.

es

TRI y Evaluacin Cognitiva.

Ejemplo Modelo unidimensional 3pl:

P ( X 1/ i , j ) c j (1 c j )
i: habilidad latente
j: dificultad del tem
j: asntota inferior
cj: asntota inferior

j i j

j i j

1 e

Ejemplo Modelo unidimensional 3pl: Test de Evaluacin

de Paridad.
1.0

Item Characteristic Curves

par4

0.8

par3

Item

-1.836 12.19

0.023

-0.672 16.24

0.756

-0.609 14.44

0.611

-1.309 14.32

0.331

0.6
0.4
0.2
0.0

Probability

par2

par1
-4

-2

0
Ability

TRI y Evaluacin Cognitiva.

El hecho de que el tem es el elemento bsico, es en si
mismo un avance importante desde el punto de vista de la
evaluacin cognitiva, si se pretende estudiar cmo se
procesan los estmulos que forman parte de un tem.
En general, los modelos de TRI se usan para modelizar la
distribucin conjunta del patrn de respuesta de los tems.
La distribucin conjunta de los patrones de respuesta son
una caracterizacin ms rica del proceso de respuesta
que la distribucin de puntajes totales y dificultades
clsicas de los tems, potencialmente ms informativa
para el estudio del sistema cognitivo subyacente
relacionado con un test.

(Parte II)
Evaluacin Diagnstica Cognitiva

Evaluacin Diagnstica Cognitiva

La evaluacin diagnstica cognitiva se basa en la psicologa
cognitiva y ciencias cognitivas que dan los fundamentos
tericos para la evaluacin, en particular para la seleccin de
contenidos de la evaluacin.
La evaluacin diagnstica cognitiva (CDA) en el contexto de
la educacin, tiene el propsito de medir las estructuras de
conocimiento especficas y habilidades de procesamiento en
sujetos de tal forma de proveer informacin sobre sus
fortalezas y debilidades cognitivas.

Diferentes Enfoques en Evaluacin

Diagnstica Cognitiva

Diseo Cognitivo de Test.

Diseo Cognitivo de Test.

Embretson (1992)

El diseo cognitivo de test es un marco para utilizar la

teora cognitiva en el diseo de test de habilidades.
El marco conceptual es una reformulacin del concepto de
la validez de constructo para darle un papel central a la teora
cognitiva en el desarrollo de tests.
El marco procedural es una serie de etapas requeridas
para alcanzar simultaneamente propiedades optimas
psicomtricas y cognitivas.

Ejemplo: Linear Logistic Trait Model: LLTM

Fischer (1973)

P( X ij 1)

exp(i m q jm d )
m

1 exp(i m q jm d )

b m q jm d

*
j

qjm=factor m de complejidad cognitiva del item j

m=peso del factor m en la dificultad del tem
d=constante de normalizacin

Propiedades del sistema de diseo

cognitivo de test.
(1) El contenido del test es delimitado por principios explcitos.
(2) El significado de los puntajes est vinculado a los procesos
cognitivos subyacentes.
(3) Los parmetros de los tems representan las fuentes de
complejidad cognitiva en el tem.
(4) Las habilidades son vinculadas a los procesos que
subyacen a la dificultad de la tarea.

Modelos de Estudiantes

Sistemas de Produccin
Anderson (1993)

Un sistema de produccin es un conjunto de reglas de

condiciones y acciones que son llamadas producciones.
Cuando la condicin de una produccin se verifica, su
accin se produce, resultando en un cambio que puede
hacer que se verifiquen las condiciones para nuevas
producciones.
Se producen comportamientos dinmicos flexibles y
complejos.
Las acciones cognitivas tienen lugar con la restriccin
de un sistema de capacidad limitada llamado Memoria de
Trabajo.

Sistemas de Produccin
Anderson (1993)

Pueden estar involucradas cientos de producciones en el

modelo.
Las operaciones de muchas producciones son internas al
sistema cognitivo y no observables.
Se asume que el aprendizaje puede ocurrir con la
presentacin de cada problema adicional.
Estimaciones del aprendizaje del estudiante de cada
regla de produccin son mantenidas y actualizadas
mediante tcnicas bayesianas.
Este modelo puede ser usado de hecho para resolver
problemas.

Sistemas de Produccin
Anderson (1993)

E -> Error;

P ( Ln / Cn ) P ( Ln 1 / Cn ) 1 P ( Ln 1 / Cn ) P(T )

C-> accin
correcta;

P( Ln / En ) P ( Ln 1 / En ) 1 P ( Ln 1 / En ) P(T )

L-> Estado
Aprendido;

P ( Ln 1 ) P(C / L)
P ( Ln 1 / Cn )
P ( Ln 1 ) P(C / L) P (U n 1 ) P(C / U )
P( Ln 1 ) P( E / L)
P( Ln 1 / En )
P ( Ln 1 ) P( E / L) P (U n 1 ) P( E / U )

U-> Estado no
Aprendido,
n-> etapa n-sima
de aplicacin de una
regla;
T-> transicin del
estado U al estado L
dado la oportunidad
de aplicar la regla.

Inferencia basada en probabilidad en

diagnstico cognitivo.
Mislevy (1995)

Espacio de modelos de estudiantes: caracterizacin

simplificada de los conocimientos de los estudiantes, habilidades,
y/o estrategias, indexadas por variables que indican sus aspectos
clave.
A partir de la teora y datos, se postulan probabilidades para las
formas en que los estudiantes con diferentes configuraciones en
el espacio resolvern problemas, respondern preguntas, etc.
La aplicacin de teora de probabilidades permite asignar a las
observaciones de las acciones de un estudiante valores ms
probables de los parmetros en un modelo de estudiante.

Redes de Inferencia.
Mislevy (1995)

Independencia Condicional: Un conjunto de variables puede

estar relacionado en una poblacin, pero son independientes
dado un segundo conjunto de variables.
Representacin Recursiva de la distribucin conjunta de las
variables:
n

P( X 1 , X 2 ,..., X n ) P( X j / X j 1 ,..., X 1 )
j 1

La representacin recursiva y las relaciones de independencia

y dependencia condicional simplifican en gran medida la
expresin de la distribucin conjunta.

Redes de Inferencia.
Mislevy (1995)

La red se puede representar por un grafo dirigido acclico

Las direcciones indican que variables son escritas cmo
condicionales en otras en la representacin.
Acclico refiere a que no se pueden dar ciclos de dependencia
entre las variables.
Cada variable es un nodo en el grafo.
La direccin de la flecha va de los eventos condicionantes a
los eventos condicionados.

Redes de Inferencia.
Mislevy (1995)

Cliques:subconjunto de variables que estn todas ligadas por

pares unas a las otras.
Interseccin de cliques: conjunto de variables comunes a
dos cliques.
Cliques y Intersecciones de Cliques son la estructura para la
actualizacin local de la red.
Representacin conjunta del rbol representa la estructura
conectada en forma simple (por un solo camino) de cliques y
intersecciones de cliques.

Redes de Inferencia.
Mislevy (1995)

Tablas Potenciales contienen distribucin conjunta de cliques

y intesecciones.
Las tablas potenciales se usan para hacer actualizaciones
locales de la red.
Las actualizaciones se realizan cada vez que se recoge nueva
evidencia, esto es cada vez que una variable observable cambia
de valor.

Aplicacin al diagnstico cognitivo.

Mislevy (1995)

Universo de modelos de estudiantes: es un supermodelo

que est indexado por parmetros que significan distinciones
entre estados de comprensin.
es un vector de parmetros del modelo de estudiante.
Los parmetros en pueden ser cuantitativos o cualitativos, y
los cualitativos pueden ser ordenados, parcialmente ordenados
o no ordenados.
El problema de modelizacin es delinear los estados o
niveles de comprensin en el dominio de aprendizaje.

Aplicacin al diagnstico cognitivo.

Mislevy (1995)

Modelo de rendimiento consiste de una base de

conocimiento y reglas de manipulacin que pueden ser
ejecutadas en un dominio de inters.
El problema de construccin de tareas es la elaboracin
de situaciones para las cuales los estudiantes que difieren en
los parmetros del espacio es probable que se comporten en
formas observables diferentes.
P(X/), es la probabilidad condicional de diferentes
comportamientos dado los estados no observables del
estudiante, X representa las observaciones.

Aplicacin al diagnstico cognitivo.

Mislevy (1995)

El problema de inferencia es razonar desde las observaciones

a los modelos de estudiante, para lo cual se usan las redes de
inferencia y los cmputos locales.

La construccin del modelo y construccin de tems

definen las variables relevantes (variables del modelo de
estudiante y las variables observables X) y proveen de las
probabilidades condicionales.

Aplicacin al diagnstico Cognitivo.

Mislevy (1995)

P( ) y P(X/ ) implican lo que se espera inicialmente para lo

que se puede observar a partir de un estudiante.
Una

vez que se tienen nuevas observaciones se revisan las

probabilidades sobre la red para hacer inferencias acerca de
dado X mediante P( / X ) P(X/ ) P( ).
P( / X ) carcteriza la creencia acerca de un modelo particular
de estudiante despus de haber observado una muestra de el
comportamiento del estudiante.

Atributos Psicomtricos

Atributos psicomtricos.
Los atributos caracterizan los tems de un test.
Los atributos pueden ser interpretados como procesos
cognitivos o habilidades que son requeridos para un
desempeo correcto en un tem particular de un test.
Un atributo puede ser tambin una produccin individual
en un modelo de sistema de produccin de habilidad.
Un atributo puede ser en otros casos conceptos ms vagos
como aprendizaje de fracciones o habilidades de
razonamiento matemtico.

Rule Space Model.

Kikumi K. Tatsuoka

Rule Space Model.

Kikumi K. Tatsuoka
El anlisis de espacio de reglas es una aproximacin probabilistica a la
evaluacin diagnstica cognitiva cuyo propsito es identificar los estados de
conocimiento de los examinados, basndose en el anlisis de los requerimientos
cognitivos de la tarea, tambin llamados atributos.
Un atributo de una tarea es una expresin de una dimensin latente de la tarea
que es requerida en orden de completar la tarea exitosamente.
Algunos ejemplos de tipos de atributos son: procedimientos, heursticas,
estrategias, habilidades, y otros conocimientos componentes.

Rule Space Model.

Kikumi K. Tatsuoka

Los atributos de una tarea se definen a partir del conocimiento del dominio
evaluado y del conocimiento de la psicologa cognitiva relevante para la tarea.

El modelo de espacio de reglas permite el mapeo de patrones de atributos

(estados de conocimiento) en patrones ideales de escores de tems,
correspondientes a los diversos estados de conocimiento.

Modelos Multidimensionales de
Teora de Respuesta a los tems.
(MIRT)

Modelos Multidimensionales de Teora de

Respuesta a los tems.
Se asume que la respuesta a un tem depende de la posicin
del sujeto en un espacio latente multidimensional en el cual se
representa la habilidad del sujeto para responder
correctamente a un tem.

Modelos Compensatorios vs Parcialmente

Compensatorios.

Modelos Multidimensionales de
Teora de Respuesta a los tems.

P ( xij 1| i , j , j )

exp j i j
'

1 exp j i j
'

j j1 ,..., jK

i i1 ,...,iK

Discriminacin Multidimensional del

tem.
Aj es la capacidad de un tem de
discriminar individuos a travs de las Fdimensiones del espacio latente

Aj

f 1

2
ij

Aj es una funcin de la pendiente de la superficie de respuesta

a los tems (SRI) definida por el modelo en el punto donde
ocurre el mximo de las pendientes mximas, en la direccin
indicada por la localizacin multidimensional.
Este punto ocurre sobre la lnea de inflexin de la SRI.

Dificultad Multidimensional del tem:

MDIFF.
La localizacin multidimensional de un tem
est dada por,

Aj

y sus cosenos directores.

Indica

la distancia a partir del origen en el espacio al

punto de mxima pendiente (las discriminaciones
mximas de los items) en una direccin particular a partir
del origen.

Direccin de la pendiente mxima a

partir del origen.

cos( jf )

jf

F
2

jf
f 1

tem-vectores
El origen del vector esta dado por la dificultad
multidimensional , esto es, la distancia del origen del espacio al
punto de mxima pendiente.
Su longitud est dada por Aj.
La direccin se deriva de los cosenos directores.

Ejemplo: Modelizacin del patrn de

respuesta de un test de Evaluacin de la
Paridad.
Existen dos grandes tipos de modelos de evaluacin de la paridad.
Uno se basa en asumir que la extraccin de la paridad involucra alguna forma de
clculo mental. De acuerdo a dicha hiptesis se espera que exista un efecto
denominado efecto del tamao, en el cual existe una relacin montona creciente
entre la magnitud de los nmeros y los tiempos de respuesta y la frecuencia de
errores, y la magnitud del nmero es entonces una variable relevante para explicar
tiempos de respuesta y tasas de error .
Otro tipo de modelos considera que en la extraccin de la paridad esta
involucrada la recuperacin de informacin de la paridad de un nmero, a partir de
una memoria semntica almacenada en la memoria a largo plazo, y que
posiblemente involucra otras propiedades del nmero.

Tarea de Evaluacin de la
Paridad
Los tems se presentan en forma visual, en
un test psicomtrico convecional.
Al principio del test se encuentra una
consigna que explica en que consiste la
tarea y define las restricciones que existen a
la forma de respuesta a los tems.
La consigna fue leda por un evaluador
previamente.
La respuesta a cada tems se hizo
escribiendo una P para indicar un nmero
par, y una I para indicar un nmero impar.

i
1
2
3
4
5
6
7
8
9
10

v
4
7
9
6
33
74
86
14
51
38

i
11
12
13
14
15
16
17
18
19
20

v
27
66
58
40
71
85
123
269
496
346

RESULTADOS: Test de Evaluacin de la Paridad.

Figura 1. Parmetros estimados para el modelo MIRT para la solucin de 2 y 3 dimensiones.

Valores ms negativos de MDIFF corresponden a tems de menor dificultad. Con azul se
sealan los tems ms fciles y con rojo los ms difciles dentro de cada grupo de tems (1
cifra, 2 cifras, 3 cifras).Los valores sombreados corresponden a el tem ms difcil (celeste) y
ms fcil (rosa).

Ejemplo de Curvas Obtenidas.

4

Ejemplo de Curvas Obtenidas.

7

Ejemplo de Curvas Obtenidas.

9

Ejemplo de Curvas Obtenidas.

6

Ejemplo de Curvas Obtenidas.

38

Ejemplo de Curvas Obtenidas.

27

Modelizacin Cognitiva de los tems.

La aproximacin seguida para elaborar un modelo cognitivo de las
respuestas a los tems se bas en la idea usada por Embretson de
analisar el efecto de factores de complejidad cognitiva.
Tatsuoka (rule space methods) usa tambin una aproximacin similar
para evaluar las matrices Q o de incidencia de atritutos cognitvos de los
tems de un test. Usa un modelo de regresin lineal que considera la
variable respuesta dificultad unidimensional del tem, y las columnas
de la matriz Q de atributos cognitivos como variables explicativas
(considera R2 y R2ajustado para comparar entre modelos).
Para Tatsuoka la matriz Q es una definicin operativa del modelo
cognitivo utilizado.
En este caso se utiliz como medida para caracterizar el procesamiento
de informacin cogntiva el MDIFF.
Se consideraron todos los factores de complejidad cognitiva de acuerdo
a las dos hiptesis alternativas.
Se incluyeron en el modelo todos aquellos factores de complejidad
cognitiva que tuvieran algn efecto en el MDIFF o bien si actan como
factores de confusin.

Modelizacin Cognitiva de los tems.

El enfoque seguido se basa en la Teora de procesamiento de
informacin cognitiva.
Informacin cognitiva.
La informacin refiere a las representaciones derivadas por un sujeto a
partir de la estimulacin ambiental o a partir del procesamiento de
dichas influencias que producen selecciones entre opciones alternativas
para la creencia o la accin.
Procesamiento de informacin Cognitiva.
El procesamiento de informacin refiere a cmo la informacin es
modificada para que sta eventualmente produzca su influencia
observada.
Modelos de Procesamiento de informacin cognitiva.
Los modelos de procesamiento de informacin son descripciones
tericas de una secuencia de pasos o etapas a travs de la cual este
procesamiento es llevado a cabo.

Modelizacin Cognitiva de los tems.

Figura 4. Modelo final de MDIFF, tabla anova para el modelo y tabla de estimacin de los coeficientes del modelo. E(MDIFF) es el valor esperado de acuerdo al modelo. El modelo explica
un 82,7% de la varianza de MDIFF y el efecto conjunto de las variables explicativas es altamente significativo, valor-p<0.001.

Anlisis de Cluster de tems para Confirmar la

Estructura Dimensional.
Una aproximacin a la determinacin de la dimensin del espacio
latente necesario para modelar bien las relaciones en los datos es
hacer un anlisis de cluster de una medida de similaridad de los
constructos medidos por los tems.
El nmero de cluster encontrados es un lmite superior para la
dimensin del espacio latente.
El nmero de dimensiones se puede determinar usando anlisis de
cluster comparando los resultados de anlisis con diferente nmero de
dimensiones.
Si los anlisis de cluster son esencialmente los mismos para
diferentes nmeros de dimensiones, el menor nmero de dimensiones
usado para el anlisis es suficiente para modelizar las relaciones en la
matriz de datos.

Medidas de Similaridad
ngulo entre cada par de vector-item (Miller y Hirsch, 1992)

12 ar cos(cos cos 2 )
'
1

cos 12

'
1

a2

a
l 1

2
1l

a
l 1

2
2l

Medidas de Similaridad
Covarianza condicional entre items.

E[cov(U i , U j Y )] P(Y k ) cov(U i , U j Y k )

k 0

Y = nmero de respuestas
correctas.

Mtodos de Anlisis de Cluster.

Kim (2001) encontr que el mtodo que parece funcionar mejor con
el ngulo entre tems es el mtodo de Ward (1963).
Roussos (1998) encontr que el mtodo que parece funcionar mejor
con covarianzas condicionales es unweighted pair-group method of
averages (UPGMA)(Sokal y Michener 1958).

Ejemplo: Dimensin del espacio

latente en el Test de Paridad.
Se aplic cmo medida de similaridad el ngulo entre tems y el
mtodo de anlisis de cluster fue el mtodo de anlisis de cluster
gerrquico de Ward.
Para ello se compara la solucin para d=2,3,4,5 y 6.

Test de Evaluacin de la Paridad: Grfico

Vectorial en 2 dimensiones.
4

10
14

16
2

20
18
12 19 9
4
832

13

-2

17

-4

15

-4

-2

0
1

i
1
2
3
4
5
6
7
8
9
10

v
4
7
9
6
33
74
86
14
51
38

i
11
12
13
14
15
16
17
18
19
20

v
27
66
58
40
71
85
123
269
496
346

Nmero de tem.
hclust (*, "ward")
13

11

19

20

12

18

15

17

10

16

14

100

200

Height
300

400

58

27

51

33

496

346

66

269

86

71

123

14

38

74

85

40

100

200

Height
300

400

Cluster Dendrogram

Valor del tem

hclust (*, "ward")

Valor del tem

hclust (*, "ward")

Valor del tem

hclust (*, "ward")

71

51

123

27

269

85

40

66

50

Height

Height

150

150

250

Cluster Dendrogram:4D

33

14

86

38

346

58

496

74

51

33

71

27

123

269

85

66

40

38

74

346

58

14

86

496

0 50

71

33

123

27

269

85

66

40

51

38

74

496

14

86

346

58

58

27

51

33

496

346

66

269

86

71

123

14

38

74

85

40

Height

Height

100

100 200

200

300

300 400

Cluster Dendrogram:2D

Cluster Dendrogram:3D

Valor del tem

hclust (*, "ward")

Valor del tem

hclust (*, "ward")

Cluster Dendrogram:5D

Valor del tem

hclust (*, "ward")
Valor del tem
hclust (*, "ward")

71

51

33

123

27

269

85

40

100

Height

Height

150

150

200

Cluster Dendrogram:5D

66

50

50

Valor del tem

hclust (*, "ward")

346

58

38

86

14

496

74

71

51

123

27

269

85

40

4
66

33

14

86

38

346

58

496

74

51

33

71

27

123

269

85

66

40

38

74

346

58

14

86

496

71

33

123

27

269

85

66

40

51

38

74

496

14

86

346

58

Height

Height

100

0 50

150

200

250

300

Cluster Dendrogram:3D
Cluster Dendrogram:4D

Valor del tem

hclust (*, "ward")

Cluster Dendrogram:6D

Resumen de la interpretacin de los

resultados anteriores.
dimensin = 2, no captura apropiadamente las
relaciones entre los tems.
dimensin = 3, se observa una mejora importante.
dimensin = 4 y 5 una mejora relativamente pequea
respecto a dimensin = 3, pero poco diferencia entre d=4
y d=5.

Resumen de la interpretacin de los

resultados anteriores.
Cluster 1: Contiene tems de una sola cifra, 66, 40.
Cluster 2: Contiene tems pares de mltiples cifras: ej.
38.
Cluster 3: Contiene tems impares de mltiples cifras:
ej. 27.

Una hiptesis de Trabajo y muchas preguntas.

Extraccin
de la paridad
de cada
cifra.

Codificacin del
estmulo

Procesamiento
Sintctico

Extraccin de
la magnitud
de cada cifra

Respuesta

Gracias