Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Confiabilidadentre Calificadores
Confiabilidadentre Calificadores
net/publication/309282173
CITATIONS READS
0 4,671
1 author:
SEE PROFILE
Some of the authors of this publication are also working on these related projects:
Investigando factores de riesgo en una muestra clínica de ofensores de violencia de pareja: De cara ante nuevas masculinidades View project
All content following this page was uploaded by Oscar Esparza-Del Villar on 19 October 2016.
Confiabilidad entre
calificadores del test proyectivo
htp en psicólogos mexicanos
28 p.; 30 cm.
Incluye bibliografía
Colección Reportes Técnicos de Investigación Isbn: 978-607-7953-80-7
Serie ICSA, Vol. 12. isBn: 978-607-520-005-7
Contenido:
D. R. © Quiñones Soto, Juan; Esparza del Villar, Óscar Armando; Carrillo Saucedo, Irene
Concepción.
I- Teoría
1.1 Importancia de los tests psicométricos 11
1.2 Propiedades psicométricas de los tests 12
1.3 Confiabilidad del test 12
1.5 Relación entre confiabilidad y validez 14
1.6 Tests proyectivos 14
1.7 Propiedades psicométricas del Rorschach 15
1.8 Propiedades psicométricas del TAT 16
1.9 Estudios psicométricos del HTP 16
1.10 Propuesta del presente estudio 17
II. Método
Participantes 19
Procedimiento 19
Resultados 19
Tabla 1. Inferencias diagnosticadas por cada uno
De los psicólogos 20
III- Discusión
Referencias
Resumen
L
as propiedades psicométricas de un test son lo que determina si el test es
apto para hacer evaluaciones. Un test que no cuente con las propiedades
psicométricas adecuadas no debe usarse ya que no mide lo que se espera
que mida. Dos son las propiedades psicométricas que se evalúan que son la
confiabilidad y la validez. La confiabilidad tiene que ver con la consistencia del ins-
trumento y la validez tiene que ver con que el instrumento mida lo que se pretende
medir. La propiedad más básica es la confiabilidad ya que sin ella el test no puede
ser válido. El presente estudio analizó la propiedad psicométrica de la confiabilidad
entre calificadores del test proyectivo casa, árbol, persona (HTP). Se evaluó la con-
fiabilidad entre calificadores a través de seis psicólogos a los cuales se les dio los
mismos dibujos de una paciente para evaluar si había acuerdo en los diagnósticos
o inferencias del test. Tres de los psicólogos han dado la materia de psicometría y
otros tres son psicólogos clínicos que usan el test a diario en su práctica. Se encon-
tró que el HTP no cuenta con una adecuada confiabilidad entre calificadores, por lo
tanto se asume que tampoco presenta validez. Se recomienda dejar de usar el HTP
para el diagnóstico de las personas.
7
Abstract
T
he psychometric properties of a test are what determine if a test should be
used for evaluating people. A test that does not have adequate psychometric
properties should not be used since it does not measure what is expected to
measure. There are two psychometric properties that are evaluated which
are reliability and validity. The reliability has to do with the consistency of the test
and the validity analyzes if the test measures what it’s supposed to measure. The
most basic psychometric property is the reliability since cannot be valid without be-
ing reliable. This study analyzed the psychometric property of inter-rater reliability
in the projective test House-Tree-Person (HTP). The inter-rater reliability was eval-
uated with the help of six psychologists which received the same answer drawings
from the HTP test and were asked for their interpretation. We were interested in
the agreement amongst the psychologists. Three of the psychologists had previously
taught the psychometrics class, and the other three are clinicians who use the HTP
test on a daily basis in their practice. The results indicated that the HTP test does
not have an adequate inter-rater reliability, an thus we can assume that it does not
have validity. We recommend to stop using the HTP test for diagnosing people.
Palabras clave
Tests proyectivos, propiedades psicométricas, confiabilidad.
Usuarios potenciales
Psicólogos clínicos y docentes de la materia de psicometría.
Reconocimientos
(Agradecimientos a la institución que financió, estudiantes que colaboraron, insti-
tuciones que apoyaron a la realización del proyecto, etc.)
A la UACJ por haber prestado sus recursos e instalaciones para llevar a cabo esta
investigación.
9
I- Teoría
1.1 Importancia de los tests psicométricos
U
na de las principales tareas de la psicología es la de desarrollar instrumen-
tos que puedan evaluar distintas características y rasgos de las personas.
El contar con este tipo de evaluaciones, o tests, nos permite conocer el pasa-
do de las personas, evaluar aspectos del presente e inclusive poder predecir
su futuro. Cada vez que en la psicología se desarrolla un test, no sólo se redactan los
reactivos del instrumento esperando que midan lo que se espera medir, sino que es
necesario evaluar las propiedades psicométricas que incluyen la confiabilidad y la va-
lidez. Es importante mencionar desde este momento que existen tests que no miden lo
que pretenden medir o que miden pero de manera inexacta. La redacción de reactivos
para un test por un experto en el área no es garantía de que ese instrumento es un buen
instrumento, y es por esto que en la psicología los investigadores se esmeran por asegu-
rarse de la validez del instrumento. Es por esta razón que en la psicología se usan tests
tan exactos que antes de que existieran aparatos sofisticados, como las tomografías o
resonancias electromagnéticas, los tests psicológicos ayudaban a los médicos a identifi-
car las áreas del cerebro dañadas inclusive para intervenir en ellas quirúrgicamente.
Actualmente los tests psicológicos se usan para diversos casos como para identificar
problemas escolares en niños, en asuntos legales, en casos de custodia de hijos, selec-
ción de personal, entre otros. Todos estos casos tienen una relevancia muy importante
y los resultados de arrojen los tests que se usan para sacar conclusiones en este tipo
de situaciones deben de ser lo más exactos posibles. A pesar de la importancia de los
tests en estas situaciones, en la actualidad hay psicólogos en todo México que utilizan
tests que no cuentan con confiabilidad y validez, o sea, que no miden lo que pretenden
medir llevándolos a hacer conclusiones erróneas en sus diagnósticos. Este problema se
puede presentar en todo tipos de tests, independientemente de la corriente psicológica
que sigan, sin embargo, los test proyectivos presentan este problema de manera más
frecuente. Dentro de los tests proyectivos que han sido estudiados y que presentan
problemas de confiabilidad y validez se encuentran el test de las manchas de tinta de
11
Rorschach, el test de apercepción temática (tat), el dibujo de una persona (dap), el
12 casa-árbol-persona (htp, por sus siglas en inglés), el dibujo de una figura humana
(hfd, por sus siglas en inglés) y muñecos sexuados (Hunsley, Lee y Wood, 2004).
1.4 Validez
La validez evalúa que un test mida lo que pretende medir y se pueden dividir en
validez de fase, validez de constructo, validez convergente, validez concurrente, va-
lidez discriminante y validez predictiva. Aunque al elaborarse un test se piense que
mide el constructo para lo que fue hecho, no necesariamente así será. Se necesita
evaluar la validez para estar seguros que mide lo que pretende. Por ejemplo, puede
que yo elabore un test que yo piense mida estrés, pero al evaluar la validez resulte
que mide más la depresión que el estrés. La validez de fase consiste en mostrar los
reactivos de una escala, una vez que se crea, a expertos del tema y recibir su retroa-
limentación para retenerlos, modificarlos o eliminarlos según la opinión de ellos. La
validez de constructo consiste en que el instrumento refleje el constructo que se pre-
tende medir incluyendo los factores del constructo. Por ejemplo, si mi teoría me dice
que la ansiedad se divide en ansiedad estado y ansiedad rasgo, entonces mi instru-
mento debe de reflejar estos dos factores. Evalúo los factores con análisis factoriales
para verificar la estructura de los reactivos.
La validez convergente consiste en que el test tenga una correlación alta con otro
test que mida lo mismo, y la validez convergente en que el test tenga una correlación
moderada o alta con otro test que mida un constructo relacionado. Por ejemplo, si
creo una nueva escala de ansiedad para estudiantes, escogería la escala del IDARE
(que evalúa la ansiedad) ya que es un instrumento con buenas propiedades psico-
métricas para evaluar la validez convergente y escogería el BDI-II (que evalúa de-
presión), que cuenta con buenas propiedades psicométricas también, para evaluar
la validez concurrente ya que se sabe que la ansiedad tiene una fuerte correlación
con la depresión. La validez discriminante consiste en que el test no se correlacione
con otro test que mida un constructo con el cual no se debe relacionar. Por ejemplo,
correlacionaría mi nueva escala de ansiedad para estudiantes con un test de inteli-
gencia y esperaría que no hubiera ninguna relación entre las dos, ya que en teoría la
ansiedad no tiene relación con la inteligencia. Por último está la validez predictiva,
la cual evalúa la correlación del test creado con otro constructo con el cual esperamos
se relacione en el futuro. Por ejemplo un test de ingreso a la universidad que se co-
rrelaciona con éxito académico en un futuro, lo cual es la razón por la cual se utilizan
estos tests para la selección de aspirantes.
I. Teoría
1.5 Relación entre confiabilidad y validez
14
Una vez explicado lo que es la confiabilidad y la validez es necesario explicar la
relación de estas dos propiedades psicométricas. De acuerdo a Paul Meehl (1986), si
no hay confiabilidad no hay validez ya que la validez está limitada a la raíz cuadrada
de la confiabilidad. Por esta razón primero se debe de demostrar la confiabilidad de
un test, y solamente si el instrumento es confiable, entonces se podrá evaluar la vali-
dez. Un instrumento puede ser confiable sin ser válido, pero jamás un test podrá ser
válido sin ser confiable.
Para entender mejor la relación de la confiabilidad y validez se utilizará el ejemplo
del tiro al blanco. Imaginemos que acabamos de construir una pistola y queremos
calibrar la mira para apuntar. La pistola se puso fija para que no se mueva ni un mi-
límetro y se apuntó exactamente al centro del tiro al blanco. Primero evaluaremos la
confiabilidad de la pistola y para hacer esto dispararemos 6 veces seguidas sin mover
la pistola fija. Digamos que se apuntó al centro, pero las 6 balas impactaron 5 centí-
metros arriba del centro. Si las balas no le dieron al centro, pero todas impactaron en
el mismo lugar (5 cm arriba del centro) entonces decimos que la pistola es confiable,
ya que es estable por que siempre que se dispara impactan las balas donde mismo,
o sea hay consistencia en los disparos. La pistola no sería confiable si no hubiera
consistencia en los disparos y se demostraría si las 6 balas hubieran impactado en
distintas partes del tiro al blanco sin haber movido la pistola para disparar. Imagine
una pistola sin confiabilidad, el disparo saldría en distintas direcciones inclusive sin
mover la pistola, y si fuera así, jamás atinaríamos a donde quisiéramos apuntar. Es
por esto que es necesaria primero la confiabilidad en un instrumento. Una vez que
la pistola se ha demostrado que es confiable, entonces calibraríamos la mira, y esto
sería el proceso de la validez. Regresando al ejemplo y recordemos que apuntando al
centro las balas impactan 5 cm arriba del centro, lo cual haría que la pistola careciera
de validez, por que apuntando al centro, las balas llegan a otro lugar. Así pasa a veces
con los tests ya que pensamos que evaluamos un constructo, sin embargo puede que
estemos midiendo algo que esté 5 cm fuera del rango. Para hacer válida la pistola
tendríamos que calibrar la mira de manera que si apuntamos con ella al centro, las
balas lleguen realmente al centro. Lo mismo con los tests, una vez que se demuestran
que son confiables, entonces hay que calibrarlos para que sean válidos.
I. Teoría
Sin embargo si hay relación entre:
16
ɶɶ Calidad de buena forma (F+%) y resultado de psicoterapia.
ɶɶ Calidad de buena forma (F+%) para distinguir a pacientes psicóticos de pa-
cientes no psicóticos, y a esquizofrénicos reactivos de esquizofrénicos proce-
sales.
ɶɶ Calidad de buena forma en combinación con la razón de forma-color (FC:CF+C),
puede ayudar en predecir comportamiento suicida o agresivo.
I. Teoría
II. Método
Participantes
Para el presente estudio se escogieron a 6 psicólogos de Ciudad Juárez, México,
con experiencia en la aplicación del HTP. Tres de los psicólogos fueron maestros que
han impartido la clase de psicometría a nivel universitario y dentro de su clase en-
señan la interpretación del HTP. Los otros tres participantes eran terapeutas de un
instituto que atiende a mujeres en situaciones de violencia. Cuatro de los psicólogos
eran del sexo femenino y dos del masculino.
Procedimiento
Se le entregó a cada uno de los psicólogos el mismo paquete con los dibujos de la
casa, el árbol y la persona además de información sociodemográfica de una paciente.
Los dibujos se obtuvieron de una paciente de uno de los autores del presente proyecto
bajo la autorización de la paciente. Se les pidió a los psicólogos que hicieran un diag-
nóstico con los dibujos que se les proporcionó. El estudio que se propuso fue sencillo,
debido al tiempo que requiere este test en revisarse. A cada uno de los psicólogos se
le dio sólo el resultado de una paciente, y para el análisis de la confiabilidad entre
calificadores se compararon los diagnósticos hechos por cada uno de los psicólogos.
Resultados
Los resultados fueron los siguientes: entre los 6 psicólogos se hicieron un total
de 67 inferencias distintas acerca de la paciente. Para empezar cada uno de los psi-
cólogos tuvo un diferente número de inferencias. El número de inferencias hechas
por cada uno de los psicólogos fueron: 8, 13, 16, 19, 21 y 29 (ver tabla 1). De las 67
inferencias únicas, ninguna fue hecha por los 6 psicólogos. Solo hubo un criterio en
donde cinco psicólogos coincidieron que fue que la paciente presentaba “ansiedad”.
Dos de las inferencias fueron identificadas por cuatro psicólogos, cuatro inferencias
fueron identificadas por tres psicólogos y 19 inferencias por 2 psicólogos. Además, 41
inferencias fueron hechas por un solo psicólogo sin que al menos otro más hiciera la
misma inferencia (ver tabla 1).
19
Tabla 1
Inferencias diagnosticadas por cada uno de los psicólogos
(19 Rasgos) (29 Rasgos) (8 Rasgos) (16 Rasgos) (13 Rasgos) (21 Rasgos)
Ansiedad Ansiedad
Ansiedad Ansiedad Tensión y ansiedad
generalizada y tensión
Sentimientos
Sentimientos
Relación con padre Figura paterna ambivalentes en
ambivalentes hacia
es ambivalente ambivalente relación al hogar
padres
y miembros
Necesidad de
Necesidad Necesidad de Necesidad de
afecto por parte de
de afecto afecto afecto
sus padres
Aislamiento Aislamiento Aislamiento
Inmadurez Inmadurez Inmadurez
Huye de la realidad Busca seguridad Buscar
por medio de la con el uso de la satisfacción
fantasía fantasía en la fantasía
Fuerte Hostilidad en
Hostilidad en la
conflicto con su ambiente
mamá
madre familiar
Suspicacia Suspicacia
Defensiva Defensividad
Conductas y
Agresión
actitudes agresivas
Inadecuación Inadecuación
Rechazo Rechazo
Limitar sus
Pocos contactos
relaciones
afectivos
interpersonales
Percibe a
Figura materna
mamá como
devaluada
autodesvalorizada
Identifica y admira Figura paterna es
la figura masculina fuente de afecto
Se identifica con la
figura masculina,
Conflicto con la
Conflicto en la
identidad de género
identificación del
género
Conducta rígida Rígida
Pensamientos
Obsesiva
obsesivos
...continúa
II. Método
Psicólogo 1 Psicólogo 2 Psicólogo 3 Psicólogo 4 Psicólogo 5 Psicólogo 6
(19 Rasgos) (29 Rasgos) (8 Rasgos) (16 Rasgos) (13 Rasgos) (2 Rasgos)
Madre
censuradora
Negar su propia
individualidad
en bien de la
familia
Familia funciona
de manera
ineficiente por
problemas del
pasado
Ha encontrado
recursos para
hacer frente
a situaciones
difíciles
Necesidad de
logro de formar
familia
Necesidad de
cerrar un ciclo
en su vida y
continuar
Alguien la
lastimó después
de los 15 años
Débil en esa
ocasión
Traicionada
Necesidad de
autoestima
Muy
contenida
Necesidad de
expresar poder y
dominio
Necesidad de
entender a los
demás
Comportamiento
estable y
controlado
Ambiente
temprano carente
de afecto
No del todo fuerte
No feliz
...continúa
Posibles
alucinaciones
auditivas
Falta de
defensa del
yo
Necesidad de
logro
Necesidad de
aceptación
Frustración
Preocupación
ambiental
Preocupación por sí
misma
Dependencia
Mantener el control
Mantener la
integridad del yo
II. Método
III- Discusión
Se concluye que no existe una buena confiabilidad entre calificadores, ya que de 67
inferencias únicas, sólo una la hacen cinco de los psicólogos, y en cambio 41 inferencias
fueron hechas por un solo psicólogo sin que al menos otro hiciera la misma inferencia.
El número de inferencias también fue inconsistente, ya que el rango es muy amplio.
Para empezar, si hubiera consistencia en el HTP entonces habría aproximadamente
el mismo número de inferencias hechas por todos los psicólogos, pero no fue así. Esto
significa que este test no mide lo que pretende medir ya que para empezar no tiene
la confiabilidad necesaria para evaluar la validez. Si un instrumento no es confiable,
mucho menos es válido (Meehl, 1986). Es un hecho que en varias universidades de
Estados Unidos este instrumento no se enseña por que se conoce de sus limitaciones.
En América Latina, incluido México, este test se sigue usando y enseñando en clases
de licenciatura y posgrados, lo cual es signo de la falta de actualización de los maes-
tros en cuestión de la rama de psicometría dentro de la psicología.
Se recomienda como primer paso asegurarse de que este instrumento sea confiable
antes de seguir siendo enseñado en las escuelas. Se propone mejorar el instrumento
a través de la estandarización y normas generales del HTP específicas para poblacio-
nes latinoamericanas, o también se propone sustituir la enseñanza de éste por otros
instrumentos que sean demostrados confiables y válidos.
25
Referencias
Acklin, M. W., McDowell, C. J. & Verschell, M. S. (2000). Interobserver agreement,
intraobserver reliability, and the Rorschach Comprehensive System. Journal of
Personality Assessment, 74, 15-47.
Entwisle, D. R. (1972). To dispel fantasies about fantasy-based measures of achieve-
ment motivation. Psychological Bulletin, 77, 377-391.
Eron, L. (1950). A normative study of the TAT. Psychological Monographs, 64, 315.
Exner, J. E. (1974). The Rorschach: A comprehensive system (Vol. 1). New York:
Wiley.
Hunsley, J., Lee, C. M. & Wood, J. M. (2004). Controversial and questionable assess-
ment techniques. In S. O. Lilienfeld, J. M. Lohr & S. J. Lynn (Eds.), Science and
Pseudoscience in Clinical Psychology (pp. 39-76). New York: Guilford Press.
Lilienfeld, S. O., Wood, J. M. & Garb, H. N. (2000). The scientific status of projective
techniques. Psychological Science in the Public Interest, 1, 27-66.
Meehl, P. E. (1986). Diagnostic taxa as open concepts: Meta-theoretical and statisti-
cal questions about the reliability and construct validity in the grand strategy
of nosological questions. In T. Millon & G. L. Klerman (Eds.), Contemporary
directions in psychopathology: Toward the DSM-IV (pp. 215-231). New York:
Guilford Press.
Palmer, L., Farrar, A. R., Valle, M., Ghahary, N., Panella, M. & DeGraw, D. (2000).
An investigation of the clinical use of the House-Tree-Person projective draw-
ings in the psychological evaluation of child sexual abuse. Child Maltreatment,
5, 169-175.
Sharky, K. J. & Risler, B. A. (1985). Comparing diagnostic validity of the TAT and a
new picture projection test. Journal of Personality Assessment, 49, 406-412.
Thomas, G. V. & Jolley, R. P. (1998). Drawing conclusions: A re-examination of em-
pirical and conceptual bases for psychological evaluations of children from their
drawings. British Journal of Clinical Psychology, 37, 127-139.
Vass, Z. (1998). The inner formal structure of the H-T-P drawings: An explanatory
study. Journal of Clinical Psychology, 54, 611-619.
Wood, J. M., Nezworski, M. T., Garb, H. N. & Lilienfeld, S. O. (2001). The mispercep-
tion of psychopathology: Problems with the norms of the Comprehensive Sys-
tem for the Rorschach. Clinical Psychology: Science and Practice, 8, 350-373.