Está en la página 1de 18

Evaluacin Cualitativa del Proceso de Adaptacin del Cuestionario sobre Formas de

abordar el aprendizaje, R-SPQ-2F para estudiantes chilenos


Resumen
A travs de la siguiente investigacin se busca desarrollar una evaluacin cualitativa
sobre el cuestionario Formas de Abordar el Aprendizaje en su versin ajustada R-SPQ-2F.
Resultados recientes indican error de medicin en el instrumento, lo que incidira
directamente en el grado de validez y confiabilidad del instrumento (Lpez, 2013). En base
a esto, la presente investigacin tiene como objetivo explorar el grado de error en la
medicin en funcin al proceso de construccin del instrumento previamente adaptado. La
evaluacin del cuestionario a nivel de composicin, y por lo tanto de construccin de tems
se desarrolla a partir de juicio experto, guiado por el Question Appraisal System QAS-99 de
Willis y Lessler (1999), del cual se analizan seis categoras. La mayora de los errores
detectados estn agrupados dentro del criterio de claridad, es decir, se registran errores en la
redaccin, vaguedad de algunos trminos y presencia de elementos que generan confusin.
La segunda categora que registra una proporcin importante de potencial error es la
categora de supuestos; principalmente se registran tems que comprimen ms de una
afirmacin, e tems descontextualizados de la asignatura puntual. Otros elementos
destacados en la revisin de expertos son la deseabilidad social y la confusin sobre la
escala de respuestas.
Antecedentes y Contexto.
La traduccin y/o adaptacin de instrumentos (Allalouf y Sereci, 1998)
principalmente de la cultura anglosajona, se ha vuelto una prctica comn para evaluar las
diferentes esferas de los procesos de enseanza y aprendizaje, y posteriormente
implementar prcticas institucionales. En este contexto nace como una alternativa el
concepto de formas de abordar el aprendizaje, de la lnea de trabajo denominada Student
Approaches to Learning (SAL). Dicho concepto buscar dar cuenta de que es lo que el
estudiante hace cuando aborda una experiencia de aprendizaje (Diseth, 2001), y
consecuentemente aparece el R-SPQ-2F como uno de los instrumentos cuantitativos mas

utilizados para examinar las experiencias de aprendizaje de los estudiantes en educacin


superior (Hernndez Pina, Cuesta, Izquierdo y Monroy, 2009).
En paralelo a esto, cobra cada vez mas fuerza la preocupacin por aspectos
relacionados con la confiabilidad y validez de los instrumentos, y en particular de los
instrumentos adaptados. Algunos investigadores, han sugerido, de manera radical, que un
alto porcentaje de las investigaciones en esta rea son de carcter dbil al punto de llegar a
revelar informacin invlida debido a la escasa rigurosidad a la hora de adaptar los
instrumentos (Hambleton, 2005). El llamado es, por tanto, a fortalecer los procesos de
adaptacin, y de esta manera potenciar el valor de los resultados y datos proporcionado por
dichos instrumentos, y consecuentemente poder llegar a construir inferencias ms slidas y
robustas.
Recientemente la aplicacin del cuestionario Formas de Abordar el Aprendizaje RSPQ-2F de Biggs, Kember y Leung (2001) reporta la existencia de error de medicin, lo
cual incide directamente en el grado de confiabilidad y validez del instrumento (Lpez,
2013). La presente investigacin plantea que esto puede deberse a errores en la
construccin del instrumento. Para poder observar con mayor detencin el error de
medicin, en relacin al cuestionario mismo, los investigadores de este trabajo se proponen
revisar cualitativamente, la composicin de los tems a travs de un panel de experto y la
utilizacin del Question Appraisal System QAS99, el cuestionario sobre las Formas de
Abordar el Aprendizaje R-SPQ-2F de Bigss, Kember y Leung (2001).
La confiabilidad y validez de los cuestionarios, conllevan implicancias importantes
para lo que se denomina portabilidad del un instrumento (Richarson, 2004). Diversos
autores se han preguntado si el R-SPQ-2F es apropiado para medir las formas de abordar el
aprendizaje, y de ser as si es posible de ser utilizado en un contexto diferente de la
poblacin original conservando su validez y confiabilidad (ver Richardson, 2004; Fryer et
al., 2012). Siguiendo este argumento, se han realizado diversas investigaciones que han
analizado las propiedades psicomtricas de la versin revisada del cuestionario Formas de
Abordar el Aprendizaje R-SPQ-2R han sido desarrolladas desde una perspectiva
cuantitativa. Es decir, los esfuerzos se han centrado en analizar y comparar las estructuras
factoriales de las versiones traducidas/adaptadas con la estructura original desarrollada por

Biggs, Kember y Leung (2001) (e.g. Justicia et al., 2008; Immekus e Imbrie 2010; Leung,
Ginnis y Kember, 2008; Stes et al., 2013). Pocos trabajos, exceptuando el de Fryer et al.
(2010), han incorporado mtodos cualitativos, con los cuales los procesos de traduccin y/o
adaptacin son sometidos a diversos mecanismos de control.
Como se puede desprender de lo anterior, el impacto de las tcnicas de anlisis de
validacin cualitativas han sido subestimado (Malda et al., 2008). No se reportan analisis
cualitativos del instrumento, tanto para su versin original como para las versiones
adaptadas (e.g. Biggs, Kember y Leung, 2001; Justicia et al., 2008; Immekus e Imbrie
2010; Leung, Ginnis y Kember, 2008; Stes et al., 2013). Sin embargo, en esta fase es de
alta relevancia, ya que los problemas que emergen como resultado de la escasa rigurosidad
en los procesos de construccin de tems, en especial sobre instrumentos adaptados,
difcilmente pueden ser superados o sobrellevados por mtodos de anlisis cuantitativos,
por muy sofisticados que sean (Malda, et. al, 2008)
Como se menciona anteriormente, en la ausencia de procesos rigurosos sobre el
grado de confiabilidad y validez de los instrumentos, en este caso del cuestionario Formas
de Abordar el Aprendizaje en su versin ajustada R-SPQ-2F, existe el riesgo de generar
conclusiones que carecen de robustez. Esto no solo tiene implicancias a nivel de la
investigacin, sino a nivel prctico y concreto, ya que a partir de estas conclusiones las
instituciones de educacin generan programas de intervencin.

Bases Tericas del cuestionario Formas de Abordar el Aprendizaje, en su versin


ajustada, R-SPQ-2F: Student Approaches to Learning.
Desde los aos setenta se ha venido desarrollando una lnea de investigacin en
educacin superior que est siendo objeto de numerosas investigaciones en el rea de la
educacin superior (Hernndez Pina et al., 2004). Esta lnea ha sido denominada Student
Approaches to learning (SAL). En este contexto surge el concepto de formas de abordar el
aprendizaje.
El concepto de formas de abordar el aprendizaje esta basado en los trabajos de
Marton y Slj (1976). Dichos autores, a travs del anlisis cualitativo sobre los procesos

de aprendizaje, identificaron diferencias individuales entre los estudiantes en las formas


sobre las cuales enfrentaban una tarea (Biggs et al., 2001). Descubrieron que las intenciones
de los estudiantes, previos al desarrollo de la tarea, determinan tanto las estrategias de
aprendizaje que el estudiante desplegara para abordar la tarea, as como, el resultado de la
experiencia de aprendizaje en trminos de su comprensin (Biggs et al., 2001).
A partir de los trabajaos de Marton y Slj (1976), las formas de abordar el
aprendizaje han pasado a ser objeto de estudio de las tcnicas de investigacin
cuantitativas, resultando en la construccin de diversos cuestionarios: Approaches to Study
Inventory (Entwistle & Ramsden, 1983); Revised Approaches to Studying Inventory
(Entwistle & Tait, 1995); Study Process Questionnaire (Biggs, 1983); The Revised TwoFactor Study Process Questionnaire (Biggs, Kember y Leung, 2001); y el Approaches and
Study Skills Inventory for Students (Entwistle, 1997). Estos cuestionarios tienen como
objetivo principal medir que es lo que el estudiante hace cuando aborda una experiencia
de aprendizaje (Diseth, 2001).
El R-SPQ-2F es un instrumento ampliamente utilizado para describir las formas que
tienen los estudiantes de abordar el aprendizaje, ha sido traducido utilizado en diversos
contextos, distintas disciplinas y traducido a varios idiomas (Stes, 2013). Es un cuestionario
compuesto por dos escalas: el aprendizaje profundo y el aprendizaje superficial. El
aprendizaje profundo, se caracteriza porque generan un alto compromiso con su proceso de
aprendizaje; mientras que el aprendizaje superficial, se caracteriza porque generan un bajo
compromiso con su proceso de aprendizaje (Lpez, 2013). A su vez, cada una de estas
escalas, esta compuesta por dos subescalas que aluden a las estrategias y motivaciones. Es
necesario sealar que el fundamento terico que respalda este cuestionario define las
formas en que los estudiantes abordan el aprendizaje no es una caracterstica intrnseca del
estudiante sino que es mas bien una respuesta especifica a un contexto de aprendizaje, y por
lo tanto relacional, depende que otros elementos que interactan simultneamente (Lpez,
2013).
Crticas al Cuestionario R-SPQ-2F
Como ya se ha mencionado no se registra dentro de la literatura investigaciones que
analicen el error de medicin del instrumento, lo cual incide directamente en el grado de

confiabilidad y validez del instrumento. Sin embargo, si se registran investigaciones que


analizan las propiedades psicomtricas, tanto del instrumento original (Biggs, Kember y
Leung, 2001) como de versiones adaptadas del R-SPQ-2F (ver Justicia et al., 2008 ;
Immekus e Imbrie 2010; Leung, Ginnis y Kember, 2008; Stes et al., 2013), y stos revelan
resultados mixtos. Por ejemplo, en cuanto a la estructura principal del R-SPQ-2F,
compuesta por las escalas de aprendizaje profundo y aprendizaje superficial, han entregado
resultados mixtos en investigaciones transculturales. Por un lado, existe un grupo de autores
que han documentado que la estructura bidimensional del cuestionario es consistentemente
robusta en adaptaciones interculturales (Garcia, Maquillon y Hernandez, 2004; Gonzalez et
al., 2011; Justicia et al., 2008; Snelgrove y Slater, 2003; Watkins y Regmi, 1996; Zhang,
2000; Leung et al., (2008). Por otro lado, Fryer et al. (2010), Immekus e Imbrie, (2008) y
Justicia et al., (2008), y Stes et al., (2013) en sus anlisis de datos recolectados en Japn,
Estados Unidos, Espaa y Blgica respectivamente, no encuentran la estructura factorial
que se documenta en la investigacin original de Biggs, Kember y Leung (2001). Estos
ltimos autores, sugieren que el R-SPQ-2F es un instrumento sensible a las variables
culturales, es decir, las propiedades psicomtricas del instrumento varan de una cultura a
otra, en funcin de variables lingsticas y contenido. Argumento congruente con los
resultados de Kember y Grow (1990) y Richardson (1994), quienes fueron los primeros en
advertir sobre la sensibilidad cultural del instrumento.
A nivel nacional, en cuanto a la aplicacin del R-SPQ-F a poblacin de estudiantes
en educacin superior no se han documentado procesos de adaptacin del R-SPQ-2F para
la poblacin estudiantil chilena, dichas investigaciones han utilizado versiones ya adaptadas
para estudiantes espaoles (e.g., Gonzalz et al., 2011; Aran y Ortega, 2012; Lpez, 2012).
Recientemente los resultados de Lpez (2013) se reporta el error de medicin sobre el
instrumento. El error de instrumento puede provenir de diferentes fuentes: el cuestionario,
proceso de recoleccin de daos, el sistema de informacin, el encuestador, el entrevistado y
el contexto de la entrevista (Biermer y Lyberg, 2003). Se plantea como objetivo recolectar
informacin sobre la composicin de los tems, con la finalidad de poder en una segunda
fase generar un instrumento que posea el menor error de medicin posible. Esto se logra
mediante el diseo de preguntas por un lado, fciles de comprender y comunicar, y por otro
lado, factibles de responder.

Diseo y Mtodos
Para la evaluacin del cuestionario Formas de Abordar el Aprendizaje en su versin
ajustada, se desarrolla a partir de la elaboracin de un panel de expertos compuesto por
cinco jueces. Existe una variedad de instrumentos que sirven para realizar una revisin
experta que permita sistematizar los juicios evaluativos de expertos (Olson, 2010). La
presente investigacin se basa en el Question Appraisal System QAS-99 de Willis y Lessler
(1999) para guiar la revisin del cuestionario y, posteriormente sistematizar la informacin.
El Question Appraisal System (Willis y Lessler, 1999) fue traducido y adaptado para la
revisin del cuestionario R-SPQ-2F (Anexo 1). Luego, fue implementado en una
plataforma en lnea, a la cual accedi un panel de expertos constituido por 5 jueces expertos
que cumplen con uno o mas de los siguientes criterios: marco terico bajo el cual es
construido el cuestionario; conocimiento del sistema acadmico chileno y, por tanto la
poblacin objetivo; idioma original en el cual el cuestionario fue elaborado.
En base al objetivo planteado, evaluar cualitativamente el cuestionario Formas de
Abordar el Aprendizaje R-SPQ-2F, se decidi elaborar un juicio de expertos ya que se
considera una de las principales estrategias cualitativas para evaluar la calidad de una
encuesta es la evaluacin de expertos (Fowler, 1995, Olson, 2010), y se considera una
herramienta metodolgica, permite identificar mas problemas que otros mtodos de
evaluacin de cuestionarios en etapa de pre-testeo (Olson, 2010). Es decir mediante la
revisin del juicio de expertos se espera poder detectar problemas en el instrumento para
poder remediarlos, previo a su despliegue (Olson, 2010).
El Question Appraisal System o QAS-99

(Willis y Lessler, 1999) es un

cuestionario compuesto por ocho categoras, cada una de estas ocho categoras alude a
problemas en la construccin de una encuesta. Cada categora est compuesta por
subcategoras, que en su conjunto sirven de gua para que los expertos emitan juicios
evaluativos. Cada una de las subcategoras debe ser marcada con un si o un no,
dependiendo de si se detecta un problema en la construccin de la pregunta en referencia a
la categora, adems de escribir una sugerencia de cmo mejorar la pregunta.

1) Claridad: Identificar problemas relacionados con la intensin o significado de la


pregunta al sujeto encuestado.
2) Supuestos: Determinar si existen problemas con los supuestos hechos o la lgica
subyacente.
3) Conocimiento/Memoria: Revisar si es probable que los sujetos encuestados
desconozcan o tengan problemas para recordar la informacin por la que se les esta
preguntando.
4) Sensibilidad/Sesgo: Evaluar si las preguntas son de carcter sensible o en su redaccin
poseen palabras que causan sensibilidad, y/o poseen sesgos.
5) Categoras de respuesta: Evaluar la adecuacin de respuestas a ser registradas.
6) Otros problemas: Revisar para buscar problemas no identificados en los pasos 1-5.

Resultados.
La informacin de la revisin del instrumento a travs del juicio de expertos ser
sistematizada, a travs de un proceso de tabulacin que agrupe la informacin de cada
integrante del panel de expertos, para cada uno de los tems. Una vez tabulada la
informacin se proceder al anlisis de resultados, para esto la informacin ser agrupada
por las categoras y subcategoras de anlisis propuestas por el Question Appraisal System
o QAS-99 (Willis y Lessler, 1999). A continuacin, el resumen para cada categora:
En cuanto a la categora de Claridad definida como problemas relacionados con el
significado del tem, 18 de los 20 tems marcan error en base a las percepciones de uno o
ms jueces. Se observa lo siguiente en base a cada subcriterio, para lo cual slo se muestran
los tems que reportan un error:

En relacin a la subcategora de redaccin, es decir tems catalogados como


extensos, con problemas de gramtica y/o sintaxis: 14 tems marcan error.

CLARIDAD: Redaccin
tem
1
2
4
7
Error 1
3
1
2

8
2

10
1

11
2

13
1

14
1

15
2

16
2

17
2

19
1

20
2

En relacin a la subcategora de Trminos Tcnicos, es decir tems que no estn


definidos, son poco claros y/o son complejos de comprender tres tems marcan
error.

CLARIDAD: Trminos Tcnicos


tem
1
Error
1

10
3

12
1

En relacin a la subcategora de vaguedad. Entendido como tems catalogados con


mltiples formas de interpretar la pregunta o tems sobre los cuales es difcil decidir
que debe ser incluido o excluido, 13 tems marcan error.

CLARIDAD: Vaguedad
tem
1
2
3
Error 1
2
1

4
2

5
2

6
1

7
1

8
1

10
2

13
1

15
2

16
1

17
1

En cuanto a la subcategora de periodos de referencia. Es decir tems en los cuales


los periodos de referencia estn ausentes, no estn claramente especificados, o estn
en conflicto 7 tems muestran error.

CLARIDAD: Periodos de Referencia


tem
1
3
12
Error 1
1
1

13
2

14
1

15
1

17
1

En relacin a la categora de Supuestos definida como la existencia de problemas


con los supuestos hechos o la lgica subyacente, 19 de los 20 tems marcan algn error por
parte de al menos un juez. Se observa lo siguiente en base a cada subcategora:

En cuanto al subcriterio de supuestos inapropiados sobre los sujetos que responden


o sobre su contexto, 10 tems marcan algn error por el panel de expertos.

SUPUESTOS: Supuestos Inapropiados


tem
2
9
10
13
14
Error 1
1
1
1
1

16
1

17
1

18
2

19
1

20
1

En relacin a la subcategora asume comportamientos o experiencias como


constantes para situaciones en las que el comportamiento vara 11 tems registran
error.

SUPUESTOS: Asume Comportamientos o Experiencias como Constantes


tem
1
2
3
4
8
9
12
15
18
19
Error 1
1
1
1
2
2
2
2
1
1

20
1

En cuanto a la subcategora de Sobreposicin. Es decir tems que contienen


implcitamente ms de una pregunta se registran 7 tems con error.

SUPUESTOS: Sobreposicin
tem
2
6
7
Error 3
3
1

10
1

11
1

13
1

15
1

En relacin a la categora de Conocimiento/Memoria definida como tems que


poseen informacin que los sujetos encuestados desconozcan y/o tengan problemas para
recordar la informacin por la que se les esta preguntando no se registr error para ninguna
de las cuatro subcategoras.
Finalmente en relacin a la categora de Sensibilidad/Sesgo definido como tems de
carcter sensible o que en su redaccin poseen palabras que causan sensibilidad, y/o poseen
sesgos. Los 20 tems poseen algn error en cuanto a esta categora de anlisis en base a las
percepciones del panel de expertos.

Los cinco jueces no registran errores para la subcategoras de contenido sensible.


Que hace referencia a temas que son vergonzosos, muy privados, o involucran
comportamientos ilegales.

En relacin a la subcategora de redaccin sensible. Es decir, dado que el tema es


sensible, la redaccin debe ser mejorada para minimizar la sensitividad, un solo
juez distingui un problema en esta subcategora en referencia al tem 7.

En cuanto a la subcategora socialmente aceptable; es decir, la respuesta esta


implcita en la pregunta, 8 tems registraron error (en la tabal no se incluye los datos
de un juez que considera que la deseabilidad social esta presente de manera
transversal a los 20 tems).

SENSIBILIDAD: Socialmente Aceptable


tem

11

12

15

20

Error 2

En relacin a la ltima categora de anlisis Categoras de respuesta, la cual hace


referencia a la evaluacin del grado de adecuacin de respuestas a ser registradas.

En cuanto a la subcategora preguntas abiertas, definidas como inapropiadas o


difciles. Un solo juez detecta problemas en esta subcategora, en relacin al tem 1.

Discordancia entre la pregunta y las categoras de respuestas. Un solo juez detecta


problemas en esta subcategora, en relacin al tem 2.

Superposicin de categoras de respuestas. Un solo juez detecta problemas en esta


subcategora, en relacin al tem 1.

En cuanto a las categoras de trminos tcnicos no estn 1definidos, Categoras de


respuestas vagas, ausencia de respuestas idneas dentro de las categoras de
respuesta y Orden Ilgico de las categoras de respuestas el panel de expertos no
registra errores.

Otros problemas: Revisar para buscar problemas no identificados en los pasos 1-5.
Anlisis de Resultados.
La categora de claridad es la categora que ms registra errores por parte de los
jueces, 18 de los 20 tems reportan algn grado de error sobre una de las cuatro
subcategoras (Consultar Grafico 1). Los mayores problemas se presentan en sobre la
redaccin. En cuanto a la redaccin se catalogan los tems como extensos (tems 3, 5, 10,
13, 14, 16 y 20). En cuanto a sta misma categora los jueces sealan la presencia de
adjetivos que hacen referencia a la cuantificacin de una intencin o a la ejecucin de una
tarea (tems 1, 2, 10, 12, 16 y 17).
Como ejemplo de lo anterior: en ocasiones, harto, generalmente mucho
tiempo y mayora, son elementos que por un lado, son subjetivos, y por otro, no

concuerdan con la escala de respuestas dadas. Es as como en el tem 16 Los profesores no


deberan esperar que los estudiantes dediquen mucho tiempo a estudiar temas que todos
saben que no sern considerados en las evaluaciones; aqu se cree que mucho tiempo
induce confusin o ambigedad ya que cada individuo tiene diferentes paramentos para
cuantificar el tiempo, adems de considerar que el matiz sobre el tiempo de estudio esta por
la escala de respuesta. Y en una menor proporcin se sugiere la sustitucin de palabras
(tems 12 y 13), por ejemplo cambiar la palabra docente por profesor y reformular la
palabra autoevaluacin. Y por ltimo, reformular los tems que aparecen en forma de
negacin (tems 15 y 19).
Uno de los problemas recurrentes en la versin adaptada del R-SPQ-2F al espaol
es que varios tems (6, 7, 8, 11, 15, y 17) poseen mas de una afirmacin; es decir, se
pregunta mas de una cosa. Por ejemplo, tem 6 La mayora de los temas nuevos que vemos
me parecen interesantes, y paso tiempo extra buscando ms informacin sobre ellos; en
esta pregunta hay dos afirmaciones una que tiene que ver con que los temas los encuentra
interesante, mientras que otra cosa diferentes en pasar tiempo buscando informacin
sobre ellos. La primera afirmacin puede ser verdadera, pero la segunda no.

Cuenta de Resp

Resp
Criterio2

Si
Si
Si
Si

- Claridad
- Supuestos
- Sensibilidad
- Cat Resp

0
P1

P2

P3

P4

P5

P6

P7

P8

P9

P10 P11 P12 P13 P14 P15 P16 P17 P18 P19 P20
P

La categora de supuesto es la categora que ms registra errores por parte de los


jueces, 19 de los 20 tems reportan algn grado de error sobre una de las tres subcategoras
(Consultar Grafico 1). Los mayores problemas se presentan en los tems que se formulan de
manera general. Es decir, tems que no son contextualizados a una asignatura en particular
o que hacen referencia a temas acadmicos generales (tems 1, 4 y 9). Por ejemplo el tem
1, En ocasiones, estudiar me proporciona un sentimiento de profunda satisfaccin
personal
En cuanto al criterio de deseabilidad social/sesgo, se detectaron un grupo de tems
que inducen a una respuesta socialmente aceptada (tems 8,15 y 20). Por ejemplo el tem 8
Aprendo algunas cosas mecnicamente repasndolas una y otra vez hasta que las s de
memoria, aunque no las comprenda; aprender mecnicamente puede inducir a una
respuesta negativa en funcin de parmetros sociales.
Otro grupo de comentarios hacen referencia a categoras de respuesta. Algunos de
los tems pueden ser respondidos de mejor manera si se considera una escala de frecuencia,

mientras que otros sobre la escala de grado de acuerdo. Esto se produce por que el
instrumento original fue construido sobre una escala de frecuencia, y posteriormente se
cambio la categora de respuesta.

Discusin.
El principal objetivo de la presente investigacin era la evaluacin cualitativa de la
versin adaptada al espaol del cuestionario Formas de Abordar el Aprendizaje o R-SPQ2F. No se han documentado la aplicacin de tcnicas de validacin aplicadas a priori del
instrumento. A pesar de su alta relevancia e impacto (Malda et al., 2008). Los informes de
los jueces de expertos detectan posibles problemas en casi en la totalidad de los tems, en
cuanto a por lo menos tres de los siguientes criterios de claridad, supuestos,
sensibilidad/sesgo y categoras de respuesta. Este resultado en s mismo sugiere no basta
con la traduccin del instrumento, aunque se utilice el proceso de back-translation, para
garantizar equivalencia lingstica y contextual, elemento central en la adaptacin de un
instrumento.

Limitaciones y Futuras Investigaciones.


Una de las principales limitaciones sobre las revisiones de juicios de expertos es en
relacin a la calidad de la informacin reportada por parte de los jueces (Olson, 2010). En
cuanto a este criterio, se destacan dos elementos centrales que afectan directamente la
calidad de dicha informacin: uno, el tiempo que cada experto invierte en la revisin, y
segundo, definicin consensuada de lo que se define como error (Olson, 2010). Ante esto se
trato de homogeneizar las herramientas del panel de expertos en cuanto a conocimientos:
los cinco integrantes estaban familiarizados con la teora detrs del cuestionario, todos
estaban familiarizados con la poblacin objetivo y con experiencia en investigacin en
educacin. Y por otro lado, la aplicacin del Question Appraisal System (Willis y Lessler,
1999) proporciona categoras de anlisis definidas que simplifica la labor de registro y
anlisis por parte de los evaluadores. Al analizar los datos se observa que existen
condiciones sobre la categorizacin del error observado. Es decir, una misma observacin
sobre el mismo tem es registrado en dos diferentes categoras. Se sugiere, para futuras

investigaciones que utilicen el Question Appraisal System o cualquier otro cuestionario


sobre evaluacin de preguntas este acompaado de una sesin de induccin.
Esta investigacin se construye alrededor de la fase que rene las tcnicas de
validacin a priori de instrumentos (Malda et al., 2008), en esta investigacin aun no se
abordan las tcnicas relacionadas con la fase a posteriori de los procesos de adaptacin
(Malda et al., 2008); en otras palabras se trabaja desde una perspectiva cualitativa el
proceso de adaptacin para la poblacin chilena del R-SPQ-2F, dejando para una segunda
fase la informacin cuantitativa. Es necesario sealar que esta investigacin se enmarca
dentro de un proyecto ms amplio, sobre el cual se continuara trabajando. Se espera poder,
en una primera fase, elaborar una versin final adaptada para la poblacin chilena del RSPQ-2F que considere toda la informacin procesada por el panel de expertos, mediante el
QAS-99 (Willis y Lessler, 1999). Y posteriormente en una segunda fase, recolectar datos
sobre la nueva versin adaptada R-SPQ-2F, y aplicar las tcnicas estadsticas
correspondientes que permitan evaluar las propiedades psicomtricas del instrumento.
Nuevamente cabe resaltar que la presente investigacin, como se menciono
anteriormente, pretende adems de poder continuar con la contribucin sobre la mejora del
cuestionario que en s mismo posee implicancias tanto a nivel de investigacin como en la
generacin de prcticas institucionales sobre los procesos de enseanza y aprendizaje en
educacin superior. Se desea generar espacios de discusin sobre la importancia e impacto
de las tcnicas cualitativas, generalmente subestimado, en los procesos de validacin de
instrumentos, especialmente cuando son instrumentos que provienen de otras culturas.

Referencias
Justicia, F, Pichardo, M.C, Cano, F, Berbn, A.B.G & De la Fuente J. (2008). The revised
two-factor study process questionnaire (R-SPQ-2F): Exploratory and confirmatory
factor analyses at item level. European Journal of Psychology of Education 23(3),
355372. doi: 10.1007/bf03173004
Fowler, F. J. (1995). Improving Survey Questions: Design and Evaluation (Vol. 38). Sage.
Fryer, L.K, Ginns P, Walker, R.A, & Nakao, K. (2011) The adaptation and validation of the
CEQ and the R-SPQ-2F to the Japanese tertiary environment. British Journal of
Educational Psychology DOI: 10.1111/j.20448279.2011.02045.x.

Geisinger, K.F. (1992). The Metamorphosis to Test Validation. Educational Psychologist,


27 (2), 1997-222.
Gonzalz, C, Montenegro, H, Lpez, L, Munita, I. & Collao. (2011). Relacin entre la
experiencia de aprendizaje de estudiantes universitarios y la docencia de sus
pofesorados. Calidad en la Educacin 35, 21-49.
Hambleton, R.K, Merenda, P, & Spielberger, C. (Eds). (2005). Adapting educational and
psychological tests for cross-cultural assessment. Hillsdale, NJ: Lawrence
S.Erlbaum Publishers.
Immekus, J.C, & Imbrie, R.K. (2010) A test and cross-validation of the revised two-factor
study process questionnaire factor structure among western university students.
Educational
and
Psychological
Measurement
70,
495510.
doi:
10.1177/0013164409355685
Kember, D, & Gow, L. (1990) Cultural specificity of approaches to study. British Journal
of Educational Psychology 60: 356363. doi: 10.1111/j.2044-8279.1990.tb00952.x
Leung, D.Y.P, Ginns P, & Kember D. (2008) Examining the cultural specificity of
approaches to learning in universities in Hong Kong and Sydney. Journal of CrossCultural Psychology 39, 251266. doi: 10.1177/0022022107313905
Lpez, L. (2013). La Retencin y La Experiencia de Aprendizaje de los Estudiantes de
Primer Ao de Ingeniera. Tesis de Doctorado. Pontificia Universidad Catlica de
Chile.
Malda, M. Van de Vijver, F.J.K, Srinivasan, K, Transler, Sukemar, P & Rao, K (2008).
Adapting a cognitive test for a different culture: An illustrationof quantitative
procedures. Psychology Science Quartely. Vol. 50 (4), 451-468.
Olson, K. (2010). An examination of Questionnaire Evaluation by expert reviews. Field
Method, 22 (4), 295-318.
Richardson, J.T.E. (1994). Cultural specificity of approaches to studying in higher
education: A literature survey. Higher Education, 27, 449468. doi:
10.1007/bf01384904
Ste, A, De Maeyer, S, & Van Petegem, P. (2013) Examining the Cross-Cultural Sensitivity
of the Revised Two-Factor Study Process Questionnaire (R-SPQ-2F) and Validation
of a Dutch Version. PLoSONE 8(1). doi:10.1371/journal.pone.0054099.
Willis, G.B., & Lessler, J.T. (1999). Question Appraisal System. QAS-99. Rockville, MD;
Research Triangle Institute.

Anexo 1: Cuestionario Formas de Abordar el Aprendizaje R-SPQ-2F.


1) En ocasiones, estudiar me proporciona un sentimiento de profunda satisfaccin
personal.
2) Le dedico harto tiempo a estudiar un tema hasta que he formado mis propias
conclusiones slo as me siento satisfecho.
3) Mi objetivo es aprobar el curso haciendo el menor trabajo posible.
4) Solo estudio en serio la materia que se pasa en clases o que est en el programa del
curso.
5) Siento que prcticamente cualquier tema puede ser interesante, una vez que me pongo a
trabajar en l.
6) La mayora de los temas nuevos me parecen interesantes, y pas tiempo extra buscando
ms informacin sobre ellos.
7) No encuentro este curso muy interesante, as que trato de hacer lo mnimo posible para
aprobar.
8) Aprendo algunas cosas mecnicamente repasndolas una y otra vez hasta que las s de
memoria, aunque no las comprenda.
9) Me parece que estudiar temas acadmicos puede ser en ocasiones tan emocionante
como una buena novela o pelcula.
10) Autoevalo mis conocimientos sobre temas relevantes del curso, hasta que los entiendo
por completo.
11) Puedo aprobar la mayora de las evaluaciones memorizando los temas ms relevantes
sin intentar comprenderlos a fondo.
12) Generalmente me limito a estudiar solo lo que establece el docente, por que creo que es
innecesario hacer trabajo extra.
13) Trabajo duro en mis estudios por que encuentro la materia interesante.
14) Dedico una buena parte de mi tiempo libre a buscar informacin sobre temas
interesantes que hemos visto en clases.
15) Creo que no es til estudiar los temas en profundidad. Eso slo confunde y hace perder
el tiempo, cuando lo nico que se necesita es un conocimiento general de los temas.
16) Los profesores no deberan esperar que los estudiantes dediquen mucho tiempo a
estudiar temas que todos saben no sern considerados en las evaluaciones.
17) Asisto a la mayora de las clases con preguntas en mente, de las cuales busco respuesta,
18) Me esfuerzo en revisar la mayora de las lecturas recomendadas para las clases.
19) En irrelevante estudiar el material que probablemente no va a entrar en la prueba.
20) La mejor forma de aprobar las pruebas es tratar me memorizar las respuestas a las
preguntas que probablemente aparecern.

Anexo 2. Formato de Tabulacin (Question Appraisal System/QAS-99)


Interpretacin de la pregunta: Determinar si la pregunta es, uniformemente, difcil de leer
para la poblacin objetivo.
a) Que se debe leer: Los sujetos encuestados pueden tener dificultades para determinar
que parte de la pregunta debe ser leda.
b) Falta de Informacin: Informacin que el sujeto que entrevista debera proporcionar
al sujeto encuestado, pero que no se encuentra contenida en la pregunta.
c) Como leer: La pregunta no se encuentra plenamente desarrollada (escrita) y por
lo tanto es difcil de leer.
Instrucciones: Pesquisar problemas con la introduccin del cuestionario, las instrucciones y
las explicaciones, considerando la poblacin objetivo.
a) Instrucciones o explicaciones que se contraponen, son inexactas o poco precisas.
b) Instrucciones o explicaciones complicadas.

Claridad: Identificar problemas relacionados con la intensin o significado de la pregunta


al sujeto encuestado (correspondencia significado/significante).
a) Redaccin: la pregunta es demasiado extensa, poseen problemas gramaticales o una
sintaxis complicada.
b) Trminos Tcnicos: no estn definidos, poco claros y complejos.
c) Vaguedad: Mltiples formas de interpretar la pregunta o es difcil decidir que debe
ser incluido o excluido.
d) Periodos de referencia: estn ausentes, no estn claramente especificados, o estn
en conflicto.

Supuestos: Determinar si existen problemas con los supuestos hechos o la lgica


subyacente.
a) Supuestos inapropiados sobre los sujetos que responden (poblacin objetivo) o
sobre contexto.
b) Asume comportamientos o experiencias como constantes para situaciones en las que
el comportamiento vara.
c) Sobreposicin: Contiene implcitamente mas de una pregunta.

Conocimiento/Memoria: Revisar si es probable que los sujetos encuestados desconozcan o


tengan problemas para recordar la informacin por la que se les esta preguntando.
a) Conocimiento puede no existir: Es poco probable que sujeto encuestado conozca los
hechos por los cuales se le esta preguntando.
b) Actitud puede no existir: Es poco probable que el sujeto encuestado haya
desarrollado la actitud por la cual se le esta preguntando.
c) Fallo en la capacidad de Evocar: El sujeto encuestado puede que no recuerde la
informacin que se le esta preguntando.
d) Problemas con la Computacin: La pregunta requiere operaciones de clculo mental
difciles.

Sensibilidad/Sesgo: Evaluar si las preguntas son de carcter sensible o en su redaccin


poseen palabras que causan sensibilidad, y/o poseen sesgos.
a) Contenido sensible (general): La pregunta es sobre temas que son vergonzosos, muy
privados, o involucran comportamientos ilegales.
b) Redaccin sensible (especifico): dado que el tema es sensible, la redaccin debe ser
mejorada para minimizar la sensitividad.
c) Socialmente Aceptable: La respuesta esta implcita en la pregunta.

Categoras de Respuesta: Evaluar la adecuacin del rango de respuestas a ser registradas.


a) Preguntas abiertas que son inapropiadas o difciles.
b) Discordancia entre la pregunta y las categoras de respuestas.
c) Termino(s) tcnico(s) no estn definidos, son poco claros o complejos.
d) Vaguedad: Categoras de respuestas vagas, lo cual conlleva a mltiples
interpretaciones.
e) Superposicin de categoras de respuestas.
f) Ausencia de respuestas idneas dentro de las categoras de respuesta.
g) Orden Ilgico de las categoras de respuestas.

Otros Problemas: Revisar para buscar problemas no identificados en los pasos 1-7.