Sobre la fiabilidad y validez de la evaluación
de competencias digitales en Educación Superior
Rafael Saltos Rivas Pavel Novoa-Herna´ndez
Facultad de Filosofía, Letras Escuela de Ciencias Empresariales
y Ciencias de la Educacio´n Universidad Cato´lica del Norte
Universidad Te´cnica de Manab Coquimbo, Chile
´ı Portoviejo, Ecuador pavel.novoa@ucn.cl
w.saltos@utm.edu.ec
Resumen— El desarrollo y evaluación de las competencias digitales
en la Educación Superior ha estado en el foco de los investigadores
en las últimas dos décadas. En este contexto, algunas cuestiones
relacionadas con el propio proceso de evaluación siguen sin
explorarse. Este es el caso de cómo las evaluaciones de fiabilidad y
validez se conducen y se notifican cuando se utiliza un instrumento
para medir las competencias digitales. En nuestra opinión, este es
un aspecto primordial que afecta claramente al logro de
resultados significativos. En este sentido, este documento ofrece
una visión general de cómo se ha realizado e informado la
evaluación de la fiabilidad y la validez. Se abordaron tres
preguntas de investigación sobre: 1) las características
demográficas y metodológicas de la literatura, 2) evaluaciones
típicas y prácticas de presentación de informes, y 3) La asociación
de características demográficas y metodológica con la práctica de
presentación de informes. A través de un estudio cartográfico
sistemático, se analizaron y clasificaron 60 estudios primarios
publicados en el período 2018-2020. En general, los resultados
indicaron que la mayoría de los estudios se centraron en
estudiantes de gradoe de Europa o Asia; alrededor del 50% de los
estudios no informaron sobre estas evaluaciones; y ambos, la
publicación en revistas no indexadas por el Jornal Citation Report
y la medición de sólo competencias digitales, están negativamente
asociados con la práctica de informar evaluaciones de confiabilidad
y validez. También discutimos algunas implicaciones importantes
y oportunidades de investigación derivadas de los resultados.
Términos del índice—Competencias digitales, Educación
Superior, fiabilidad, Validez, Estudio de Mapeo Y sistemático S.
I. I NTRODUCTION
Nuestro mundo se rige por las Tecnologías de la
Información y la Comunicación (TIC) [1]. Actualmente, la
mayoría de los procesos esenciales de la sociedad moderna
están informatizados de una manera u otra [2]. Por esta
razón, es esencial que los profesionales tengan suficientes
habilidades y competencias en TIC, adaptándose a las
demandas del mundo laboral moderno [3], [4]. Las
Instituciones de Educación Superior (II) desempeñan un papel
esencial en este contexto [5], es decir, integrando diferentes
estrategias para proporcionar estas competencias digitales a
su comunidad educativa [6] y, por otro lado, en la
construcción de procesos e instrumentos de evaluación
coherentes. Este último es particularmente importante no sólo
para el diagnóstico de la comunidad educativa, sino también
para verificar la medida en que un programa de intervención
ha sido efectivo o no. Al igual que sucede en otros escenarios
de Ciencias Sociales, el desarrollo de un instrumento para
Rocio Serrano Rodríguez
Departmento de Educacio´n
Universidad of Co´rdoba
Co´rdoba,
Espan˜a
m22seror@uco.es
medir las comunicaciones digitales en la Educación Superior
es un proceso complejo, en alrededor de 15 trabajos se han
identificado medidas en [7] para llevar a cabo tal desarrollo.
Entre ellos, la realización de la evaluación de la fiabilidad y la
validez del instrumento son dos pasos cruciales para garantizar
el logro de resultados significativos [8]. Sin embargo, aunque
en las últimas dos décadas se han acumulado una serie de
experienciase investigaciones relacionadas con el análisis de
las competencias digitales en la educación superior [9]-[11]
algunas cuestiones importantes siguen sin explorarse con
respecto al proceso de evaluación de suelfo. Este es el caso de
las evaluaciones de fiabilidad y validez. Siguiendo las
sugerencias dadas en [12], al publicar sus resultados, los
investigadores deben proporcionar suficientes detalles sobre
las evaluaciones de fiabilidad y validez en order para
proporcionar pruebas sólidas sobre la consistencia y exactitud
del instrumento empleado. Por lo tanto, una pregunta que surge
aquí es: ¿podemos confiar en los instrumentos disponibles
utilizados por la literatura para evaluar las competencias
digitales en la Educación Superior?
Una pregunta específica relacionada es¿cómo se propaga
esta práctica de informar de evaluaciones de confiabilidad y
validez en la investigación dedicada a evaluar las
competencias digitales en Educación Superior? En nuestra
opinión, los beneficios de responder a esta pregunta son
dobles. Por un lado,los investigadores tendrán una visión
general sobre este tema a fondo las tendencias actuales, lo que
les ayudará a advertirles sobre lo que se ha hecho bien y lo
que no. Por otro lado, los responsables políticos se
beneficiarán de nuestros resultados, ya que se proporciona un
resumen de los estudios que informan de ambos tipos de
evaluaciones, lo que a su vez contribuye a decidir la
viabilidad de utilizar o no un instrumento existente para
evaluar las competencias digitales. deciding the feasibility of
using or not an existing instrument for evaluating digital
Con el objetivo de aportar algunas respuestas a estas
preguntas, esta investigación se centra en el proceso de
evaluación de las comunicaciones digitales petences en la
Educación Superior al caracterizar cómo la investigación
actual proporciona evidencias sobre fiabilidad y validez
como- sessments. Se llevó a cabo un estudio demapeo de
aticografía del sistema [13], con el fin no sólo de proporcionar
una visión general de las principales tendencias y
características actuales de este tema, sino también para
identificar qué características demográficas y metodológicas
están relacionadas con la práctica de la presentación de
informes de dichas evaluaciones psicométricas.
 II. T MARCO HEORETICAL nuestro tema de investigación y metodología (estudio de
revisión). Por ejemplo, [9]–[11], [14]–[16], [20]–[24]. Entre
A. Competencias digitales en Educación Superior
ellos sólo tres obras abordaron aspectos relacionados con el
Actualmente, no existe consenso sobre lo que es la proceso de evaluación de las competencias digitales en la
competitividaddigital- tences en el contexto de la Educación educación superior [10], [16], [25].
Superior [14]–[16]. Esto se debe principalmente a que, como
se indica en [16], la definición de competencia
digitaldepende del contextoy, por lo tanto, es posible
encontrar varias posiciones tanto en el contexto científico
[17], como en la definición de las políticas gubernamentales
[3]. A esto se suma elhechode que los estudiantes y profesores
exigen competencias específicas, que no tienen que
coincidir en su conjunto [9].
Entre las treinta definiciones examinadas en [16] tal vez la
más completa sea la proporcionada por [3] en el contexto de
la definición de políticas. El autor definió las competencias
digitales como: "el conjunto de conocimientos, habilidades,
actitudes, estrategias y conciencia que se requieren cuando las
TICy los medios digitales se utilizan para realizar tareas,
resolver problemas, comunicar, gestionar información,
colaborar, crear y compartir contenidos, y construir
conocimientos de manera eficaz, eficiente y adecuada, de
manera crítica, creativa, autónoma, flexible, ética y de forma
sensata para el trabajo, el entretenimiento, la participación, el
aprendizaje, la socialización, el consumo y el
empoderamiento". (p. 3).
En la misma línea, pero en un contexto científico [14] lo
definió como la composición de: "(1)cometa técnica, (2) la
capacidad de utilizar las tecnologías digitales de una manera
significativa para trabajar, estudiar y en la vida cotidiana, (3)
la capacidad de evaluar críticamente las tecnologías digitales,
y (4) la motivación para participar y comprometerse en la
cultura digital." (pág. 655).
Otra forma de ver lo que significa la competencia digital es
abordar este concepto a través de los marcos definidos tanto
en el contexto científico [9], como en el de las políticas
gubernamentales [18].]. Un ejemplo notable en este
último caso es el Marco de Competencia Digital para los
Ciudadanos (DigComp2.1) promovido por la Comisión
Europea [19]. Este marco, en la versión 2.1, es el resultado
de varios procesos de refinamiento a la primera versión que
apareció en 2016. Aunque no está definido explícitamente por
[19], está claro que según DigComp2.1, un ciudadano es
digitalmente competente sialcanza cualquiera delos 8 niveles
de competencias definidos en este marco dentro de 5 áreas de
competencia general: 1) información y alfabetización de
datos, 2) comunicación y colaboración, 3) contenido de
creación digital,
4) seguridad, y 5 ) resolución de problemas.
A partir de las definiciones mencionadas es fácil concluir
que la medición del grado o nivel de competencias digitales
implica al menos tres áreas: conocimientos, habilidades y
actitudes. En otras palabras, el desarrollo de un instrumento
para medir las competencias digitalesincluye elementos
deevaluación relacionados con to los conocimientos, las
habilidades y las actitudes. Desde un punto de vista de la
Teoría de la Medición [7], la evaluación de los elementos
relacionados con las dos primeras áreas se puede clasificar
como elementos cognitivos, mientras que los de medir
actitudes como elementos no cognitivos. Non-cognitive
La literatura incluye varios trabajos relacionados con
 In the case of [16], the authors included some relevant
factors for the evaluation process: such as the method of data
collection (instrument) and the study area of the participants.
However, it is not clear which works actually evaluated
digital competences. Regarding these two factors, the authors
con- cluded that most of the studies: use mixed methods or
surveys for measuring, and are based on populations from
different knowledge areas. The study of [25] concluded,
from the 13 selected studies, that the programs and actions
developed by the HEIs leave out the development of
competencies on content creation and security. To identify
this lack, the authors used the DigComp 2.1 framework [19].
Finally, in the meta- analysis developed by [10] the authors
found that in the field of Higher Education in Latin America,
the proportion of students and teachers with digital skills is
moderate (64%), with no notable differences between both
type of populations.
Es evidente que otros aspectos importantes del proceso de
evaluación de las competencias digitales siguen sin ser
explorados por litera- ture. Uno de ellos está relacionado con
la práctica de evaluación de cuán fiable y válido es el
instrumento utilizado para llevar a cabo dicho proceso de
evaluación. process.
B. Fiabilidad y validez
Al desarrollar un instrumento de medición es importante
evaluar: 1) si proporciona los mismos resultados (o similares)
en condiciones o insumos similares, y 2) si mide lo que se
supone que mide [7]. Mientras que la primera evaluación se
conoce como fiabilidad del instrumento, la segunda se
conoce como la validez del instrumento [7]. Varios tipos de
estas evaluaciones se han identificado en la p ast [12]. [8], en
la que se identificaron cuatro tipos de evaluaciones de
fiabilidad y validez, [8] realiza un examen detallado de los
mismos. En cuanto a la fiabilidad, se han desatadolos
siguientes tipos:
1) Estabilidad
2) Consistencia interna,
3) Equivalencia, y
4) Escalabilidad.
En caso de validez, se sugirieron los siguientes tipos en [8]:
1) Validez facial,
2) Validez del contenido,
3) Validez del criterio, y
4) Validez de construcción.
Puede encontrar más detalles sobre los métodos para llevar a
cabo este tipo de evaluaciones en [8] y [12].
Idealmente, un estudio que desarrolle o administre un
instrumento debe presentar suficientes details sobre los tipos
de evaluación mencionados anteriormente. Sin embargo, esto
no siempre es posible porque la existencia de limitaciones de
investigación (por ejemplo, tiempo, falta de otro instrumento
con el que comparar, etc.). etc En cualquier caso, es
importante realizar una evaluación de en leste uno de estos
tipos con elfin de garantizar un grado adecuado de
consistencia y precisión para el instrumento [7]. Incluso si el
instrumento ha sido propuesto y validado en un estudio
anterior, es una buena práctica comprobar lafiabilidad y
validez [7].
 III. M ETODOLOGIA TABLE I
Este documento sigue la metodología descrita en [13] para RESULTS DE LA BUSCA EN LAS BASES DE DATOS CONSIDERADAS.
la realización de estudios de cartografía sistemática. A su vez, Campos de búsqueda debases de datos
este es un tipo Estudios
de estudio secundario [26]. También es un estudio de Scopus TITLE-ABS-KEY (Title, Abstract, and 466
correlación ya que nuestro objetivo era analizar la Palabras clave)
asociación existente entre
variables en estudio. Web of Science TS (Title, Abstract, and Keywords) 309
De acuerdo con la guía seleccionada, el mapeo se logra a ERIC No specified. The query covered up the 239
title, abstract and descriptors of the indexed
través de lospasos principales: planificación, realización e documents.
informes.
Las siguientes secciones describen cómo se desarrollaron los evaluación O evaluación O evaluación O evaluación
dos primeros pasos,
O evaluación O evaluación O evaluación O
mientras que los terceros se cumplen escribiendo este artículo.
evaluación O evaluación O evaluación O
A. Preguntas de investigación evaluación O evaluación O evaluación O
El objetivo principal de esta investigación es proporcionar evaluación O evaluación O evaluación O
una visión general de cómo la evaluación de la fiabilidad y evaluación O evaluación O evaluación O
validez se ha b llevado a cabo e informado por la literatura evaluación O evaluación O evaluación O
actual relacionada con la evaluación de las competencias evaluación O evaluación O evaluación O
digitales en la Educación Superior. Específicamente, nos evaluación O evaluación O evaluación O
interesaba responder a las siguientes preguntas de evaluación O evaluación O evaluación O
investigación:
evaluación O evaluación O evaluación O
• RQ1). ¿Cuáles son las principales características
evaluación O evaluación O evaluación O
demográficas y metodológicas ical de los estudios?
evaluación O evaluación O evaluación O
• RQ2) ¿Cómo se informa de la evaluación de la fiabilidad
evaluación O evaluación O evaluación O
y validez?
evaluación O evaluación O evaluación O
– RQ2.1) ¿Qué tipos de evaluaciones se notifican con
evaluación O evaluación O evaluación O
más frecuencia?
– RQ2.2) ¿En qué medida se notifican las evaluación O evaluación O evaluación
evaluaciones? Esta fórmula se utilizó para buscar en tres bases de datos
relevantes: Scopus, Web of Science y ERIC (Education
• RQ3) ¿Qué características demográficas y metodológicas
Resources Information Center). Estas bases de datos cubren
se asocian moa estudios que informan de
una gran parte de la literatura científica sobre Ciencias de la
evaluaciones defiabilidad y validez? Educación y son ampliamente utilizadas en los estudios de
B. Búsqueda revisión relacionados con este campo [15], [16].
Para diseñar la fórmula de búsqueda para encontrar los Los resultados obtenidos de la aplicación de la fórmula
estudios relevantes, procedimos de la siguiente manera. En anterior se muestran en el Cuadro I. Vale la pena señalar que la
primer lugar, utilizamos la herramienta PICO [27] para búsqueda se llevó a cabo en julio de 2020.
identificar los términos pertinentes según la población
estudiada, el método de intervención, el grupo de
comparación y los resultados. En segundo lugar, las lecturas
cuidadosas decomentarios similar como [10], [16] fueron
útiles para complementar los resultados de la aplicación de la
herramienta PICO. Como resultado, se definió la siguiente
fórmula de búsqueda:
("competencia digital" O "literatura digital" O
"literacies digitales") Y (pregrado O appraising
OR postgrado O novato o estudiante de primer año
O estudiante de segundo año O estudiante de último
año O de preescolar O profesor O junior O
universidad O "educación superior" O universidad
O terciario O "personal académico" O profesor O
conferenciar) Y (evaluar O evaluar O validar O
evaluación O evaluación O evaluación O
evaluación O evaluación O evaluación O
evaluación O evaluación O evaluación O
evaluación O evaluación O evaluación O
evaluación O evaluación O evaluación O
evaluación O evaluación O evaluación O
 Total 1014

C. Selección y evaluación de la calidad

Durante la selección seguimos varios pasos, que se
resumen en Fig. 1. Vale la pena señalar que sólo cubrimos el
período 2018-2020, porque estamos interesados en
caracterizar la literatura actual solamente. Por lo tanto, al
centrarnos en los últimos dos años y medio obtenemos una
buena muestra de esta literatura actualizada. Los criterios de
inclusión y exclusion ion fueron los siguientes:
Criterios de inclusión:
• Estudios utilizando la medición de competencias
digitales quantita- tively en el contexto de la
Educación Superior.
• Estudios publicados en el período 2018 a julio de
2020.
• Estudios publicados como artículo de revista.
Criterios de exclusión:
• Estudios publicados en actas de la conferencia, libro
chap- ters.
• Estudios revisados no por pares.
• Estudios no accesibles en texto completo.
• Libros, informes técnicos, editoriales.
• Duplicados de otros estudios.
En cuanto a la evaluación de la calidad de los estudios,
hicimos not con- duct una evaluación explícita de los de
ellos antes de la extracción de datos. La razón principal es
que no estamos interesados en seleccionar los estudios con
un nivel adecuado de calidad para informar de resultados
significativos (porejemplo, el tamaño del efecto de una
intervención). Nuestro objetivo es caracterizar la literatura
actual como tal. Sinembargo, ya que nos centramos en
artículos de revistas revisados por pares que están indexados
en bases de datos de calidad, se garantiza una calidad
mínima.

D. Extracción de datos
La extracción de datos se llevó a cabo sobre la base de la
plantilla des- pictada en el cuadro II. Como se puede
observar, se consideraron 9 variables relacionadas con las
características demográficas y metodológicas del estudio.
En cuanto al estilo de presentación de informes de las
evaluaciones de fiabilidad y validez, se incluyeron 4 tipos
diferentes [8]. Para cada tipo, recopilamos cómo el estudio
reportó la evaluación, es decir, No mencionado,
Mencionado solamente, Referencia (un estudio anterior) y
Se proporcionan detalles. Por último, se definió una
variable llamada Reported para realizar el análisis de
asociación. Esta variable toma uno de los dos valores
posibles: Sí (siel estudio al menos mencionó la evaluación
de ambos, fiabilidad y validez) y No (de lo contrario).
 Búsqueda Criterios de Título y examen Lectura Muestreo Revisión de
en bases de Inclusión y abstracto de texto de bolas artículos excluidos
datos Exclusión completo de nieve
+1014 -849 -99 -15 +9 0

Resultados 1014 Resultados 165 Resultados 66 Resultados 51 Resultados 60 Resultados 60

1. Proceso de selección de estudio.

TABLA II
TEMPLATE UTILIZADO PARA LA EXTRACCIÓN DE DATOS.

Pregunta de investigaciónde dimensiones Dimension

Research variables de grupo
Demografía y Study ID Consecutive number RQ1
método-
caracter Año 2018,2019,2020 RQ1, RQ3
ísticas Continente Africano, Asia, Europa, América del Norte, Oceanía, América del Sur,
ológicas
Intercontinental.. RQ1, RQ3 Estudiantesde grado tipo Participant
Undergraduate Studentsparticipante, Personal Académico, Estudiantes dePosgrado, , RQ1
Mixto, RQ3
Disciplina Ciencias Naturales,, Ingeniería, Ciencias de la Salud, Ciencias Agrícolas, Ciencias RQ1, RQ3
Sociales, Social Sci- ences , Humanidades, Multidisciplinario
Estudio De administracióndealcance , Desarrollo, Tanto (AdministraciónAdministration y Desarrollo)
RQ1, RQ3 Items Tipo
Cognitivo, No cognitivo, Tanto (cognitivo y no cognitivo) RQ1,
RQ3 Evaluación Contexto Eficacia de una intervención , Diagnóstico, Pruebas de hipótesis , Propuesta RQ1,
RQ3
SJR* Cuartil Q1, Q2, Q3, Q4, NQA(sin cuartil RQ1, RQ3
JCR** Cuartil assigned) RQ1, RQ3
Estabilidad de informes defiabilidad No mencionado, Mencionado solamente, RQ2
Equivalencia de Referencing (a previous study), RQ2
consistencia interna Se proporcionan detalles
RQ2
Escalabilidad RQ2
Informes devalidez Validez de la cara No mencionado,
Mencionado solamente, RQ2
Validez del Referencing (a previous study), RQ2
Se proporcionan detalles
RQ2
criterio de
validez del
contenido
Construir validez RQ2
Análisis deasociación reportado Sí: si el estudio
reportó evaluaciones de confiabilidad y validez, No : de lo contrario. R2, RQ3
*SCImago Journal Rank(https://www.scimagojr.com/), **Journal Citation Reports(https://clarivate.com/webofsciencegroup/solutions/journal-citation-reports/).

E. Análisis y clasificación nuestro estudio de mapeo sys- tematic se llevó a cabo

mediante el análisis de las principales amenazas que ocurren
El análisis y clasificación de los estudios se llevó a cabo
en los siguientes tipos de validez:
después de la extracción de datos. Los resultados obtenidos
fueron tabulados y resumidos visualmente como se muestra en • Validez descriptiva. En este tipo de validez, el hilo
el Sec. IV. Se puede acceder a una lista completa de los principal es que los estudios subjetivos tienen menos
estudios revisados y su clasificación correspondiente según la validez descriptiva que los cuantitativos. Sin embargo,
plantilla de extracción de datos utilizada en el siguiente nuestro estudio se basa en el recuento de datos
enlace1. utilizando una plantilla bien estructurada (ver Tabla
II). En consecuencia, asumimos que esta amenaza está
F. Evaluación de validez bajo control.
Como se sugiere en [13] la evaluación de validez de 1
https://docs.google.com/spreadsheets/d/1nyXtwyYMWeMGJkUjL
PU2X2clEQsyM4MKZlc3AOBPMM/edit?usp-sharing
• Theoretical validity. In our study, study selection and
data extraction are the important sources of threats of this
type. However, we employed snowballing sampling
(backward and forward) in order to mitigate the
possibility of not including relevant studies. Besides,
authors reviewed each other steps in order to control the
bias when selecting and extracting data. Regarding the
quality of the sample of studies, it is clear that it is high
since it comes from databases with great coverage of
high quality venues.
• Generalización. Para evaluar este tipo de validez,
tenemos que considerar la generalización interna y
externa de los resultados y la metodología. En el
primer caso, es evidente que los resultados de esta
investigación pueden generalizarse en el contexto de
la evaluación de la competencia digital en la Educación
Superior. Por lo tanto, la generalización interna está
garantizada. La generalización externa no está
garantizada ya que las competencias digitales no sólo se
miden en el contexto de la Educación Superior. Con
respecto a la metodología, consideramos que puede ser
génerostanto, interna como externamente.
• Validez interpretativa. En este caso pueden existir
amenazas aquí
 porque los autores han trabajado juntos en la re-búsqueda
anterior. Por lo tanto, es posible que juicios similares al
seleccionar y analizar los estudios primarios suscitaron.
• Reproducibilidad. Consideramos que la
reproducibilidad está guar- anteed. Esto se debe a que en
este documento se proporcionan suficientesdetai ls,
es decir, siguiendo una guía sistemática como la
propuesta en [13].
evaluación reportada menos frecuente.
En la Fig. 3c se proporciona un resumen más general. En
este caso, dividimos los estudios en dos grupos:aquellos que
informan (al menos mencionando) evaluaciones tanto para la
fiabilidad como para la validez

IV. RESULTS
En esta sección describimos los resultados obtenidos
durante nuestra investigación. Se organizaron de acuerdo con
las preguntas de investigación que guían este estudio.

A. Características demográficas y metodológicas

Los resultados de la extracción de las características
demográficas y metodológicas de los estudios primarios
seleccionados se resumen visualmented en laFig. 2. Como se
puede señalar en la Fig. 2a, la mayoría de los estudios fueron
publicados en 2019 (41,7%). Además, de Fig. 2b) en su
mayoría se originaron en Europa (36,7%) y Asia (35,0%).
En cuanto al tipo de participante (Fig. 2c) podemos ver que
los estudiantes de pregrado es la población de la que se han
reportado más resultados (63,3%). Con un 46,7% de Ciencias
Sociales es la disciplina más estudiada.
Teniendo en cuenta el alcance del estudio, la Fig. 2e indica
que la administración de un instrumento es la práctica más
común (73,3%). Estos instrumentos están compuestos
principalmente por elementos cognitivos (38,3%) para la
evaluación de competencias digitales (Fig. 2f). El contexto
en el que tuvo lugar la evaluación es principalmente del tipo
de diagnóstico (45,0%) como se mostraba en La Fig. 2g.
En cuanto a la calidad de la revista donde se publicó el
estudio, la Fig. 2h muestra claras diferencias entre los
indicadores SJR y JCR. Mientras que para el indicador SJR
los estudios se distribuyen más uniformemente en los cuatro
cuartiles, teniendo una baja proporción de estudios
publicados en revistas sin ningún cuartil (3,3%), para JCR
ocurrs casi lo contrario. Concretamente, se publicaron 75%
estudios en revista sin ningún cuartil asignado según el
indicador JCR.

B. Prácticas de presentación de informes de evaluaciones

de fiabilidad y validez
Con el fin de resumir tanto qué tipos de evaluaciones como
hasta qué extensión se informan las evaluaciones, nos
basamos en la gráfica de barras representada en la Fig.3. En
el primer caso (Fig.3a), está claro que la Consistencia
Interna es la evaluación de fiabilidad más reportada con casi
la mitad de los estudios que proporcionan detalles. Por el
contrario, las evaluaciones de estabilidad, equivalencia y
escalabilidad apenas se mencionan.
En cuanto a las evaluaciones de validez, la Fig. 3b muestra
que la validez dela cara, la validez del contenido y la validez
de la construcción son las que se informan con mayor
frecuencia. Sin embargo, una gran parte de los estudios que
informaban de los dos primeros tipos de evaluaciones de
validez no proporcionaron detalles. Se produce una situación
diferentepara Lavalidez de construcción Validity. También
vale la pena señalar que la validez del criterio es la
at the same time, and those no reporting any assessment at
1
all. From these plots, it is clear that about 50% of the studies Grado de libertad, (*) Estadísticamente significativo (p-valor á 0.
report assessments of reliability and validity at the same time. 05)

C. Análisis de asociación

Con objetivos de entender qué características demográficas

y metodológicas están asociadas a aquellos estudios que
informan (o no) evaluaciones de confiabilidad y validez,
procedemos con la prueba de independencia de Chi-Squared
de Pearson. Se trata de una prueba no paramétrica
ampliamente utilizada para analizar la asociación entre
variables categóricas [28]. Specificalmente, realizamos esta
prueba para cada combinación de variables que representan
características demográficas y metodológicas, y la variable
Reportada. variable.
Los resultados, en términos deestadística2, grado de
libertad, p-value, y Crame'r's V se enumeran en Table
III. Este último indicador (Crame'r's V) cuantifica la
asociación (en el rango [0, 1]) entrevariables. Cuanto
mayor sea este indicador, fuerte será la asociación entre las
variables. Como muestra el cuadro III, tres variables se
asocian significativamente a las prácticas de presentación de
informes (valor p - 0,05): JCR. Quartile, Disciplina y
Study.Scope.
Para averiguar qué dimensión de estas tres variables
causan asociaciones tan significativas, procedemos a un
análisis post hoc de los residuos estandarizados [29]. En el
cuadro IV se resumían los resultados de este análisis. Es
fácil observar que sólo dos dimensiones estaban
significativamente asociadas con la práctica de presentación
de informes. En el caso de JCR. Cuartil, hay una asociación
negativa entre la notificación de las evaluaciones y revistas
sin ningún cuartil (NQA). En otras palabras, no laevaluación
de la fiabilidad y validez de reporting es más probable que
sea una práctica de los artículos publicados en revistas no
indexadas por JCR. Del mismo modo, cuando los estudios se
dedican a administrar sólo un instrumento de ex-isting,
entonces es muy probable que no se informe de ninguna
evaluación de la fiabilidad y validez. Otros resultados
interesantes también son observables en el Cuadro IV
(aunque no estadísticamente significativos). Vea, por
ejemplo, que la asociación positiva entre publicado en una
revista con el cuartil JCR y las evaluaciones de informes.
Además, en los estudios de Ciencias Sociales es más
probable que encontró esta práctica que en las idades
humanasities.

TABLA III
PEARSON’S CHola-Cuadrado TEST Y CFila’S Ⅴ Para DEMOGRAPHIC Y
MVARIABLES ETODOLÓGICAS VS. Informó Variable.

Variable demográfica N.o2 Df valor p V de Cramer

1

Jcr. Cuartil 18.710* 4 0.001 0.558

Disciplina 11.788* 5 0.038 0.443
Study.Scope 8.127* 2 0.017 0.368
Assessment.Context 7.784 3 0.051 0.360
Continente 7.535 5 0.184 0.354
SJR. Cuartil 4.855 4 0.302 0.284
año 2.336 2 0.311 0.197
Participant.Type 1.046 3 0.790 0.132
Items.Types 0.024 2 0.988 0.020
 a) Año dePublicación b) Continente

Europa 36.7%
2019 41.7%
Asia 35.0%
Améri
11.7%
2018 33.3% ca
10.0%
del
5.0%
2020 25.0% Nort
e 1.7%

Suda
mérica
Intercontinental

África

0 5 10 15 20 0 5 10 15 20
25 N
N
d) Disciplina
c) Tipo de participante Cienci
46.7%
Pregrado as
63.3%
Estudiantes Sociales
30.0%
Multidisciplinar
Acadé 15.0%
8.3%
Humanidades
mico 5.0%
15.0% Ciencia

Mixt s 5.0%
6.7%
Natu 5.0%
o
Personal rales
Cienci
Postgrado as de la
Estudiantes Salud
Ingeniería

0 10 20 30 0 10 20
N N

e) Alcance del estudio f) Tipo de artículos

Administración 73.3% Cognitivo 38.3%

Ambos 15.0% No cognitivo 35.0%

11.7%
Desarrollo Ambos 26.7%

0 10 20 30 40
N 0 5 10 15 20
N
g) Contexto de evaluación
h) Rango del diario

Diagnóstico
45.0%

Eficacia de la SJR 25.0% 26.7% 30.0% 3.3%

intervención 28.3%
Hipótesis
propue 21.7%
Jcr 11.7% 3.3% 75.0%
sta de
5.0%

prueba
0 10 0 20 40 60
20 N
N

Cuartil Q1
Q2 Q3 Nqa
Q4

2. Distribution de estudios de acuerdo con las características demográficas y metodológicas.

V. C ONCLUSIÓN personal académico las habilidades digitales necesarias es eval-

En un mundo donde el tecnolo dela información y la
comunicación -gies impactan a sus individuos y relaciones,
es necesario educar y capacitarse en el uso de estas
tecnologías. La Educación Superior desempeña un papel
importante a este respecto [29]. Una parte importante de este
complejo proceso de proporcionar a los estudiantes y al
uating la medida en que se apropian de ellos. Aunque se ha
escrito mucho sobre las competencias digitales en Higher
Education en el pasado [15], [16], el proceso de evaluación en
sí ha recibido poca atención independientemente de su
importancia para garantizar el logro de resultados
significativos. En este
paper we addressed two crucial aspects related to the eval-
uation instrument: the assessment of reliability and validity.
A systematic mapping study covering the period of 2018 to
July, 2020 was conducted in order to answer three research
questions related to: 1) the demographic and methodological
features of scientific literature, 2) typical assessments and
reporting practices, and 3) association of demographics and
methodological features with reporting practices.
A partir de los resultados obtenidos, observamos que la
evaluación de las competencias digitales en la Educación
Superior es un tema de investigación de creciente interés.
Aunque cubrimos sólo los últimos dos años (incluido
el primer semestre de 2020), los datos indican una
 TABLE IV
a) Reliability ANÁLISISDE OST HOC BASADO EN RESIDUOS
100 ESTANDARIZADOS DE
PEARSON'S CHI-SQUARED TEST.
Cómo se informa
75 Variable Dimensión Noreportado: Reportado-Sí
Porcentaje (%)

Detalles se No
50 proporcionan Jcr. Cuartil Q1 -2.723 2.723
Referencia Q2 -1.719 1.719
25 mencionada sólo Q3 -1.391 1.391
No mencionado Q4 -1.719 1.719
0
Nqa 4.325* -4.325*
Es
Consistencia Equiva Esca
ta interna lencia labili
Study.Scope Administración 2.765* -2.765*
bil dad Desarrollo -1.113 1.113
id Reliability type
ad Ambos -2.424 2.424
b) Validez Disciplina Ingeniería y nología 1.837 -1.837
100 Tecnología
Humanidades 2.415 -2.415
Cómo se informa
75 Ciencias Médicas y de la 0.652 -0.652
Porcentaje (%)

Salud
Detalles se
50 Multidisciplinar -0.958 0.958
proporcionan
Ciencias Naturales 0.652 -0.652
25
Referencia (*)Ciencias Sociales significativo (p-valor
Estadísticamente -1.830 - 0. 05)1.830
0 mencionada sólo

Validez Validez Validez delValidez de la No mencionado

de la del criterio construcción que para el desarrollo nuevos. Esto es de alguna manera esperar ya
cara contenido
Tipo de que, como se señaló en [9], [20] existen varios instrumentos para
validez medir las competencias digitales en Educación Superior. Lo es
c) en general interesante ver que estos instrumentos están compuestos
100
principalmente por elementos de naturaleza cognitiva, lo que indica
75 que la competencias se han medido con mayor frecuencia de la
Porcentaje (%)

perspectiva de kahora y habilidades más que de actitudes. Además, el

50 diagnóstico ha sido el contexto de evaluación más frecuentes en los
Reportado
estudios que revisamos. Significa que los investigadores estaban más
25
Sí No
interesados en caracterizar que en entender. El análisis de las
evaluaciones típicas y las prácticas de presentación de informes
0
reveló que en el caso de la fiabilidad, Consistencia interna Es la
A
Fiab V m evaluación reportada más común. Una situación diferente se produce
b
ilida
d
al
Evaluación
i o por validez, en la que Validez de la cara, Validez del contenido Y
d s Constvalidez ruct son las evaluaciones con mayor frecuencia re-
e
3. Distribución de estudios según la evaluación de tipo de fiabilidad
z ported. However, the extent of how authors provided
a), validez b) y si se informa o no c).
evidences in text varies considerably by the type of
assessment. While for Internal Consistency and Construct
Validity authors provided details very often, this is not the
ritmo de crecimiento a medida que pasan los años. Anotsu case for Face Validity and Content Validity . In these latter
patrón importante que encontramos es que los estudios se cases it is common that authors just mentioned that they
originan principalmente en Europa o Asia y con frecuencia conduct them, that is, without any additional details. One
evalúan las competencias digitales a los estudiantes de possible explanation of this phenomena is that internal
pregrado. En cuanto a la disciplina, la más estudiada fue consistency and Construct Validity can be assessed from the
Ciencias Sociales,que incluye EducaciónSciences. Estos collected data and statistical methods, so it is relatively easy to
resultados son coherentes con estudios anteriores como [16] obtain. In contrast, Face Validity and Content Validity
en el contexto de las competencias digitales y con revisiones require the presence of participants and experts, which is more
similares en el campo del aprendizaje electrónico [30]. Con difficult to achieve.
respecto a la calidad de la he sede donde se publicó el En general, casi la mitad de los estudios no notificaron
estudio observamos resultados diferentes de los indicadores evaluaciones de fiabilidad y validez al mismo tiempo. Estos
SJR y JCR. En general, predominan los estudios publicados resultados indican que existen problemas serios sobre esta
en revista sin cuartil JCR. Indica que la literatura actual está importante práctica. Sin embargo, parece que este no es un
más presente en revistas con menor calidad y reputación. problema típico de la evaluación de competencias digitales en
En cuanto a los aspectos metodológicos, hemos visto que la Educación Superior, sino uno más general para las Ciencias
los estudios se centran principalmente en la administración de de la Educación. Estudios como [31] en el contexto de la
instrumentos educación médica y más recientemente [32] en
educación alertada sobre problemas similares. [8] K. Bannigan y R. Watson, "Fiabilidad y validez en pocas
palabras",
Con el fin de obtener información sobre qué características Revista de Enfermería Clínica, vol. 18, No. 23, págs. 3237–3243, 2009.
demográficas y metodológicas de los estudios están más [9] M. P. Prendes, I. Gutie´rrez, and F. Mart´ınez, “Competencia digital:
asociadas a la práctica de reportar (o no) estas evaluaciones, una necesidad del profesorado universitario en el siglo XXI,” Revista de
con- conductos de análisis estadísticos específicos. Los Educacio´n a Distancia (RED), no. 56, jan 2018.
resultados sugieren que el hábito de no informar de las [10] R.S. Rivas, P. Novoa-Hernaa 'ndez, y R. S. Rodr'éguez, "Evaluation
evaluaciones de fiabilidad y validez es más probable asociado of the presence of digitales institutions", RISTI - Revista Ibérica
a estudios centrados en medir sólo (administración) y a de Sistemas e Tecnologias de Informacao,vol. 2019, no. E21, pp.
aquellos publicados en revistas sin cuartil según el indicador 23–36, 2019.
JCR. En otras palabras, los estudios publicados en revistas de [11] F. J. Palacios Hidalgo, M. E. Go'mez P arraarra, y C. A. Huertas
renombre o que implican el desarrollo de un nuevo Abril, "Competencias digitales y mediáticas: Competencias clave para
instrumento, son más susceptibles de incluir este tipo de profesores de efl", Enseñanza de Inglés con Tecnología,, vol.
evaluaciones. 20, no. 1, pp. 43–59, 2020.
En resumen, los resultados de este estudio de mapeo
sistemático son una advertencia sign sobre lafiabilidad y
validez de los informes en el contexto de la evaluación de
competencias digitales en la Educación Superior. Además de
nuestra sugerencia de incluir más evidencia de este tipo de
evaluaciones en estudios futuros, nos gustaría tener
oportunidades importantespara seguirinvestigando. En primer
lugar, con respecto a los estudios primarios, sugerimos
estudiar aquellas poblaciones que han sido poco o no
reportadas en la literatura. Este es el caso de los que vienen
de América del Sur y Africa. Elpersonal de Academic y los
estudiantes de posgrado también están en este grupo de
poblaciones. En segundo lugar, los futuros estudios
secundarios (como el nuestro) deberían ampliar los resultados
obtenidos aquí en tres direcciones principales. En primer
lugar, al incluir otras variables con el objetivo de obtener más
insights sobre qué causa este fenómeno,segundo, mediante la
ampliación del número de estudios con el fin de obtener una
muestra más representativa, y en tercer lugar, mediante la
exploración de otros aspectos relacionados con la evaluación
de las competencias digitales en la Educación Superior.
Nuestros futuros trabajos estarán borientados oriented a
desarrollar estas oportunidades de investigación.
REFERENCIA
S

[1] R. L. Konsbruck,"Impactos de las tecnologías de la información en la

sociedad en el nuevo siglo", Estructura,, “págs. 1–6, 2002. [En línea].
Disponible: https://www.zurich.ibm.com/pdf/Konsbruck.pdf
[2] S. Makridakis, "La próxima revoluciónde la Inteligencia
Artificial (IA): revolution: Su impacto en la sociedad y las
empresas", Futuros, vol. 90, pp. 46–60, 2017.
[3] A. Ferrari, "Competencia digital en la práctica: un análisis de frame-
works", Centro Común de Investigación de la Comisión Europea.,
Tech. Rep., 2012.
[4] E. E. Gallardo-Echenique, J. M. de Oliveira, L. Marque's, y F. ´
Esteve- Mon, "Competencia digital en la sociedad del conocimiento",
Revista de Aprendizaje y Enseñanza Online, , vol. 11, no. 1, p.
1, 2015.
[5] R. J. Krumsvik, "Competencia digital de los educadores de maestros",
Scandinavian Scandinavian Journal of Educational Research, vol.
58, no. 3, pp. 269–280, 2014.
[6] K. Ala-Mutka, Y. Punie,y C. Redecker, "Competencia digital para el
aprendizaje permanente", Comisión Europea, Centro Común de
Investigación, Instituto de Estudios Tecnológicos Prospectivos,
Studies p. 10 de 2008.
[7] D. Bandalos, Teoría de la Medición y Aplicaciones para
la Ciencia Social, , ser. Metodología en Ciencias Sociales. Guilford
Publications, 2018.
[12] R. O. Mueller and T. R. Knapp, “Reliability and Validity,” in The nov 2011.
Reviewer’s Guide to Quantitative Methods in the Social Sciences , [29] D. Sharpe, "La prueba de Chi-cuadrado es estadísticamente
2nd ed., G. R. Hancock, L. M. Stapleton, and R. O. Mueller, Eds.
Routledge, 2019, pp. 397–401. significativa: ¿Ahora qué?" Evaluación Práctica, Investigación y
[13] K. Petersen, S. Vakkalankay L. Kuzniarz, "Directrices para la Evaluación, vol. 20, No. 8, págs. 1–10, 2015.
realización de ing estudios de cartografía sistemática en ingeniería [30] A. Granic' y N. Marangunic', "Technology acceptance model in
de software: Una actualización", Tecnologíade La Información y ed- ucational context: A systemati cliterature review", British
Software, , vol. 64, pág. pp. 1–18, 2015. Journal of Educational Technology, vol. 50, no. 5, pp. 2572–2593,
[14] L. IlomaKiki, S. Paavola, M. Lakkala, y A. Kantosalo, "Com- 2019.
[31] R. Speyer, W. Pilz, J. V.D. D. Kruisy J. W. Brunings, "Fiabilidad y
petence digital – un concepto de límite emergente para la validez de la evaluación por pares de estudiantes en la educación
investigación política y educativa," Educación y Tecnologíasde médica: Una revisión sistemática", Profesor de Medicina, , vol. 33,
la Información, vol. 21, no. 3, pp. 655–679, agosto 2014. no. 11, pp. e572–e585, oct 2011.
[15] F. Pettersson, "Sobre las cuestiones de competencia digital en [32] S.-H. Lee, Y.-R. Kim, y J. Park, "A review of instruments measuring
educación con- texts – una revisión de la literatura," Educación y special educators' competencies", British Journal of Special
Tecnologíasde la Información, vol. 23, no. 3, pp. 1005-1021, Education,mayo de 2020.
2018.
[16] M. Spante, S. S. Hashemi, M. Lundin y A. Algers, "Digital compe-
tence and digital literacy in higher education research: Systematic
review of concept use", Cogent Education, vol. 5, no. 1, pp. 1–
21, 2018.
[17] Tsankov y yo. Damyanov, "Educationmajors' preferences on the
funcionalidades of e-learning platforms in the context of blended
learning", International Journal of Emerging Technologies in
Learning (iJET), vol. 12, no. 05, p. 202, mayo de 2017.
[18] L. Johnson, A. Levine, R. Smith, y S. Stone, El Informe
Horizonte 2010 . Austin, Texas: The New Media Consortium,
2010.
[19] S. Carretero, R. Vuorikari,y Y. Punie, El Marco de
Competencia Digital para Ciudadanos con Ocho Niveles
de Competencia y Ejemplos de Uso. Unión Europea, 2017.
[20] P. M. Henr'aquez Coronel, M. Gisbert Cervera, y
I. Ferna´ndez Ferna´ndez, “La evaluacio´n de la competencia
digital de los estudiantesuna revisio´n al caso latinoamericano,”
Chasqui: Revista Latinoamericana de Comunicacio´n, no. 137, pp.
93–112, 2018.
[21] P. F. Gibson y S. Smith, "Digital literacies: preparing pupils and
students for their information journey in the TWENTY-first century",
Information and Learning Science, oct 2018.
[22] C. Reis, T. Pessoa, y M. Gallego-Arrufat, "Literacy and digital
competence in higher education: A systematic review", REDU.
Revista de Docencia Universitaria, vol. 17, no. 1, pp. 45–58,
2019.
[23] J. A. López Nun'ezez, M. n N. Campos Soto,, yo. Aznar Díaz, y
C. Ro- driguez Jiménez, "Competencia digital del personal docente
para atender a estudiantes con dificultades de aprendizaje. una revisión
teórica", Revista Electro'nica Interuniversitaria de Formacio'n del
Profesoradoado, vol. 23, No. 2, págs. 143–154, 2020.
[24] A. Sanchez-Caballe, M. Gisbert-Cerveray F. Esteve-Mon, "La
competencia digital de los estudiantes
universitarios: una revisión sistemática de la literatura",
Aloma,, vol. digital competence of university students: a systematic
literature 38, no. 1, pp. 63–74, 2020.
[25] N. Lopes Pereira, H. Aisenberg Ferenhofy F. J. Spanhol,
"Estrategias para la gestión de las competencias digitales en la
educación superior: una revisión en la literatura",
RELACIONADOC: Revista Latinoamericana de Tecnolog'a
Educativa, vol. 18, no. 1, pp. 71–90, 2019.
[26] M. J. Grant y A. Booth, "Una tipología de reseñas: un análisis de 14
tipos de reseñas y metodologías asociadas", Health Information &
Libraries Journal, vol. 26, no. 2, pp. 91–108, mayo de 2009.
[27] J. Higgins, J. Thomas, J. Chandler, M. Cumpston, T. Li, M. Página, y
V. Welch, Cochrane Handbook for Systematic Reviews of
Interventions, ser. Serie Wiley Cochrane. Wiley, 2019. [En línea].
Disponible: https://books.google.cl/books?id=G1SyDwAAQBAJ
[28] T. M. Franke, T. Ho, y C. A. Christie, "The chi-square test",
American Journal of Evaluation, vol. 33, no. 3, pp. 448–458,