1

Informe FinalI
Pre Seminario
Roles y necesidades formativas de los pares
evaluadores externos en procesos de
acreditación obligatoria de carreras
universitarias de pregrado en Chile, frente a
los nuevos criterios y estándares de
acreditación

Nombre: Eduardo Albornoz O´Ryan

Magíster en Políticas Públicas
Noviembre de 2023

1
 2

Contenido
1. Objeto de Estudio.......................................................................................................................3
2. Objetivos....................................................................................................................................3
3. Preguntas de investigación.........................................................................................................4
4. Supuestos de investigación........................................................................................................4
5. Problema de investigación.........................................................................................................5
6. Justificación de la Investigación..................................................................................................8
7. Marco Referencial....................................................................................................................14
8. Apartado metodológico............................................................................................................18
8.1. Criterios Metodológicos...................................................................................................18
Finalidad..................................................................................................................................18
Alcance Temporal.....................................................................................................................19
Profundidad..............................................................................................................................19
Fuentes.....................................................................................................................................19
Carácter....................................................................................................................................20
Grado de Control......................................................................................................................21
8.2. Muestra............................................................................................................................21
Criterios de inclusión del par evaluador:..................................................................................21
b. Criterios de exclusión del par evaluador..............................................................................22
8.3. Instrumento......................................................................................................................23
Técnicas de recogida de datos..................................................................................................23
Procedimiento..........................................................................................................................25
Bibliografía.......................................................................................................................................27

2
 3

1. Objeto de Estudio

Roles y necesidades formativas de los pares evaluadores externos en procesos de

acreditación obligatoria de carreras universitarias de pregrado en Chile, frente a los

nuevos criterios y estándares de acreditación que entran en vigor desde octubre de 2023,

en el marco de la Ley N°21.091.

2. Objetivos

a) Objetivo general: Caracterizar los roles y necesidades formativas de pares

evaluadores/as externos en procesos de acreditación obligatoria de carreras

universitarias de pregrado en Chile, frente a los desafíos de los nuevos criterios y

estándares de acreditación en el marco de la Ley N°21.091 que se aplican a partir de

octubre de 2023.

b) Objetivos específicos:

 Identificar las funciones que han ejercido los pares evaluadores/as externos en

procesos de acreditación universitaria en Chile.

 Identificar los principales requerimientos y expectativas de las comunidades

académicas de carreras de pregrado que esperan del rol del par evaluador en

acreditaciones de carreras.

 Describir experiencias en el ejercicio de los roles del par evaluador en

acreditaciones obligatorias de carreras de Pedagogía, Odontología y Medicina.

 Indagar experiencias de los pares evaluadores en instancias de formación y

capacitación de sus roles.

3
 4

 Explorar laos posibles impactos adecuaciones que son necesarias que tendrán los

nuevos criterios y estándares de acreditación obligatoria de carreras de pregrado en

para el ejercicio de los roles del par evaluador externo frente a los nuevos criterios y

estándares de acreditación obligatoria de carreras de pregrado.

 Explorar las vivencias en el ejercicio de los roles del par evaluador en

acreditaciones obligatorias de carreras de Pedagogía, Odontología y Medicina.

 Describir fortalezas y oportunidades de mejora en el ejercicio de los roles del par

evaluador en procesos de acreditaciones obligatorias de carreras.

 Explicar las principales necesidades formativas para el ejercicio de los roles del par

evaluador en procesos de acreditaciones obligatorias de carreras.

[3.] Preguntas de investigación.

P1: ¿Qué posibles adecuaciones son necesarias para el ejercicio de los roles del par

evaluador externo frente a los nuevos criterios y estándares de acreditación obligatoria de

carreras de pregrado.impactos tendrán los nuevos criterios y estándares de acreditación

obligatoria de carreras de pregrado en el ejercicio de los roles del par evaluador externo?

P2: ¿Cuáles son las necesidades formativas y de capacitación para el desarrollo del

ejercicio de los roles del par evaluador externo en procesos de acreditación obligatoria de

carreras universitarias de pregrado en Chile?

[4.] Supuestos de investigación.

S1: Existe incertidumbre de parte de los pares evaluadores con respecto al rol que deben

ejercer en las evaluaciones externas de las acreditaciones de carreras de pregrado, a partir

de los nuevos criterios y estándares de acreditación.

4
 5

S12: Pueden existirExisten brechas en el ejercicio de los roles de par evaluador en

evaluaciones externas frente a los nuevos criterios y estándares de acreditaciones de

carreras de pregrado, en relación con el rol que debían cumplir en los anteriores criterios de

acreditación.

S2: Diversas acciones formativas son necesarias para dar respuesta a las brechas en el

ejercicio de los roles del par evaluador externo en el marco de los nuevos criterios y

estándares de acreditaciones obligatorias de carreras.

S3: La comunidad académica de las carreras de pregrado con acreditación obligatoria,

esperan que, a partir de los nuevos criterios y estándares de acreditación, se alcancen

mayores grados de objetividad e imparcialidad en las evaluaciones externas de pares.

1.[5.] Problema de investigación

La evaluación externa se considera como una importante etapa del proceso de acreditación

de carreras de instituciones de educación superior. Esta etapa está a cargo de un Comité de

Pares Evaluadores quien conduce la evaluación externa, que, por encargo de la CNA,

realiza una visita a la carrera en proceso de acreditación. En la práctica, sEsta etapa en el

proceso de acreditacióni bien esta etapa genera busca generar una cercanía entre el

evaluador y el evaluado dado que aquel puede estar familiarizado con los estilos y el

lenguaje de la carrera o programa en evaluación, sin embargo, existen problemáticas tales

como la dificultad de establecer parámetros de evaluación homogéneos entre los diferentes

individuos que ejercen la función de par o experto evaluador externo y el conflicto entre

objetividad y subjetividad en las evaluaciones. Además, estas problemáticas deben ser

5
 6

revaloradas una vez que se implementen los nuevos criterios y estándares de acreditación a

partir de octubre de 2023.

Payán-Villamizar et al. (2021) han demostrado que existe cierto grado de asimetría y

contradicción entre los juicios emitidos por los comités de pares evaluadores y los

diferentes estamentos de la comunidad académica evaluada, concluyendo que “existe

diferencia entre la percepción de los estudiantes de pregrado y la evaluación de los pares

académicos con respecto a las características del factor procesos académicos, que fueron

mejor evaluadas por los pares que por los estudiantes”.

Respecto de las competencias presentes en el corpus de evaluadores pares, algunos estudios

de disciplinas específicas han llegado a la conclusión acerca de una falta de capacitación

entre los evaluadores pares: Así lo señalan Villegas (2018), que, de “un total de 236 pares

evaluadores […] solamente un 12,2% poseen probadamente las herramientas de evaluación

competentes. En otras palabras el sistema de pares evaluadores en Chile solo dispone de 29

doctores en su disciplina, la mayoría de los evaluadores son licenciados y magister”, y

respecto de la capacitación o formación recibida por parte del staff evaluador señala que

”no queda claro si hay planes de perfeccionamiento para sus pares evaluadores; tampoco se

preocupan de establecer vínculos con otras agencias de manera de medir o poner a prueba

sus propios sistemas de evaluación de la calidad del desempeño de los programas”.

Estudios más recientes insisten en la necesidad de formación y capacitación efectiva para la

labor de par evaluador. Así, por ejemplo, Fernández et al. (2021) reportan una serie de

observaciones críticas respecto al desempeño y rol del par evaluador, emitidas por diversos

informantes clave de la investigación cualitativa. Así, por ejemplo, desde la perspectiva de

los jefes de carreras entrevistados, señalan “la poca transparencia en la elección y trabajo de

6
 7

los pares evaluadores y una tensión entre los criterios externos y su sello formativo” (p.39),

lo cual contrasta con la propia documentación oficial de CNA analizada en la misma

investigación, la cual enfatiza “la necesidad de preparación de los pares evaluadores, de que

estos se ciñan a los criterios de evaluación y que generen climas de colaboración y

confianza con los actores institucionales” (p.74).

Por último, la investigación de Fernández et al. concluye en la necesidad de ponderación

por parte del rol de par evaluador del contexto territorial y sociocultural en el cual se inserta

la carrera o programa evaluado, de tal manera que se promueva una evaluación situada,

enfatizando, finalmente, en “profundizar en el proceso de inducción y capacitación de los

pares evaluadores, así como las condiciones en las que se realiza este proceso. Las críticas a

la labor de éstos y el desarrollo de la visita de pares han contribuido a erosionar la

legitimidad y el sentido del proceso de acreditación. El estudio da cuenta además de una

débil relación entre este proceso y la generación de una cultura de autorregulación y

evaluación, y una visión de los pares evaluadores que se contradice con los altos estándares

de profesionalismo y transparencia que se enfatizan en los documentos orientadores de la

acreditación”. (p.161).

Como dan cuentan la muestra de los estudios antes señalados,Sin embargo, la mayoría de

las investigaciones consultadas abordan los resultados, percepciones, impactos

valoraciones y recomendaciones a la labor de pares evaluadores desde la perspectiva

de la satisfacción de la comunidad académica e instituciones evaluadas, mas no desde

la perspectiva de los propios evaluadores quienes puedan detectar las principales

determinantes y problemáticas de su labor.

7
 8

Por otro lado, Bernasconi et al. (2020), en un documento de resultados de una mesa de

discusión, critican la Ley 21.091 puesto que tiene como efecto “la verificación formal y

poco flexible de criterios y procedimientos, que no siempre hacen justicia a la

diversidad y complejidad de las instituciones” en las instituciones de educación

superior, dado que la ley intenta uniformar juicios y realizar preguntas genéricas.

Esto podría dar cuenta como desafío de que en las evaluaciones externas los pares

evaluadores logren ponderar en sus visitas a las carreras aspectos fuera de lo formal

que surjan de los diálogos y reflexiones con las comunidades académicas, para

enriquecer los antecedentes para la acreditación de estas ofertas. Este desafío obliga al

sistema a indagar en las percepciones y propuestas tanto de los evaluadores como de

las carreras evaluadas para que se creen las condiciones y las aumento de capacidades

en los pares evaluadores con la finalidad de que en las evaluaciones externas se

generen espacios de cercanía y reflexión con las comunidades académicas, nutriendo

con información más allá de la verificación formal a las acreditaciones.

Finalmente, es importante destacar que, como los nuevos criterios de acreditación se

empiezan a implementar recién en octubre de 2023, no existe evidencia de los

resultados de las evaluaciones externas con estos nuevos procedimientos, por lo que

este estudio puede ser una de las primeras iniciativas para evaluar los primeros

resultados de la aplicación de esta nueva normativa.

A la luz de estos desafíos, es importante investigar cómo estos pueden impactar en los

resultados de las evaluaciones externas frente a los nuevos criterios y estándares de

acreditación de la educación superior, o cómo estos pueden interactuar con otros

8
 9

desafíos que puedan surgir a partir de los cambios en la regulación y en los

procedimientos de acreditación.

3.[6.] Justificación de la Investigación

En el 2006 se promulga la Ley N°20.129 que establece un Sistema Nacional de

Aseguramiento de la Calidad en la Educación Superior (SINACES) y reformula los

procesos de acreditación para evaluar instituciones, carreras y programas de la

educación superior. Esta Ley crea la Comisión Nacional de Acreditación, CNA,

encargada de promover, evaluar y acreditar la calidad de instituciones de educación

superior y carreras y programas.

Posteriormente, el 2018, se promulga la Ley N°21.091 sobre Educación Superior que

modifica la Ley anterior, buscando nuevamente reformular el proceso de

acreditaciones en la educación superior. Mediante estas reformas, se eliminan las

funciones que tenían las agencias privadas, centralizando todo el proceso de

acreditación en la CNA, tanto a nivel institucional, pregrado y postgrado. La nueva

ley crea un nuevo proceso integral de acreditaciones, mandatando a la CNA a

determinar nuevos criterios y estándares de calidad para aplicarlos a partir de

octubre 2023 (Ley N°21.091, 2018).

Además, la nueva Ley establece obligación de Acreditación de las carreras y

programas de estudio conducentes a los títulos profesionales de Médico Cirujano,

Cirujano Dentista, Profesor de Educación Básica, Profesor de Educación Media,

Profesor de Educación Diferencial o Especial y Educador de Párvulos, y de

programas de postgrado de Doctorados.

9
 10

Mediante esta política pública, el Estado, a través de la CNA, evalúa el cumplimiento

de parámetros de calidad de las instituciones de educación superior de manera

integral y de carreras de pregrado y programas de postgrado. Para el caso de las

carreras de pregrado, la CNA cuenta con un reglamento con un listado de criterios y

estándares de evaluación para hacer un chequeo de los procesos formativos y de

soporte de estas ofertas formativas, y que cuentan con mecanismos de aseguramiento

de la calidad y seguimiento de resultados.

Como un primer momento, la acreditación de una carrera comienza mediante un

proceso de autoevaluación de estas mismas ofertas. En este primer proceso, las

instituciones demuestran mediante un informe, formularios de antecedentes y

documentación anexa de que la oferta formativa cumple con los estándares de calidad.

Luego, corresponde un segundo momento, la evaluación externa, a cargo de un

Comité de Pares Evaluadores externos designados por CNA, quienes tienen por

misión revisar la documentación de autoevaluación entregada por la universidad y

evaluar in situ a la oferta mediante una visita evaluativa.

Desde que se establece el SINACES en 2006, la evaluación externa en el caso chileno se

considera como una importante etapa del proceso de acreditación de carreras de

instituciones de educación superior. Esta etapa está a cargo de un Comité de Pares

Evaluadores quien conduce la evaluación externa, que, por encargo de la CNA, realiza

una visita a la carrera en proceso de acreditación, previo acuerdo con cada institución

del programa de visita

La CNA cuenta con un Reglamento que fija el nuevo procedimiento de evaluación

externa a partir de 2019, donde se indica que el Comité en cada uno de los procesos

10
 11

deberá estar compuesto a lo menos por tres integrantes, con el apoyo de un

profesional de la CNA que oficiará de secretario técnico y ministro de fe del proceso.

Uno de los pares dentro del Comité cumplirá las funciones de Presidente.

La Guía para la Evaluación Externa señala que los pares deben cumplir los siguientes

requisitos para serlo:

 Demostrar ser académicos o profesionales experimentados.

 Reconocida autoridad como docentes, investigadores profesionales o

administradores.

 Deben ser seleccionados por la CNA.

 Estar incorporados en el Registro de Pares Evaluadores.

Una vez que los pares integran un Comité de Pares Evaluadores de un proceso de

acreditación previamente autorizado por la CNA, de acuerdo con esta Guía, deben cumplir

las siguientes funciones:

 Estudiar, analizar y validar todos los antecedentes e información cuantitativa y

cualitativa emanada de la etapa anterior, del proceso de autoevaluación de la

carrera.

 Preparar la visita a la carrera junto con CNA.

 Visitar y evaluar en terreno (o en línea a partir de 2019) la carrera, que cuenta con

un tiempo limitado. En esta instancia, debe consultar a los participantes de la carrera

sobre la situación de ésta.

 Emitir una opinión final fundamentada (informe de evaluación externa) del estado

de la carrera.

11
 12

 Presentación, a través del Presidente del Comité, de juicios reflexivos y

fundamentados de los pares sobre la carrera en la relatoría ante el Pleno de la CNA.

De acuerdo con la misma Guía, como el sistema asume la labor de los pares en el Comité

como compleja y delicada, estos deben cumplir con una serie de compromisos y

responsabilidades.

 No tener conflictos de interés con la carrera evaluada.

 10 años de ejercicio profesional o 10 años de experiencia en una institución de

educación superior.

 Ser preseleccionados por la CNA y ratificados por la carrera en acreditación si es no

se encuentran inhabilidades.

 Cumplir exigencias éticas.

 Revisar información que les provee la CNA.

 Asumir los procedimientos de acreditación.

 Participar de capacitaciones.

 Aplicar los criterios y estándares de evaluación que fija la CNA para el proceso de

acreditación.

 Considerar siempre los propósitos y el perfil de egreso de la carrera.

 El Comité de Pares debe comportarse como un equipo debidamente articulado.

Los estudios existentes a la fecha muestran ciertas simetrías en torno a los fundamentos que

sustentan la utilización de un comité de pares o un panel de expertos como modelo para

realizar evaluaciones externas como parte de los procesos de acreditaciones o

12
 13

certificaciones de los sistemas de aseguramiento de la calidad en educación superior, tanto

a nivel institucional como de programas.

Tanto en el caso chileno, como la evidencia comparada de otros sistemas de acreditación a

nivel mundial, esta etapa está a cargo de un panel o grupo de expertos o de pares

evaluadores (ENQA, 2015). La importancia de la participación de expertos evaluadores

externos en los procesos de acreditación radica en múltiples razones, principalmente en que

su participación a través de las visitas rescata variados aspectos de calidad y la opinión de

diversos actores en diversos contextos, incluso a través de espacios informales, que muchas

veces otras etapas más formales y burocráticas no pueden recoger (Langfeldt et al., 2010).

En el caso chileno, es el Comité de Pares Evaluadores quien conduce la evaluación externa,

que, por encargo de la CNA, realiza una visita a la carrera en proceso de acreditación,

previo acuerdo con cada institución del programa de visita. La Guía para la Evaluación

Externa les denomina pares evaluadores:

Pues se trata de personas que comparten entre ellos y con los profesionales,

docentes y académicos que se desempeñan en la carrera o programa, los códigos

propios de la disciplina o profesión y, por tanto, están familiarizados con el lenguaje

y el estilo de la carrera o programa. Pertenecen a la comunidad académica o

profesional nacional o internacional y tienen una reconocida experiencia en materia

de gestión y en el quehacer académico docente, equivalente a la desarrollada en la

carrera o programa en acreditación (Comisión Nacional de Acreditación, CNA, s/f,

pág. 12).

13
 14

Se espera de su labor que puedan generar una opinión fundada, externa e independiente,

que se incluye a los resultados del proceso de autoevaluación de la carrera, para que la

CNA pueda adoptar un juicio final desde todas las perspectivas.

Sin embargo, las evaluaciones externas son complejas. Si consideramos estas evaluaciones

para accountability o rendición de cuentas de las instituciones de educación superior, como

indican Domínguez y Meckes (2011):

Estas evaluaciones para accountability requieren, entre otras cosas, asegurar su

validez e imparcialidad, contar con un referente o marco (estándares de contenido y

de desempeño de aquello que se está evaluando), incluir medidas diversas o

muestras de disímiles complejidades, “puntos de corte” que distingan niveles de

desempeño, mecanismos para eliminar o disminuir los sesgos y errores de medición,

mecanismos de control del cumplimiento de las condiciones estandarizadas de las

evaluaciones (pág. 170).

Por lo tanto, estos mecanismos de evaluación necesitan garantizar la independencia y

neutralidad del evaluador y la estandarización de los procedimientos, instrumentos y

criterios para asegurar la comparabilidad de los resultados.

Para el SINACES, la relevancia del rol de los pares evaluadores es evidente, por tal

motivo la formación y condiciones que reciban debe ser adecuada y precisa para

asegurar la calidad, la imparcialidad y la consistencia en los procesos de acreditación

o certificación de títulos universitarios. En la medida que los pares evaluadores

reciban una formación sólida, con énfasis en competencias, conocimientos

actualizados y habilidades de evaluación, proporcionarán la base para una evaluación

14
 15

rigurosa y efectiva ante un proceso de Acreditación. Esta necesidad se transforma en

urgente dado los nuevos criterios y estándares de acreditación.

Dada la relevancia de la evaluación externa para la acreditación de la calidad de las

instituciones de educación superior, y en particular de las carreras de pregrado, la

labor de los pares evaluadores como protagonistas de esta etapa es clave para

alcanzar los resultados esperados por el sistema y conseguir aportar a las expectativas

generadas por los nuevos criterios y estándares de acreditación. Esta investigación

busca explorar y recolectar los principales desafíos en la labor de los pares

evaluadores, quienes son tensionados tanto por las funciones que deben cumplir, la

satisfacción que deben generar en los actores del sistema y los compromisos y

responsabilidades que deben asumir, frente a los nuevos criterios y estándares de

acreditación que vienen a transformar esta labor evaluativa. Por lo tanto, este estudio

tiene como intención aportar a las capacidades de los pares evaluadores, para lograr

equilibrio entre rigurosidad, objetividad y subjetividad de ellos en la evaluación

externa bajo nuevas condiciones reguladoras y las responsabilidades éticas que deben

cumplir.

Esta investigación utilizará el estudio de casos como estrategia para permitir la recolección

rica de datos de múltiples fuentes, ya sea revisión de documentos y entrevistas a los pares

seleccionados. Permite situar estos casos en contextos diversos. Las entrevistas a diferentes

pares evaluadores permitirán obtener información desde diversas perspectivas, experiencias

y expectativas sobre un único asunto: la labor de estos frente a los nuevos criterios y

estándares de acreditación (Creswell, 1994).

Esta investigación utilizará las siguientes estrategias de recolección de información:

15
 16

 Análisis de documentos normativos públicos relacionados a la Ley 21.091, la normativa

anterior sobre aseguramiento de la calidad de la educación superior, reglamentos y

guías sobre procedimientos que regulan la labor de pares evaluadores para evaluaciones

externas. Además, se indagarán resoluciones de acreditación y actas de relatorías con la

finalidad de encontrar resultados de las evaluaciones externas.

 Revisión de estudios e investigaciones sobre las evaluaciones externas y la labor que

ejercen los pares evaluadores. Se analizarán las principales percepciones de los actores

académicos más relevantes de las instituciones evaluadas y posibles observaciones de

su propia labor que hagan los pares.

 Entrevistas a pares evaluadores que estén en el Registro de Pares Evaluadores para

acreditaciones de carreras de pregrado. Estos académicos o profesionales serán

seleccionados intencionadamente, abarcando tanto académicos de pedagogías como de

carreras del área de la salud con acreditación obligatoria.

 Para estructurar las preguntas de la entrevista y las pautas de revisión documental, se

utilizarán las dimensiones, criterios y estándares de evaluación para acreditaciones de

carreras de Pedagogía, Odontología y Medicina. Para tener en cuenta:

o Las dimensiones constituyen las principales áreas de desarrollo de las

carreras e instituciones.

o Los criterios están asociados a distintos aspectos del aseguramiento de

la calidad, que se definen a partir de las dimensiones y expresan

principios generales, que se espera que las carreras e instituciones

puedan desarrollar de manera continua para responder a los propósitos

institucionales y a las exigencias del entorno.

16
 17

o Los estándares son indicadores determinados por las propias

instituciones de educación superior, que cuentan con un mayor nivel de

especificidad que los criterios, para expresar niveles de desempeño o

logro progresivos (Comisión Nacional de Acreditación, 2020).

[7.] Marco Referencial

Los estudios existentes a la fecha muestran ciertas simetrías en torno a los fundamentos que

sustentan la utilización de un comité de pares o un panel de expertos como modelo para

realizar evaluaciones externas como parte de los procesos de acreditaciones o

certificaciones de los sistemas de aseguramiento de la calidad en educación superior, tanto

a nivel institucional como de programas.

Tanto en el caso chileno, como la evidencia comparada de otros sistemas de acreditación a

nivel mundial, esta etapa está a cargo de un panel o grupo de expertos o de pares

evaluadores (ENQA, 2015). La importancia de la participación de expertos evaluadores

externos en los procesos de acreditación radica en múltiples razones, principalmente en que

su participación a través de las visitas rescata variados aspectos de calidad y la opinión de

diversos actores en diversos contextos, incluso a través de espacios informales, que muchas

veces otras etapas más formales y burocráticas no pueden recoger (Langfeldt y otros,

2010).

En el caso chileno, es el Comité de Pares Evaluadores quien conduce la evaluación externa,

que, por encargo de la CNA, realiza una visita a la carrera en proceso de acreditación,

previo acuerdo con cada institución del programa de visita. La Guía para la Evaluación

Externa les denomina pares evaluadores:

17
 18

Pues se trata de personas que comparten entre ellos y con los profesionales,

docentes y académicos que se desempeñan en la carrera o programa, los códigos

propios de la disciplina o profesión y, por tanto, están familiarizados con el lenguaje

y el estilo de la carrera o programa. Pertenecen a la comunidad académica o

profesional nacional o internacional y tienen una reconocida experiencia en materia

de gestión y en el quehacer académico docente, equivalente a la desarrollada en la

carrera o programa en acreditación (Comisión Nacional de Acreditación, CNA, s/f,

pág. 12).

Se espera de su labor que puedan generar una opinión fundada, externa e independiente,

que se incluye a los resultados del proceso de autoevaluación de la carrera, para que la

CNA pueda adoptar un juicio final desde todas las perspectivas.

Sin embargo, las evaluaciones externas son complejas. Si consideramos estas evaluaciones

para accountability o rendición de cuentas de las instituciones de educación superior, como

indican Domínguez & Meckes (2011):

Estas evaluaciones para accountability requieren, entre otras cosas, asegurar su

validez e imparcialidad, contar con un referente o marco (estándares de contenido y

de desempeño de aquello que se está evaluando), incluir medidas diversas o

muestras de disímiles complejidades, “puntos de corte” que distingan niveles de

desempeño, mecanismos para eliminar o disminuir los sesgos y errores de medición,

mecanismos de control del cumplimiento de las condiciones estandarizadas de las

evaluaciones (pág. 170).

18
 19

Por lo tanto, estos mecanismos de evaluación necesitan garantizar la independencia y

neutralidad del evaluador y la estandarización de los procedimientos, instrumentos y

criterios para asegurar la comparabilidad de los resultados.

[7.1.] Marco teórico

A partir de la normativa sobre acreditaciones de carreras de pregrado y estudios de

investigación sobre que abordan resultados, percepciones y valoraciones de las

comunidades académicas sobre el rol del par evaluador, se puede considerar las siguientes

variables como marco teórico:

Rol del par evaluador: Conjunto de conductas que realiza una persona o que se espera que

ésta realice en función de la posición que ocupa (Argyle et al., 1981). Por lo cual, se

entenderá el rol como una concepción no definida a priori ni inmutable, pues este se va

modificando en función de las diferentes tareas desempeñadas por el par evaluador y en la

relación con el contexto en que se desempeña. Sin embargo, la CNA en la Guía para la

Evaluación Externa, señala las siguientes funciones que debe cumplir el par evaluador:

• Estudiar, analizar y validar todos los antecedentes e información cuantitativa y

cualitativa emanada de la etapa anterior, del proceso de autoevaluación de la carrera.

• Preparar la visita a la carrera junto con CNA.

• Visitar y evaluar en terreno (o en línea a partir de 2019) la carrera, que cuenta con

un tiempo limitado. En esta instancia, debe consultar a los participantes de la carrera sobre

la situación de ésta.

• Emitir una opinión final fundamentada (informe de evaluación externa) del estado

de la carrera.
19
 20

• Presentación, a través del Presidente del Comité, de juicios reflexivos y

fundamentados de los pares sobre la carrera en la relatoría ante el Pleno de la CNA.

Percepción de calidad del rol del par evaluador: Este involucra el grado de satisfacción

percibido las comunidades académicas pertenecientes a las carreras en función del servicio

entregado por los pares evaluadores en procesos de acreditación que son evaluadas, lo cual

se recogerá de estudios que consideran la valoración e impresiones por parte de actores

pertenecientes a las comunidades académicas.

Acreditación de carreras de pregrado: Evaluación externa que busca determinar si un

programa ha alcanzado un estatus de acuerdo con ciertos criterios o estándares (Rodríguez,

2013). Actualmente, en programas de Pregrado, solo se encuentra disponible el

procedimiento de acreditación obligatoria de carreras de Pedagogía, Odontología y

Medicina.

Criterios y Estándares de acreditación: Acuerdos respecto a criterios y estándares que

permitan determinar de manera instrumental las bases de la evaluación de los procesos de

acreditación y la orientación relativa a las trayectorias que conducen a mayores niveles de

calidad. Esta investigación se enmarcará en base a la definición histórica de criterios y

estándares establecidos a nivel nacional por parte de la CNA y de los nuevos criterios y

estándares aplicados a partir de octubre de 2023.

Formación de par evaluador: Proceso conducido por parte de CNA, mandatado por Ley, el

cual plantea requisitos, compromisos y actividades a realizar por parte de los pares

evaluadores, como parte de las responsabilidades que debe asumir los pares evaluadores

señalados la Guía para la Evaluación Externa. En el contexto de la investigación

20
 21

involucrará las orientaciones que la CNA ha establecido para el proceso formativo asociado

al rol de par evaluador.

3.1. Marco empírico

La revisión bibliográfica permite identificar ciertas regularidades en torno a las

problemáticas que presenta la metodología de evaluación externa mediante pares

evaluadores o paneles de expertos, tales como la dificultad de establecer parámetros

de evaluación homogéneos entre los diferentes individuos que ejercen la función de

par o experto evaluador externo, así como los determinantes estructurales en que se

construyen los sistemas de educación superior que pueden dificultar esta labor

evaluativa, generando resultados contradictorios (por ejemplo, que prime la

subjetividad evaluativa) con los objetivos propuestos (evaluaciones objetivas).

Al respecto, en el caso noruego analizado en un estudio, algunas instituciones de

educación superior que han pasado por un proceso de acreditación declaran que

existe en la evaluación externa una tensión entre un examen objetivo y una tendencia

a la parcialidad de parte de los pares. Sin embargo, en el mismo estudio otras

instituciones señalan que la visita de pares ha posibilitado que en las acreditaciones se

pondere junto con los aspectos más “duros” como infraestructura, recursos de

aprendizaje y sistemas de aseguramiento de la calidad, la evaluación de resultados del

proceso enseñanza-aprendizaje (Langfeldt et al., 2010).

Marquina et al. (2009) sostienen que el análisis sobre la participación de pares en

procesos de evaluación involucra un problema principal que es el cómo encontrar el

equilibrio adecuado que permita, por un lado, obtener una mirada valorativa única,

producto del conocimiento y experiencia previa del evaluador sin que, por el otro
21
 22

lado, esta mirada tan específica esté sesgada por preconceptos u otras subjetividades

producto de situaciones e intereses particulares ajenos al rol asignado, pero

íntimamente asociados a su pertenencia a la comunidad académica.

Payán-Villamizar et al. (2021) han demostrado que existe cierto grado de asimetría y

contradicción entre los juicios emitidos por los comités de pares evaluadores y los

diferentes estamentos de la comunidad académica evaluada, concluyendo que “existe

diferencia entre la percepción de los estudiantes de pregrado y la evaluación de los pares

académicos con respecto a las características del factor procesos académicos, que fueron

mejor evaluadas por los pares que por los estudiantes”.

Otro aspecto relevado en la investigación de Fernández et al. (2021, pág. 116) dice

relación con la correspondencia y/o discrepancia de criterios entre los integrantes de

un mismo comité, señalando que los informantes destacan que “existe una noción de

que los pares evaluadores tienen criterios impares de actuación al momento de

evaluar, relatos aluden a que existe una diferencia en el entendimiento que tienen

respecto a dar una sugerencia o a considerar un aspecto como debilidad”.

Respecto de las competencias presentes en el corpus de evaluadores pares, algunos estudios

de disciplinas específicas han llegado a la conclusión acerca de una falta de capacitación

entre los evaluadores pares: Así lo señalan Villegas (2018), que, de “un total de 236 pares

evaluadores […] solamente un 12,2% poseen probadamente las herramientas de evaluación

competentes. En otras palabras el sistema de pares evaluadores en Chile solo dispone de 29

doctores en su disciplina, la mayoría de los evaluadores son licenciados y magister”, y

22
 23

respecto de la capacitación o formación recibida por parte del staff evaluador señala que

”no queda claro si hay planes de perfeccionamiento para sus pares evaluadores; tampoco se

preocupan de establecer vínculos con otras agencias de manera de medir o poner a prueba

sus propios sistemas de evaluación de la calidad del desempeño de los programas”.

Estudios más recientes insisten en la necesidad de formación y capacitación efectiva para la

labor de par evaluador. Así, por ejemplo, Fernández et al. (2021) reportan una serie de

observaciones críticas respecto al desempeño y rol del par evaluador, emitidas por diversos

informantes clave de la investigación cualitativa. Así, por ejemplo, desde la perspectiva de

los jefes de carreras entrevistados, señalan “la poca transparencia en la elección y trabajo de

los pares evaluadores y una tensión entre los criterios externos y su sello formativo” (p.39),

lo cual contrasta con la propia documentación oficial de CNA analizada en la misma

investigación, la cual enfatiza “la necesidad de preparación de los pares evaluadores, de que

estos se ciñan a los criterios de evaluación y que generen climas de colaboración y

confianza con los actores institucionales” (p.74). Al respecto, hay muchas experiencias en

contextos comparados de acreditaciones de educación superior donde se han implementado

capacitaciones o entrenamientos de origen público de los pares evaluadores para alcanzar

mejoras permanentes en los resultados de las evaluaciones externas (Cuellar Garay et al.,

2020).

Por último, la investigación de Fernández et al. concluye en la necesidad de ponderación

por parte del rol de par evaluador del contexto territorial y sociocultural en el cual se inserta

la carrera o programa evaluado, de tal manera que se promueva una evaluación situada,

enfatizando, finalmente, en “profundizar en el proceso de inducción y capacitación de los

pares evaluadores, así como las condiciones en las que se realiza este proceso. Las críticas a

23
 24

la labor de éstos y el desarrollo de la visita de pares han contribuido a erosionar la

legitimidad y el sentido del proceso de acreditación. El estudio da cuenta además de una

débil relación entre este proceso y la generación de una cultura de autorregulación y

evaluación, y una visión de los pares evaluadores que se contradice con los altos estándares

de profesionalismo y transparencia que se enfatizan en los documentos orientadores de la

acreditación”. (p.161).

3.2.[7.2.] Marco metodológico

En cuanto a la metodología para recoger información sobre percepciones de actores

ligados al aseguramiento de la calidad de instituciones de educación superior,

Fernández et al. (2021, págs. 48-63) utilizan un estudio cuyo componente principal es

cualitativo de análisis de documentos normativos y un componente complementario

cuantitativo para conocer los cambios percibidos como resultados de procesos de

acreditación, lo cual fue complementado con entrevistas a un grupo menor de

programas.

Seema et al. (2017) desarrollaron una escala de evaluación para medir el impacto de

las evaluaciones externas percibido por los profesionales de educación superior de

Estonia. Este estudio aplicó una metodología mixta, donde se utilizó un cuestionario

para recoger la percepción de los encuestados.

Sin embargo, toda esta evidencia muestra resultados de la labor de los pares

evaluadores o comités expertos desde la perspectiva de los “evaluados”, desde la

comunidad académica y las instituciones evaluadas, pero no desde la perspectiva de

los propios pares. Por lo tanto, es un reto de este estudio poder recoger las

experiencias de los evaluadores, “la otra cara de la moneda” de la evaluación externa

24
 25

para acreditaciones, que complemente las consideraciones de los evaluados en

diversas evidencias.

4.[8.] Apartado metodológico

4.1.[8.1.] Criterios Metodológicos

Finalidad

Corresponde a una investigación básica. A partir de la información que se obtendrá

de fuentes secundarias para demostrar la situación de las funciones que han ejercido

los pares evaluadores/as externos en procesos de acreditación universitaria en Chile, y

la información que se obtendrá directamente de pares evaluadores de evaluaciones

externas de acreditaciones de carreras de pregrado para recoger sus experiencias de

ejercer su función hasta ahora y sus expectativas sobre la labor que deberán ejercer

una vez que se aplique la nueva regulación de acreditación de universidades, se podrá

caracterizar los roles y necesidades formativas del rol de pares evaluadores externos

que surjan de la aplicación de los nuevos criterios y estándares de acreditación de

carreras, en comparación con la situación antes de la aplicación de la nueva Ley y las

necesidades y requerimientos que surgen de las comunidades académicas.

Alcance Temporal

Corresponde a una investigación longitudinal, puesto que estudiará el rol de los pares

evaluadores en los procesos de acreditación de carreras de pregrado en el contexto de

la anterior normativa y de la nueva ley, cuyos nuevos criterios y estándares de

acreditación se empiezan a aplicar a partir de octubre de 2023. Esto permitirá hacer

comparaciones del fenómeno entre contextos diversos y proponer acciones correctivas

teniendo en consideración la nueva ley.

25
 26

Gracias a la participación de pares evaluadores, esta investigación será prospectiva

pues a partir de sus experiencias se pueden extraer percepciones sobre la aplicación

de los nuevos criterios y estándares sobre el rol que ejercerán en las evaluaciones

externas.

Profundidad

El estudio tendrá un alcance exploratorio, pues se establecerá la relación entre las

variables que componen el rol de pares evaluadores a partir de sus propias

experiencias y percepciones, con variables que componen los nuevos y antiguos

criterios y estándares de acreditación y las necesidades y requerimientos de las

comunidades recogidas en otros estudios y documentación oficial.

Fuentes

Se recopilarán datos de fuentes mixtas, para una recolección rica de datos.

Los datos de fuentes primarias se obtendrán de entrevistas focalizadas y

semiestructuradas, para recolectar datos mediante un conjunto de preguntas abiertas

temáticas, formuladas previamente en un orden específico, en un proceso interactivo,

el cual implica la formulación de preguntas y la escucha de respuestas (Mayan, 2001;

Sandoval, 2002). Respecto al carácter focalizado, este quiere decir que las personas

entrevistadas han estado en una situación particular (Fiske, et al., 1998) en este caso

ejercer el rol de par evaluador y recibir formación relativa al rol.

También como fuente de información primaria se utilizarán grupos de discusión, para

indagar acerca un contenido producido por las interacciones (Gaskell, 2000). Por lo

26
 27

que se espera generar 3 grupos de discusión que representen las 3 áreas de carreras de

acreditación obligatoria.

Por otro lado, se utilizará la documentación para recolección de datos y análisis de

variables a partir de fuentes secundarias asociadas a la normativa histórica y vigente

relativa a los procesos de acreditación de carreras de pregrado a nivel nacional y

estudios que indaguen las expectativas y necesidades de los actores de las

comunidades académicas de estas carreras.

Carácter

Se empleará un método cualitativo de investigación, con un diseño fenomenológico,

con el objetivo de describir y comprender el fenómeno desde el punto de vista del

participante. En este caso se busca una caracterización del rol y proceso formativo de

pares evaluadores/as, a partir de su propio punto de vista.

Grado de Control

Como es una investigación cualitativa longitudinal, corresponde a un estudio no

experimental, puesto que el fenómeno se observará en su situación de interacción ya

existente con el contexto natural, tanto legal, institucional como académico. Este

contexto ya influencia sobre el fenómeno de estudio.

Amplitud

Corresponde a un estudio microsocial, puesto que estudia un grupo de la comunidad

académica de educación superior que interactúa en un sistema compuesto por muchos

otros grupos (estudiantes, académicos, gestores, autoridades, etc.).

27
 28

4.2.[8.2.] Muestra

Población

El registro de pares evaluadores de la Comisión Nacional de Acreditación cuenta con

623 pares evaluadores de las tres áreas de acreditación obligatoria de carreras de

pregrado, todos seleccionados mediante concursos públicos. Corresponden a

académicos cuyos títulos y experiencias profesionales e investigativas corresponden a

las tres áreas de las carreras de acreditación obligatoria (Carreras de Pedagogías,

Carrera de Medicina y Carrera de Odontología), y con destacada autoridad, como lo

indica la Guía para la Evaluación Externa (Comisión Nacional de Acreditación, s/f).

De este registro, la CNA selecciona los 3 pares que compondrán el Comité de Pares

Evaluadores que realizará la evaluación externa de cada una de las carreras que entra

en proceso de acreditación.

Método de muestreo

Para el enfoque cualitativo de la investigación, el muestreo es no probabilístico por

conveniencia. Para la investigación, se seleccionarán pares evaluadores registrados

que ejerzan su labor académica o profesional en universidades de la Región del Biobío

o la Región de Ñuble. A pesar del componente territorial que puede significar esta

selección, cabe considerar que los pares evaluadores puede ejercer su labor en el

Comité de Pares de carreras de pregrado de Universidades en cualquier parte del

país. De hecho, los pares evaluadores no pueden evaluar una carrera que oferta la

universidad empleadora del par.

Criterios de inclusión y exclusión

a. Criterios de inclusión del par evaluador.

28
 29

1. Estar en el registro nacional de par evaluador de CNA.

2. Ejercer el rol de par evaluador en los últimos 10 años.

3. Ser experto profesional con idoneidad y trayectoria para los procesos de

acreditación obligatoria de carreras de pregrado. Este ya es un requisito para

pertenecer al registro nacional.

4. Representar áreas de acreditación obligatoria de pregrado: Pedagogía, Medicina y

Odontología.

5. Haber recibido formación relativa al rol de par de evaluador.

6. Tener experiencia profesional en educación superior de al menos 2 años.

7. Pares que ejerzan su labor académica o profesional en universidades de la Región

del Biobío o la Región de Ñuble.

b. Criterios de exclusión del par evaluador.

1. Ejercer el rol de par evaluador sólo en procesos de formación relativos al postgrado

y especialidades médicas (no se encuentran en el registro de pregrado).

2. No haber recibido formación relativa al rol de par evaluador en los últimos 10 años.

3. No haber ejercido el rol de par evaluador en los últimos 10 años.

4. No tener experiencia profesional en educación superior.

Tamaño de la muestra

El tamaño muestral variará de acuerdo con los objetivos de investigación. En este

sentido, los participantes se seleccionarán aleatoriamente según la representatividad

29
 30

de los datos y no se definirá de manera taxativa. No obstante, la investigación se

guiará por un esquema de muestreo propositivo (Onwuegbuzie y Leech, 2007b), para

esto se escogerá una cantidad de pares evaluadores que permitan abordar las 3 áreas

de acreditación obligatoria para carreras de pregrado, de tal manera de poder

representar las múltiples perspectivas que ejemplifican la complejidad del fenómeno.

El número final de participantes estará guiado por la saturación de la información

(Onwuegbuzie & Leech, 2007b), por lo que considerará entre 3 a 10 pares evaluadores

por área. De estos pares se escogerá un grupo de pares que participarán del grupo de

discusión.

4.3.[8.3.] Instrumento

Variables o categorías de análisis del estudio.

Rol de par evaluador: Conjunto de conductas que realiza una persona o que se espera

que ésta realice en función de la posición que ocupa (Argyle et al., 1981). Por lo cual,

se entenderá el rol como una concepción no definida a priori ni inmutable, pues este se

va modificando en función de las diferentes tareas desempeñadas por el par evaluador

y en la relación con el contexto en que se desempeña. Sin embargo, la CNA en la Guía

para la Evaluación Externa, señala las siguientes funciones que debe cumplir el par

evaluador:

 Estudiar, analizar y validar todos los antecedentes e información cuantitativa y

cualitativa emanada de la etapa anterior, del proceso de autoevaluación de la

carrera.

 Preparar la visita a la carrera junto con CNA.

30
 31

 Visitar y evaluar en terreno (o en línea a partir de 2019) la carrera, que cuenta

con un tiempo limitado. En esta instancia, debe consultar a los participantes de

la carrera sobre la situación de ésta.

 Emitir una opinión final fundamentada (informe de evaluación externa) del

estado de la carrera.

 Presentación, a través del Presidente del Comité, de juicios reflexivos y

fundamentados de los pares sobre la carrera en la relatoría ante el Pleno de la

CNA.

Percepción de calidad del rol del par evaluador: Este involucra el grado de

satisfacción percibido las comunidades académicas pertenecientes a las carreras en

función del servicio entregado por los pares evaluadores en procesos de acreditación

que son evaluadas, lo cual se recogerá de estudios que consideran la valoración e

impresiones por parte de actores pertenecientes a las comunidades académicas.

Acreditación de carreras de pregrado: Evaluación externa que busca determinar si un

programa ha alcanzado un estatus de acuerdo con ciertos criterios o estándares

(Rodríguez, 2013). Actualmente, en programas de Pregrado, solo se encuentra

disponible el procedimiento de acreditación obligatoria de carreras de Pedagogía,

Odontología y Medicina.

Criterios y Estándares de acreditación: Acuerdos respecto a criterios y estándares

que permitan determinar de manera instrumental las bases de la evaluación de los

procesos de acreditación y la orientación relativa a las trayectorias que conducen a

mayores niveles de calidad. Esta investigación se enmarcará en base a la definición

31
 32

histórica de criterios y estándares establecidos a nivel nacional por parte de la CNA y

de los nuevos criterios y estándares aplicados a partir de octubre de 2023.

Formación de par evaluador: Proceso conducido por parte de CNA, mandatado por

Ley, el cual plantea requisitos, compromisos y actividades a realizar por parte de los

pares evaluadores, como parte de las responsabilidades que debe asumir los pares

evaluadores señalados la Guía para la Evaluación Externa. En el contexto de la

investigación involucrará las orientaciones que la CNA ha establecido para el proceso

formativo asociado al rol de par evaluador.

Técnicas de recogida de datos

Entrevistas semiestructuradas: Esta técnica consiste en recolectar datos mediante un

conjunto de preguntas abiertas (núcleos temáticos), formuladas previamente en un

orden específico, en un proceso interactivo, el cual implica la formulación de

preguntas y la escucha de respuestas (Mayan, 2001; Sandoval, 2002).

Grupo de discusión: Esta es una técnica que utiliza la entrevista grupal para recopilar

información relevante sobre el problema de investigación, donde varias personas

responden simultáneamente a preguntas de manera sistemática en una conversación

estructurada (Krueger, 1991), que busca una producción discursiva de un grupo de

personas, para indagar acerca un contenido producido por las interacciones (Gaskell,

2000), en el que se exploran significaciones latentes asociadas a los objetivos

planteados (Lamnek, 1998). Por lo que se espera generar 3 grupos de discusión que

representen las 3 áreas de carreras de acreditación obligatoria.

32
 33

Documentación: Recolección y análisis de fuentes secundarias asociadas a la

normativa histórica y vigente relativa a los procesos de acreditación de carreras de

pregrado a nivel nacional y estudios que indaguen las expectativas y necesidades de

los actores de las comunidades académicas de estas carreras.

A través de estas tres fuentes de información se espera alcanzar la triangulación de

datos de fuentes (Cerdá, 2002), con el fin de realizar una contraposición y

comparación constante de distintas miradas hacia el objetivo de estudio.

Procedimiento

Diseño y revisión de guion temático: Se diseñará un guion temático y preguntas

directrices acorde a los objetivos de la investigación, con el fin de someter la pauta a

evaluación de jueces.

Contacto con Instituciones y actores claves: Se contactará a actores claves a través de

CNA, para extraer oficialmente los registros públicos de pares evaluadores,

adicionalmente se gestionará una carta de compromiso y autorización para el contacto

posterior con pares.

Recolección de información: Se realizará una evaluación de jueces expertos en

aseguramiento de la calidad mediante un cuestionado ad hoc en base a los

lineamientos de Escobar-Pérez & Cuervo-Martínez (2008), para esto se contactarán

12 expertos en Aseguramiento de la Calidad para carreras de pregrado. En paralelo a

esta acción se llevará a cabo un análisis de documentos secundarios, en específico se

analizarán en base a los objetivos específicos 4 y 5, a través de documentación oficial

pública. Posteriormente para responder a los objetivos 1, 2 y 3 se realizarán

33
 34

alrededor de 6 a 12 entrevistas individuales focalizadas y semi estructuradas por

perfil y 3 grupos de discusión.

Ajustes pauta de entrevista y grupo de discusión y pilotaje: Se realizarán los ajustes a

la pauta, para posteriormente realizar un pilotaje de la entrevista, lo que permitirá

determinar la pertinencia, así como las condiciones de la aplicación y los

procedimientos (Hernández et al., 2016).

Transcripción: Una vez realizada la primera entrevista se solicitará la transcripción

textual de la información, esto se repetirá en cada entrevista y grupo de discusión. Se

auditará el 30% de los datos como parte de la estrategia de verificación de la

información.

Análisis de datos y/o información:

Respecto a los datos recopilados en las entrevistas y grupos de discusión, se realizará

un análisis de contenido temático. Este tipo de análisis se selecciona pues permite

formular a partir de ciertos datos inferencias que sean reproducibles y válidas para

un contexto en particular. Además, permite utilizar material no estructurado, siendo

una técnica de análisis no intrusiva y neutral, pero sensible al contexto (Krippendorff,

1990;2002).

El análisis se guiará mediante un enfoque inductivo, el procedimiento de análisis se

basará en la propuesta de Mayring (2004) sobre el análisis de contenido tradicional y

los planteamientos del enfoque del método comparativo constante de Glaser y Strauss

(1999), por lo que se realizará un pre análisis, luego se generarán los códigos, seguido

de las categorías de análisis y finalmente una síntesis final o mapa de categorías.

34
 35

Lo anterior permitirá agrupar los datos en conjuntos homogéneos que le den un

sentido, a través de pasos consecutivos hasta llegar a una conceptualización que

permita su justificación (Huberman & Miles, 2000), lo que facilitará la interpretación

y el establecimiento de relaciones e inferencias (Mayring, 2004), contribuyendo a la

profundidad y riqueza analítica (Baudino & Reising, 2000), para así generar

información válida, fiable y comprensible (Carey, Morgan & Oxtoby, 1996).

Adicionalmente se considerará el criterio de rigor científico de credibilidad (Pérez,

2007) por lo que se examinarán los datos e interpretaciones. Sumado a esto, se

considerará la autenticidad (Marshall, 1990) por lo que se reflexionará

constantemente sobre los supuestos de la realidad. Así mismo, en los procesos

interpretativos se considerará la transferibilidad (Guba y Lincoln, 1985) por lo tanto

el grado de aplicabilidad será en función de similitudes de contextos. Por último, se

velará por la triangulación del análisis de la información (Cerdá, 2002).

4.4.[8.4.] Criterios de calidad

Credibilidad – Autenticidad:

- Compromiso con el trabajo de campo: se solicitará entrevistas a la mayor

cantidad de personas que se desempeñen como pares evaluadores de carreras, para

recoger datos ricos de diversas miradas que permitan encontrar brechas y nudos

críticos relacionados al fenómeno de estudio para recoger resultados. Además, se

grabarán las entrevistas para su posterior transcripción textual, con la finalidad de

resguardar los aportes de las personas entrevistadas y diferenciar estas de las

interpretaciones de los investigadores.

35
 36

- Obtención de datos a través de documentos oficiales públicos o que accedan a

entregar organismos públicos para complementar y respaldar la información recogida

de las entrevistas.

- Se solicitará a los entrevistados una posterior revisión de documentos de

investigación emanados del análisis de los investigadores a partir de la información

recogida en las universidades seleccionadas.

- Solicitud a otros investigadores de probada experiencia sobre estudios de

aseguramiento de la calidad en la educación superior, revisar de manera crítica el

estudio antes de ser publicado.

Transferibilidad

En este estudio, se encuentra la salvedad de que los resultados no son transferibles a la

totalidad del subsistema de educación superior del país, dado que la implementación

de la Ley dependerá muchas veces de la tradición, principios, propósitos, fines,

estrategias, trayectorias, contextos locales, consolidación de procesos y otras

realidades de los actores y de las organizaciones que componen el sistema de

educación superior.

Sin embargo, el estudio está dirigido especialmente a gestores y profesionales de

calidad de instituciones de educación superior, funcionarios públicos de los

organismos reguladores del aseguramiento de la calidad del subsistema y académicos

e investigadores relacionados a la temática que buscan casos relacionados al

fenómeno.

36
 37

Seguridad – Auditabilidad.

- Se solicitará a investigadores sobre aseguramiento de la calidad en la educación

superior la revisión de la consistencia y coherencia de los datos e información recogida

a partir de las entrevistas realizadas y de los documentos consultados.

- Transcripción textual de entrevistas, para resguardar los aportes de las

personas entrevistadas y diferenciar estas de las interpretaciones de los

investigadores.

- Elaboración de protocolos y pautas de entrevistas para resguardar que se

realicen en condiciones similares. Estos protocolos y pautas se revisarán

constantemente y se validarán con expertos antes de ser aplicadas.

Confirmabilidad.

Se solicitará mediante correo electrónico o llamado telefónico a los entrevistados una

posterior revisión de documentos de investigación emanados del análisis de los

investigadores.

Solicitud a otros investigadores de probada experiencia sobre estudios de

aseguramiento de la calidad en la educación superior revisar de manera crítica el

estudio antes de ser publicado.

Bibliografía

Bernasconi, A., Fernández, E., Irarrázabal, I., Scharager, J., & Villalón, M. (2020). Aseguramiento
de la calidad y la nueva Ley de Educación Superior. En Temas de la Agenda Pública (págs.
1-14). Centro de Políticas Públicas UC.

Comisión Nacional de Acreditación. (2020). Criterios y Estándares 2022. Memoria de elaboración

y elementos conceptuales de los criterios y estándares para la acreditación.

37
 38

https://www.cnachile.cl/SiteAssets/Paginas/consulta_criterios_y_estandares/
memoria_de_elaboracion.pdf

Comisión Nacional de Acreditación, CNA. (s/f). Guía para la Evaluación Externa.

Creswell, J. W. (1994). Investigación Cualitativa y Diseño Investigativo. Selección entre cinco

tradiciones.

Cuellar Garay, M. B., Patiños, M. I., & Parra Trepowski, Ó. (2020). Formación de Pares
Evaluadores Externos a distancia virtual. Primera experiencia en Paraguay. Revista
Científica Estudios e Investigaciones, 9(1), 162-173.
https://doi.org/https://doi.org/10.26885/rcei.9.1.162

Domínguez, M., & Meckes, L. (2011). Análisis y propuestas para la acreditación de pedagogías en
Chile. Calidad en la educación, 165-183.

ENQA. (2015). Standards and Guidelines for Quality Assurance in the European Higher Education
Area (ESG). Bruselas, Bélgica.
https://www.enqa.eu/wp-content/uploads/2015/11/ESG_2015.pdf

Fernández, M. B., González, Á., Salinas, I., Orellana, V., & Rocco, A. (2021). Entre la
autorregulación y el cumplimiento: el impacto de la acreditación obligatoria en el
cambio de prácticas en programas de pedagogía. Serie Cuadernos de Investigación en
Aseguramiento de la Calidad, 23. http://www.investigacion.cnachile.cl/

Langfeldt, L., Stensaker, B., Harvey, L., Huisman, J., & Westerheijden, D. F. (2010). The role of
peer review in Norwegian quality assurance: potential consequences for excellence and
diversity. Higher Education, 59(4), 391-405. https://doi.org/10.1007/s10734-009-9255-4

Ley N°21.091. (11 de mayo de 2018). Sobre Educación Superior.

Marquina, M., Ramírez, B., & Rebello, G. (2009). La Actuación de Pares Evaluadores de Carreras
de Postgrado: Percepciones desde el propio Campo Académico. Revista Argentina de
Educación Superior(1), 57-77.

Payán Villamizar, C. M., Leal Márquez, D., & León Giraldo, H. (2021). Percepción de estudiantes
de pregrado y evaluación de pares del Consejo Nacional de Acreditación respecto a la
calidad de los procesos académicos en una universidad pública. Revista Interamericana
de Investigación, Educación y Pedagogía, 14(2), 39-69.
https://doi.org/https://doi.org/10.15332/25005421.6058

Seema, R., Udam, M., Mattisen, H., & Lauri, L. (2017). The perceived impact of external
evaluation: the system,organisation and individual levels—Estonian case. Higher
Education(73), 79-95. https://doi.org/10.1007/s10734-016-0001-4

Villegas, I. (2018). Perfil y rol de las agencias de acreditación y pares evaluadores en el

aseguramiento de la calidad de la enseñanza en carreras artísticas universitarias en
Chile: diagnóstico y propuesta de acción para procesos de Acreditación. Calidad en la
Educación, 40, 130-169. https://doi.org/https://doi.org/10.31619/caledu.n40.68

38
 39

39