EL JUICIO DE EXPERTOS

DISEÑO DE PLANTA

FUNDACIÓN UNIVERSITARIA TECNOLÓGICO COMFENALCO

INGENIERIA INDUSTRIAL- SEM 10

TRABAJO ENTREGADO POR: Lina Margarita Rangel Montes- Lina Marcela Sampayo

López- Alfredo Wulfert Velásquez

ENTREGADO A: Juan Carlos Herrera

CARTAGENA-11/2021
DEFINICIÓN:

Este mismo, es un método en se hacea validación que sea útil y que a su vez sirva para realizar
verificaciones veraces de una investigación definida como * El Juicio de expertos es una opinión
informada por personas con experiencia en esta, los cuales son considerados expertos cualificados
en el tema, que pueden brindar información, evidencias juicios y valoración a cerca de este.*
[ CITATION Esc08 \l 9226 ]

El juicio de expertos, se basa en unir 2 criterios fundamentales, validez y credibilidad. La validez,

está establecida frecuentemente en dos sucesos, el que antecede al diseño de una
prueba/análisis/evaluación y por otra parte la validación de un instrumento expuestos a traducción
y estandarización para ajustarlo a diversos conceptos culturales, aquí el experto, comienza a
eliminar aspectos poco importantes y a su vez añade aquellos que son fundamentales ajustando o
modificando según sea el requerimiento.

[ CITATION Gar15 \l 9226 ]

METODOLOGÍA

Para la realización del juicio de expertos se proponen diversos pasos:

1. Preparar instrucciones y planillas.

2. Seleccionar los expertos y entrenarlos.

3. Explicar el contexto.

4. Posibilitar la discusión.

5. Establecer el acuerdo entre los expertos por medio del cálculo de consistencia.

Los autores que proponen estos pasos son Skjong y Wentworht (2000), y de Arquer (1995) que, a
parte de estos, clarifican que es de suma importancia instruir al juez, y el indicador que va a medir
cada ítem o un grupo de estos. También es de relevancia, dar información sobre el uso que tienen
los resultados de la prueba, ya que estos están sumamente relacionados con la validez de su
contenido.

Para la obtención de juicio de expertos existen métodos que se puede clasificar según sea la prueba,
ya sea de manera individual o grupal. La individual, podemos encontrar método de agregados
individuales y el método Delphi; en ambas, cada juez realizara la evaluación de manera individual,
a diferencia que, en el Delphi, después de analizar las respuestas, a cada juez se le envía la mediana
obtenida y se pide que reconsidere su juicio hasta lograr un consenso. La grupal, podemos encontrar
la nominal y el consenso, en ambos se deben reunir a los expertos, pero en el consenso se exige un
mayor nivel de acuerdo. En ambas técnicas, generar discusiones o la existencia de variables
individuales como lo son la personalidad y las habilidades sociales, pueden ocasionar serios
problemas.

Posteriormente, se proponen unos pasos que permitirán organizar la información, para que el
proceso de juicio de expertos sea más eficiente.

1. Definir el objetivo del juicio de expertos: Se debe tener claro cuál es la finalidad del juicio que se
llevara a cabo, ya que esta se puede utilizar para varios objetivos:

a) Establecer la equivalencia semántica de una prueba que se encuentra validada en otro idioma.

b) Evaluar la adaptación cultural, es decir, el objetivo de los jueces es evaluar si los ítems de la
prueba miden el mismo constructo en una cultura distinta.

c) Validar contenido en una prueba diseñada por un grupo de investigadores.

2. Selección de jueces: Para la selección, se debe considerar la formación académica de los

expertos, su experiencia y reconocimiento en la comunidad. Se propone tener un mínimo de 5
jueces, de las cuales dos deben ser expertos en medición y evaluación, y por si se solicita traducción
y adaptación, se solicita un que sea experto en lingüística, por lo menos 1.

3. Manifestar tanto las dimensiones como los indicadores que esta midiendo cada uno de los ítems
de la prueba: Este paso permitirá al juez saber la relevancia, la suficiencia y pertenecía del ítem a
tratar.

4. Especificar el objetivo de la prueba: Se debe proporcionar a cada juez toda la información

relacionada con el uso de la prueba, es decir, para qué van a ser usados los puntajes que se
obtengan.

5. Establecer los pesos diferenciales de las dimensiones de la prueba: Este sólo se realiza cuando
alguna de las dimensiones tienen pesos diferentes.

6. Diseño de planillas: Esta se debe diseñar teniendo en cuenta los objetivos de la evaluación.
7. Calcular la concordancia entre jueces: Para esto se deben utilizar los métodos estadísticos Kappa
y Kendall.

8. Elaboración de las conclusiones del juico.

APLICACIONES

No puede quedarse en el olvido la premisa principal para recurrir a la opinión de los expertos:
“Estar en presencia de incertidumbres del conocimiento irreducibles o prácticamente irreducibles”.
Si ésta no se da no está justificada la utilización del juicio de expertos.

Un segundo problema asociada al uso del juicio de expertos es el posible exceso de confianza en la
opinión de los expertos.

Otra característica a tener en cuenta del Juicio de Expertos es que el estado de conocimiento de un
experto sobre una asunto de interés, siempre se refiere a un instante de tiempo particular, y que
conforme están disponibles nuevos datos experimentales, cálculos o conocimientos teóricos sobre
esa cuestión, la opinión del experto debería cambiarse para tenerlos en cuenta, disminuyendo o
aumentando su incertidumbre según los casos.

A continuación, veremos 3 aplicaciones de este procedimiento de Juicio de Expertos, a casos de

gran importancia:

1. NUREG-1150: Esta se diseñó para obtener estimaciones subjetivas de magnitudes físicas

de forma que representasen de la mejor forma posible las experiencias conocidas y que
reflejaran de forma precisa la incertidumbre colectiva sobre esos valores. Se establecieron
principios que servirían de guía para el desarrollo:

a) Las evaluaciones se limitaban a temas en los que no existían fuentes de información, como lo
eran datos experimentales observados o resultados de modelos de cálculo validados.

b) Los temas analizados, realizando el juicio de expertos, debían ser potencialmente importantes en
cuanto a su impacto en el riesgo.

c) La descomposición de temas complejos dentro de evaluaciones más simples se realiza para

mejorar la calidad de la información que resulte.

d) Los temas debían presentarse a los expertos sin confusiones y sin la posibilidad de pre-
condicionamiento de las respuestas.
e) Los expertos se debían entrenar en la práctica de manifestar su conocimiento en forma de
distribuciones de probabilidad.

f) La discusión de los temas y opiniones, debían tenerse en cuenta en reuniones controladas y

estructuradas, para que los expertos se animaran a explorar otras alternativas.

g) La obtención del juicio de los expertos debía llevarse a cabo mediante técnicas que reflejasen el
estado del arte en la evaluación de las probabilidades subjetivas.

h) La agregación de los juicios de varios expertos debía preservar la incertidumbre existente entre
puntos de vista alternativos.

NUREG-1150 no trata de reducir las dudas en los análisis de riesgos, ni tampoco encontrar las
mejores consideraciones del riesgo, sino que trata de obtener un mapa no sesgado del riesgo. Se
trata de encontrar el rango de incertidumbre en el riesgo inherente a las distintas hipótesis sobre los
fenómenos, condiciones de contorno y condiciones iniciales. El riesgo correspondiente a las
hipótesis más aceptables (subjetivamente) tiene una probabilidad superior de ser aceptado por un
experto en fenómenos de accidente severo elegido al azar. Los expertos en ciertas ocasiones están
en el error y a veces los expertos que están en 10, pueden encontrase fuera de los rangos
encontrados en este estudio.

2. Licenciamiento de almacenamiento de residuos radiactivos de alta actividad: En caso del proceso

de licenciamiento de un almacenamiento de residuos radiactivos de alta actividad en Estados
Unidos, las normas promulgadas por la Agencia para la Protección del Medio Ambiente (EPA
-Environmental Protección Agency), sobre el almacenamiento de estos residuos en formaciones
geológicas profundas sugieren el uso de análisis cuantitativos para evaluar la capacidad del
emplazamiento para aislar los residuos. Bonano y sus colaboradores, han determinado las tareas
más importantes que se podrían beneficiar del uso de los procesos formales de juicio de expertos en
las evaluaciones del comportamiento de los almacenamientos geológicos de residuos radiactivos de
alta actividad:

a) Desarrollo de escenarios, que supone la identificación y criba de sucesos y procesos, la

formulación y criba de escenarios y la asignación de probabilidades de ocurrencia a los mismos

b) Desarrollo de modelos, que deduce la selección e interpretación de datos, la creación de modelos

conceptuales y la elaboración de códigos de cálculo.

c) Consideración de la incertidumbre en los parámetros.

d) Selección de la información importante para la evaluación de seguridad.

e) Toma de decisiones sobre el diseño, construcción y operación del almacenamiento.

3. Los análisis de la peligrosidad sísmica: Se identifican cuatro tipos de consenso y se establece una
jerarquía de complejidad para los temas técnicos, consistente en cuatro niveles, que representan un
nivel creciente de participación de los expertos en el desarrollo de los resultados; en el nivel más
complejo (nivel 4) se constituye formalmente un panel de expertos y se obtiene la información las
interpretaciones del panel a partir de la información técnica más relevante sobre los temas.

ESTADIGRAFOS:

Partiendo de que un juicio incluye elementos subjetivos, es necesario conocer el grado de acuerdo
entre ellos para conocer la estimación en la confiabilidad. Cuando la medida de acuerdo obtenida es
alta indica que hay consenso en el proceso de clasificación o asignación de puntajes entre los
evaluadores, igualmente da cuenta de la intercambiabilidad de los instrumentos de medición y
reproducibilidad de la medida.

Ahora bien, se realizan diversos procedimientos para determinar el grado de acuerdo entre los
jueces, una aproximación inicial fue calcular el porcentaje de acuerdo, medida que resulta
insuficiente ya que no incluye el acuerdo esperado por el azar, posteriormente se incluyeron
medidas de correlación que eran interpretadas como índices de acuerdo; sin embargo un alto índice
de correlación no necesariamente implica que el acuerdo sea alto. Un ejemplo de Barko y Carpenter
refleja esta situación: En dos evaluaciones, dos codificadores asignaban a cada ítem una puntuación
entre uno y diez, en la primera evaluación los codificadores A y B están completamente de acuerdo;
en la segunda evaluación los codificadores C y D están en desacuerdo en todos los ítems, pero les
asignan valores que están linealmente correlacionados. Ambos casos obtiene el mismo índice, y
esto indica la inconveniencia de medidas únicamente de correlación para la estimación del acuerdo.

Seguidamente se propuso el coeficiente Kappa, el cual se utilizaba únicamente en datos nominales,

después se hizo una generalización para incluir datos ordinales a este nuevo coeficiente al que se le
denominó weighted k-coefficient. Luego Kendall también propuso un coeficiente de acuerdo para
datos ordinales, éste estaría basado en el grado de varianza de la suma de los rangos obtenidos de
los diferentes jueces. En la actualidad se sigue investigando otros procedimientos para estimar el
acuerdo, se están aplicando los modelos log-lineales y los mixtos. En primera instancia se analizan
las estructuras del acuerdo y desacuerdo que son presentadas en los datos, con este enfoque se
puede conocer el ajuste del modelo y se puede aplicar a datos ordinales; ahora bien, como el
segundo únicamente se incluyen variables latentes.

ESTADÍSTICO KAPPA: Este proceso siempre nos muestra una condición de acuerdo entre
evaluadores, lo cual se utiliza cuando las variables están dadas en una escala nominal, es decir
únicamente clasifican. Por ejemplo, un juez clasifica los ítems de una prueba de conocimientos en
contestables o no contestables por una persona que tenga un nivel adecuado de conocimiento en el
área, o el caso de psicólogos clínicos que tienen que clasificar a pacientes entre los que requieren
seguimiento permanente y los que no. Este estadístico tiene un rango entre -1 y 1, lo cual siempre se
ubica entre 0 y 1. Si el coeficiente es 1 Nos indica un acuerdo perfecto entre los evaluadores, si es 0
nos da a entender que dicho acuerdo no es mayor que el resultado esperado por el azar, si el valor
del coeficiente nos da negativo, el nivel de acuerdo es inferior al esperado por el azar. No obstante,
esperar estos valores extremos es improbable, generalmente se obtiene un amplio espectro de
valores intermedios que se entienden como referencia de complejidad a la evaluación y el número
de categorías a evaluar, es decir, la interpretación es relativa al fenómeno medido.

En el caso de los psicólogos que deciden cuáles pacientes requieren supervisión y cuáles no, como
la complejidad de la evaluación es moderada (con sólo dos categorías de clasificación), se espera un
alto acuerdo entre ellos. Un acuerdo de 0.55 sería considerado bajo, y se podría inferir que hay
dificultad en la clasificación, o que incluso, pueden tener ambigüedad en los indicadores que les
permiten decidir en uno u otro sentido. En otra ocasión, si en un colegio el objetivo es clasificar los
alumnos con trastornos de aprendizaje y discapacidad, para identificar el número de casos de
dislexia, discalculia, disgrafía, discapacidad cognoscitiva, y discapacidad sensorial; obtener 0.55 se
interpretaría como un índice de acuerdo moderado, atendiendo a la mayor complejidad de la
evaluación. Sin embargo si dicha clasificación se va a realizar con el objetivo de enviarlos a terapia
o a aulas de apoyo se requiere un acuerdo mayor, al igual que si se trata de ítems para validación de
una prueba.

Una de las ventajas que tiene el coeficiente de Kappa es corregir el porcentaje de acuerdo debido al
azar y es muy sencillo de calcular. De todas formas, se han realizado varias críticas relacionadas
con que el índice de acuerdo que se ve afectado por el número de categorías y por la forma en la
que están distribuidas las observaciones.

COEFICIENTE DE CONCORDANCIA W DE KENDALL: Este coeficiente es usado cuando

se desea conocer el grado de asociación entre k conjuntos de rangos, por lo cual es útil al momento
de solicitar a los expertos la asignación de rangos a los ítems, por ejemplo de 1 a 4. El mínimo valor
asumido por el coeficiente es 0 y el máximo 1, y su interpretación es igual para el coeficiente de
Kappa. Por tal razón es importante la revisión de la calificación dada a cada ítem, ya que puede
haber similitud en los aspectos, un ejemplo de ello es que el ítem no sea adecuado. De tal forma que
el ítem debe ser eliminado o modificado en su totalidad hasta que ajuste a los objetivos de la
medición de forma acertada.

Según Siegel y Castellan, un valor alto de la w se puede interpretar igual a un reflejo de que los k
observadores o jueces estén aplicando estándares iguales al momento de asignar rangos a los ítems.
Esto no es garantizado, que los ordenamientos observados sean correctos, ya que por lo general
todos los jueces pueden decir si todos están manejando un criterio incorrecto para clasificar. Por
esta razón el último criterio de selección de jueces tiene como forma de cobro la relevancia al igual
que la independencia entre los mismos.

EJEMPLO

Validación de un cuestionario de evaluación de la exposición oral

1. CONTEXTO DEL PROCESO DE VALIDACIÓN:

La experiencia de juicio de expertos que se presenta a continuación se enmarca en una tesis doctoral
cuya línea de investigación se basa en la fase de actuación de la exposición oral académica en clase
y en su instancia de evaluación.

El objetivo general de esta investigación es analizar los rasgos discursivos y lingüísticos

predominantes en las exposiciones orales de los aprendientes de ELE y en verificar cómo cambian
en las continuas exposiciones, a través de un itinerario de aprendizaje, reflexión sobre las estrategias
empleadas y adquisición de técnicas de expresión oral.

Se pidió a los alumnos que, después del visionado de las grabaciones del primer ciclo de
exposiciones, comentaran y reflexionaran sobre los aspectos discursivos, lingüísticos y pragmáticos
de estas. Y para evitar centrar en el análisis de errores, se creó una parrilla de corrección –en forma
consensuada- sobre las reflexiones y comentarios de la clase y los elementos teóricos
proporcionados por el profesor. Dicha parrilla de corrección sirvió como base para la creación y
negociación de los ítems de un cuestionario destinado a generar una escala de calificación numérica
de la exposición oral académica en clase. Para “legitimar” esta escala inducida, se solicitó a cuatro
expertos la validación del mismo a los efectos de ser aplicado durante el segundo ciclo de
exposiciones y considerado como una prueba final de cuya calificación numérica son responsables
los mismos alumnos, junto a la evaluación personal del profesor.

En la tabla siguiente se resumen los aspectos de la investigación cualitativa que sirve de contexto al
proceso de validación por expertos del cuestionario destinado a evaluar la exposición oral
académica.

2. DESCRIPCIÓN DEL PROCESO DE VALIDACIÓN:

Para la evaluación de la exposición oral académica, los alumnos participantes crearon un

cuestionario inducido a los efectos de asignar una calificación numérica a cada una de las categorías
para totalizar los 30 puntos de la escala. Se aplicó el juicio de expertos para que estos hicieran una
valoración sobre los ítems que componen dicho cuestionario, así como una valoración global del
mismo. En relación con los ítems, se les solicitó que valoraran cualitativamente su grado de
pertinencia al objeto de estudio y, además, su grado de precisión y de adecuación desde el punto de
vista de su definición y formulación sintáctica.

Se trata, pues, de una validación de contenido cuyos objetivos son analizar y valorar los
descriptores de la escala inducida, así como comprobar si los ítems escogidos miden todas las
categorías o descriptores que se desea medir y que caracterizarán a la prueba de exposición oral
académica.

Como criterio de selección, se optó por un grupo de cuatro expertos como fuente de información,
cuya trayectoria se caracteriza por una larga experiencia en la enseñanza de ELE y en la
investigación en Lingüística aplicada a la enseñanza. Como modalidad de evaluación se prefirió la
individual, a través de un cuestionario escrito que cada uno de los jueces debía responder, sin
mantener un contacto entre ellos.

El cuestionario destinado a ser sometido al juicio de expertos se elaboró a través de una serie de
fases que se describen brevemente a continuación.

En la primera fase, se redactó una escala de forma consensuada, basada en los comentarios y
reflexiones de la clase, y con elementos teóricos proporcionados por el profesor, a partir del
visionado de las exposiciones orales de los alumnos participantes. Para evitar que dichos
comentarios y reflexiones se centraran en el análisis de errores gramaticales y de pronunciación, se
amplió el comentario sobre la exposición oral incluyendo, además de los aspectos lingüístico-
discursivos, los paralingüísticos, los del lenguaje no verbal, y el empleo de apoyos técnicos.
La segunda fase estuvo dedicada a la negociación, elaboración y redacción del contenido del
cuestionario, de sus categorías e ítems. Para ello se prosiguió, por parejas o en grupos de tres,
inicialmente con discusiones y, posteriormente, contestando por escrito a cada categoría e ítem para
motivar su calificación numérica sobre un total de 30 puntos. Esta negociación de la escala puede
ser considerada un protocolo de enseñanza por cuanto forma parte del periodo de entrenamiento en
técnicas de expresión oral.

En una tercera fase se validó la escala inducida mediante el análisis y negociación de las
calificaciones asignadas. La aplicación de esta escala durante el segundo ciclo de exposiciones
puede considerarse una prueba final de cuya calificación numérica son responsables los mismos
alumnos, junto a la evaluación del profesor.

En la fase final o de legitimación, la versión del cuestionario y escala consensuados se sometió al

juicio de cuatro expertos para obtener la convalidación de sus categorías y comprobar si las mismas
se repiten, si faltan otras o si el peso de la evaluación está sesgado a favor de una de ellas.

En la tabla siguiente se indican brevemente los aspectos que se consideran esenciales en el proceso
de validación del cuestionario.

3. DESCRIPCIÓN DEL CUESTIONARIO DE VALIDACIÓN PARA EL JUICIO DE

EXPERTOS:

Se organizó el cuestionario en un total de 10 preguntas con un espacio en blanco para las

observaciones en cada una de ellas.

En la primera pregunta se pide un juicio sobre el grado de relevancia de cada uno de los 6
descriptores o categorías.

Desde la pregunta 2 hasta la pregunta 7, se le pide al experto que valore el grado de relevancia de
los ítems de cada categoría, invitándolo a añadir o suprimir alguno, o a modificar los ya existentes.

En la pregunta 8 se solicita al experto que califique cada uno de los descriptores según la claridad
de sus ítems desde el punto de vista de su significado y de su formulación, efectuando las
modificaciones que considere oportuno para garantizar la buena redacción y, por consiguiente, su
brevedad y facilidad de comprensión.

En la pregunta 9 se le pide al experto que otorgue un valor numérico a cada descriptor o categoría
para calificar la exposición oral con nota final de 30 (treinta) puntos. Y, por último, la pregunta 10,
cuyo espacio en blanco está destinado para que el experto añada las categorías y la calificación
numérica correspondiente que considere oportunas.

A continuación, se resume en una tabla el contenido y estructura del cuestionario por convalidar. El
cuestionario consta de un total de 22 ítems, distribuidos en 9 preguntas.

4. OBSERVACIONES TRAS EL PROCESO DE VALIDACIÓN:

Los jueces valoraron la construcción del cuestionario de acuerdo a su pertinencia o grado de

relación entre los ítems y el constructo general “Evaluación de la exposición oral académica en
ELE”; de acuerdo a la suficiencia, es decir, al número de ítems adecuado para la medición de cada
una de las categorías por medir; de acuerdo a la ordenación de los ítems y al grado de dificultad
para ser comprendidos por los individuos del estudio. Cabe señalar aquí que el proceso de
elaboración del cuestionario por parte de los participantes, desde la fase inicial de reflexión y
comentario de las exposiciones orales en clase hasta la fase final de valoración del baremo inducido,
tuvo una duración semestral; y que la selección de los jueces y la valoración de dicho cuestionario
por parte de estos últimos se llevó a cabo en dos meses.

Con los resultados se realizó un análisis cualitativo para evaluar la capacidad discriminativa de cada
ítem a partir de las frecuencias observadas en cada una de las opciones de respuesta asignadas. De
acuerdo con ello, se pudo inferir que, con respecto a la validez de contenido, las aportaciones
cualitativas de los jueces consideraron apropiado el cuestionario al propósito para el que había sido
construido. Concretamente, se obtuvieron valores superiores de acuerdo entre los expertos para
evaluar la operatividad del constructo según los ítems destinados a medir sus dimensiones; solo en
dos casos se sugirió en las observaciones la inclusión de un ítem nuevo (en el descriptor
“Modalidad de exposición”) y la diferenciación gradual del ítem “Comunicación gestual” en el
descriptor “Elementos no verbales”. Estas sugerencias se originaron a partir de una diferencia de
perspectiva del constructo que lo alejaba del objetivo del mismo, desviando la atención del experto
hacia un descriptor no pertinente en este caso. En relación con el descriptor “Claridad de
formulación de los ítems”, dos de los cuatro jueces manifestaron no apreciar los límites entre dos de
los ítems debido a la falta de claridad de sus respectivas formulaciones.

Por último, se observaron valores máximos de acuerdo entre los jueces para otorgar una calificación
numérica alta a los “Aspectos discursivos” y “Aspectos lingüísticos”, mientras que, para los otros
descriptores, los valores de acuerdo entre los expertos fueron mínimos.
El cuestionario validado se consideró como un modelo para evaluar la “exposición oral académica”,
una propuesta sobre los principales aspectos y criterios que deben ser objeto de análisis,
susceptibles de ser ampliados y modificados mediante las sugerencias aportadas por los expertos.
Los beneficios derivados de dichas sugerencias mejoran la validez del cuestionario pues inciden
directamente en el contenido de los ítems y de algunos aspectos relacionados con su estructura,
evitando posibles sesgos de contenido y/o errores durante su aplicación posterior.