Control de alimentos 21 (2010) 542–548

Listas de contenidos disponibles en ScienceDirect

Control de alimentos

página de inicio de la revista: www.el sevier. com / localizar / foodcont

Control de calidad sensorial para la certi fi cación de alimentos: un estudio de caso sobre el vino.
Capacitación y calificación del panel, validación y seguimiento de métodos

I. Etaio, M. Albisu, M. Ojeda, PF Gil, J. Salmerón, FJ Pérez Elortondo *

Laboratorio de Análisis Sensorial Euskal Herriko Unibertsitatea (LASEHU), Facultad de Farmacia, Universidad del País Vasco - Euskal Herriko Unibertsitatea, Unibertsitateko
Ibilbidea - Paseo de la Universidad, 7, 01006 Vitoria-Gasteiz, España

información del artículo resumen

Historia del artículo: El uso de paneles calificados que aplican métodos de evaluación específicos para el control de calidad sensorial aumenta la
Recibido el 9 de diciembre de 2008 confiabilidad de los resultados, aún más si el método está acreditado por organismos de acreditación o fi ciales.
Recibido en forma revisada el 31 de julio de 2009
A partir del trabajo desarrollado con vino tinto joven, este trabajo describe todos los pasos que se llevan a cabo después de
Aceptado el 8 de agosto de 2009
haber de fi nido el método: selección del evaluador, formación básica y específica, calificación de los evaluadores (verificación
del desempeño individual) y validación del método (verificación del desempeño del panel). También se describen otros
procedimientos necesarios para demostrar la competencia técnica de forma permanente (seguimiento de panel y
Palabras clave:
evaluadores en cada sesión, controles de calidad y recualificación de evaluadores).
Control de calidad sensorial
Debido a las escasas referencias en la acreditación de métodos sensoriales, muchas de las pruebas y criterios propuestos
Validación del método
Acreditación del método de formación
son originales. Podrían ser útiles para otros laboratorios que se ocupan del control sensorial de calidad de productos
y seguimiento del panel alimenticios, especialmente aquellos con etiquetas de distinción de calidad.
2009 Elsevier Ltd. Todos los derechos reservados.

1. Introducción
El desarrollo de métodos para evaluar de manera confiable la calidad
sensorial de alimentos específicos, principalmente productos con Denominación
de Origen Protegida (DOP), con el fin de certificarlos es una necesidad urgente (
Feria-Morales, 2002). En este sentido, la importancia de la acreditación de
laboratorios probablemente aumentará en los próximos años (Gacula, 2003).
Después de la de fi nición del método y antes de comenzar la evaluación del
producto de manera sistemática, se deben llevar a cabo varios pasos: selección
del evaluador, capacitación básica y específica, calificación del evaluador y
validación del método. Solo cuando un método proporciona resultados fiables
(repetibilidad, reproducibilidad y capacidad de discriminación) puede ser
acreditado según la norma ISO 17025 (ISO, 2005a).
Para demostrar que la competencia técnica se mantiene a lo largo del tiempo,
es necesario un seguimiento continuo de los evaluadores y el panel, las recali fi
caciones de los evaluadores, así como controles de calidad periódicos.
Con respecto a la selección y capacitación de evaluadores, existen muchos
estándares y publicaciones (ASTM, 1981, 2003; Bressan y Behling, 1977; Consejo
Oleícola Internacional (COI), 2007; ISO, 1993, 2005b, 2006, 2008; Issanchou,
Lesschaeve y Köster, 1995; Lyon, 2002; Muñoz, Civille y Carr, 1992). También hay
muchos informes para la medición del rendimiento del panel (Brien, May y Mayo,
1987; Bárcenas, Pérez Elortondo y Albisu, 2000; Findlay, Castura, Schlich y
Lesschaeve, 2006; King, Hall y Cliff, 2001; Kwan y
Kowalski, 1980; Latreille y col., 2006; Rossi, 2001; Scaman y Dou, 2001),
normalmente referido a puntuaciones numéricas. Sin embargo, las referencias
para paneles y métodos de capacitación y verificación en la evaluación de
productos alimenticios específicos son muy escasas (Pérez Elortondo et al., 2007;
Torre, 2002), por lo que a menudo es necesario desarrollar procedimientos
internos en cada laboratorio.
Definido el método para evaluar la calidad sensorial de los tintos jóvenes de
Rioja Alavesa (RA) (Etaio et al., 2010), este trabajo muestra el enfoque y los
criterios seguidos para la selección de evaluadores, la formación básica, la
formación específica, la calificación de los evaluadores y la validación de métodos.
También presenta los criterios para el seguimiento continuo del panel y de los
evaluadores individuales, así como los controles de calidad realizados a lo largo
de la evaluación sistemática de las muestras de vino, una vez acreditado el
método en febrero de 2008 (http: // www.enac.es).
Los enfoques y criterios innovadores descritos podrían ser muy útiles para
otros laboratorios que necesiten implementar métodos sensoriales para la
evaluación de alimentos específicos, no solo para productos con DOP, sino
también para otros productos con etiquetas de distinción de calidad.
2. Materiales y métodos
2.1. Asesores

El número de evaluadores que participaron en cada uno de los pasos

explicados en este trabajo varió debido a tres razones principales: (i) se tuvieron
* Autor correspondiente. Tel .: +34 945013075; fax: +34 945013014. que superar algunos requisitos mínimos en cada paso para pasar al siguiente; (ii)
Dirección de correo electrónico: franciscojose.perez@ehu.es (FJ Pérez Elortondo). algunos evaluadores dejaron el panel durante la

0956-7135 / $ - ver documento preliminar doi:

2009 Elsevier Ltd. Todos los derechos reservados.
10.1016 / j.foodcont.2009.08.011
 I. Etaio y col. / Food Control 21 (2010) 542–548 543

proyecto debido a cuestiones laborales y (iii) el seguimiento continuo y la recali fi
cación anual de los miembros del panel de expertos resultó en algunos pequeños
cambios de vez en cuando en la composición del panel.
La mayoría de los evaluadores tenían experiencia previa en análisis
descriptivo sensorial, principalmente en evaluación de quesos y vinos.
El proceso de selección estuvo compuesto por 10 pruebas sensoriales
realizadas por duplicado a lo largo de cuatro sesiones. Se requirió un porcentaje
mínimo de una tasa de éxito del 75% de las pruebas para pasar esta fase. Los
candidatos que no alcancen una tasa de éxito del 60% serán rechazados y los
candidatos con una tasa de éxito de entre el 60% y el 75% podrán volver a realizar
las pruebas no aprobadas para alcanzar el 75% establecido.

2.2. Manipulación de muestras y referencias de vinos

Los vinos se registraron en el laboratorio con un código interno y se colocaron
en una bodega (17 ± 2 C) hasta su evaluación.
La composición de las referencias utilizadas en este trabajo se describe en
Etaio y col. (2010). Las referencias se prepararon y congelaron a 26 ± 4 C. El día
antes de ser evaluadas se descongelaron y se colocaron en la bodega a 17 ± 2 C.
Los vinos y las referencias se codificaron con tres dígitos y se sirvieron en
copas de degustación estandarizadas de 200 ml (ISO, 1977) mediante el uso de
vertidores volumétricos. Los volúmenes de muestra de vino fueron 35 ± 4 mL y 25
± 1 mL para degustación y evaluación de apariencia, respectivamente. Los vasos
se cubrieron con placas de Petri para evitar pérdidas volátiles.
2.3. Evaluación y tratamiento de datos de vinos y referencias
En la sala de grupos se evaluaron muestras de vinos y referencias para la
formación del panel, mientras que la calificación de los evaluadores, la validación
de métodos y el control de calidad se realizaron en casetas equipadas con
terminales informáticos. Se controló la temperatura (21 ± 2 C) y la humedad
relativa (60 ± 20%) de la cabina.
Salvo los parámetros de apariencia (evaluados bajo iluminación similar a la luz
diurna: temperatura de color muy cercana a 6500 K e índice de reproducción
cromática superior a 90), la evaluación de muestras de vino y referencias se
realizó bajo la débil luz proporcionada por la pantalla del ordenador. para evitar
cualquier sesgo de color.
El procedimiento de evaluación y los criterios para puntuar los ocho
parámetros sensoriales (intensidad del olor, complejidad del olor, intensidad del
aroma, complejidad del aroma, equilibrio y cuerpo, persistencia global del aroma,
matiz del color, intensidad del color) se describen en Etaio y col. (2010). Se
proporcionó agua y galletas sin sal para eliminar las sensaciones residuales entre
muestras.
Los datos de los vinos evaluados en casetas se recopilaron con el software
FIZZ (Biosystèmes, Couternon, Versión 2.10 A). Los vinos evaluados en la sala de
grupos se puntuaron rellenando la tarjeta de puntuación publicada enEtaio y col.
(2010).
Análisis estadístico descriptivo y pruebas simples de comparación de medias (
t prueba) se utilizaron de acuerdo con cada prueba, ya que los análisis
estadísticos más sofisticados no eran esenciales. Los datos se analizaron con
Microsoft Excel 2003 (Redmond, WA, EE. UU.).
Diecinueve candidatos (70,4%) lograron el 75% de las pruebas, mientras que
los otros ocho candidatos (29,6%) se quedaron entre el 60% y el 75% de las
pruebas. Después de repetir las pruebas una vez no superadas, todas alcanzaron
el 75%. El porcentaje de cada prueba aprobada en el primer intento se muestra en
tabla 1.
Los que superaron la fase de selección asistieron a la formación básica. El
objetivo era proporcionar a los evaluadores potenciales algunas herramientas
elementales utilizadas en análisis sensoriales y una formación básica en
evaluación de alimentos. Esta fase estuvo compuesta por 12 pruebas distribuidas
en cuatro sesiones, según lo descrito porPérez Elortondo et al. (2007). Se requirió
lograr satisfactoriamente un porcentaje mínimo del 75% de las pruebas para
superar esta fase. Los candidatos por debajo de este porcentaje podrán repetir
las pruebas no superadas para llegar a este 75%, incluso más de una vez
(siempre según las necesidades y consideraciones del laboratorio, una vez
analizados los resultados).
Los 27 candidatos iniciaron las pruebas de formación básica, aunque tres de
ellos no acudieron a todas las sesiones por motivos laborales o de baja laboral.
Veintidós candidatos (91,7%) alcanzaron en el primer intento el 75% de las
pruebas y dos candidatos (8,3%) lo alcanzaron tras repetir algunas pruebas.Tabla
2 muestra el porcentaje de cada prueba aprobada en el primer intento.
3.2. Formación específica y cualificación de asesores
Treinta y un evaluadores (20 de la ronda de pruebas descrita y 11 de una
ronda anterior) iniciaron la formación específica en la metodología y criterios
desarrollados para evaluar la calidad sensorial de los tintos jóvenes de RA (Etaio
et al., 2010). Cinco evaluadores abandonaron el panel durante la formación
específica por diferentes motivos.
Esta formación se extendió a lo largo de 15 sesiones (de 90 a 120 minutos
cada una). A lo largo de estas sesiones se presentaron a los evaluadores
referencias de olor, aroma, gusto y sensación en la boca. Las referencias se
prepararon en un vino base y se describen enEtaio y col. (2010). El número de
vinos a evaluar en cada sesión aumentó de uno en la primera sesión a nueve
vinos a medida que avanzaba la formación. Inicialmente, todos los vinos fueron
degustados y comentados en la sala de grupos. Progresivamente, se cataron
algunos vinos en casetas para que los evaluadores se familiarizaran con el
procedimiento de evaluación mediante el uso de FIZZ.
software.

tabla 1
Resultados de las pruebas de selección.
3. Resultados y discusión
Pruebaa Referencia % de pasesB
3.1. Selección de asesores y formación básica Prueba de visión del color Prueba de Ishihara 94,4
Prueba de identificación de sabor ISO (1991) 33,3
Las pruebas de selección y formación básica se realizaron siguiendo un Ensayo triangular con sustancias sápidas ISO (2004a) 96,3
Ensayo duo-trio con sustancias sápidas ISO (2004b) 88,9
procedimiento técnico normalizado descrito en Pérez Elortondo et al. (2007).
Prueba de clasificación ISO (1988)
de color 100,0
El objetivo de las pruebas de selección fue detectar incapacidades sensoriales
de olor 77,8
en potenciales evaluadores, así como evaluar su sensibilidad sensorial y
del gusto 55,6
capacidad para describir sus percepciones. A las pruebas de selección asistieron de textura 83,3
27 candidatos. Prueba de descripción ISO (1993)
Se realizó una reunión preliminar para presentar el objetivo y el cronograma de olor 64,8
del proceso de selección y capacitación básica, y cada candidato llenó un de textura 96,3
cuestionario para recolectar información relacionada con la idoneidad para el a Cada evaluador realizó dos pruebas.
análisis sensorial (aptitud para los alimentos, salud, disponibilidad ...). B En esta tabla no se consideran las repeticiones de pruebas no superadas por los evaluadores

que no alcancen el 75% establecido.

544 I. Etaio y col. / Food Control 21 (2010) 542–548
Tabla 2
Resultados de las pruebas de entrenamiento básico.
Prueba Referencia
Prueba de emparejamiento de olores ISO (1993)
Prueba de comparación pareada ISO (1983)
con sustancias olorosas
con sustancias gustativas
Prueba dúo-trío ISO (2004b)
Uso de escalas con parámetros unidimensionales. ISO (2003)
de olor
del gusto
Uso de escalas con parámetros multidimensionales ISO (2003)
de olor
de sabor
de textura
Perfilado de productos alimenticios ISO (1985)
Atributos de olor
Atributos de sabor
Perfilado de textura de productos alimenticios ISO (1994)
a La repetición de la prueba no superada por los evaluadores que no alcancen el 75%
establecido no se consideran en esta tabla.
Después de una formación específica, la capacidad de cada evaluador en la
identificación de referencias y en la evaluación del vino se verificó mediante pruebas de
calificación.
Como no se encontraron informes de pruebas específicas para la calificación
de los evaluadores, las pruebas se diseñaron en el laboratorio. Se distribuyeron
en tres sesiones. La primera sesión abordó la identificación de las referencias
evaluadas en la formación específica. Se presentaron a los evaluadores en las
cabinas 20 muestras de atributos y defectos de olor, 20 muestras de atributos y
defectos de aroma y 10 muestras de causas de desequilibrio en el gusto y la
sensación en la boca. También se incluyeron algunas referencias repetidas y
algunas muestras de vino base para evitar la identificación por eliminación. Las
referencias se presentaron en bloques de 10 referencias separados por un breve
descanso para evitar la fatiga sensorial.
El objetivo de la segunda y tercera sesiones fue estudiar la capacidad de
repetibilidad, reproducibilidad y discriminación en las puntuaciones, y también
estudiar el atributo (incluidos los defectos) de identificación en los vinos. En la
segunda sesión se evaluaron ocho muestras provenientes de cuatro vinos
diferentes (vinos A y B por triplicado y vinos C y D una vez). En la tercera sesión se
evaluaron las mismas ocho muestras (las muestras provenientes del mismo lote
se consideraron como la misma muestra). Se prestó especial atención a la
selección de muestras para asegurar previamente que fueran bastante diferentes
en algunos parámetros. De lo contrario, la selección de muestras muy similares
podría llevar a interpretar que el panel no es discriminativo.
Las muestras de vino fueron evaluadas en casetas siguiendo los criterios y
metodología desarrollados para la evaluación de vinos tintos jóvenes de RA (Etaio
et al., 2010).
Los cálculos y criterios para aprobar cada prueba se describen en Tabla 3.
Solo los evaluadores que aprobaron todas las pruebas de calificación se
incluirían en el panel de expertos. Los evaluadores que no pasaron estas pruebas
podrían volver a tomar las pruebas no aprobadas hasta dos veces más. Si aún así
no aprobaban, continuarían entrenando hasta volver a realizar las pruebas de
calificación unos meses después.
Diez de los 26 evaluadores (38,5%) aprobaron todas las pruebas en la primera
ronda. Ocho evaluadores más (porcentaje acumulado del 69,2%) aprobaron todas
las pruebas después de repetir las pruebas no aprobadas una vez, y dos
evaluadores más (porcentaje acumulado del 76,9%) obtuvieron la calificación
después de repetir algunas pruebas dos veces. El panel consecuente para evaluar
el producto de forma sistemática estuvo compuesto por seis mujeres y 14
hombres, con una edad promedio de 43 años.
Las pruebas de identificación de referencias demostraron ser las más difíciles
de aprobar, ya que solo 13 evaluadores (50%) las aprobaron en el primer intento.
% de pasesa
95,8
3.3. validación del método
79,2
95,8 El objetivo de la validación es comprobar la fiabilidad del método aplicado con
83,3 un panel cuali fi cado. Para ello, se consideraron seis parámetros. El método sería
validado cuando los resultados obtenidos para estos parámetros cumplieran los
41,7 criterios descritos enCuadro 4.
87,5
El proceso de validación del método fue realizado por 13 de los evaluadores
87,5 expertos. Asistieron a cada sesión siete asesores expertos.
95,8
En el caso de la repetibilidad y reproducibilidad en puntuaciones, se realizaron
87,5
dos sesiones previas para determinar los niveles de incertidumbre y establecer
los límites de aceptabilidad, de acuerdo con la experiencia previa con Queso DOI
100
91,7 diazabal (PérezElortondo et al., 2007). En ambas sesiones se probaron ocho
muestras procedentes de cuatro vinos diferentes (A, B, C y D; A y B por triplicado).
95,8
Solo se consideraron los datos de los vinos A y B para determinar las
incertidumbres. Se incluyeron muestras de vino C y D para hacer más difícil notar
que algunas muestras se repitieron. Las desviaciones estándar en repetibilidad
(SDR) y en reproducibilidad (SDRr) se calcularon aplicando las fórmulas que se
muestran enTabla 3. Como había dos vinos (A y B) y ocho parámetros sensoriales
se obtuvieron 16 valores de SDR y 16 valores de SDRr. El valor más alto de SDR
(0,30) y el valor más alto de SDRr (0,48) corresponden al equilibrio y cuerpo del
vino A. Considerando estos valores, el laboratorio estableció los límites de
aceptabilidad de repetibilidad y reproducibilidad mostrados enCuadro 4.
En cuanto a la repetibilidad en la identificación de atributos, la
reproducibilidad en la identificación de atributos, la reproducibilidad en la
capacidad discriminativa en las puntuaciones y la reproducibilidad en la capacidad
discriminativa en la identificación de los atributos, no se han encontrado
referencias bibliográficas, por lo que los límites de aceptabilidad se establecieron
en base a criterios técnicos internos.
Después de establecer los límites de aceptabilidad, se ejecutaron dos sesiones
de validación con el mismo diseño explicado anteriormente. Al determinar SDR y
SDRr en las sesiones de validación, todos los valores estuvieron dentro de los
límites de aceptabilidad para ambos vinos.
En cuanto a la repetibilidad en la identificación de atributos, las citas de
atributos para los vinos A y B a través de las dos sesiones de validación se
muestran en Cuadro 5. Veintidós atributos (incluidos defectos y causas de
desequilibrio) tenían una frecuencia de citas (CF) superior al 50% en al menos una
de las tres repeticiones de una sesión. Excepto en cuatro casos de la sesión 2 (olor
y aroma a fruta madura, y aroma a frutos del bosque en el vino A y aroma a
ahumado en el vino B) las diferencias de citación entre las réplicas de cada
atributo fueron menores o iguales a 2, siendo 81,8% de los atributos (18 de 22).
De esta forma se cumplió el criterio establecido.
En cuanto a la reproducibilidad en la identificación de atributos, 11 atributos
tuvieron un CF superior al 50% en al menos una de las dos sesiones,
considerando los vinos por separado (Cuadro 5). La diferencia de citas entre las
dos sesiones para cada uno de estos atributos fue inferior a 6, por lo que se
cumplió el criterio.
Con respecto a la reproducibilidad en la capacidad de discriminación en las
puntuaciones, todos los parámetros sensoriales excepto la intensidad del olor
resultaron discriminativos entre el vino A y el vino B en la primera sesión. Los
mismos siete parámetros resultaron discriminatorios en la segunda sesión, por lo
que se cumplió el criterio.
En cuanto a la reproducibilidad en la capacidad de discriminación en la
identificación de atributos, Tabla 6 muestra las citas de los atributos con CF
PAG50% en al menos una de las sesiones. Ocho atributos resultaron
discriminatorios entre los vinos A y B en la primera sesión. En la segunda sesión,
seis atributos fueron discriminativos, cinco de ellos coincidentes con atributos que
demostraron ser discriminativos en la primera sesión. Así, el 62,5% de los
atributos resultan discriminativos
 I. Etaio y col. / Food Control 21 (2010) 542–548 545

Tabla 3
Descripción de los parámetros estudiados en la calificación del evaluador.

Parámetro estudiado Cálculos Criterios para pasar la prueba Identificarse correctamente

Identi fi cación de referencias de olor, aroma y Identificación de referencia de olor ¼ No ref ide 100 PAG50% de referencias de odo tu,
20
el desequilibrio causa: capacidad para identificar las causas de aroma y desequilibrio (consideradas por
Identificación de referencia de aroma ¼ No ref 20
ide 100
referencias utilizadas a lo largo de la formación separado) y PAG65% del total de referencias
Identificación de referencia de desequilibrio ¼ No ref
10
ide 100
Identificación de referencia total ¼ No ref50
ide 100
No ref ide: Número de referencias correctamente identificadas

Capacidad de discriminación en puntuaciones: capacidad para dar t-Test de alumnos (con datos de los vinos A y B de todos los Alcanzar un IC> 1 para al menos el 50% de los
diferentes puntuaciones a vinos que tienen evaluadores y de las dos sesiones como parámetros sensoriales que resultaron discriminativos
diferente calidad con respecto al parámetro entero) ? los parámetros con diferencias significativas fueron para el panel.
sensorial considerado discriminativos
CI ¼ p
jXA ffiffiffiffiXffiffi ffijffiffi
B

I21þI22

CI: índice de compatibilidad. Calculado para cada evaluador y

parámetro sensorial
XA: media de las puntuaciones dadas por el evaluador al
parámetro en las seis muestras del vino A
XB: media de las puntuaciones otorgadas por el evaluador al
parámetro en las seis muestras de vino B
I1 y I2: valores de referencia de incertidumbres (correspondientes al
valor de la desviación estándar). Según interna
Criterios técnicos los valores establecidos fueron 0,6

Repetibilidad en puntuaciones: capacidad de dar la misma o
puntuaciones similares cuando se evalúa el
mismo vino en réplica en la misma sesión
Reproducibilidad en partituras: capacidad de dar lo mismo
o puntuaciones similares cuando el mismo vino
se evalúa en réplica en diferentes sesiones
DEG ¼ SD1WashingtonþSD2WashingtonþSD1wBþSD2wB Para alcanzar un DEG 60,6 (valor de referencia adoptado
4
DEG: desviación estándar en repetibilidad. Calculado para cada según criterios internos) para al menos el 50% de los
parámetro sensorial y para cada evaluador. Promedio de las parámetros sensoriales de cada vino
desviaciones estándar (DE) en las dos sesiones (s1 y s2) considerando
solo el intriplicado evaluado por el vino (wA y wB)
p ffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffi
SDRr ¼ Var s2 þ Var rep2 Para alcanzar un SDRr 60,6 (valor de referencia adoptado
SDRr: desviación estándar de reproducibilidad. Calculado para cada según criterios internos) para al menos el 50% de los
parámetro sensorial y para cada evaluador. Solo se consideraron parámetros sensoriales de cada vino
vinos evaluados por triplicado (A y B)
Var s: variación entre sesiones. La desviación estándar de las
desviaciones estándar de las dos sesiones.
Var rep: varianza de repetibilidad. Es el promedio de las
desviaciones estándar de las dos sesiones.

Identificación de atributos y defectos en el vino: CF ¼ Max citCit att

att pos 1000 Para alcanzar una FQ PAG50% para al menos la mitad
capacidad para identificar los atributos y defectos CF: frecuencia de citas. Calculado para el panel y para cada evaluador de los atributos con CF PAG50% para el panel
presentes en los vinos

Cit att: veces ese atributo se cita en un vino

Max cit att pos: tiempos máximos que este atributo puede ser
citado en este vino
Para cada vino evaluado por triplicado tanto en la segunda como en
la tercera sesión (vinos A y B), las seis muestras se calcularon juntas.
Para cada vino evaluado una vez en cada sesión (C y D), las dos
muestras se calcularon juntas. La identificación de atributo / defecto
se calculó por separado para el olor y el aroma. Cada atributo estaba
vinculado al
vino respectivo

en la primera sesión también fueron discriminativos en la segunda sesión, por lo
que se cumplió el criterio.
Además de validar el método de acuerdo a los seis parámetros citados,
también se estableció que cada atributo que aparece en el formulario de puntaje
debe ser validado. Como no fue posible validar los 36 atributos durante las
sesiones de validación descritas, se acordó validarlos a través de las sesiones de
evaluación de vinos a realizar durante todo el año. Como no se encontraron
informes similares, se decidió validar cada atributo mediante el estudio de la
reproducibilidad en la identificación de atributos por parte del panel. Así, si el
panel identificó un atributo en un vino en una sesión (cinco o más de los siete
evaluadores expertos lo citaron, de acuerdo con los criterios explicados enEtaio et
al., 2010) y lo volvía a identificar en el mismo vino pero en otra sesión se validaría
este atributo.
atributos. Estas muestras se prepararían como referencias, con la misma
concentración de compuesto pero con vino real como matriz en lugar de vino
base.
3.4. Seguimiento continuo del panel y evaluadores
Una vez validado el método, el panel de expertos comenzó a evaluar los vinos
de forma sistemática. El presente trabajo considera los datos de los primeros 121
vinos evaluados a lo largo de 20 sesiones. Aparte de las dos muestras evaluadas
para su armonización al inicio de cada sesión (no incluidas entre los 121 vinos
citados), los siete evaluadores que asistieron a la sesión evaluaron un máximo de
ocho vinos. El desarrollo de la sesión y el tratamiento de los datos se explican en
Etaio y col. (2010). El seguimiento de cada sesión se realizó de dos formas:

En base a la experiencia con vinos tintos jóvenes de RA, se conoció que

algunos de los atributos (especialmente algunos defectos) no son tan frecuentes.
Sin embargo, se acordó mantenerlos y validarlos para asegurar que el panel 3.4.1. Monitoreo del panel
estaría listo para identificarlos cuando se presenten. En este sentido, se aceptó Se basó en controlar la dispersión de la puntuación dentro del panel. Se
incluir muestras manipuladas en las sesiones de evaluación de vinos para validar estableció que la desviación estándar en puntajes para cada parámetro sensorial
las menos frecuentes. en cada vino debe ser menor a 1.
546 I. Etaio y col. / Food Control 21 (2010) 542–548

Cuadro 4
Parámetros estudiados en la validación del método y criterios para superar cada prueba.

Parámetro estudiado Criterios para pasar la prueba

Repetibilidad en puntuaciones: capacidad de dar puntajes iguales o similares cuando el mismo La desviación estándar en repetibilidad (SDR) debe ser 60,5 (valor establecido tras la
el vino se evalúa por duplicado en la misma sesión realización de las sesiones para calcular las incertidumbres)

Reproducibilidad en partituras: capacidad de dar puntajes iguales o similares cuando el mismo La desviación estándar en la reproducibilidad (SDRr) debe ser 60.8 (valor establecido luego de
el vino se evalúa en réplica en diferentes sesiones realizadas las sesiones para calcular las incertidumbres)

Repetibilidad en la identificación de atributos: capacidad para identificar los mismos atributos La diferencia de citas entre las réplicas del mismo vino en la misma sesión debe ser 62 para al
(incluidos los defectos) cuando el mismo vino se evalúa por duplicado en la misma sesión menos el 80% de los atributos con una frecuencia de cita (CF) PAG50% Las dos sesiones se
consideran por separado. Se consideran solo los atributos con CFPAG50% (4 de 7 evaluadores
lo citan) en cualquiera de las tres réplicas del vino A o B en una sesión

Reproducibilidad en la identificación de atributos: capacidad para identificar los mismos atributos La diferencia de cita para un atributo en el mismo vino entre las sesiones 1 y 2 debe ser 66
(incluidos los defectos) cuando el mismo vino se evalúa por duplicado en diferentes para al menos el 80% de los atributos con CF PAG50% Solo los atributos con CF PAGSe
sesiones considera el 50% en al menos una de las dos sesiones (atributos citados al menos 11 veces
en un vino, ya que los tiempos máximos de citación serían: 3 réplicas 7 evaluadores = 21)

Reproducibilidad en la capacidad de discriminación en las puntuaciones: capacidad para establecer el mismo El número de parámetros discriminativos en la segunda sesión no debe ser <50% o> 150% de
parámetros sensoriales como discriminativos entre dos vinos en diferentes sesiones los parámetros discriminativos en la primera sesión.
Los parámetros sensoriales discriminativos entre los vinos A y B están determinados por la t-
Prueba de estudiante

Reproducibilidad en la capacidad de discriminación en la identificación de atributos: capacidad para establecer
los mismos atributos (incluidos los defectos) como discriminatorios entre dos vinos en
diferentes sesiones
Los atributos discriminativos en la segunda sesión deben ser PAG50% de los atributos
discriminativos en la primera sesión y 6150% del número de atributos discriminativos
en la primera sesión
Los atributos discriminativos entre los vinos A y B se determinan considerando las tres réplicas
de cada vino en cada sesión en su conjunto. Un atributo se considera discriminativo cuando su
FC esPAG50% en un vino y <50% en el otro
vino

Cuadro 5
Resultados de las citas de atributos para la validación en repetibilidad y reproducibilidad en la identificación de atributosa.

Atributo Vino A Atributo Vino B

Citas en la sesión 1 Citas en la sesión 2 Rep1 Citas en la sesión 1 Rep1 Citas en la sesión 2 Rep1

Rep1 Rep2 Rep3 Total Rep2 Rep3 Total Rep2 Rep3 Total Rep2 Rep3 Total

Complejidad del olor

Fruta madura 6 6 7 19 7 5 3 15 Fruta madura 2 2 4 8 2 2 3 7
Regaliz 4 3 5 12 3 4 2 9 Fruta indeterminada 5 5 3 13 4 5 4 13
Baya del bosque 4 4 4 12 6 2 1 9 Ahumado 2 2 1 5 1 4 2 7
Herbáceo 3 4 5 12 3 2 2 7 Herbáceo 4 3 4 11 3 2 3 8

Complejidad aromática
Fruta madura 6 6 6 18 7 5 4 dieciséis Fruta indeterminada 4 5 4 13 3 4 5 12
Regaliz 5 4 5 14 4 4 3 11 Herbáceo 2 3 3 8 3 5 3 11
Baya del bosque 3 3 5 11 4 3 3 10

Equilibrio y cuerpo
- - - - - - - - - Exceso de acidez 2 3 3 8 2 4 2 8

Persistencia global del aroma

- - - - - - - - - - - - - - - - - -
a Solo atributos con frecuencia de citas PAGSe incluye el 50% en al menos una de las repeticiones (cuatro o más citas).

El número de casos en que no se cumple este requisito (considerado una
desviación) debe ser menor al 15% del total de casos (producto de multiplicar el
número de muestras por ocho parámetros), según lo propuesto por Pérez
Elortondo et al. (2007).
Si se producía una desviación del panel, los vinos con un número mayor de
desviaciones estándar igual o superior a 1 se evaluaban de nuevo en la siguiente
sesión y se volvían a comprobar los resultados.
En cuanto a los resultados del seguimiento del panel, en ocho sesiones (40%)
las desviaciones estándar iguales o superiores a 1 superan el 15% del total de
casos. Cuando en la siguiente sesión se volvieron a catar los vinos más
problemáticos, los resultados cumplieron con los requisitos establecidos. Los
parámetros con mayor número de casos de desviación estándar igual o superior a
1 fueron complejidad olfativa (30,6% de los vinos), complejidad aromática (24,8%),
persistencia aromática global (22,3%) y equilibrio y cuerpo (21,5%). Los
parámetros con el menor número de desviaciones en el panel fueron la
intensidad del color (2,5% de los vinos), la tonalidad del color (5,0%), la intensidad
del aroma (14,0%) y la intensidad del olor (15,7%).
3.4.2. Seguimiento individual de evaluadores expertos
Se basó en estudiar las desviaciones en las puntuaciones y las desviaciones en
la cita de atributos. Se estableció que la puntuación proporcionada por cada
evaluador a cada parámetro de cada muestra debe estar en el rango de fi nido
por la media del panel redondeada al número entero más cercano ± 1. El número
de casos en los que no se cumple este requisito debe ser inferior al 15% del total
de casos (número de muestras 8 parámetros) para cada evaluador.
En cuanto a los resultados, el requisito no se cumplió en seis casos (4,3% del
total de casos posibles: 20 sesiones 7 evaluadores). Como ocurrió con el panel, la
complejidad del olor, la complejidad del aroma, el equilibrio y el cuerpo, y la
persistencia del aroma global fueron los parámetros más problemáticos (7,4%,
6,5%, 5,9% y 5,8% de las desviaciones individuales, respectivamente; desviaciones
calculadas sobre 121 vinos 7 evaluadores) . La intensidad del color (1,5%), la
tonalidad del color (2,2%), la intensidad del olor (3,1%) y la intensidad del aroma
(3,8%) fueron los parámetros con menor número de desviaciones individuales.
 I. Etaio y col. / Food Control 21 (2010) 542–548 547

Tabla 6
Atributo de los resultados de las citas para su validación en la reproducibilidad en la capacidad de discriminación en la identificación de atributosa.

Atributo Sesión 1 Sesión 2 Atributo discriminativo en la

sesión 1 y en la sesión 2
Citas en Citas en ¿Discriminatorio? Citas en Citas en ¿Discriminatorio?
vino A vino B vino A vino B

Atributos de olor
Fruta madura 19 8 SÍ 15 7 SÍ SÍ
Fruta inmadura 2 13 SÍ 6 13 SÍ SÍ
Regaliz 12 5 SÍ 9 2 NO NO
Bayas del bosque 12 5 SÍ 9 1 NO NO
Herbáceo 12 11 NO 7 8 NO

Atributos del aroma

Fruta madura 18 8 SÍ dieciséis 9 SÍ SÍ
Fruta inmadura 3 13 SÍ 5 12 SÍ SÍ
Regaliz 14 7 SÍ 11 4 SÍ SÍ
Bayas del bosque 11 3 SÍ 10 1 NO NO
Herbáceo 8 8 NO 7 11 SÍ NO

Número de atributos discriminativos 8 Número de atributos discriminativos 6

a Solo atributos con frecuencia de citas PAGSe incluye el 50% en al menos una de las sesiones (11 o más citas).

Para la cita de atributo, se estableció que cada evaluador debe indicar al
menos el 50% de los atributos considerados presentes en las muestras por el
panel (señalados por cinco o más evaluadores). Además, con el objetivo de evitar
que los evaluadores citen muchos atributos para cumplir con este requisito, se
estableció que el número de atributos citados solo por un evaluador no debe ser
mayor a 3 multiplicado por el número de muestras evaluadas en la sesión.
Hubo tres casos en los que un evaluador no identificó el 50% de los atributos
citados por el panel en una sesión. No hubo casos de un evaluador que citara un
número excesivo de atributos.
Cuando el panel o los evaluadores individuales no cumplieron con los
requisitos de desempeño, se llevaron a cabo entrevistas con los evaluadores
involucrados para discutir la armonización de sus resultados con los resultados
del panel. Un evaluador sería eliminado del panel cuando su desempeño fuera
muy malo y / o con frecuencia no cumpliera con los requisitos. Este evaluador
continuaría evaluando los vinos y sus puntuaciones se compararían con las
puntuaciones del panel, aunque sin considerarlas. Si a través de dos sesiones
consecutivas este evaluador cumplía con todos los criterios, sería reincorporado
al panel.
El control de calidad también consideró la cita de atributos para verificar la
reproducibilidad en la identificación de atributos por parte del panel. Cada
atributo identificado por el panel debe someterse a un control de calidad al
menos una vez al año. Para este control, se presentó al panel en otra sesión una
muestra con un atributo identificado. Si el panel identificara este atributo
nuevamente, se consideraría que pasa el control de calidad. De no ser
identificado, se discutirá y acordará la presencia o ausencia de este atributo en la
muestra.
3.6. Recualificación del evaluador
Los evaluadores expertos deben repetir y aprobar las pruebas de
recalificación al menos una vez al año para demostrar que todavía son capaces de
evaluar las muestras de manera satisfactoria. Como las pruebas y los criterios
para la recalificación son los mismos que los de la calificación, tanto la calificación
para nuevos evaluadores como la recalificación para evaluadores expertos se
pueden realizar al mismo tiempo. Si un evaluador experto no pasa una o más de
las pruebas, repetirá las pruebas no aprobadas hasta dos veces. Si las pruebas no
se pasan, este evaluador será eliminado del panel.

En cada sesión se entregó a cada evaluador un informe informativo sobre el Las pruebas de recalificación, además de proporcionar información sobre la
desempeño personal en la sesión anterior. Este informe recopila datos del panel idoneidad del evaluador, ayudaron a mantener alerta a los evaluadores, evitando
(puntuaciones medias y citas de atributos) y de cada evaluador (puntuaciones, la relajación y la subvaloración de la formación.
citas de atributos y desviaciones).

Cuando un evaluador no asistía a ninguna evaluación o sesión de capacitación 4. Conclusiones

durante cinco semanas consecutivas, sería eliminado temporalmente del panel.

Para ser incluido nuevamente, el evaluador tuvo que seguir el mismo Los procedimientos descritos en este documento (selección de evaluadores,

procedimiento que un evaluador removido debido a un desempeño deficiente. capacitación y calificación, validación de métodos, monitoreo continuo del

Cuando las sesiones no se llevan a cabo durante dos meses, la formación en desempeño individual y del panel, controles de calidad periódicos) han

identificación de referencias y en evaluación de vinos se lleva a cabo con el panel demostrado ser válidos para los propósitos requeridos.

antes de iniciar los ensayos de evaluación.
3.5. Control de calidad del método
Según lo establecido en los procedimientos técnicos del laboratorio, se debe
realizar un control de calidad cada 150 muestras como mínimo. Las pruebas a
realizar y los criterios para aprobar cada una fueron las mismas que se utilizaron
para la validación del método. Si no se cumplían los requisitos, se realizaría una
sesión de formación con el panel y se volvería a realizar una prueba de control de
calidad. Si aún no se cumplían los requisitos, se interrumpirían los ensayos de
evaluación del vino, se informaría a los clientes y se tomarían medidas.
Muchos de estos procedimientos son innovadores y pueden ser herramientas
muy útiles para otros laboratorios que se ocupan del control de calidad sensorial
de productos específicos. Esta experiencia puede ser aún más valiosa si el
objetivo es la acreditación del método. Dependiendo del requisito de control de
calidad necesario, la sofisticación de los procedimientos y pruebas también se
puede aumentar o disminuir.
La disponibilidad de los evaluadores potenciales debe considerarse como uno
de los factores más importantes para que un candidato inicie el procedimiento
para unirse a un panel de expertos. El proceso de formación y los pasos de
comprobación exigen una asistencia muy regular. Debe tenerse en cuenta
expresamente al planificar las pruebas de calificación, con el fin de prever
sesiones adicionales no solo para los evaluadores que no alcanzan los requisitos
en el primer intento, sino también para los evaluadores que faltan a algunas
sesiones.
548 I. Etaio y col. / Food Control 21 (2010) 542–548
Es necesaria la asistencia regular a las sesiones de formación ya los ensayos
de evaluación para que el evaluador se adapte progresivamente al panel,
especialmente cuando en el método se consideran la tipicidad y / o las
características relacionadas con algunos conceptos complejos.
Agradecimientos
Los autores agradecen a los enólogos, a los asesores cali fi cados ya ABRA
(Asociación de Bodegas de Rioja Alavesa) por su colaboración, ya Eusko Jaurlaritza
– Gobierno Vasco por financiar este proyecto.
Referencias
ASTM (1981). Directrices para la selección y formación de los miembros del panel sensorial
(ASTM-STP 758). Filadelfia, PA (EE. UU.): Sociedad Estadounidense de Pruebas y Materiales.
ASTM (2003). Guía estándar para la selección, evaluación y capacitación de observadores (ASTM
E1499 - 97 (2003)). Filadelfia, PA (EE. UU.): Sociedad Estadounidense de Pruebas y Materiales.
Bárcenas, P., Pérez Elortondo, FJ y Albisu, M. (2000). Selección y cribado de un
panel descriptivo del perfil sensorial de queso de leche de oveja. Revista de estudios
sensoriales, 15 (1), 79–99.
Bressan, LP y Behling, RW (1977). La selección y formación de jueces para
pruebas de discriminación. Tecnología alimentaria, 31 (11), 62–67.
Brien, CJ, May, P. y Mayo, O. (1987). Análisis de la actuación de los jueces en vino
evaluaciones de calidad. Revista de ciencia de los alimentos, 52 (5), 1273-1279.
Etaio, I., Albisu, M., Ojeda, M., Gil, PF, Salmerón, J. y Pérez Elortondo, FJ (2010).
Control de calidad sensorial para la certi fi cación de alimentos: un estudio de caso sobre el vino. Desarrollo de
métodos.Control de alimentos, 21, 533–541.
Feria-Morales, AM (2002). Examinando el caso del café verde para ilustrar la
limitaciones del sistema de clasificación / catadores expertos en evaluación sensorial para control de
calidad. Calidad y preferencia alimentaria, 13 (6), 355–367.
Findlay, CJ, Castura, JC, Schlich, P. y Lesschaeve, I. (2006). Uso de comentarios
Calibración para reducir el tiempo de formación de los paneles de vino. Calidad y
preferencia alimentaria, 17 (3–4), 266–276.
Gacula, MC Jr., (2003). El papel de la ciencia sensorial en la próxima década. En RRHH
Moskowitz, AM Muñoz y MC Gacula, Jr. (Eds.), Puntos de vista y controversias en la ciencia
sensorial y las pruebas de productos de consumo (págs. 27-30). Tumbull, CT (EE. UU.): Food
& Nutrition Press, Inc ..
Consejo Oleícola Internacional (COI) (2007). Análisis sensorial de aceite de oliva estándar.
Guía para la selección, formación y seguimiento de catadores cualificados de aceite de oliva
virgen. COI / T.20 / Doc. No. 14 / Rev. 2. (Septiembre de 2007). Madrid (España): IOOC.
<http: // www.internationaloliveoil.org/downloads/orga5eng.pdf>.
ISO (1977). Análisis sensorial. Aparato. Copa de cata de vino (ISO 3591).Ginebra
(Suiza): Organización Internacional de Normalización. ISO (1983).Análisis sensorial.
Metodología. Prueba de comparación pareada (ISO 5495).Ginebra
(Suiza): Organización Internacional de Normalización. (Edición obsoleta). ISO (1985).Análisis
sensorial. Metodología. Métodos de perfiles de sabor (ISO 6564).Ginebra
(Suiza): Organización Internacional de Normalización. ISO (1988).Análisis sensorial.
Metodología. Clasificación (ISO 8587).Ginebra, Suiza):
Organización Internacional de Normalización. (Edición obsoleta).
ISO (1991). Análisis sensorial. Metodología. Método de investigación de la sensibilidad del gusto.
(ISO 3972). Ginebra (Suiza): Organización Internacional de
Estandarización.
ISO (1993). Análisis sensorial. Orientación general para la selección, formación y
seguimiento de evaluadores. Parte 1: Evaluadores seleccionados (ISO 8586-1).Ginebra
(Suiza): Organización Internacional de Normalización.
ISO (1994). Análisis sensorial. Metodología. Perfil de textura (ISO 11036).Internacional
Ginebra (Suiza): Organización Internacional de Normalización. ISO (2003).Análisis sensorial.
Directrices para el uso de escalas de respuesta cuantitativa (ISO
4121). Ginebra (Suiza): Organización Internacional de Normalización.
ISO (2004a). Análisis sensorial. Metodología. Prueba de triángulo (ISO 4120).Ginebra
(Suiza): Organización Internacional de Normalización. ISO (2004b).Análisis sensorial.
Metodología. Prueba dúo-trío (ISO 10399).Ginebra
(Suiza): Organización Internacional de Normalización. ISO (2005a).Requisitos generales para
la competencia de ensayo y calibración (ISO
17025). Ginebra (Suiza): Organización Internacional de Normalización.
ISO (2005b). Análisis sensorial. Metodología. Comparación emparejada prueba (ISO 5495: 2005 /
Cor 1: 2006). Ginebra (Suiza): Internacional Organización para
Estandarización.
ISO (2006). Análisis sensorial. Metodología. Clasificación (ISO 8587).Ginebra, Suiza):
Organización Internacional de Normalización. ISO (2008).Análisis sensorial. Orientación
general para la selección, formación y
seguimiento de evaluadores. Parte 2: Expertos evaluadores sensoriales (ISO 8586-2).Ginebra
(Suiza): Organización Internacional de Normalización.
Issanchou, S., Lesschaeve, I. y Köster, EP (1995). Evaluar la capacidad individual para
realizar análisis descriptivos de productos alimenticios. Enunciados básicos y aplicación a un
panel descriptivo de queso Camembert.Revista de estudios sensoriales, 10 (4), 349–368.
King, MC, Hall, J. y Cliff, MA (2001). Una comparación de métodos para evaluar la
Realización de un panel sensorial entrenado. Revista de estudios sensoriales, 16 (6), 567–581.
Kwan, W.-O. y Kowalski, BR (1980). Análisis de datos de puntuaciones sensoriales. Evaluaciones
de jueces y tarjetas de puntuación de vino. Revista de ciencia de los alimentos, 45, 213–216.
Latreille, J., Mauger, E., Ambroisine, L., Tenenhaus, M., Vincent, M., Navarro, S., et al.
(2006). Medición de la fiabilidad de las actuaciones del panel sensorial.Calidad y preferencia
alimentaria, 17 (5), 369–375.
Lyon, DH (Ed.) (2002). Directriz no. 37. Directrices para la selección y formación de
evaluadores para el análisis sensorial descriptivo. Gloucestershire (Reino Unido): Campden
& Chorleywood Food Research Association Group.
Muñoz, AM, Civille, GV y Carr, BT (1992). Evaluación sensorial en control de calidad.
Nueva York (Estados Unidos): Van Nostrand Reinhold.
Pérez Elortondo, FJ, Ojeda, M., Albisu, M., Salmerón, J., Etayo, I., y Molina, M.
(2007). Certi fi cación de la calidad de los alimentos: un enfoque para el desarrollo de
métodos de evaluación sensorial acreditados.Calidad y preferencia alimentaria, 18 (2), 425–
439.
Rossi, F. (2001). Evaluar el desempeño del juez sensorial usando repetibilidad
y medidas de reproducibilidad. Calidad y preferencia alimentaria, 12 (5-7), 467-479.
Scaman, CH y Dou, J. (2001). Evaluación de la actuación de los jueces de concurso de vinos
utilizando el análisis de similitud de componentes principales. Revista de estudios sensoriales, 16 (3),
287–300.
Torre, P. (2002). Análisis sensorial del espárrago de Navarra con denominación
especí fi ca: un caso práctico. EnPonencias CS2002, I Encuentro internacional Ciencias
Sensoriales y de la percepción (págs. 14-17). Sant Sadurní d'Anoia, Barcelona (España):
Editorial Rubes.<http://www.percepnet.com/not02_03. htm>.