A R C H I V

4 1 9 5 4
B a s i c
s e n s o r y m e
f o r f o o d
e v a i a t i o n
B . M . W a t t s
l i m a k i , L . E . J e f f e r y , L . G . E l i a s











B A S I C S E N S O R Y M E T H O D S
F O R F O O D E V A L U A T I O N
B . M . W a t t s
G . L . Y l i , n a k i
L . E . J e f f e r y
D e p a r t m e n t o f F o o d s & N u t r i t i o n ,
F a c u l t y o f H u m a n E c o l o g y ,
U n i v e r s i t y o f M a n i t o b a ,
W i n n i p e g , M a n i t o b a ,
C a n a d a
L . G . E l i a s
I n s t i t u t e o f N u t r i t i o n o f
C e n t r a l A m e r i c a a n d P a n a m a ,
G u a t e m a l a C i t y ,
G u a t e m a l a ,
C e n t r a l A m e r i c a
P r e p a r e d w i t h t h e s u p p o r t o f
T h e I n t e r n a t i o n a l D e v e l o p m e n t R e s e a r c h C e n t r e ,
O t t a w a , C a n a d a
I D R C - 2 7 7 e
9 a 2 C / - t I L i
1 '
L k )




















C O N T E N T S
F O R E W O R D i x
P R E F A C E
I N T R O D U C T I O N 5
C h a p t e r 1 U s i n g P r o d u c t - o r i e n t e d a n d C o n s u m e r - o r i e n t e d
T e s t i n g 7
1 . 1 C O N S U M E R - O R I E N T E D T E S T I N G 8
1 . 2 P R O D U C T - O R I E N T E D T E S T I N G 9
C h a p t e r 2 D e s i g n i n g S e n s o r y T e s t i n g F a c i l i t i e s 1 1
2 . 1 P E R M A N E N T S E N S O R Y F A C I L I T I E S 1 1
2 . 1 . 1 F o o d P r e p a r a t i o n A r e a 1 2
2 . 1 . 2 P a n e l D i s c u s s i o n A r e a 1 3
2 . 1 . 3 P a n e l B o o t h A r e a 1 4
2 . 1 . 4 O f f i c e A r e a 1 8
2 . 1 . 5 S u p p l i e s f o r S e n s o r y T e s t i n g 1 9
2 . 2 T E M P O R A R Y S E N S O R Y F A C I L I T I E S 2 3
2 . 2 . 1 F o o d P r e p a r a t i o n A r e a 2 3
2 . 2 . 2 P a n e l A r e a 2 5
2 . 2 . 3 D e s k A r e a 2 5
2 . 2 . 4 S u p p l i e s f o r S e n s o r y T e s t i n g 2 5
2 . 3 D E S I G N O F A S I M P L E S E N S O R Y T E S T I N G
L A B O R A T O R Y 2 6
C h a p t e r 3 E s t a b l i s h i n g S e n s o r y P a n e l s 2 9
3 . 1 R E C R U I T I N G P A N E L I S T S 2 9
3 . 2 O R I E N T I N G P A N E L I S T S 3 0
3 . 3 S C R E E N I N G P A N E L I S T S F O R T R A I N E D P A N E L S 3 1
3 . 4 T R A I N I N G P A N E L I S T S 3 2
3 . 5 M O N I T O R I N G P A N E L I S T S ' P E R F O R M A N C E 3 3
3 . 6 M O T I V A T I N G P A N E L I S T S 3 5
C h a p t e r 4 C o n d u c t i n g S e n s o r y T e s t s 3 7
4 . 1 S A M P L I N G F O O D F O R S E N S O R Y T E S T I N G 3 7
4 . 2 P R E P A R I N G S A M P L E S F O R
S E N S O R Y T E S T I N G 3 8
4 . 3 P R E S E N T I N G S A M P L E S F O R
S E N S O R Y T E S T I N G 3 9
4 . 4 U S I N G R E F E R E N C E S A M P L E S 4 1
C h a p t e r 5 R e d u c i n g P a n e l R e s p o n s e E r r o r 4 3
5 . 1 E X P E C T A T I O N E R R O R S 4 3
5 . 2 P O S I T I O N A L E R R O R S 4 4
5 . 3 S T I M U L U S E R R O R S 4 5
5 . 4 C O N T R A S T E R R O R S 4 5
C h a p t e r 6 C o l l e c t i n g a n d A n a l y z i n g S e n s o r y D a t a 4 7
6 . 1 M E A S U R E M E N T S C A L E S 4 7
6 . 1 . 1 N o m i n a l S c a l e s 4 8
6 . 1 . 2 O r d i n a l S c a l e s 4 8
6 . 1 . 3 I n t e r v a l S c a l e s 4 9
6 . 1 . 4 R a t i o S c a l e s 5 1
6 . 2 S T A T I S T I C A L A N A L Y S I S 5 2
6 . 3 S T A T I S T I C A L T E S T S 5 4
6 . 3 . 1 S t a t i s t i c a l T e s t s f o r S c a l a r D a t a 5 4
6 . 4 E X P E R I M E N T A L D E S I G N 5 6
6 . 4 . 1 R a n d o m i z a t i o n 5 7
6 . 4 . 2 B l o c k i n g 5 7
6 . 4 . 3 R e p l i c a t i o n 5 8
i v
C h a p t e r 7 S e n s o r y T e s t s : D e s c r i p t i o n s a n d A p p l i c a t i o n s 5 9
7 . 1 C O N S U M E R - O R I E N T E D T E S T S 6 0
7 . 1 . 1 P r e f e r e n c e T e s t s 6 0
7 . 1 . 2 A c c e p t a n c e T e s t s 6 3
7 . 1 . 3 H e d o n i c T e s t s 6 6
7 . 2 P R O D U C T - O R I E N T E D T E S T S 7 9
7 . 2 . 1 D i f f e r e n c e T e s t s 7 9
7 . 2 . 2 R a n k i n g f o r I n t e n s i t y T e s t s 8 6
7 . 2 . 3 S c o r i n g f o r I n t e n s i t y T e s t s 9 0
7 . 2 . 4 D e s c r i p t i v e T e s t s 1 0 4
C h a p t e r 8 P l a n n i n g a S e n s o r y E x p e r i m e n t 1 0 5
A P P E N D I C E S 1 0 7
A p p e n d i x 1 B a s i c T a s t e R e c o g n i t i o n T e s t 1 0 9
A p p e n d i x 2 B a s i c O d o u r R e c o g n i t i o n T e s t i l l
A p p e n d i x 3 T r a i n i n g a n d M o n i t o r i n g a B e a n
T e x t u r e P a n e l 1 1 4
A p p e n d i x 4 T e c h n i q u e s f o r E v a l u a t i n g T e x t u r a l
C h a r a c t e r i s t i c s o f C o o k e d B e a n s 1 1 6
A p p e n d i x 5 F o o d R e f e r e n c e s U s e d f o r B e a n
T e x t u r e P a n e l s
1 1 7
A p p e n d i x 6 L i n e S c a l e B a l l o t U s e d f o r B e a n
T e x t u r e P a n e l s
1 1 8
A p p e n d i x 7 S t a t i s t i c a l T a b l e s
1 1 9
R E F E R E N C E S
1 3 7
G L O S S A R Y
1 4 5
I N D E X
1 5 7
V
v i
L I S T O F F I G U R E S
F i g u r e 1 P a n e l D i s c u s s i o n A r e a w i t h P a n e l B o o t h
C o n s t r u c t e d A l o n g O n e W a l l 1 5
F i g u r e 2 P a n e l B o o t h s w i t h I n d i v i d u a l S e c t i o n s
f o r E a c h P a n e l i s t
1 6
F i g u r e 3 D i s p o s a b l e S a m p l e C o n t a i n e r s 2 1
F i g u r e 4 R e u s a b l e S a m p l e C o n t a i n e r s 2 2
F i g u r e 5 T y p i c a l S a m p l e T r a y S e t - u p f o r
P r e s e n t a t i o n t o a P a n e l i s t 2 4
F i g u r e 6 P l a n o f a S i m p l e S e n s o r y T e s t i n g L a b o r a t o r y L o c a t e d
a t I N C A P , G u a t e m a l a 2 7
F i g u r e 7 E x a m p l e s o f C o m m o n l y U s e d S e n s o r y S c a l e s
5 0
F i g u r e 8 B a l l o t f o r B e a n P u r e e P a i r e d - P r e f e r e n c e T e s t 6 3
F i g u r e 9 B a l l o t f o r B e a n T e x t u r e A c c e p t a b i l i t y
R a n k i n g T e s t 6 4
F i g u r e 1 0 B a l l o t f o r B e a n V a r i e t i e s H e d o n i c T e s t
U s i n g a 9 - P o i n t S c a l e 7 1
F i g u r e 1 1 B a l l o t f o r B e a n S t o r a g e P r e t r e a t m e n t
T r i a n g l e T e s t 8 5
F i g u r e 1 2 B a l l o t f o r S e e d c o a t T o u g h n e s s R a n k i n g T e s t 8 8
F i g u r e 1 3 B a l l o t f o r B e a n H a r d n e s s S c o r i n g T e s t
U s i n g a L i n e S c a l e
9 2
L I S T O F T A B L E S
T a b l e 1 T a b u l a t e d R a n k i n g f o r A c c e p t a n c e T e s t D a t a 6 7
T a b l e 2 T a b u l a t e d C a t e g o r y S c o r e s f o r t h e H e d o n i c T e s t 7 3
T a b l e 3 A N O V A T a b l e f o r t h e H e d o n i c T e s t 7 5
T a b l e 4 S i x P o s s i b l e S e r v i n g O r d e r s f o r a T r i a n g l e T e s t 8 2
T a b l e 5 T a b u l a t e d T r i a n g l e T e s t D a t a 8 4
T a b l e 6 T a b u l a t e d R a n k i n g f o r I n t e n s i t y T e s t D a t a 8 9
T a b l e 7 T a b u l a t e d S c o r i n g f o r H a r d n e s s T e s t D a t a 9 3
T a b l e 8 A N O V A T a b l e I S c o r i n g f o r H a r d n e s s T e s t
9 8
T a b l e 9 D a t a M a t r i x o f T r e a t m e n t T o t a l s
f o r E a c h P a n e l i s t
9 8
T a b l e 1 0 A N O V A T a b l e I I S c o r i n g f o r H a r d n e s s T e s t 1 0 0
L I S T O F S T A T I S T I C A L T A B L E S
A p p e n d i x T a b l e 7 . 1
R a n d o m N u m b e r s T a b l e 1 2 1
A p p e n d i x T a b l e 7 . 2
T w o - T a i l e d B i n o m i a l T e s t 1 2 3
A p p e n d i x T a b l e 7 . 3
C r i t i c a l A b s o l u t e R a n k S u m D i f f e r e n c e s f o r
" A l l T r e a t m e n t " C o m p a r i s o n s a t 5 % L e v e l
o f S i g n i f i c a n c e
1 2 4
A p p e n d i x T a b l e 7 . 4
C r i t i c a l A b s o l u t e R a n k S u m D i f f e r e n c e s f o r
" A l l T r e a t m e n t " C o m p a r i s o n s a t 1 % L e v e l
o f S i g n i f i c a n c e 1 2 5
V I I
A p p e n d i x T a b l e 7 . 5
F D i s t r i b u t i o n a t 5 % L e v e l o f S i g n i f i c a n c e 1 2 6
A p p e n d i x T a b l e 7 . 6
F D i s t r i b u t i o n a t 1 % L e v e l o f S i g n i f i c a n c e 1 2 8
A p p e n d i x T a b l e 7 . 7
C r i t i c a l V a l u e s ( 0 V a l u e s ) f o r D u n c a n ' s N e w
M u l t i p l e R a n g e T e s t a t 5 % L e v e l o f S i g n i f i c a n c e 1 3 0
A p p e n d i x T a b l e 7 . 8
C r i t i c a l V a l u e s ( Q V a l u e s ) f o r D u n c a n ' s N e w
M u l t i p l e R a n g e T e s t a t 1 % L e v e l o f S i g n i f i c a n c e 1 3 2
A p p e n d i x T a b l e 7 . 9
O n e - T a i l e d B i n o m i a l T e s t 1 3 4
A p p e n d i x T a b l e 7 . 1 0
P e r c e n t a g e P o i n t s o f t h e S t u d e n t i z e d R a n g e
U p p e r 5 % P o i n t s 1 3 5
A p p e n d i x T a b l e 7 . 1 1
P e r c e n t a g e P o i n t s o f t h e S t u d e n t i z e d R a n g e
U p p e r 1 % P o i n t s 1 3 6
F O R E W O R D
T h i s m a n u a l i s i n t e n d e d t o p r o v i d e a b a s i c t e c h n i c a l g u i d e t o
m e t h o d s o f s e n s o r y e v a l u a t i o n . I t h a s b e e n c o m p i l e d p a r t i c u l a r l y
w i t h t h e n e e d s o f s c i e n t i s t s i n d e v e l o p i n g c o u n t r i e s i n m i n d . T h e y ,
u n l i k e t h e i r c o u n t e r p a r t s i n i n d u s t r i a l i z e d c o u n t r i e s , o f t e n l a c k
a d e q u a t e f a c i l i t i e s a n d a c c e s s t o i n f o r m a t i o n s o u r c e s .
T h e s e l e c t i o n o f m a t e r i a l s i n c l u d e d i n t h i s g u i d e h a s b e e n
i n f l u e n c e d b y t h e e x p e r i e n c e o f t h e a u t h o r s i n s e t t i n g u p a n d
i m p l e m e n t i n g s e n s o r y e v a l u a t i o n t e s t i n g a t t h e I n s t i t u t e o f
N u t r i t i o n o f C e n t r a l A m e r i c a a n d P a n a m a ( I N C A P ) i n G u a t e m a l a .
T h i s e x p e r i e n c e w a s s u p p o r t e d , i n p a r t , b y t h e I n t e r n a t i o n a l
D e v e l o p m e n t R e s e a r c h C e n t r e ( I D R C ) t h r o u g h a r e s e a r c h p r o j e c t
o n b e a n s t h a t w a s i n t e n d e d t o a d d r e s s p r o b l e m s o f s t o r a g e
h a r d e n i n g , l e n g t h y p r e p a r a t i o n t i m e , a n d n u t r i t i o n a l a v a i l a b i l i t y .
T h e a u t h o r s a r e t o b e c o n g r a t u l a t e d o n t h e p r o d u c t i o n o f a
c o m p r e h e n s i v e , p r a c t i c a l g u i d e .
I n s u p p o r t i n g f o o d - a n d n u t r i t i o n - r e l a t e d r e s e a r c h , I D R C g i v e s
I x
a h i g h p r i o r i t y t o e n s u r i n g t h a t a n y n e w o r m o d i f i e d p r o d u c t s a n d
p r o c e s s e s t a k e f u l l a c c o u n t o f t h e l i k e s , d i s l i k e s , a n d p r e f e r e n c e s o f
t h e t a r g e t c o n s u m e r g r o u p s , a n d t h e i r a c c e p t a b i l i t y r e q u i r e m e n t s .
T h e o b j e c t i v e i s t o h e l p m a x i m i z e t h e l i k e l i h o o d o f a c h i e v i n g a
p o s i t i v e e f f e c t , p a r t i c u l a r l y o n d i s a d v a n t a g e d p r o d u c e r s ,
p r o c e s s o r s , a n d c o n s u m e r s .
I t i s h o p e d t h a t t h i s m a n u a l w i l l b e u s f u l t o a w i d e v a r i e t y o f
r e a d e r s , i n c l u d i n g r e s e a r c h e r s , s t u d e n t s , g o v e r n m e n t c o n t r o l
a g e n c i e s , a n d o t h e r s d e a l i n g w i t h i s s u e s o f m o r e e f f i c i e n t a n d
e f f e c t i v e f o o d p r o d u c t i o n a n d u s e w i t h i n t h e c o n t e x t o f c l e a r l y
i d e n t i f i e d c o n s u m e r p r e f e r e n c e s a n d r e q u i r e m e n t s .
G e o f f r e y H a w t i n
D i r e c t o r
A g r i c u l t u r e , F o o d a n d N u t r i t i o n S c i e n c e s D i v i s i o n
I D R C
x
P R E F A C E
T h i s m a n u a l a r o s e f r o m t h e n e e d t o p r o v i d e g u i d e l i n e s f o r
s e n s o r y t e s t i n g o f b a s i c a g r i c u l t u r a l p r o d u c t s i n l a b o r a t o r i e s w h e r e
p e r s o n n e l h a v e m i n i m a l o r n o t r a i n i n g i n s e n s o r y a n a l y s i s . I t i s t h e
o u t c o m e o f a c o l l a b o r a t i v e p r o j e c t b e t w e e n t h e D e p a r t m e n t o f
F o o d s a n d N u t r i t i o n , U n i v e r s i t y o f M a n i t o b a a n d t h e I n s t i t u t e o f
N u t r i t i o n o f C e n t r a l A m e r i c a a n d P a n a m a ( I N C A P ) . I n c l u d e d a r e
d i s c u s s i o n s o f s e n s o r y a n a l y s i s p r i n c i p l e s , d e s c r i p t i o n s o f s e n s o r y
t e s t i n g f a c i l i t i e s a n d p r o c e d u r e s , a n d e x a m p l e s o f s t a t i s t i c a l
t r e a t m e n t o f s e n s o r y t e s t d a t a . E x a m p l e s p r e s e n t e d h a v e b e e n
d r a w n f r o m s t u d i e s o f t h e s e n s o r y c h a r a c t e r i s t i c s a n d a c c e p t a b i l i t y
o f b l a c k b e a n s . T h e s e s t u d i e s w e r e c o n d u c t e d a s p a r t o f a b e a n
r e s e a r c h n e t w o r k , f u n d e d b y t h e I n t e r n a t i o n a l D e v e l o p m e n t
R e s e a r c h C e n t r e ( I D R C ) t o i n c r e a s e t h e a v a i l a b i l i t y , c o n s u m p t i o n
a n d n u t r i t i v e v a l u e o f b e a n s , a n i m p o r t a n t s t a p l e f o o d i n L a t i n
A m e r i c a . P r i n c i p l e s d i s c u s s e d , h o w e v e r , a p p l y t o t h e e v a l u a t i o n o f
m a n y o t h e r t y p e s o f f o o d a n d t h e m e t h o d s d e s c r i b e d c a n b e u s e d t o
m e a s u r e a n d c o m p a r e t h e s e n s o r y c h a r a c t e r i s t i c s o f b o t h
a g r i c u l t u r a l c o m m o d i t i e s a n d p r o c e s s e d f o o d s .
2
T h i s p u b l i c a t i o n h a s b e e n d e s i g n e d t o p r o v i d e a n i n t r o d u c t i o n t o
s e n s o r y m e t h o d s . F o r m o r e t h o r o u g h d i s c u s s i o n s o f s e n s o r y
t e c h n i q u e s t h e r e a d e r i s r e f e r r e d t o r e c e n t b o o k s b y M e i l g a a r d e t a l .
( 1 9 8 7 ) , J e l l i n e k ( 1 9 8 5 ) , S t o n e a n d S i d e l ( 1 9 8 5 ) a n d P i g g o t t ( 1 9 8 4 ) ,
t o t h e A S T M p u b l i c a t i o n s S T P 7 5 8 ( 1 9 8 1 ) , S T P 6 8 2 ( 1 9 7 9 ) , S T P
4 3 4 ( 1 9 6 8 ) a n d S T P 4 3 3 ( 1 9 6 8 ) , a n d t o t h e c l a s s i c a l w o r k o n
s e n s o r y a n a l y s i s b y A m e r i n e e t a l ( 1 9 6 5 ) . T h e c o n c i s e a n d w i d e l y
u s e d L a b o r a t o r y M e t h o d s f o r S e n s o r y E v a l u a t i o n o f F o o d s
( L a r m o n d , 1 9 7 7 ) i s a l s o h i g h l y r e c o m m e n d e d . S t a t i s t i c a l m e t h o d s
f o r s e n s o r y d a t a a n a l y s i s h a v e b e e n e x p l a i n e d i n d e t a i l i n b o o k s b y
O ' M a h o n y ( 1 9 8 6 ) a n d G a c u l a a n d S i n g h ( 1 9 8 4 ) . B a s i c s t a t i s t i c a l
p r i n c i p l e s a n d m e t h o d s a r e p r o v i d e d i n m a n y s t a t i s t i c s b o o k s s u c h
a s t h o s e b y S n e d e c o r a n d C o c h r a n ( 1 9 8 0 ) , a n d S t e e l a n d T o r r i e
( 1 9 8 0 ) .
T h e s u p p o r t o f t h i s p r o j e c t p r o v i d e d b y t h e I n t e r n a t i o n a l
D e v e l o p m e n t R e s e a r c h C e n t r e , O t t a w a , b y t h e I n s t i t u t e o f N u t r i t i o n
o f C e n t r a l A m e r i c a a n d P a n a m a , G u a t e m a l a C i t y , a n d b y t h e
D e p a r t m e n t o f F o o d s a n d N u t r i t i o n o f t h e U n i v e r s i t y o f M a n i t o b a ,
W i n n i p e g , i s g r a t e f u l l y a c k n o w l e d g e d . T h a n k s a r e d u e t o m a n y
i n d i v i d u a l s i n e a c h o f t h e s e i n s t i t u t i o n s f o r t h e i r e n c o u r a g e m e n t
a n d a s s i s t a n c e a t e a c h s t a g e i n t h e p r e p a r a t i o n o f t h i s w o r k . T h e
a u t h o r s a r e p a r t i c u l a r l y i n d e b t e d t o t h e s t a f f a n d s t u d e n t s a t t h e
I n s t i t u t e o f N u t r i t i o n , a n d t h e U n i v e r s i t y o f M a n i t o b a , w h o s e r v e d
a s p a n e l i s t s d u r i n g t h e s e n s o r y e x p e r i m e n t s u s e d a s e x a m p l e s i n
t h i s b o o k . V a l u a b l e e d i t o r i a l s u g g e s t i o n s w e r e m a d e b y L i n d a
M a l c o i m s o n a n d M a r i o n V a i s e y - G e n s e r o f t h e U n i v e r s i t y o f
M a n i t o b a , b y G a b r i e l l a M a h e c h a o f t h e N a t i o n a l U n i v e r s i t y o f
C o l o m b i a , B o g o t a , a n d b y D o r i e n v a n H e r p e n o f t h e C e n t r o
I n t e r n a t i o n a l d e A g r i c u l t u r a T r o p i c a l ( C I A T ) , C a l i ,
C o l o m b i a . T h e a s s i s t a n c e o f t h e S t a t i s t i c a l A d v i s o r y S e r v i c e o f t h e
U n i v e r s i t y o f M a n i t o b a i s a l s o g r e a t l y a p p r e c i a t e d . S p e c i a l t h a n k s
a r e e x p r e s s e d t o A n g e l a D u p u i s , B i l l L i m , D e r r i c k C o u p l a n d , a n d
3
H o r s t W e i s s f o r t y p i n g , d e s i g n i n g a n d i l l u s t r a t i n g t h e m a n u s c r i p t .
T h a n k s a r e a l s o e x t e n d e d t o t h e p e e r r e v i e w e r s o f t h e m a n u s c r i p t
f o r t h e i r u s e f u l s u g g e s t i o n s . S u p p o r t a n d e n c o u r a g e m e n t w e r e
p r o v i d e d b y m a n y o t h e r c o l l e a g u e s a n d f r i e n d s , w h o c a n n o t b e
m e n t i o n e d b y n a m e , b u t w h o s e c o n t r i b u t i o n s a r e r e m e m b e r e d w i t h
g r a t i t u d e b y t h e a u t h o r s .
B e v e r l y W a t t s
G l a d y s Y l i m a k i
L o i s J e f f e r y
L u i s G . E l i a s
I N T R O D U C T I O N
S e n s o r y a n a l y s i s i s a m u l t i d i s c i p l i n a r y s c i e n c e t h a t u s e s h u m a n
p a n e l i s t s a n d t h e i r s e n s e s o f s i g h t , s m e l l , t a s t e , t o u c h a n d h e a r i n g t o
m e a s u r e t h e s e n s o r y c h a r a c t e r i s t i c s a n d a c c e p t a b i l i t y o f f o o d
p r o d u c t s , a s w e l l a s m a n y o t h e r m a t e r i a l s . T h e r e i s n o o n e
i n s t r u m e n t t h a t c a n r e p l i c a t e o r r e p l a c e t h e h u m a n r e s p o n s e ,
m a k i n g t h e s e n s o r y e v a l u a t i o n c o m p o n e n t o f a n y f o o d s t u d y
e s s e n t i a l . S e n s o r y a n a l y s i s i s a p p l i c a b l e t o a v a r i e t y o f a r e a s s u c h
a s p r o d u c t d e v e l o p m e n t , p r o d u c t i m p r o v e m e n t , q u a l i t y c o n t r o l ,
s t o r a g e s t u d i e s a n d p r o c e s s d e v e l o p m e n t .
A s e n s o r y p a n e l m u s t h e t r e a t e d a s a s c i e n t i f i c i n s t r u m e n t i f i t i s
t o p r o d u c e r e l i a b l e , v a l i d r e s u l t s . T e s t s u s i n g s e n s o r y p a n e l s m u s t
b e c o n d u c t e d u n d e r c o n t r o l l e d c o n d i t i o n s , u s i n g a p p r o p r i a t e
e x p e r i m e n t a l d e s i g n s , t e s t m e t h o d s a n d s t a t i s t i c a l a n a l y s e s . O n l y i n
t h i s w a y c a n s e n s o r y a n a l y s i s p r o d u c e c o n s i s t e n t a n d r e p r o d u c i b l e
d a t a .
I
U s i n g P r o d u c t - o r i e n t e d a n d
C o n s u m e r - o r i e n t e d T e s t i n g
C o n s u m e r s ' s e n s o r y i m p r e s s i o n s o f f o o d b e g i n i n t h e
m a r k e t p l a c e w h e r e v i s u a l , o d o u r a n d t a c t i l e s e n s e s , a n d p e r h a p s
t a s t e a r e u s e d i n f o o d s e l e c t i o n . D u r i n g f o o d p u r c h a s i n g ,
p r e p a r a t i o n a n d c o n s u m p t i o n , t h e p r o d u c t c o s t , p a c k a g i n g ,
u n c o o k e d a n d c o o k e d a p p e a r a n c e , a n d e a s e o f p r e p a r a t i o n
i n f l u e n c e c o n s u m e r s ' t o t a l i m p r e s s i o n o f a f o o d . H o w e v e r , s e n s o r y
f a c t o r s a r e t h e m a j o r d e t e r m i n a n t o f t h e c o n s u m e r ' s s u b s e q u e n t
p u r c h a s i n g b e h a v i o u r .
I n f o r m a t i o n o n c o n s u m e r l i k e s a n d d i s l i k e s , p r e f e r e n c e s , a n d
r e q u i r e m e n t s f o r a c c e p t a b i l i t y c a n b e o b t a i n e d u s i n g
c o n s u m e r - o r i e n t e d t e s t i n g m e t h o d s a n d u n t r a i n e d s e n s o r y p a n e l s .
I n f o r m a t i o n o n t h e s p e c i f i c s e n s o r y c h a r a c t e r i s t i c s o f a f o o d m u s t
b e o b t a i n e d b y u s i n g p r o d u c t - o r i e n t e d t e s t s . T h e d e v e l o p m e n t o f
n e w f o o d p r o d u c t s o r t h e r e f o r m u l a t i o n o f e x i s t i n g p r o d u c t s , t h e
i d e n t i f i c a t i o n o f c h a n g e s c a u s e d b y p r o c e s s i n g m e t h o d s , b y s t o r a g e
o r b y t h e u s e o f n e w i n g r e d i e n t s , a n d t h e m a i n t e n a n c e o f
q u a l i t y
I
+ C h a p t e r 1
S
8
c o n t r o l s t a n d a r d s a l l r e q u i r e t h e i d e n t i f i c a t i o n a n d m e a s u r e m e n t o f
s e n s o r y p r o p e r t i e s . T h i s t y p e o f p r o d u c t - o r i e n t e d q u a n t i t a t i v e
i n f o r m a t i o n i s o b t a i n e d i n t h e l a b o r a t o r y u s i n g t r a i n e d s e n s o r y
p a n e l s . W h e n f o o d f o r m u l a s a r e b e i n g a l t e r e d o r n e w f o r m u l a s
b e i n g d e v e l o p e d , p r o d u c t - o r i e n t e d t e s t i n g u s u a l l y p r e c e d e s
c o n s u m e r t e s t i n g .
1 . 1 C O N S U M E R - O R I E N T E D T E S T I N G
I n t r u e c o n s u m e r t e s t i n g a l a r g e r a n d o m s a m p l e o f p e o p l e ,
r e p r e s e n t a t i v e o f t h e t a r g e t p o p u l a t i o n o f p o t e n t i a l u s e r s , i s s e l e c t e d
t o o b t a i n i n f o r m a t i o n o n c o n s u m e r s ' a t t i t u d e s o r p r e f e r e n c e s .
C o n s u m e r p a n e l i s t s a r e n o t t r a i n e d o r c h o s e n f o r t h e i r s e n s o r y
a c u i t y , b u t s h o u l d b e u s e r s o f t h e p r o d u c t . F o r t h i s t y p e o f t e s t i n g
1 0 0 t o 5 0 0 p e o p l e a r e u s u a l l y q u e s t i o n e d o r i n t e r v i e w e d a n d t h e
r e s u l t s u t i l i z e d t o p r e d i c t t h e a t t i t u d e s o f t h e t a r g e t p o p u l a t i o n .
I n t e r v i e w s o r t e s t s m a y b e c o n d u c t e d a t a c e n t r a l l o c a t i o n s u c h a s a
m a r k e t , s c h o o l , s h o p p i n g m a l l , o r c o m m u n i t y c e n t r e , o r m a y t a k e
p l a c e i n c o n s u m e r s ' h o m e s . B e c a u s e a t r u e c o n s u m e r t e s t r e q u i r e s
s e l e c t i o n o f a p a n e l r e p r e s e n t a t i v e o f t h e t a r g e t p o p u l a t i o n , i t i s
b o t h c o s t l y a n d t i m e c o n s u m i n g . T h e r e f o r e u n t r a i n e d i n - h o u s e
c o n s u m e r p a n e l s a r e c o m m o n l y u s e d t o p r o v i d e i n i t i a l i n f o r m a t i o n
o n p r o d u c t a c c e p t a b i l i t y a n d o f t e n a r e c o n d u c t e d p r i o r t o t r u e
c o n s u m e r t e s t s . I n - h o u s e p a n e l s a r e m u c h e a s i e r t o c o n d u c t t h a n
t r u e c o n s u m e r t e s t s a n d a l l o w f o r m o r e c o n t r o l o f t e s t i n g v a r i a b l e s
a n d c o n d i t i o n s . I n - h o u s e p a n e l s a r e , h o w e v e r , m e a n t t o a u g m e n t ,
n o t r e p l a c e , t r u e c o n s u m e r t e s t s .
I n - h o u s e c o n s u m e r p a n e l s ( p i l o t c o n s u m e r p a n e l s ) u s u a l l y
c o n s i s t o f 3 0 t o 5 0 u n t r a i n e d p a n e l i s t s s e l e c t e d f r o m p e r s o n n e l
w i t h i n t h e o r g a n i z a t i o n w h e r e t h e p r o d u c t d e v e l o p m e n t o r r e s e a r c h
9
i s b e i n g c o n d u c t e d . A g r o u p o f p a n e l i s t s
w h o a r e s i m i l a r t o t h e
t a r g e t p o p u l a t i o n o f c o n s u m e r s w h o u s e
t h e p r o d u c t s h o u l d b e
c h o s e n . I t i s a d v a n t a g e o u s t o u s e a s l a r g e a
p a n e l a s p o s s i b l e . T h i s
t y p e o f p a n e l c a n i n d i c a t e t h e r e l a t i v e
a c c e p t a b i l i t y o f p r o d u c t s , a n d
c a n i d e n t i f y p r o d u c t d e f e c t s .
R e s u l t s f r o m i n - h o u s e c o n s u m e r
t e s t i n g s h o u l d n o t b e u s e d t o p r e d i c t p r o d u c t
p e r f o r m a n c e i n t h e
m a r k e t p l a c e , h o w e v e r , b e c a u s e i n - h o u s e
p a n e l s m a y n o t b e
r e p r e s e n t a t i v e o f t h e a c t u a l c o n s u m i n g p o p u l a t i o n .
1 . 2
P R O D U C T - O R I E N T E D T E S T I N G
P r o d u c t - o r i e n t e d t e s t i n g u s e s s m a l l t r a i n e d p a n e l s
t h a t f u n c t i o n
a s t e s t i n g
i n s t r u m e n t s . T r a i n e d p a n e l s
a r e u s e d
t o i d e n t i f y
d i f f e r e n c e s a m o n g s i m i l a r f o o d p r o d u c t s o r
t o m e a s u r e t h e
i n t e n s i t i e s o f f l a v o u r ( o d o u r a n d t a s t e ) , t e x t u r e o r a p p e a r a n c e
c h a r a c t e r i s t i c s . T h e s e p a n e l s u s u a l l y c o n s i s t o f 5 - 1 5
p a n e l i s t s w h o
h a v e b e e n s e l e c t e d f o r t h e i r s e n s o r y a c u i t y a n d h a v e
b e e n s p e c i a l l y
t r a i n e d f o r t h e t a s k t o b e d o n e . T r a i n e d p a n e l i s t s
s h o u l d n o t b e u s e d
t o a s s e s s f o o d a c c e p t a b i l i t y . T h e i r s p e c i a l
t r a i n i n g m a k e s t h e m
m o r e s e n s i t i v e t o s m a l l d i f f e r e n c e s
t h a n t h e a v e r a g e c o n s u m e r a n d
t e a c h e s t h e m t o s e t a s i d e p e r s o n a l l i k e s o r d i s l i k e s w h e n
m e a s u r i n g
s e n s o r y p a r a m e t e r s .
+ C h a p t e r 2
D e s i g n i n g S e n s o r y T e s t i n g F a c i l i t i e s
S e n s o r y t e s t i n g d o e s n o t r e q u i r e e l a b o r a t e f a c i l i t i e s b u t s o m e
b a s i c r e q u i r e m e n t s m u s t b e m e t i f t e s t s a r e t o b e c o n d u c t e d
e f f i c i e n t l y a n d r e s u l t s a r e t o b e r e l i a b l e . A l t h o u g h p e r m a n e n t
f a c i l i t i e s , s p e c i a l l y d e s i g n e d f o r s e n s o r y t e s t i n g , w i l l p r o v i d e t h e
b e s t t e s t i n g e n v i r o n m e n t , e x i s t i n g l a b o r a t o r y s p a c e c a n b e a d a p t e d
f o r s e n s o r y u s e . T h e b a s i c r e q u i r e m e n t s f o r a l l s e n s o r y t e s t i n g
f a c i l i t i e s a r e ( 1 ) a f o o d p r e p a r a t i o n a r e a , ( 2 ) a s e p a r a t e p a n e l
d i s c u s s i o n a r e a , ( 3 ) a q u i e t p a n e l b o o t h a r e a , ( 4 ) a d e s k o r o f f i c e
a r e a f o r t h e p a n e l l e a d e r , a n d ( 5 ) s u p p l i e s f o r p r e p a r i n g a n d s e r v i n g
s a m p l e s .
2 . 1 P E R M A N E N T S E N S O R Y F A C I L I T I E S
T h e d e s i g n o f p e r m a n e n t s e n s o r y t e s t i n g f a c i l i t i e s a n d
i l l u s t r a t i o n s o f p o s s i b l e l a y o u t s f o r s e n s o r y l a b o r a t o r i e s h a v e b e e n
1 2
























1 3
p
C o o k i n g e q u i p m e n t . G a s o r e l e c t r i c s t o v e s o r s e p a r a t e h e a t i n g
e l e m e n t s a n d o v e n s s h o u l d b e p r o v i d e d . M i c r o w a v e o v e n s m a y
a l s o b e a u s e f u l a d d i t i o n t o t h e f o o d p r e p a r a t i o n a r e a .
R e f r i g e r a t i o n e q u i p m e n t . R e f r i g e r a t e d s t o r a g e i s e s s e n t i a l f o r
k e e p i n g p e r i s h a b l e f o o d s a n d m a y b e n e e d e d t o c h i l l s a m p l e s t o a
c o n s t a n t l o w t e m p e r a t u r e b e f o r e s e r v i n g . A s e p a r a t e f r e e z e r c a n b e
u s e f u l f o r l o n g t e r m s t o r a g e o f i n g r e d i e n t s , f o r s t o r a g e o f r e f e r e n c e
s a m p l e s a n d t o e n a b l e f o o d s p r e p a r e d a t d i f f e r e n t t i m e s t o b e s t o r e d
a n d e v a l u a t e d t o g e t h e r .
S t o r a g e s p a c e . C u p b o a r d s o r c l o s e d s h e l v e s f o r d i s h a n d
s u p p l y s t o r a g e s h o u l d b e c o n s t r u c t e d u n d e r t h e w o r k i n g c o u n t e r s
a n d a l s o o v e r t h e p a s s - t h r o u g h o p e n i n g s t o t h e p a n e l a r e a . A n o p e n
s h e l f o v e r t h e p a s s - t h r o u g h a r e a i s u s e f u l f o r h o l d i n g p r e p a r e d t r a y s
d u r i n g p a n e l s e t u p . D r a w e r s d i r e c t l y u n d e r t h e c o u n t e r s a r e
c o n v e n i e n t f o r s t o r i n g n a p k i n s , p e n c i l s , p l a s t i c s p o o n s a n d f o r k s
a n d s i m i l a r p a n e l s u p p l i e s .
V e n t i l a t i o n . V e n t i l a t i o n h o o d s w i t h e x h a u s t f a n s s h o u l d b e
i n s t a l l e d o v e r t h e s t o v e s t o r e d u c e c o o k i n g o d o u r s i n t h e
p r e p a r a t i o n a r e a a n d t o p r e v e n t s p r e a d i n g o f t h e s e o d o u r s t o t h e
p a n e l r o o m .
2 . 1 . 2 P a n e l D i s c u s s i o n A r e a
I
F o r p r o d u c t - o r i e n t e d t e s t i n g i t i s n e c e s s a r y t o h a v e a r o o m
w h e r e t h e p a n e l i s t s c a n m e e t w i t h t h e p a n e l l e a d e r f o r i n s t r u c t i o n ,
t r a i n i n g a n d d i s c u s s i o n . T h i s d i s c u s s i o n a r e a s h o u l d b e c o m p l e t e l y
s e p a r a t e f r o m t h e f o o d p r e p a r a t i o n a r e a s o t h a t n o i s e a n d c o o k i n g
1 4
o d o u r s d o n o t i n t e r f e r e w i t h t h e p a n e l i s t s ' t a s k s . I t s h o u l d b e
l o c a t e d s o t h a t t h e r e a r e n o i n t e r r u p t i o n s f r o m o t h e r l a b o r a t o r y
p e r s o n n e l . A c o m f o r t a b l e w e l l l i t a r e a , w i t h a l a r g e t a b l e a n d c h a i r s
o r s t o o l s t o s e a t a t l e a s t 1 0 p e o p l e , i s i d e a l . A l a r g e c h a l k b o a r d , f l i p
c h a r t , o r w h i t e b o a r d s h o u l d b e l o c a t e d w h e r e i t c a n b e e a s i l y s e e n
b y t h e p a n e l i s t s a r o u n d t h e t a b l e . A b u l l e t i n b o a r d l o c a t e d c l o s e t o
t h e e n t r a n c e a l l o w s p o s t i n g o f n o t i c e s a n d i n f o r m a t i o n a b o u t
p a n e l i s t s ' p e r f o r m a n c e . A n e x a m p l e o f a p a n e l d i s c u s s i o n a r e a i s
s h o w n i n F i g u r e 1 .
2 . 1 3 P a n e l B o o t h A r e a
T h e b o o t h a r e a , l i k e t h e d i s c u s s i o n a r e a , s h o u l d b e c o m p l e t e l y
s e p a r a t e f r o m t h e f o o d p r e p a r a t i o n a r e a . A l t h o u g h i t i s p r e f e r a b l e t o
h a v e a s e l f - c o n t a i n e d p a n e l b o o t h r o o m , a r e a s c a n b e c o m b i n e d b y
h a v i n g t h e b o o t h s c o n s t r u c t e d a l o n g o n e w a l l o f t h e g r o u p
d i s c u s s i o n r o o m , w i t h n o d i v i d i n g w a l l b e t w e e n t h e b o o t h a n d
d i s c u s s i o n a r e a s , a s s h o w n i n F i g u r e 1 . H o w e v e r , g r o u p d i s c u s s i o n s
c a n n o t t h e n b e h e l d s i m u l t a n e o u s l y w i t h i n d i v i d u a l t a s t i n g
s e s s i o n s . T h i s a r r a n g e m e n t c o u l d c r e a t e a p r o b l e m i f s e v e r a l
s e n s o r y t a s k s a r e u n d e r w a y a t o n e t i m e .
T h e p a n e l b o o t h a r e a s h o u l d c o n t a i n i n d i v i d u a l c o m p a r t m e n t s
w h e r e p a n e l i s t s c a n a s s e s s s a m p l e s w i t h o u t i n f l u e n c e b y o t h e r
p a n e l m e m b e r s ( F i g u r e 2 ) . T h i s a r e a m a y c o n t a i n a s f e w a s 4
i n d i v i d u a l s e c t i o n s b u t 5 t o 1 0 a r e m o s t c o m m o n . E a c h b o o t h
s h o u l d b e e q u i p p e d w i t h a c o u n t e r , a s t o o l o r c h a i r , a p a s s - t h r o u g h
o p e n i n g t o t h e f o o d p r e p a r a t i o n a r e a a n d i n d i v i d u a l l i g h t i n g a n d
e l e c t r i c a l o u t l e t s . W h i l e s i n k s i n p a n e l b o o t h s m a y a p p e a r u s e f u l
f o r e x p e c t o r a t i o n , t h e y c a n c a u s e o d o u r a n d s a n i t a t i o n p r o b l e m s
a n d a r e n o t r e c o m m e n d e d .
F i g u r e 1
P a n e l d i s c u s s i o n a r e a w i t h p a n e l b o o t h c o n s t r u c t e d
a l o n g o n e w a l l
1 5
1 6
F i g u r e 2 P a n e l b o o t h s w i t h i n d i v i d u a l s e c t i o n s
f o r e a c h p a n e l i s t
1 7





























1 8
h i n g e d o r f l i p - u p d o o r . S l i d i n g d o o r s m u s t b e w e l l f i t t e d o r t h e y
m a y s t i c k a n d c a u s e p r o b l e m s . H i n g e d o r f l i p - u p d o o r s r e q u i r e a l o t
o f c l e a r c o u n t e r s p a c e t o w o r k p r o p e r l y .
L i g h t i n g a n d e l e c t r i c a l o u t l e t s . E a c h b o o t h s h o u l d h a v e
i n d i v i d u a l o v e r h e a d l i g h t i n g s o t h a t t h e l i g h t d i s t r i b u t i o n i s u n i f o r m
f r o m o n e b o o t h t o a n o t h e r . h 1 c a n d e s c e n t o r f l u o r e s c e n t l i g h t i n g
m a y b e u s e d . I n c a n d e s c e n t l i g h t i n g o f f e r s a r a n g e o f i l l u m i n a t i o n
b u t i s m o r e c o s t l y t o i n s t a l l a n d m a i n t a i n t h a n f l u o r e s c e n t l i g h t i n g .
F l u o r e s c e n t l i g h t s c a n b e o b t a i n e d i n c o o l w h i t e , w a r m w h i t e o r
s i m u l a t e d d a y l i g h t . D a y l i g h t t u b e s a r e r e c o m m e n d e d f o r f o o d
t e s t i n g . L i g h t s o f v a r i o u s c o l o u r s s u c h a s r e d a n d y e l l o w s h o u l d b e
i n s t a l l e d , i n a d d i t i o n t o t h e c o n v e n t i o n a l w h i t e l i g h t s . T h e s e c a n b e
u s c d t o m a s k c o l o u r d i f f e r e n c e s b e t w e e n f o o d s a m p l e s . F l o o d
l i g h t s w i t h r e m o v a b l e p l a s t i c c o l o u r e d f i l t e r s p r o v i d e a n
e c o n o m i c a l m e a n s o f c o n t r o l l i n g l i g h t c o l o u r . E a c h b o o t h s h o u l d
h a v e a n e l e c t r i c a l o u t l e t s o t h a t w a r m i n g t r a y s c a n b e u s e d .
V e n t i l a t i o n . T h e p a n e l r o o m s h o u l d b e a d e q u a t e l y v e n t i l a t e d
a n d m a i n t a i n e d a t a c o m f o r t a b l e t e m p e r a t u r e a n d h u m i d i t y . T h e
v e n t i l a t i o n s y s t e m s h o u l d n o t d r a w i n o d o u r s f r o m t h e c o o k i n g
a r e a . I f t h e b u i l d i n g i n w h i c h t h e s e n s o r y f a c i l i t i e s a r e b e i n g
i n s t a l l e d h a s a i r c o n d i t i o n i n g , t h e n p o s i t i v e a i r p r e s s u r e m a y b e
m a i n t a i n e d
i n t h e p a n e l b o o t h a r e a t o p r e v e n t i n f i l t r a t i o n o f
e x t e r n a l o d o u r s .
2 . 1 . 4 O f f i c e A r e a
I n a d d i t i o n t o t h e s p a c e n e e d e d f o r t h e a c t u a l s e n s o r y t e s t i n g , a
p l a c e w h e r e t h e p a n e l l e a d e r c a n p r e p a r e b a l l o t s a n d r e p o r t s ,
a n a l y z e d a t a a n d s t o r e r e s u l t s i s r e q u i r e d . T h i s a r e a s h o u l d b e
1 9
e q u i p p e d w i t h a d e s k , a f i l i n g c a b i n e t , a n d e i t h e r a s t a t i s t i c a l
c a l c u l a t o r o r a c o m p u t e r e q u i p p e d w i t h a s t a t i s t i c a l p r o g r a m f o r
d a t a a n a l y s i s .
2 . 1 . 5 S u p p l i e s f o r S e n s o r y T e s t i n g
T h e s e n s o r y a r e a s s h o u l d b e e q u i p p e d w i t h u t e n s i l s f o r f o o d
p r e p a r a t i o n a n d w i t h e q u i p m e n t a n d s m a l l c o n t a i n e r s f o r s e r v i n g
s a m p l e s t o t h e p a n e l i s t s . A l l u t e n s i l s s h o u l d b e m a d e o f m a t e r i a l s
t h a t w i l l n o t t r a n s f e r o d o u r s o r f l a v o u r s t o t h e f o o d s b e i n g p r e p a r e d
o r s a m p l e d . F o o d p r e p a r a t i o n a n d s e r v i n g e q u i p m e n t , u t e n s i l s a n d
g l a s s w a r e f o r t h e s e n s o r y t e s t i n g a r e a s h o u l d b e p u r c h a s e d n e w a n d
u s e d e x c l u s i v e l y f o r s e n s o r y t e s t i n g . F o o d i t e m s , s a m p l e c o n t a i n e r s
( p a r t i c u l a r l y t h e d i s p o s a b l e o n e s ) , r i n s e c u p s a n d u t e n s i l s , s h o u l d
b e p u r c h a s e d i n l a r g e q u a n t i t i e s , s u f f i c i e n t t o l a s t t h r o u g h o u t a n
e n t i r e s t u d y .
U t e n s i l s f o r f o o d p r e p a r a t i o n . A n a c c u r a t e b a l a n c e o r s c a l e ,
g r a d u a t e d c y l i n d e r s , p i p e t t e s , v o l u m e t r i c f l a s k s a n d g l a s s b e a k e r s
o f v a r i o u s s i z e s w i l l b e n e e d e d t o m a k e p r e c i s e m e a s u r e m e n t s
d u r i n g f o o d p r e p a r a t i o n a n d s a m p l i n g . G l a s s ( L e . P y r e x ) o r
g l a s s - c e r a m i c ( i . e . C o r n i n g w a r e ) c o o k i n g p o t s s h o u l d b e s e l e c t e d
r a t h e r t h a n m e t a l c o o k w a r e b e c a u s e g l a s s a n d g l a s s - c e r a m i c
c o n t a i n e r s a r e l e s s l i k e l y t o i m p a r t f l a v o u r s o r o d o u r s t o t h e f o o d s
c o o k e d i n t h e m . I f o n l y m e t a l i s a v a i l a b l e , t h e n s t a i n l e s s s t e e l i s a
b e t t e r c h o i c e t h a n a l u m i n u m , t i n o r c a s t i r o n c o o k w a r e .
T h e r m o m e t e r s a n d s t a n d a r d k i t c h e n u t e n s i l s s u c h a s s i e v e s a n d
s t r a i n e r s , c a n o p e n e r s , k n i v e s , f o r k s , s p o o n s , b o w l s , p o t h o l d e r s
a n d c o v e r e d s t o r a g e c o n t a i n e r s w i l l a l s o b e n e e d e d .
2 0
S a m p l e c o n t a i n e r s . S a m p l e c o n t a i n e r s s h o u l d b e c h o s e n
a c c o r d i n g t o t h e s a m p l e s i z e a n d c h a r a c t e r i s t i c s . T h e s i z e o f t h e
c o n t a i n e r s w i l l v a r y w i t h t h e t y p e o f p r o d u c t b e i n g t e s t e d a n d w i t h
t h e a m o u n t o f s a m p l e t o b e p r e s e n t e d . D i s p o s a b l e p a p e r , p l a s t i c o r
s t y r o f o a m c o n t a i n e r s o f 3 0 - 6 0 m L ( 1 - 2 o z ) s i z e w i t h
l i d s
( F i g u r e 3 ) , d i s p o s a b l e p e t r i - p l a t e s a n d p a p e r p l a t e s a r e c o n v e n i e n t
b u t m a y p r o v e c o s t l y . R e u s a b l e c o n t a i n e r s s u c h a s g l a s s e s , s h o t
g l a s s e s , g l a s s e g g c u p s , s m a l l b e a k e r s , g l a s s c u s t a r d c u p s , b o t t l e s ,
g l a s s p l a t e s o r p e t r i - p l a t e s ( F i g u r e 4 ) a n d g l a s s j a r s a r e s u i t a b l e
a l t e r n a t i v e s . L i d s o r c o v e r s o f s o m e s o r t a r e n e c e s s a r y t o p r o t e c t
t h e f o o d s a m p l e s f r o m d r y i n g o u t o r c h a n g i n g i n t e m p e r a t u r e o r
a p p e a r a n c e , a n d t o p r e v e n t d u s t o r d i r t f r o m c o n t a m i n a t i n g t h e
s a m p l e s . L i d s a r e p a r t i c u l a r l y i m p o r t a n t w h e n o d o u r s o f t h e f o o d
s a m p l e s a r e b e i n g e v a l u a t e d . L i d s a l l o w t h e v o l a t i l e s f r o m t h e
s a m p l e t o b u i l d u p i n t h e c o n t a i n e r s o t h a t t h e p a n e l i s t r e c e i v e s t h e
f u l l i m p a c t o f t h e o d o u r w h e n b r i n g i n g t h e s a m p l e c o n t a i n e r t o t h e
n o s e a n d l i f t i n g t h e l i d .
W h e n p u r c h a s i n g s a m p l e c o n t a i n e r s i t i s i m p o r t a n t t o c h e c k t h a t
t h e c o n t a i n e r s d o n o t h a v e a n y o d o u r s o f t h e i r o w n w h i c h m a y
i n t e r f e r e w i t h t h e e v a l u a t i o n o f t h e f o o d p r o d u c t s . E n o u g h
c o n t a i n e r s o f o n e s i z e a n d s h a p e m u s t b e p u r c h a s e d t o e n s u r e t h a t
i d e n t i c a l c o n t a i n e r s c a n b e u s e d f o r a l l s a m p l e s s e r v e d d u r i n g o n e
s t u d y .
T r a y s . P l a s t i c o r m e t a l t r a y s , t o h o l d t h e s a m p l e s t o h e s e r v e d
t o e a c h p a n e l i s t , s h o u l d b e p r o v i d e d . I n d i v i d u a l e l e c t r i c w a r m i n g
t r a y s f o r e a c h b o o t h a r e r e c o m m e n d e d f o r s a m p l e s s e r v e d w a r m .
P l a c i n g s a m p l e s i n a w a t e r b a t h o n t h e w a r m i n g t r a y s m a y
d i s t r i b u t e t h e h e a t m o r e e v e n l y t h a n p l a c i n g s a m p l e s d i r e c t l y o n t h e
t r a y s . A l t e r n a t i v e l y , s a m p l e s m a y b e k e p t w a r m i n a t h e r m o s o r
w a r m i n g o v e n i n t h e p r e p a r a t i o n a r e a u n t i l j u s t b e f o r e s e r v i n g . I n
a l l c a s e s , s a m p l e c o n t a i n e r s t h a t w i l l n o t m e l t o r a l l o w w a t e r i n t o
F i g u r e 3 D i s p o s a b l e s a m p l e c o n t a i n e r s
2 1
2 2
F i g u r e 4 R e u s a b l e s a m p l e c o n t a i n e r s
2 3
t h e s a m p l e s , a r e r e q u i r e d . S t y r o f o a m c o n t a i n e r s w i t h l i d s p r o v i d e
a n i n e x p e n s i v e m e a n s o f k e e p i n g s a m p l e s w a r m f o r s h o r t p e r i o d s
o f t i m e .
A d d i t i o n a l s u p p l i e s . P l a s t i c s p o o n s , f o r k s a n d k n i v e s , n a p k i n s ,
d i s p o s a b l e o r g l a s s c u p s f o r w a t e r a n d e x p e c t o r a t i o n , a n d l a r g e j u g s
o r p i t c h e r s , p r e f e r a b l y g l a s s , f o r d r i n k i n g w a t e r w i l l a l s o b e n e e d e d .
A t y p i c a l s a m p l e t r a y s e t - u p , f o r p r e s e n t a t i o n t o a p a n e l i s t , i s
s h o w n i n F i g u r e 5 . O d o u r l e s s d i s h w a s h i n g d e t e r g e n t i s s u g g e s t e d
f o r w a s h i n g e q u i p m e n t .
2 . 2 T E M P O R A R Y S E N S O R Y F A C I L i T I E S
W h e n a n a r e a s p e c i f i c a l l y d e s i g n e d f o r s e n s o r y t e s t i n g i s n o t
a v a i l a b l e , o r w h e n p a n e l s , s u c h a s c o n s u m e r p a n e l s , a r e c o n d u c t e d
a w a y f r o m t h e p e r m a n e n t f a c i l i t y , a t e m p o r a r y a r e a c a n b e a r r a n g e d
t o s a t i s f y t h e b a s i c r e q u i r e m e n t s f o r s e n s o r y t e s t i n g .
2 . 2 . 1 F o o d P r e p a r a t i o n A r e a
T e m p o r a r y c o o k i n g f a c i l i t i e s c a n b e s e t u p i n a l a b o r a t o r y u s i n g
h o t p l a t e s , a n d s t y r o l o a m c o n t a i n e r s c a n b e u s e d t o k e e p f o o d w a r m
f o r s h o r t p e r i o d s . P r e p a r e d t r a y s c a n b e s e t o u t o n c a r t s w h e n
c o u n t e r s p a c e i s l i m i t e d .
2 4
F i g u r e 5 T y p i c a l s a m p l e t r a y s e t - u p f o r p r e s e n t a t i o n t o a p a n e l i s t
2 . 2 . 2 P a n e l A r e a
S a m p l e s c a n b e p r e s e n t e d f o r e v a l u a t i o n i n a n y s e p a r a t e a r e a
w h e r e d i s t r a c t i o n s , n o i s e a n d o d o u r s c a n b e k e p t t o a m i n i m u m . A
l u n c h o r c o f f e e r o o m w h i c h i s n o t i n u s e a t t h e t i m e s w h e n s e n s o r y
t e s t s a r e t o b e c a r r i e d o u t m i g h t s e r v e a d e q u a t e l y i f f o o d o d o u r s
h a v e c l e a r e d . T o p r o v i d e s o m e p r i v a c y f o r t h e p a n e l i s t s , a n d t o
m i n i m i z e d i s t r a c t i o n s , p o r t a b l e p a r t i t i o n s o f l i g h t w e i g h t w o o d o r
h e a v y c a r d b o a r d c a n b e c o n s t r u c t e d t o s i t o n t a b l e t o p s b e t w e e n
p a n e l i s t s .
2 . 2 . 3 D e s k A r e a
T h e p a n e l l e a d e r w i l l n e e d s p a c e f o r p r e p a r i n g b a l l o t s , p l a n n i n g
s e n s o r y t e s t s , a n d a n a l y z i n g d a t a , a n d w i l l n e e d a c c e s s t o a
c a l c u l a t o r w i t h s t a t i s t i c a l c a p a b i l i t i e s .
2 . 2 . 4 S u p p l i e s f o r S e n s o r y T e s t i n g
T h e s a m e s u p p l i e s w i l l b e n e e d e d a s w e r e o u t l i n e d f o r t h e
p e r m a n e n t f a c i l i t y .
S
2 5
2 6
2 . 3 D E S I G N O F A S I M P L E S E N S O R Y T E S T I N G
L A B O R A T O R Y
A t I N C A P i n G u a t e m a l a C i t y , a s e n s o r y l a b o r a t o r y c o n t a i n i n g
p a n e l b o o t h s a n d a d i s c u s s i o n a r e a w a s b u i l t a d j a c e n t t o a n e x i s t i n g
k i t c h e n f a c i l i t y ( F i g u r e 6 ) . T h i s f o o d p r e p a r a t i o n a r e a w a s a l r e a d y
w e l l e q u i p p e d w i t h s t o v e s , s i n k s , r e f r i g e r a t o r s , s t o r a g e c u p b o a r d s
a n d c o u n t e r s p a c e .
I n t h e n e w l y d e s i g n e d s e n s o r y f a c i l i t y , p a n e l b o o t h s a r e
a c c e s s i b l e f r o m t h e k i t c h e n a r e a v i a p a s s - t h r o u g h s w i t h h o r i z o n t a l
s l i d i n g d o o r s . T h e f i v e p a n e l b o o t h s a r e o p e n f r o m t h e b a c k t o t h e
g r o u p d i s c u s s i o n a r e a w h i c h i s e q u i p p e d w i t h a l a r g e t a b l e , a n d
w i t h s t o o l s t o s e a t 1 2 - 1 5 p e o p l e . E a c h b o o t h h a s i n d i v i d u a l l i g h t
f i x t u r e s a n d a n e l e c t r i c a l o u t l e t . T h e d i v i s i o n s b e t w e e n t h e b o o t h s
a r e h i n g e d s o t h a t t h e y c a n b e f o l d e d t o o n e s i d e i f c l e a r c o u n t e r
s p a c e i s n e e d e d o n s o m e o c c a s i o n s .
A l t h o u g h a s e p a r a t e o f f i c e f o r t h e p a n e l l e a d e r w a s n o t
a v a i l a b l e , a d e s k p l a c e d i n t h e f o o d p r e p a r a t i o n a r e a p r o v i d e s s p a c e
f o r p r e p a r i n g b a l l o t s a n d a n a l y z i n g d a t a .
T h e f o l l o w i n g i t e m s w e r e a c q u i r e d t o e q u i p t h e s e n s o r y
l a b o r a t o r y a t I N C A P :
1 a n a l y t i c a l b a l a n c e
g l a s s w a r e ( g r a d u a t e d c y l i n d e r s a n d b e a k e r s o f v a r i o u s s i z e s )
5 e l e c t r i c w a r m i n g t r a y s w i t h a d j u s t a b l e t h e r m o s t a t s ( 1 p e r
p a n e l b o o t h )
8 - 3 L g l a s s c o o k i n g p o t s w i t h l i d s
1 0 - 3 0 0 m L p l a s t i c s t o r a g e c o n t a i n e r s w i t h l i d s
0 I 2 m
L J L J J
S c a l e
F i g u r e 6 P l a n o f a s i m p l e s e n s o r y t e s t i n g l a b o r a t o r y
l o c a t e d a t I N C A P , G u a t e m a l a
2 7
2 8
2 0 - 1 5 c m d i a m e t e r s t y r o f o a m c o n t a i n e r s w i t h l i d s
( t o r t i l l a h o l d e r s )
1 5 w h i t e p l a s t i c s e r v i n g t r a y s
6 l a r g e w a t e r j u g s
4 8 - 5 0 m L r e d s a m p l e g l a s s e s w i t h t i n f o i l l i d s
d i s p o s a b l e 7 5 m L p l a s t i c c u p s f o r w a t e r
a n d f o r e x p e c t o r a t i o n
d i s p o s a b l e 3 0 m L p l a s t i c s a m p l e c o n t a i n e r s w i t h l i d s
d i s p o s a b l e 3 0 m L s t y r o f o a m s a m p l e c u p s w i t h l i d s
d i s p o s a b l e w h i t e p l a s t i c t e a s p o o n s
p a p e r n a p k i n s
p o t h o l d e r s , t e a t o w e l s , s p o o n s , f o r k s , k n i v e s , s t r a i n e r s ,
p a p e r t o w e l s , d e t e r g e n t
s t a t i s t i c a l c a l c u l a t o r
+ C h a p t e r 3
E s t a b l i s h i n g S e n s o r y P a n e l s
T h e t e s t i n g i n s t r u m e n t f o r s e n s o r y a n a l y s i s i s t h e p a n e l o f
h u m a n j u d g e s w h o h a v e b e e n r e c r u i t e d a n d t r a i n e d t o c a r r y o u t
s p e c i f i c t a s k s o f s e n s o r y e v a l u a t i o n . R e c r u i t i n g p a n e l i s t s , t r a i n i n g
t h e m , m o n i t o r i n g t h e i r p e r f o r m a n c e , p r o v i d i n g l e a d e r s h i p a n d
m o t i v a t i o n i s t h e j o b o f t h e p a n e l l e a d e r . T h o r o u g h p r e p a r a t i o n a n d
e f f i c i e n t d i r e c t i o n o f t h e p a n e l b y t h e l e a d e r a r e e s s e n t i a l i f t h e
p a n e l i s t o f u n c t i o n e f f e c t i v e l y .
3 . 1 R E C R U I T I N G P A N E L I S T S
P a n e l i s t s f o r b o t h t r a i n e d p a n e l s a n d u n t r a i n e d i n - h o u s e p a n e l s
c a n u s u a l l y b e d r a w n f r o m t h e p e r s o n n e l o f t h e i n s t i t u t i o n o r
o r g a n i z a t i o n w h e r e t h e r e s e a r c h i s b e i n g c o n d u c t e d . T h e m a j o r i t y
o f t h e p e o p l e w i t h i n a n o r g a n i z a t i o n a r e p o t e n t i a l p a n e l i s t s . T h e y
3 0
w i l l u s u a l l y b e i n t e r e s t e d i n p a r t i c i p a t i o n i f t h e y f e e l t h a t t h e i r
c o n t r i b u t i o n i s i m p o r t a n t .
T o h e l p w i t h p a n e l i s t r e c r u i t m e n t , a l l p o t e n t i a l p a n e l i s t s s h o u l d
b e a s k e d t o c o m p l e t e q u e s t i o n n a i r e s g i v i n g t h e i r f o o d l i k e s a n d
d i s l i k e s , i n d i c a t i n g t h e i r l e v e l o f i n t e r e s t i n t h e p r o j e c t t o b e c a r r i e d
o u t , l i s t i n g a n y f o o d r e s t r i c t i o n s o r a l l e r g i e s t h e y m a y h a v e a n d
g i v i n g t i m e s w h e n t h e y w o u l d b e a v a i l a b l e f o r p a n e l s . T h i s
i n f o r m a t i o n w i l l h e l p t h e p a n e l l e a d e r t o s e l e c t t h o s e i n d i v i d u a l s
a p p r o p r i a t e f o r t h e s t u d y . I n a c o m p a n y o r i n s t i t u t i o n w h e r e
s e n s o r y t e s t s a r e c o n d u c t e d o n a r e g u l a r b a s i s , i t i s u s e f u l t o k e e p a
f i l e w i t h i n f o r m a t i o n o n a l l p o t e n t i a l p a n e l i s t s . R e c o r d s s h o u l d a l s o
b e k e p t o n e a c h p a n e l i s t w h o p a r t i c i p a t e s i n a n y s e n s o r y p a n e l .
3 . 2 O R I E N T I N G P A N E L I S T S
P o t e n t i a l p a n e l i s t s s h o u l d b e i n v i t e d t o t h e s e n s o r y p a n e l a r e a , i n
g r o u p s o f n o m o r e t h a n 1 0 a t a t i m e , t o a l l o w t h e p a n e l l e a d e r t o
e x p l a i n t h e i m p o r t a n c e o f s e n s o r y t e s t i n g , s h o w t h e p a n e l i s t s t h e
t e s t i n g f a c i l i t i e s , a n d a n s w e r q u e s t i o n s t h a t m a y a r i s e . I n d i v i d u a l s
p a r t i c i p a t i n g o n l y i n i n - h o u s e a c c e p t a b i l i t y p a n e l s ( u n t r a i n e d
p a n e l s ) d o n o t n e e d t o b e g i v e n a n y s u b s e q u e n t t r a i n i n g . H o w e v e r ,
i t i s u s e f u l t o d e m o n s t r a t e t h e w a y i n w h i c h t h e b a l l o t s s h o u l d b e
m a r k e d , u s i n g e n l a r g e d b a l l o t s s h o w n o n a n o v e r h e a d p r o j e c t o r o r
a b l a c k b o a r d .
D i s c u s s i n g t h e a c t u a l f o o d t o b e t e s t e d s h o u l d b e
a v o i d e d . E x p l a i n i n g t h e t e s t m e t h o d a n d p r o c e d u r e w i l l r e d u c e
c o n f u s i o n a n d m a k e i t e a s i e r f o r p a n e l i s t s t o c o m p l e t e t h e t a s k . I t i s
i m p o r t a n t t h a t a l l p a n e l i s t s u n d e r s t a n d t h e p r o c e d u r e s a n d s c o r e
c a r d s s o t h e y m a y c o m p l e t e t h e t e s t i n a s i m i l a r m a n n e r .
3 1

























3 2
L o c a t i n g p a n e l i s t s s e n s i t i v e t o d i f f e r e n c e s i n t h e t e s t f o o d i s
i m p o r t a n t .
I f 2 0 - 2 5 p e o p l e c a n b e s c r e e n e d , i t s h o u l d b e p o s s i b l e t o s e l e c t
f o r t r a i n i n g , a g r o u p o f 1 2 - 1 4 p e o p l e w h o h a v e d e m o n s t r a t e d
s u p e r i o r p e r f o r m a n c e d u r i n g s c r e e n i n g s e s s i o n s . P a n e l i s t s c h o s e n
s h o u l d a l s o b e i n t e r e s t e d i n t h e p r o j e c t , a n d a b l e t o p a r t i c i p a t e o n a
l o n g t e r m b a s i s . P a n e l t r a i n i n g t a k e s a p p r o x i m a t e l y 1 / 2 h o u r a d a y ,
u s u a l l y 2 - 4 t i m e s p e r w e e k . P a n e l t r a i n i n g s h o u l d b e g i n w i t h a
l a r g e r g r o u p o f p e o p l e t h a n i s n e e d e d f o r t h e f i n a l t r a i n e d p a n e l .
S o m e p a n e l i s t s w i l l a l m o s t c e r t a i n l y d r o p o u t d u e t o i l l n e s s o r
j o b - r e l a t e d p r i o r i t i e s . T h e f i n a l t r a i n e d p a n e l s h o u l d i n c l u d e a t l e a s t
8 p e o p l e w i t h g o o d d i s c r i m i n a t o r y a b i l i t y f o r t h e t a s k t o b e d o n e .
3 . 4 T R A I N I N G P A N E L I S T S
T h e p e r f o r m a n c e o f i n d i v i d u a l p a n e l i s t s , a n d o f t h e p a n e l a s a
w h o l e , c a n b e i m p r o v e d t h r o u g h s u i t a b l e t r a i n i n g e x e r c i s e s .
T r a i n i n g s h o u l d b e d e s i g n e d t o h e l p p a n e l i s t s m a k e v a l i d , r e l i a b l e
j u d g e m e n t s t h a t a r e i n d e p e n d e n t o f p e r s o n a l p r e f e r e n c e s . A
d i s c u s s i o n o f r e s u l t s , d i r e c t e d b y t h e p a n e l l e a d e r , s h o u l d
a c c o m p a n y e a c h t r a i n i n g e x e r c i s e , s o t h a t t h e p a n e l i s t s a s a g r o u p
c a n d e v e l o p c o n s i s t e n t m e t h o d s o f e v a l u a t i o n . T r a i n i n g a p a n e l f o r
d i f f e r e n c e o r r a n k i n g t e s t s c a n u s u a l l y b e d o n e i n a f e w s e s s i o n s .
T r a i n i n g f o r q u a n t i t a t i v e a n a l y s i s m a y r e q u i r e t e n t o t w e l v e
s e s s i o n s , o r e v e n m o r e i f a l a r g e n u m b e r o f s e n s o r y c h a r a c t e r i s t i c s
a r e t o b e e v a l u a t e d .
F i n a l t r a i n i n g s h o u l d b e c o n d u c t e d w i t h f o o d p r o d u c t s s i m i l a r t o
t h o s e t h a t w i l l b e u s e d d u r i n g a c t u a l t e s t i n g . P a n e l i s t s s h o u l d
3 3
b e c o m e f a m i l i a r w i t h t h e r a n g e o f c h a r a c t e r i s t i c i n t e n s i t i e s t h a t w i l l
b e e n c o u n t e r e d d u r i n g t h e s t u d y . D u r i n g t r a i n i n g t h e b e s t
p r o c e d u r e s f o r p r e p a r i n g a n d p r e s e n t i n g t h e s a m p l e s c a n b e
e s t a b l i s h e d a n d t h e f i n a l s c o r e c a r d o r b a l l o t c a n b e d e s i g n e d .
D i s c u s s i o n s s h o u l d b e h e l d f r e q u e n t l y , b e t w e e n t h e p a n e l i s t s
a n d p a n e l l e a d e r , t o e n s u r e t h a t a l l p a n e l i s t s u n d e r s t a n d t h e t a s k ,
b a l l o t a n d t e r m i n o l o g y , a n d c a n d i s t i n g u i s h t h e c h a r a c t e r i s t i c s
b e i n g s t u d i e d . B y p r o v i d i n g p r e c i s e d e f i n i t i o n s a n d d e s c r i p t i o n s f o r
t h e e v a l u a t i o n o f e a c h c h a r a c t e r i s t i c , a n d b y s u p p l y i n g f o o d
s a m p l e s t o d e m o n s t r a t e e a c h c h a r a c t e r i s t i c w h e r e v e r p o s s i b l e ,
c o n s i s t e n t p a n e l i s t r e s p o n s e a n d a g r e e m e n t a m o n g p a n e l i s t s c a n b e
d e v e l o p e d .
P a n e l i s t s w h o a r e u n s u c c e s s f u l a t o n e t y p e o f s e n s o r y t a s k m a y
d o w e l l o n a n o t h e r . T h e i r p a r t i c i p a t i o n o n s u b s e q u e n t p a n e l s s h o u l d
b e e n c o u r a g e d , a n d a p p r e c i a t i o n f o r t h e i r w o r k s h o u l d b e e x p r e s s e d
b y t h e p a n e l l e a d e r .
3 . 5 M O N I T O R I N G P A N E L I S T S '
P E R F O R M A N C E
P a n e l i s t s ' p e r f o r m a n c e m u s t b e m o n i t o r e d d u r i n g t r a i n i n g t o
d e t e r m i n e t h e p r o g r e s s o f t h e t r a i n i n g . S u b s e q u e n t t r a i n i n g s h o u l d
c o n c e n t r a t e o n t h e s a m p l e s a n d s a m p l e c h a r a c t e r i s t i c s t h a t p a n e l i s t s
h a v e d i f f i c u l t y i d e n t i f y i n g a n d e v a l u a t i n g . T r a i n i n g i s c o m p l e t e d
w h e n p a n e l i s t s a r e c o m f o r t a b l e w i t h t h e e v a l u a t i o n p r o c e d u r e , c a n
d i s c r i m i n a t e a m o n g d i f f e r e n t s a m p l e s r e p e a t e d l y a n d c a n p r o d u c e
3 4
r e p r o d u c i b l e r e s u l t s . S u p e r i o r p a n e l i s t s c a n t h e n b e i d e n t i f i e d t o
c o n t i n u e t h r o u g h o u t t h e s e n s o r y s t u d y .
T h e p a n e l l e a d e r m o n i t o r s p e r f o r m a n c e b y e v a l u a t i n g t h e a b i l i t y
o f t h e p a n e l a s a w h o l e , a n d o f t h e i n d i v i d u a l p a n e l i s t s , t o
d i s c r i m i n a t e d i f f e r e n c e s a m o n g t h e s a m p l e s b e i n g t e s t e d a n d t o
r e p r o d u c e r e s u l t s c o n s i s t e n t l y . F o r b o t h t y p e s o f e v a l u a t i o n , a s e t o f
d i f f e r e n t s a m p l e s , w h i c h t h e p a n e l l e a d e r k n o w s t o b e d i f f e r e n t ,
m u s t b e e v a l u a t e d b y e a c h p a n e l i s t r e p e a t e d l y o n s e v e r a l o c c a s i o n s
t o p r o v i d e t h e n e c e s s a r y d a t a . S t a t i s t i c a l a n a l y s i s ( a n a l y s i s o f
v a r i a n c e - A N O V A ) i s u s e d t o a s s e s s t h e r e s u l t s . T h e p a n e l d a t a i s
a n a l y z e d t o i d e n t i f y s i g n i f i c a n t v a r i a t i o n a m o n g p a n e l i s t s a n d
a m o n g s a m p l e s . S i g n i f i c a n t d i f f e r e n c e s a m o n g p a n e l i s t s , a l t h o u g h
n o t u n e x p e c t e d , m a y b e r e d u c e d w i t h f u r t h e r t r a i n i n g . L a c k o f
s i g n i f i c a n t d i f f e r e n c e s a m o n g s a m p l e s i n d i c a t e s t h e n e e d f o r
f u r t h e r t r a i n i n g , i f t h e p a n e l l e a d e r k n o w s t h a t d i f f e r e n c e s d o i n f a c t
e x i s t .
I n d i v i d u a l p a n e l i s t ' s r e s u l t s c a n a l s o b e a n a l y z e d . P a n e l i s t s w h o
a r e a b l e t o d i s t i n g u i s h s i g n i f i c a n t d i f f e r e n c e s a m o n g t h e s a m p l e s
w i t h s m a l l e r r o r m e a n s q u a r e s i n t h e a n a l y s i s s h o u l d b e r e t a i n e d o n
t h e p a n e l . I f n o n e o f t h e p a n e l i s t s f i n d s i g n i f i c a n t d i f f e r e n c e s
a m o n g s a m p l e s f o r a p a r t i c u l a r c h a r a c t e r i s t i c , a d d i t i o n a l t r a i n i n g
f o r t h a t c h a r a c t e r i s t i c i s i n d i c a t e d . M o n i t o r i n g p a n e l i s t p e r f o r m a n c e
d u r i n g t r a i n i n g i s d e s c r i b e d i n m o r e d e t a i l i n A p p e n d i x 3 .
P a n e l i s t p e r f o r m a n c e c a n a l s o b e m o n i t o r e d d u r i n g t h e s e n s o r y
s t u d y b y c o m p a r i n g r e p l i c a t e j u d g e m e n t s . T h i s e n s u r e s
t h a t
p a n e l i s t s c o n t i n u e t o p e r f o r m i n a r e l i a b l e , c o n s i s t e n t m a n n e r a n d
w i l l i n d i c a t e w h e n a d d i t i o n a l r e - t r a i n i n g m a y b e r e q u i r e d o r w h e n
p a n e l i s t s n e e d f u r t h e r m o t i v a t i o n .
3 . 6 M O T I V A T I N G P A N E L I S T S
P a n e l i s t s w h o a r e i n t e r e s t e d i n s e n s o r y e v a l u a t i o n , t h e p r o d u c t s
u n d e r e v a l u a t i o n a n d t h e o u t c o m e o f t h e s t u d y w i l l b e m o t i v a t e d t o
p e r f o r m b e t t e r t h a n u n i n t e r e s t e d p a n e l i s t s . I t i s i m p o r t a n t t o
m a i n t a i n t h i s i n t e r e s t a n d m o t i v a t i o n t h r o u g h o u t t h e s t u d y t o e n s u r e
a n d e n c o u r a g e o p t i m u m p a n e l i s t p e r f o r m a n c e .
F e e d b a c k a b o u t t h e i r p e r f o r m a n c e f r o m d a y t o d a y w i l l p r o v i d e
m u c h o f t h e m o t i v a t i o n f o r p a n e l i s t s , p a r t i c u l a r l y d u r i n g t r a i n i n g . I f
t h e r e i s n o t s u f f i c i e n t t i m e d u r i n g t h e p a n e l s e s s i o n s t o d i s c u s s t h e
p r e v i o u s d a y ' s r e s u l t s , t h e d a t a c a n b e p o s t e d o n a w a l l c h a r t f o r t h e
p a n e l i s t s t o s e e a t t h e i r c o n v e n i e n c e . H o w e v e r , i t i s m o r e b e n e f i c i a l
i f t h e p a n e l l e a d e r p e r s o n a l l y d i s c u s s e s t h e r e s u l t s w i t h t h e
p a n e l i s t s , i n d i v i d u a l l y o r a s a g r o u p . P o s t e d r e s u l t s c a n b e m i s s e d
o r m i s i n t e r p r e t e d b y t h e p a n e l i s t s . I n a d d i t i o n , a s m a l l t r e a t o r
r e f r e s h m e n t ( i . e . c a n d i e s , c h o c o l a t e s , c o o k i e s , f r u i t , n u t s , j u i c e ,
c h e e s e , c r a c k e r s ) a t t h e e n d o f e a c h d a y ' s p a n e l s e s s i o n i s
c o m m o n l y u s e d a s a r e w a r d . A t t h e e n d o f a l o n g s e r i e s o f p a n e l s a
l a r g e r r e w a r d s u c h a s a s m a l l p a r t y , l u n c h e o n o r s m a l l g i f t w i l l l e t
e a c h p a n e l i s t k n o w t h a t t h e i r c o n t r i b u t i o n t o t h e s t u d y h a s b e e n
a p p r e c i a t e d .
3 5
+ C h a p t e r 4
C o n d u c t i n g S e n s o r y T e s t s
S e n s o r y t e s t s w i l l p r o d u c e r e l i a b l e r e s u l t s o n l y w h e n g o o d
e x p e r i m e n t a l c o n t r o l i s e x e r c i s e d a t e a c h s t e p o f t h e t e s t i n g p r o c e s s .
C a r e f u l p l a n n i n g a n d t h o r o u g h s t a n d a r d i z a t i o n o f a l l p r o c e d u r e s
s h o u l d b e d o n e b e f o r e t h e a c t u a l t e s t i n g b e g i n s . P a r t i c u l a r a t t e n t i o n
s h o u l d b e g i v e n t o t e c h n i q u e s u s e d f o r s a m p l i n g f o o d m a t e r i a l s , f o r
p r e p a r i n g a n d p r e s e n t i n g s a m p l e s t o t h e p a n e l , a n d f o r u s i n g
r e f e r e n c e a n d c o n t r o l s a m p l e s . T h e s e t e c h n i q u e s a r e d i s c u s s e d i n
t h e f o l l o w i n g s e c t i o n s o f t h e m a n u a l .
4 . 1 S A M P L I N G F O O D F O R S E N S O R Y T E S T I N G
A l l f o o d s p r e s e n t e d t o t h e p a n e l i s t s f o r t e s t i n g m u s t , o f c o u r s e ,
b e s a f e t o e a t . P a n e l i s t s s h o u l d n o t b e a s k e d t o t a s t e o r e a t a n y f o o d
t h a t h a s b e c o m e m o l d y , o r h a s b e e n t r e a t e d i n a w a y t h a t m i g h t
c a u s e m i c r o b i o l o g i c a l o r c h e m i c a l c o n t a m i n a t i o n . I f a f o o d , o r a n
3 8
i n g r e d i e n t o f t h e f o o d , h a s b e e n t r e a t e d o r s t o r e d i n a w a y t h a t m a y
m a k e i t u n s a f e t o e a t , t h e n o n l y t h e o d o u r a n d a p p e a r a n c e a t t r i b u t e s
o f t h e f o o d c a n b e e v a l u a t e d .
W h e n b a t c h e s o f f o o d a r e b e i n g s a m p l e d f o r s e n s o r y t e s t i n g
s a m p l e s t a k e n s h o u l d b e r e p r e s e n t a t i v e o f t h e t o t a l b a t c h . I f t h e
p o r t i o n s u l t i m a t e l y s e r v e d t o t h e p a n e l i s t s a r e n o t r e p r e s e n t a t i v e o f
t h e f o o d a s a w h o l e , r e s u l t s w i l l n o t b e v a l i d . F o r a c o m m o d i t y
s u c h a s b e a n s , t h e l o t t o b e t e s t e d s h o u l d f i r s t b e t h o r o u g h l y m i x e d ,
t h e n d i v i d e d i n t o f o u r p a r t s a n d a s a m p l e f r o m e a c h p a r t e x t r a c t e d .
T h e s e f o u r s a m p l e s s h o u l d b e r e c o m b i n e d t o f o r m t h e t e s t s a m p l e .
T h e s i z e o f t h e t e s t s a m p l e s h o u l d b e c a l c u l a t e d b e f o r e h a n d , b a s e d
o n t h e n u m b e r o f p o r t i o n s t h a t w i l l b e r e q u i r e d f o r t h e p a n e l .
4 . 2 P R E P A R I N G S A M P L E S F O R
S E N S O R Y T E S T I N G
S a m p l e s f o r s e n s o r y c o m p a r i s o n s h o u l d a l l b e p r e p a r e d b y a
s t a n d a r d i z e d m e t h o d t o e l i m i n a t e t h e p o s s i b i l i t y o f p r e p a r a t i o n
e f f e c t s ( u n l e s s , o f c o u r s e , p r e p a r a t i o n m e t h o d i s a v a r i a b l e o f
i n t e r e s t ) . P r e p a r a t i o n s t e p s s h o u l d b e s t a n d a r d i z e d d u r i n g
p r e l i m i n a r y t e s t i n g a n d c l e a r l y d o c u m e n t e d b e f o r e s e n s o r y t e s t i n g
i s b e g u n , t o e n s u r e u n i f o r m i t y d u r i n g e a c h t e s t i n g p e r i o d . W h e n
d i f f e r e n t t y p e s o f b e a n s , f o r e x a m p l e , a r e t o b e c o o k e d a n d
p r e p a r e d f o r s e n s o r y a n a l y s i s , f a c t o r s t h a t n e e d t o b e c o n t r o l l e d
i n c l u d e t h e r a t i o o f b e a n s t o s o a k i n g a n d c o o k i n g w a t e r , s o a k i n g
t i m e , s i z e a n d d i m e n s i o n s o f t h e c o o k i n g c o n t a i n e r , c o o k i n g r a t e
a n d t i m e , h o l d i n g t i m e b e f o r e s e r v i n g , a n d s e r v i n g t e m p e r a t u r e . I f
s a m p l e s r e q u i r e d i f f e r e n t c o o k i n g t i m e s , s t a r t i n g t i m e s c a n b e
s t a g g e r e d s o t h a t a l l s a m p l e s f i n i s h c o o k i n g t o g e t h e r . I f t h i s i s n o t
3 9
d o n e , v a r i a t i o n s i n h o l d i n g t i m e m a y i n f l u e n c e s e n s o r y a s s e s s m e n t .
H o l d i n g s a m p l e s f o r a n e x t e n d e d p e r i o d o f t i m e c a n d r a s t i c a l l y
a l t e r t h e i r a p p e a r a n c e , f l a v o u r a n d t e x t u r e .
4 . 3 P R E S E N T I N G S A M P L E S F O R
S E N S O R Y T E S T I N G
M e t h o d s o f s a m p l e p r e s e n t a t i o n s h o u l d a l s o b e s t a n d a r d i z e d . I t
i s i m p o r t a n t t h a t e a c h p a n e l i s t r e c e i v e a r e p r e s e n t a t i v e p o r t i o n o f
t h e t e s t s a m p l e . T o r t i l l a s , f o r i n s t a n c e , c a n b e c u t i n t o w e d g e s o f
u n i f o r m s i z e s o t h a t e a c h p a n e l i s t w i l l r e c e i v e p a r t o f b o t h t h e e d g e
a n d t h e c e n t r e o f a t o r t i l l a . F l u i d p r o d u c t s s h o u l d b e s t i r r e d d u r i n g
p o r t i o n i n g t o m a i n t a i n u n i f o r m c o n s i s t e n c y w i t h i n t h e p o r t i o n s .
T h e e n d c r u s t s o f b r e a d s o r b a k e d g o o d s a n d t h e o u t e r s u r f a c e o f
m e a t s a m p l e s m a y h a v e t o b e d i s c a r d e d s o t h a t e a c h p a n e l i s t
r e c e i v e s a s i m i l a r p o r t i o n . I f b r e a d c r u s t s a r e l e f t o n s a m p l e s , e a c h
p a n e l i s t s h o u l d r e c e i v e a s a m p l e w i t h a s i m i l a r c r u s t c o v e r i n g .
P o r t i o n s s h o u l d a l l b e o f t h e s a m e s i z e . W h e n f o o d p r o d u c t s c o n s i s t
o f a n u m b e r o f s m a l l p i e c e s w h i c h m a y d i f f e r f r o m p i e c e t o p i e c e ,
p a n e l i s t s s h o u l d r e c e i v e a p o r t i o n l a r g e e n o u g h t h a t t h e y c a n
e v a l u a t e a n u m b e r o f p i e c e s f o r e a c h c h a r a c t e r i s t i c . W h e n b e a n s ,
f o r e x a m p l e , a r e b e i n g t e s t e d f o r f i r m n e s s , p a n e l i s t s s h o u l d t e s t 3 - 4
b e a n s b e f o r e r e c o r d i n g t h e i r s c o r e f o r t h e f i r m n e s s o f t h e s a m p l e .
I n g e n e r a l , a t l e a s t 3 0 g r a m s ( 1 o z ) o f a s o l i d f o o d o r 1 5 m L ( 0 . 5
o z ) o f a b e v e r a g e s h o u l d b e s e r v e d ( A S T M S T P 4 3 4 , 1 9 6 8 ) .
S a m p l e s s h o u l d a l l b e p r e s e n t e d a t t h e s a m e t e m p e r a t u r e , a n d
t h i s s h o u l d b e t h e t e m p e r a t u r e a t w h i c h t h e f o o d i s u s u a l l y
c o n s u m e d . M i l k s h o u l d b e s e r v e d a t r e f r i g e r a t o r t e m p e r a t u r e , b u t
b r e a d o r c a k e a t r o o m t e m p e r a t u r e . S o m e f o o d s r e q u i r e h e a t i n g t o
4 0



























4 . 4 U S I N G R E F E R E N C E S A M P L E S
R e f e r e n c e s a r e o f t e n u s e d i n s e n s o r y t e s t i n g . T h e s e c a n b e
d e s i g n a t e d r e f e r e n c e s a m p l e s , a g a i n s t w h i c h a l l o t h e r s a m p l e s a r e
t o b e c o m p a r e d ; o r t h e y c a n b e i d e n t i f i e d s a m p l e s u s e d t o m a r k t h e
p o i n t s o n a m e a s u r e m e n t s c a l e ; o r t h e y c a n b e h i d d e n r e f e r e n c e s ,
c o d e d a n d s e r v e d t o p a n e l i s t s w i t h t h e e x p e r i m e n t a l s a m p l e s i n
o r d e r t o c h e c k p a n e l i s t p e r f o r m a n c e .
W h e n s e n s o r y t e s t s a r e c o n d u c t e d o v e r s e v e r a l w e e k s o r
m o n t h s , o r w h e n t h e t e s t i n g m u s t b e d o n e a t w i d e l y s p a c e d
i n t e r v a l s a s i s t h e c a s e w h e n s t o r a g e e f f e c t s a r e b e i n g s t u d i e d , t h e n
i t i s a l m o s t e s s e n t i a l t o u s e a d e s i g n a t e d r e f e r e n c e . T h i s c a n b e
s e l e c t e d f r o m a m o n g t h e a c t u a l f o o d s o r s a m p l e s t h a t a r e t o b e
t e s t e d , o r c a n b e a f o o d p r o d u c t o f a s i m i l i a r t y p e . W h e n
c o n d u c t i n g a s t o r a g e s t u d y t h e d e s i g n a t e d r e f e r e n c e m a y b e t h e
c o n t r o l ( a s a m p l e s t o r e d u n d e r s t a n d a r d c o n d i t i o n s ) , o r m a y b e a
f r e s h s a m p l e . I f t h e p u r p o s e o f t h e r e s e a r c h i s t o p r o d u c e a p r o d u c t
t h a t i s a n i m p r o v e m e n t o n a m a r k e t e d p r o d u c t , t h e n t h e p r o d u c t
b e i n g m a r k e t e d c a n s e r v e a s t h e r e f e r e n c e . W h e n t h e t e s t i n g i s d o n e
b y a t r a i n e d p a n e l , t h i s p a n e l s h o u l d e v a l u a t e t h e r e f e r e n c e b e f o r e
t h e a c t u a l t e s t i n g i s b e g u n . S c o r e s w h i c h t h i s p a n e l a g r e e s a r e
a p p r o p r i a t e , f o r e a c h c h a r a c t e r i s t i c t o b e m e a s u r e d , c a n t h e n b e
p l a c e d o n t h e b a l l o t t o b e u s e d d u r i n g t h e e x p e r i m e n t . P r o v i d i n g a
s c o r e d , d e s i g n a t e d r e f e r e n c e t o t h e p a n e l i s t s a t e a c h p a n e l s e s s i o n
s h o u l d h e l p t h e m s c o r e t h e e x p e r i m e n t a l s a m p l e s m o r e
c o n s i s t e n t l y .
R e f e r e n c e s a m p l e s w h i c h a r e u s e d t o m a r k p o i n t s o n a s c a l e , o r
t o c a l i b r a t e t h e s c a l e , a r e o f t e n c a l l e d s t a n d a r d s . T h e s e r e f e r e n c e s
m a y b e o f f o o d s i m i l a r t o t h a t b e i n g t e s t e d , o r m a y b e t o t a l l y
d i f f e r e n t . I f a n u m b e r o f p r o d u c t c h a r a c t e r i s t i c s a r e b e i n g
4 1
4 2

























+ C h a p t e r 5
R e d u c i n g P a n e l R e s p o n s e E r r o r
D u r i n g s e n s o r y t e s t i n g p a n e l i s t s ' r e s p o n s e s c a n b e i n f l u e n c e d b y
p s y c h o l o g i c a l f a c t o r s . I f t h e i n f l u e n c e o f p s y c h o l o g i c a l f a c t o r s i s
n o t t a k e n i n t o a c c o u n t w h e n a n e x p e r i m e n t i s p l a n n e d a n d
c o n d u c t e d , t h e e r r o r i n t r o d u c e d c a n l e a d t o f a l s e r e s u l t s .
P s y c h o l o g i c a l f a c t o r s c a n b e r e s p o n s i b l e f o r a n u m b e r o f d i f f e r e n t
t y p e s o f e r r o r . E r r o r s t h a t r e s u l t f r o m p a n e l i s t s ' e x p e c t a t i o n s , f r o m
s a m p l e p o s i t i o n s , a n d f r o m s t i m u l u s a n d c o n t r a s t e f f e c t s w i l l b e
d i s c u s s e d i n t h e f o l l o w i n g s e c t i o n s .
5 . 1 E X P E C T A T I O N E R R O R S
E x p e c t a t i o n e r r o r s c a n o c c u r w h e n p a n e l i s t s a r e g i v e n t o o m u c h
i n f o r m a t i o n a b o u t t h e n a t u r e o f t h e e x p e r i m e n t o r t h e t y p e s o f
s a m p l e s b e f o r e t e s t s a r e c o n d u c t e d . I f t h e p a n e l i s t s e x p e c t t o f i n d
c e r t a i n d i f f e r e n c e s a m o n g t h e s a m p l e s , t h e y w i l l t r y t o f i n d t h e s e
4 4


























4 5
5 . 3 S T I M U L U S E R R O R S
S t i m u l u s e r r o r s o c c u r w h e n p a n e l i s t s a r e i n f l u e n c e d b y
i r r e l e v a n t s a m p l e d i f f e r e n c e s s u c h a s d i f f e r e n c e s i n t h e s i z e , s h a p e
o r c o l o u r o f f o o d s a m p l e s p r e s e n t e d . G r e a t e r c o l o u r i n t e n s i t y f o r
e x a m p l e , m a y l e a d p a n e l i s t s t o s c o r e a f o o d h i g h e r f o r f l a v o u r
i n t e n s i t y , e v e n w h e n t h e s e c h a r a c t e r i s t i c s a r e u n r e l a t e d t o e a c h
o t h e r . T o m i n i m i z e s t i m u l u s e r r o r s , t h e s a m p l e s p r e s e n t e d s h o u l d
b e a s s i m i l a r a s p o s s i b l e i n a l l c h a r a c t e r i s t i c s b u t t h e o n e ( s ) b e i n g
e v a l u a t e d . C o l o u r d i f f e r e n c e s c a n b e m a s k e d b y u s i n g c o l o u r e d
l i g h t s i n t h e p a n e l b o o t h s , a s m e n t i o n e d e a r l i e r . A l t e r n a t e l y , d a r k
g l a s s e s o r b l i n d f o l d s m a y b e u s e d i f a p p r o p r i a t e . E v a l u a t i n g e a c h
I
c h a r a c t e r i s t i c s e p a r a t e l y , f o r a l l s a m p l e s , w i l l a l s o r e d u c e t h e e r r o r
d u e t o a s s o c i a t i o n o f c h a r a c t e r i s t i c s . W h e n e v a l u a t i n g t h e c o l o u r ,
t e x t u r e a n d f l a v o u r o f t h r e e p u d d i n g s a m p l e s , t h e s t i m u l u s e r r o r i s
r e d u c e d i f t h e c o l o u r o f a l l t h r e e s a m p l e s i s e v a l u a t e d , t h e n t h e
t e x t u r e o f a l l t h r e e s a m p l e s , a n d f i n a l l y t h e f l a v o u r o f a l l t h r e e
s a m p l e s , r a t h e r t h a n e v a l u a t i n g t h e c o l o u r , t e x t u r e a n d f l a v o u r o f
t h e f i r s t s a m p l e , t h e n t h e c o l o u r , t e x t u r e a n d f l a v o u r o f t h e s e c o n d
s a m p l e a n d t h e n t h e c o l o u r , t e x t u r e a n d f l a v o u r o f t h e t h i r d s a m p l e .
5 . 4 C O N T R A S T E R R O R S
C o n t r a s t e f f e c t s b e t w e e n s a m p l e s c a n a l s o b i a s t e s t r e s u l t s .
P a n e l i s t s w h o e v a l u a t e a s a m p l e t h a t i s v e r y a c c e p t a b l e b e f o r e a
l e s s a c c e p t a b l e s a m p l e m a y s c o r e t h e a c c e p t a b i l i t y o f t h e s e c o n d
s a m p l e l o w e r t h a n t h e y w o u l d i f a l e s s a c c e p t a b l e s a m p l e h a d b e e n
e v a l u a t e d b e f o r e i t . S i m i l a r l y , e v a l u a t i n g a n u n a c c e p t a b l e s a m p l e
d i r e c t l y b e f o r e a n a c c e p t a b l e s a m p l e m a y r e s u l t i n a m p l i f y i n g t h e
a c c e p t a b i l i t y s c o r e g i v e n t o t h e a c c e p t a b l e s a m p l e . W h e n p a n e l i s t s
4 6
e v a l u a t e a m i l d l y f l a v o u r e d s a m p l e a f t e r o n e w i t h a n i n t e n s e
f l a v o u r , t h e i r r e s p o n s e w i l l b e i n f l u e n c e d b y t h e c o n t r a s t b e t w e e n
t h e t w o s a m p l e s . I f a l l p a n e l i s t s r e c e i v e s a m p l e s i n t h e s a m e o r d e r ,
c o n t r a s t e f f e c t s c a n h a v e a m a r k e d i n f l u e n c e o n p a n e l d a t a .
C o n t r a s t e f f e c t s c a n n o t b e e l i m i n a t e d d u r i n g s e n s o r y t e s t i n g , b u t i f
e a c h p a n e l i s t r e c e i v e s s a m p l e s i n a d i f f e r e n t o r d e r , c o n t r a s t e f f e c t s
c a n b e b a l a n c e d f o r t h e p a n e l a s a w h o l e . S a m p l e s c a n b e p r e s e n t e d
r a n d o m l y t o e a c h p a n e l i s t o r a l l p o s s i b l e o r d e r s o f t h e s a m p l e s e t
c a n b e p r e s e n t e d . F o r e x a m p l e , w h e n f o u r s a m p l e s a r e p r e s e n t e d t o
e a c h p a n e l i s t a t o n e t i m e , f o u r s a m p l e s c a n b e a r r a n g e d a n d
p r e s e n t e d i n 2 4 c o m b i n a t i o n s . T o e n s u r e t h a t a p a n e l i s t e v a l u a t e s
t h e s a m p l e s i n t h e o r d e r s e l e c t e d f o r h i m / h e r , c o d e n u m b e r s s h o u l d
b e w r i t t e n i n t h e a p p r o p r i a t e o r d e r o n t h e b a l l o t a n d t h e p a n e l i s t
i n s t r u c t e d t o e v a l u a t e s a m p l e s i n t h e o r d e r i n d i c a t e d o n t h e b a l l o t .
I f p o s s i b l e , t h e c o d e d s a m p l e s o n t h e t r a y s h o u l d a l s o b e a r r a n g e d
f o r p r e s e n t a t i o n t o e a c h p a n e l i s t i n t h e a p p r o p r i a t e o r d e r , s o t h a t t h e
e v a l u a t i o n c a n b e d o n e f r o m l e f t t o r i g h t .
+ C h a p t e r 6
C o l l e c t i n g A n d A n a l y z i n g S e n s o r y D a t a
S e n s o r y d a t a c a n b e i n t h e f o r m o f f r e q u e n c i e s , r a n k i n g s , o r
q u a n t i t a t i v e n u m e r i c a l d a t a . T h e f o r m o f t h e d a t a d e p e n d s o n t h e
t y p e o f m e a s u r e m e n t s c a l e u s e d f o r s e n s o r y t e s t i n g . T o a n a l y z e t h e
d a t a s t a t i s t i c a l l y , m e t h o d s a p p r o p r i a t e f o r f r e q u e n c y , r a n k e d o r
q u a n t i t a t i v e d a t a m u s t b e a p p l i e d . T y p e s o f s c a l e s a n d t h e s t a t i s t i c a l
m e t h o d s a p p r o p r i a t e f o r a n a l y s i s o f t h e d a t a o b t a i n e d w i l l b e
d e s c r i b e d b r i e f l y i n t h e f o l l o w i n g s e c t i o n .
6 . 1 M E A S U R E M E N T S C A L E S
M e a s u r e m e n t s c a l e s a r c u s e d t o q u a n t i f y s e n s o r y i n f o r m a t i o n .
S c a l e s c a n b e c l a s s i f i e d a c c o r d i n g t o t h e i r t y p e a s n o m i n a l , o r d i n a l ,
i n t e r v a l o r r a t i o s c a l e s . B e c a u s e t h e t y p e o f s c a l e c h o s e n w i l l a f f e c t
t h e t y p e o f s t a t i s t i c a l a n a l y s i s d o n e , t h e m e a s u r e m e n t s c a l e s h o u l d
b e c h o s e n o n l y a f t e r c a r e f u l c o n s i d e r a t i o n o f t h e o b j e c t i v e s o f t h e
s t u d y .
4 8
6 . 1 . 1 N o m i n a l S c a l e s
N o m i n a l s c a l e s a r e t h e s i m p l e s t o f a l l s c a l e s . I n t h e s e t y p e s o f
s c a l e s , n u m b e r s r e p r e s e n t l a b e l s o r c a t e g o r y n a m e s a n d h a v e n o
r e a l n u m e r i c a l v a l u e . F o r e x a m p l e , p a n e l i s t s c a n u s e a n o m i n a l
s c a l e t o i d e n t i f y o d o u r c h a r a c t e r i s t i c s o f t o m a t o s a u c e s w h e r e 1 =
f r u i t y , 2 = s w e e t , 3 = s p i c y , a n d 4 = p u n g e n t . P a n e l i s t s r e c o r d t h e
n u m b e r o f e a c h o d o u r c h a r a c t e r i s t i c p r e s e n t i n e a c h o f t h e s a m p l e s
a n d t h e p a n e l l e a d e r t a b u l a t e s t h e f r e q u e n c y o f t h e a p p e a r a n c e o f
e a c h c h a r a c t e r i s t i c
f o r e a c h s a m p l e . T h e p r o d u c t s
a r e t h e n
c o m p a r e d b y o b s e r v i n g t h e f r e q u e n c y o f e a c h o d o u r c h a r a c t e r i s t i c
i n e a c h s a m p l e .
N a m e s o n l y , r a t h e r t h a n n u m b e r s r e p r e s e n t i n g n a m e s , c a n b e
u s e d i n a n o m i n a l s c a l e . C l a s s i f i c a t i o n s o r c a t e g o r i e s c a n b e g i v e n
n a m e s a n d t h e f r e q u e n c i e s w i t h i n e a c h
c l a s s i f i c a t i o n t a b u l a t e d a n d
c o m p a r e d . F o o d s a m p l e s c o u l d b e c l a s s i f i e d a s a c c e p t a b l e o r
u n a c c e p t a b l e a n d t h e n u m b e r o f p a n e l i s t s p l a c i n g a s a m p l e i n t h e
u n a c c e p t a b l e c a t e g o r y c o m p a r e d t o t h e n u m b e r o f p a n e l i s t s
c o n s i d e r i n g i t a c c e p t a b l e .
6 . 1 . 2 O r d i n a l S c a l e s
I n o r d i n a l s c a l e s t h e n u m b e r s r e p r e s e n t r a n k s . S a m p l e s a r e
r a n k e d i n o r d e r o f m a g n i t u d e . R a n k s d o n o t i n d i c a t e t h e s i z e o f t h e
d i f f e r e n c e b e t w e e n s a m p l e s . R a n k i n g
i s u s e d f o r b o t h
c o n s u m e r - o r i e n t e d a n d p r o d u c t - o r i e n t e d t e s t i n g .
I n c o n s u m e r
p a n e l s , s a m p l e s a r e
r a n k e d o n t h e b a s i s o f p r e f e r e n c e o r
a c c e p t a b i l i t y . B i s c u i t s m a d e f r o m t h r e e d i f f e r e n t f o r m u l a t i o n s
c o u l d b e r a n k e d f o r p r e f e r e n c e w i t h t h e s a m p l e r a n k e d 1 a s t h e
m o s t p r e f e r r e d a n d t h e s a m p l e r a n k e d 3 a s t h e l e a s t p r e f e r r e d .
I n
4 9
p r o d u c t - o r i e n t e d t e s t i n g t h e i n t e n s i t i e s o f a p a r t i c u l a r p r o d u c t
c h a r a c t e r i s t i c a r e r a n k e d . A s e r i e s o f f i v e c h i c k e n s o u p s a m p l e s
c o u l d b e r a n k e d f o r s a l t i n e s s , w i t h t h e s a m p l e r a n k e d 1 t h e m o s t
s a l t y s o u p a n d t h e s a m p l e r a n k e d 5 t h e l e a s t s a l t y s o u p .
6 . 1 3 I n t e r v a l S c a l e s
I n t e r v a l s c a l e s a l l o w s a m p l e s t o b e o r d e r e d a c c o r d i n g t o t h e
m a g n i t u d e o f a s i n g l e p r o d u c t c h a r a c t e r i s t i c o r a c c o r d i n g t o
a c c e p t a b i l i t y o r p r e f e r e n c e . T h e d e g r e e o f d i f f e r e n c e b e t w e e n
s a m p l e s i s i n d i c a t e d w h e n i n t e r v a l s c a l e s a r e u s e d . I f c h i c k e n s o u p s
w e r e e v a l u a t e d u s i n g a n i n t e r v a l s c a l e , n o t o n l y w o u l d t h e m o s t
s a l t y s a m p l e b e i d e n t i f i e d , b u t t h e n u m b e r o f i n t e r v a l s s e p a r a t i n g
t h e m o s t s a l t y s o u p f r o m t h e l e a s t s a l t y s o u p w o u l d b e k n o w n . T o
p r o v i d e a m e a s u r e m e n t o f t h e d e g r e e o f d i f f e r e n c e b e t w e e n
s a m p l e s t h e l e n g t h o f t h e i n t e r v a l s o n t h e s c a l e m u s t b e e q u a l .
C a t e g o r y s c a l e s a n d l i n e s c a l e s ( F i g u r e 7 ) a r e t w o t y p e s o f
s e n s o r y s c a l e s , c o m m o n l y t r e a t e d a s i n t e r v a l s c a l e s . A c a t e g o r y
s c a l e i s o n e t h a t i s d i v i d e d i n t o i n t e r v a l s o r c a t e g o r i e s o f e q u a l s i z e .
T h e c a t e g o r i e s a r e l a b e l l e d w i t h d e s c r i p t i v e t e r m s a n d / o r n u m b e r s .
A l l t h e c a t e g o r i e s m a y b e l a b e l l e d o r o n l y a f e w , s u c h a s t h e
e n d p o i n t s a n d / o r m i d p o i n t o f t h e s c a l e . T h e t o t a l n u m b e r o f
c a t e g o r i e s u s e d v a r i e s , h o w e v e r , 5 - 9 c a t e g o r i e s a r e c o m m o n .
P i c t u r e s o r d i a g r a m s i l l u s t r a t i n g t h e c a t e g o r i e s o n t h e s c a l e a r e
p a r t i c u l a r l y u s e f u l i f p a n e l i s t s h a v e t r o u b l e r e a d i n g o r
u n d e r s t a n d i n g t h e l a n g u a g e o f t h e s c a l e ( F i g u r e 7 ) . L i n e s c a l e s ,
w i t h e n d p o i n t s a n d / o r m i d p o i n t o f t h e s c a l e l a b e l l e d , a r e c o m m o n l y
u s e d t o q u a n t i f y c h a r a c t e r i s t i c s . T h e l e n g t h o f t h e l i n e s c a l e c a n
v a r y , b u t 1 5 c m i s o f t e n u s e d . P a n e l i s t s m a y n o t a l w a y s u s e
c a t e g o r y a n d l i n e s c a l e s a s e q u a l i n t e r v a l s c a l e s . T h i s i s p a r t i c u l a r l y
5 0
5 - P o i n t C a t e g o r y S c a l e f o r t h e I n t e n s i t y o f a
C h a r a c t e r i s t i c
C O D E
t r a c e
s l i g h t l y i n t e n s e
m o d e r a t e l y i n t e n s e
v e r y i n t e n s e
e x t r e m e l y i n t e n s e
S m i l e y S c a l e f o r D e g r e e o f L i k i n g
o 0
D i s l i k e
a l o t
H E L
D 0
F i g u r e 7
E x a m p l e s o f C o m m o n l y U s e d S e n s o r y S c a l e s
D i s l i k e N e i t h e r l i k e L i k e L i k e
a j U t e n o r d i s l i k e a l i t t l e a l o t
L i n e S c a l e f o r t h e I n t e n s i t y o f a C h a r a c t e r i s t i c
w e a k
s t r o n g
5 1
t r u e o f u n t r a i n e d c o n s u m e r p a n e l i s t s . W h e n i n d o u b t a b o u t t h e
e q u a l i t y o f s c a l e i n t e r v a l s , t h e p a n e l i s t s ' s c o r e s s h o u l d b e c o n v e r t e d
t o r a n k s a n d t h e c a t e g o r y o r l i n e s c a l e s t r e a t e d a s o r d i n a l s c a l e s .
E x a m p l e s i n t h i s m a n u a l w i l l , h o w e v e r , b e b a s e d o n t h e a s s u m p t i o n
t h a t e q u a l i n t e r v a l s i z e s d o e x i s t b e t w e e n c a t e g o r i e s a n d a l o n g t h e
l i n e s c a l e s , a n d b o t h s c a l e s w i l l b e c o n s i d e r e d a n d a n a l y z e d a s
i n t e r v a l s c a l e s .
I n t e r v a l s c a l e s a r e u s e d i n b o t h c o n s u m e r - o r i e n t e d a n d
p r o d u c t - o r i e n t e d t e s t s . T h e d e g r e e o f l i k i n g , t h e l e v e l o f p r e f e r e n c e
o r t h e a c c e p t a b i l i t y o f t h e p r o d u c t s a r e s c o r e d i n c o n s u m e r t e s t s .
T h e i n t e n s i t y o f p r o d u c t a t t r i b u t e s a r e s c o r e d i n p r o d u c t - o r i e n t e d
t e s t i n g .
6 . 1 . 4 R a t i o S c a l e s
R a t i o s c a l e s a r e s i m i l a r t o i n t e r v a l s c a l e s , e x c e p t t h a t a t r u e z e r o
e x i s t s . O n a n i n t e r v a l s c a l e t h e z e r o e n d p o i n t i s c h o s e n a r b i t r a r i l y
a n d d o e s n o t n e c e s s a r i l y i n d i c a t e t h e a b s e n c e o f t h e c h a r a c t e r i s t i c
b e i n g m e a s u r e d . O n a r a t i o s c a l e t h e z e r o p o i n t i n d i c a t e s t h e
c o m p l e t e a b s e n c e o f t h e c h a r a c t e r i s t i c . I f a r a t i o s c a l e w e r e u s e d t o
m e a s u r e t h e f i v e c h i c k e n s o u p s a m p l e s , t h e n u m b e r o f s a l t i n e s s
i n t e r v a l s s e p a r a t i n g t h e s a m p l e s w o u l d i n d i c a t e h o w m a n y t i m e s
m o r e s a l t y o n e s a m p l e w a s t h a n a n o t h e r . I f t w o o f t h e s a m p l e s , A
a n d B , w e r e g i v e n s c o r e s o f 3 a n d 6 r e s p e c t i v e l y f o r s a l t y f l a v o u r
i n t e n s i t y , o n a r a t i o s c a l e , s a m p l e B w o u l d b e t w i c e a s s a l t y a s
s a m p l e A . R a t i o s c a l e s a r e s e l d o m u s e d f o r c o n s u m e r - o r i e n t e d
t e s t i n g , b e c a u s e t r a i n i n g i s r e q u i r e d t o u s e r a t i o s s u c c e s s f u l l y .
5 2
6 . 2 S T A T I S T I C A L A N A L Y S I S
S e n s o r y r e s u l t s a r e a n a l y z e d s t a t i s t i c a l l y i n o r d e r t o a l l o w t h e
e x p e r i m e n t e r t o m a k e i n f e r e n c e s o r d r a w c o n c l u s i o n s a b o u t
p o p u l a t i o n s o f p e o p l e o r f o o d p r o d u c t s o n t h e b a s i s o f a s a m p l e
d r a w n f r o m t h e s e p o p u l a t i o n s . P r i o r t o c o n d u c t i n g t h e e x p e r i m e n t ,
a s s u m p t i o n s o r i n f o r m e d g u e s s e s , c a n b e m a d e a b o u t t h e
p o p u l a t i o n s a n d a b o u t t h e e x p e c t e d r e s u l t s o f t h e e x p e r i m e n t .
T h e s e a s s u m p t i o n s a r e c a l l e d h y p o t h e s e s , a n d c a n b e s t a t e d i n t w o
w a y s . T h e a s s u m p t i o n t h a t n o d i f f e r e n c e e x i s t s b e t w e e n t w o
s a m p l e s , o r a m o n g s e v e r a l s a m p l e s , i s t e r m e d t h e n u l l h y p o t h e s i s .
T h i s i s a l s o t h e s t a t i s t i c a l h y p o t h e s i s w h i c h , b a s e d o n s t a t i s t i c a l
a n a l y s i s o f e x p e r i m e n t a l r e s u l t s , i s a c c e p t e d o r r e j e c t e d . T h e o t h e r
a s s u m p t i o n t h a t c a n b e m a d e i s t h a t d i f f e r e n c e s d o e x i s t b e t w e e n o r
a m o n g s a m p l e s . T h i s i s t h e a l t e r n a t e h y p o t h e s i s , o r w h a t i s o f t e n
t e r m e d t h e r e s e a r c h h y p o t h e s i s . F o r e x a m p l e , i n a n e x p e r i m e n t t o
d e t e r m i n e w h e t h e r a d d i n g s a l t t o c o o k i n g w a t e r p r o d u c e s s o f t e r
b e a n s , t h e n u l l h y p o t h e s i s w o u l d b e t h a t t h e r e i s n o d i f f e r e n c e i n
s o f t n e s s b e t w e e n b e a n s c o o k e d w i t h o r w i t h o u t a d d e d s a l t . T h e
a l t e r n a t e ( o r r e s e a r c h ) h y p o t h e s i s m i g h t s t a t e t h a t t h e b e a n s c o o k e d
w i t h s a l t a r e s o f t e r t h a n t h o s e w i t h o u t s a l t . U s i n g t h e a p p r o p r i a t e
s t a t i s t i c a l t e s t , i t i s p o s s i b l e t o d e t e r m i n e w h e t h e r t h e n u l l
h y p o t h e s i s s h o u l d b e a c c e p t e d o r r e j e c t e d . I f i t i s a c c e p t e d , t h e n t h e
c o n c l u s i o n i s t h a t t h e r e i s n o d i f f e r e n c e i n s o f t n e s s b e t w e e n b e a n s
c o o k e d b y t h e t w o m e t h o d s a c c o r d i n g t o t h i s t e s t . I f i t i s r e j e c t e d ,
t h e n t h e c o n c l u s i o n i s t h a t t h e b e a n s c o o k e d w i t h s a l t a r e p r o b a b l y
s o f t e r .
R e s u l t s o f s t a t i s t i c a l t e s t s a r e e x p r e s s e d b y g i v i n g t h e p r o b a b l i t y
t h a t t h e o u t c o m e c o u l d b e d u e t o a c h a n c e o c c u r r e n c e r a t h e r t h a n
b e i n g a r e a l d i f f e r e n c e . I f a r e s u l t o c c u r s 5 t i m e s o u t o f 1 0 0 , d u e t o
c h a n c e , t h e n t h e p r o b a b i l i t y i s s a i d t o b e 0 . 0 5 . A s t a t i s t i c a l r e s u l t i s
u s u a l l y c o n s i d e r e d s i g n i f i c a n t o n l y i f i t s p r o b a b i l i t y i s 0 . 0 5 o r l e s s .
5 3
A t t h i s l e v e l o f p r o b a b i l i t y , t h e n u l l h y p o t h e s i s w i l l b e r e j e c t e d 5
t i m e s o u t o f 1 0 0 w h e n i n f a c t i t s h o u l d b e a c c e p t e d . W h e n i t i s
s t a t e d t h a t a d i f f e r e n c e i s s i g n i f i c a n t a t t h e 5 p e r c e n t l e v e l ( a
p r o b a b i l i t y o f 0 . 0 5 ) , i t m e a n s t h a t 9 5 t i m e s o u t o f 1 0 0 t h e
d i f f e r e n c e i s a r e a l o n e .
T h e l e v e l o f s i g n i f i c a n c e t o b e u s e d i n a s e n s o r y t e s t s h o u l d b e
d e c i d e d o n b e f o r e t h e t e s t i s c a r r i e d o u t . T h i s i s d o n e s o t h a t t h e
r e s u l t s o f t h e t e s t d o n o t i n f l u e n c e t h e d e c i s i o n . U s u a l l y l e v e l s o f
0 . 0 5 o r 0 . 0 1 a r e e m p l o y e d . U s i n g a l e v e l o f s i g n i f i c a n c e o f 0 . 0 5
r a t h e r t h a n 0 . 0 1 m a k e s i t m o r e l i k e l y t h a t a d i f f e r e n c e w i l l b e f o u n d
i f o n e e x i s t s ( L e . t h e n u l l h y p o t h e s i s i s m o r e l i k e l y t o b e r e j e c t e d ) .
H o w e v e r , i t a l s o m e a n s t h a t t h e r e i s a g r e a t e r p r o b a b i l i t y t h a t t h e
d i f f e r e n c e i d e n t i f i e d i s d u e t o c h a n c e .
I n c o n s u m e r - o r i e n t e d t e s t i n g i n f e r e n c e s c a n b e m a d e c o n c e r n i n g
a g r o u p , s u c h a s t h e i n t e n d e d u s e r s o f a f o o d p r o d u c t , i f t h e g r o u p
o r p o p u l a t i o n h a s b e e n s a m p l e d r a n d o m l y t o f o r m t h e c o n s u m e r
p a n e l . I n p r o d u c t - o r i e n t e d t e s t i n g , p a n e l i s t s a r e n o t s e l e c t e d
r a n d o m l y a n d n o i n f e r e n c e s c a n b e m a d e a b o u t a p a r t i c u l a r
p o p u l a t i o n o f c o n s u m e r s . I n f e r e n c e s c a n b e m a d e , h o w e v e r , a b o u t
t h e c h a r a c t e r i s t i c s o f t h e p o p u l a t i o n o f f o o d s b e i n g t e s t e d . I n b o t h
t y p e s o f t e s t i n g t h e f o o d s a m p l e s s h o u l d b e c h o s e n a t r a n d o m f r o m
t h e p r o d u c t l o t s o f i n t e r e s t , i f r e s u l t s a r e t o b e i n f e r r e d f o r t h e
p r o d u c t a s a w h o l e . W h e n s a m p l i n g c a n n o t b e d o n e o n a r a n d o m
b a s i s , c a r e m u s t b e t a k e n i n g e n e r a l i z i n g t h e c o n c l u s i o n o f t h e t e s t
t o t h e w i d e r g r o u p o r p o p u l a t i o n .
R a n d o m s a m p l i n g o f a p o p u l a t i o n r e q u i r e s t h a t e v e r y u n i t o f t h e
p o p u l a t i o n h a s a n e q u a l c h a n c e o f b e i n g s e l e c t e d . O b t a i n i n g a t r u l y
r a n d o m s a m p l e o f a f o o d p r o d u c t i s s e l d o m p o s s i b l e . H o w e v e r , i t i s
i m p o r t a n t t h a t t h e s a m p l e s t o h e t e s t e d a r e a s r e p r e s e n t a t i v e o f t h e
o r i g i n a l b a t c h o f f o o d a s p o s s i b l e .
5 4
A s a m p l e l o t l a r g e e n o u g h t o p r o v i d e f o r a l l c o m p o n e n t s o f t h e
s t u d y s h o u l d b e g a t h e r e d i n i t i a l l y . S u b s a m p l e s f r o m t h i s l o t s h o u l d
b e a s s i g n e d r a n d o m l y t o e a c h e x p e r i m e n t a l t r e a t m e n t o r
r e p l i c a t i o n
o r b l o c k . A t e a c h s t a g e o f t h e p r o c e s s ,
s u b s a m p l e s o r p o r t i o n s a r e
r a n d o m l y c h o s e n .
6 . 3
S T A T I S T I C A L T E S T S
S t a t i s t i c a l t e s t s a r e u s e d t o a n a l y z e d a t a r e s u l t i n g f r o m s e n s o r y
s t u d i e s . S t a t i s t i c a l a n a l y s e s a r e u s e d f o r t h e f o l l o w i n g p u r p o s e s :
t o t e s t h y p o t h e s e s .
t o f i n d o u t i f s i g n i f i c a n t d i f f e r e n c e s e x i s t a m o n g
s a m p l e s ,
t r e a t m e n t s o r p o p u l a t i o n s a n d i f t h e s e d i f f e r e n c e s a r e
c o n d i t i o n a l u p o n o t h e r v a r i a b l e s o r p a r a m e t e r s .
t o m o n i t o r t h e c o n s i s t e n c y o f t r a i n e d p a n e l i s t s
b o t h d u r i n g
t r a i n i n g a n d d u r i n g t h e a c t u a l s t u d y .
6 . 3 . 1
S t a t i s t i c a l T e s t s f o r S c a l a r D a t a
D a t a f r o m n o m i n a l a n d o r d i n a l s c a l e s a r e a n a l y z e d u s i n g
n o n - p a r a m e t r i c s t a t i s t i c a l t e s t s w h i l e d a t a f r o m i n t e r v a l a n d r a t i o
s c a l e s a r e a n a l y z e d u s i n g p a r a m e t r i c s t a t i s t i c a l
t e s t s .
N o n - p a r a m e t r i c m e t h o d s a r e l e s s d i s c r i m i n a t i n g t h a n p a r a m e t r i c
t e s t s b u t d o n o t r e q u i r e d a t a t o b e n o r m a l l y a n d
i n d e p e n d e n t l y
5 5


































5 6
M u l t i v a r i a t e a n a l y s i s t e c h n i q u e s c a n b e u s e d w h e n r e l a t i o n -
s h i p s a m o n g a n u m b e r o f d i f f e r e n t m e a s u r e m e n t s o r t e s t s
a r e b e i n g
i n v e s t i g a t e d . C o r r e l a t i o n a n d R e g r e s s i o n A n a l y s i s , D i s c r i m i n a n t
A n a l y s i s , F a c t o r A n a l y s i s a n d P r i n c i p a l C o m p o n e n t A n a l y s i s
a r e
t y p e s o f m u l t i v a r i a t e a n a l y s i s f r e q u e n t l y u s e d i n s e n s o r y s t u d i e s .
T h e s e a n a l y s e s r e q u i r e s o p h i s t i c a t e d s t a t i s t i c a l t r e a t m e n t , a n d w i l l
n o t b e d i s c u s s e d i n t h i s m a n u a l . F o r f u r t h e r i n f o r m a t i o n o n t h e
u s e
o f m u l t i v a r i a t e t e c h n i q u e s f o r s e n s o r y a n a l y s i s d a t a
s e e O ' M a h o n y
( 1 9 8 6 ) , G a c u l a a n d S i n g h ( 1 9 8 4 ) , P i g g o t t ( 1 9 8 4 ) , P o w e r s ( 1 9 8 4 ,
1 9 8 1 ) , M o s k o w i t z ( 1 9 8 3 ) , E n n i s e t a l . ( 1 9 8 2 ) a n d S t u n g i s ( 1 9 7 6 ) .
P r o g r a m m a b l e c a l c u l a t o r s c a n b e u s e d t o a n a l y z e s m a l l d a t a s e t s
u s i n g t h e s t a t i s t i c a l t e s t s i l l u s t r a t e d i n t h i s m a n u a l . C o m p u t e r i z e d
s t a t i s t i c a l p r o g r a m s o r p a c k a g e s a r e n e e d e d t o c a r r y o u t m o r e
c o m p l i c a t e d s t a t i s t i c a l a n a l y s e s .
6 . 4
E X P E R I M E N T A L D E S I G N
E x p e r i m e n t a l d e s i g n s a r e p l a n s , a r r a n g e m e n t s , o r a s e q u e n c e o f
s t e p s f o r s e t t i n g u p , c a r r y i n g o u t a n d a n a l y z i n g t h e r e s u l t s o f
a n
e x p e r i m e n t . A n a p p r o p r i a t e a n d e f f i c i e n t e x p e r i m e n t a l d e s i g n m u s t
b e c h o s e n t o e n s u r e t h e r e l i a b i l i t y o f d a t a a n d t e s t r e s u l t s . T h e
d e s i g n i s s e l e c t e d b a s e d o n t h e o b j e c t i v e s o f t h e s t u d y , t h e
t y p e o f
p r o d u c t u n d e r s t u d y , t h e t e s t i n g p r o c e d u r e s a n d c o n d i t i o n s , t h e
r e s o u r c e s a v a i l a b l e a n d t h e t y p e o f s t a t i s t i c a l t e s t t o b e c o n d u c t e d .
T h e r e a r e m a n y t y p e s o f e x p e r i m e n t a l d e s i g n s f r o m s i m p l e ,
c o m p l e t e l y r a n d o m i z e d d e s i g n s t o m o r e c o m p l i c a t e d , f r a c t i o n a l
f a c t o r i a l d e s i g n s . G o o d s t a t i s t i c a l t e x t b o o k s a n d
a s t a t i s t i c i a n
5 7
s h o u l d b e c o n s u l t e d t o r e c o m m e n d t h e s i m p l e s t , m o s t e f f i c i e n t
d e s i g n t o m e e t t h e s p e c i f i c o b j e c t i v e s o f t h e s t u d y .
C o m m o n f e a t u r e s o f g o o d e x p e r i m e n t a l d e s i g n s a r e
r a n d o m i z a t i o n , b l o c k i n g a n d r e p l i c a t i o n .
T h e s e c o n c e p t s a r e
d i s c u s s e d i n t h e f o l l o w i n g s e c t i o n s .
6 . 4 . 1 R a n d o m i z a t i o n
R a n d o m i z a t i o n i s i n t r o d u c e d i n t o a n e x p e r i m e n t a l d e s i g n t o
m i n i m i z e t h e e f f e c t s o f u n c o n t r o l l a b l e s o u r c e s o f v a r i a t i o n o r e r r o r
a n d t o e l i m i n a t e b i a s . R a n d o m i z a t i o n i s a p r o c e d u r e f o r o r d e r i n g
u n i t s o r s a m p l e s s u c h t h a t e a c h u n i t h a s a n e q u a l c h a n c e o f b e i n g
c h o s e n a t e a c h s t a g e o f t h e o r d e r i n g p r o c e s s . F o r e x a m p l e , t o
r a n d o m i z e t h e a s s i g n m e n t o f d i f f e r e n t c o o k i n g t r e a t m e n t s t o f o o d
s a m p l e s , o n e s a m p l e i s c h o s e n t o b e c o o k e d b y m e t h o d 1 , b u t a l l o f
t h e o t h e r s a m p l e s h a v e a n e q u a l c h a n c e o f b e i n g c o o k e d b y t h a t
s a m e m e t h o d . R a n d o m n u m b e r t a b l e s ( A p p e n d i x 7 , T a b l e 7 . 1 ) a r e
u s e d f o r r a n d o m i z a t i o n i n t h e s a m e m a n n e r a s w a s d e s c r i b e d f o r
c h o o s i n g 3 - d i g i t r a n d o m n u m b e r s ( S e c t i o n 5 . 1 ) .
6 . 4 . 2 B l o c k i n g
B l o c k i n g i s i n c l u d e d i n m a n y e x p e r i m e n t a l d e s i g n s t o c o n t r o l
f o r k n o w n s o u r c e s o f v a r i a t i o n a n d t o i m p r o v e e f f i c i e n c y . B l o c k s
m a y b e g r o w i n g p l o t s , d a y e f f e c t s , p a n e l i s t s , r e p l i c a t i o n s o r s a m p l e
p r e s e n t a t i o n o r d e r s ; a n y t h i n g t h a t i s a k n o w n s o u r c e o f e r r o r i n t h e
e x p e r i m e n t . E x p e r i m e n t a l u n i t s a r e g r o u p e d i n t o b l o c k s . V a r i a t i o n
a m o n g t h e u n i t s w i t h i n a b l o c k i s l i k e l y t o b e l e s s t h a n t h e
v a r i a t i o n
a m o n g b l o c k s . B l o c k i n g p r o v i d e s a t r u e r m e a s u r e o f p u r e o r
5 8
e x p e r i m e n t a l e r r o r b y a c c o u n t i n g f o r t h e v a r i a n c e d u e t o t h e
b l o c k e d f a c t o r s a n d s e p a r a t i n g i t o u t f r o m t h e u n c o n t r o l l a b l e
s o u r c e s o f e x p e r i m e n t a l e r r o r . F o r i n s t a n c e , s e n s o r y p a n e l i s t s ,
b e i n g h u m a n , a r e o f t e n a k n o w n s o u r c e o f v a r i a b i l i t y i n s e n s o r y
e x p e r i m e n t s . B y b l o c k i n g p a n e l i s t s i n t h e e x p e r i m e n t a l d e s i g n a n d
d a t a a n a l y s i s , t h e v a r i a t i o n d u e t o p a n e l i s t s c a n b e r e m o v e d f r o m
t h e e x p e r i m e n t a l e r r o r a n d s e p a r a t e d o u t a s a p a n e l i s t e f f e c t . T h e n
t h e e r r o r t e r m u s e d t o d e t e r m i n e w h e t h e r t h e r e a r e s i g n i f i c a n t
d i f f e r e n c e s a m o n g t h e s a m p l e s , w i l l b e m o r e i n d i c a t i v e o f p u r e
e r r o r .
6 . 4 . 3 R e p l i c a t i o n
R e p l i c a t i o n o f a n e x p e r i m e n t i n v o l v e s r e p e a t i n g t h e e n t i r e
e x p e r i m e n t u n d e r i d e n t i c a l c o n d i t i o n s . R e p l i c a t i o n p r o v i d e s a n
e s t i m a t e o f e x p e r i m e n t a l e r r o r a n d i m p r o v e s t h e r e l i a b i l i t y a n d
v a l i d i t y o f t h e t e s t r e s u l t s . T h r o u g h r e p l i c a t i o n , t h e c o n s i s t e n c y o f
b o t h t h e p a n e l a n d i n d i v i d u a l p a n e l i s t s c a n b e d e t e r m i n e d . T h e
n u m b e r o f r e p l i c a t i o n s o f a n e x p e r i m e n t v a r i e s a n d o f t e n i s
d e t e r m i n e d b y c o n s i d e r i n g t i m e , c o s t a n d s a m p l e r e s t r a i n t s ,
h o w e v e r , u s u a l l y t h e m o r e r e p l i c a t i o n s t h a t a r e d o n e , t h e b e t t e r t h e
e s t i m a t e o f e x p e r i m e n t a l e r r o r a n d t h e m o r e r e l i a b l e t h e t e s t r e s u l t s .
+ C h a p t e r 7
S e n s o r y T e s t s : D e s c r i p t i o n s a n d
A p p l i c a t i o n s
S e n s o r y t e s t s c a n b e d e s c r i b e d o r c l a s s i f i e d i n s e v e r a l w a y s .
S t a t i s t i c i a n s c l a s s i f y t e s t s a s p a r a m e t r i c o r
n o n - p a r a m e t r i c
a c c o r d i n g t o t h e t y p e o f d a t a o b t a i n e d f r o m t h e t e s t . S e n s o r y
s p e c i a l i s t s a n d f o o d s c i e n t i s t s c l a s s i f y t e s t s a s c o n s u m e r - o r i e n t e d
( a f f e c t i v e ) o r p r o d u c t - o r i e n t e d ( a n a l y t i c a l ) ,
b a s i n g t h i s
c l a s s i f i c a t i o n o n t h e p u r p o s e o f t h e t e s t . T e s t s u s e d t o e v a l u a t e t h e
p r e f e r e n c e f o r , a c c e p t a n c e o f , o r d e g r e e o f l i k i n g f o r f o o d p r o d u c t s
a r e t e r m e d c o n s u m e r - o r i e n t e d . T e s t s u s e d t o
d e t e r m i n e d i f f e r e n c e s
a m o n g p r o d u c t s o r t o m e a s u r e s e n s o r y
c h a r a c t e r i s t i c s a r e t e r m e d
p r o d u c t - o r i e n t e d .
6 0


























6 1































6 2
a p r o b a b i l i t y o f 0 . 0 5 o r l e s s i s u s u a l l y r e q u i r e d f o r t h e r e s u l t t o b e
c o n s i d e r e d s i g n i f i c a n t , i t w o u l d b e c o n c l u d e d t h a t s a m p l e A w a s
n o t s i g n i f i c a n t l y p r e f e r r e d o v e r s a m p l e B . H a d 1 9 o f t h e 2 5 j u d g e s
c h o s e n s a m p l e A a s b e i n g t h e p r e f e r r e d s a m p l e , t h e p r o b a b i l i t y
w o u l d h a v e b e e n 0 . 0 1 5 a n d a s i g n i f i c a n t p r e f e r e n c e f o r s a m p l e A
w o u l d h a v e b e e n s h o w n .
N o k n o w l e d g e o f t h e d e g r e e o f p r e f e r e n c e f o r t h e p r e f e r r e d
s a m p l e o r o f t h e d e g r e e o f d i f f e r e n c e i n p r e f e r e n c e b e t w e e n t h e
s a m p l e s r e s u l t s f r o m t h e p a i r e d - p r e f e r e n c e t e s t .
E x a m p l e o f a p a i r e d - p r e f e r e n c e t e s t u s e d b y a n
i n - h o u s e c o n s u m e r p a n e l t o d e t e r m i n e p r e f e r e n c e
f o r p u r e e d b e a n s
B e a n p u r e e s w e r e p r e p a r e d f r o m t w o v a r i e t i e s o f b l a c k b e a n s , A
( 6 3 1 ) a n d B ( 2 2 8 ) . A p a i r e d - p r e f e r e n c e t e s t w a s u s e d t o d e t e r m i n e i f
o n e b e a n p u r e e w a s p r e f e r r e d o v e r t h e o t h e r .
F o r t y u n t r a i n e d p a n e l i s t s w e r e r e c r u i t e d f r o m w i t h i n t h e i n s t i t u t e
( i n - h o u s e p a n e l ) . T h e t w o s a m p l e s w e r e p r e s e n t e d t o e a c h p a n e l i s t
s i m u l t a n e o u s l y . E a c h p a n e l i s t e v a l u a t e d t h e t w o s a m p l e s o n l y o n c e .
T w e n t y p a n e l i s t s r e c e i v e d s a m p l e A ( 6 3 1 ) f i r s t , t w e n t y p a n e l i s t s
r e c e i v e d s a m p l e B ( 2 2 8 ) f i r s t . T h e b a l l o t u s e d w h e n s a m p l e A w a s
p r e s e n t e d f i r s t i s s h o w n i n F i g u r e 8 .
T h e n u m b e r o f p a n e l i s t s w h o p r e f e r r e d e a c h s a m p l e w a s
t o t a l l e d . T h i r t y o f t h e f o r t y p a n e l i s t s p r e f e r r e d s a m p l e B . I n T a b l e
7 . 2 ( A p p e n d i x 7 ) f o r X = 3 0 a n d n = 4 0 , t h e p r o b a b i l i t y i s 0 . 0 0 2 .
T h i s r e s u l t w a s t h e r e f o r e s t a t i s t i c a l l y s i g n i f i c a n t , a n d i t w a s





















6 4
t h e m o s t a c c e p t a b l e . T i e s , w h e r e t h e s a m p l e s a r e g i v e n e q u a l
a c c e p t a n c e r a n k s , a r e n o t u s u a l l y a l l o w e d .
P r e s e n t a t i o n o f s a m p l e s : T h r e e o r m o r e s a m p l e s a r e p r e s e n t e d
i n i d e n t i c a l s a m p l e c o n t a i n e r s , c o d e d w i t h 3 - d i g i t r a n d o m n u m b e r s .
E a c h s a m p l e i s g i v e n a d i f f e r e n t n u m b e r . A l l t h e s a m p l e s a r e
s i m u l t a n e o u s l y p r e s e n t e d t o e a c h p a n e l i s t i n a b a l a n c e d o r r a n d o m
o r d e r a n d r e t a s t i n g o f t h e s a m p l e s i s a l l o w e d . A n e x a m p l e o f a
b a l l o t f o r r a n k i n g o f a c c e p t a n c e i s g i v e n i n F i g u r e 9 .
N a m e :
D a t e :
P l e a s e t a s t e e a c h o f t h e s a m p l e s o f b l a c k b e a n s i n t h e o r d e r l i s t e d
b e l o w . A s s i g n t h e s a m p l e w i t h t h e m o s t a c c e p t a b l e t e x t u r e a r a n k v a l u e
o f 1 , t h e s a m p l e w i t h t h e n e x t m o s t a c c e p t a b l e t e x t u r e a r a n k v a l u e o f 2 ,
a n d t h e s a m p l e w i t h t h e l e a s t a c c e p t a b l e t e x t u r e a r a n k v a l u e o f 3 . D o n o t
g i v e t h e s a m e r a n k t o t w o s a m p l e s .
C o d e R a n k a s s i g n e d
F i g u r e 9 B a l l o t f o r b e a n t e x t u r e a c c e p t a b i l i t y r a n k i n g t e s t
6 5
































6 6























T a b l e 1
T a b u l a t e d R a n k i n g ' f o r A c c e p t a n c e ' F e s t D a t a
' H i g h e s t r a n k 1 = m o s t a c c e p t a b l e t e x t u r e , 3 = l e a s t a c c e p t a b l e t e x t u r e
6 7
P a n e l i s t
B l a c k B e a n V a r i e t i e s
A B C
1 1 2 3
2 1 3 2
3 1 2 3
4 1 2 3
5 1 3 2
6 1 2 3
7 1 2 3
8 1 3 2
9 1 2 3
1 0 2 1 3
1 1 1 3 2
1 2 1 3 2
1 3 1 3 2
1 4 1 2 3
1 5 1 3 2
1 6 1 2 3
1 7 1 3 2
1 8 1 2 3
1 9 1 2 3
2 0 1 3 2
2 1 1 3 2
2 2 1 2 3
2 3 1 2 3
2 4 1 3 2
2 5 1 3 2
2 6 2 1 3
2 7 1 2 3
2 8 1 3 2
2 9 1 3 2
3 0 2 1 3
R a n k T o t a l 3 3 7 1 7 6
6 8































6 9
e x p e r i m e n t a l e r r o r ) ' . I f t h e s a m p l e s a r e n o t d i f f e r e n t , t h e
a m o n g - s a m p l e m e a n s v a r i a n c e w i l l b e s i m i l i a r t o t h e e x p e r i m e n t a l
e r r o r . T h e v a r i a n c e d u e t o p a n e l i s t s o r o t h e r b l o c k i n g e f f e c t s c a n
a l s o b e t e s t e d a g a i n s t t h e r a n d o m e x p e r i m e n t a l e r r o r .
T h e m e a s u r e o f t h e t o t a l v a r i a n c e f o r t h e t e s t i s t h e t o t a l s u m o f
s q u a r e s o r S S ( T ) . T h e m e a s u r e d v a r i a n c e a m o n g t h e s a m p l e m e a n s
i s t h e t r e a t m e n t s u m o f s q u a r e s o r S S ( T r ) . T h e m e a s u r e o f t h e
v a r i a n c e a m o n g p a n e l i s t s ' m e a n s i s t h e p a n e l i s t s u m o f s q u a r e s o r
S S ( P ) . E r r o r s u m o f s q u a r e , S S ( E ) , i s t h e m e a s u r e o f t h e v a r i a n c e
d u e t o e x p e r i m e n t a l o r r a n d o m e r r o r . M e a n S q u a r e s ( M S ) f o r
t r e a t m e n t , p a n e l i s t a n d e r r o r a r e c a l c u l a t e d b y d i v i d i n g e a c h S S b y
i t s r e s p e c t i v e d e g r e e s o f f r e e d o m . T h e r a t i o s o f t h e M S ( T r ) t o t h e
M S ( E ) a n d t h e r a t i o o f t h e M S ( P ) t o t h e M S ( E ) a r e t h e n c a l c u l a t e d .
T h e s e r a t i o s a r e t e r m e d F r a t i o s o r F s t a t i s t i c s . C a l c u l a t e d F r a t i o s
a r e c o m p a r e d t o t a b u l a t e d F r a t i o s ( T a b l e s 7 . 5 a n d 7 . 6 , A p p e n d i x 7 )
t o d e t e r m i n e w h e t h e r t h e r e a r e a n y s i g n i f i c a n t d i f f e r e n c e s a m o n g
t h e t r e a m e n t o r p a n e l i s t s ' m e a n s . l i t h e c a l c u l a t e d F r a t i o e x c e e d s
t h e t a b u l a t e d F r a t i o f o r t h e s a m e n u m b e r o f d e g r e e s o f f r e e d o m ,
t h e n t h e r e i s e v i d e n c e o f s i g n i f i c a n t d i f f e r e n c e s . T a b u l a t e d F r a t i o s
a r e g i v e n f o r 0 . 0 5 a n d 0 . 0 1 l e v e l s o f s i g n i f i c a n c e i n T a b l e s 7 . 5 a n d
7 . 6 , r e s p e c t i v e l y .
O n c e a s i g n i f i c a n t d i f f e r e n c e h a s b e e n f o u n d , m u l t i p l e
c o m p a r i s o n t e s t s c a n b e c a r r i e d o u t t o d e t e r m i n e w h i c h t r e a t m e n t
o r p o p u l a t i o n m e a n s d i f f e r s f r o m e a c h o t h e r . D e t a i l s o f t h e
A N O V A c a l c u l a t i o n s a r e g i v e n i n t h e f o l l o w i n g e x a m p l e .
1
S i n c e t h e t o t a l v a r i a n c e w i t h i n - s a m p l e s c o m e s f r o m p o o l i n g i n d i v i d u a l
v a r i a n c e s w i t h i n - s a m p l e s , a n e c e s s a r y a s s u m p t i o n i s t h a t t h e t r u e w i t h i n - s a m p l e
v a r i a n c e s a r e e q u a l . T h e r e a r e f o r m a l t e s t s t h a t c a n b e d o n e t o t e s t f o r e q u a l i t y o f
w i t h i n - s a m p l e v a r i a n c e s ( H o m o g e n e i t y o f V a r i a n c e ) .
7 0
E x a m p l e o f a h e d o n i c t e s t u s e d b y a n i n - h o u s e
c o n s u m e r p a n e l t o d e t e r m i n e d e g r e e o f l i k i n g f o r
b e a n v a r i e t i e s .
A h e d o n i c t e s t w a s c o n d u c t e d t o d e t e r m i n e c o n s u m e r s ' d e g r e e
o f l i k i n g f o r f i v e v a r i e t i e s ( t r e a t m e n t s ) o f c o o k e d b l a c k b e a n s u s i n g
t h e 9 - p o i n t c a t e g o r y s c a l e s h o w n i n F i g u r e 1 0 .
T h e b e a n s w e r e c o o k e d , s t a g g e r i n g t h e c o o k i n g t i m e s , s o t h a t a l l
f i v e s a m p l e s w e r e d o n e t e n m i n u t e s b e f o r e t h e p a n e l b e g a n .
T w e n t y - e i g h t u n t r a i n e d i n - h o u s e c o n s u m e r p a n e l i s t s e v a l u a t e d t h e
f i v e s a m p l e s o n c e . T e n g r a m s a m p l e s o f t h e f i v e v a r i e t i e s o f b e a n s
w e r e p r e s e n t e d s i m u l t a n e o u s l y , i n s t y r o f o a m s a m p l e c u p s w i t h l i d s ,
t o e a c h p a n e l i s t . F o r f i v e s a m p l e s , 1 2 0 s e r v i n g o r d e r s w e r e
p o s s i b l e , h o w e v e r , w i t h o n l y 2 8 p a n e l i s t s t h i s l a r g e n u m b e r o f
s e r v i n g o r d e r s w a s i m p o s s i b l e t o b a l a n c e . T h e r e f o r e , t h e s e r v i n g
o r d e r w a s r a n d o m i z e d f o r e a c h p a n e l i s t .
A f t e r e a c h p a n e l i s t h a d e v a l u a t e d t h e f i v e s a m p l e s , t h e
d e s c r i p t i v e c a t e g o r i e s w e r e c o n v e r t e d t o n u m e r i c a l s c o r e s . T h e
s c o r e s w e r e t a b u l a t e d a n d a n a l y z e d b y a n a l y s i s o f v a r i a n c e . T h e
t a b u l a t e d s c o r e s f o r t h e f i r s t s e v e n p a n e l i s t s a r e s h o w n i n T a b l e 2 .
T h e a n a l y s i s o f v a r i a n c e s h o w n w a s c a r r i e d o u t u s i n g t h e s c o r e s f o r
t h e s e v e n p a n e l i s t s o n l y .
N a m e :
D a t e :
P l e a s e l o o k a t a n d t a s t e e a c h s a m p l e o f b l a c k b e a n s i n o r d e r f r o m l e f t
t o r i g h t a s s h o w n o n t h e b a l l o t . I n d i c a t e h o w m u c h y o u l i k e o r d i s l i k e
e a c h s a m p l e b y c h e c k i n g t h e a p p r o p r i a t e p h r a s e u n d e r t h e s a m p l e c o d e
n u m b e r .
C o d e C o d e C o d e C o d e C o d e
L i k e U k e L i k e L i k e L i k e
E x t r e m e l y E x t r e m e l y E x t r e m e l y E x t r e m e l y E x t r e m e l y
U k e L i k e L i k e L i k e L i k e
V e r y M u c h V e r y m u c h V e r y M u c h V e r y M u c h V e r y M u c h
L i k e L i k e L i k e L i k e L i k e
M o d e r a t e l y M o d e r a t e l y M o d e r a t e l y M o d e r a t e l y M o d e r a t e l y
U k e L i k e L i k e L i k e L i k e
S l g h t l y S l i g h t l y S l i g h t l y S l i g h t l y S l i g h t l y
N e i t h e r L i k e N e i t h e r L i k e N e i t h e r L i k e N e i t h e r L i k e N e i t h e r L i k e
N o r D i s l i k e N o r D i s l i k e N o r D i s l i k e N o r D i s l i k e N o r D i s l i k e
D i s l i k e D i s l i k e D i s l i k e D i s l i k e D i s l i k e
S l i g h t l y S l i g h t l y S l i g h t l y S l i g h t l y S l i g h t l y
D i s l i k e D i s l i k e D i s l i k e D i s l i k e D i s l i k e
M o d e r a t e l y M o d e r a t e l y M o d e r a t e l y M o d e r a t e l y M o d e r a t e l y
D i s l i k e D i s l i k e D i s l i k e D i s l i k e D i s l i k e
V e r y M u c h V e r y M u c h V e r y M u c h V e r y M u c h V e r y M u c h
D i s l i k e D i s l i k e D i s l i k e D i s l i k e D i s l i k e
E x t r e m e l y E x t r e m e l y E x t r e m e l y E x t r e m e l y E x t r e m e l y
C o m m e n t s : C o m m e n t s : C o m m e n t s : C o m m e n t s : C o m m e n t s :
F i g u r e 1 0
B a l l o t f o r b e a n v a r i e t i e s h e d o n i c t e s t u s i n g a 9 - p o i n t s c a l e
7 1

T R E A T M E N T
T O T A L

G R A N D T O T A L
T R E A T M E N T .
M E A N

7 5
T h e F r a t i o s , f o r t r e a t m e n t s a n d p a n e l i s t s w e r e c a l c u l a t e d b y
d i v i d i n g t h e i r r e s p e c t i v e M S v a l u e s b y t h e M S f o r e r r o r . T h e t a b u l a r
F r a t i o s w e r e o b t a i n e d f r o m s t a t i s t i c a l t a b l e s o f t h e F d i s t r i b u t i o n
( A p p e n d i x 7 , T a b l e 7 . 5 ) . F o r e x a m p l e , t h e t a b u l a t e d F r a t i o f o r
t r e a t m e n t s w i t h 4 d e g r e e s o f f r e e d o m ( d l ) i n t h e n u m e r a t o r a n d 2 4
d f i n t h e d e n o m i n a t o r , a t p
. O 5 , i s 2 . 7 8 . T h e F r a t i o f o r p a n e l i s t s
w i t h 6 d f i n t h e n u m e r a t o r a n d 2 4 d f i n t h e d e n o m i n a t o r a t p . 0 5 i s
2 . 5 1 . T h e c a l c u l a t e d F r a t i o s m u s t e x c e e d t h e s e t a b u l a r F v a l u e s i n
o r d e r t o b e c o n s i d e r e d s i g n i f i c a n t a t t h e 5 % l e v e l .
T h e s u m s o f s q u a r e s , m e a n s q u a r e s , d e g r e e s o f f r e e d o m a n d F
r a t i o s a r e s u m m a r i z e d i n t h e A N O V A t a b l e s h o w n i n T a b l e 3 .
T a b l e 3
A N O V A T a b l e f o r t h e H e d o n i c T e s t
S i n c e t h e c a l c u l a t e d t r e a t m e n t F r a t i o o f 3 8 . 6 7 e x c e e d e d t h e
t a b u l a t e d F r a t i o o f 2 . 7 8 , i t w a s c o n c l u d e d t h a t t h e r e w a s a
s i g n i f i c a n t ( p
. 0 5 ) d i f f e r e n c e a m o n g t h e m e a n h e d o n i c s c o r e s f o r
t h e f i v e b e a n v a r i e t i e s . T h e c a l c u l a t e d p a n e l i s t F r a t i o o f 1 . 5 7 ,
h o w e v e r , d i d n o t e x c e e d t h e t a b u l a r F r a t i o o f 2 . 5 1 . T h u s , n o
s i g n i f i c a n t p a n e l i s t e f f e c t w a s p r e s e n t .
S o u r c e o f
V a r i a t i o n d f S S M S
F r a t i o
C a l c u l a t e d T a b u l a r
( p . O 5 )
T o t a l ( 1 ) 3 4 1 5 7 . 9
T r e a t m e n t ( T r ) 4 1 2 9 . 9 3 2 . 4 8 3 8 . 6 7 2 . 7 8
P a n e l i s t s ( P ) 6 7 . 9 1 . 3 2 1 . 5 7 2 . 5 1
E r r o r ( E ) 2 4 2 0 . 1 0 . 8 4

Q _




T h e t h r e e m e a n c o m p a r i s o n w a s b e t w e e n m e a n s 7 . 4 a n d 4 . 4 .
7 7
Q v a l u e s w e r e o b t a i n e d f r o m T a b l e 7 . 7 ( A p p e n d i x 7 ) a t t h e
s a m e l e v e l o f s i g n i f i c a n c e u s e d i n t h e A N O V A , p . O 5 . T h e d f ( E ) ,
o r 2 4 d f , a r e a l s o n e e d e d t o d e t e r m i n e Q v a l u e s . F r o m T a b l e 7 . 7 , Q
v a l u e s f o r 2 4 d f a r e :
T h e 5 m e a n r a n g e v a l u e w a s a p p l i e d t o t h e m e a n s w i t h t h e
g r e a t e s t d i f f e r e n c e b e t w e e n t h e m , 7 . 4 a n d 2 . 1 , s i n c e t h e s e v a l u e s
c o v e r e d t h e r a n g e o v e r 5 m e a n s . T h e d i f f e r e n c e , 5 . 3 , w a s g r e a t e r
t h a n 1 . 1 2 . T h e s e t w o m e a n s , t h e r e f o r e , w e r e s i g n i f i c a n t l y d i f f e r e n t .
T h e n e x t c o m p a r i s o n w a s b e t w e e n t h e m e a n s 7 . 4 a n d 3 . 1 , u s i n g
t h e 4 m e a n r a n g e v a l u e ( 1 . 0 9 ) . S i n c e t h e d i f f e r e n c e b e t w e e n t h e
m e a n s ( 4 . 3 ) w a s g r e a t e r t h a n 1 . 0 9 , t h e s e m e a n s w e r e a l s o
s i g n i f i c a n t l y d i f f e r e n t .
R a n g e v a l u e s w e r e t h e n c a l c u l a t e d .
R a n g e
= 0 ( 0 . 3 4 6 )
R a n g e f o r 5 m e a n s = 3 . 2 2 6 ( 0 . 3 4 6 ) = 1 . 1 2
R a n g e f o r 4 m e a n s = 3 . 1 6 0 ( 0 . 3 4 6 ) = 1 . 0 9
R a n g e f o r 3 m e a n s = 3 . 0 6 6 ( 0 . 3 4 6 ) = 1 . 0 6
R a n g e f o r 2 m e a n s = 2 . 9 1 9 ( 0 . 3 4 6 ) = 1 . 0 1
Q v a l u e f o r 5 m e a n s 3 . 2 2 6
Q v a l u e f o r 4 m e a n s = 3 . 1 6 0
Q v a l u e f o r 3 m e a n s = 3 . 0 6 6
Q v a l u e f o r 2 m e a n s = 2 . 9 1 9






















7 9





























8 0




















































8 1












































8 3
o f X a n d n . I n T a b l e 7 . 9 t h e i n i t i a l d e c i m a l p o i n t h a s b e e n o m i t t e d
t o s a v e s p a c e , t h e r e f o r e 8 6 8 s h o u l d b e r e a d a s 0 . 8 6 8 . F o r e x a m p l e ,
i f 9 o u t o f 1 7 p a n e l i s t s c o r r e c t l y c h o o s e t h e d i f f e r e n t s a m p l e , t h e
p r o b a b i l i t y f r o m T a b l e 7 . 9 ( X = 9 , n = 1 7 ) w o u l d b e 0 . 0 7 5 . S i n c e a
p r o b a b i l i t y o f 0 . 0 5 o r l e s s i s u s u a l l y r e q u i r e d f o r s i g n i f i c a n c e , i t
w o u l d b e c o n c l u d e d t h a t t h e r e w a s n o s i g n i f i c a n t d i f f e r e n c e
b e t w e e n t h e s a m p l e s . I n t h i s t y p e o f d i f f e r e n c e t e s t , b o t h r e l i a b i l i t y
a n d s e n s i t i v i t y i m p r o v e w h e n m o r e p a n e l i s t s a r e u s e d .
E x a m p l e o f a t r i a n g l e t e s t u s e d b y a t r a i n e d p a n e l t o
d e t e c t d i f f e r e n c e b e t w e e n t r e a t e d a n d u n t r e a t e d
s a m p l e s .
A t r i a n g l e t e s t w a s c o n d u c t e d t o d e t e r m i n e w h e t h e r b l a c k b e a n s
t h a t h a d r e c e i v e d a p r e s t o r a g e h e a t t r e a t m e n t w e r e n o t i c e a b l y
d i f f e r e n t f r o m u n t r e a t e d b e a n s , a f t e r b o t h h a d b e e n s t o r e d u n d e r t h e
s a m e c o n d i t i o n s f o r s i x m o n t h s . E a c h b e a n s a m p l e w a s c o o k e d t o
i t s o p t i m u m d o n e n e s s f o l l o w i n g a s t a n d a r d p r o c e d u r e .
A n i n - h o u s e p a n e l o f 3 6 p a n e l i s t s e v a l u a t e d t h e c o o k e d b e a n
s a m p l e s . T h r e e s a m p l e s w e r e p r e s e n t e d s i m u l t a n e o u s l y t o e a c h
p a n e l i s t . S i x p a n e l i s t s r e c e i v e d e a c h o f t h e s i x s e r v i n g o r d e r s
s h o w n i n T a b l e 4 . T h e a p p r o p r i a t e l y c o d e d s a m p l e s w e r e s e l e c t e d
f o r e a c h p a n e l i s t a n d p r e s e n t e d a c c o m p a n i e d b y a b a l l o t o n w h i c h
c o d e n u m b e r s w e r e l i s t e d i n t h e o r d e r f o r t a s t i n g . T h e b a l l o t u s e d i s
s h o w n i n F i g u r e 1 1 .
W h e n a l l m e m b e r s o f t h e p a n e l h a d c o m p l e t e d t h e t e s t , t h e i r
b a l l o t s w e r e m a r k e d e i t h e r c o r r e c t ( + ) w h e n t h e o d d s a m p l e w a s
c o r r e c t l y i d e n t i f i e d , o r i n c o r r e c t ( - ) . R e s u l t s w e r e t a b u l a t e d a s
s h o w n i n T a b l e 5 . U s i n g S t a t i s t i c a l T a b l e 7 . 9 ( A p p e n d i x 7 ) t h e
8 4
T a b l e 5
T a b u l a t e d T r i a n g l e T e s t D a t a
P a n e l i s t
R e s u l t
1 +
2 -
3 -
4 +
5 +
6 +
7 -
8 +
9
1 0 -
1 1 +
1 2 -
1 3 -
1 4 +
1 5 -
1 6 +
1 7
1 8 +
1 9
2 0
2 1 +
2 2
2 3 +
2 4 +
2 5 +
2 6 +
2 7
2 8 +
2 9
3 0
3 1 +
3 2 +
3 3
3 4 +
3 5 +
3 6 +
T o t a l C o r r e c t ( + )
2 0
F i g u r e 1 1 B a l l o t f o r b e a n s t o r a g e p r e t r e a t m e n t t r i a n g l e t e s t
t o t a l n u m b e r o f p a n e l i s t s w i t h c o r r e c t a n s w e r s ( X ) w a s c o m p a r e d t o
t h e
t o t a l n u m b e r o f p a n e l i s t s ( n ) a n d t h e s i g n i f i c a n c e l e v e l
d e t e r m i n e d .
F r o m T a b l e 7 . 9 ( A p p e n d i x 7 ) , i t w a s d e t e r m i n e d t h a t f o r 3 6
p a n e l i s t s a n d 2 0 c o r r e c t r e s p o n s e s , t h e s i g n i f i c a n c e l e v e l w a s
0 . 0 0 5 .
I t w a s c o n c l u d e d t h a t t h e s a m p l e s w e r e s i g n i f i c a n t l y d i f f e r e n t a t
t h e 0 . 0 0 5 l e v e l o f p r o b a b i l i t y , s i n c e 2 0 o f t h e 3 6 p a n e l i s t s c o r r e c t l y
c h o s e t h e d i f f e r e n t s a m p l e . T h e b e a n s t h a t h a d b e e n p r e t r e a t e d w e r e
8 5
N a m e
D a t e :
Y o u h a v e b e e n g i v e n t h r e e s a m p l e s o f b e a n s . T w o o f t h e s e s a m p l e s
a r e i d e n t i c a l a n d o n e i s d i f f e r e n t .
T a s t e t h e s a m p l e s l i s t e d a n d p l a c e a c h e c k b e s i d e t h e c o d e n u m b e r o f
t h e s a m p l e t h a t i s d i f f e r e n t .
C o d e T h e D i f f e r e n t
S a m p l e i s :
8 6




























8 7
o r d e r . T h e p a n e l i s t s a r e a l l o w e d t o r e - e v a l u a t e t h e s a m p l e s a s
n e c e s s a r y t o m a k e t h e r e q u i r e d c o m p a r i s o n s a m o n g t h e m . A n
e x a m p l e o f a b a l l o t f o r r a n k i n g f o r i n t e n s i t y i s g i v e n i n F i g u r e 1 2 .
A n a l y s i s o f d a t a : W h e n a l l p a n e l i s t s h a v e r a n k e d t h e s a m p l e s ,
t h e r a n k s a s s i g n e d t o e a c h s a m p l e a r e t o t a l l e d . T h e s a m p l e s a r e
t h e n t e s t e d f o r s i g n i f i c a n t d i f f e r e n c e s b y c o m p a r i n g t h e r a n k t o t a l s
b e t w e e n a l l p o s s i b l e p a i r s o f s a m p l e s u s i n g t h e F r i e d m a n T e s t a n d
S t a t i s t i c a l T a b l e s 7 . 3 a n d 7 . 4 ( A p p e n d i x 7 ) . T h i s m e t h o d o f d a t a
a n a l y s i s w a s u s e d f o r t h e r a n k i n g
f o r a c c e p t a b i l i t y d a t a , S e c t i o n
7 . 1 . 2 . T h a t e x a m p l e s h o u l d b e r e v i e w e d f o r d e t a i l s o f t h e t e s t .
E x a m p l e o f a r a n k i n g t e s t u s e d b y t r a i n e d p a n e l t o
c o m p a r e b e a n s e e d c o a t t o u g h n e s s .
A r a n k i n g
t e s t w a s c o n d u c t e d t o c o m p a r e t h e s e e d c o a t
t o u g h n e s s o f b e a n s w h i c h h a d b e e n s t o r e d u n d e r f o u r d i f f e r e n t
t e m p e r a t u r e a n d h u m i d i t y c o n d i t i o n s f o r t h r e e m o n t h s . T e n
p a n e l i s t s , t r a i n e d t o e v a l u a t e s e e d c o a t t o u g h n e s s ( A p p e n d i x 4 ) ,
p a r t i c i p a t e d i n t h e t e s t . A l l f o u r c o d e d b e a n s a m p l e s w e r e
s i m u l t a n e o u s l y p r e s e n t e d t o e a c h p a n e l i s t . E a c h p a n e l i s t e v a l u a t e d
t h e s a m p l e s o n l y o n c e . P a n e l i s t s w e r e i n s t r u c t e d
t o r a n k t h e
s a m p l e s f o r s e e d c o a t t o u g h n e s s w i t h o u t t i e s , g i v i n g e a c h s a m p l e a
d i f f e r e n t r a n k e v e n i f t h e p r o d u c t s s e e m e d t o b e s i m i l a r . A r a n k o f
1 w a s g i v e n t o t h e s a m p l e w i t h t h e t o u g h e s t s e e d c o a t , a n d a r a n k o f
4 t o t h e s a m p l e w i t h t h e l e a s t t o u g h s e e d c o a t . T h e b a l l o t u s e d i s
s h o w n i n F i g u r e 1 2 .
T h e r a n k e d v a l u e s g i v e n t o e a c h s a m p l e w e r e t a b u l a t e d a n d
t o t a l l e d a s s h o w n i n T a b l e 6 . T h e d i f f e r e n c e s b e t w e e n r a n k t o t a l
p a i r s w e r e :
8 8




















' f a b l e 6
T a b u l a t e d R a n k i n g ' f o r I n t e n s i t y T e s t D a t a
1 L o w e s t r a n k = 1 = t o u g h e s t s e e d c o a t
S
T a b u l a t e d c r i t i c a l v a l u e s f o r p O . O S , 1 0 p a n e l i s t s a n d 4 s a m p l e s
f r o m T a b l e 7 . 3 i s 1 5 . O n l y t h e d i f f e r e n c e s b e t w e e n D a n d A , a n d
S
D a n d C , w e r e s i g n i f i c a n t ( i . e . l a r g e r t h a n 1 5 ) .
T h e r e f o r e t h e s e e d c o a t s o f b e a n s a m p l e s s t o r e d u n d e r D
c o n d i t i o n s w e r e n o t a s t o u g h a s t h e s e e d c o a t s o f s a m p l e s
s t o r e d
u n d e r A a n d C c o n d i t i o n s .
8 9
P a n e l i s t
S t o r a g e T r e a t m e n t
A B
C D
I
1 1
3 2 4
2 1 2 3 4
3 2
3 1
4
4 3
1 2
4
5 1
3 2
4
6 3
1 2
4
7 2
4 1
3
8 1 2 3
4
9 3 4 2 1
1 0 1 3 2 4
R a n k T o t a l 1 8 2 6
2 0 3 6
9 0


























9 1



























9 2
t i m e s , u s i n g d i f f e r e n t c o d e n u m b e r s o n e a c h o c c a s i o n , t o g i v e t h r e e
r e p l i c a t i o n s . T h e b a l l o t f o r s c o r i n g , w h i c h u s e d a 1 5 c m l i n e s c a l e ,
i s s h o w n i n F i g u r e 1 3 . P a n e l i s t s s c o r e d t h e s a m p l e s b y p l a c i n g a
v e r t i c a l l i n e a t t h e a p p r o p r i a t e p o i n t o n e a c h l i n e s c a l e .
F i g u r e 1 3 B a l l o t f o r b e a n h a r d n e s s s c o r i n g t e s t u s i n g a l i n e s c a l e
[ A c t u a l l i n e s c a l e s h o u l d b e 1 5 c m i n l e n g t h . ]
N a m e :
D a t e :
E v a l u a t e t h e 5 b e a n s a m p l e s f o r h a r d n e s s i n t h e o r d e r s h o w n o n t h e
b a l l o t , f r o m t o p t o b o t t o m . B i t e d o w n o n c e w i t h t h e m o l a r t e e t h o n t h e
s a m p l e o f b e a n s ( 2 b e a n s ) . H a r d n e s s i s t h e f o r c e r e q u i r e d t o p e n e t r a t e t h e
s a m p l e . P l a c e a v e r t i c a l l i n e o n t h e h o r i z o n t a l l i n e s c a l e a t t h e p o s i t i o n
t h a t i n d i c a t e s t h e h a r d n e s s o f t h e b e a n s a m p l e .
C O D E
n o t h a r d h a r d
n o t h a r d h a r d
n o t h a r d
h a r d
n o t h a r d
h a r d
n o t h a r d h a r d
T a b l e 7
T a b u l a t e d S c o r i n g f o r H a r d n e s s T e s t D a t a 1
9 3
' H i g h e s t s c o r e = 3 0 = h a r d
2 R e p l i c a t i o n t o t a l s a r e f o r e a c h r e p l i c a t i o n o v e r a l l t r e a t m e n t s
P C o o k i n g T i m e T r e a t m e n t s ( m m )
A
N A
E
( 3 0 )
t i
R e p l i c a t i o n
B
( 5 0 )
R e p l i c a t i o n
C
( 7 0 )
R e p l i c a t i o n
D
( 9 0 )
R e p l i c a t i o n
E
( 1 1 0 )
R e p l i c a t i o n T o t a l s
S
T
1 2 3 1 2 3 1 2 3 1 2 3 1 2 3
1 2 0 2 4 2 1 1 5 1 9 1 5 1 2 1 8 1 7 8 1 2 1 1 1 8 1 6 1 3 2 3 9
2 1 8 2 1 2 2 1 2 1 4 8 6 6 8 9 8 9 3 4 6 1 5 2
3 1 3 1 9 1 6 6 1 0 7 5 5 4 5 3 2 5 3 4 1 0 7
4 1 9 1 0 1 5 1 3 6 1 0 8 5 3 6
4 7 5 3 4 1 1 8
5 1 9 1 8 2 4 4 1 3 9 2 1 0 7 7 2 7 4 6 1 2 1 4 4
6 2 0 2 3 1 9 1 7 2 0 1 8 8 8 1 5 5 1 8 1 0 1 4 7 7 2 0 9
7 2 0 1 6 1 9 1 1 1 3 6 8 6 4 6 6 5 4 4 9 1 3 7
T r e a t m e n t b y R e p l i c a t i o n T o t a l
1 2 9 1 3 1 1 3 6 7 8 9 5 7 3 4 9 5 8 5 8 4 6 5 1 5 1 5 3 4 3 5 5
G r a n d T o t a l 1 1 0 6
T r e a t m e n t T o t a l
A = 3 9 6 B = 2 4 6
C = 1 6 5 D = 1 4 8 E = 1 5 1
( M e a n ) ( 1 8 . 9 )
( 1 1 . 7 ) ( 7 . 9 ) ( 7 . 0 ) ( 7 . 2 )
R e p l i c a t i o n T o t a l 2 R e p 1 = 3 5 5
R e p 2 = 3 7 8
R e p 3 = 3 7 3
( M e a n )
( 1 0 . 1 ) ( 1 0 . 8 )
( 1 0 . 7 )
9 4
N u m e r i c a l s c o r e s w e r e d e t e r m i n e d b y m e a s u r i n g t h e d i s t a n c e
f r o m t h e l e f t h a n d e n d o f t h e s c a l e t o t h e m a r k , i n 0 . 5 c m u n i t s . A
m e a s u r e d d i s t a n c e o f 1 0 c m w a s t h e r e f o r e e q u a l t o a s c o r e o f 2 0 .
D a t a w e r e t a b u l a t e d a s s h o w n i n T a b l e 7 a n d a n a l y z e d b y a
t w o - w a y a n a l y s i s o f v a r i a n c e . T h e e f f e c t s o f t r e a t m e n t s ( s a m p l e s ) ,
p a n e l i s t s , r e p l i c a t i o n s a n d i n t e r a c t i o n s w e r e p a r t i t i o n e d o u t . T h e
a n a l y s i s w a s s i m i l a r t o t h a t u s e d f o r t h e h e d o n i c t e s t . T h a t e x a m p l e
s h o u l d b e r e v i e w e d f o r d e t a i l s o f t h e A N O V A ( S e c t i o n 7 . 1 . 3 ) .
F o r t h e a n a l y s i s o f v a r i a n c e t h e f o l l o w i n g c a l c u l a t i o n s w e r e
m a d e :
C o r r e c t i o n F a c t o r :
C F
1 1 0 6 2
1 0 5
= 1 1 6 4 9 . 8 7
T o t a l S u m o f S q u a r e s :
S S ( T )
= ( 2 O 2 + 2 4 2 + . . . 4 2 9 2 1 l 6 4 9 . 8 7
= 1 5 5 2 2 - 1 1 6 4 9 . 8 7
= 3 8 7 2 . 1 3
T r e a t m e n t S u m o f S q u a r e s :
2 2 2 2 2
S S ( T r )
= 3 9 6 + 2 4 6 + 1 6 5 + 1 4 8 + 1 5 1
- 1 1 6 4 9 . 8 7
2 1
= 1 3 7 7 4 . 3 8 - 1 1 6 4 9 . 8 7
= 2 1 2 4 . 5 1
P a n e l i s t S u m o f S q u a r e s :
I
S S ( P )
S S ( R ) =
2 3 9 2 1 5 2 2 + . . . + 1 3 7 2
1 5
= 1 2 5 8 5 . 6 0 - 1 1 6 4 9 . 8 7
= 9 3 5 . 7 3
R e p l i c a t i o n S u m o f S q u a r e s :
( e a c h r e p l i c a t i o n t o t a l 2 )
3 5 5 2 + 3 7 8 2 + 3 7 3 2
1 1 6 4 9 . 8 7
- 3 5
= 1 1 6 5 8 . 2 3 - 1 1 6 4 9 . 8 7
= 8 . 3 6
E r r o r S u m o f S q u a r e s :
S S ( E ) = S S ( T ) - S S ( F r ) - S S ( P ) - S S ( R )
= 3 8 7 2 . 1 3 - 2 1 2 4 . 5 1 - 9 3 5 . 7 3 - 8 . 3 6
= 8 0 3 . 5 3
T h e m e a n s q u a r e ( M S ) v a l u e s w e r e c a l c u l a t e d b y d i v i d i n g t h e
S S v a l u e s b y t h e i r r e s p e c t i v e d e g r e e s o f f r e e d o m . D e g r e e s o f
f r e e d o m ( d f ) w e r e a s f o l l o w s :
- 1 1 6 4 9 . 8 7
n u m b e r o f r e s p o n s e s i n e a c h r e p l i c a t i o n t o t a l
- C F
9 5

























9 7
o b t a i n e d f r o m S t a t i s t i c a l T a b l e s 7 . 5 a n d 7 . 6 ( A p p e n d i x 7 ) o f t h e F
d i s t r i b u t i o n . S i n c e a c t u a l e r r o r d e g r e e s o f f r e e d o m ( 9 2 ) a r e n o t
l i s t e d i n t h e t a b l e , F v a l u e s f o r 9 2 d f w e r e e x t r a p o l a t e d f r o m t h o s e
g i v e n . I n t h i s e x a m p l e F r a t i o s w e r e c o m p a r e d t o t h e t a b u l a r v a l u e s
o f F f o r a 1 % l e v e l o f s i g n i f i c a n c e ( p
. 0 1 ) , T a b l e 7 . 6 . F r a t i o s f o r
t h e m a i n e f f e c t s o f p a n e l i s t s , t r e a t m e n t s a n d r e p l i c a t i o n s a r e s h o w n
i n T a b l e 8 . C a l c u l a t e d F r a t i o s f o r t r e a t m e n t s a n d p a n e l i s t s w e r e
m u c h g r e a t e r t h a n t h e t a b u l a t e d F r a t i o s ,
i n d i c a t i n g a h i g h l y
s i g n i f i c a n t e f f e c t o f b o t h t r e a t m e n t s a n d p a n e l i s t s . T h e r e p l i c a t i o n
m a i n e f f e c t w a s n o t s i g n i f i c a n t .
T h e s i g n i f i c a n t p a n e l i s t e f f e c t c o u l d m e a n t h a t t h e p a n e l i s t s
s c o r e d t h e s a m p l e s i n t h e s a m e o r d e r , b u t t h a t s o m e p a n e l i s t s u s e d
d i f f e r e n t p a r t s o f t h e s c a l e .
T h e r e f o r e , t h e a c t u a l s c o r e s g i v e n t o
t h e s a m p l e s d i f f e r e d . S i n c e t h e r e w e r e l a r g e s i g n i f i c a n t d i f f e r e n c e s
d u e t o b o t h p a n e l i s t s a n d t r e a t m e n t s , i t i s p o s s i b l e t h a t s o m e o f
t h e s e d i f f e r e n c e s w e r e d u e t o a n i n t e r a c t i o n . A s i g n i f i c a n t
i n t e r a c t i o n w o u l d i n d i c a t e t h a t t h e p a n e l i s t s w e r e n o t a l l s c o r i n g t h e
s a m p l e s i n t h e s a m e o r d e r . F o r e x a m i n a t i o n o f t h i s i n t e r a c t i o n i t
w a s n e c e s s a r y t o c a l c u l a t e t h e s u m o f s q u a r e s f o r t h e i n t e r a c t i o n
b e t w e e n p a n e l i s t s a n d t r e a t m e n t s . D a t a f r o m t h e o r i g i n a l t a b u l a t e d
d a t a ( T a b l e 7 ) w e r e t o t a l l e d t o o b t a i n a t r e a t m e n t t o t a l f o r e a c h
p a n e l i s t c o m b i n e d o v e r a l l t h r e e r e p l i c a t i o n s . T h e s e d a t a a r e s h o w n
i n T a b l e 9 .
T o c a l c u l a t e t h e t r e a t m e n t b y p a n e l i s t i n t e r a c t i o n t h e f o l l o w i n g
c a l c u l a t i o n s w e r e n e e d e d :
9 8
T a b l e 8
A N O V A T a b l e I S c o r i n g f o r H a r d n e s s T e s t
T a b l e 9
D a t a M a t r i x o f T r e a t m e n t T o t a l s f o r E a c h P a n e l i s t
P a n e l i s t s
C o o k i n g T i m e T r e a t m e n t ( m m )
A
( 3 0 )
B
( 5 0 )
C
( 7 0 )
D
( 9 0 )
E
( 1 1 0 )
1 6 5 4 9 4 7 3 1 4 7
2 6 1 3 4 2 0 2 4 1 3
3 4 8 2 3 1 4 1 0 1 2
4 4 4 2 9 1 6 1 7 1 2
5 6 1 2 6 1 9 1 6 2 2
6 6 2 5 5 3 1 3 3 2 8
7 5 5 3 0 1 8 1 7 1 7
S o u r c e o f
V a r i a t i o n d f S S M S
F
C a l c u l a t e d T a b u l a r
( p . 0 1 )
T o t a l 1 0 4 3 8 7 2 . 1 3
T r e a t m e n t s 4 2 1 2 4 . 5 1 5 3 1 . 1 3 6 0 . 8 4 3 . 5 6
P a n e l i s t s 6 9 3 5 . 7 3 1 5 5 . 9 6 1 7 . 8 6 3 . 0 3
R e p l i c a t i o n s 2 8 . 3 6 4 . 1 8 0 . 4 8 4 . 8 8
E r r o r 9 2 8 0 3 . 5 3 8 . 7 3

1 0 0
S o u r c e o f
V a r i a t i o n
T a b l e 1 0
A N O V A T a b l e I I S c o r i n g f o r H a r d n e s s T e s t
d f S S M S
F
C a l c u l a t e d T a b u l a r
( p . 0 1 )
T h e t r e a t m e n t b y p a n e l i s t i n t e r a c t i o n w a s n o t s i g n i f i c a n t ,
t h e r e f o r e , t h e s i g n i f i c a n t p a n e l i s t e f f e c t i n d i c a t e d t h a t t h e p a n e l i s t s
s c o r e d t h e t r e a t m e n t s i n t h e s a m e o r d e r . S o m e p a n e l i s t s m a y ,
h o w e v e r , h a v e s c o r e d t h e s a m p l e s u s i n g d i f f e r e n t p a r t s o f t h e s c a l e .
F o r e x a m p l e , o n e p a n e l i s t m a y h a v e s c o r e d a l l t h e s a m p l e s u s i n g
t h e u p p e r e n d o f t h e s c a l e o n l y w h i l e o t h e r s m a y h a v e u s e d t h e
c e n t r a l p o r t i o n o f t h e s c a l e , r e s u l t i n g i n s a m p l e s w h i c h w e r e s c o r e d
i n t h e s a m e o r d e r b u t w i t h d i f f e r e n t n u m e r i c a l s c o r e s . A m u l t i p l e
c o m p a r i s o n t e s t o f t h e p a n e l i s t s ' m e a n s c o r e s c o u l d b e u s e d t o
d i s c o v e r w h e r e t h e d i f f e r e n c e s a m o n g p a n e l i s t s e x i s t . T h i s w o u l d
b e u s e f u l d u r i n g p a n e l t r a i n i n g t o d e t e r m i n e w h i c h p a n e l i s t s w e r e
s c o r i n g s a m p l e s , o r u s i n g t h e s c a l e d i f f e r e n t l y , f r o m o t h e r s . D u r i n g
s t u d i e s , h o w e v e r , i t i s u s u a l l y t h e s p e c i f i c t r e a t m e n t d i f f e r e n c e s
w h i c h a r e o f i n t e r e s t . T h e a b s e n c e o f a r e p l i c a t i o n e f f e c t a n d o f a
s i g n i f i c a n t t r e a t m e n t x p a n e l i s t i n t e r a c t i o n c o n f i r m e d t h e
c o n s i s t e n c y o f t h e p a n e l p e r f o r m a n c e i n t h e e x a m p l e .
T o t a l 1 0 4 3 8 7 2 . 1 3
T r e a t m e n t s 4 2 1 2 4 . 5 1 5 3 1 . 1 3 6 2 . 0 5 3 . 6 3
P a n e l i s t s 6 9 3 5 . 7 3 1 5 5 . 9 6 1 8 . 2 2 3 . 1 0
R e p l i c a t i o n s 2 8 . 3 6 4 . 1 8 0 . 4 9 4 . 9 6
T r x P 2 4 2 2 1 . 2 2 9 . 2 2 1 . 0 8 2 . 1 0
E r r o r 6 8 5 8 2 . 3 1 8 . 5 6






















1 0 2
S E = J M S ( E )
n
= / 8 . 5 6
' 1
2 1
= J 0 . 4 1
= 0 . 6 4
T h e r a n g e v a l u e w a s c a l c u l a t e d f r o m t h e f o l l o w i n g e q u a t i o n :
R a n g e v a l u e = Q ( S E )
= Q ( 0 . 6 4 )
T h e Q v a l u e w a s o b t a i n e d f r o m T a b l e 7 . 1 1 ( A p p e n d i x 7 ) w i t h
6 8 d f ( E ) , 5 t r e a t m e n t s a n d t h e s a m e l e v e l o f s i g n i f i c a n c e a s t h e
A N O V A ( p . 0 1 ) . T h u s , Q
= 4 . 8 0 ( e x t r a p o l a t e d f r o m t h e t a b l e ) .
R a n g e v a l u e = 4 . 8 0 ( 0 . 6 4 )
= 3 . 0 7
A n y t w o s a m p l e m e a n s w h i c h d i f f e r e d b y a v a l u e g r e a t e r t h a n
t h e r a n g e v a l u e , 3 . 0 7 , w e r e s i g n i f i c a n t l y d i f f e r e n t a t t h e 1 % l e v e l .
A l l s a m p l e m e a n s w e r e c o m p a r e d a s f o l l o w s :




















































1 0 4
7 . 2 . 4 D e s c r i p t i v e T e s t s
D e s c r i p t i v e t e s t s a r e s i m i l a r t o s c o r i n g f o r i n t e n s i t y t e s t s e x c e p t
t h a t p a n e l i s t s s c o r e t h e i n t e n s i t y o f a n u m b e r o f s a m p l e
c h a r a c t e r i s t i c s r a t h e r t h a n j u s t o n e c h a r a c t e r i s t i c . T r a i n e d p a n e l i s t s
p r o v i d e a
t o t a l s e n s o r y d e s c r i p t i o n o f t h e s a m p l e , i n c l u d i n g
a p p e a r a n c e , o d o u r , f l a v o u r , t e x t u r e a n d a f t e r t a s t e . T h e r e a r e m a n y
t y p e s o f d e s c r i p t i v e t e s t s i n c l u d i n g t h e F l a v o u r P r o f i l e ( P a n g b o r n ,
1 9 8 6 ; S t o n e a n d S i d e l , 1 9 8 5 ; P o w e r s , 1 9 8 4 ; M o s k o w i t z , 1 9 8 3 ;
1 F f , 1 9 8 1 ; A S T M , 1 9 6 8 ; A m e r i n e e t a t . , 1 9 6 5 ; C a u l , 1 9 5 7 ;
C a i r n c r o s s a n d S j o s t r o m , 1 9 5 0 ) , t h e T e x t u r e P r o f i l e ( P a n g b o r n ,
1 9 8 6 ; S t o n e a n d S i d e l , 1 9 8 5 ; M o s k o w i t z , 1 9 8 3 ; I F T , 1 9 8 1 ; C i v i l l e
a n d S z c z e s n i a k , 1 9 7 3 ; B r a n d t e t
a l . , 1 9 6 3 ; S z c z e s n i a k , 1 9 6 3 ;
S z c z e s n i a k e t a l . , 1 9 6 3 ) a n d Q u a n t i t a t i v e D e s c r i p t i v e A n a l y s i s
( P a n g b o r n , 1 9 8 6 ; M o s k o w i t z , 1 9 8 3 ; 1 F F , 1 9 8 1 ; Z o o k a n d
W e s s m a n , 1 9 7 7 ; S t o n e e t a l . , 1 9 8 0 , 1 9 7 4 ) . T h e s e m e t h o d s w i l l n o t
b e d e s c r i b e d i n t h i s m a n u a l b u t t h e r e f e r e n c e s l i s t e d p r o v i d e
d i s c u s s i o n s a n d e x p l a n a t i o n s o f t h e t e c h n i q u e s .
+ C h a p t e r 8
P l a n n i n g A S e n s o r y E x p e r i m e n t
I n p l a n n i n g a s e n s o r y e x p e r i m e n t , a l l o f t h e f a c t o r s d i s c u s s e d i n
t h e p r e v i o u s s e c t i o n s o f t h i s m a n u a l s h o u l d b e c o n s i d e r e d c a r e f u l l y .
W i t h t h e s e c o n s i d e r a t i o n s i n m i n d , s p e c i f i c t e s t s a n d a p p r o p r i a t e
m e t h o d s o f s t a t i s t i c a l a n a l y s i s c a n b e c h o s e n . T o f a c i l i t a t e p l a n n i n g
a n d c o n d u c t i n g o f s e n s o r y e x p e r i m e n t s , e s p e c i a l l y b y r e s e a r c h e r s
w h o a r e n e w t o t h i s a r e a , a n u m b e r o f t e s t s h a v e b e e n d e s c r i b e d i n
d e t a i l . F o l l o w i n g t h e s t e p - b y - s t e p d e s c r i p t i o n s g i v e n f o r e a c h t e s t
s h o u l d a s s i s t w i t h p l a n n i n g f o r s i m i l a r t y p e s o f t e s t i n g .
P l a n n i n g f o r a s e n s o r y e x p e r i m e n t s h o u l d i n c l u d e t h e s t e p s
o u t l i n e d b e l o w :
1 ) D e f i n e t h e s p e c i f i c o b j e c t i v e s o f t h e e x p e r i m e n t . C l a r i f y
q u e s t i o n s t o b e a n s w e r e d ( h y p o t h e s e s t o b e t e s t e d ) a n d s t a t e
t h e m c l e a r l y .
2 ) I d e n t i f y t h e c o n s t r a i n t s o n t h e e x p e r i m e n t : c o s t
l i m i t s ,
a v a i l a b i l i t y o f m a t e r i a l s , e q u i p m e n t , p a n e l i s t s a n d t i m e .
1 0 6
C h o o s e t h e t y p e o f t e s t a n d p a n e l t o b e u s e d . D e s i g n t h e
b a l l o t .
D e s i g n t h e e x p e r i m e n t a l p r o c e d u r e s s o
t h a t , w h e r e v e r
p o s s i b l e , v a r i a b l e s n o t b e i n g t e s t e d w i l l b e c o n t r o l l e d , a n d
p a n e l r e s u l t s w i l l n o t b e b i a s e d . R a n d o m i z a t i o n o f
e x p e r i m e n t a l f a c t o r s t h a t c o u l d b i a s r e s u l t s , s u c h a s t h e o r d e r
o f s a m p l e p r e p a r a t i o n a n d p r e s e n t a t i o n , s h o u l d b e p l a n n e d .
D e c i d e o n t h e s t a t i s t i c a l m e t h o d s t o b e u s e d , k e e p i n g i n m i n d
t h e o b j e c t i v e s o f t h e p r o j e c t , t h e t y p e o f t e s t a n d t y p e o f
p a n e l .
P r e p a r e t h e f o r m s t o b e u s e d f o r r e c o r d i n g s e n s o r y d a t a .
D a t a s h o u l d b e r e c o r d e d i n a w a y t h a t m a k e s i t c o n v e n i e n t t o
d o t h e s t a t i s t i c a l a n a l y s e s .
P l a n f o r r e c r u i t i n g a n d o r i e n t i n g p a n e l i s t s ; a l s o , s c r e e n i n g
a n d t r a i n i n g o f p a n e l i s t s , i f r e q u i r e d .
D o a t r i a l r u n b e f o r e p r o c e e d i n g w i t h t h e e x p e r i m e n t , t o
c h e c k t h e a p p r o p r i a t e n e s s o f s a m p l e p r e p a r a t i o n a n d
p r e s e n t a t i o n p r o c e d u r e s a n d t h e b a l l o t .
A P P E N D I C E S
A P P E N D I X 1
B a s i c T a s t e R e c o g n i t i o n T e s t
T h e f o l l o w i n g c o n c e n t r a t i o n s o f t h e f o u r b a s i c t a s t e s o f s w e e t ,
s o u r , s a l l y , a n d b i t t e r c a n b e u s e d f o r r e c o g n i t i o n t e s t s .
1 0 9
S w e e t s u c r o s e 1 . 0 % w / v ( 2 . 5 g / 2 5 0 m L )
S a l t y s o d i u m c h l o r i d e 0 . 2 % w / v ( 0 . 5 g / 2 5 0 m L )
S o u r c i t r i c a c i d 0 . 0 4 % w / v ( 0 . 1 g / 2 5 0 m L )
B i t t e r c a f f e i n e
0 . 0 5 % w / v ( 0 . 1 2 5 g / 2 5 0 m L )
o r
q u i n i n e s u l f a t e 0 . 0 0 1 2 5 % w / v ( 0 . 0 0 3 g / 2 5 0 m L )
T h e s e s o l u t i o n s a r e p r e p a r e d w i t h d i s t i l l e d w a t e r a n d s h o u l d b e
p r e p a r e d t h e d a y b e f o r e a n d a l l o w e d t o e q u i l i b r a t e o v e r n i g h t .
A p p r o x i m a t e l y 2 5 - 3 0 m L o f s o l u t i o n i s n e e d e d p e r p a n e l i s t . T h e s o l u t i o n s
a r e p o r t i o n e d i n t o i n d i v i d u a l c o d e d s a m p l e c u p s f o r t a s t i n g . 1 - 2 w a t e r
b l a n k s a r e p r e p a r e d a n d r a n d o m l y p l a c e d a m o n g t h e 4 b a s i c t a s t e s o l u t i o n s .
T h e c o d e d s a m p l e s s h o u l d b e p r e s e n t e d i n a d i f f e r e n t r a n d o m o r d e r t o e a c h
p a n e l i s t . P a n e l i s t s s h o u l d b e i n s t r u c t e d t o r i n s e t h e m o u t h w i t h w a t e r
b e t w e e n s a m p l e s a n d c l e a r t h e m o u t h w i t h c r a c k e r s i f n e c e s s a r y . A n
e x a m p l e o f a b a l l o t i s s h o w n o n t h e n e x t p a g e .
P a n e l i s t s s h o u l d b e i n f o r m e d a b o u t t h e i r p e r f o r m a n c e i m m e d i a t e l y
f o l l o w i n g t h e t e s t . P o o r p e r f o r m e r s c o u l d b e a l l o w e d t o r e p e a t t h e t e s t o n
a n o t h e r d a y f o l l o w i n g s o m e i n i t i a l d i s c u s s i o n a b o u t t h e b a s i c t a s t e
s e n s a t i o n s a n d h o w t h e y a r e p e r c e i v e d i n t h e t o n g u e a n d m o u t h . P a n e l i s t s
w h o a r e u n a b l e t o i d e n t i f y a n y o f t h e b a s i c t a s t e s o l u t i o n s m a y b e a g e u s i c
( l a c k o f t a s t e s e n s i t i v i t y ) a n d w o u l d n o t b e g o o d c a n d i d a t e s f o r t a s t e
p a n e l s .
B a s i c T a s t e S u b s t a n c e C o n c e n t r a t i o n
1 1 0
A P P E N D I X 1 ( c o n t . )
B a l l o t f o r B a s i c T a s t e R e c o g n i t i o n T e s t
N a m e :
D a t e :
B a s i c T a s t e R e c o g n i t i o n
P l e a s e t a s t e e a c h o f t h e s o l u t i o n s i n t h e o r d e r i n d i c a t e d o n t h e
b a l l o t , f r o m t o p t o b o t t o m . T h e s o l u t i o n s m a y t a s t e s w e e t , s o u r , s a l t y o r
b i t t e r . T h e r e m a y b e o n e o r m o r e s a m p l e s o f o n l y w a t e r a m o n g t h e b a s i c
t a s t e s o l u t i o n s . I d e n t i f y t h e t a s t e s o l u t i o n i n e a c h c o d e d c u p . R i n s e y o u r
m o u t h w i t h w a t e r b e f o r e y o u b e g i n t a s t i n g a n d a l s o b e t w e e n e a c h s a m p l e .
C r a c k e r s a r e a l s o p r o v i d e d t o c l e a r t h e m o u t h b e t w e e n s a m p l e s .
C o d e T a s t e
A P P E N D I X 2
B a s i c O d o u r R e c o g n i t i o n T e s t
C o m m o n h o u s e h o l d s u b s t a n c e s c a n b e u s e d f o r o d o u r r e c o g n i t i o n
t e s t i n g .
T h e o d o u r o u s s u b s t a n c e s ( 1 0 - 1 5 ) s h o u l d b e p l a c e d i n d a r k
c o l o u r e d ( c l e a r v i a l s m a y b e w r a p p e d i n a l u m i n u m f o i l ) g l a s s v i a l s o r t e s t
t u b e s t o m a s k a n y v i s u a l c u e s , a n d t i g h t l y c a p p e d . L i q u i d s m a y b e p o u r e d
o n t o a c o t t o n b a l l i n t h e t u b e , w h i l e s o l i d s c a n b e p l a c e d d i r e c t l y i n t o t h e
t u b e a n d c o v e r e d w i t h a c o t t o n b a l l o r s q u a r e o f c h e e s e c l o t h .
V i a l s o r
t u b e s s h o u l d b e f i l l e d 1 / 4 - 1 / 2 f u l l i n o r d e r t o l e a v e a h e a d s p a c e a b o v e t h e
s a m p l e f o r v o l a t i l e s t o c o n c e n t r a t e .
P a n e l i s t s a r e i n s t r u c t e d t o b r i n g t h e v i a l t o t h e i r n o s e , r e m o v e t h e l i d
a n d t a k e 3 s h o r t s n i f f s . T h e n , t h e y s h o u l d r e c o r d t h e n a m e o f t h e o d o u r , o r
a r e l a t e d o d o u r i f t h e y c a n n o t i d e n t i f y t h e e x a c t n a m e , b e s i d e t h e s a m p l e
c o d e o n t h e b a l l o t . F o r e x a m p l e , s p i c y i f t h e y c a n n o t n a m e t h e e x a c t s p i c e .
W h e n i n t e r p r e t i n g r e s u l t s , t h e p a n e l l e a d e r c a n g i v e a f u l l s c o r e t o a c o r r e c t
n a m e , a n d a h a l f s c o r e t o a r e l a t e d n a m e . A n e x a m p l e o f a b a l l o t i s s h o w n
o n t h e n e x t p a g e .
P a n e l i s t s s h o u l d b e i n f o r m e d a b o u t t h e i r p e r f o r m a n c e i m m e d i a t e l y
f o l l o w i n g t h e t e s t . T h o s e w h o h a v e d i f f i c u l t y i d e n t i f y i n g t h e s u b s t a n c e s
m a y j u s t n e e d m o r e p r a c t i c e a n d c o u l d b e a l l o w e d t o r e p e a t t h e t e s t o n
a n o t h e r d a y .
O d o u r a n d f l a v o u r l a n g u a g e , a s a n y o t h e r l a n g u a g e , w i l l
i m p r o v e w i t h p r a c t i c e .
P a n e l i s t s w h o a r e u n a b l e t o s m e l l m a n y o f t h e
s u b s t a n c e s a r e l i k e l y a n o s m i c o r m a y h a v e n a s a l o r s i n u s c o n g e s t i o n a n d
w i l l l i k e l y n o t b e g o o d c a n d i d a t e s f o r o d o u r o r f l a v o u r p a n e l s .
E x a m p l e o f s u b s t a n c e s w h i c h h a v e b e e n u s e d a r e l i s t e d b e l o w :
1 1 1
1 1 2
S u b s t a n c e O d o u r P o s s i b l e r e l a t e d o d o u r s
v i n e g a r s o u r , a c e t i c a c i d p i c k l e s
c o f f e e c o f f e e r o a s t e d
o n i o n
o n i o n s u l f u r y
c l o v e s
c l o v e s , e u g e n o l s p i c y , c i n n a m o n
a n i s e e d a n e t h o l , a n i s e l i q u o r i c e
c i n n a m o n c i n n a m o n , e u g e n o l s p i c y , c l o v e s
v a n i l l a
v a n i l l a s w e e t
b l a c k p e p p e r p e p p e r s p i c y
p r e p a r e d m u s t a r d m u s t a r d p i c k l e s
a c e t o n e a c e t o n e n a i l p o l i s h r e m o v e r
a l c o h o l a l c o h o l , e t h a n o l v o d k a
a l m o n d e x t r a c t a l m o n d s w e e t
g a r l i c g a r l i c , a l l i c i n s u l f u r y
l e m o n l e m o n , s o u r , a c i d c i t r u s
h o n e y h o n e y
s w e e t
A P P E N D I X 2 ( c o n t . )
B a l l o t f o r B a s i c O d o u r R e c o g n i t i o n T e s t
N a m e :
D a t e :
B a s i c O d o u r R e c o g n i t i o n
T h e c o v e r e d v i a l s c o n t a i n o d o u r o u s s u b s t a n c e s c o m m o n l y f o u n d i n t h e
h o m e o r w o r k p l a c e . B r i n g t h e v i a l t o y o u r n o s e , r e m o v e t h e c a p , t a k e 3
s h o r t s n i f f s a n d t r y t o i d e n t i f y t h e o d o u r . I f y o u c a n n o t t h i n k o f t h e e x a c t
n a m e o f t h e s u b s t a n c e , t r y t o d e s c r i b e s o m e t h i n g w h i c h t h i s o d o u r r e m i n d s
y o u o f .
C o d e O d o u r
1 1 3
1 1 4






































1 1 5
a n d t h e p a n e l i s t s e v a l u a t e d t h e s a m p l e s a g a i n .
T h e s a m e t r a i n i n g
p r o c e d u r e w a s r e p e a t e d , u s i n g c o m p a r a b l e b e a n s a m p l e s , f o r s e v e r a l
s e s s i o n s ( d a y s ) u n t i l t h e p a n e l i s t s w e r e c o m f o r t a b l e w i t h t h e t e c h n i q u e s
a n d t h e r e p e a t a b i l i t y o f t h e i r s c o r e s w a s i m p r o v e d .
T h e n e x t s t e p i n t h e t r a i n i n g o f t h e t e x t u r e p a n e l a t I N C A P w a s t o h a v e
t h e p a n e l e v a l u a t e a v a r i e t y o f c o o k e d b l a c k b e a n s a m p l e s w h i c h h a d l e s s
o b v i o u s t e x t u r a l d i f f e r e n c e s , a l o n g w i t h s a m p l e s w i t h l a r g e d i f f e r e n c e s i n
t e x t u r e . F o r e x a m p l e , f o r h a r d n e s s e v a l u a t i o n , s a m p l e s w h i c h w e r e
o b v i o u s l y u n d e r - c o o k e d ( h a r d ) , o p t i m a l l y c o o k e d a n d o v e r - c o o k e d ( s o f t )
w e r e p r e p a r e d a n d s e r v e d a l o n g w i t h s a m p l e s t h a t h a d v a r y i n g d e g r e e s o f
h a r d n e s s .
T o m o n i t o r t h e p a n e l i s t s ' p e r f o r m a n c e , t h e s a m e s i x b e a n s a m p l e s w e r e
e v a l u a t e d o n f o u r d i f f e r e n t o c c a s i o n s . T h e s a m p l e s w e r e e v a l u a t e d f o r
h a r d n e s s , p a r t i c l e s i z e , s e e d c o a t t o u g h n e s s a n d c h e w i n e s s , a n d w e r e
p r e p a r e d t o h a v e a w i d e r a n g e o f d i f f e r e n c e s i n e a c h o f t h e s e a t t r i b u t e s . A n
a n a l y s i s o f v a r i a n c e w i t h 6 t r e a t m e n t s a n d 4 r e p l i c a t i o n s w a s u s e d t o
e v a l u a t e t h e d a t a f o r e a c h p a n e l i s t i n d i v i d u a l l y , f o r e a c h c h a r a c t e r i s t i c
m e a s u r e d . T r e a t m e n t F v a l u e s w e r e c a l c u l a t e d f o r e a c h p a n e l i s t ' s s c o r e s ,
a n d u s e d a s a m e a s u r e o f t h e p a n e l i s t ' s a b i l i t y t o d i s c r i m i n a t e a m o n g t h e
b e a n s a m p l e s a n d t o r e p l i c a t e h i s / h e r j u d g e m e n t s f o r e a c h a t t r i b u t e .
C h a r a c t e r i s t i c s t h a t r e q u i r e d m o r e t r a i n i n g ( i e . m a n y p a n e l i s t s s c o r e d t h e m
i n c o n s i s t e n t l y ) w e r e a l s o i d e n t i f i e d . T h e r e s u l t s o f t h e s e a n a l y s e s w e r e
d i s c u s s e d w i t h t h e p a n e l t o p r o v i d e a n i n c e n t i v e f o r p a n e l i s t s t o i m p r o v e o r
m a i n t a i n t h e i r p e r f o r m a n c e . A t a l a t e r t i m e a s e c o n d p a n e l e v a l u a t i o n w a s
c o n d u c t e d . P a n e l t r a i n i n g w a s c o m p l e t e w h e n t h e m a j o r i t y o f t h e p a n e l i s t s
c o u l d d i s c r i m i n a t e b e t w e e n s a m p l e s w i t h o u t d i f f i c u l t y a n d c o u l d
r e p r o d u c e t h e i r s c o r e s c o n s i s t e n t l y . P a n e l i s t s w h o w e r e h a v i n g p r o b l e m s
a n d c o u l d n o t r e p l i c a t e t h e i r j u d g e m e n t s w e r e r e l e a s e d f r o m t h e p a n e l .
1 1 6
A P P E N D I X 4
T e c h n i q u e s f o r E v a l u a t i n g T e x t u r a l C h a r a c t e r i s t i c s
o f C o o k e d B e a n s
H A R D N E S S :
B i t e d o w n o n c e w i t h t h e m o l a r t e e t h o n t h e s a m p l e o f
b e a n s ( 2 b e a n s ) a n d e v a l u a t e t h e f o r c e r e q u i r e d t o p e n e t r a t e t h e s a m p l e .
P A R T I C L E S I Z E : C h e w t h e s a m p l e ( 2 b e a n s ) f o r o n l y 2 - 3 c h e w s
b e t w e e n t h e m o l a r t e e t h , a n d t h e n r u b t h e c o t y l e d o n b e t w e e n t h e t o n g u e
a n d p a l a t e a n d a s s e s s t h e s i z e o f t h e p a r t i c l e s w h i c h a r e m o s t a p p a r e n t .
S E E D C O A T T O U G h N E S S :
S e p a r a t e t h e s e e d c o a t f r o m t h e
c o t y l e d o n b y b i t i n g t h e b e a n s ( 2 b e a n s ) b e t w e e n t h e m o l a r t e e t h a n d
r u b b i n g t h e c o t y l e d o n o u t b e t w e e n t h e t o n g u e a n d p a l a t e . T h e n e v a l u a t e
t h e f o r c e r e q u i r e d t o b i t e t h r o u g h t h e s e e d c o a t w i t h t h e f r o n t t e e t h .
C I I E W I N E S S :
P l a c e a s a m p l e o f b e a n s ( 2 b e a n s ) i n y o u r m o u t h
a n d c h e w a t a c o n s t a n t r a t e ( 1 c h e w p e r s e c o n d ) , c o u n t i n g t h e n u m b e r o f
c h e w s u n t i l t h e s a m p l e i s r e a d y f o r s w a l l o w i n g .



















1 1 8
A P P E N D I X 6
L i n e S c a l e B a l l o t U s e d f o r B e a n T e x t u r e P a n e l s
U s i n g t h e t e c h n i q u e s p r o v i d e d f o r e v a l u a t i n g t e x t u r e , e v a l u a t e t h e
s a m p l e s a c c o r d i n g t o t h e f o l l o w i n g p a r a m e t e r s . F i r s t , e v a l u a t e t h e
r e f e r e n c e s a m p l e s t o e s t a b l i s h r e f e r e n c e p o i n t s , a n d t h e n e v a l u a t e t h e
c o d e d s a m p l e s . M a r k t h e r e l a t i v e i n t e n s i t y o f t h e c o d e d b e a n s a m p l e s o n
e a c h s c a l e , p l a c i n g t h e c o d e n u m b e r o f t h e s a m p l e a b o v e t h e m a r k .
I N I T I A L B I T E
H a r d n e s s
s o f t h a r d
M A S T I C A T O R Y P h A S E
P a r t i c l e S i z e
s m o o t h c h u n k y
S e e d c o a t
T o u g h n e s s I
t e n d e r t o u g h
( b a r e l y d i s t i n g u i s h a b l e ( l e a t h e r y )
f r o m c o t y l e d o n s )
C H E W I N E S S
C o d e N u m b e r o f c h e w s
A P P E N D I X 7
S T A T I S T I C A L T A B L E S
1 1 9































T A B L E 7 . 1
R a n d o m N u m b e r s T a b l e
1 2 1
9 2 7 3 3 5 5 4 9 8 2 6 5 6 3 9 2 8 8 2 9 1 4 3 0 6 9 3 2 4 7 2 0 0 8 2 8 0 7 5 8 5 1 9 7 0 6 4 4 3
1 6 5 1 8 7 3 8 0 1 9 0 1 6 7 1 5 8 8 1 9 7 5 8 0 0 7 7 8 6 3 6 0 0 6 6 8 3 3 6
0 1 1 9 5 3 5 8 6 8
3 3 1 1 9 4 0 3 0 7 2 7 4 1 4 0 8 1 7 4 5 5 9 6 8 2 2 4 8 3 9 0 4 1 6 3 3 6 5 0 4 8 1 8 8 6 6 7 1 7
2 7 5 7 8 3 3 6 7 7 0 7 5 3 5 8 0 9 9 4 2 4 0 0 2 1 7 6 2 1 5 8 5 5 7 7 9 9 6 5 5 2 3 8 1 7 4 0 9 0
6 1 2 9 9 4 6 5 1 5 9 1 5 4 0 1 4 4 4 9 9 7 4 9 9 7 9 9 4 8 9 4 7 2 4 7 6 3 3 5 3 6 0 6 6 8 9 5 7 1
8 3 8 1 5 8 2 9 2 0 9 3 7 2 4 9 8 3 2 7 0 6 7 3 4 6 5 3 8 0 0 5 7 4 6 2 1 8 3 1 9 5 2 8 6 4 9 9 8 6
1 9 7 3 5 9 6 5 9 5 1 6 2 1 5 7 6 5 4 1 3 6 4 9 0 7 5 4 0 7 4 3 9 1 7 4 1 4 4 0 9 5 2 8 5 7 7 6 5 1
3 2 4 7 4 2 5 9 6 0 9 6 1 9 5 6 3 2 0 2 1 6 0 3 0 6 4 1 9 8 7 9 7 5 1 5 6 6 6 4 6 3 2 9 5 0 2 7 9 2
1 9 4 4 9 3 6 3 7 6 4 5 7 2 4 7 2 5 6 0 1 8 6 9 6 3 0 0 9 5 8 0 7 2 0 6 9 8 1 9 7 3 6 1 9 9 7 4 0 5
1 5 8 7 0 8 7 3 4 2 3 2 5 8 6 1 4 9 9 1 9 5 4 0 3 8 7 6 2 3 8 4 4 9 6 3 0 8 9 7 6 8 6 1 9 9 0 5 5 5
0 9 8 8 6 0 2 1 2 3 4 4 5 3 2 2 4 0 8 6 3 5 8 7 8 0 4 7 1 1 9 6 2 3 6 4 6 9 3 3 8 0 4 9 8 9 2 4 0 1
4 0 6 9 8 7 6 6 6 0 6 4 9 5 9 9 7 7 0 3 7 9 6 7 1 1 0 5 9 9 0 0 4 8 9 4 8 7 4 2 l B 9 8 7 7 3 3 8 1
5 3 5 4 0 6 4 7 6 9 7 2 0 3 6 0 4 5 2 4 2 1 4 2 5 3 7 9 7 0 8 7 1 5 8 9 2 2 4 5 7 1 8 0 1 0 2 9 1 0
4 8 5 2 5 0 7 7 5 3 3 3 5 0 8 9 9 8 2 4 1 9 7 4 3 4 2 6 4 1 1 2 1 1 5 0 4 0 1 1 5 8 0 8 9 7 8 0 2 5
9 1 5 2 1 9 8 4 9 0 7 7 3 2 1 5 7 6 3 5 4 4 7 1 2 6 0 6 0 1 9 1 5 7 5 1 2 0 0 3 8 4 4 4 3 2 9 0 3 0
5 6 3 2 0 8 7 0 5 2 6 2 8 5 8 5 5 3 6 0 0 0 2 6 2 6 7 6 8 0 4 3 5 6 9 5 7 8 6 5 2 0 8 1 1 1 2 5 2 1
6 8 5 4 5 0 2 5 1 9 3 8 8 0 7 3 8 9 2 2 6 3 3 4 3 1 2 4 1 2 8 8 2 5 9 9 3 4 4 4 1 9 0 0 2 0 7 4 5 1
4 1 4 6 2 8 0 6 1 3 9 5 6 2 1 9 3 5 6 3 9 0 9 4 0 4 5 9 8 1 1 6 5 7 4 5 0 2 9 8 9 7 3 5 3 5 1 7 4 4
1 1 9 1 0 9 0 5 3 3 0 2 6 8 1 9 9 7 2 1 6 7 7 9 2 6 1 6 9 1 5 4 1 0 5 6 5 8 6 1 3 1 2 4 2 2 3 4 9 5
7 8 9 6 4 9 5 0 2 6 5 7 3 5 4 8 6 1 0 3 3 8 8 0 0 7 0 8 0 0 8 3 0 9 4 2 9 6 6 3 4 5 2 4 0 1 9 6 2 1
3 9 0 0 2 7 4 7 6 0 8 3 4 5 2 5 2 0 7 7 5 7 9 9 0 2 5 6 5 9 9 8 3 8 2 5 8 9 6 5 0 7 9 1 8 4 6 7 8 1
5 8 0 8 8 0 9 2 5 6 8 5 6 2 9 8 6 7 6 7 9 5 0 3 1 7 4 2 2 6 9 6 4 4 1 9 0 6 7 4 3 1 3 9 9 7 9 4 2 7
5 6 8 1 8 7 3 7 1 0 5 6 3 4 4 9 2 2 7 8 5 0 9 6 3 5 4 5 4 0 2 1 5 1 9 8 1 0 1 8 0 2 0 6 4 8 9 6 5 8
3 6 3 5 3 2 4 3 4 4 6 9 8 8 7 5 5 6 0 7 8 6 0 1 8 4 1 2 2 5 3 9 7 1 6 6 8 7 1 7 8 9 2 3 5 3 0 7 3 1
5 1 9 3 6 6 3 6 8 1 4 2 9 0 0 4 2 0 3 2 0 9 3 6 6 3 3 4 9 2 0 2 3 4 9 6 0 0 6 5 3 7 6 1 2 2 1 5 6 9
6 8 2 8 2 9 8 8 5 6 5 3 0 0 6 6 2 7 2 9 0 8 0 5 1 3 1 0 4 7 0 5 2 1 4 5 9 8 7 7 0 1 0 1 4 8 4 5 3 9
7 3 2 1 8 5 3 7 4 9 9 4 4 8 6 0 8 3 7 6 3 4 6 9 6 5 5 8 4 1 1 4 7 9 5 3 3 2 8 8 8 7 6 9 9 7 8 0 9 2
0 2 5 0 0 8 8 4 7 7 2 3 9 0 5 0 3 6 1 6 6 9 8 1 5 3 9 7 4 3 4 8 0 6 8 5 3 7 0 6 8 I 0 0 4 8 1 3 1 9
2 8 4 9 3 5 2 3 7 0 8 4 4 3 1 3 0 5 9 4 4 7 1 3 6 5 2 5 1 3 9 5 2 9 9 3 6 5 4 5 5 0 1 2 6 1 2 0 0 6
8 4 9 5 6 4 2 1 3 0 4 0 8 7 7 5 4 9 7 7 0 7 5 1 0 0 9 9 2 0 5 5 9 6 1 2 1 8 6 1 8 0 3 7 9 2 9 1 9 1
6 1 6 7 9 2 6 7 1 7 0 3 9 2 4 2 5 0 7 5 0 1 9 8 4 5 1 0 0 5 7 8 8 7 9 0 4 7 7 3 0 2 9 8 1 9 8 9 0 4
2 5 0 1 6 8 3 4 9 2 I l 9 9 5 9 1 3 8 4 8 2 7 5 0 1 7 8 6 4 1 0 0 9 0 7 0 9 5 6 0 0 9 5 8 6 1 8 9 4
2 0 7 2 9 0 1 7 0 9 0 2 6 4 4 4 6 8 7 2 6 5 0 3 4 4 4 4 0 5 9 6 8 5 9 0 5 5 0 0 3 6 2 8 1 0 0 4 8 8
7 2 3 0 4 2 6 2 4 3 2 1 1 2 2 3 1 1 0 0 0 8 8 4 1 2 2 2 0 8 3 2 5 6 5 5 6 3 1 6 0 6 8 6 4 6 2 8 4 0
7 9 8 9 7 9 5 6 5 6 5 2 1 7 0 2 5 8 3 7 3 3 2 0 0 7 4 0 3 9 3 5 3 3 9 8 8 0 4 7 5 4 0 3 3 1 0 8 1 7
4 1 3 2 0 2 7 5 9 6 7 4 6 5 7 2 5 8 0 1 7 4 7 9 2 9 0 5 2 9 9 7 2 6 9 1 3 6 3 6 2 0 0 7 4 6 3 5 1 9
2 4 5 9 6 0 8 8 8 1 1 3 4 6 2 0 6 7 8 0 8 4 8 1 9 7 9 4 3 2 1 4 2 2 0 1 8 4 1 0 7 5 7 7 1 8 1 4 6 5
4 8 5 1 7 6 5 8 1 8 1 1 5 5 8 7 9 4 2 7 6 0 2 6 9 2 0 9 0 0 7 1 9 7 7 2 0 5 3 0 1 4 2 1 8 3 9 9 4 6
2 7 0 5 3 5 9 6 7 5 0 6 1 7 2 6 2 8 0 5 3 1 2 0 7 9 1 6 7 2 2 7 0 9 6 2 9 4 2 6 0 6 7 8 5 6 4 2 8 2
1 9 7 3 4 8 3 0 3 7 2 2 7 3 6 2 8 6 6 8 0 6 9 2 8 2 6 5 1 0 4 4 5 4 0 9 1 1 7 0 9 1 0 1 2 6 1 5 6 1
1 0 5 9 6 1 3 0 6 4 1 8 5 2 9 7 2 4 8 0 8 1 4 0 9 9 8 3 0 2 2 8 9 7 7 9 9 9 2 9 8 2 3 7 4 1 7 9 3 3
0 6 2 0 6 4 7 2 6 3 7 9 9 2 4 3 5 2 3 3 8 6 1 2 7 6 4 8 2 9 7 7 0 2 3 4 4 9 0 0 4 0 8 3 6 2 6 3 9 4
9 2 4 2 3 0 9 7 2 3 7 4 8 3 2 2 I I 4 1 7 3 5 3 4 8 1 0 5 8 0 0 0 6 9 7 2 5 5 3 3 6 0 1 0 6 6 1 7 4
8 6 7 9 i i 1 5 3 4 0 0 2 6 9 3 0 2 1 0 4 8 3 2 3 7 4 1 4 8 6 0 8 9 2 7 5 8 0 7 7 4 4 8 2 3 9 8 7 4
6 0 8 8 5 5 0 2 3 0 5 9 9 7 8 8 6 9 0 9 0 5 0 3 6 3 8 4 7 2 2 6 7 1 0 2 1 8 5 4 1 6 6 1 9 4 4 4 0 7
7 4 0 9 2 1 6 5 0 9 3 2 5 4 7 8 1 7 6 1 4 1 8 4 7 2 3 7 0 6 9 2 4 4 0 2 3 0 7 8 4 3 5 6 0 0 7 4 4 8
9 0 7 5 0 9 7 3 2 2 4 5 7 0 7 1 0 3 2 6 1 4 3 1 8 6 1 4 4 6 2 1 9 7 9 6 8 1 7 3 8 8 0 4 8 8 3 7 9 9
1 4 7 2 5 1 6 6 0 3 8 4 6 0 4 4 0 3 1 5 6 6 7 3 6 2 2 9 3 8 4 9 5 8 8 1 9 4 8 7 9 8 6 6 1 7 2 2 9 8
2 3 2 0 3 2 8 5 0 6 9 8 6 9 6 8 6 0 1 1 2 3 4 0 2 9 1 1 3 0 9 5 5 7 5 4 0 5 8 3 4 4 8 2 1 2 4 8 8 0
4 7 7 1 0 2 6 8 9 7 7 1 7 2 5 1 5 0 2 8 0 0 0 5 4 4 9 4 3 9 0 1 4 7 2 8 7 9 l B 6 0 9 7 8 7 6 5 4 1
1 2 2
T A B L E 7 . 1 ( c o n t . )
R a n d o m N u m b e r s T a b l e
3 6 2 7 6 4 9 2 2 9 1 0 1 3 1 3 2 6 1 8 7 0 4 9 4 6 7 6 8 2 4 0 9 5 0 3 2 3 5 0
9 5 4 9 8 1 6 5 5 9
8 9 9 8 1 8 5 6 6 3 4 4 1 2 3 6 3 8 4 5 7 9 8 6 1 6 3 5 1 8
9 2 7 7 1 7 8 1 3 5 6 0 0 8 0 0 0 3 8 9
4 1
4 6
7 4
5 6
0 1
1 9
6 4
0 3
1 8
4 6
3 4
5 8
3 0
1 7
3 8
8 3
3 6
4 5
3 2
4 5
9 5
5 5
2 3
8 9
9 4
4 2
9 0
8 3
7 1
5 7
9 2
6 2
1 7
7 1
8 3
5 6
0 1
8 9
4 2
1 0
0 0
2 5
3 4
7 6
5 0
8 5
2 6
1 4
1 8
1 2
1 5
9 0
3 0
0 6
5 2
3 9
5 1
6 6
4 9
1 5
8 5
2 4
0 0
9 6
4 5
8 0
1 7
0 1
7 1
9 4
4 7
5 4
5 2
0 8
3 0
5 8 3 5 0 6
1 1 8 2 5 8 0 2 8 2 9 2 0 4 4 8 4 9 4 6 1 3 0 5 7 0 3 9 5 1 6 4 2 7 8 8 9 9 5 0 7 8 5 3
2 5 3 9 0 8 6 5 1 0 4 2 6 6 6 2 7 6 7 8 5 5 9 8 1 4 6 9 2 0 5 7 9 8 0 2 2 6 1 0
8 6 t O 7 2 8 7 4 0
4 5
6 6
4 8
8 1
0 7
0 8
7 9
4 0
3 8
8 5
7 4
8 6
1 1
4 2
8 4
7 8
0 1
i i
4 1
8 4
6 7
2 3
3 0
1 3
6 2
7 1
0 8
3 8
0 3
2 2
7 5
2 6
1 8
6 6
9 5
0 3
6 5
6 6
6 2
5 3
5 3
2 1
8 1
0 8
8 0
4 5
7 8
0 6
9 2
2 8
7 5
9 1
1 9
5 8
3 0
2 9
5 0
4 0
3 7
5 6
8 1
3 1
7 9
5 1
4 9
8 4
9 4
8 5
0 2
0 8
0 7
2 2
1 4
2 4
0 1
6 4
4 3
5 6
8 2
1 0
4 4
0 4
8 0
1 4
1 6
0 5
8 0
2 3
9 5
1 5
2 6
0 1
7 2
1 6
7 2
3 6
6 9
3 8
4 7
6 3
3 3
8 4
4 2
1 0
6 5
7 3
3 9
2 1
0 3
6 4
2 1
7 4
2 3
1 2
3 2
7 5
2 2
3 8
2 0
4 1
1 8
3 8
4 1
4 5
1 8
6 8 2 4 8 1 7 8 9 0 7 2 7 7 3 2 4 6 7 4 5 6 2 1 4 6 7 1 6 6
8 0 6 1 4 9 7 8 6 4 3 9 3 2 8 5 8 4 4 7
6 8 3 9 4 2 1 5 6 4 1 4 5 0 4 4 5 4 9 8 6 4 6 6 6 6 0 8 9 6 8 2 5 7 0 7 6 0 7 3 8 8 0 1 1 8 6 8 2 1
8 4 1 0 9 5 2 6 0 0 1 0 5 1 6 5 0 3 8 5 3 5 5 1 7 0 1 8 4 0
6 1 3 1 6 0 4 6 9 1 9 8 6 0 8 0 3 4 3 5
0 6 8 2 4 2 6 1 3 6 8 5 6 2 4 2 2 5 9 1 1 2 1 3 1 4 3 0 4 1 7 4 2 1 4 0 9 4 5 0 7 0 8 8 6 9 0 8 1 5
2 3 0 9 7 9 0 3 1 3 4 5 2 1 5 5 0 4 0 2 4 2 5 5 6 0 8 8 5 0 7 3 8 0 6 4 4 2 2 2
1 8 9 9 3 4 8 1 8 4
9 7 8 3 2 1 0 8 1 7 0 6 2 5 5 4 9 7 1 5 6 0 6 1 0 4 6 8 4 9 9 4 7 6 2 0 7 8 3 6 2 6 4 8 0 3 5 9 7 2
8 4 7 6 4 0 5 6 5 5 8 8 6 8 8 1 0 1 6 3 3 8 4 5 4 7 5 9 4 8 5 7 0 3 4 5 0 1 4 8 9 1 9 3 6 8 0 2 1 2
5 3 6 1 3 3 0 1 3 0
5 2 3 3 1 4 7 4 5 6 1 8 8 7 6 2 9 1 5 3 2 3 5 6 3 4 3 5 2 4 6 2 8 9 4 3 6 3 9 6
3 9 0 4 9 9 9 9 8 8 0 8 7 7 0 1 1 0 0 1 2 2 6 4 6 0 5 1 2 5 7 3 5 0 6 1 0 4 7 9 3 8 9 1 5 1 2 9 1 9
7 1 2 6 7 2 6 7 2 5 9 2 3 6 0 1 7 7 8 6 1 9 5 4 6 5 5 1 6 1 6 4 4 9 8 9 8 4 1 9 5 4 8 3 9 2 6 8 9 4
5 0 5 2 7 2 9 5 1 8 2 3 6 5 0 4 7 8 7 3 4 0 8 8 5 6 3 8 9 6
8 9 5 3 7 2 5 4 4 2 1 4 4 8 6 6 6 7 2 6
7 2 3 8 3 5 2 8 7 2 8 7 3 3 6 0 0 4 4 4 2 0 7 6 8 0 3 7 1 9 3 7 6 1 4 7 4 7 9 7 4 8 0 7 5 8 0 3 8 1
9 8 9 6 9 5 8 5 4 0 2 3 0 8 0 4 3 4 8 9 8 8 6 8 4 6 9 2 5 3 9 9 1 9 0 2 6 0 2 5
2 4 4 4 0 6 3 0 4 3
1 0 9 8 8 0 9 5 1 6 3 3 6 7 2 5 7 3 9 8
8 5 6 1 0 4 7 2 8 2 3 9 3 9 9 2 8 2 1 5 5 9 8 8 4 2 5 7 3 9
0 6 7 3 6 9 9 7 8 8 7 8 3 6 0 3 0 5 6 6 2 2 6 1 5 3 3 2 4 8 4 1 0 8 3 3 0 9 1 5 7 7 0 6 0 4 8 7 9 5
0 0 4 9 2 7 2 2 9 3
6 5 6 5 0 6 2 8 8 8 4 3 2 4 6 5 9 6 1 4
6 7 1 9 3 0 7 0 8 6 5 3 6 1 4 6 6 2 3 5
1 6 1 4 9 9 6 3 5 9 1 5 2 5 4 4 9 7 4 9 9 7 7 4 5 1 4 2 5 0
3 0 6 2 5 1 6 5 1 9 8 1 7 6 3 2 6 9 7 8
9 2 1 7 7 9 4 5 0 6 8 7 2 8 8 7 9 1 1 0 3 8 1 3 9 4 2 3 0 0 7 5 9 9 6 3 6 2 7 1 7 2 I I 5 0 4 4 5 9
9 1 8 4 0 0 1 3 7 0 1 9 3 2 4 1 3 8 8 6
2 1 3 5 5 1 0 1 7 2 5 1 1 8 9 5 6 7 3 1 6 4 3 6 8 8 9 4 0 8
l B 8 9 7 5 4 1 9 1 7 1 5 0 1 2 5 2 6 7
5 7 9 8 6 6 7 8 2 9 4 3 4 8 7 9 2 0 8 2
1 9 9 2 1 7 1 7 8 1
1 8 1 5 5 4 3 8 6 9 2 1 0 9 4 9 4 6 7 9 1 2 9 6 8 8 1 2 8 2 8 4 1 4 3 4 4 9 6 0 6 1 0 0 6 4 9 7 7 5
2 5 6 7 1 9 4 5 2 2 3 8 1 2 1 5 4 5 1 6 8 1 9 9 0 4 0 2 2 7
9 2 6 1 2 7 5 0 9 5 1 0 5 0 9 2 2 8 9 3
5 0 7 4 0 3 5 9 5 8 3 7 i i 9 5 4 2 7 1
5 9 7 3 5 0 4 1 5 6 4 4 2 8 2 5 3 7 8 8 5 7 9 5 4 4 0 7 5 3
1 5 3 7 1 8 7 1 8 1 8 8 2 7 9 1 6 7 7 7 2 9 5 4 0 1 1 7 2 5 0 5 9 1 4 6 6 5 2 2 8 0 6 6 9 3 0 2 4 1
5 8 2 ' ? 8 1 5 2 7 1 1 1 3 1 3 5 3 5 2 5 7 1 7 1 6 3 1 1 2 0 1 9 3 8 4 9 1 0 3 7 1 2 6 7 4 1 4 0 6 0
0 2 7 0 6 1 1 0 2 6 5 7 7 4 7 1 2 9 6 9 8 9 1 4 3 0 8 0 1 9 6 2 1 6 6 2 6 3 4 2 8 2 1 9 6 1 5 5 8 0
3 6 1 8 2 2 1 3 0 5 5 5 9 7 3 5 5 1 7 3 9 8 4 6 2 0 6 2 1 3
1 4 6 5 0 7 7 6 6 2 3 2 9 4 6 0 2 3 2 7
4 2 3 0 7 0 5 7 8 1 6 7 8 5 9 7 2 8 6 3 6 8 7 1 1 1 4 4 7 1 1 3 6 9 2 2 0 2 8 6 7 2 3 3 0 5 6 1 5 3
7 7 8 6 8 4 7 3 3 8 7 3 0 0 7 1 5 5 8 4 4 0 0 5 6 2 8 4 2 3 2 5 0 6 1 3 7 9 7 5 1 1 5 9 7 3 5 9 6 1
5 1 3 2 3 8 4 5 0 8 7 3 8 4 7 5 0 1 6 5 3 4 4 9 9 9 2 1 3 8
8 5 4 3 7 4 4 1 8 3 2 2 3 9 7 8 2 4 2 6
5 7 0 0 0 3 3 6 5 0 1 5 5 7 0 8 4 1 8 2 6 2 6 0 5 9 5 7 1 5 9 8 9 7 7 2 . 3 5 6 9 6 7 8 8 0 5 2 3 3 3
0 2 8 9 6 7 4 1 3 6 2 0 4 9 7 3 0 4 5 7 0 4 8 4 2 4 5 0 1 6 4 6 6 5 4 5 9 2 4 4 9 8 3 8 6 3 5 0 8 4
0 5 2 0 9 8 5 4 8 9 5 0 7 0 8 2 0 3 1 3 4 5 9 9 7 8 2 3 5 7 1 1 0 3 4 5 5 2 7 7 3 4 1 8 2 9 9 6 0 8
7 5 0 9 5 4 9 0 0 5 ' 7 4 3 9 3 2 2 7 1 4 1 0 9 6 5 9 9 7 1 0
1 6 6 0 9 3 8 6 2 1 6 6 9 9 0 7 1 6 4 9
3 4 5 2 5 2 2 1 5 6 0 8 5 4 4 6 6 5 0 5
4 9 4 9 3 8 1 9 6 5 4 9 3 5 6 5 6 5 1 3
6 2 7 5 2 7 5 3 3 9
1 7 8 7 5 3 3 3 0 8 1 5 7 0 8 7 0 9 1 7 6 6 1 0 3 4 7 1 8 9 3 6 7 5 4 0 5 4 5 1 0 8 7 2 5 6 3 6 9 5
7 8 9 5 4 8 9 3 7 0 4 5 8 7 3 5 3 0 5 3 5 1 4 3 0 3 7 3 7 4 0 6 0 0 5 1 9 6 9 6 2 4 4 3 3 1 5 5 9 1
1 3 9 5 6 0 1 9 0 2 2 9 7 9 6 6 1 1 1 1 9 9 0 5 2 7 4 6 0 3 1 8 8 5 1 4 2 3 7 3
7 5 8 5 6 2 1 6 8 0
1 2 3
g
1
0
z
-
.
1 E
N
0
1 2 4
T A B L E 7 . 3
C r i t i c a l A b s o l u t e R a n k S u m D i f f e r e n c e s
f o r " A l l T r e a t m e n t s " C o m p a r i s o n s
a t 5 % L e v e l o f S i g n i f i c a n c e
' E x a c t v & u e s a d a p t e d f r o m F l o l l a n d e , a n d W o l f e ( 1 9 7 3 ) a r e u s e d f o r u p t O 1 5 p a n e l -
s t s
5 l n t e r p o l a t o n m a y b e u s e d f o r u r t s p e c i f i e t a b l e v a l u e s i n . o l v i n g m o r e t h a n 5 0 p a n e l -
i S t S
N u m b e r o f s a m p l e s
P a n & s l s 3 4 5 6 7 8 9 1 0 1 1 1 2
3 6 8 1 1 1 3 1 5 1 8 2 0 2 3 2 5 2 8
4 7 1 0 1 3 1 5 1 8 2 1 2 4 2 7 3 0 3 3
5 8 1 1 1 4 1 7 2 1 2 4 2 7 3 0 3 4 3 7
6
9 1 2 1 5 1 9 2 2 2 6 3 0 3 4 3 7 4 2
7 1 0 1 3 1 7
2 0 2 4 2 8 3 2 3 6 4 0 4 4
8 1 0 1 4 1 8
2 2 2 6 3 0 3 4 3 9 4 3 4 7
9 1 0 1 5 1 9 2 3 2 7 3 2 3 6 4 1 4 6 5 0
1 0 1 1 1 5 2 0 2 4 2 9 3 4 3 8 4 3 4 8 5 3
1 1 1 1 1 6 2 1 2 6 3 0 3 5 4 0 4 5 5 1 5 6
1 2 1 2 1 7 2 2 2 7 3 2 3 7 4 2 4 8 5 3 5 8
1 3 1 2
1 8 2 3 2 8 3 3 3 9 4 4
5 0 5 5 6 1
1 4 1 3 1 8 2 4
2 9 3 4 4 0 4 6 5 2 5 7 6 3
1 5
1 3 1 9 2 4 3 0 3 6 4 2 4 7 5 3 5 9 6 6
1 6 1 4 1 9 2 5 3 1 3 7 4 2 4 9 5 5 6 1 6 7
1 7 1 4 2 0 2 6 3 2 3 8 4 4 5 0 5 6 6 3 6 9
1 8
1 5 2 0 2 6 3 2 3 9 4 5 5 1 5 8 6 5 7 1
1 9 1 5 2 1 2 7 3 3 4 0 4 6 5 3 6 0 6 6 7 3
2 0 1 5 2 1 2 8 3 4 4 1 4 7 5 4 6 1 6 8 7 5
2 1
1 6 2 2 2 8 3 5 4 2 4 9
5 6 6 3 7 0 7 7
2 2 1 6 2 2 2 9 3 6 4 3 5 0 5 7 6 4 7 1 7 9
2 3 1 6 2 3 3 0 3 7 4 4 5 1 5 8 6 5 7 3 8 0
2 4 1 7 2 3 3 0 3 7 4 5 5 2 5 9 6 7 7 4 8 2
2 5 1 7 2 4 3 1 3 8 4 6 5 3 6 1 6 8 7 6 8 4
2 6 1 7 2 4 3 2 3 9 4 6 5 4 6 2 7 0 7 7 8 5
2 7 1 8 2 5 3 2 4 0 4 7 5 5 6 3 7 1 7 9 8 7
2 8 1 8 2 5 3 3 4 0 4 8 5 6 6 4 7 2 8 0 8 9
2 9 1 8 2 6 3 3 4 1 4 9 5 7 6 5 7 3 8 2 9 0
3 0 1 9 2 6 3 4 4 2 5 0 5 8 6 6 7 5 8 3 9 2
3 1 1 9 2 7 3 4 4 2 5 1 5 9 6 7 7 6 8 5 9 3
3 2 1 9 2 7 3 5 4 3 5 1 6 0 6 8 7 7 8 6 9 5
3 3 2 0 2 7 3 6 4 4 5 2 6 1 7 0 7 8 8 7 9 6
3 4 2 0 2 8 3 6 4 4 5 3 6 2 7 1 7 9 8 9 9 8
3 5 2 0 2 8 3 7 4 5 5 4 6 3 7 2 8 1 9 0 9 9
3 6 2 0 2 9 3 7 4 6 5 5 6 3 7 3 8 2 9 1 1 0 0
3 7 2 1 2 9 3 8 4 6 5 5 6 4 7 4
8 3 9 2 1 0 2
3 8 2 1 2 9 3 8 4 7 5 6 6 5 7 5 8 4 9 4 1 0 3
3 9 2 1 3 0 3 9 4 8 5 7 6 6 7 6 8 5 9 5 1 0 5
4 0 2 1 3 0 3 9 4 8 5 7 6 7 7 6 8 6 9 6 1 0 6
4 1 2 2 3 1 4 0 4 9 5 8 6 8 7 7 8 7 9 7 1 0 7
4 2 2 2 3 1 4 0 4 9 5 9 6 9 7 8 8 8 9 8 1 0 9
4 3
2 2 3 1 4 1 5 0 6 0 6 9 7 9 8 9 9 9 1 1 0
4 4 2 2 3 2 4 1 5 1 6 0 7 0 8 0 9 0 1 0 1 1 1 1
4 5 2 3 3 2 4 1
5 1 6 1 7 1 8 1 9 1 1 0 2 1 1 2
4 6 2 3 3 2 4 2 5 2 6 2 7 2 8 2 9 2 1 0 3 1 1 4
4 7 2 3 3 3 4 2 5 2 6 2 7 2 8 3 9 3 1 0 4 1 1 5
4 8 2 3 3 3 4 3 5 3 6 3 7 3 8 4 9 4 1 0 5 1 1 6
4 9 2 4 3 3 4 3 5 3 6 4
7 4 8 5 9 5 1 0 6 1 1 7
5 0 2 4 3 4 4 4 5 4 6 4 7 5 8 5 9 6 1 0 7 1 1 8
5 5 2 5 3 5 4 6 5 6 6 7 7 8 9 0 1 0 1 1 1 2 1 2 4
6 0 2 6 3 7 4 8 5 9 7 0 8 2 9 4 1 0 5 1 1 7 1 3 0
6 5 2 7 3 8 5 0 6 1 7 3 8 5 9 7 1 1 0 1 2 2 1 3 5
7 0 2 8 4 0 5 2 6 4 7 6 8 8 1 0 1 1 1 4 1 2 7 1 4 0
7 5
2 9 4 1 5 3 6 6 7 9 9 1 1 0 5 1 1 8 1 3 1 1 4 5
8 0 3 0 4 2 5 5 6 8 8 1 9 4 1 0 8 1 2 2 1 3 6 1 5 0
8 5 3 1 4 4 5 7 7 0 8 4 9 7 1 1 1 1 2 5 1 4 0 1 5 4
9 0 3 2 4 5 5 8 7 2 8 6 1 0 0 1 1 4 1 2 9
1 4 4 1 5 9
9 5 3 3 4 6 6 0 7 4 8 8 1 0 3 1 1 8 1 3 3 1 4 8 1 6 3
1 0 0 3 4 4 7 6 1
7 6 9 1 1 0 5 1 2 1 1 3 6 1 5 1 1 6 7
N
T A B L E 7 . 4
C r i t i c a l A b s o l u t e R a n k S u m D i f f e r e n c e s
f o r " A l l T r e a t m e n t s ' C o m p a r i s o n s
a t 1 % L e v e l o f S i g n i f i c a n c e
N u m b e r o f s a m p l e s
P a n e l i s t s 3
4 5 6 7 8 9 1 0 1 1 1 2
3 - 9 1 2 1 4 1 7 1 9 2 2 2 4 2 7 3 0
4
8 1 1 1 4 1 7 2 0 2 3 2 6 2 9 3 2 3 6
5 9 1 3 1 6 1 9 2 3 2 6 3 0 3 3 3 7 4 1
6 1 0 1 4 1 8 2 1 2 5 2 9 3 3 3 7 4 1 4 5
7 1 1 1 5 1 9 2 3 2 8 3 2 3 6 4 0 4 5 4 9
8 1 2 1 6 2 1 2 5 3 0 3 4 3 9 4 3 5 3
9 1 3 1 7 2 2 2 7 3 2 3 6 4 1 4 6 5 1 5 6
1 0 1 3 1 8 2 3 2 8 3 3 3 8 4 4 4 9 5 4 5 9
1 1 1 4 1 9 2 4 3 0 3 5 4 0 4 6 5 1 5 7 6 3
1 2 1 5 2 0 2 6 3 1 3 7 4 2 4 8 5 4 6 0 6 6
1 3 1 5 2 1 2 7 3 2 3 8 4 4 5 0 5 6 6 2 6 8
1 4 1 6 2 2 2 8 3 4 4 0 4 6 5 2 5 8 6 5 7 1
1 5 1 6 2 2 2 8 3 5 4 1 4 8 5 4 6 0 6 7 7 4
1 6 1 7 2 3 3 0 3 6 4 3 4 9 5 6 6 3 7 0 7 7
1 7 1 7 2 4 3 1 3 7 4 4 6 1 5 8 6 5 7 2 7 9
1 8 1 8 2 5 3 1 3 8 4 5 5 2 6 0 6 7 7 4 8 1
1 9 1 8 2 5 3 2 3 9 4 6 5 4 6 1 6 9 7 6 8 4
2 0 1 9 2 6 3 3 4 0 4 8 5 5 6 3 7 0 7 8 8 6
2 1 1 9 2 7 3 4
4 1 4 9 5 6 6 4 7 2 8 0 8 8
2 2 2 0 2 7 3 5 4 2 5 0 5 8 6 6 7 4 8 2 9 0
2 3 2 0 2 8 3 5 4 3 5 1 5 9 6 7 7 5 8 4 9 2
N
2 4 2 1 2 8 3 6
4 4
5 2 6 0 6 9 7 7 8 5 9 4
2 5 2 1 2 9 3 7 4 5 5 3 6 2 7 0 7 9 8 7 9 6
2 6 2 2 2 9 3 8 4 6 5 4 6 3 7 1 8 0 8 9 9 8
2 7 2 2 3 0 3 8 4 7 5 5 6 4 7 3 8 2 9 1 1 0 0
2 8 2 2 3 1 3 9 4 8 5 6 6 5 7 4 8 3 9 2 1 0 1
2 9 2 3 3 1 4 0 4 8 5 7 6 6 7 5 8 5 9 4 1 0 3
3 0 2 3 3 2 4 0 4 9 5 8 6 7 7 7 8 6 9 5 1 0 5
3 1 2 3 3 2 4 1 5 0 5 9 6 9 7 8 8 7 9 7 1 0 7
3 2 2 4 3 3 4 2 5 1 6 0 7 0 7 9 8 9 9 9 1 0 8
3 3 2 4 3 3 4 2 5 2 6 1 7 1 8 0 9 0 1 0 0 1 1 0
3 4 2 5 3 4 4 3 5 2 6 2 7 2 8 2 9 2 1 0 2 1 1 2
3 5 2 5 3 4 4 4 5 3 6 3 7 3 8 3 9 3 1 0 3 1 1 3
3 6 2 5 3 5 4 4 5 4 6 4 7 4 8 4 9 4 1 0 5 1 1 5
3 7 2 6 3 5 4 5 5 5 6 5 7 5 8 5 9 5 1 0 6 1 1 7
3 8 2 6 3 6 4 5 5 5 6 6 7 6 8 6 9 7 1 0 7 1 1 8
3 9 2 6 3 6 4 6 5 6 6 6 7 7 8 7 9 8 1 0 9 1 2 0
4 0 2 7 3 6 4 7 5 7 6 7 7 8 8 8 9 9 1 1 0 1 2 1
4 1 2 7 3 7 4 7 5 7 6 8 7 9 9 0 1 0 0 1 1 2 1 2 3
4 2 2 7 3 7 4 8 5 8 6 9 8 0 9 1 1 0 2 1 1 3 1 2 4
4 3 2 8 3 8 4 8 5 9 7 0 8 1 9 2 1 0 3 1 1 4 1 2 6
4 4 2 8 3 8 4 9 6 0 7 0 8 2 9 3 1 0 4 1 1 5 1 2 7
4 5 2 8 3 9 4 9 6 0 7 1 8 2 9 4 1 0 5 1 1 7 1 2 8
4 6 2 8 3 9 5 0 6 1 7 2 8 3 9 5 1 0 6 1 1 8 1 3 0
4 7 2 9 3 9 5 0 6 2 7 3 8 4 9 6 1 0 8 1 1 9 1 3 1
4 8 2 9 4 0 5 1 6 2 7 4 8 5 9 7 1 0 9 1 2 1 1 3 3
4 9 2 9 4 0 5 1 6 3 7 4 8 6 9 8 1 1 0 1 2 2 1 3 4
5 0 3 0 4 1 5 2 6 3 7 5 8 7 9 9 1 1 1 1 2 3 1 3 5
5 5 3 1 4 3 5 4 6 6 7 9 9 1 1 0 4 1 1 6 1 2 9 1 4 2
6 0 3 2 4 5 5 7 6 9 8 2 9 5 1 0 8 1 2 1 1 3 5 1 4 8
6 5 3 4 4 6 5 9 7 2 8 6 9 9 1 1 3 1 2 6 1 4 0 1 5 4
7 0 3 5 4 8 6 1 7 5 8 9 1 0 3 1 1 7 1 3 1 1 4 6 1 6 0
7 5 3 6 5 0 6 4 7 8 9 2 1 0 6 1 2 1 1 3 6 1 5 1 1 6 6
8 0 3 7 5 1 6 6 8 0 9 5 1 1 0 1 2 5 1 4 0 1 5 6 1 7 1
8 5 3 8 5 3 6 8 8 3 9 8 1 1 3 1 2 9 1 4 4 1 6 0 1 7 6
9 0 4 0 5 4 7 0
8 5 1 0 1 1 1 6 1 3 2 1 4 9 1 6 5 1 8 1
9 5 4 1 5 6 7 1 8 7 1 0 3 1 2 0 1 3 6 1 5 3 1 6 9 1 8 6
1 0 0 4 2 5 7 7 3 8 9 1 0 6 1 2 3 1 4 0 1 5 7 1 7 4 1 9 1
E x a c t v a l u e s a d a p t e d f r o m H o l l a n d e r m d W o l f e 1 9 7 3 ) a r e u s e d f o r u p t o 1 6 p a n e l -
i S t s .
b l n i e r p o l a t i o n m a y b e u s e d f o r u n s p e c i f i e d t a b l e v a l u e s i n v o l v i n g m o r e t h a n 5 0 p a n e l -
i s t s .
1 2 5
1 2 6
7 . 5

5 %

v 8 )

T A B L E 7 . 6 ( c o n t . )
F D i s t r i b u t i o n
1 % L e v e l o f S i g n i f i c a n c e
1 2 9
3 0 1 2 3 5 2 0 2 4 3 0 4 0 6 0 1 2 0
1
6 0 5 5 8 6 1 0 6 - 2 6 1 5 7 3 6 2 0 8 7 6 2 3 4 6 6 2 0 0 7 6 2 9 6 - 8 6 3 3 3 - 0 6 3 3 ( 4 - 4 0 3 6 6 1 )
2 9 9 - 3 9 9 9 9 - 4 1 6 9 9 - 4 3 2 9 9 - 4 4 9 9 9 4 5 8 9 9 - 4 6 6 9 9 - 4 7 9 o 4 5 3 9 1 1 - 4 ( n 9 9 - 5 1 ) !
3 2 7 - 2 2 0 2 7 - 0 5 2 2 6 - 8 7 2 2 6 - 6 9 0 2 6 - 2 9 8 2 6 - 5 0 5 2 6 4 1 1 2 6 3 1 6 2 ( 1 2 2 ! 2 6 1 2 2
4 1 4 5 4 6 1 4 3 7 4 1 4 1 9 8 1 4 0 2 0 1 3 - 9 2 9 ( 3 - 8 3 8 1 3 - 7 4 5 1 3 - 6 5 2 1 3 5 5 8 1 3 4 6 3
1 0 - 0 5 1 9 - 8 8 8 3 9 - 7 2 2 2 9 5 5 2 7 9 - 4 6 6 5 9 - 3 7 9 3 9 - 2 0 3 2 9 - 2 1 ) 2 ( 4 9 1 1 1 $ 9 0 2 0 4
6 7 8 7 4 1 7 7 1 8 3 7 ' 5 5 9 0 7 3 9 5 8 7 - 3 1 2 7 7 - 2 2 8 5 7 - 1 4 3 2 7 0 5 6 8 6 - 9 6 0 0 6 8 8 1 1 1
7 6 - 6 2 0 1 6 - 4 6 9 1 6 - 3 1 4 3 6 - 1 5 5 4 6 - 0 7 4 3 5 - 9 0 2 ! 5 - 9 0 8 4 5 - 8 2 3 6 5 - 7 3 7 2 5 - 6 4 9 5
8 5 - 8 1 4 3 5 - 1 1 6 6 8 5 - 5 1 5 1 5 - 3 5 9 ! 5 - 2 7 9 3 5 . 1 9 8 1 5 - I s O 5 - 0 3 1 6 4 - 1 4 4 9 ) 4 - 9 5 5 8
9 5 - 2 5 6 5 5 - 1 1 1 4 4 - 9 6 2 1 4 - 8 0 8 0 4 7 2 9 ( 4 4 - 0 4 5 ( 1 4 - 5 6 0 7 4 4 6 3 1 4 3 9 7 5 4 3 1 1 ) 5
1 0 4 - 8 4 8 2 4 - 7 0 5 9 4 - 5 5 8 2 4 - 4 0 5 4 4 3 2 6 9 4 - 2 4 4 ) 9 4 - l o s : ! 4 4 4 6 9 3 - 9 9 0 7 4 ( 4 ( 4 9 0
I I 4 - 5 3 9 3 4 - 3 0 7 4 4 - 2 5 0 0 4 - 0 0 1 ( 0 4 ( 4 2 0 1 ) 3 - 9 4 ) ! 3 - 9 7 9 0 3 - 7 7 ( 4 ) 3 - 6 ( 6 3 ! 3 0 9 2 . 7
I S 4 - 2 1 4 4 1 1 4 - 3 5 5 3 4 - 0 0 9 1 1 3 - 8 5 8 4 : 1 - 7 8 0 5 : 4 - 7 0 0 9 3 6 1 9 2 3 : 1 ( - ( ( 4 4 3 - 3 ( 9 ( 8
1 3 4 - 1 4 ( 4 ( 3 3 - 9 4 4 0 3 3 - 8 3 5 4 3 - 6 6 4 6 3 - 5 8 ) 4 5 3 - 2 4 ) 7 u : 1 4 2 . 7 : ) 3 : 1 4 1 3 : 3 - 2 7 4 8 3 ) 6 5 4
1 4 3 - 0 : 3 0 4 3 - 8 0 4 ( 1 3 - 6 5 5 7 : 1 - 4 2 7 4 : 1 : 1 4 7 ( 4 : 1 - 2 6 5 6 : 3 I s ) : ) : 1 5 4 2 4 3 0 4 4
1 5 3 - 8 0 4 9 3 - 6 6 6 2 3 - 5 2 2 2 3 - 3 7 1 9 : 1 - 2 9 4 0 3 - 2 ) 4 ) : 1 - 1 : 1 ) 9 : 1 ( 1 1 7 ) 2 - 9 5 9 5 2 - 8 6 5 4
1 6 3 - 6 9 0 9 3 - 1 ( 5 2 7 3 - 4 0 8 9 3 - 2 5 8 8 : 1 - 1 8 0 8 3 3 0 0 7 3 - 0 ) 8 2 2 - 9 3 3 ) 3 2 - 8 4 4 7 2 - 7 S 2 9
1 7 3 - 5 9 3 ! 3 - 4 5 5 2 3 - 3 3 I ? 3 - 1 ( 4 3 5 : 1 ( 4 8 : 1 5 3 - 0 0 3 2 2 - 9 2 0 5 2 - 8 3 4 8 2 - 7 4 5 9 2 - 6 5 : 1 0
1 8 3 - 5 0 8 2 3 - 3 7 0 6 3 - 2 2 7 3 3 - 0 7 7 1 2 - 0 0 9 0 2 - 9 1 8 5 2 - 8 3 5 4 2 - 7 4 9 : ! 2 - 6 5 1 4 7 2 - 5 6 6 4 )
1 9 3 - 4 3 3 8 3 - 2 9 6 5 3 - 1 5 3 3 3 - 0 ( 4 3 ! 2 - 9 2 4 9 2 - 8 4 4 2 2 - 7 6 1 ) 8 2 - 6 7 4 2 2 - 5 8 3 9 2 - 4 8 ( 4 : )
2 0 3 - 3 6 8 2 3 - 2 3 1 1 3 - 0 8 8 0 2 - 9 3 7 7 2 - 8 5 9 4 2 - 7 7 8 5 2 - 6 9 4 7 2 - 6 0 7 7 2 - 5 1 6 8 2 - 4 2 1 2
2 ! 3 - 3 0 9 8 3 l 7 2 9 3 0 2 O 9 2 - 8 7 8 6 2 - 8 0 1 1 2 - 7 2 0 4 4 2 - 6 3 5 9 2 - 5 4 8 4 2 - 4 5 6 8 2 - 3 6 0 3
2 2 3 - 2 6 7 6 3 1 2 0 9 2 - 9 7 8 0 2 - 8 2 7 4 2 - 7 4 8 8 2 - 8 6 7 5 2 - 5 8 3 ! 2 - 4 9 5 ! 2 - 4 0 2 9 2 - 3 0 5 5
2 3 3 - 2 1 0 6 3 - 0 7 4 0 2 - 9 3 1 1 2 - 7 8 0 5 2 - 7 0 1 7 2 - 6 2 0 2 2 - 5 3 5 5 2 - 4 4 7 ! 2 - 3 5 4 2 2 - 2 5 5 9
2 4 3 - 1 6 8 1 3 - 0 3 1 6 2 - 8 8 8 7 2 - 7 3 4 0 ) 2 - 6 5 9 ! 2 - 5 7 7 3 2 - 4 9 2 : 3 2 - 4 0 3 5 2 3 0 9 0 2 - 2 3 0 7
2 5 3 1 2 9 4 2 - 9 9 3 1 2 . 8 5 0 2 2 6 9 9 3 2 - 0 2 0 3 2 - 5 3 8 3 2 - 4 5 3 0 2 - 3 6 3 7 2 - 2 6 9 5 2 - 1 6 9 4
2 6 3 - 0 9 4 1 2 - 9 5 7 9 2 - 8 1 5 0 2 - 6 6 4 0 2 - 5 8 4 8
2 - 5 0 2 6 2 - 4 1 7 ( 4 2 - 3 2 7 3 2 - 2 3 2 5 2 - 1 3 1 5
2 7 3 - 0 6 1 8 2 9 2 5 6 2 7 8 2 7 2 6 3 1 6 2 - 5 5 2 2 2 - 4 6 9 9 2 - 3 8 4 ) ) 2 - 2 9 3 8 2 1 9 8 4 2 - 0 9 6 5
2 8 3 - 0 3 2 0 2 - 8 9 5 9 2 - 7 5 3 0 2 - 6 0 1 7 2 - 5 2 2 3 2 - 4 3 9 7 2 - 3 5 : 1 5 2 - 2 6 2 ( 1 2 - 1 6 7 0 2 - 0 6 4 2
2 9 3 - 0 0 4 5 2 - 8 6 8 5 2 - 7 2 5 6 2 5 7 4 2 2 - 4 1 3 4 6 2 - 4 1 1 8 2 - 3 2 5 3 2 - 2 : 3 4 4 2 - 1 3 7 8 2 - 0 3 4 2
3 0 2 - 9 7 9 1 2 - 8 4 3 1 2 7 0 0 2 2 - 5 4 8 7 2 - 4 6 8 9 2 - 3 8 6 0 2 - 2 1 3 0 2 2 - 2 0 7 9 2 - 1 1 0 7 2 - 0 0 6 2
4 0 2 - 8 0 0 5 2 - 6 0 4 8 2 - 5 2 1 6 2 - 3 0 8 9 2 - 2 8 8 0 2 - 2 0 3 4 2 - 1 1 4 2 2 - 0 3 9 4 1 - 9 3 7 2 3 - 8 0 4 7
0 0 2 - 6 3 1 8 2 4 9 6 1 2 - 3 5 2 3 2 1 9 7 8 2 - 1 1 5 4 2 - 0 2 8 5 1 - 9 3 0 1 4 1 - 8 3 6 3 1 - 7 2 6 3 3 - 0 0 0 6
1 2 0 2 4 7 2 1 2 3 3 6 3 2 - 1 9 1 5 2 - 0 3 4 0 1 - 9 5 0 0 1 8 0 0 0 1 7 6 2 8 1 6 5 5 7 1 - 5 3 3 0 1 - 3 8 0 5
2 3 2 0 9 2 - 3 8 4 8 2 - 0 3 8 5 1 8 7 8 3 1 7 9 0 8 1 0 9 6 4 3 5 9 2 3 1 4 7 3 0 1 - 3 2 4 6 1 - 0 0 0 0
T
A
B
L
E

7
.
7
C
r
i
t
i
c
a
l

V
a
l
u
e
s

(
Q

V
a
l
u
e
s
)

f
o
r

D
u
n
c
a
n
'
s

N
e
w

M
u
l
t
i
p
l
e

R
a
n
g
e

T
e
s
t
5
%

L
e
v
e
l

o
f

S
i
g
n
i
f
i
c
a
n
c
e
v

=

d
f
(
E
r
r
o
r
)
p

=

n
u
m
b
e
r

o
f

m
e
a
n
s

w
i
t
h
i
n

r
a
n
g
e

b
e
i
n
g

c
o
m
u
r
e
d
.
p
2
3
4
5
6
7
8
9
1
0
I
I
1
2
1
3
1
4
1
5
1
6
1
7
1
8
1
9
1
1
7
.
9
7
1
7
.
9
7
1
7
.
9
7
1
7
.
9
7
1
7
.
9
7
1
7
.
9
7
1
7
.
9
7
1
7
.
9
7
1
7
.
9
7
1
7
.
9
7
1
7
.
9
7
1
7
.
9
7
1
7
.
9
7
1
7
.
9
7
1
7
.
9
7
1
7
.
9
7
1
7
.
9
7
1
7
.
9
7
2
6
.
0
8
5

6
.
0
8
5

6
.
0
8
5

6
.
0
8
5

6
.
0
8
5

6
.
0
8
5
6
.
0
8
5
6
.
0
8
5
6
.
0
8
5
6
.
0
8
5
6
.
0
8
5
6
.
0
8
5

6
.
0
8
5
6
.
0
8
5
6
.
0
8
5

6
.
0
8
5
6
.
0
8
5

6
.
0
8
5
3
4
.
5
0
1
4
.
5
1
6

4
.
5
1
6

4
.
5
1
6

4
.
5
1
6

4
.
5
1
6
4
.
5
1
6

4
.
5
1
6
4
.
5
1
6

4
.
5
1
6

4
.
5
1
6
4
.
5
1
6

4
.
5
1
8
4
.
5
1
6

4
.
5
1
8

4
.
5
1
6

4
.
5
1
6

4
.
5
1
8
4
3
.
9
2
7

4
.
0
1
3

4
.
0
3
3
4
.
0
3
3

4
.
0
3
3

4
.
0
3
3
4
.
0
3
3

4
.
0
3
3
4
.
0
3
3

4
.
0
3
3

4
.
0
3
3
4
.
0
3
3
4
.
0
3
3

4
.
0
3
3
4
.
0
3
3

4
.
0
3
3

4
.
0
3
3

4
.
0
3
3
5
3
.
6
3
5

3
.
7
4
9

3
.
7
9
7
3
.
8
1
4
3
.
8
1
4
3
.
8
1
4
3
.
8
1
4
3
.
8
1
4
3
.
8
1
4
3
.
8
1
4
3
.
8
1
4
3
.
8
1
4
3
.
8
1
4
3
.
8
1
4
3
.
8
1
4

3
.
8
1
4
3
.
8
1
4
3
.
8
1
4
6
3
.
4
6
1
3
.
5
8
7

3
.
6
4
9
3
.
6
8
0
3
.
6
9
4
3
.
6
9
7
3
.
6
9
7
3
.
6
9
7
3
.
6
9
7
3
.
6
9
7
3
.
6
9
7
3
.
6
9
7
3
.
6
9
7
3
.
6
9
7
3
.
6
9
7

3
.
6
9
7

3
.
6
9
7
3
.
6
9
7
7
3
.
3
4
4

3
.
4
7
7

3
.
5
4
8

3
.
5
8
8
3
.
6
1
1
3
.
6
2
2

3
.
6
2
6

3
.
6
2
6
3
.
6
2
6

3
.
6
2
6
3
.
6
2
6

3
.
6
2
8
3
.
6
2
6

3
.
6
2
6

3
.
6
2
6

3
.
6
2
6

3
.
6
2
6

3
.
6
2
6
8
3
.
2
6
1
3
.
3
9
9
3
.
4
7
5

3
.
5
2
1

3
.
5
4
9
3
.
5
6
6

3
.
5
7
5
3
.
5
7
9
3
.
5
7
9
3
.
5
7
9
3
.
5
7
9
3
.
5
7
9
3
.
5
7
9
3
.
5
7
9

3
.
5
7
9

3
.
5
7
9
3
.
5
7
9
3
.
5
7
9
9
3
.
1
9
9
3
.
3
3
9
3
.
4
2
0

3
.
4
7
0

3
.
5
0
2
3
.
5
2
3
3
.
5
3
6

3
.
5
4
4
3
.
5
4
7
3
.
5
4
7
3
.
5
4
7
3
.
5
4
7
3
.
5
4
7
3
.
5
4
7
3
.
5
4
7
3
.
5
4
7
3
.
5
4
7
3
.
5
4
7
1
0
3
.
1
5
1
3
.
2
9
3
3
.
3
7
6

3
.
4
3
0
3
.
4
6
5

3
.
4
8
9
3
.
5
0
5

3
.
5
1
6
3
.
5
2
2
3
.
5
2
5
3
.
5
2
6
3
.
5
2
6
3
.
5
2
6
3
.
5
2
6

3
.
5
2
6

3
.
5
2
6

3
.
5
2
6

3
.
5
2
8
1
1
3
.
1
1
3
3
.
2
5
6

3
.
3
4
2

3
.
3
9
7
3
.
4
3
5
3
.
4
6
2
3
.
4
8
0

3
.
4
9
3
3
.
5
0
1
3
.
5
0
6

3
.
5
0
9
3
.
5
1
0
3
.
5
1
0
3
.
5
1
0

3
.
5
1
0
3
.
5
1
0

3
.
5
1
0

3
.
5
1
0
1
2
3
.
0
8
2

3
.
2
2
5

3
.
3
1
3
3
.
3
7
0

3
.
4
1
0

3
.
4
3
9
3
.
4
5
9
3
.
4
7
4
3
.
4
8
4
3
.
4
9
1
3
.
4
9
6
3
.
4
9
8

3
.
4
9
9
3
.
4
9
9

3
.
4
9
9

3
.
4
9
9

3
.
4
9
9

3
.
4
9
9
3
3
3
.
0
5
5
3
.
2
0
0

3
.
2
8
9

3
.
3
4
8

3
.
3
8
9
3
.
4
1
9
3
.
4
4
2
3
.
4
5
8
3
.
4
7
0
3
.
4
7
8

3
.
4
8
4
3
.
4
8
8

3
.
4
9
0
3
.
4
9
0

3
.
4
9
0

3
.
4
9
0

3
.
4
9
0

3
.
4
9
0
1
4
3
.
0
3
3

3
.
1
7
8

3
.
2
8
8

3
.
3
2
9

3
.
3
7
2
3
.
4
0
3

3
.
4
2
8
3
.
4
4
4
3
.
4
5
7
3
.
4
6
7
3
.
4
7
4
3
.
4
7
9
3
.
4
8
2
3
.
4
8
4
3
.
4
8
4
3
.
4
8
5
3
.
4
8
5

3
.
4
8
5
1
5
3
.
0
1
4

3
.
1
6
0

3
.
2
5
0

3
.
3
1
2
3
.
3
5
8

3
.
3
8
9
3
.
4
1
3

3
.
4
3
2
3
.
4
4
6
3
.
4
5
7
3
.
4
8
5
3
.
4
7
1
3
.
4
7
6
3
.
4
7
8
3
.
4
8
0

3
.
4
8
1
3
.
4
8
1
3
.
4
8
1
1
6
2
.
9
9
8

3
.
1
4
4
3
.
2
3
5

3
.
2
9
8

3
.
3
4
3
3
.
3
7
6
3
.
4
0
2

3
.
4
2
2
3
.
4
3
7
3
.
4
4
9
3
.
4
5
8
3
.
4
6
5

3
.
4
7
0
3
.
4
7
3

3
.
4
7
7

3
.
4
7
8
3
.
4
7
8
3
.
4
7
8
1
7
2
.
9
8
4

3
.
1
3
0

3
.
2
2
2
3
.
2
8
5
3
.
3
3
1
3
.
3
6
6
3
.
3
9
2
3
.
4
1
2
3
.
4
2
9
3
.
4
4
1
3
.
4
5
1
3
.
4
5
9
3
.
4
6
5
3
.
4
6
9
3
.
4
7
3

3
.
4
7
5

3
.
4
7
6

3
.
4
7
6
1
8
2
.
9
7
1
3
.
1
1
8
3
.
2
1
0

3
.
2
7
4
3
.
3
2
1
3
.
3
5
6
3
.
3
8
3
3
.
4
0
5
3
.
4
2
1
3
.
4
3
5

3
.
4
4
5
3
.
4
5
4
3
.
4
6
0
3
.
4
6
5
3
.
4
7
0
3
.
4
7
2
3
.
4
7
4

3
.
4
7
4
1
9
2
.
9
6
0
3
.
1
0
7
3
.
1
9
9

3
.
2
6
4
3
.
3
1
1
3
.
3
4
7

3
3
7
5

3
.
3
9
7
3
.
4
1
5

3
.
4
2
9
3
.
4
4
0

3
.
4
4
9
3
.
4
5
6
3
.
4
6
2
3
.
4
6
7
3
.
4
7
0

3
.
4
7
2
3
.
4
7
3
2
0
2
.
9
5
0

3
.
0
9
7
3
.
1
9
0
3
.
2
5
5
3
.
3
0
3
3
.
3
3
9
3
.
3
6
8
3
.
3
9
1
3
.
4
0
9
3
.
4
2
4
3
.
4
3
6
3
.
4
4
5
3
.
4
5
3
3
.
4
5
9

3
.
4
6
4
3
.
4
6
7

3
.
4
7
0
3
.
4
7
2
2
4
2
.
9
1
9
3
.
0
6
6
3
.
1
6
0
3
.
2
2
6
3
.
2
7
6
3
.
3
1
5

3
3
4
5

3
.
3
7
0

3
3
9
0

3
4
0
6

3
.
4
2
0
3
.
4
3
2
3
.
4
4
1
3
.
4
4
9
3
.
4
5
6
3
.
4
6
1
3
.
4
6
5
3
.
4
6
9
3
0
2
.
8
8
8
3
.
0
3
5
3
.
1
3
1
3
.
1
9
9
3
.
2
5
0

3
.
2
9
0
3
.
3
2
2
3
.
3
4
9

3
.
3
7
1
3
.
3
8
9

3
.
4
0
5
3
.
4
1
8
3
.
4
3
0
3
.
4
3
9

3
.
4
4
7

3
.
4
5
4
3
.
4
6
0
3
.
4
6
6
4
0
2
.
8
5
8
3
.
0
0
6
3
.
1
0
2
3
.
1
7
1
3
.
2
2
4
3
.
2
6
6

3
.
3
0
0

3
.
3
2
8

3
.
3
5
2
3
.
3
7
3

3
.
3
9
0
3
.
4
0
5

3
.
4
1
8

3
.
4
2
9

3
.
4
3
9

3
.
4
4
8

3
.
4
5
6

3
.
4
6
3
6
0
2
.
8
2
9
2
.
9
7
6
3
.
0
7
3
3
.
1
4
3
3
.
1
9
8
3
.
2
4
1
3
.
2
7
7

3
3
0
7

3
.
3
3
3
3
.
3
5
5
3
.
3
7
4
3
.
3
9
1
3
.
4
0
6
3
.
4
1
9
3
.
4
3
1
3
.
4
4
2
3
.
4
5
1
3
.
4
6
0
1
2
0
2
.
8
0
0
2
.
9
4
7
3
.
0
4
5

3
.
1
1
6
3
.
1
7
2
3
.
2
1
7
3
.
2
5
4
3
.
2
8
7

3
.
3
1
4
3
.
3
3
7
3
.
3
5
9
3
.
3
7
7
3
.
3
9
4
3
.
4
0
9

3
.
4
2
3
3
.
4
3
5

3
.
4
4
6
3
.
4
5
7
o
o
2
.
7
7
2
2
.
9
1
8
3
.
0
1
7

3
.
0
8
9

3
.
1
4
6
3
.
1
9
3
3
.
2
3
2

3
.
2
6
5
3
.
2
9
4
3
.
3
2
0
3
.
3
4
3
3
.
3
6
3

3
.
3
8
2
3
.
3
9
9
3
.
4
1
4
3
.
4
2
8

3
.
4
4
2
3
.
4
5
4
U
1
1
U
U
U
U
I
U
U
I
T
A
B
L
E

7
.
7

(
c
o
n
t
.
)
C
r
i
t
i
c
a
l

V
a
l
u
e
s

(
Q

V
a
l
u
e
s
)

f
o
r

D
u
n
c
a
n
'
s

N
e
w

M
u
l
t
i
p
l
e

R
a
n
g
e

T
e
s
t
5
%

L
e
v
e
l

o
f

S
i
g
n
i
f
i
c
a
n
c
e
p
p
2
0
2
2
2
4
2
f
,
2
8
3
0
3
2
3
4
3
6
3
8
4
0
5
0
6
0
7
0
8
0
9
0
1
0
0
1
1
7
.
9
7
1
7
.
9
7
1
7
.
9
7
1
7
.
9
7
1
7
9
7

1
7
9
7
1
7
.
9
7
1
7
.
9
7
1
7
.
9
7
1
7
.
9
7
1
7
.
9
7
1
7
.
9
7
1
7
.
9
7
1
7
.
9
7
1
7
.
9
7
1
7
.
9
7
1
7
.
9
7
2
6
.
0
8
5

6
.
0
8
5
6
.
0
8
5
6
.
0
8
5
6
.
0
8
5
6
.
0
8
5
6
.
0
8
5
6
.
0
8
5
6
.
0
8
5
6
.
0
8
5
6
.
0
8
5
6
.
0
8
5
6
.
0
8
5
6
.
0
8
5
6
.
0
8
5
6
.
0
8
5
6
.
0
8
5
3
4
.
5
1
6

4
.
5
1
6

4
.
5
1
6
4
.
5
1
6
4
.
5
1
6
4
.
5
1
6

4
.
5
1
6

4
.
5
1
6

4
.
5
1
6

4
.
5
1
6
4
.
5
1
6
4
.
5
1
6

4
.
5
1
6
4
.
5
1
6

4
.
5
1
6

4
.
5
1
6

4
.
5
1
6
4
4
.
0
3
3
4
.
0
3
3

4
.
0
3
3

4
.
0
3
3
4
.
0
3
3
4
.
0
3
3

4
.
0
3
3
4
.
0
3
3

4
.
0
3
3
4
.
0
3
3

4
.
0
3
3
4
.
0
3
3

4
.
0
3
3

4
.
0
3
3
4
.
0
3
3
4
.
0
3
3
4
.
0
3
3
5
3
.
8
1
4
3
.
8
1
4
3
.
8
1
4
3
.
8
1
4
3
.
8
1
4
3
.
8
1
4
3
.
8
1
4
3
.
8
1
4
3
.
8
1
4
3
.
8
1
4
3
.
8
1
4
3
.
8
1
4
3
.
8
1
4
3
.
8
1
4
3
.
8
1
4
3
.
8
1
4
3
.
8
1
4
6
3
.
6
9
7
3
.
6
9
7
3
.
6
9
7
3
.
6
9
7
3
.
6
9
7
3
.
6
9
7
3
.
6
9
7
3
.
6
9
7
3
.
6
9
7
3
.
6
9
7
3
.
6
9
7

3
.
6
9
7
3
.
6
9
7
3
.
6
9
7
3
.
6
9
7

3
.
6
9
7
3
.
6
9
7
7
3
.
6
2
6
3
.
6
2
6

3
.
6
2
6
3
.
6
2
6

3
.
6
2
6
3
.
6
2
6

3
.
6
2
6
3
.
6
2
6

3
.
6
2
6
3
.
6
2
6

3
.
6
2
6
3
.
6
2
6
3
.
6
3
6
3
.
6
2
6
3
.
6
2
6

3
.
6
2
6
3
.
6
2
6
8
3
.
5
7
9
3
.
5
7
9
3
.
5
7
9
3
.
5
7
9
3
.
5
7
9
3
.
5
7
9

3
.
5
7
9
3
.
5
7
9

3
.
5
7
9
3
.
5
7
9
3
.
5
7
9
3
.
5
7
9
3
.
5
7
9

3
.
5
7
9
3
.
5
7
9
3
.
5
7
9
3
.
5
7
9
9
3
.
5
4
7
3
.
5
4
7
3
.
5
4
7
3
.
5
4
7
3
.
5
4
7
3
.
5
4
7
3
.
5
4
7
3
.
5
4
7
3
.
5
4
7
3
.
5
4
7
3
.
5
4
7

3
.
5
4
7
3
.
5
4
7

3
.
5
4
7
3
.
5
7
4
3
.
5
4
7
3
.
5
4
7
1
0
3
.
5
2
6

3
.
5
2
6
3
.
5
2
6
3
.
5
2
6
3
.
5
2
6
3
.
5
2
6
3
.
5
2
6
3
.
5
2
6
3
.
5
2
6
3
.
5
2
6

3
.
5
2
6

3
.
5
2
6
3
.
5
2
6
3
.
5
2
6
3
.
5
2
6
3
.
5
2
6
3
.
5
2
6
1
1
3
.
5
1
0

3
.
5
1
0
3
.
5
1
0
3
.
5
1
0
3
.
5
1
0
3
.
5
1
0
3
.
5
1
0
3
.
5
1
0
3
.
5
1
0
3
.
5
1
0
3
.
5
1
0
3
.
5
1
0
3
.
5
1
0

3
.
5
1
0
3
.
5
1
0
3
.
5
1
0
3
.
5
1
0
1
2
3
.
4
9
9
3
.
4
9
9
3
.
4
9
9
3
.
4
9
9
3
.
4
9
9

3
.
4
9
9
3
.
4
9
9
3
.
4
9
9

3
.
4
9
9
3
.
4
9
9
3
.
4
9
9

3
.
4
9
9
3
.
4
9
9
3
.
4
9
9
3
.
4
9
9
3
.
4
9
9
3
.
4
9
9
1
3
3
.
4
9
0

3
.
4
9
0
3
.
4
9
0
3
.
4
9
0
3
.
4
9
0
3
.
4
9
0
3
.
4
9
0
3
.
4
9
0
3
.
4
9
0
3
.
4
9
0
3
.
4
9
0
3
.
4
9
0
3
.
4
9
0
3
.
4
9
0
3
.
4
9
0
3
.
4
9
0
3
.
4
9
0
1
4
3
.
4
8
5

3
.
4
8
5
3
.
4
8
5

3
.
4
8
5
3
.
4
8
5
3
.
4
8
5
3
.
4
8
3
3
.
4
8
5
3
.
4
8
5

3
.
4
8
5

3
.
4
8
5
3
.
4
8
5
3
.
4
8
5

3
.
4
8
5
3
.
4
8
5
3
.
4
8
5
3
.
4
8
5
1
5
3
.
4
8
1
3
.
4
8
1
3
.
4
8
1
3
.
4
8
1
3
.
4
8
1
3
.
4
8
1
3
.
4
8
1
3
.
4
8
1
3
.
4
8
1
3
.
4
8
1
3
.
4
8
1
3
.
4
8
1
3
.
4
8
1
3
.
4
8
1
3
.
4
8
1
3
.
4
8
1
3
.
4
8
1
1
6
3
.
4
7
8
3
.
4
7
8
3
.
4
7
8
3
.
4
7
8

3
.
4
7
8
3
.
4
7
8
3
.
4
7
8
3
.
4
7
8
3
.
4
7
8
3
.
4
7
8
3
.
4
7
8
3
.
4
7
8
3
.
4
7
8
3
.
4
7
8
3
.
4
7
8

3
.
4
7
8
3
.
4
7
8
1
7
3
.
4
7
6
3
.
4
7
6
3
.
4
7
6

3
.
4
7
6
3
.
4
7
6
3
.
4
7
6
3
.
4
7
6
3
.
4
7
6
3
.
4
7
6
3
.
4
7
6
3
.
4
7
6
3
.
4
7
6
3
.
4
7
6
3
.
4
7
6
3
.
4
7
6
3
.
4
7
6
3
.
4
7
6
1
8
3
.
4
7
4
3
.
4
7
4
3
.
4
7
4
3
.
4
7
4
3
.
4
7
4
3
.
4
7
4
3
.
4
7
4
3
.
4
7
4
3
.
4
7
4
3
.
4
7
4
3
.
4
7
4
3
.
4
7
4
3
.
4
7
4
3
.
4
7
4
3
.
4
7
4
3
.
4
7
4
3
.
4
7
4
1
9
3
.
4
7
4
3
.
4
7
4
3
.
4
7
4
3
.
4
7
4
3
.
4
7
4
3
.
4
7
4
3
.
4
7
4
3
.
4
7
4
3
.
4
7
4
3
.
4
7
4
3
.
4
7
4
3
.
4
7
4
3
.
4
7
4
3
.
4
7
4
3
.
4
7
4
3
.
4
7
4
3
.
4
7
4
2
0
3
.
4
7
3
3
.
4
7
4
3
.
4
7
4
3
.
4
7
4
3
.
4
7
4
3
.
4
7
4
3
.
4
7
4
3
.
4
7
4
3
.
4
7
4
3
,
4
7
4
3
.
4
7
4
3
.
4
7
4
3
.
4
7
4
3
.
4
7
4
3
.
4
7
4
3
.
4
7
4
3
.
4
7
4
2
4
3
.
4
7
1
3
.
4
7
5
3
.
4
7
7
3
.
4
7
7
3
.
4
7
7
3
.
4
7
7
3
.
4
7
7
3
.
4
7
7
3
.
4
7
7
3
.
4
7
7
3
.
4
7
7
3
.
4
7
7
3
.
4
7
7
3
.
4
7
7
3
.
4
7
7
3
.
4
7
7
3
.
4
7
7
3
0
3
.
4
7
0
3
.
4
7
7
3
.
4
8
1
3
.
4
8
4
3
.
4
8
6

3
.
4
8
6
3
.
4
8
6
3
.
4
8
6
3
.
4
8
6
3
.
4
8
6

3
.
4
8
8

3
.
4
8
6

3
.
4
8
6

3
.
4
8
6
3
.
4
8
6
3
.
4
8
6
3
.
4
8
8
4
0
3
.
4
6
9
3
.
4
7
9
3
.
4
8
6

3
.
4
9
2
3
.
4
9
7
3
.
5
0
0

3
.
5
0
3
3
.
5
0
4
3
.
5
0
4
3
.
5
0
4
3
.
5
0
4
3
.
5
0
4
3
.
5
0
4
3
.
5
0
4
3
.
5
0
4
3
.
5
0
4
3
.
5
0
4
6
0
3
.
4
6
7
3
.
4
8
1
3
.
4
9
2
3
.
5
0
1
3
.
5
0
9
3
.
5
1
5

3
.
5
2
1
3
.
5
2
5
3
.
5
2
9
3
.
5
3
1
3
.
5
3
4
3
.
5
3
7
3
.
5
3
7
3
.
5
3
7
3
.
5
3
7
3
.
5
3
7
3
.
5
3
7
1
2
0
3
.
4
6
6

3
.
4
8
3
3
.
4
9
8

3
.
5
1
1
3
.
5
2
2
3
.
5
3
2
3
.
5
4
1
3
.
5
4
8

3
.
5
5
5
3
.
5
6
1
3
.
5
6
6
3
.
5
8
5
3
.
5
9
6
3
.
6
0
0
3
.
6
0
1
3
.
6
0
1
3
.
6
0
1
0
0
3
.
4
6
6

3
.
4
8
6

3
.
5
0
5

3
.
5
2
2
3
.
5
3
6

3
.
5
5
0
3
.
5
6
2
3
.
5
7
4
3
.
5
8
4
3
.
5
9
4
3
.
6
0
3
3
.
6
4
0
3
.
6
6
8

3
.
6
9
0
3
.
7
0
8
3
.
7
2
2
3
.
7
3
5
T
A
B
L
E

7
.
8
C
r
i
t
i
c
a
l

V
a
l
u
e
s

(
Q

V
a
l
u
e
s
)

f
o
r

D
u
n
c
a
n
'
s

N
e
w

M
u
l
t
i
p
l
e

R
a
n
g
e

T
e
s
t
1
%

L
e
v
e
l

o
f

S
i
g
n
i
f
i
c
a
n
c
e
v

=

d
F
(
E
r
r
o
r
)
p

=

n
u
m
b
e
r

o
f

m
e
a
n
s

w
i
t
h
i
n

r
a
n
g
e

b
e
i
n
g

c
o
m
p
a
r
e
d
2
3
4
5
6
7
8
.
9
1
0
1
1
1
2
1
3
1
4
1
5
1
6
1
7
1
8
1
9
9
0
.
0
3

9
0
0
3

9
0
.
0
3
9
0
.
0
3
9
0
.
0
3

9
0
.
0
3

9
0
.
0
3
9
0
.
0
3

9
0
.
0
3
9
0
.
0
3

9
0
.
0
3
9
0
.
0
3

9
0
.
0
3
9
0
.
0
3
9
0
.
0
3
9
0
.
0
3

9
0
.
0
3
9
0
.
0
3
2
1
4
.
0
4

1
4
0
4
1
4
,
0
4
1
4
.
0
4
1
4
.
0
4
1
4
.
0
4
1
4
.
0
4
1
4
.
0
4
1
4
.
0
4
1
4
.
0
4
1
4
.
0
4
1
4
.
0
4
1
4
.
0
4
1
4
.
0
4
1
4
.
0
4
1
4
.
0
4
1
4
.
0
4
1
4
.
0
4
3
8
.
2
6
1
8
,
3
2
1
8
.
3
2
1

8
3
2
1

8
.
3
2
1
8
.
3
2
1
8
,
3
2
1
8
.
3
2
1
8
.
3
2
1
8
.
3
2
1
8
.
3
2
1
8
3
2
1

8
.
3
2
1
8
.
3
2
1
8
.
3
2
1
8
.
3
2
1
8
.
3
2
1
8
.
3
2
1
4
6
.
5
1
2

6
.
6
7
7
6
.
7
4
0

6
.
7
5
6

6
.
7
5
6

6
.
7
5
8

6
.
7
5
6

6
.
7
5
6
6
.
7
5
6

6
.
7
5
6
6
.
7
5
6
6
.
7
5
6

6
.
7
5
6

6
.
7
5
6

6
.
7
5
6
6
.
7
5
6
6
.
7
5
6
6
.
7
5
6
5
5
.
7
0
2

5
.
8
9
3

5
.
9
8
9
6
.
0
4
0
6
.
0
6
5

6
.
0
7
4
6
.
0
7
4
6
.
0
7
4
6
.
0
7
4
6
.
0
7
4
6
.
0
7
4
6
.
0
7
4
6
.
0
7
4
6
.
0
7
4
6
.
0
7
4
6
.
0
7
4
6
.
0
7
4
6
.
0
7
4
6
5
.
2
4
3

5
.
4
3
9
5
.
5
.
4
9
5
.
6
1
4
5
.
6
5
5
.
5
.
6
8
0
5
.
6
9
4
5
.
7
0
1
5
.
7
0
3
5
.
7
0
3
5
.
7
0
3
5
.
7
0
3
5
.
7
0
3

5
7
0
3

5
.
7
0
3
5
.
7
0
3

5
7
0
3

5
.
7
0
3
7
4
.
9
4
9

5
.
1
4
5
5
.
2
6
0

5
.
3
3
4
5
.
3
8
3

5
.
4
1
8
5
.
4
3
9
5
.
4
5
4
5
.
4
6
4
5
.
4
7
0
5
.
4
7
2
5
.
4
7
2
5
,
4
7
2

5
.
4
7
2
5
.
4
7
2
5
.
4
7
2
5
.
4
7
2
5
.
4
7
2
8
4
.
7
4
6

4
.
9
3
9
5
.
0
5
.
7
5
.
1
3
5
5
.
1
8
9

5
.
2
2
?
5
.
2
5
6

8
.
2
7
6
5
.
2
9
1
5
.
3
0
2
5
.
3
0
9
5
.
3
1
4
5
.
3
1
6
5
.
3
1
7
5
.
3
1
7

5
3
1
7

5
.
3
1
7
5
.
3
1
7
9
4
.
5
9
6

4
.
7
8
7

4
.
9
0
6

4
.
9
8
6

5
.
0
4
3
5
.
0
8
6
5
.
1
1
8
5
.
1
4
2
5
.
1
6
0
5
.
1
7
4
5
.
1
8
5
5
.
1
9
3
5
.
1
9
9
5
.
2
0
3
5
.
2
0
3

5
.
2
0
6

5
.
2
0
6
5
.
2
0
6
1
0
4
.
4
8
2
4
.
6
7
1
4
.
7
9
0

4
.
8
7
1
4
.
9
3
1
4
.
9
7
5
5
.
0
1
0
5
.
0
3
7
5
.
0
5
8

5
0
7
4

5
.
0
8
8

5
.
0
9
8

5
.
1
0
6

5
.
1
1
2

5
,
1
1
7
5
.
1
2
0
5
.
1
2
2
3
.
1
2
4
I
i
4
.
3
9
2

4
.
5
7
9
4
.
6
9
7

4
.
7
8
0

4
.
8
4
1

4
.
8
8
7
4
.
0
2
4
4
.
9
5
2

4
.
9
7
5

4
.
9
9
4
5
.
0
0
9
5
.
0
2
1
5
.
0
3
1
5
.
0
3
9
5
.
0
4
5
5
.
0
5
0
5
.
0
5
4
5
.
0
5
7
1
2
4
.
3
2
0

4
.
5
0
4

4
,
6
2
2

4
.
7
0
6

4
.
7
6
7

4
.
8
1
5
4
.
8
5
2

4
.
8
8
3

4
.
9
0
7
4
.
9
2
7
4
.
9
4
4
4
.
9
5
8

4
.
9
6
9
4
.
9
7
8

4
.
9
8
6

4
.
9
9
3

4
.
9
9
8
3
.
0
0
2
1
3
4
,
2
6
0

4
.
4
4
2

4
.
5
6
0

4
.
6
4
4

4
.
7
0
6

4
.
7
5
5
4
.
7
9
3

4
,
8
2
4
4
.
8
5
0
4
.
8
7
2

4
.
8
8
9
4
.
9
0
4

4
9
1
7

4
.
9
2
8

4
.
9
3
7

4
.
9
4
4
4
.
9
5
0

4
.
9
5
6
1
4
4
.
2
1
0

4
.
3
9
1
4
.
5
0
8

4
.
5
9
1
4
.
6
5
4

4
.
7
0
4

4
.
7
4
3

4
.
7
7
5

4
.
8
0
2

4
.
8
2
4
4
.
8
4
3
4
.
8
5
9

4
.
8
7
2
4
.
8
8
4

4
.
8
9
4
4
.
9
0
2

4
.
9
1
0

4
.
9
1
6
1
5
4
.
1
6
8

4
.
3
4
7
4
.
4
6
3

4
.
5
4
7
4
.
6
1
0

4
.
6
6
0

4
.
7
0
0

4
.
7
3
3
4
.
7
6
0
4
.
7
8
3

4
.
8
0
3
4
.
8
2
0

4
.
8
3
4
4
.
8
4
6

4
.
8
5
7
4
.
8
6
6
4
.
8
7
4
4
,
8
8
)
1
6
4
.
1
3
1
4
,
3
0
9

4
.
4
2
5

4
.
5
0
9

4
.
5
7
2

4
.
6
2
2
4
.
6
6
3

4
.
6
9
6

4
.
7
2
4
4
.
7
4
8
4
.
7
6
8

4
.
7
8
6

4
.
8
0
0

4
.
8
1
3
4
.
8
2
5

4
.
8
3
5

4
8
4
4

4
,
8
.
5
1
1
7
4
.
0
9
9

4
.
2
7
5
4
.
3
9
1
4
.
4
7
5

4
.
5
3
9

4
.
5
8
9
4
.
6
3
0
4
.
6
6
4
4
.
6
9
3

4
7
1
7

4
,
7
3
8

4
.
7
5
6

4
.
7
7
1
4
.
7
8
5

4
.
7
9
7
4
.
8
0
7
4
.
8
1
6

4
.
8
2
4
1
8
4
.
0
7
1
4
.
2
4
6

4
.
3
6
2

4
.
4
4
5

4
.
5
0
9

4
.
5
6
0

4
.
6
0
1
4
.
6
3
5
4
.
6
6
4
4
.
6
8
9
4
.
7
1
1
4
.
7
2
9
4
.
7
4
5

4
.
7
5
9
4
.
7
7
2

4
.
7
8
3
4
.
7
9
2

4
.
8
0
1
1
9
4
.
0
4
6
4
.
2
2
0

4
.
3
3
5

4
.
4
1
9

4
.
4
8
3

4
.
5
3
4
4
.
5
7
5

4
.
6
1
0
4
.
6
3
9
4
.
6
6
5

4
.
6
8
6
4
.
7
0
5
4
.
7
2
2
4
.
7
3
6
4
.
7
4
9
4
.
7
6
1
4
.
7
7
1
4
.
7
8
0
2
0
4
.
0
2
4

4
,
1
9
7
4
.
3
1
2

4
.
3
9
5

4
.
4
5
9
4
,
5
1
0

4
.
5
5
2
4
.
5
8
7
4
.
6
1
7
4
.
6
4
2
4
.
6
6
4
4
.
6
8
4

4
7
0
1

4
.
7
1
6
4
.
7
2
9
4
.
7
4
1
4
.
7
5
1
4
.
7
6
1
2
4
3
.
9
5
6

4
.
1
2
6

4
.
2
3
9
4
.
3
.
2
2
4
.
3
8
6
4
.
4
3
7

4
,
4
8
0

4
.
5
1
6

4
.
5
4
6
4
.
5
7
3
4
.
5
9
6
4
.
6
1
6
4
.
6
3
4
4
.
6
5
1
4
.
6
6
5
4
,
6
7
5
4
.
6
9
0

4
.
7
0
0
3
0
3
.
8
8
9

4
.
0
5
6

4
.
1
6
8

4
.
2
5
0
4
.
3
1
4
4
.
3
6
6

4
,
4
0
9

4
.
4
4
5

4
.
4
7
7

4
.
5
0
4
4
.
5
2
8

4
.
5
5
0

4
.
5
6
9

4
.
5
8
6
4
.
6
0
1
4
.
6
1
5

4
.
6
2
8

4
.
6
4
0
4
0
3
.
8
2
5

3
.
9
8
8

4
.
0
9
8

4
.
1
8
0

4
.
2
4
4

4
.
2
9
6

4
.
3
3
9
4
.
3
7
6

4
.
4
0
8

4
.
4
3
6

4
.
4
6
1
4
.
4
8
3

4
.
5
0
3
4
.
5
2
1
4
.
5
3
7

4
.
5
5
3

4
.
5
6
6

4
.
3
7
9
6
0
3
7
6
2

3
.
9
2
2
4
.
0
3
1
4
.
1
1
1
4
.
1
7
4
4
.
2
2
8

4
.
2
7
0

4
.
3
0
7

4
.
3
4
0

4
.
3
6
8

4
.
3
9
4
4
.
4
1
7
4
.
4
3
8
4
.
4
5
6
4
.
4
7
4
4
.
4
9
0

4
.
5
0
4
4
.
5
1
8
1
2
0
3
.
7
0
2
3
.
8
5
8
3
.
9
6
5

4
,
0
4
4
4
.
1
0
7
4
.
1
5
8
4
,
2
0
2

4
.
2
3
9

4
2
7
2

4
.
3
0
1
4
.
3
2
7
4
.
3
5
1
4
.
3
7
2
4
.
3
9
2
4
.
4
1
0

4
.
4
2
6

4
.
4
4
2
4
.
4
5
6
0
O
3
.
6
4
3
3
.
7
9
6

3
.
9
0
0

3
.
9
7
8

4
.
0
4
0

4
.
0
9
1
4
.
1
3
5

4
.
1
7
2
4
.
2
0
5

4
.
2
3
5

4
.
2
6
1
4
.
2
8
5

4
.
3
0
7
4
.
3
2
7
4
.
3
4
5

4
,
3
6
3

4
.
3
7
9
4
.
3
9
4
T
A
B
L
E

7
.
8

(
c
o
n
t
.
)
C
r
i
t
i
c
a
l

V
a
l
u
e
s

(
Q

V
a
l
u
e
s
)

f
o
r

D
u
n
c
a
n
'
s

N
e
w

M
u
l
t
i
p
l
e

R
a
n
g
e

T
e
s
t
1
%

L
e
v
e
L

o
f

S
i
g
n
i
f
i
c
a
n
c
e
2
0
2
2
2
4
2
6
2
8
3
0
3
2
3
4
3
6
3
8
4
0
5
0
6
0
7
0
8
0
9
0
1
0
0
1
9
0
0
3

9
0
.
0
3

9
0
.
0
3

9
0
.
0
3

9
0
.
0
3

9
0
.
0
3
9
0
.
0
3
9
0
.
0
3
9
0
.
0
3

9
0
.
0
3
9
0
.
0
3
9
0
.
0
3

9
0
.
0
3

9
4
)
0
3

9
0
.
0
3

9
0
.
0
3

9
0
.
0
3
2
1
4
.
0
4
1
4
.
0
4
1
4
.
0
4
1
4
.
0
4
1
4
.
0
4
1
4
.
0
4
1
4
.
0
4
1
4
.
0
4
1
4
.
0
4
1
4
.
0
4
1
4
.
0
4
1
4
.
0
4
1
4
.
0
4
1
4
.
0
4
1
4
.
0
4
1
4
.
0
4
1
4
.
0
4
3
8
.
3
2
1
8
.
3
2
1
8
.
3
2
1
8
.
3
2
1
8
.
3
2
1
8
.
3
2
1
8
.
3
2
1
8
.
3
2
1
8
.
3
2
1
8
.
3
2
1
8
.
3
2
1
8
.
3
2
1
8
.
3
2
1
8
.
3
2
1
8
.
3
2
1
8
.
3
2
1
8
.
3
2
1
4
6
.
7
5
6

6
.
7
5
6
6
.
7
5
6

6
.
7
5
6

6
.
7
5
6
6
.
7
5
6

6
.
7
5
6
6
.
7
5
6
6
.
7
5
6

6
.
7
5
6

6
.
7
5
6
6
.
7
5
6

6
.
7
5
6

6
.
7
5
6

6
7
5
6

6
.
7
5
6
6
.
7
5
6
5
6
0
7
4

6
.
0
7
4
6
.
0
7
4
6
.
0
7
4
6
.
0
7
4
6
.
0
7
4
6
.
0
7
4
6
.
0
7
4
6
.
0
7
4
6
.
0
7
4
6
.
0
7
4
6
.
0
7
4
6
.
0
7
4
6
.
0
7
4
6
.
0
7
4
6
.
0
7
4
6
.
0
7
4
6
5
.
7
0
3
5
.
7
0
3
5
.
7
0
3
5
.
7
0
3
5
.
7
0
3
5
.
7
0
3
5
.
7
0
3
5
.
7
0
3
5
.
7
0
3
5
.
7
0
3
5
.
7
0
3
5
.
7
0
3
5
.
7
0
3
5
.
7
0
3
5
.
7
0
3
5
.
7
0
3
5
.
7
0
3
7
5
.
4
7
2
5
.
4
7
2
5
.
4
7
2
5
.
4
7
2
5
.
4
7
2
5
.
4
7
2
5
.
4
7
2
5
.
4
7
2
5
.
4
7
2
5
.
4
7
2
5
.
4
7
2
5
.
4
7
2
5
.
4
7
2
5
.
4
7
2
5
.
4
7
2
5
.
4
7
2
5
.
4
7
2
8
5
.
3
1
7
5
.
3
1
7
5
.
3
1
7
5
.
3
1
7
5
.
3
1
7
5
.
3
1
7
5
.
3
1
7
5
.
3
1
7
5
.
3
1
7
5
.
3
1
7
5
.
3
1
7
5
.
3
1
7
5
.
3
1
7
5
.
3
1
7
5
,
3
1
7
5
.
3
1
7
5
.
3
1
7
5
.
2
0
6
5
.
2
0
6
5
.
2
0
6

5
.
2
0
6
5
.
2
0
6
5
.
2
0
6
5
.
2
0
6
5
.
2
0
6
5
.
2
0
6

5
.
2
0
6
5
.
2
0
6
5
,
2
0
6
5
.
2
0
6
5
.
2
0
8

5
.
2
0
6
5
.
2
0
6
5

.
2
0
6
1
0
5
.
1
2
4
5
.
1
2
4
5
.
1
2
4
5
.
1
2
4
5
.
1
2
4
5
.
1
2
4
5
.
1
2
4
5
.
1
2
4
5
.
1
2
4
5
.
1
2
4
5
.
1
2
4
5
.
1
2
4
5
.
1
2
4
5
.
1
2
4
5
.
1
2
4
5
.
1
2
4
5
.
1
2
4
1
1
5
,
0
5
9

5
.
0
0
1
5
.
0
6
1
5
.
0
6
1
5
.
0
6
1
5
.
0
6
1
5
.
0
6
1
5
.
0
6
1
5
.
0
6
1
5
.
0
6
1
5
.
0
6
1
5
.
0
6
1
5
.
0
6
1
5
.
0
6
1
5
.
0
6
1
5
.
0
6
1
5
.
0
6
1
1
2
5
.
0
0
6
5
.
0
1
0
5
.
0
1
1
5
.
0
1
1
5
.
0
1
1
5
.
0
1
1
5
.
0
1
1
5
.
0
1
1
5
.
0
1
1
5
.
0
1
1
5
.
0
1
1
5
.
0
1
1
5
.
0
1
1
5
.
0
1
1
5
,
0
1
1
5
.
0
1
1
5
.
6
1
1
1
3
4
.
9
4
)
0
4
.
9
6
6

4
.
9
7
0

4
.
9
7
2

4
.
9
7
2
4
.
9
7
2
4
.
9
7
2

4
.
9
7
2
4
.
9
7
2
4
.
9
7
2
4
.
9
7
2
4
.
9
7
2
4
.
9
7
2
4
.
9
7
2
4
.
9
7
2

4
.
9
7
2
4
.
9
7
2
1
4
4
.
9
2
1
4
.
9
2
9

4
.
9
3
5
4
.
9
3
8

4
.
9
4
0
4
.
9
4
0
4
.
9
4
0

4
.
9
4
0
4
.
9
4
0
4
.
9
4
0

4
.
9
4
0
4
.
9
4
0
4
.
9
4
0
4
.
9
4
0
4

9
4
0
4
.
9
4
0
4
.
9
4
0
1
5
4
.
8
8
7
4
.
8
9
7
4
.
9
0
4
4
.
9
0
9
4
.
9
1
2
4
.
9
1
4
4
.
9
1
4
4
.
9
1
4
4
.
9
1
4
4
.
9
1
4
4
.
9
1
4
4
.
9
1
4
4
.
9
1
4
4
.
9
1
4
4
.
9
1
4
4
.
9
1
4
4
.
9
1
4
I
4
.
8
5
8
4
.
8
6
9
4
.
8
7
7
4
.
8
8
3
4
.
8
8
7
4
.
8
9
0
4
.
8
9
2
4
,
8
9
2
4
.
8
9
2
4
.
8
9
2
4
.
8
9
2
4
.
S
9
2
4
.
8
9
2

4
.
8
9
2
4
.
8
9
2

4
.
8
9
2
4
.
8
9
2
1
7
4
.
8
3
2
4
.
8
1
4
4
.
8
5
3
4
.
S
6
0
4
.
8
6
5
4
.
8
6
9
4
.
8
7
2
4
.
8
7
3
4
.
8
7
4
4
.
S
7
4
4
.
8
7
4
4
.
8
7
1
4
.
8
7
4
4
.
8
7
4
4
.
8
7
4
4
.
S
7
4
4
.
8
7
4
I
S
4
.
8
0
8

4
.
8
2
1
4
.
8
3
2
4
.
8
3
9
4
.
8
4
6
4
.
8
5
0
4
.
8
5
4
4
.
8
5
6
4
.
8
5
7
4
.
8
5
8
4
.
8
5
8

4
.
8
3
8
4
.
8
5
8
4
.
8
5
8
4
.
8
5
8
4
.
8
5
8
4
.
8
5
8
1
9
4
.
7
8
8
4
.
8
0
2
4
.
8
1
2
4
.
8
2
1
4
.
8
2
8

4
.
8
3
3
4
.
8
3
8

4
.
8
4
1
4
.
8
4
3
4
.
8
4
4
4
.
8
4
5
4
.
8
4
5
4
.
8
4
5
4
.
8
4
5
4
.
8
4
5
4
.
8
4
5
4
.
8
4
5
2
0
4
.
7
6
9

4
.
7
8
4
4
.
7
9
5
4
.
8
0
5
4
.
8
1
3

4
.
8
1
8

4
.
8
2
3

4
.
8
2
7
4
.
8
3
0

4
.
8
3
2
4
.
8
3
3
4
.
8
3
3
4
.
8
3
3
4
.
8
3
3

4
.
8
3
3
4
.
8
3
3

4
.
8
3
3
2
4
4
.
7
1
0
4
.
7
2
7
4
.
7
4
1
4
.
7
3
2
4
.
7
6
2
4
.
7
7
0

4
.
7
7
7
4
.
7
8
3
4
.
7
8
8
4
.
7
9
1
4
,
7
9
4
4
.
8
0
2

4
.
8
0
2
4
.
8
0
2
4
,
8
0
2
4
.
8
0
2
4
.
8
0
2
3
0
4
.
0
3
0
4
.
6
6
9
4
.
6
8
5
4
.
6
9
9
4
.
7
1
1
4
.
7
2
1
4
.
7
3
0

4
.
7
3
8
4
.
7
4
4
4
.
7
5
0
4
.
7
5
5
4
.
7
7
2
4
.
7
7
7
4
.
7
7
7
4
.
7
7
7
4
.
7
7
7
4
.
7
7
7
4
0
4
.
3
9
1
4
.
6
1
1
4
.
6
3
0

4
.
6
4
5
4
.
6
5
9

4
,
6
7
1
4
.
6
8
2
4
.
6
9
2
4
.
7
0
0

4
.
7
0
S
4
.
7
1
5
4
.
7
4
0

4
.
7
5
4
4
.
7
6
1
4
.
7
8
4
4
.
7
6
4
4
.
7
0
4
6
0
4
.
5
3
0
4
.
5
5
3

4
.
5
7
3
4
.
5
9
1
4
.
6
0
7
4
.
6
2
0

4
.
6
3
3
4
.
0
4
5
4
.
6
5
5
4
.
6
6
5
4
.
6
7
3
4
.
7
0
7
4
.
7
3
0
4
.
7
4
5
4
.
7
5
5

4
.
7
6
1
4
.
7
6
5
1
2
0
4
.
4
6
9
4
.
4
9
4
4
.
5
1
6
4
.
5
3
5
4
,
5
5
2
4
.
5
6
8

4
.
5
8
3

4
.
5
9
6

4
.
0
0
9
4
.
6
1
9
4
.
6
3
0

4
.
6
7
3
4
.
7
0
3
4
.
7
2
7
4
.
7
4
5
4
.
7
5
9
4
.
7
7
0
0
0
4
.
4
0
8
4
.
4
3
4
4
.
4
5
7
4
.
4
7
8
4
.
4
9
7
4
.
5
1
4
4
.
5
3
0

4
.
5
4
5
4
.
5
5
9
4
.
5
7
2
4
.
5
8
4
4
.
6
3
5

4
.
6
7
5
4
.
7
0
7
4
.
7
3
4
4
.
7
3
6
4
.
7
7
6
I
I
I
I
V
I
V
U
I
U
U
U
'
w
N
O
T
E

I
n
,
t
I

d
C
r
,
n
I

p
o
n
l

h
.

b
e
e
n

o
n
d
*
e
d
.
T
A
B
L
E

7
.
9
O
n
e
-
T
a
i
l
e
d

B
i
n
o
m
i
a
l

T
e
s
t
P
r
o
b
a
b
i
l
i
t
y

o
f

X

o
r

m
o
r
e

c
o
r
r
e
c
t

j
u
d
g
e
m
e
n
t
s

i
n
n

t
r
i
a
l
s

(
p
_
-
1
1
3
)
2
3
4
5
6
1
8
9
1
0
1
1
1
2
1
3
1
4
1
5
1
6
1
7
1
8
1
9
2
0
2
1
2
2
2
3
2
4
2
5
2
6
2
1
2
8
56789
1
0
1
1
*
2
1
3
1
4
1
5
*
6
1
7
1
8
*
9
2
0
2
1
2
2
2
3
2
4
2
5
2
6
2
7
2
8
7
9
3
0
3
1
3
2
3
3
3
4
3
5
3
6
3
7
3
8
3
9
4
0
4
*
4
2
4
3
4
4
4
5
4
6
4
1
4
8
4
9
5
0
8
6
8
9
1
2
9
4
1
9
6
1
9
7
4
9
8
3
9
8
8
9
9
2
9
9
5
9
9
7
9
9
8
9
9
8
9
9
9
9
9
9
5
3
9
6
4
9
7
3
7
8
0
5
8
5
7
8
9
6
9
2
5
9
4
6
9
6
1
9
7
3
9
8
1
9
8
6
9
9
0
9
9
3
9
9
5
9
9
7
9
9
8
9
9
8
9
9
9
9
9
9
9
9
9
2
1
0
3
2
0
4
2
9
5
3
2
6
2
3
7
0
1
7
6
6
8
*
9
8
6
1
8
9
5
9
2
1
9
4
*
9
5
6
9
6
7
9
7
6
9
8
2
9
8
7
9
9
1
9
9
3
9
9
5
9
9
6
9
9
7
9
9
8
9
9
9
9
9
9
9
9
9
0
4
5
1
0
0
1
7
3
2
5
9
3
5
0
4
4
1
5
2
7
6
0
7
6
7
8
7
3
9
7
9
1
8
3
4
8
7
0
8
9
8
9
2
1
9
4
0
9
5
4
9
6
5
9
7
4
9
8
0
9
8
5
9
8
9
9
9
2
9
9
4
9
9
6
9
9
1
9
9
8
9
9
8
9
9
9
9
9
9
9
9
9
0
0
4
0
1
8
0
4
5
0
8
8
1
4
5
2
1
3
2
8
9
3
6
8
4
4
8
5
2
4
5
9
6
6
6
1
7
1
9
7
0
8
8
1
2
8
4
8
8
7
9
9
0
4
9
7
4
9
4
*
9
5
4
9
6
4
9
7
2
9
7
9
9
8
4
9
8
8
9
9
1
9
9
3
9
9
5
9
9
6
9
9
7
9
9
8
9
9
8
9
9
9
9
9
9
9
9
9
0
0
1
0
0
7
0
2
0
0
4
2
0
1
7
1
2
2
1
7
8
2
4
1
3
1
0
3
8
2
4
5
3
5
2
2
5
8
8
6
4
8
7
0
3
7
5
1
7
9
4
8
3
1
8
6
2
8
8
8
9
1
0
9
2
8
9
4
3
9
5
5
9
6
5
9
7
2
9
7
8
9
8
3
9
8
1
9
9
0
9
9
2
9
9
4
9
9
6
9
9
7
9
9
7
9
9
8
9
9
9
9
9
9
9
9
9
9
9
9
0
0
3
0
0
8
0
2
0
0
3
9
0
6
6
1
0
4
1
4
9
2
0
3
2
6
3
3
2
6
3
9
1
4
5
7
5
2
1
5
8
1
6
3
8
6
9
0
1
3
1
7
7
8
8
1
5
8
4
7
8
1
4
8
9
7
9
1
6
9
3
2
9
4
6
9
5
7
9
6
5
9
7
3
9
7
8
9
6
3
9
8
7
9
9
0
9
9
2
9
9
4
9
9
5
9
9
6
9
9
7
9
9
8
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
0
0
1
0
0
3
0
0
9
0
1
9
0
3
5
0
5
8
0
8
8
1
2
6
1
7
2
2
2
3
2
7
9
3
3
9
3
9
9
4
6
0
5
1
9
5
7
6
6
3
0
6
7
9
7
2
5
7
6
6
8
0
1
8
3
3
8
6
1
8
8
5
9
0
5
9
2
2
9
3
7
9
4
9
9
5
9
9
6
7
9
7
3
9
7
9
9
8
3
9
8
1
9
9
0
9
9
2
9
9
4
9
9
5
9
9
6
9
9
7
9
9
8
9
9
8
0
0
1
0
0
4
0
0
9
0
1
7
0
3
1
0
5
0
0
7
5
1
0
8
1
4
6
1
9
1
2
4
*
)
2
9
3
3
4
0
4
0
6
4
6
2
5
1
8
5
7
2
6
2
3
6
7
0
7
1
4
7
5
4
1
8
9
8
2
1
8
4
9
8
7
3
8
9
5
9
1
3
9
2
8
9
4
1
9
5
2
9
6
1
9
6
8
9
7
4
9
8
0
9
8
4
9
8
7
9
9
0
9
9
2
9
9
4
9
9
5
0
0
1
0
0
2
0
0
4
0
0
8
0
1
6
0
2
7
0
4
3
0
6
5
0
9
2
1
2
5
1
6
3
2
0
6
2
5
4
3
0
4
3
5
7
4
1
1
4
6
4
5
1
7
5
6
8
6
1
7
6
6
2
7
0
5
1
4
4
7
7
9
8
1
0
8
3
8
8
6
3
8
8
5
9
0
3
9
2
0
9
3
3
9
4
5
9
5
5
9
6
3
9
7
0
9
7
6
9
8
0
9
8
4
9
8
7
0
0
1
0
0
2
0
0
4
0
0
8
0
1
4
0
2
4
0
3
8
0
5
6
0
7
9
1
0
7
1
4
0
1
1
8
2
2
0
2
6
6
3
1
4
3
6
4
4
1
5
4
6
6
5
1
6
5
6
5
6
1
2
6
5
6
6
9
7
7
3
5
7
6
9
8
0
0
8
2
9
8
5
4
8
7
6
8
9
5
9
1
2
9
2
6
9
3
8
9
4
9
9
5
8
9
6
6
9
7
2
0
0
1
0
0
2
0
0
4
0
0
1
0
1
3
0
2
1
0
3
3
0
4
8
0
6
8
0
9
2
1
2
1
1
5
4
1
9
1
2
3
2
2
7
6
3
2
2
3
7
0
4
1
9
4
6
8
5
1
6
5
6
2
6
0
7
6
5
0
6
8
9
7
2
6
7
6
1
7
9
1
8
2
0
8
4
5
8
6
7
8
8
7
9
0
4
9
*
9
9
3
2
9
4
3
0
0
1
0
0
2
0
0
4
0
0
7
0
1
2
0
1
9
0
2
8
0
4
2
0
5
8
0
7
9
1
0
4
1
3
3
1
6
6
2
0
3
2
4
3
2
8
5
3
3
0
3
7
6
4
2
2
4
6
9
5
1
5
5
6
0
6
0
3
6
4
4
6
8
3
7
1
9
1
5
3
7
8
3
8
1
1
8
3
6
8
5
9
8
7
9
8
9
6
0
0
1
0
0
2
0
0
3
0
0
6
0
1
0
0
1
6
0
2
5
0
3
6
0
5
0
0
6
8
0
9
0
1
1
5
1
4
4
1
7
7
2
*
3
2
5
2
2
9
3
3
3
6
3
8
*
4
2
5
4
7
0
5
1
5
5
5
8
6
0
0
6
3
9
6
7
1
7
1
3
1
4
5
1
7
6
8
0
3
8
2
9
0
0
1
0
0
2
0
0
3
0
0
6
0
0
9
0
1
4
0
2
2
0
3
1
0
4
3
0
5
9
0
7
8
1
0
0
1
2
6
1
5
5
1
8
7
2
2
3
2
6
1
3
0
1
3
4
2
3
8
5
4
2
8
4
7
1
5
1
4
5
5
6
5
9
6
6
3
5
6
7
2
7
0
6
7
3
9
0
0
1
0
0
2
0
0
3
0
0
5
0
0
6
0
1
3
0
1
9
0
2
1
0
3
8
0
5
1
0
6
7
0
8
7
1
0
9
1
3
5
1
6
4
1
9
6
2
3
1
2
6
8
3
0
7
3
4
1
3
8
9
4
3
0
4
7
2
5
1
4
5
5
4
5
9
3
6
3
1
0
0
1
0
0
2
0
0
3
0
0
5
0
0
7
0
1
1
0
1
6
0
2
3
0
3
3
0
4
4
0
5
8
0
7
5
0
9
5
1
1
8
1
4
4
1
1
3
2
0
5
2
3
9
2
7
5
3
1
3
3
5
2
3
9
2
4
3
3
4
7
3
5
1
3
0
0
1
0
0
1
0
0
2
0
0
4
0
0
6
0
1
0
0
1
4
0
2
0
0
2
8
0
3
8
0
5
1
0
6
6
0
6
3
1
0
4
1
2
1
1
5
3
1
8
2
2
1
3
2
4
6
2
8
2
3
1
8
3
5
6
3
9
5
(
5
)
1
0
0
1
0
0
2
0
0
4
0
0
6
0
0
9
0
1
2
0
1
8
0
2
5
0
3
3
0
4
4
0
6
)
0
1
3
0
9
1
1
1
1
1
3
5
1
6
1
1
8
9
2
2
0
2
5
3
2
8
7
0
0
1
0
0
1
0
0
2
0
0
3
0
0
5
0
0
7
0
1
1
0
1
6
0
2
1
0
2
9
0
3
8
0
5
0
0
6
3
0
7
9
0
9
8
1
1
9
1
4
2
1
6
8
1
9
6
0
0
1
0
0
1
0
0
2
0
0
3
0
0
4
0
0
7
0
1
0
0
1
4
0
1
9
0
2
5
0
3
3
0
4
3
0
5
5
0
7
0
0
8
6
1
0
5
1
2
6
0
0
1
0
0
1
0
0
2
0
0
3
0
0
4
0
0
6
0
0
8
0
1
?
0
1
6
0
2
2
0
2
9
0
3
8
0
4
8
0
6
1
0
7
6
0
0
1
(
5
)
1
0
0
1
0
0
2
0
0
3
0
0
5
0
0
7
0
1
0
0
1
4
0
1
9
0
2
5
0
3
3
0
4
2
(
5
)
1
0
0
1
0
0
2
0
0
3
0
0
4
0
0
6
0
0
9
0
1
2
0
1
7
0
2
2
0
0
1
(
5
)
1
0
0
2
0
0
3
0
0
4
0
0
6
0
0
8
0
1
1
0
0
1
0
0
1
0
0
2
0
0
2
0
0
3
0
0
5
0
0
1
0
0
1
0
0
*
0
0
2
0
0
1
T
A
B
L
E

7
.
1
0
P
e
r
c
e
n
t
a
g
e

P
o
i
n
t
s

o
f

t
h
e

S
t
u
d
e
n
t
i
z
e
d

R
a
n
g
e
U
p
p
e
r

5
%

P
o
i
n
t
s
n

i
s

t
h
e

s
i
z
e

o
f

s
a
m
p
l
e

f
r
o
m

w
h
i
c
h
t
h
e

r
a
n
g
e

i
s

o
b
t
a
i
n
e
d

a
n
d

v

i
s

t
h
e

n
u
n
i
b
e
r

o
f

d
e
g
r
e
e
s

o
f

f
r
e
i
d
o
i
j
i

o
f

s
.
2
3
4
5
6
7
8
9
1
0
1
1
1
2
1
3
1
4
1
5
1
6
I
l
1
8
1
9
2
0
I
23
1
5
-
0
6
-
0
9
4
-
5
0
2
7
-
0
8
-
3
5
-
9
1
3
2
-
8
9
-
8
6
-
8
2
3
7
-
1
1
0
-
9
7
-
5
0
4
0
-
4
1
1
-
7
8
-
0
4
4
3
-
1
1
2
-
4
8
-
4
8
4
5
-
4
1
3
-
0
8
8
5
4
7
4
1
3
-
5
9
-
1
8
4
9
-
1
1
4
-
0
9
-
4
6
5
0
-
6
1
4
-
4
9
-
7
2
5
2
-
0
1
4
-
7
9
-
9
5
5
3
-
2
1
5
-
1
1
0
-
1
5
5
4
-
3
1
5
-
4
1
0
-
3
5
5
5
-
4
1
5
-
7
1
0
-
5
2
5
6
-
3
1
5
-
9
1
0
-
6
9
5
1
-
2
1
6
-
1
1
0
-
8
4
5
8
0
1
6
-
4
1
0
-
9
8
5
5
-
8
4
6
-
6
1
1
-
I
l
5
9
-
6
1
6
-
S
1
1
-
2
4
4
3
-
9
3
5
-
0
4
5
-
7
6
6
-
2
9
6
-
7
1
7
4
)
5
7
-
3
5
7
-
6
0
7
-
8
3
8
-
0
3
8
-
2
1
8
-
3
7
8
-
5
2
8
-
6
6
8
-
7
9
8
-
9
1
9
-
0
:
1
9
-
1
3
9
-
2
:
1
5
3
-
6
4
4
-
6
0
5
-
2
2
5
6
7
6
-
0
3
8
-
3
3
6
-
5
8
6
-
8
0
8
-
9
9
7
-
1
7
7
-
3
2
7
-
4
7
7
-
6
0
7
-
7
2
7
-
8
3
7
-
9
3
8
-
0
3
8
-
1
2
8
-
2
1
6
3
-
4
6
4
-
3
4
4
-
9
0
5
-
3
1
5
-
6
3
5
-
8
9
6
-
1
2
6
-
3
2
6
-
4
9
6
-
6
5
6
-
7
9
6
-
9
2
7
-
0
3
7
-
1
4
7
-
2
4
7
-
3
1
7
-
1
3
7
-
5
1
7
-
5
9
7
3
-
3
4
4
-
1
8
4
-
6
8
5
-
0
6
5
-
3
6
5
-
6
1
5
-
8
2
6
-
0
0
6
-
1
6
6
-
3
0
6
-
4
3
6
-
5
5
6
-
6
6
6
-
7
6
6
-
8
5
6
-
9
1
7
-
0
2
7
-
0
9
7
-
1
7
8
3
-
2
6
4
-
0
-
1
4
-
5
3
4
-
8
9
5
-
1
7
5
-
4
0
5
-
6
0
5
-
7
7
5
-
9
2
6
-
0
5
6
-
1
8
6
-
2
9
6
-
3
9
6
-
4
8
6
-
5
1
6
-
6
5
6
-
7
3
6
-
8
0
6
-
8
7
9
3
-
2
0
3
-
9
5
4
-
4
2
4
-
7
6
5
-
0
2
5
-
2
4
5
-
4
3
5
-
6
0
5
-
7
4
5
-
8
7
5
-
9
8
6
-
0
9
6
-
1
9
6
-
2
8
6
-
3
6
6
-
4
-
1
6
-
5
1
6
-
5
8
6
-
6
4
1
0
1
1
3
-
1
5
3
-
I
l
3
-
8
8
3
-
8
2
4
-
3
3
4
-
2
8
4
-
6
5
4
-
5
1
4
-
9
1
4
-
8
2
5
-
1
2
5
-
0
3
5
-
3
0
5
-
2
0
5
-
4
6
5
-
3
5
5
-
6
0
5
-
4
9
5
-
7
2
5
-
6
1
5
-
8
3
5
-
7
1
5
-
9
3
5
-
8
1
6
-
0
3
5
-
9
0
6
-
1
1
5
-
9
9
6
-
2
0
6
-
0
6
6
-
2
7
6
-
4
4
6
-
3
4
6
-
2
0
6
-
4
0
6
-
2
6
6
-
4
7
6
-
3
3
1
2
3
-
0
8
3
-
7
7
4
-
2
0
4
-
5
1
4
-
7
5
4
-
9
5
5
-
1
2
5
-
2
1
5
-
4
0
5
-
5
1
5
-
6
2
5
-
7
1
5
-
8
4
)
5
-
8
8
5
-
9
5
6
-
0
3
6
-
0
9
6
-
I
S
6
-
2
1
1
3
3
-
0
6
3
-
7
3
4
-
1
5
4
-
4
5
4
-
6
9
4
-
8
8
5
-
0
5
5
-
1
9
5
-
3
2
5
-
4
3
5
-
5
3
5
-
6
3
5
-
7
1
5
-
7
9
5
-
8
6
5
-
9
3
6
-
t
X
)
6
-
0
5
6
-
l
I
1
4
3
-
0
3
3
-
7
0
4
-
1
1
4
-
4
1
4
-
6
4
4
-
8
3
4
-
9
9
5
-
1
3
5
-
2
5
5
-
3
6
5
-
4
6
5
-
5
5
5
-
6
4
5
-
7
2
5
-
7
9
5
-
8
5
5
-
9
2
5
-
9
1
6
-
0
3
1
5
3
-
0
1
3
-
6
7
4
-
0
8
4
-
3
7
4
-
6
0
4
-
7
8
4
-
9
4
5
-
0
8
5
-
2
0
5
-
3
1
5
-
4
0
5
-
4
9
5
-
5
8
5
-
6
5
5
-
7
2
5
-
7
9
5
-
8
5
5
-
9
0
5
-
9
6
1
6
3
-
0
0
3
-
6
5
4
-
0
5
4
-
3
3
4
-
5
6
4
-
7
4
4
-
9
0
5
-
0
3
5
-
1
5
5
-
2
6
5
-
3
5
5
-
4
4
5
-
5
2
5
-
5
0
5
-
4
1
6
-
j
5
-
9
1
.
1
1
7
2
-
9
8
3
-
6
3
4
-
0
2
4
-
3
0
4
-
5
2
4
-
7
1
4
-
8
6
4
-
9
9
5
-
1
1
5
-
2
1
5
-
3
1
5
-
3
9
5
-
4
7
5
-
5
5
5
-
6
1
5
-
6
8
5
-
7
-
1
5
-
1
9
5
-
8
-
1
1
8
2
-
9
7
3
-
6
1
4
-
0
0
4
-
2
8
4
-
4
9
4
-
6
7
4
-
8
2
4
-
9
6
5
-
0
7
5
-
1
7
5
-
2
7
5
-
3
5
5
-
4
3
5
-
5
0
5
-
5
7
5
-
6
3
5
-
6
9
5
-
7
4
3
-
i
t
i
1
9
2
-
9
6
3
-
5
9
3
-
9
8
4
-
2
5
4
-
4
7
4
-
6
5
4
-
7
9
4
-
9
2
5
-
0
4
5
-
1
4
5
-
2
3
5
-
3
2
5
3
9
5
-
4
6
5
-
5
3
5
-
9
5
-
6
5
5
-
7
0
5
-
7
5
2
0
2
-
9
5
3
-
5
8
3
-
9
6
4
-
2
3
4
-
4
5
4
-
6
2
4
-
7
7
4
-
9
0
5
-
0
1
5
-
1
1
5
-
2
0
5
-
2
8
5
-
3
6
5
-
4
3
5
-
4
9
5
-
5
5
5
-
6
1
5
-
6
6
5
-
7
1
2
4
2
-
9
2
3
-
5
3
3
-
9
0
4
-
1
7
4
:
1
7
4
-
5
4
4
-
6
8
4
-
8
1
4
-
9
2
5
-
0
1
5
-
1
0
5
-
1
8
5
-
2
5
5
-
3
2
5
-
3
8
5
-
4
4
5
-
5
0
5
-
5
4
5
5
9
3
0
2
-
8
9
3
-
4
9
3
-
8
4
4
-
1
0
4
-
3
0
4
-
4
6
4
-
6
0
4
-
7
2
4
-
8
3
4
-
9
2
5
-
0
4
)
5
-
0
8
5
-
1
5
5
-
2
1
5
-
2
7
5
-
3
:
1
5
-
3
8
5
-
1
3
5
-
4
8
4
0
2
-
8
6
3
-
4
4
3
-
7
9
4
-
0
4
4
-
2
3
4
3
9
4
-
5
2
4
-
6
3
4
-
7
4
4
-
8
2
4
-
9
1
4
-
9
8
5
-
0
5
5
-
1
1
5
-
1
6
5
-
2
2
5
-
2
7
5
-
3
1
5
-
3
6
6
0
2
-
8
3
3
-
4
0
3
-
7
4
3
-
9
8
4
-
1
6
4
-
3
1
4
-
4
4
4
-
5
5
4
-
6
5
4
-
7
3
4
-
8
1
4
-
8
8
4
-
9
4
5
-
0
0
5
-
0
6
5
1
1
5
-
1
6
5
-
2
0
5
-
2
4
1
2
0
2
-
8
0
3
-
3
6
3
-
6
9
3
-
9
2
4
-
1
0
4
-
2
4
4
-
3
6
4
-
4
8
4
-
5
6
4
-
6
-
1
4
-
7
2
4
-
7
8
4
-
8
4
4
-
9
0
4
-
9
5
5
-
0
0
5
-
0
5
5
-
0
9
5
-
1
3
2
-
7
7
3
-
3
1
3
-
6
3
3
-
8
6
4
-
0
3
4
-
1
7
4
-
2
9
4
-
3
9
4
-
4
7
4
-
5
5
4
-
6
2
4
-
6
8
4
-
7
4
4
-
8
0
4
-
8
5
4
-
8
9
4
-
9
3
4
-
9
7
5
-
0
1
T
A
B
L
E

7
.
1
1
P
e
r
c
e
n
t
a
g
e

P
o
i
n
t
s

o
f

t
h
e

S
t
u
d
e
n
t
i
z
e
d

R
a
n
g
e
U
p
p
e
r

1
%

P
o
i
n
t
s
a

i
s

t
h
e

s
i
z
e

o
f

t
h
e

s
a
m
p
l
e

f
r
o
m

w
h
i
c
h

t
h
e

r
a
n
g
e

i
s

o
b
t
a
i
n
e
d

a
n
d

v

i
s

t
h
e

n
u
m
b
e
r
o
f

d
e
g
r
e
e
s

o
f

f
r
e
e
d
o
m
o
f

s
,
.
.
2
3
4
5
6
7
8
9
I
a
I
I
1
2
1
3
1
4
I
S
1
6
1
7
1
8
1
9
2
0
12
34
9
0
-
0
1
4
-
0
8
-
2
6
6
-
5
1
1
3
5
1
9
0
1
0
-
6
8
-
1
2
1
6
4
2
2
-
3
1
2
-
2
9
-
1
7
1
8
6
2
4
-
7
1
3
-
3
9
-
9
6
2
0
2
2
6
-
6
1
4
-
2
1
0
-
6
2
1
6
2
8
-
2
1
5
-
0
1
1
-
1
2
2
7
2
9
-
5
1
5
-
6
1
1
-
5
2
3
7
3
0
-
7
1
6
-
2
1
1
-
9
2
4
6
3
1
-
7
1
6
-
i
1
2
-
3
2
5
3
3
2
-
6
1
7
-
1
1
2
-
6
2
6
0
3
3
-
4
1
1
5
1
2
-
8
2
6
6
3
-
I
-
i
1
1
-
9
1
3
-
1
2
1
2
3
1
-
8
1
8
-
2
1
3
-
3
2
1
7
3
5
-
4
1
8
-
5
1
3
-
5
2
8
2
3
6
0
1
8
-
8
1
3
-
7
2
8
6
3
6
-
5
1
9
1
1
3
-
9
2
9
0
3
7
-
0
1
9
-
3
i
l
-
I
2
9
1
3
7
-
5
1
9
-
5
1
4
-
2
2
9
8
3
7
-
a
1
9
8
1
1
4
56789
5
-
7
0
5
-
2
4
4
-
9
5
4
-
7
4
4
-
6
0
8
-
9
7
6
-
3
3
5
-
9
2
5
-
6
3
5
-
4
3
7
-
8
0
7
-
0
3
6
-
5
4
6
-
2
0
5
-
9
6
8
.
4
2
7
-
5
6
7
-
0
1
6
-
6
3
6
-
3
5
8
-
9
1
7
-
9
7
7
-
3
7
6
-
9
6
6
-
6
6
9
-
3
2
8
-
3
2
7
-
6
8
7
-
2
4
6
-
9
1
9
-
6
7
8
-
6
1
7
-
9
4
7
-
4
7
7
-
1
3
9
-
9
7
8
-
8
7
6
-
1
7
7
-
6
8
7
-
3
2
1
0
-
2
4
9
-
1
0
6
-
3
7
7
-
8
7
7
-
4
9
1
0
-
4
8
9
-
3
0
8
-
5
5
8
-
0
3
7
-
6
5
1
0
-
7
0
9
-
4
9
8
-
7
1
8
-
1
8
7
-
7
8
1
0
-
8
9
9
-
6
5
8
-
8
6
8
-
3
1
7
-
9
1
1
1
-
0
8
9
-
8
1
9
-
0
0
8
-
4
4
8
-
0
3
1
1
-
2
4
9
-
9
5
9
1
2
8
-
5
5
8
-
1
3
1
1
-
4
0
1
0
-
0
8
9
-
2
4
8
-
6
6
8
-
2
3
1
1
-
5
5
1
0
-
2
1
9
-
3
5
8
-
7
6
8
-
3
2
1
1
-
6
8
1
0
-
3
2
9
-
4
6
8
-
8
5
8
-
4
1
1
1
8
1
1
0
-
1
3
9
-
5
5
8
-
9
4
8
-
4
9
1
1
-
9
3
1
0
-
5
4
9
-
6
5
9
-
0
3
8
-
5
1
1
0
I
I
1
2
1
3
1
4
4
-
4
8
4
-
3
9
4
-
3
2
4
-
2
6
4
-
2
1
5
-
2
7
5
-
1
4
5
-
0
4
4
-
9
6
4
-
8
9
5
-
7
7
5
-
6
2
5
-
5
0
5
-
4
0
5
-
3
2
6
-
1
4
5
-
9
7
5
-
8
4
5
-
7
3
5
-
6
3
6
-
4
3
6
-
2
5
6
-
1
0
5
-
9
8
5
-
8
8
6
-
6
7
6
-
4
8
6
-
3
2
6
-
1
9
6
-
0
8
6
-
8
7
6
-
6
7
6
-
5
1
6
-
3
7
6
-
2
6
7
-
1
)
5
6
-
8
4
6
-
6
7
6
-
5
3
6
-
4
1
7
-
2
1
6
-
9
9
6
-
8
1
8
-
6
7
6
-
5
4
7
-
3
6
7
-
1
3
6
-
9
4
6
-
7
9
6
-
6
6
7
-
4
8
7
-
2
5
7
-
0
6
6
-
9
0
6
-
7
7
7
-
6
0
7
-
3
6
7
-
1
7
7
-
0
1
6
-
8
7
7
-
7
1
7
-
4
6
7
-
2
6
7
-
1
0
6
-
9
6
7
-
8
1
7
-
5
6
7
-
3
6
7
-
1
9
7
-
0
5
7
-
9
1
7
-
6
5
7
-
4
4
7
-
2
7
7
-
1
2
7
-
9
9
7
-
7
3
7
-
5
2
7
-
3
-
1
7
-
2
0
8
-
0
7
7
-
8
1
7
-
5
9
7
-
4
2
7
-
2
7
8
-
1
5
7
-
8
8
7
-
6
6
7
-
4
8
7
-
3
3
8
-
2
2
7
-
9
5
7
7
3
7
-
5
5
7
-
3
9
1
5
1
6
1
7
1
8
1
9
4
-
1
7
4
-
1
3
4
-
1
0
4
-
0
7
4
-
0
5
4
-
8
3
4
-
7
8
4
-
7
4
4
-
7
0
4
-
6
7
5
-
2
5
5
-
1
9
5
-
1
4
5
-
0
9
5
-
0
5
5
-
5
6
5
-
4
9
5
-
4
3
5
-
3
8
5
-
3
3
5
-
8
0
5
-
7
2
5
-
6
6
5
-
6
0
5
-
5
5
5
-
9
9
5
-
9
2
5
-
8
5
5
-
7
9
5
-
7
3
6
-
1
6
6
-
0
8
6
-
0
1
5
-
9
4
5
-
8
9
6
-
3
1
6
-
2
2
6
-
1
5
6
-
0
8
6
-
0
2
6
-
4
4
6
-
3
5
6
-
2
7
6
-
2
0
6
-
1
4
6
-
5
5
6
-
4
6
6
-
3
8
6
-
3
1
6
-
2
5
6
-
6
6
6
-
5
6
6
-
4
8
6
-
4
1
6
-
3
4
6
-
7
6
6
-
6
6
6
-
5
7
6
-
5
0
6
-
4
3
6
-
8
4
6
-
7
4
6
-
6
6
6
-
5
8
6
-
5
1
6
-
9
3
6
-
8
2
6
-
7
3
6
-
6
5
6
-
5
8
7
-
0
0
6
-
9
0
6
-
8
0
6
-
7
2
6
-
6
5
7
-
0
7
6
-
9
7
6
-
8
7
6
-
7
9
6
-
7
2
7
-
1
4
7
-
0
3
6
-
9
4
8
-
8
5
6
-
7
8
7
-
2
0
7
-
0
9
7
-
0
0
6
-
9
1
6
-
8
4
7
-
2
6
7
-
1
5
7
-
0
5
6
-
9
6
6
-
8
9
2
0
2
4
3
0
4
0
4
-
0
2
3
-
9
6
3
-
8
9
3
-
8
2
4
-
6
4
4
-
5
4
4
-
4
5
4
-
3
7
5
-
0
2
4
-
9
1
4
-
8
0
4
-
7
0
5
-
2
9
5
-
1
7
5
-
0
5
4
-
9
3
5
-
5
1
5
-
3
7
5
-
2
4
5
-
1
1
5
-
6
9
5
-
5
4
5
-
4
0
5
-
2
7
5
-
8
4
5
-
6
9
5
-
5
4
5
-
3
9
5
-
9
7
5
-
8
1
5
-
6
5
5
-
5
0
6
-
0
9
5
-
9
2
5
-
7
6
5
-
6
0
6
-
1
9
6
-
0
2
5
-
8
5
5
-
6
9
6
-
2
9
6
-
1
1
5
-
9
3
5
-
7
7
6
-
3
7
6
-
1
9
6
-
0
1
5
-
8
4
6
-
4
5
6
-
2
6
6
-
0
8
5
-
9
0
6
-
5
2
6
-
3
3
6
-
1
4
5
-
9
6
6
-
5
9
6
-
3
9
6
-
2
0
6
-
0
2
6
-
6
5
6
-
4
5
6
-
2
6
6
-
0
7
6
-
7
1
6
-
5
1
6
-
3
1
6
-
1
2
6
-
7
6
6
-
5
6
6
-
3
6
6
-
1
7
6
-
8
2
6
-
6
1
6
-
4
1
6
-
2
1
6
0
1
2
0
3
-
7
6
3
-
7
0
3
-
6
4
4
-
2
8
4
-
2
0
4
-
1
2
4
-
6
0
4
-
5
0
4
-
4
0
4
-
8
2
4
-
7
1
4
-
6
0
4
-
9
9
4
-
8
7
4
-
7
6
5
-
1
3
5
-
0
1
4
-
8
8
5
-
2
5
5
-
1
2
4
-
9
9
5
-
3
6
5
-
2
1
5
-
1
)
8
5
-
4
5
5
-
3
0
5
-
1
6
5
-
5
3
5
-
3
8
5
-
2
3
5
-
6
0
5
-
4
4
5
-
2
9
5
-
6
7
5
-
5
1
5
-
3
5
5
-
7
3
5
-
5
6
5
-
4
0
5
.
7
9
5
-
6
1
5
-
4
5
5
-
8
4
5
-
6
6
5
-
4
9
5
-
8
9
5
-
7
1
5
-
5
4
5
-
9
3
5
-
7
5
5
-
5
7
5
-
9
8
5
-
7
9
5
-
6
1
8
-
0
2
5
-
8
3
5
-
6
5
R E F E R E N C E S



































1 4 0






























1 4 1























































































1 4 3
M o s k o w i t z , H . R . 1 9 7 8 . M a g n i t u d e e s t i m a t i o n : n o t e s o n h o w , w h a t , w h e r e
a n d w h y t o u s e i t . J . F o o d Q u a l i t y 1 : 1 9 5 .
M o s k o w i t z , H . R . 1 9 7 4 . S e n s o r y e v a l u a t i o n b y m a g n i t u d e e s t i m a t i o n . F o o d
T e c h n o l . 2 8 ( 1 1 ) : 1 6 .
R o e s s l e r , E . B . , P a n g b o r n , R . M . , S i d e l , J . L . a n d S t o n e , H . 1 9 7 8 . E x p a n d e d
s t a t i s t i c a l t a b l e s f o r e s t i m a t i n g s i g n i f i c a n c e i n p a i r e d - p r e f e r e n c e , p a i r e d
d i f f e r e n c e , d u o - t r i o a n d t r i a n g l e t e s t s . J . F o o d S c i . 4 3 : 9 4 0 .
S i d e l , J . L . a n d M o s k o w i t z , H . R . 1 9 7 1 . M a g n i t u d e a n d h e d o n i c s c a l e s o f
f o o d a c c e p t a b i l i t y . J . F o o d S c i . 3 6 : 6 7 7 .
S i d e l , J . L . a n d S t o n e , H . 1 9 7 6 . E x p e r i m e n t a l d e s i g n a n d a n a l y s i s o f s e n s o r y
t e s t s . F o o d T e c h n o l . 3 0 ( 1 1 ) : 3 2 .
S i d e l , J . L . , S t o n e , H . a n d B l o o m q u i s t , J . 1 9 8 1 . U s e a n d m i s u s e o f s e n s o r y
e v a l u a t i o n i n r e s e a r c h a n d q u a l i t y c o n t r o l . J . D a i r y S c i 6 4 : 2 2 9 6 .
S z c z e s n i a k , A . S . , L o w e , B . J . a n d S k i n n e r , E . L . 1 9 7 5 . C o n s u m e r t e x t u r a l
p r o f i l e t e c h n i q u e . J . F o o d S c i . 4 0 : 1 2 5 3 .
W o l f e , K . A . 1 9 7 9 . U s e o f r e f e r e n c e s t a n d a r d s f o r s e n s o r y e v a l u a t i o n o f
p r o d u c t q u a l i t y . F o o d T e c h n o l . 3 3 ( 9 ) : 4 3 .
G L O S S A R Y



























1 4 8
T e r m s a n d D e f i n i t i o n s
A c c e p t a b i l i t y ( n ) - A t t i t u d e t o w a r d s a p r o d u c t , e x p r e s s e d b y a c o n s u m e r ,
o f t e n i n d i c a t i n g i t s a c t u a l u s e ( p u r c h a s e o r e a t i n g ) .
A c c u r a c y ( n ) - C l o s e n e s s w i t h w h i c h m e a s u r e m e n t s t a k e n a p p r o a c h t h e t r u e
v a l u e ; e x a c t n e s s ; c o r r e c t n e s s .
A c u i t y ( n ) - F i n e n e s s o f s e n s o r y r e c o g n i t i o n o r d i s c r i m i n a t i o n ;
a b i l i t y t o
d i s c e r n o r p e r c e i v e s m a l l d i f f e r e n c e s i n s t i m u l i ; s h a r p n e s s o r a c u t e n e s s .
A f f e c t i v e T e s t - A t e s t u s e d t o e v a l u a t e s u b j e c t i v e a t t i t u d e s s u c h a s
p r e f e r e n c e , a c c e p t a n c e a n d / o r d e g r e e o f l i k i n g o f f o o d s b y u n t r a i n e d
p a n e l i s t s .
A f t e r t a s t e ( n ) - T h e e x p e r i e n c e , w h i c h u n d e r c e r t a i n c o n d i t i o n s , f o l l o w s t h e
r e m o v a l o f a t a s t e s t i m u l u s .
A g e u s i a ( n ) - L a c k o r i m p a i r m e n t o f s e n s i t i v i t y t o t a s t e s t i m u l i .
A n a l y s i s o f V a r i a n c e - A m a t h e m a t i c a l p r o c e d u r e f o r s e g r e g a t i n g t h e
s o u r c e s o f v a r i a b i l i t y a f f e c t i n g a s e t o f o b s e r v a t i o n s ; u s e d t o t e s t
w h e t h e r t h e m e a n s o f s e v e r a l s a m p l e s d i f f e r i n s o m e w a y o r a r e t h e
s a m e .
A n a l y t i c a l T e s t - A t e s t u s e d f o r l a b o r a t o r y e v a l u a t i o n o f p r o d u c t s b y
t r a i n e d p a n e l i s t s
i n t e r m s o f d i f f e r e n c e s o r s i m i l a r i t i e s a n d f o r
i d e n t i f i c a t i o n a n d q u a n t i f i c a t i o n o f s e n s o r y c h a r a c t e r i s t i c s .
A n o s m i a ( n ) - L a c k o r i m p a i r m e n t o f s e n s i t i v i t y t o o d o u r s t i m u l i .
A r b i t r a r y ( a d j ) - B a s e d o n o r s u b j e c t t o p e r s o n a l o r i n d i v i d u a l j u d g m e n t .
A s s e s s ( v ) - T o e v a l u a t e .
A t t r i b u t e ( n ) - A p e r c e i v e d c h a r a c t e r i s t i c ; a d i s t i n c t i v e f e a t u r e , q u a l i t y o r
a s p e c t o f a f o o d p r o d u c t .
B a l l o t ( n ) - A f o r m u s e d b y a p a n e l i s t t o r e c o r d s a m p l e s c o r e s , d e c i s i o n s ,
c o m m e n t s ; u s u a l l y i n c l u d e s i n s t r u c t i o n s t o t h e p a n e l i s t r e l a t e d t o t h e
t y p e o f t e s t b e i n g p e r f o r m e d .
1 4 9
B a s i c T a s t e - S w e e t , s o u r , s a l t y o r b i t t e r s e n s a t i o n .
B a t c h ( n ) - A d e f i n i t e q u a n t i t y o f s o m e f o o d p r o d u c t c h o s e n f r o m t h e
p o p u l a t i o n o f t h a t f o o d , a n d f r o m w h i c h s a m p l e s a r e w i t h d r a w n .
B i a s ( n ) - A p r e j u d i c e d o r i n f l u e n c e d j u d g m e n t .
S
B i n o m i a l T e s t - A t e s t o f t h e f r e q u e n c y o f o c c u r r e n c e i n t w o c a t e g o r i e s ;
u s e d w h e n o n l y t w o p o s s i b l e o u t c o m e s a r e a l l o w e d .
B l i n d C o n t r o l - A r e f e r e n c e s a m p l e , w h o s e i d e n t i t y i s k n o w n o n l y t o t h e
r e s e a r c h e r , c o d e d a n d p r e s e n t e d w i t h e x p e r i m e n t a l s a m p l e s .
C a t e g o r y ( n ) - A d e f i n e d d i v i s i o n i n a s y s t e m o f c l a s s i f i c a t i o n .
U
C a t e g o r y S c a l e - A s c a l e d i v i d e d i n t o n u m e r i c a l a n d / o r d e s c r i p t i v e
c l a s s i f i c a t i o n s .
C h a r a c t e r i s t i c ( n ) - O d o u r , f l a v o u r , t e x t u r e o r a p p e a r a n c e p r o p e r t y o f a
p r o d u c t .
C h i - S q u a r e T e s t - N o n - p a r a m e t r i c t e s t u s e d t o d e t e r m i n e w h e t h e r a
s i g n i f i c a n t d i f f e r e n c e e x i s t s b e t w e e n a n o b s e r v e d n u m b e r a n d a n
e x p e c t e d n u m b e r o f r e s p o n s e s f a l l i n g i n e a c h c a t e g o r y d e s i g n a t e d b y
t h e r e s e a r c h e r ; u s e d t o t e s t h y p o t h e s e s a b o u t t h e f r e q u e n c y o f
o c c u r r e n c e i n a n y n u m b e r o f c a t e g o r i e s .
C l a s s i f i c a t i o n ( n ) - C a t e g o r y .
I
C l a s s i f y ( v ) - T o s o r t i n t o p r e d e t e r m i n e d c a t e g o r i e s .
C o d e ( v ) - A s s i g n m e n t o f s y m b o l s , u s u a l l y 3 - d i g i t r a n d o m n u m b e r s , t o
s a m p l e s s o t h a t t h e y m a y b e p r e s e n t e d t o p a n e l i s t s w i t h o u t
i d e n t i f i c a t i o n .
C o n d i t i o n a l ( a d j ) - I m p l y i n g a c o n d i t i o n o r p r e r e q u i s i t e .
C o n s e r v a t i v e ( a d j ) - M o d e r a t e ; c a u t i o u s .
C o n s i s t e n c y ( n ) - A g r e e m e n t o r h a r m o n y o f p a r t s ; u n i f o r m i t y .
1 5 0
C o n s u m e r ( n ) - A n i n d i v i d u a l w h o o b t a i n s a n d u s e s a c o m m o d i t y .
C o n s u m e r P a n e l - A g r o u p o f i n d i v i d u a l s r e p r e s e n t a t i v e o f a s p e c i f i c
p o p u l a t i o n w h o s e b e h a v i o u r i s m e a s u r e d .
C o n v e n t i o n a l ( a d ] ) - A p p r o v e d b y o r f o l l o w i n g g e n e r a l u s a g e ; c u s t o m a r y .
C o r r e l a t i o n A n a l y s i s - A m e t h o d t o d e t e r m i n e t h e n a t u r e a n d d e g r e e o f
r e l a t i o n s h i p b e t w e e n v a r i a b l e s .
C r i t i c a l V a l u e - A c r i t e r i o n o r s c i e n t i f i c c u t - o f f p o i n t r e l a t e d t o t h e c h o s e n
l e v e l o f s i g n i f i c a n c e .
D e f i n i t i o n ( n ) - A s t a t e m e n t o f t h e m e a n i n g o f a w o r d , p h r a s e o r t e r m ; t h e
a c t o f m a k i n g c l e a r a n d d i s t i n c t .
D e s c r i p t i v e T e s t - A t e s t u s e d t o m e a s u r e t h e p e r c e i v e d i n t e n s i t y o f a
s e n s o r y p r o p e r t y o r c h a r a c t e r i s t i c .
D i f f e r e n c e T e s t - A t e s t u s e d t o d e t e r m i n e i f t w o s a m p l e s a r e p e r c e p t i b l y
d i f f e r e n t .
D i s c r i m i n a t e ( v ) - T o p e r c e i v e o r d e t e c t a d i f f e r e n c e b e t w e e n t w o o r m o r e
s t i m u l i .
E f f e c t ( n ) - S o m e t h i n g b r o u g h t a b o u t b y a c a u s e o r a g e n t ; r e s u l t .
E f f i c i e n t ( a d ] ) - A c t i n g o r p r o d u c i n g e f f e c t i v e l y w i t h a m i n i m u m o f w a s t e
o r e f f o r t .
E x p e c t o r a t e ( v ) - T o e j e c t f r o m t h e m o u t h ; s p i t .
E x p e r i m e n t a l E r r o r - M e a s u r e o f t h e v a r i a t i o n w h i c h e x i s t s a m o n g
o b s e r v a t i o n s o n s a m p l e s t r e a t e d a l i k e .
F o r m ( n ) - A d o c u m e n t p r i n t e d w i t h s p a c e s f o r i n f o r m a t i o n t o b e i n s e r t e d .
F r e q u e n c y ( n ) - T h e n u m b e r o f r e s p o n s e s f a l l i n g w i t h i n a s p e c i f i e d
c a t e g o r y o r i n t e r v a l .
H e d o n i c ( a d ] ) - D e g r e e o f l i k i n g o r d i s l i k i n g .

























1 5 2
O r i e n t ( v ) - T o f a m i l i a r i z e p a r t i c i p a n t s w i t h o r a d j u s t t o a s i t u a t i o n .
P a l a t e ( n ) - T h e r o o f o f t h e m o u t h .
P a n e l ( n ) - A g r o u p o f a s s e s s o r s w h o h a v e b e e n s e l e c t e d o r d e s i g n a t e d i n
s o m e m a n n e r t o p a r t i c i p a t e i n a s e n s o r y t e s t .
P a n e l L e a d e r - A p e r s o n r e s p o n s i b l e f o r o r g a n i z i n g , c o n d u c t i n g a n d
d i r e c t i n g a p a n e l .
P a n e l i s t ( n ) - A m e m b e r o f a p a n e l .
P e r c e i v e ( v ) - T o b e c o m e a w a r e o f a s t i m u l i t h r o u g h t h e s e n s e s .
P e r c e p t i b l e ( a d ] ) - C a p a b l e o f b e i n g p e r c e i v e d .
P e r i s h a b l e ( a d ] ) - E a s i l y d e s t r o y e d o r s p o i l e d .
P o r t i o n ( n ) - A s e c t i o n o r q u a n t i t y w i t h i n a l a r g e r a m o u n t .
( v ) - T o d i v i d e i n t o p a r t s .
P r e c i s e ( a d ] ) - A b i l i t y o f r e p e a t e d m e a s u r e m e n t s t o b e i d e n t i c a l , o r a l m o s t
i d e n t i c a l .
P r e c i s i o n ( i i ) - C l o s e n e s s o f r e p e a t e d m e a s u r e m e n t s t o e a c h o t h e r .
P r e f e r e n c e ( n ) - E x p r e s s e d c h o i c e f o r a p r o d u c t o r p r o d u c t s r a t h e r t h a n
a n o t h e r p r o d u c t o r p r o d u c t s .
P r o b a b i l i t y ( n ) - T h e l i k e l i h o o d o r c h a n c e o f a g i v e n e v e n t h a p p e n i n g .
P s y c h o l o g i c a l F a c t o r s - I n v o l v i n g t h e m i n d o r e m o t i o n s .
Q u a l i t a t i v e ( a d ] ) - P e r t a i n i n g t o q u a l i t y ; i n v o l v e d i n v a r i a t i o n i n k i n d r a t h e r
t h a n i n d e g r e e .
Q u a l i t y ( n ) - D e g r e e o f e x c e l l e n c e .
Q u a n t i t a t i v e ( a d ] ) - P e r t a i n i n g t o n u m b e r o r q u a n t i t y .

1 5 4
S c r e e n ( v ) - T o s e p a r a t e O u t o r e l i m i n a t e i n d i v i d u a l s w h o a r e c o m p l e t e l y
u n s u i t a b l e f o r s e n s o r y e v a l u a t i o n b y t e s t i n g f o r s e n s o r y i m p a i r m e n t a n d
a c u i t y .
S e n s e ( n ) - A n y o f t h e f u n c t i o n s o f h e a r i n g , s i g h t , s m e l l , t o u c h a n d t a s t e .
S e n s i t i v i t y ( n ) - A b i l i t y o f i n d i v i d u a l s t o d e t e c t o r p e r c e i v e q u a n t i t a t i v e
a n d / o r q u a l i t a t i v e d i f f e r e n c e s i n s e n s o r y c h a r a c t e r i s t i c s ; a c u i t y .
S e n s o r y ( a d j ) - P e r t a i n i n g t o t h e a c t i o n o f t h e s e n s e o r g a n s .
S e n s o r y A n a l y s i s - A s c i e n t i f i c d i s c i p l i n e u s e d t o e v o k e , m e a s u r e , a n a l y z e
a n d i n t e r p r e t r e a c t i o n s t o t h o s e c h a r a c t e r i s t i c s o f f o o d s a n d m a t e r i a l s a s
t h e y a r e p e r c e i v e d b y t h e s e n s e s o f s i g h t , s m e l l , t a s t e , t o u c h a n d
h e a r i n g .
S e n s o r y E v a l u a t i o n - S e e s e n s o r y a n a l y s i s .
S e n s o r y T e s t i n g - S e e s e n s o r y a n a l y s i s .
S i g n i f i c a n c e ( n ) - L e v e l o f p r o b a b i l i t y t h a t t h e d i f f e r e n c e s a m o n g s a m p l e s
o r t r e a t m e n t s a r e r e a l a n d n o t d u e t o c h a n c e v a r i a t i o n .
S i m u l t a n e o u s l y ( a d j ) - H a p p e n i n g o r d o n e a t t h e s a m e t i m e .
S n i f f ( v ) - T o e v a l u a t e a n o d o u r b y d r a w i n g a i r a u d i b l y a n d a b r u p t l y t h r o u g h
t h e n o s e .
S t a g g e r ( v ) - T o a r r a n g e i n a l t e r n a t i n g o r o v e r l a p p i n g t i m e p e r i o d s .
S t a t i s t i c s ( n ) - T h e m a t h e m a t i c s o f t h e c o l l e c t i o n , o r g a n i z a t i o n a n d
i n t e r p r e t a t i o n o f n u m e r i c a l d a t a , p a r t i c u l a r l y t h e a n a l y s i s o f p o p u l a t i o n
c h a r a c t e r i s t i c s b y i n f e r e n c e f r o m s a m p l i n g .
S t i m u l u s ( n ) - A n y t h i n g c a u s i n g o r r e g a r d e d a s c a u s i n g a r e s p o n s e .
T a c t i l e S e n s e s - P e r t a i n i n g t o t h e s e n s e o f t o u c h .
T i e ( n ) - A n e q u a l i t y o f s c o r e s b e t w e e n t w o o r m o r e s a m p l e s .
1 5 5
T r a i n i n g ( n ) - I n s t r u c t i o n a n d p r a c t i c e t o f a m i l i a r i z e p a n e l i s t s w i t h t e s t
p r o c e d u r e s a n d t o i n c r e a s e t h e i r a b i l i t y t o r e c o g n i z e , i d e n t i f y a n d r e c a l l
s e n s o r y c h a r a c t e r i s t i c s .
T r e a t m e n t ( n ) - P r o c e d u r e w h o s e e f f e c t i s m e a s u r e d a n d c o m p a r e d w i t h
o t h e r t r e a t m e n t s .
T r i a l R u n - T h e p r o c e s s o f t e s t i n g , t r y i n g a n d t i m i n g m e t h o d s a n d
p r o c e d u r e s t h r o u g h t h e i r a c t u a l u s e .
V a l i d ( a d j ) - D r a w i n g t h e p r o p e r a n d c o r r e c t c o n c l u s i o n s f r o m t h e d a t a .
V a l i d i t y ( n ) - A s s u r a n c e t h a t t h e s p e c i f i c c h a r a c t e r i s t i c t h a t i s s u p p o s e d t o
b e m e a s u r e d i s t r u l y b e i n g m e a s u r e d .
D e g r e e t o w h i c h r e s u l t s a r e
c o n s i s t e n t w i t h t h e f a c t s .
I N D E X
A c c e p t a b i l i t y 7 , 4 8 , 4 9 , 5 1
A c c e p t a n c e 5 9 , 6 0 , 6 3
A f f e c t i v e t e s t 5 9
A n a l y s i s o f v a r i a n c e 3 4 , 5 5 , 6 8 , 7 0 , 7 2 , 9 1 , 9 4 , 9 9 , 1 1 5
A n a l y t i c a l t e s t 5 9
B i n o m i a l t e s t 5 5 , 6 1 , 8 2
B l i n d c o n t r o l 4 2
B l o c k i n g 5 4 , 5 7 , 5 8 , 6 9
C a r r i e r s 4 0
C a t e g o r y s c a l e 4 9 , 5 0 , 5 5 , 6 0 , 6 3 , 6 6 , 6 8 , 7 0 , 9 0
C h i - s q u a r e t e s t 5 5
C o n s u m e r p a n e l 8 , 2 3 , 4 8 , 5 1 , 5 3 , 6 0 , 6 5 , 7 0
C o n s u m e r 7 , 8 , 9 , 5 1 , 6 0 , 6 3 , 7 0
C o n s u m e r - o r i e n t e d t e s t
7 , 8 , 4 8 , 5 1 , 5 3 , 5 9 , 6 0
C o r r e l a t i o n 5 6
D i s c r i m i n a n t a n a l y s i s 5 6
D u n c a n ' s m u l t i p l e r a n g e t e s t 5 5 , 7 6 , 1 0 1
D u o - t r i o t e s t 8 0
E n d p o i n t s 4 9 , 1 1 4 , 1 1 7
E x p e r i m e n t a l d e s i g n 5 , 5 6 , 5 7 , 5 8
E x p e r i m e n t a l e r r o r 5 8 , 6 8 6 9 , 9 1
F a c t o r a n a l y s i s 5 6
F l a v o u r p r o f i l e 1 0 4
F o o d p r e p a r a t i o n 7 , 1 1 , 1 2 , 1 3 , 1 4 , 1 7 , 1 9 , 2 3 , 2 6
F r i e d m a n t e s t 5 5 , 6 5 , 8 7
H e d o n i c 6 0 , 6 6 , 6 8 , 7 0 , 7 5 , 9 4
H i d d e n r e f e r e n c e 4 2
I n - h o u s e p a n e l 8 , 2 9 , 3 0 , 6 2 , 6 3 , 6 5 , 6 6 , 7 0 , 8 3
K r a m e r t e s t 5 5
L e a s t s i g n i f i c a n t d i f f e r e n c e t e s t 5 5
L i n e s c a l e 4 9 , 5 0 , 9 0 , 9 1 , 9 2 , 1 1 4
M o n i t o r i n g p e r f o r m a n c e 1 4 , 2 9 , 3 2 , 3 3 , 3 4 , 3 5 , 4 1 , 5 4 , 1 1 4 , 1 1 5
M o t i v a t i n g p a n e l i s t s 2 9 , 3 5
M u l t i p l e c o m p a r i s o n t e s t 5 5 , 7 6 , 1 0 0 , 1 0 1
M u l t i v a r i a t e a n a l y s i s 5 6 , 9 1
1 5 9
1 6 0
N o n - p a r a m e t r i c t e s t
5 4 , 5 5
O b j e c t i v e s
4 7 , 5 6 , 1 0 5 , 1 0 6
O r i e n t i n g p a n e l i s t s
3 0 , 1 0 6
P a i r e d - c o m p a r i s o n t e s t
8 0
P a i r e d - p r e f e r e n c e t e s t
6 0 , 6 1 , 6 2 , 6 3 , 8 0 , 8 2
P a n e l l e a d e r 1 1 , 1 3 , 1 7 , 1 8 , 2 5 , 2 6 , 2 9 , 3 0 , 3 2 ,
3 3 , 3 4 , 3 5 , 4 8 , 1 1 1 , 1 1 4
P a r a m e t r i c t e s t 5 4 , 5 5
P r e f e r e n c e 7 , 8 , 3 2 , 4 8 , 4 9 , 5 1 , 5 9 , 6 0 , 6 1 , 6 2
P r i n c i p a l c o m p o n e n t a n a l y s i s
5 6
P r o b a b i l i t y 5 2 , 5 3 , 6 1 , 6 2 , 7 8 , 8 2 , 8 3 , 8 5 , 1 0 3
P r o d u c t - o r i e n t e d t e s t 7 ,
8 , 9 , 1 3 , 4 8 , 4 9 , 5 1 , 5 3 , 5 9 , 7 9
Q u a n t i t a t i v e d e s c r i p t i v e a n a l y s i s
1 0 4
Q u e s t i o n n a i r e 3 0
R a n d o m n u m b e r
4 4 , 5 7 , 6 8 , 8 1 , 9 0
R a n d o m s a m p l e 8 , 5 3
R a n d o m i z a t i o n
4 4 , 5 7 , 6 8 , 1 0 6
R e c r u i t i n g p a n e l i s t s
2 9 , 3 0 , 1 0 6
R e f e r e n c e s a m p l e
1 3 , 3 7 , 4 1 , 4 2 , 8 0 , 1 1 4
R e g r e s s i o n 5 6
R e p l i c a t i o n 5 4 , 5 7 , 5 8 , 9 1 , 9 2 , 9 4 , 9 6 , 9 7 , 9 9 ,
1 0 0 , 1 1 5
S a m p l i n g
1 9 , 3 7 , 5 3
S c h e f f e ' s t e s t 5 5
S c r e e n i n g
3 1 , 8 6 , 1 0 6
S e n s o r y f a c i l i t i e s 1 1 ,
1 8 , 2 3
S i g n i f i c a n c e 5 3 , 6 1 , 6 5 , 6 9 , 7 6 , 7 7 , 8 2 ,
8 3 , 8 5 , 9 7 , 1 0 2
S t a n d a r d i z a t i o n
3 7
S t a t i s t i c a l a n a l y s i s
5 , 3 4 , 4 7 , 5 2 , 5 4 , 5 6 , 1 0 5 , 1 0 6
S t a t i s t i c a l t e s t 5 2 , 5 4 , 5 6
S u p p l i e s 1 1 , 1 3 ,
1 9 , 2 3 , 2 5
T a r g e t p o p u l a t i o n
8 , 9
T e x t u r e p r o f i l e
1 0 4
T r a i n e d p a n e l 8 , 9 , 2 9 , 3 1 , 3 2 , 5 4 , 8 3 ,
8 6 , 1 0 4
T r a i n i n g 9 , 2 9 , 3 2 , 5 1 , 1 0 6 , 1 1 4
T r i a n g l e t e s t
3 1 , 7 9 , 8 1 , 8 2 , 8 3
T u k e y ' s t e s t
5 5 , 1 0 1
U n t r a i n e d p a n e l
7 , 8 , 2 9 , 3 0 , 6 2 , 6 5 , 7 0
H e a d O f f i c e
I D R C , P 0 B o x 8 5 0 0 , O t t a w a , O n t a r i o , C a n a d a K 1 G 3 H 9
R e g i o n a l O f f i c e f o r S o u t h e a s t a n d E a s t A s i a
I D R C , T a n g l i n P 0 B o x 1 0 1 , S i n g a p o r e 9 1 2 4 , R e p u b l i c o f S i n g a p o r e
R e g i o n a l O f f i c e f o r S o u t h A s i a
I D R C , 1 1 J o r B a g h , N e w D e l h i 1 1 0 0 0 3 , I n d i a
R e g i o n a l O f f i c e f o r E a s t e r n a n d S o u t h e r n A f r i c a
I D R C , P 0 B o x 6 2 0 8 4 , N a i r o b i , K e n y a
R e g i o n a l O f f i c e f o r t h e M i d d l e E a s t a n d N o r t h A f r i c a
I D R C / C R D I , P 0 B o x 1 4 O r m a n , G i z a , C a i r o , E g y p t
R e g i o n a l O f f i c e f o r W e s t a n d C e n t r a l A f r i c a
C R D I , B P 1 1 0 0 7 , C D A n n e x e , D a k a r , S e n e g a l
R e g i o n a l O f f i c e f o r L a t i n A m e r i c a a n d t h e C a r i b b e a n
C I I D , C a s i l l a d e C o r r e o s 6 3 7 9 , M o n t e v i d e o , U r u g u a y
P l e a s e d i r e c t r e q u e s t s f o r i n f o r m a t i o n a b o u t I D R C a n d i t s a c t i v i t i e s t o t h e
I D R C o f f i c e i n y o u r r e g i o n .