Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Informe2003 Landeta Upv PDF
Informe2003 Landeta Upv PDF
universidad
del pas vasco
euskal herriko
unibertsitatea
NDICE
Pg.
1.- Presentacin del trabajo
3.- Metodologa.
3.1.- Justificacin del empleo del mtodo Delphi
3.2.- Mtodo Delphi
4
5
8
9
10
12
12
14
16
18
6.- Conclusiones
6.1.- Fiabilidad de los resultados
6.2.- Validez de los resultados y ejemplo
6.3.- Limitaciones del estudio y propuestas de mejora de sus resultados
6.4.- Conclusin final
19
19
21
21
23
7.- Bibliografa
24
Con informacin actualizada por Josep Arnau, Jordi Galter, Xavier Martn i Jess Muoz (Idescat)
2 Se trat de un estudio que emple la metodologa Delphi para elaborar un modelo para la estimacin del gasto turstico
individual en Catalunya.
Agricultura y ganaderia
Pesca
Industria extractiva
Industria manufacturera
Energia elctrica, gas y agua
Construccin
Comercio
Hosteleria
Transporte y comunicaciones
Mediacin financera
Activitats inmobiliries, alquiler y servicios empresariales
Administracin pblica
Educacin
Activitats sanitarias y servicios sociales
Otras actividades sociales y servicios personales
TOTAL
TOTAL (%)
13
3
94
2
1
7
44
1
Total
74
1
1
5
6
3
120
30,2%
15
1
10
2
1
11
11
21
4
2
108
27,2%
10
4
6
13
43
10,8%
2
81
20,4%
20
5,0%
4
5
8
25
6,3%
17
4
7
213
9
5
24
5
22
11
22
10
8
15
25
397
100,0
%
metodologa Delphi. Este planteamiento permite limitar los tres inconvenientes que
hemos enunciado para las encuestas a las empresas. Los expertos conocen
perfectamente la composicin de sus compras y las del sector en que operan, por lneas
de productos. Tambin es ms fcil evitar las reticencias con relacin a la sensibilidad
de difundir este tipo de informacin interna, si la pregunta se plantea de forma
adecuada, por ejemplo, si se solicita su opinin sobre las compras del sector y no sobre
las compras especficas de la empresa a la que representa el experto.
Esta va de obtencin de la informacin est avalada por la propia metodologa del
SEC-95 (Reglamento (CE) n2223/96, p.285) cuando se plantea para la elaboracin de
las tablas input-output simtricas la opcin de resolver esta problemtica explotando,
hasta donde sea posible, informaciones cualitativas procedentes de expertos.
10
11
6.1.- Dispersin/consenso
El primer mbito de control es grado de dispersin (o de consenso, en sentido inverso)
de las respuestas de los expertos en cada ronda.
En principio, es deseable que exista un cierto grado de dispersin en las respuestas de
los expertos (en el lmite, si todos los expertos hubieran respondido lo mismo no habra
habido necesidad de recurrir de forma iterativa a un grupo de ellos, habra sido
suficiente con preguntar una sola vez a un experto). Sin embargo, en la segunda vez que
los expertos son encuestados, lo normal es que despus de conocer las opiniones de los
otros expertos, tanto en forma estadstica como cualitativa, la distribucin de las
respuestas presente una dispersin menor (o un consenso mayor). Es decir, que despus
de tener la informacin complementaria aportada por el grupo las respuestas sean ms
cercanas y, presumiblemente, de mayor calidad.
Para medir el grado de dispersin, hemos seleccionado como indicador la desviacin
tpica de las diferentes distribuciones resultantes. El reducido nmero de estimaciones
por item y las diferencias de tamao entre los valores medios de cada item nos han
llevado a seleccionar este estadstico, en lugar de otros ms tradicionales, como pueden
12
Dispersin
ronda 1
4,45
4,60
3,56
3,36
Variacin
Dispersin del grado de
ronda 2
Consenso
4,14
0,31
2,38
1,47
2,21
0,69
2,40
0,68
2,54
3,16
2,14
1,88
2,07
1,69
0,70
0,43
0,42
3,16
2,80
3,70
2,10
2,02
3,40
0,44
0,39
0,30
3,35
2,43
0,58
CUESTIONARIO "B"
Grupos Delfos
Alimentacin, bebidas y tabaco
Textil, confeccin, cuero y calzado
Madera, papel, edicin, artes grficas y reprografa
Industrias qumicas y refineras petrolferas
Caucho y materiales plsticos
Otras producciones minerales no metlicas
Metalurgia y productos metlicos
Maquinaria y equipos mecnicos
Maq. de oficina, equipos elctricos y electrnicos e
instrumentos
Fabricacin de materiales de transporte
Industrias manufactureras diversas
Dispersin
ronda 1
8,22
7,52
6,77
7,82
Variacin
Dispersin del grado de
ronda 2
Consenso
7,18
1,04
6,19
1,33
5,50
1,27
6,13
1,69
7,80
7,52
8,72
5,96
6,75
7,90
1,84
0,77
0,82
8,11
9,34
7,40
6,34
7,92
6,77
1,77
1,42
0,63
7,92
6,66
1,26
13
Una vez calculada la variacin del grado de consenso en todos los productos hemos
observado que en todas las familias de productos se alcanza un mayor grado de
consenso, es decir, que la dispersin de las distribuciones de las respuestas en cada
producto han sido menores en la segunda ronda que en la primera.
Los resultados globales de todos los productos
cuestionarios se recogen en la tabla 2:
3.35
2.43
Variacin del
grado de
consenso
0.58
7.92
6.66
1.26
14
Estabilidad
cualitativa
Grupal
70,42%
64,14%
73,16%
69,05%
Estabilidad Expertos
cuantitativa Estabilidad
Grupal
Absoluta
94,07%
32
90,92%
12
96,44%
22
95,65%
17
78,77%
81,57%
74,98%
96,09%
95,80%
93,54%
14
13
6
80,33%
73,44%
80,58%
95,59%
96,23%
96,95%
20
8
9
74,65%
95,13%
153
CUESTIONARIO "B"
Grupos Delfos
Estabilidad
cualitativa
Grupal
Estabilidad Expertos
cuantitativa Estabilidad
Grupal
Absoluta
15
75,51%
68,47%
73,15%
70,41%
77,78%
75,54%
81,20%
76,18%
32
12
22
17
74,34%
81,02%
85,50%
76,38%
80,86%
85,24%
14
13
6
74,39%
82,44%
83,33%
74,53%
62,34%
90,51%
20
8
9
76,86%
78,05%
153 (36%)
74.65%
Estabilidad
cuantitivativa
grupal
95.13%
Estabilidad
absoluta
individual
36%
76.86%
78.05%
36%
Los datos nos muestran una estabilidad cualitativa grupal media total del 74.65% en el
cuestionario A y del 76.86% en el cuestionario B. Esto quiere decir aproximadamente
que el 75% de las respuestas individuales por item no han cambiado de la ronda 1 a la 2,
o lo que es los mismo 1 de cada 4 respuestas por item ha sido diferente. Es un
porcentaje de cambio considerable, ms an si consideramos que en un 18.7 % de los
casos se asign automticamente las mismas respuestas de la ronda 1 en la ronda 2 ante
la ausencia de respuesta especfica.
La estabilidad cuantitativa grupal refleja un cambio menor, especialmente en el caso del
cuestionario A (95.13%). Es decir, en trminos cuantitativos, las respuestas de la
segunda ronda slo difieren en aproximadamente un 5% de las de la primera. En el caso
del cuestionario de servicios, el B, la diferencia es notablemente mayor (cerca del 20%).
Tambin en este tipo de estabilidad la falta de respuestas en la segunda ronda de un
nmero considerable de expertos con el consiguiente mantenimiento automtico de sus
respuestas ha incidido en la estabilidad final que exhiben los datos.
El tercer indicador, la estabilidad absoluta individual, integra a partes semejantes el
nmero de no respuestas que se produjeron en la segunda iteracin (18.75%), y el de los
expertos que respondieron manteniendo exactamente sus respuestas (17.25%),
completando el 36 % que refleja este indicador.
6.3.- Especificidad
16
CUESTIONARIO "A"
Grupos Delfos
Alimentacin, bebidas y tabaco
Textil, confeccin, cuero y calzado
Madera, papel, edicin, artes grficas y reprografa
Industrias qumicas y refineras petrolferas
Caucho y materiales plsticos
Otras producciones minerales no metlicas
Distancia
Referencia
37,10%
32,77%
31,96%
39,23%
29,00%
48,30%
Diferenciacin 1
30,51%
20,52%
25,75%
18,67%
0,00%
17,64%
Diferenciacin 2
15,63%
11,02%
17,49%
23,69%
46,67%
30,02%
17
27-28
29
30-33
34-35
36-37
MEDIA TOTAL
43,82%
39,62%
45,26%
23,75%
16,68%
24,67%
27,54%
12,51%
18,55%
42,37%
43,06%
30,72%
24,38%
8,93%
16,19%
39,32%
21,21%
20,75%
Diferenciacin
tipo 1
Diferenciacin
tipo 2
21.21%
20.75%
Los resultados contenidos en la Tabla 6 muestran que los expertos han respondido
realizando el esfuerzo de reflejar las funciones de produccin propias de las empresas
catalanas, diferencindose, cuando lo han considerado oportuno de las materias y
valores de la funcin de referencia.
En este sentido, la diferencia cuantitativa media entre esta funcin y los valores medios
aportados por los expertos a cada item es de casi un 40% (un 100% significara que
ambas funciones son completamente diferentes, lo que sera imposible cuando estamos
tratando de un mismo producto). En cuanto a las aportaciones propias de los expertos,
una de cada cinco materias consideradas (21.21%) no estaba incluida en la lista de
referencia y, por el contrario, una de cada cinco materias facilitadas en la relacin de
referencia no ha sido considerada en la formulacin del listado de materias de cada
producto cataln.
6.4.- Participacin
El ltimo mbito de resultados y de control que vamos a exponer es el relativo a la
participacin y representatividad del colectivo de expertos que ha respondido a los
cuestionarios.
Los resultados de participacin alcanzados aparecen reflejados en la siguiente tabla:
Tabla 7. Resultados Participacin Delfos general (sin Delfos piloto)
Cuestionario
Productos en
estudio
Expertos/empresas Expertos/empresas
participantes
participantes
ronda 1
ronda 2
Cuestionario
A (Mat. Pr.)
Cuestionario
120
425 (54 %)
358 (84.23%)
93
Porcentaje
de la
facturacin
del sector
respectivo
(26,5 %)
120
416 (52,9 %)
348 (83.65%)
93
(26,5 %)
Productos
con
respuestas
suficientes
18
B (servicios)
19
7.- Conclusiones
7.1.- Fiabilidad de los resultados
Un aspecto fundamental en la utilizacin de una determinada tcnica o metodologa
para la realizacin de una investigacin, como la desarrollada en el caso que nos ocupa,
es la fiabilidad de los resultados que a travs de aquella se obtienen.
En el presente estudio intuamos que la eleccin de la metodologa Delphi era adecuada
segn el razonamiento expuesto en el apartado 3.2 Justificacin de la eleccin de la
tcnica. Sin embargo, ramos conscientes de que la tcnica exiga unos requisitos de
obligado cumplimiento para que sus resultados fueran lo suficientemente fidedignos.
Estos aspectos, que nos permiten valorar positivamente la fiabilidad de los resultados,
son los siguientes:
- Estabilidad y calidad del panel
- Tiempo transcurrido entre rondas
- Informacin cualitativa recogida de los expertos
- Consenso / convergencia de opiniones.
- Estabilidad de los resultados entre rondas
7.1.1
El grupo o panel de expertos es el eje central del mtodo, ya que son los que proveen la
informacin que se convertir en la opinin grupal y, por consiguiente, en el output de
la investigacin. Es fundamental que este panel sea de calidad, ya que en esa medida lo
sern los resultados grupales que se obtengan. De igual manera, el cumplimiento formal
y la seriedad del grupo son requisitos indispensables, por cuanto implica trabajar con la
misma muestra en las diferentes rondas, cuestin que, desde el punto de vista del
tratamiento estadstico de los datos, es fundamental.
La calidad del grupo de expertos participante es, sin duda, el aspecto que ms fiabilidad
otorga a esta aplicacin Delphi. A diferencia de lo que es habitual en la obtencin de
informacin para la elaboracin de tablas I-O, que es enviar cuestionarios a las
empresas seleccionadas, en nuestro caso se ha seleccionado directamente a las personas
que, a priori, mejor podan responder a las cuestiones que se les iba a formular. A
continuacin se ha citado, aleccionando e implicando personalmente a estas personas,
por lo que la calidad de sus respuestas necesariamente debe ser muy elevada.
En cuanto al cumplimiento formal del grupo de expertos, los resultados expuestos en los
apartados de especificidad y de participacin revelan un nivel de implicacin y
cumplimiento muy grande, iniciado incluso antes de enviar los cuestionarios, ya que la
mayora de ellos acudieron personalmente a Barcelona a la presentacin del estudio, con
el esfuerzo en tiempo que ello supone para personas de su nivel de actividad.
7.1.2
Uno de los principales inconvenientes que tiene el mtodo Delphi es que el periodo de
tiempo que lleva la investigacin puede ser excesivamente extenso. Tngase en cuenta
Instituto de Economa Aplicada a la Empresa de la Universidad del Pas Vasco (IEAE)
20
que los intervalos de tiempo transcurridos entre las respuestas de los diferentes expertos
para cada ronda y los tiempos transcurridos entre ronda y ronda por el estudio y el
anlisis de la informacin suministrada por los panelistas y la elaboracin del siguiente
cuestionario puede distorsionar el estudio y llegar a desmotivar a los grupos
participantes. Nuestra experiencia en otros estudios as nos lo ha demostrado.
En este estudio, la extrema complejidad que supona iniciar un estudio con un grupo tan
grande y heterogneo de expertos, a travs de una jornada de presentacin presencial, ha
obligado a realizar un lanzamiento escalonado, por grupos, de cada ronda y a extender
los periodos de respuesta a aproximadamente dos meses por ronda. Se ha utilizado el
correo electrnico como principal soporte comunicacional, para acortar en lo posible los
tiempos de respuesta y se ha limitado a dos rondas para acortar la duracin final del
estudio y para evitar el cansancio de los expertos.
Como resultado se ha obtenido que el tiempo medio que ha pasado entre la recepcin
del primer cuestionario y la del segundo ha sido de dos meses, extendindose en
algunos casos a los tres meses. Si bien parece un plazo relativamente largo, no lo es en
exceso, atendiendo a la naturaleza de las preguntas, cuyas respuestas presumiblemente
no se vern significativamente afectadas por este retardo.
7.1.3 Informacin cualitativa recogida de los expertos
La informacin cualitativa procedente de los expertos se ha obtenido por dos vas, y por
las dos puede valorarse como positiva respecto a la fiabilidad del mtodo.
La primera va ha sido el contacto directo con los expertos de las empresas, tanto en el
periodo de concepcin del estudio como en el acto de su presentacin, en el que en
general valoraban muy positivamente la forma de seleccionar los expertos y de recoger
la informacin que se les estaba presentando.
La segunda va es la proporcionada por las respuestas contenidas en los cuestionarios,
que en numerosos casos incorporaban aportaciones (materias primas no facilitadas en la
funcin de referencias, sugerencias de reclasificacin de productos, etc.) que
demostraban el elevado grado medio de implicacin y conocimiento que han exhibido
los expertos participantes.
7.1.4 Consenso / convergencia de opiniones
Tal y como se expone en el primer apartado de resultados, en todas las familias de
productos se ha observado un incremento en el grado de consenso en la segunda ronda
con respecto a la primera. El conocimiento de las opiniones de los otros expertos
participantes en su producto ha hecho reflexionar y modificar las opiniones de muchos
de los participantes, disminuyendo la dispersin media de las respuestas. Es de suponer
que este mayor grado de consenso alcanzado gracias a la metodologa Delphi haya
proporcionado unos resultados de mayor calidad, en el sentido de ser ms prximos a la
realidad del sector.
7.1.5 Estabilidad de los resultados entre rondas
21
Una aplicacin ortodoxa del mtodo habra requerido prefijar unos niveles mnimos de
estabilidad para cada pregunta y slo despus de haberla alcanzado cesar en las
iteraciones. Lo deseable habra sido poder observar una estabilidad relativamente
pequea en la segunda ronda, muestra de que la dinmica Delphi habra hecho
reflexionar y cambiar de opinin a un nmero importante de expertos, y en las rondas
posteriores ir avanzando hacia niveles crecientes de estabilidad, hasta llegar a alcanzar
una estabilidad predeterminada aceptable.
Nuestra aplicacin, al igual que la gran mayora de las que se realizan con expertos
profesionales, solo poda efectuarse en dos rondas, ya que incorporar una tercera habra
implicado asumir unos niveles de abandono, un esfuerzo organizativo y una duracin
temporal que posiblemente nos hubieran llevado unos resultados finales de inferior
calidad, habida cuenta de las caractersticas del colectivo encuestado.
Por consiguiente, slo podemos analizar la primera parte del proceso, aqulla en la que
es positivo que existan unos niveles estabilidad relativamente bajos.
En el anlisis de los resultados relativos a la estabilidad s observamos que la estabilidad
entre las rondas 1 y 2, medida de diferentes formas, no es muy grande, lo que revela que
la tcnica ha servido para hacer madurar las opiniones de los expertos participantes.
22
15
16
17
18
19
20
Productos
Productos de la ganadera
Coque, productos de refino de petrleo y combustible
nuclear
Servicios de produccin y distribucin de electricidad
Carne y productos crnicos
Otros productos alimenticios
Artculos de papel y cartn
Productos de materias plsticas
Otra maquinaria
Servicios de comercio y reparacin de vehculos y
motocicletas.
Servicios de otros tipos de transporte terrestre;servicios
de transporte por tuberas
Servicios de telecomunicaciones
Servicios de intermediacin financiera
Servicios de seguros y planes de pensiones, excepto
seguridad social obligatoria
Servicios inmobiliarios
Servicios de alquiler de otros medios de transporte,
maquinaria y equipo, efectos personales y de enseres
domsticos
Servicios de informtica
Servicios jurdicos, de contabilidad y asesoramiento a la
gestin empresarial
Servicios de publicidad
Servicios de limpieza industrial
Otros servicios empresariales n.c.o.p.
C.N.A.E.
012,013(p),015(p)
Catalua (1)
en %
62,51
Espaa (2)
en %
62,88
23
401
151
152,153,156,158
212
252
291,292,294-296
0,58
0,68
20,59
2,51
1,80
1,69
0,71
0,21
1,34
18,29
0,00
0,17
2,36
0,20
501-504
0,24
0,18
602,603
642
65
2,50
0,30
0,31
1,85
0,22
0,18
66
70
0,24
0,17
0,16
0,20
712-714
72
0,36
0,36
0,19
0,03
741
744
747
743,745,748
0,68
1,29
0,40
0,17
0,32
1,36
0,19
0,70
23
Productos
Industria txtil
Industria de la madera
Qumica
Caucho y neumticos
Artculos de plstico
Industria del vidrio
Metalurgia
Productos metlicos
Maquinaria
Material elctrico
Material electrnico
Material de precisin
Automviles
Fabricacin de muebles
Energia elctrica
Transporte ferroviario
Transporte de mercancias por carretera
Alquiler de maquinaria
Investigacin y desarrollo de mercado
Publicidad
Catalua (1)
en %
1,31
0,52
4,14
4,77
6,23
0,74
10,02
16,00
6,01
3,40
3,12
1,84
22,96
5,26
0,58
0,79
1,39
0,55
1,28
1,50
Euskadi (2)
en %
0,42
0,14
2,85
7,98
1,67
1,10
19,53
19,79
2,30
2,64
0,17
0,05
26,10
0,38
1,73
0,25
1,60
0,18
2,51
0,87
24
Otras limitaciones, a priori ms evidentes, como han podido ser las presupuestarias (los
expertos no perciban retribucin alguna), la dificultad para identificar y contar con la
colaboracin de autnticos expertos en las funciones de produccin y de costes de
servicios o el desconocimiento por parte de los expertos de la metodologa de las Tablas
Input-Output y de la tcnica Delphi, consideramos que no han tenido influencia
significativa en los resultados, ya que han sido compensadas con el esfuerzo
organizativo, y el inters e ilusin que han depositado en este estudio tanto el equipo
coordinador de este estudio como los propios expertos colaboradores.
7.3.2 Lneas de mejora
De cara a eventuales aplicaciones posteriores del Delphi en la alimentacin de tablas IO proponemos una serie de mejoras que, en caso de poder ser llevadas a cabo, podran
incrementar la calidad de los resultados:
25
Contar con unos medios humanos mayores, de forma que pudiera haber la
opcin de recurrir a obtener la informacin mediante entrevistas personales, al
menos con las empresas lderes de cada producto, que no hubieran contestado
por el cauce tradicional. Esta informacin luego sera tratada siguiendo la
metodologa Delphi.
26
8.- Bibliografa
Armstrong, J.S. (1978): Long-Range Forecasting: From Crystal Ball to Computer,
John Wiley & Sons, Inc., N.Y.
Arregui Ayastuy, G.; Vallejo Alonso, B. y Villarreal Larrnaga, O. (1996):
Aplicacin de la metodologa Delphi para la previsin de la integracin espaola
en la Unin Econmica y Monetaria. Investigaciones Europeas de Direccin y
Economa de la Empresa. Vol. 2, n 2, pp. 13-38.
Arregui, Gerardo; Vallejo; Beln y Villarreal Larrinaga, Oskar (1997): "Anlisis de
la situacin espaola ante su integracin en la Unin Econmica y Monetaria".
Libro: Beatriz Junquera (ed): Ponencias y Comunicaciones 1997. Volumen I. (XI
Congreso Nacional y VII Congreso Hispano-Francs. Organizado por la Asociacin
Europea de Direccin y Economa de la Empresa (AEDEM), pp.19-26. Lleida
Dalkey, N.C. y Helmer, O.(1963): "An experimental application of the Delphi
method to the use of experts", Management Science, vol. 9, pp. 458-467.
Landeta Rodrguez, J. (1992): Informacin subjetiva para la decisin: el mtodo
Delphi. Tesis doctoral. Facultad de Ciencias Econmicas y Empresariales de la
Universidad del Pas Vasco. Bilbao.
Landeta Rodrguez, J. (1994): "Previsin basada en informacin subjetiva: su
utilidad y carcter cientfico". Cuadernos de Gestin. Mayo 1994, pp. 89-106.
Landeta Rodrguez, J. (1997): Las tcnicas de grupo; instrumento de mejora en las
estimaciones y decisiones empresariales. ESIC Market. Marzo.
Landeta Rodrguez, J. (1999): El mtodo Delphi. Una tcnica de previsin para la
incertidumbre. Ed. Ariel. Barcelona.
Landeta, J., Matey, J. y otros (1992): Evaluacin del Plan de Ordenacin y
Reforma de Ambulatorios. Estudio Delphi. Le Management des Entreprises dans
lespace Economique Europeen, pp. 147-172. II Congreso Hispano-Francs de
Economa y Direccin de Empresas, Burdeos.
Linstone, H. A. y Turoff, M. (ed.)(1975): The Delphi Method, Tech-niques and
Applications, Addison-Wesley Publishing Co., Massachusetts.
Pulido, A.(1989): Prediccin econmica y empresarial. Pirmide, Madrid.
Wright, G. y Ayton, P.(1987): Judgmental Forecasting, John Wiley & Sons, Inc.,
NY.
27