Accelerat ing t he world's research.

Metodo delphi
Jean Arrieta

Related papers Download a PDF Pack of t he best relat ed papers 

Compet encias profesionales desarrolladas por los graduados de los diplomados en Gest ión d…
Yudayly St able Rodríguez, Lidia Lauren Elías Hardy

Manual Int roduct orio

Dana Rodriguez

Mét odos y t écnicas de invest igación cuant it at iva y cualit at iva

Ana Paula Abant o Sifuent es
 1

EL M ÉTOD O D ELPH I

Ene k o Ast iga r r a ga

Un ive r sida d de D e u st o
Facult ad de CC.EE. y Em presariales. ESTE
Mundaiz, 50
Apart ado 1.359
E- 20.080 Donost ia - San Sebast ian
 2

EL M ÉTOD O D ELPH I

El m ét odo Delphi1 , cuyo nom bre se inspira en el ant iguo oráculo de Delphos,
parece que fue ideado originalm ent e a com ienzos de los años 50 en el seno del
Cent ro de I nvest igación est adounidense RAND Corporat ion por Olaf Helm er y
Theodore J. Gordon, com o un inst rum ent o para realizar predicciones sobre un
caso de cat ást rofe nuclear. Desde ent onces, ha sido ut ilizado frecuent em ent e
com o sist em a para obt ener inform ación sobre el fut uro.

Linst on y Turoff 2 definen la t écnica Delphi com o un m ét odo de est ruct uración de
un proceso de com unicación grupal que es efect ivo a la hora de perm it ir a un
grupo de individuos, com o un t odo, t rat ar un problem a com plej o.

Una Delphi consist e en la selección de un grupo de expert os a los que se les

pregunt a su opinión sobre cuest iones referidas a acont ecim ient os del fut uro. Las
est im aciones de los expert os se realizan en sucesivas rondas, anónim as, al
obj et o de t rat ar de conseguir consenso, pero con la m áxim a aut onom ía por part e
de los part icipant es.

Por lo t ant o, la capacidad de predicción de la Delphi se basa en la ut ilización

sist em át ica de un j uicio int uit ivo em it ido por un grupo de expert os.

Es decir, el m ét odo Delphi procede por m edio de la int errogación a expert os

con la ayuda de cuest ionarios sucesivos, a fin de poner de m anifiest o

1 Para una buena descripción del método Delphi, ver Landeta, Jon. (1999) El método Delphi. Una Técnica de
previsión para la incertidumbre. Ariel. Barcelona y Godet, Michel. (1996) Manuel de Prospective
Strategique. Dunod. Paris.

2 Linstone, H., Turoff, M. : « The Delphi Method. Techniques and Applications », Addison-Wesley, 1975, p.3
 3

convergencias de opiniones y deducir event uales consensos. La encuest a se

lleva a cabo de una m anera anónim a ( act ualm ent e es habit ual realizarla
haciendo uso del correo elect rónico o m ediant e cuest ionarios web est ablecidos
al efect o) para evit ar los efect os de " líderes" . El obj et ivo de los cuest ionarios
sucesivos, es " dism inuir el espacio int ercuart il precisando la m ediana" .

Las pregunt as se refieren, por ej em plo, a las probabilidades de realización de

hipót esis o de acont ecim ient os con relación al t em a de est udio ( que en nuest ro
caso sería el desarrollo fut uro del sect or que est am os analizando) . La calidad
de los result ados depende, sobre t odo, del cuidado que se ponga en la
elaboración del cuest ionario y en la elección de los expert os consult ados.

Por lo t ant o, en su conj unt o el m ét odo Delphi perm it irá prever las
t ransform aciones m ás im port ant es que puedan producirse en el fenóm eno
analizado en el t ranscurso de los próxim os años.

En la fam ilia de los m ét odos de pronóst ico, habit ualm ent e se clasifica al m ét odo
delphi dent ro de los m ét odos cualit at ivos o subj et ivos.

Aunque, la form ulación t eórica del m ét odo Delphi propiam ent e dicho com prende
varias et apas sucesivas de envíos de cuest ionarios, de vaciado y de explot ación,
en buena part e de los casos puede lim it arse a dos et apas, lo que sin em bargo no
afect a a la calidad de los result ados t al y com o lo dem uest ra la experiencia
acum ulada en est udios sim ilares.

Com o es sabido, el obj et ivo de los cuest ionarios sucesivos, es " dism inuir el
espacio int ercuart il, est o es cuant o se desvía la opinión del expert o de la opinión
del conj unt o, precisando la m ediana" , de las respuest as obt enidas. El obj et ivo
del prim er cuest ionario es calcular el espacio int ercuart il. El segundo sum inist ra a
 4

cada expert o las opiniones de sus colegas, y abre un debat e t ransdisciplinario,

para obt ener un consenso en los result ados y una generación de conocim ient o
sobre el t em a. Cada expert o argum ent ará los pro y los cont ra de las opiniones de
los dem ás y de la suya propia. Con la t ercera consult a se espera un t odavía
m ayor acercam ient o a un consenso.

De m anera resum ida los pasos que se llevarán a cabo para garant izar la calidad
de los result ados, para lanzar y analizar la Delphi deberían ser los siguient es:

Fase 1: form ulación del problem a

Se t rat a de una et apa fundam ent al en la realización de un delphi. En un m ét odo de

expert os, la im port ancia de definir con precisión el cam po de invest igación es m uy
grande por cuant o que es preciso est ar m uy seguros de que los expert os reclut ados y
consult ados poseen t odos la m ism a noción de est e cam po.

La elabor ación del cuest ionar io debe ser llevada a cabo según cier t as r eglas: las
pregunt as deben ser precisas, cuant ificables ( versan por ej em plo sobre probabilidades
de realización de hipót esis y/ o acont ecim ient os, la m ayoría de las veces sobre dat os d e
r ealización de acont ecim ient os) e independient es ( la supuest a r ealización de una de las
cuest iones en una fecha det erm inada no influye sobre la realización de alguna ot ra
cuest ión) .

Fase 2: elección de exper t os

La et apa es im port ant e en cuant o que el t érm ino de " expert o" es am biguo. Con
independencia de sus t ít ulos, su función o su nivel j erárquico, el expert o será elegido
por su capacidad de encarar el fut uro y posea conocim ient os sobre el t em a consult ado.

La falt a de independencia de los expert os puede const it uir un inconvenient e; por est a
razón los expert os son aislados y sus opiniones son recogidas por vía post al o
elect rónica y de form a anónim a; así pues se obt iene la opinión real de cada expert o y
no la opinión m ás o m enos falseada por un proceso de gr upo ( se t r at a de elim iar el
efect o de los líder es) .
 5

Fase 3: Elaboración y lanzam ient o de los cuest ionarios ( en par alelo con la fase 2)

Los cuest ionarios se elaborarán de m anera que facilit en, en la m edida en que una
invest igación de est as caract er íst icas lo per m it e, la r espuest a por par t e de los
consult ados.
Preferent em ent e las respuest as habrán de poder ser cuant ificadas y ponderadas ( año
de realización de un event o, probabilidad de realización de una hipót esis, valor que
alcanzará en el fut uro una variable o event o,...

Se form ularán cuest iones relat ivas al grado de ocurrencia ( probabilidad) y de

im por t ancia ( pr ior idad) , la fecha de r ealización de det er m inados event os r elacionadas
con el obj et o de est udio: necesidades de inform ación del ent o rno, gest ión de la
inform ación del ent orno, evolución de los sist em as, evolución en los cost es,
t ransform aciones en t areas, necesidad de form ación,....

En ocasiones, se r ecur r e a r espuest as cat egor izadas ( Si/ No; Mucho/ Medio/ Poco; Muy
de acuer do/ De acuer do/ I ndiferent e/ En desacuerdo/ Muy en desacuerdo) y después se
t rat an las respuest as en t érm inos porcent uales t rat ando de ubicar a la m ayoría de los
consult ados en una cat egoría.

Fase 4: desarrollo pract ico y explot ación de result ados

El cuest ionario es enviado a ciert o núm ero de expert os ( hay que t ener en cuent a las
no- respuest as y abandonos. Se recom ienda que el grupo final no sea inferior a 25) .
Nat uralm ent e el cuest ionario va acom pañado por una not a de present ación que precisa
las finalidades, el espír it u del delphi, así com o las condiciones pr áct icas del desar r ollo
de la encuest a ( plazo de respuest a, garant ía de anonim at o) . Adem ás, en cada
cuest ión, puede plant earse que el expert o deba evaluar su propio nivel de
com pet encia.

El obj et ivo de los cuest ionarios sucesivos es dism inuir la dispersión de las opiniones y
precisar la opinión m edia consensuada. En el curso de la 2ª consult a, los expert os son
inform ados de los result ados de la prim era consult a de pregunt as y deben dar una
nueva respuest a y sobre t odo deben j ust ificarla en el caso de que sea fuert em ent e
divergent e con respect o al grupo. Si result a necesaria, en el curso de la 3ª consult a se
pide a cada expert o com ent ar los argum ent os de los que disient en de la m ayoría. Un
cuart o t urno de pregunt as, perm it e la respuest a definit iva: opinión consensuada m edia
y dispersión de opiniones ( int ervalos int ercuart iles) .
 6

Algunos pa sos pr á ct icos

Gr a ba r los r e sult a dos e n una ba se de da t os.

Es un labor que aunque el núm ero de respuest as sea reducido,
apr oxim adam ent e 25- 30, m erece la pena ya que perm it e llevar a cabo
correcciones o m odificaciones con rapidez.

Obt e nción de los pr incipa le s r e sult a dos: los pr incipales est adíst icos que se
em plearán en el est udio serán m edidas de t endencia cent ral y dispersión:
M e dia , m e dia n a , m oda , m á x im o, m ín im o y de svia ción t ípica .
Ello nos perm it e t ener una visión de conj unt o de los result ados obt enidos en
cada una de las pregunt as, aunque luego sólo se ut ilice com o valor para la
segunda vuelt a la m edia o la m ediana.
La m edia y la m ediana nos indica la t endencia cent ral de la dist ribución o
conj unt o de respuest a de expert os, al igual que la m oda.
El m áxim o y el m ínim o nos indican las respuest as ext rem as.
La desviación nos señala el grado de dispersión en las respuest as ( si m ás o
m enos los expert os se hallan en t orno a las cifras de la m edia o no)
Los cuart iles, vendrían a ayudar t am bién en la visión del grado de dispersión de
las r espuest as.
{ El quart il 1 ( Q1) , que es igual al percent il 25, sería el valor que dej a el 25% de
las respuest as por debaj o de ella y el 75% por encim a. El quart il 3 ( Q3) , que es
igual al percent il 75, sería el valor que dej a el 75% de las respuest as por debaj o
de ella y el 25% por encim a. Es decir ent re Q1 y Q3, se sit uaría la m it ad cent ral
de las r espuest as obt enidas} .
Para llevar a cabo est as t areas cualquier program a de t rat am ient o est adíst ico e
incluso una hoj a de cálculo, result a válida.
Por ej em plo, el program a Excel podría valer para grabar y t ener los dat os
regist rados y t am bién obt ener las m edias, m edianas,... de cada una de las
cuest iones plant eadas en la consult a r ealizada a las em pr esas.
 7

Ej em plo: ¿En qué año el 40% de las vent as de vinos de calidad ( crianzas,
reservas, grandes reservas) se realizarán por I nt ernet en España?

%
resp

años
2004

2011

Q1 M Q3

La n za m ie n t o de la se gu n da vu e lt a
Com o puede observarse en la form ulación m ás académ ica o t eórica del m ét odo
Delphi ( Godet 3 , 1996: Landet a 4 , 1999) , el t rabaj ar buscando la convergencia de
los expert os en base a dism inuir el espacio int ercuart il precisando la m ediana
supone el t ener que realizar t res o m ás vuelt as ( consult as) a los expert os. Por
ello, aunque se han llevado a cabo form ulaciones clásicas del m ét odo Delphi,
habida cuent a de los obj et ivos de la invest igación y el horizont e t em poral
relat ivam ent e próxim o respect o al que encaram os el est udio prospect ivo,
opt arem os por el siguient e sist em a:

Obj e t ivo de l la n za m ie n t o y t r a t a m ie n t o de la se gu n da vu e lt a

La realización de una segunda vuelt a en el est udio se plant ea con un doble

obj et ivo:

3 Godet, Michel. (1996) Manuel de Prospective Strategique. Dunod. Paris.

4 Landeta, Jon. (1999)El metodo Delphi. Ariel. Barcelona.
 8

a) rem it ir y ha ce r pa r t icipe s de la infor m a ción obt e nida a t odos aquellos

que han colaborado en el est udio con la aport ación de su conocim ient o y
opiniones
b) consolidar y r e fr e nda r los r e sult a dos obt e nidos e n la consult a inicia l.
De hecho, la experiencia indica que la s va r ia cione s r e spe ct o a los
r e sult a dos inicia le s son m ínim a s e n é st e t ipo de e st udios.

M e t odología pa r a e l la n za m ie n t o y t r a t a m ie n t o de la se gu n da vu e lt a

a) Se selecciona la m edia o la m ediana de las r espuest as a las pr egunt as de la

prim era ronda, dependerá del t ipo de pregunt a, aunque habit ualm ent e,— si las
desviaciones t ípicas no son excesivas — se ut iliza la m edia.

b) Se solicit a a los expert os que indiquen su acuerdo o desacuerdo con dicha

m edia.

c) Se pide a los expert os que no se hallan de acuerdo con la m edia que

argum ent en sus razones
¿Est a Ud. de acuerdo con la m edia obt enida para el conj unt o de los
consult ados? Si/ no
En caso de que no se halle de acuerdo, ¿Cuál es el nuevo valor que
pr opone?
Si lo j uzga necesario, ¿podría j ust ificar dicha respuest a?
 9

d) Se calcula la nueva m edia o m ediana ( a los expert os que se m uest ren de

acuer do se les fij ar a el valor de la m edia ant er ior ) .

Años

Q3
2011 Q3
Q3
Q3

M M M M

Q1
Q1 Q1
2004 Q1

Rondas o
iteracciones

Los valores propuest os y razonados por los expert os que siguen m ant eniendo
valores diferent es de la m edia, sir ven par a elabor ar escenar ios alt er nat ivos o
form ular hipót esis de fut uro alt ernat ivas ( el fut uro no es único y
predet erm inado) , que serán m ás valiosas en función de la " calidad" del expert o
en el t em a. Por ello, es convenient e r ecoger t am bién los m ás significat ivos en el
inform e que se elabore, haciendo m ención:
P.ej . La m ayoría de los expert os consult ados opinan que la im plant ación m ásiva
del sist em a de inform ación del ent orno A se hará pat ent e en el año 2003,
aunque algunas opiniones sost ienen que no dará de m anera significat iva en el
sect or hast a el año 2.006 debido a que .... ( incluir la argum ent ación del
expert o)

A est e r espect o, señalar que a veces se ha r ecur r ido calificar la " com pet encia"
del expert o en cada pregunt a o bloque de pregunt as ( t am bién se ha ut ilizado la
aut ocalificación) y a ponderar las respuest as en función de la calificación del
 10

expert o. Muy bueno ( 3) , bueno ( 2) , regular ( 1) , no es com pet ent e para

responder ( 0) . Sin em bargo, dado el caráct er del est udio no se considera
necesar ia ést a m edida.

Ela bor a ción de infor m e

Los r esult ados m ás dest acados de la encuest a, las t ablas est adíst icas de
result ados y las incidencias del t rabaj o de cam po se recogen en un inform e
específico.

Alguna s cue st ione s a diciona le s

N úm e r o ópt im o de e x pe r t os
Aunque no hay form a de det erm inar el núm ero ópt im o de expert os para part icipar en

una encuest a Delphi, est udios realizados por invest igadores de la Rand Corporat ion 5 ,
señalan que si bien parece necesario un m ínim o de siet e expert os habida cuent a que
el error dism inuye not ablem ent e por cada expert o añadido hast a llegar a los siet e
expert os, no es aconsej able recurrir a m ás de 30 expert os, pues la m ej ora en la
previsión es m uy pequeña y norm alm ent e el increm ent o en cost e y t rabaj o de
invest igación no com pensa la m ej ora.

H e r r a m ie nt a s on- line

Con el desarrollo de I nt ernet han com enzado t am bien ha desarrollarse herram ient as
on- line para t odo t ipo de análisis relacionados con la est rat egia y la prospect iva. Así,
por ej em plo, la com pañía Calibrum ( ht t p: / / w w w .calibrum .com ) , adem ás de ofrecer
pr oduct os par a el desar r ollo on- line de pr ocesos de planificación est r at égica o la

5 Norman C. dalkey, Bernice Brown y S. Cochran, “The Delphi Method, III: Use of self rating to improve
group estimates”. Technological Forecasting and Social Change, vol 1, 1970, pp. 283-91. Citado por Landeta,
Jon (1999) op. cit.
 11

gest ión de proyect os, incluye t am bién una herram ient a para el desarrollo de Delphis
on- line ( ht t p: / / www.calibrum .com / t f_delphi.ht m )

Las herram ient as en red dan un soport e t ecnológico para la resolución de los
problem as: Tiem po, Dinam ism o, I nform ación y Part icipación.

La herram ient a Surveylet perm it e la realización de un cuest ionario Delphi on- line. Así,
según señalan sus creadores, Surveylet facilit a la part icipación colect iva y
ret roalim ent ación dinám ica de result ados m ediant e el uso de encuest as de opinión y
consult as Delphi disponibles en I nt ernet , que adm it en la posibilidad de reflexionar ant e
posibles cam bios, y procesar inm ediat am ent e la inform ación on- line. Sim plifica la t om a
de decisiones y la consult a colect iva. El acceso a la encuest a se r ealiza m ediant e una
página pública y la personalización del cuest ionario m ediant e un código de ent rada,
represent a una innovación y m ejora en la planificación est rat égica y est udios
prospect ivos.

Un e j e m plo e n Espa ña . El pr ogr a m a de Pr ospe ct iva de l OPTI .

Obse r va t or io de Pr ospe ct iva Te cnológica I ndust r ia l

El Prim er Program a de Prospect iva llevado a cabo por el OPTI ent re 1998 y 2001 est á const it uido por un
t ot al de 2 6 e st u dios realizados en 8 se ct or e s de a ct ivida d. Para la ej ecución de est os est udios se
form arón 2 6 Pa ne le s de Ex pe r t os y se elaboraron ot ros t ant os cu e st ion a r ios D e lph i que fueron
som et idos a la opinión de 5 .0 0 0 especia l ist a s, con un índice de r e spue st a de spué s de cir cula r dos
ve ce s los cu e st ion a r io, de l 3 2 % .

Según los responsables del OPTI , ést e índice avala plenam ent e la inform ación obt enida y hom ologa el
Program a español con los m ej ores ej ercicios de prospect iva realizados en el ám bit o int ernacional. Los
result ados de los cuest ionarios Delphi han sido analizados por los Paneles de Expert os, dando lugar a la
ide n t ifica ción de t e n de n cia s t e cn ológica y t ecnologías crít icas asociadas, así com o al est ablecim ient o de
escenarios de fut ur o .

El horizont e t em poral de est os est udios de prospect iva es de 15 años

Los e st u dios de pr ospe ct iva se ct or ia l r e a liza dos h a st a e l m om e n t o h a n sido:

Est u dio de Pr ospe ct iva

Agr oa lim e nt a r io
Te cn ología s de Con se r va ción de Alim e n t os.
La biot e cn ología a plica da a l se ct or a lim e nt a r io .
Te cnología s e n e l e nva sa do a gr oa lim e nt a r io .

En e r gía
Ene r gía s Re nova ble s.
Te cn ología s a va n za da s de con ve r sión de com bu st ible s fósile s.
 12

Te nde ncia s t e cnológica s e n t r a nspor t e , dist r ibución, a lm a ce na m ie nt o y uso fina l de la e ne r gía .

M e dio Am bie n t e I ndust ria l

Ge st ión y Tr a t a m ie nt o de r e siduos indust r ia le s.
Bie ne s de e quipo m e dio a m bie nt a le s .
Tr a t a m ie nt os de a gua s indust r ia le s .

Qu ím ico
Quím ica Fina .
Quím ica Bá sica Orgá nica . Prim era s M a t eria s Plá st ica s.
Agr oquím ica .
Pa st a , Pa pel y Ca rt ón.

Te cn ología s de la I nfor m a ción y la s Com unica cione s

I n du st r ia de con t e n idos digit a le s.
La s TI C y la e m e r ge nt e e conom ía digit a l .
Conve r ge ncia de infr a e st r uct ur a s y se r vicios e n e l se ct or de la s t e le com unica cione s.

Tr a nspor t e s
Aer on á u t ico.
Ferroca rril
N a va l.
Au t om oción .

Se ct or e s Bá sicos y Tr a nsfor m a dor e s

Te cn ología s de Fa br ica ción de Pr odu ct os M e t á licos
Te cnología s de t r a nsfor m a ción de pie za s de plá st icos y m a t e r ia le s com pue st os
Bie ne s de e quipo pa r a la fa br ica ción de pie za s unit a r ia s

Se ct or e s Tr a diciona le s
Te cn ología s de D ise ñ o
Te cn ología s de a u t om a t iza ción
Te cn ología s lim pia s y de r e cicla j e

Est os est udios est án publicados en t res I nform es de Prospect iva Tecnológica que pueden ser consult ados en
el apart ado de PUBLI CACI ONES de la página w eb del OPTI : ht t p: w w w .opt i.org

ÚTI LI DAD Y LÍ MI TES DEL M ÉTOD O D ELPH I

Una de las vent aj as del delphi es la quasi- cert eza de obt ener un consenso en el
desar r ollo de los cuest ionar ios sucesivos ( pero ¡at ención! convergencia o consenso no
significa coherencia) . Por lo dem ás, la inform ación recogida en el curso de la consult a
acerca de acont ecim ient os, t endencias, rupt uras det erm inant es en la evolución fut ura
del pr oblem a est udiado, es generalm ent e rica y abundant e. Finalm ent e, est e m ét odo
 13

puede ut ilizarse indist int am ent e t ant o en el cam po de la t ecnología, de la gest ión y de
la econom ía com o en el de las ciencias sociales.

Varios son los problem as que lim it an el alcance del m ét odo que se r ev ela lar go,
cost oso, fast idioso e int uit ivo m ás que racional. Si bien es ciert o que las nuevas
t ecnologías han perm it ido el relanzam ient o del m ét odo Delphi, que ciert am ent e había
caído en cier t o desuso. La t r am it ación pr esionant e ( encuest a en var ias tandas) es
adem ás discut ible puest o que solo los expert os que se salen de la norm a deben
j ust ificar su posición. Sin em bargo, podem os considerar t am bién que la opinión de los
divergent es es, en t erm inos de prospect iva, m ás int eresent e que aquella de los que
ent ran en el rango. Por ot ra part e, no se t om an en consideración las posibles
int eracciones ent re las hipót esis consideradas y son incluso evit ados en la propia
const rucción de la encuest a, est o es lo que ha conducido a los prom ot ores del m ét odo
Delphi a desarrollar los m ét odos de im pact os cruzados probabilist as.

CON CLUSI ON ES PRÁCTI CAS

Aparent em ent e el Delphi parece un procedim ient o sim ple, fácilm ent e aplicable en el
m arco de una consult a a expert os. Sin em bargo exist e el riesgo de que los fracasos
y/ o decepciones desanim en a los " usuarios aficionados" . El m ét odo viene bien para las
aplicaciones decisionales, pero debe est ar adapt ada en función del obj et ivo del est udio
para la prospect iva. En part icular, no es necesario obt ener a t oda cost a una opinión
consensuada m ediana, pero es im port ant e poner en evidencia varios grupos de
respuest as para el análisis de punt os de convergencia m últ iples.

Delphi es sin duda una t écnica que desde hace unos cuarent a años ha sido obj et o de
m últ iples aplicaciones en el m undo ent er o.

A part ir del procedim ient o original, se han desarrollado ot ras aproxim aciones. De est e
m odo, la m ini- Delphi propone una aplicación en t iem po real del m ét odo: los expert os
se reunen en un lugar y debat en cada cuest ión ant es de responder. Últ im am ent e, la
ut ilización de nuevos m odos de int eracción ent re expert os, com o el correo elect rónico,
t ienden a desarrollarse y a convert ir el procedim ient o en m ás flexible y rápido.
 14

BI BLI OGRAFÍ A COM PLEM EN TARI A

BI GUES P.A., Prospect ive et com pét it ivé, Mac Graw Hill 1985.

GODET M., Manuel de prospect ive st rat égique, t om e 2: L’art et la m ét hode, Dunod,
Paris 1997.

HELMER O., Looking forward: a guide t o fut ures research, Sage publicat ions, 1983.

LANDETA, Jon. El m et odo Delphi. Ariel. 1999. Barcelona.

LI NSTONE H.A., TURROF, M., The Delphi m et hod, t echniques and applicat ions, Addison
wesley publishing, 1975.

MARTI NO J.P., Technological forecast ing for decision m aking, Mac Graw Hill, 1993.

SAI NT- PAUL R., TÉNI ÈRE- BUCHOT P.F., I nnovat ion et évaluat ion t echnologiques,
Ent reprise m oderne d'édit ion, 1974.