Análisis de sensibilidad:

Métodos probabilísticos en la
evaluación económica de
t
tecnologías
l í sanitarias
it i
Parte 2

David Epstein
Dme2@york.ac.uk

1
 La presentación
• El AS deterministico
– U
Univariante/multivariante
i i t / lti i t
– Siempre es necesario pero no es suficiente
• El AS probabilístico
b bilí ti (ASP)
– Para evaluar la incertidumbre global en el modelo
– La importancia de valores extremos
• Distribuciones de los parámetros
• Las simulaciones Monte – Carlo
• Curva de aceptabilidad de coste efectividad
• El valor de la información
2
Desafios a una AS deterministico
• Interpretacion de los resultados
• Correlaciones entre los parametros del
modelo
• La distribuciones de los parametros del
modelo
d l
• Varían simultáneamente de valor 2 o más
parámetros del modelo

3
 Análisis de sensibilidad
determinísticos

• El AS deterministico no cuantifica la
probabilidad de valores extremos
p
• Valores extremos puede cambiar las
conclusiones de un análisis pero pueden ser
muy improbables
• Un análisis de sensibilidad probabilístico
puede superar esta limitación
4
 Modelo determinístico sencillo
Inputs
p p
Output

Progresión de Estructura del Modelo

la enfermedad
P(mala, A)= 0.30
Tratamiento A Tratamiento A
AVAC Cost
Buena 11
10.70 1000
Efectos clínicos Buena salud
Odds ratio 0,78 Valores medios Mala 10
0 30
0.30

AVACs
Tratamiento B Tratamiento B
Buena salud =11
AVAC Cost
Mala salud = 10
Buena 11
10.75 2500
Buena salud
Mala 10 RCEI=
Costes € 0.25
A = 1000 1500/0.05=
B= 2500
30000
5
 ASP Probabilistico y multivariante
Inputs
p p
Output

Progresión de
Estructura del Modelo Tratamiento A
la enfermedad AVAC Coste
Tratamiento A … …
P (mala, A) Buena 11 … …
… …
Buena salud
Efectos Mala 10 10.70 1000
clínicos

Tratamiento B
Ratio Odds A vs B Tratamiento B AVAC Coste
AVACs Buena 11 … …
Buena salud =11
Mala = 10 AVACs Buena salud … …
Mala 10 … …
Costes 10.75 2.500
A = 1000
B= 2500 6
Medio ponderado
 Análisis de sensibilidad
probabilístico (ASP)
• Objetivo
– Calcular la probabilidad de que la
intervención es costo-efectiva,, dado
• La estructura del modelo
• El WTP ppor el beneficio (p
(p.ej.
j Por AVAC))
• La distribución de los parámetros del
modelo

7
 ASP Probabilistico
Inputs
p p
Output

Estructura del Modelo

Progresión de
la enfermedad
P(mala, A)= 0.30 Tratamiento A
Treatment A
Buena 11 AVAC C t
Coste
Efectos
Buena salud 10.70 1000
clínicos
Mala 10
0 30
0.30

Odds ratio
Treatment B
AVACs
Tratamiento B AVAC Coste
Buena salud =11
Mala = 10 AVACs Buena 11 10.85 2.500
Buena salud 10 75
10.75 2 500
2.500
Mala 10 10.55 2.500
Costes P(mala|B)
A = 1000 10.75 2.500
B= 2500
8
 La familia de las distribuciones
p
paramétricas
Distribución Inputs Descripción

Normal Media, DE Simétrico

Rango : -Inf a +Inf

Uniforme Min, Max Rango min-max. Todos

los valores tienen una
probabilidad igual

9
Desviación estándar
 Más distribuciones paramétricas
Distribución Inputs Descripción Util para
B t
Beta Numero
N Rango de
R d 0 Describir
D ibi una
con un a 1, no es probabilidad
evento
t simétrico
i ét i
Numero sin
un evento
Log-normal
g Media,, DE Rango
g 0a Describir un
Infinito Odds Ratio

Gamma Shape, scale Rango 0 a Describir

Infinito los costes 10
L distribucíon
La di t ib í del
d l Odds
Odd Ratio
R ti del
d l tratamiento
t t i t
(La angina aguda)
Odds ratio 0,78, 95% CI 0,68-0,89]

En función “log”
Media= log(0,78)
Media log(0 78)
= -0.25
DE= {log(0.89) – log (0.68)}/ 4=
0.065

11
 La distribución LogNormal
___ Lognormal(Mean -0.25;
0 25; SE 0,065)
0 065)

____ L
Lognormal(Mean
l(M -0.25;
0 25 SE 0,15)
0 15)
No son
simétricas
____ Lognormal(Mean -0.25; SE 0,30)

0 0.5 1 1.5 2 2.5 3 3.5 4

1,0 Bland, M. (2000) BMJ

12
Odds ratio
320; 1468
 El método de Monte Carlo
• Un método de simulación
• Elige una muestra aleatoria de valores para
el parámetro de interés (p ej.
ej 1.000
1 000 valores)
– ¿Como?
• Calcula el modelo para cada valor en la
muestra

13
 Simulación Monte-Carlo
• Elige un numero
aleatorio
l i entre 0 y 1
• En Excel, RAND()
• Por ej. 0,175
0 0.5 1 1.5 2 2.5 3 3.5 4
• 17.5%
17 5% del área de la
distribución es a la
0 895
0,895 derecha de 0,895
0 895
Rand Mean SE
Odds ratio
Odd ti en
LOGINV( 1 - 0,175 ; -0,25 ; 0,15 ) = 0,895 simulación14#1
Una muestra aleatoria de valores
de la distribución
MC Rand OR
1 0.175 0.895
2 0.476 0.785
3 0.830 0.674
4 0 010
0.010 1 103
1.103
5 0.117 0.930
6 0.203 0.881
7 0.933 0.621
8 0.203 0.881
9 0.122 0.926
Rand Mean SE 10 0.053 0.992
Odds ratio
Odd ti en
LOGINV( 1 - 0,053 ; -0,25 ; 0,15 ) = 0,992 simulación 15#10
 Calculación del modelo para cada
simulación (n
(n=10)
10)
WTP=
20000 35000
MC OR DC DU ICER Select Select
1 0.895 1500 0.023 65923 A A
2 0.785 1500 0.048 31036 A B
3 0.674 1500 0.076 19779 B B
4 1.103 1500 -0.021 Dominated A A
5 0.930 1500 0.015 100021 A A
6 0.881 1500 0.026 57940 A A
7 0.621 1500 0.090 16699 B B
8 0.881 1500 0.026 57839 A A
9 0.926 1500 0.016 94347 A A
10 0.992 1500 0.002 856055 A A

0,87 1500 0,03 OjO

j P(B)=0,2
( ) P(B)=0,3
( )
16
 10 simulaciones MC
Dif Costes
2000 Simulacion #10

1500

1000

Simulacion #4 Simulacion #1
500

0
-0.040 -0.020 0.000 0.020 0.040 0.060 0.080 0.100

Dif AVAC 17
 10 simulaciones MC
Dif Costes
WTP=20000
2000

1500

1000

Probabilidad B es coste-efectivo=
500

2/10 20%
2/10=20%
0
-0.040 -0.020 0.000 0.020 0.040 0.060 0.080 0.100

Dif AVAC 18
 10 simulaciones MC
Dif Costes
WTP=35000 WTP=20000
2000

1500

1000

Probabilidad B es coste-efectivo=
500

3/10 30%
3/10=30%
0
-0.040 -0.020 0.000 0.020 0.040 0.060 0.080 0.100

Dif AVAC 19
 Los resultados del ASP
• 10 simulaciones no es suficiente para un Monte Carlo.
• La media de una muestra de 1.000
1 000 simulaciones
– Diff Costes = 1.500
– Diff AVAC = 0,05 RCEI = 1.500 / 0,05 = 30.000
Probabilidad que B es el tratamiento coste-efectivo:

WTP 10 simulaciones
i l i 1 000 simulaciones
1.000 i l i
20.000 20% 16%
30.000 20% 50%
35 000
35.000 30% 58%
20
 Curva de aceptabilidad de coste
efectividad (1.000 simulaciones)
Darba.(2006) Gac San. 20(1) 74-77
1

0.9

T
Tratamiento
i B
0.8

0.7
Prob qque el
tratamiento 0.6

es coste-
58%
0.5

efectivo
0.4

0.3
Tratamiento A
0.2
16%
0.1

0
0 10000 20000 30000 40000 50000 60000 70000

20K 30K 35K Disposición a pagar €/AVAC

21
 Curva de aceptabilidad de coste
efectividad (CEACc)
• Las características de la curva
• En
E ell caso de
d 2 tratamientos,
i P(B) = 1-p(A)
1 (A)
• En el caso de >2 tratamientos, P(A)+P(B)+P(C )
+...= 1
• Cuando WTP=0 Æ analisis de minimización de
costes
• Cuando WTP = Infinito Æ la curva tiende a la
probabilidad
b bilid d que B es másá efectivo
f i
• Cuando WTP=RCEI Æ la probabilidad que B es
más
á coste-efectivo
t f ti es (aproximadamente)
( i d t ) 50%
22
Desafios a una AS deterministico
• Interpretacion de los resultados
• Correlaciones entre los parametros del
modelo
• La distribuciones de los parametros del
modelo
d l
• Varían simultáneamente de valor 2 o más
parámetros del modelo

23
 Análisis de sensibilidad
multivariante
• En la mayoría de modelos hay muchos
parámetros inciertos
• Aunque los parámetros sean independientes,
independientes
los resultados del modelo varían en función
de los demás

24
 Un análisis de sensibilidad
deterministico y multivariante
B mucho mas B un poco mas
efectivo
f i que A efective
f i que A
OR = 0,68 OR = 0,78
Riesgo bajo RCEI = 27.000 RCEI = 40.000
P ((mala | A)) = 0,2
,

Riesgo alto RCEI = 19.000

19 000 RCEI = 30.000
30 000
P (mala | A) = 0,3

25
Supone WTP = 20.000
 Métodos del analisis de
sensibilidad
Deterministico

Simple Varían un parámetro,

((univariante)) los otros son fijos
j

Recomendable
Combinado Varían simultáneamente
(multivariante) de valor dos o más
parámetros del modelo

Difícil en el caso de
más que dos parámetros
inciertos 26
 Métodos del analisis de
sensibilidad
Deterministico Probabilistico

Simple Varían un parámetro, Posible, pero no recomendable en la

((univariante)) los otros son fijos
j practica
p

Recomendable
Combinado Varían simultáneamente Para evaluar la incertidumbre
(multivariante) de valor dos o más global. Recomendable
parámetros del modelo

Difícil en el caso de
más que dos parámetros
inciertos 27
 Análisis de sensibilidad
multivariante y probabilistico
• Objetivo
• Evaluar la probabilidad de que la
i t
intervención
ió sea coste-efectiva
t f ti dado:
d d
• La estructura del modelo
• El WTP por beneficios de salud
• La incertidumbre conjunta en todos los
parámetros

28
 ASP Multivariate
Inputs
p Modelo Output
p

Efectos
Estructura del Modelo Tratamiento A
clínicos AVAC Coste
Tratamiento A … …
Buena 11 … …
Ratio Odds A vs B
… …
Buena salud
Progresión de Valores medios Mala 10 10.70 1000
la enfermedad

vB
P (mala,
(mala A) Tratamiento B AVAC Coste
AVACs Buena 11 … …
Buena salud =11
Mala = 10 AVACs Buena salud … …
Mala 10 … …
Costes 10.75 2.500
A = 1000
B= 2500 29
 Ejercicio
• Dibuja rápidamente un ejemplo de cada
di ib ió
distribución
– Normal
– Lognormal
– Beta
– Uniforme
• Qué distribución es la mejor representación del
parámetro : la Probabilidad de mala salud en el
grupo de control
30
 La distribución beta
• Rango de valores entre 0 y 1
• No
N es simétrica
i é i
• Comando en Excel: Para parámetro “Pa”
– Pa = BETAINV( X ; input1; input2)
• Por ejemplo, si había 100 pacientes en una
muestra, y 30 tuvieron
i la d dÆ
l enfermedad
f
– Input1 = numero de personas con un suceso = 30
– Input2
I 2 = numero de
d personas sin
i ell suceso = 70
• ÆLa media de E(Pa) = 30/100 = 0,30
31
 La distribución beta
0.35

03
0.3 - - -Distribución
Distribución beta(30;70)
0.25

0.2

Frequencia
0.15

0.1
____Distribución beta(9; 21)
0.05

0
0.4
0.5
0.6
0.7
0.8
0.9
1
0.1
0.2
0.3
0

0
0
0
0
0
0
0
0
0

Prob Mala Salud

32
 La incertidumbre conjunta en todos los parámetros
MC Rand OR Rand PA
1 0.175 0.895 0.322 0.258
2 0 476
0.476 0 785
0.785 0 928
0.928 0 426
0.426
3 0.830 0.674 0.441 0.283
4 0.010 1.103 0.507 0.297
5 0.117 0.930 0.360 0.266
6 0.203 0.881 0.336 0.261
7 0.933 0.621 0.369 0.268
8 0.203 0.881 0.146 0.213
9 0 122
0.122 0 926
0.926 0 137
0.137 0 210
0.210
10 0.053 0.992 0.646 0.328
MC
C 11,, 12,, ... 1.000
.000
OR ÅDistribución P (A)ÅDistribución33Beta
Lognormal
 Los resultados del ASP
WTP
25000 35000
MC Diff Costs Diff AVACs ICER Select Select

1 1500 0.021 72689 A A

2 1500 0.058 25885 A B
3 1500 0 073
0.073 20588 B B
4 1500 -0.021 Dominated A A
5 1500 0.014 107830 A A
6 1500 0.024 63411 A A
7 1500 0.083 18122 B B
8 1500 0.020 73262 A A
9 1500 0.012 120237 A A
10 1500 0.002 816044 A A

P(B) = 0,2 P(B)=0,3

34
 Los resultados de un ASP
multivariante
WTP 10 simulaciones 1.000 simulaciones

25.000 20% 16%

30 000
30.000 30% 50%

35.000 30% 56%

35
 Curva de aceptabilidad de coste
efectividad - multivariante
1

0.9

0.8

0.7
Prob qque el
tratamiento 0.6

es coste- 0.5

efectivo
0.4

0.3

0.2

0.1

0
0 10000 20000 30000 40000 50000 60000 70000

Disposición a pagar €/AVAC

36
 El valor de más información
• La curva de aceptabilidad muestra la probabilidad
de hacer un error cuando elegimos una estrategia
(y rechazamos la otra)
• Más información reduciría la probabilidad de un
error y por lo tanto aumentaría el beneficio a la
sociedad
• ¿Cuándo será rentable buscar más información
– p ej
ej. financiar un nuevo ensayo clinico?
• Cuando los costes del nuevo ensayo son menores
que los beneficios
37
 Valor de la información perfecta
• El valor de la información perfecta es el valor
máxima
á i que ell decisor
d i querría í pagar para eliminar
li i
toda la incertidumbre en la decisión
• Puede calcular el valor de la información perfecta,
dado:
– La estructura del modelo
– Las distribuciones de los parámetros del modelo
– El valor del WTP por un AVAC
– El numero de personas afectadas por la enfermedad
38
 El valor de la información perfecta

• Los resultados medios del modelo son

ΔCostes = 1.500 y ΔAVACs son 0,05
• RCEI es 1.500
1 500 / 0,05
0 05 = 30.000
30 000
• Si el WTP es 35.000, adopta B

39
 El valor de la información perfecta
• Pero en 44% de las simulaciones, A fue la
opción
ió másá coste-efectiva.
t f ti
• Por ejemplo,
j p en simulación #1 la diferencia
en AVACs fue 0,021 y la RCEI fue
,
1.500/0,021 = 73.000
• La sistema hubiera perdido beneficios netos
(en Euros) de
0,021 * 35.000 – 1.500 = 765
40
 La calculación del valor de la
información pperfecta (WTP=35.000)
( )
MC ΔCostes ΔAVAC RCEI Opción Valor
optima Perdido
1 1.500 0,021 73.000 A 765

2 1 500
1.500 0 058
0,058 26 000
26.000 B 0

3 1.500 0,073 21.000 B 0

4 1.500 -0,021 Domin A 2.235

... ... ... ... ... ...

MC 11, 12, ... 1.000
1.500 0,05 30.000 377
μ 41
 El valor de la información
perfecta
• Si el WTP = 35.000, B es la opción mas coste-efectiva
• En algunas simulaciones MC (numeró 1,4 1 4 etc),
etc) A es el
tratamiento optimo. Hay un coste de oportunidad de elegir
B en estos casos
• En las demás, no hay ningún coste de la oportunidad
• El Valor de la Información Perfecta calcula el coste medio
d la
de l oportunidad
id d por la
l incertidumbre
i id b
• El valor medio de la información perfecta por persona es
377 si el WTP por AVAC es 35 35.000
000

42
Valor de la información perfecta
• Si la enfermedad afecta 1.000 personas, el
valor
l de d la
l información
i f ió perfecta
f t seríaí
1.000*377= 377.000 Euros
• Significa que el máximo que querríamos
pagar
p g porp un nuevo ensayo y no supera
p esto
presupuesto
• (El valor de la información perfecta se
presenta en función de WTP)

43
Valor de la información perfecta en
función de WTP
450000

400000

350000

300000
EVPI Euros
s

250000

200000

150000

100000

50000

0
0 10000 20000 30000 40000 50000 60000
WTP

44
 Resumen
• El AS deterministico
– Univariante
– Siempre necesario pero no es suficiente
• El AS probabilístico
– Evaluar la incertidumbre global en el modelo
– Distribuciones de los parámetros
– Correlaciones entre los parámetros en el modelo
– Las simulaciones Monte – Carlo
– C r a de aceptabilidad de coste efectividad
Curva efecti idad
• El valor de la información

45
 Ejercicio
• Abrir la hoja de calculo EE.xls
• Entender las formulas en color VERDE
• Minimo: Hacer AS univariante (valores en color
AZUL)
• Merito: Hacer AS probabalistico (valores en color
NARANJA)) con el metodo Monte-Carlo
• Avanzada: Dibujar una curva CEAC
• Supersalida:
p Calcular el valor de información
perfecta
• Presentar sus resultados a los demás
46