Combining machine learning and matching techniques

to improve causal inference in program evaluation

A. Linden & P. Yarnold

10 de octubre de 2018

A. Linden & P. Yarnold UdeSa 10 de octubre de 2018 1 / 10

Introducción

Objetivo. Combinación de algoritmo de machine learning con

método de matching para mejorar inferencia causal: Análisis
Discriminante Óptimo (ODA)

Método. Propensity-score matching uno a uno. Balanceo por

diferencia de medias estandarizadas vs. ODA. OLS vs. ODA

Resultados. ODA provee resultados consistentes a los del método

convencional, presentando ventajas adicionales y mayor robustez

A. Linden & P. Yarnold UdeSa 10 de octubre de 2018 2 / 10

Matching y ODA

¿Por qué matching?

Supuestos de matching

¿Fue exitoso el proceso de matching? ODA

Beneficios de ODA

A. Linden & P. Yarnold UdeSa 10 de octubre de 2018 3 / 10

Análisis Discriminate Óptimo

Algoritmo de machine learning

Conceptos básicos:

Punto de corte
Direccionalidad
Medidas de presición para elegir el modelo óptimo
Sensibilidad o verdadero positivo
Espicificidad o verdadero negativo
Intensidad del efecto de la sensibilidad (ESS)

Cáclulo de p-valores

A. Linden & P. Yarnold UdeSa 10 de octubre de 2018 4 / 10

Ejemplo de aplicación

Evaluación del efecto de un programa piloto de atención primaria

de salud en la reducción de los gastos médicos de los pacientes.

Recolección de datos retrospectivos

374 participantes y 1628 no participantes
11 caracterı́sticas pre-intervención: demográficas, de utilización de
servicos médicos en el año previo al tratamiento, y costos medicos
totales

A. Linden & P. Yarnold UdeSa 10 de octubre de 2018 5 / 10

Resultados

Fuente: Linden & Yarnold (2016).

A. Linden & P. Yarnold UdeSa 10 de octubre de 2018 6 / 10
Resultados

Fuente: Linden & Yarnold (2016).

A. Linden & P. Yarnold UdeSa 10 de octubre de 2018 7 / 10
Resultados

Fuente: Linden & Yarnold (2016).

A. Linden & P. Yarnold UdeSa 10 de octubre de 2018 8 / 10

Discusión y comentarios finales

ODA provee resultados consistentes a los del método convencional

Ventajas de ODA

Mayor robustez (los p-valores no requieren supuestos

distribucionales)
Aplicable a cualquier tipo de variable métrica
Aplicable para cualquier cantidad de grupos de estudio
Insensible a datos sesgados y/o outliers
Acepta ponderadores analı́ticos
Evalúa la posibilidad de generalización (cross-validation)

A. Linden & P. Yarnold UdeSa 10 de octubre de 2018 9 / 10

 ¡Muchas gracias!

Pablo Bernztein, Santiago Cesteros y Agustina

Thailinger

A. Linden & P. Yarnold UdeSa 10 de octubre de 2018 10 / 10