Está en la página 1de 13

Circulación

ARTÍCULO DE INVESTIGACIÓN ORIGINAL

Detección de disfunción sistólica del ventrículo izquierdo a


partir de imágenes electrocardiográficas
Veer Sangha, BS*; Arash A. Nargesi, MD, MPH*; Lovedeep S. Dhingra , MBBS; Akshay Khunte; Bobak J. Mortazavi , Doctor;

Anthony H. Ribeiro , Doctor; Evgenia Banina, MD; Señor Adeola , médico, maestría en salud pública; Nadish Garg, MD;

Cynthia Brandt , MD, PhD; Eric J. Velázquez , médico ;


, médico, maestría en salud pública; Edward J. Miller, MD, PhD; Antonio Luis P. Ribeiro

Luana Giatti, MD, PhD; Sandhi M. Barreto , MD, PhD; Murilo Foppa, MD, PhD; Neal Yuan , médico; David Ouyang , médico ;

Harlan M. Krumholz, MD, SM; Rohan Khera , médico , maestría

FONDO:La disfunción sistólica del ventrículo izquierdo (VI) se asocia con un riesgo >8 veces mayor de insuficiencia cardíaca y un riesgo dos veces
mayor de muerte prematura. El uso de señales de ECG en la detección de disfunción sistólica del VI está limitado por su disponibilidad para los
médicos. Desarrollamos un nuevo enfoque basado en el aprendizaje profundo que puede utilizar imágenes de ECG para detectar la disfunción
sistólica del VI.

MÉTODOS:Utilizando ECG de 12 derivaciones trazados en múltiples formatos diferentes y los datos ecocardiográficos correspondientes
registrados dentro de los 15 días del Hospital Yale New Haven entre 2015 y 2021, desarrollamos un algoritmo de red neuronal
convolucional para detectar una fracción de eyección del VI <40 %. El modelo fue validado en entornos clínicos en el Hospital Yale New
Haven y externamente en imágenes de ECG del Centro Médico Cedars Sinai en Los Ángeles, CA; el Hospital Regional Lake en Osage Beach,
MO; el Memorial Hermann Southeast Hospital en Houston, TX; y Clínica Metodista de Cardiología. Además, fue validado en el Estudio
Longitudinal Brasileño prospectivo de Salud del Adulto. Se utilizó un mapeo de activación de clases ponderado por gradiente para
localizar señales de discriminación de clases en imágenes de ECG.
Descargado de http://ahajournals.org el 10 de abril de

RESULTADOS:En total, se utilizaron 385.601 ECG con ecocardiogramas pareados para el desarrollo del modelo. El modelo
demostró una alta discriminación entre varios formatos de imágenes de ECG y calibraciones en la validación interna (área bajo las
características de operación de recepción [AUROC], 0,91; área bajo la curva de recuperación de precisión [AUPRC], 0,55); y
conjuntos externos de imágenes de ECG de Cedars Sinai (AUROC, 0,90 y AUPRC, 0,53), clínicas ambulatorias del Yale New Haven
Hospital (AUROC, 0,94 y AUPRC, 0,77), Lake Regional Hospital (AUROC, 0,90 y AUPRC, 0,88) y Memorial Hermann Southeast
Hospital (AUROC, 0,91 y AUPRC, 0,88), Clínica Metodista de Cardiología (AUROC, 0,90 y AUPRC, 0,74). Un ECG que sugería
disfunción sistólica del VI presagiaba probabilidades >27 veces mayores de disfunción sistólica del VI en el ecocardiograma
transtorácico (odds ratio, 27,5 [IC 95 %, 22,3–33,9] en el grupo de pacientes excluidos). Patrones discriminatorios de clase
localizados en las derivaciones anterior y anteroseptal (V 2
y V ), correspondiente
3
al ventrículo izquierdo
independientemente del diseño del ECG. Una prueba de ECG positiva en individuos con una fracción de eyección del VI≥El 40 % en el momento de la
evaluación inicial se asoció con un riesgo 3,9 veces mayor de desarrollar disfunción sistólica del VI incidente en el futuro (índice de riesgo, 3,9 [IC 95
%, 3,3–4,7]; mediana de seguimiento, 3,2 años).

CONCLUSIONES:Desarrollamos y validamos externamente un modelo de aprendizaje profundo que identifica la disfunción sistólica del VI a partir de imágenes
de ECG. Este enfoque representa una estrategia de detección automatizada y accesible para la disfunción sistólica del VI, particularmente en entornos de bajos
recursos.

Palabras clave:inteligencia artificial◼tecnología biomédica◼electrocardiografía◼insuficiencia cardiaca◼aprendizaje automático◼disfunción ventricular, izquierda

Correspondencia: Rohan Khera, MD, MS, 195 Church St, 6th Floor, New Haven, CT 06510. Correo electrónico rohan.khera@yale.edu
* V. Sangha y AA Nargesi contribuyeron en partes iguales.

El material complementario está disponible en https://www.ahajournals.org/doi/suppl/10.1161/CIRCULATIONAHA.122.062646.


Para fuentes de financiamiento y divulgaciones, consulte la página 776. © 2023

American Heart Association, Inc. Todos los derechos reservados.

Circulaciónestá disponible en www.ahajournals.org/journal/circ

Circulación. . . . Rev. 2023; 148: 765–777. DOI: 10.1161/CIRCULACIÓN.122.062646 29 de agosto, 765


Sangha et al. Detección de disfunción sistólica del VI a partir de imágenes de ECG

Perspectiva clínica gy para detectar disfunción sistólica del VI.10-12Sin embargo, los médicos,
especialmente en entornos remotos, no tienen acceso a las señales de ECG.
INVESTIGACION ORIGINAL

¿Qué hay de nuevo? La falta de interoperabilidad en los formatos de almacenamiento de señales


de los dispositivos de ECG limita aún más la amplia adopción de dichos
ARTÍCULO

Se desarrolló y validó externamente un modelo de red


••••

neuronal convolucional que identifica con precisión la modelos basados en señales.13El uso de imágenes de ECG es una

disfunción sistólica del ventrículo izquierdo (VI) a partir oportunidad para implementar estrategias de detección interoperables de la

de imágenes de ECG en subgrupos de edad, sexo y disfunción sistólica del VI.

raza. Anteriormente desarrollamos un enfoque de aprendizaje profundo

El modelo muestra un rendimiento sólido en múltiples


••••
de inferencia independiente del formato a partir de imágenes de ECG

instituciones y entornos de salud, tanto aplicado a bases de del mundo real.14El enfoque puede diagnosticar de forma interpretable

datos de imágenes de ECG como cargado directamente por trastornos de la conducción y del ritmo cardíaco utilizando cualquier

los médicos a imágenes de ECG individuales en una aplicación diseño de imágenes de ECG de 12 derivaciones del mundo real y se

web. puede acceder a él a través de plataformas basadas en web o

El enfoque proporciona información tanto para la detección de


••••
aplicaciones. La extensión de este enfoque impulsado por inteligencia

la disfunción sistólica del VI como de su riesgo basándose artificial a las imágenes de ECG para detectar la disfunción sistólica del

únicamente en las imágenes del ECG. VI podría ampliar rápidamente el acceso a un enfoque de diagnóstico
escalable, fácilmente accesible y de bajo costo para poblaciones en
¿Cuáles son las implicaciones clínicas? riesgo subdiagnosticadas y subtratadas. Este enfoque adapta el

Nuestro modelo representa una estrategia de detección


••••
aprendizaje profundo para los usuarios finales sin interrumpir los flujos

automatizada de la disfunción sistólica del VI en una variedad de datos o el flujo de trabajo clínico. Además, la capacidad de agregar

de diseños de ECG. localización de señales predictivas en las imágenes de ECG relevantes

Con la disponibilidad de imágenes de ECG en la práctica, este


••••
para la disfunción sistólica del VI puede mejorar la adopción de estos

enfoque supera los desafíos de implementación de una modelos en la práctica clínica.15

herramienta de detección interoperable para la disfunción En este estudio, presentamos un modelo para la identificación

sistólica del VI en entornos con recursos limitados. precisa de una fracción de eyección del VI (FEVI) <40%, un umbral

Este modelo está disponible en formato en línea para facilitar


••••
con implicaciones terapéuticas basado en imágenes de ECG.

a los médicos la detección en tiempo real de la disfunción Desarrollamos, probamos y validamos externamente este enfoque

sistólica del VI. utilizando datos ecocardiográficos de ECG emparejados de


grandes hospitales académicos, sistemas hospitalarios rurales y
Descargado de http://ahajournals.org el 10 de abril de

un estudio de cohorte prospectivo.

Abreviaturas y acrónimos no estándar


MÉTODOS
AUPRC área bajo la curva de recuperación de precisión La junta de revisión institucional de Yale revisó el estudio, aprobó el

AUROC área bajo la curva característica de protocolo del estudio y renunció a la necesidad de consentimiento

operación de recepción informado, ya que el estudio representa un análisis secundario de los datos
existentes. Los datos no se pueden compartir públicamente, aunque hay una
ELSA-Brasil El estudio longitudinal brasileño
versión en línea del modelo disponible públicamente para uso en
sobre la salud de los adultos
investigación en https://www.cards-lab.org/ecgvision-lv. Esta aplicación web
representa un prototipo de la aplicación final del modelo, con instrucciones
Graduado-CAM mapeo de activación de clases ponderado por
para los estándares de imagen requeridos y una versión que demuestra un
gradiente
proceso de estandarización de imágenes automatizado.
FEVI fracción de eyección del ventrículo
ETT izquierdo ecocardiografía transtorácica
Fuente de datos para el desarrollo de modelos
YNHH Yale New Haven Hospital Utilizamos datos de formas de onda de señal de ECG de 12 derivaciones
recopilados entre 2015 y 2021. Estos ECG se registraron como registros de

l
ECG estándar de 12 derivaciones muestreados a una frecuencia de 500 Hz
La disfunción sistólica del ventrículo izquierdo (LV) se asocia con durante 10 segundos y se registraron en múltiples máquinas diferentes; la

un riesgo >8 veces mayor de insuficiencia cardíaca posterior y mayoría se recogieron utilizando máquinas Philips PageWriter y máquinas
GE MAC. Entre los pacientes con un ECG, aquellos con un ecocardiograma
casi un riesgo dos veces mayor de muerte prematura.1
transtorácico (ETT) correspondiente dentro de los 15 días posteriores a la
Aunque el diagnóstico temprano puede reducir efectivamente este riesgo,2–4
obtención del ECG se identificaron a partir de los registros médicos
Los individuos a menudo son diagnosticados después de desarrollar una
electrónicos de YNHH. Los valores de FEVI se extrajeron en función de la
enfermedad sintomática debido a la falta de estrategias de detección efectivas.5–7
lectura realizada por un cardiólogo del ETT más cercano a cada ECG. Para
El diagnóstico se basa tradicionalmente en la ecocardiografía, una
aumentar la evaluación de modelos creados a partir de un conjunto de datos
modalidad de imagen especializada que requiere muchos recursos y que es de imágenes generados a partir de esta forma de onda de señal YNHH, se
difícil de implementar a escala.8.9Se han desarrollado algoritmos que utilizan utilizaron 6 conjuntos de datos de imágenes de ECG para la validación
señales sin procesar de electrocardiografía como estrategia. externa.

766 29 de agosto, Circulación. . . . Rev. 2023; 148: 765–777. DOI: 10.1161/CIRCULACIÓN.122.062646


Sangha et al. Detección de disfunción sistólica del VI a partir de imágenes de ECG

Preprocesamiento de datos El muestreo se estratificó según si un paciente alguna vez había tenido una
FEVI <40 % para garantizar que los casos de FEVI conservada y reducida se

INVESTIGACION ORIGINAL
Durante el desarrollo del modelo, se analizaron todos los ECG para
dividieran proporcionalmente entre los conjuntos. En la cohorte de
determinar si tenían 10 segundos de registros continuos en las 12
entrenamiento, se incluyeron todos los ECG dentro de los 15 días posteriores

ARTÍCULO
derivaciones. Las muestras de 10 segundos se preprocesaron con un filtro
a un ETT para todos los pacientes para maximizar la disponibilidad de datos.
mediano de 1 segundo, se restaron de la forma de onda original para
En las cohortes de validación y prueba, solo se incluyó un ECG por paciente
eliminar la deriva de la línea base en cada derivación, lo que representa los
para garantizar la independencia de las observaciones en la evaluación de
pasos de procesamiento seguidos por las máquinas de ECG antes de generar
las métricas de desempeño. Este ECG se seleccionó aleatoriamente de todos
un resultado impreso a partir de los datos de forma de onda recopilados.
los ECG dentro de los 15 días posteriores a un ETT. Además, para garantizar
Las señales de ECG se transformaron en imágenes de ECG utilizando la
que el aprendizaje del modelo no se viera afectado por la frecuencia
biblioteca Python ecg-plotdieciséisy almacenado a 100 puntos por pulgada. Las
relativamente más baja de una FEVI <40 %, se asignaron ponderaciones más
imágenes se generaron con una calibración de 10 mm/mV, que es el estándar para
altas a estos casos en la etapa de entrenamiento en función del número
los ECG impresos en la mayoría de los entornos del mundo real. En los análisis de
efectivo de muestras en el esquema de muestreo de clase.17
sensibilidad, evaluamos el rendimiento del modelo en imágenes calibradas a 5 y 20
mm/mV. Todas las imágenes, incluidas las de los conjuntos de entrenamiento,
validación y prueba, se convirtieron a escala de grises, seguido de una reducción Entrenamiento modelo
de muestreo a 300 × 300 píxeles, independientemente de su resolución original, Construimos un modelo de red neuronal convolucional basado en la arquitectura
utilizando la biblioteca de imágenes Python (PIL v9.2.0). Para garantizar que el EfficientNet-B3,18que previamente demostró una capacidad para aprender e
modelo fuera adaptable a imágenes del mundo real, que pueden variar en identificar trastornos del ritmo y de la conducción, así como la etiqueta oculta del
formatos y diseño de cables, creamos un conjunto de datos con diferentes sexo en imágenes de ECG del mundo real.14El modelo EfficientNet-B3 requiere que
esquemas de trazado para cada registro de forma de onda de señal (Figura 1). Esta las imágenes se muestreen en 300×300 píxeles cuadrados, incluye 384 capas y
estrategia se ha utilizado para entrenar un modelo basado en imágenes tiene >10 millones de parámetros entrenables (Figura S2). Utilizamos el aprendizaje
independiente del formato para detectar trastornos de conducción y ritmo, así por transferencia inicializando los pesos del modelo como los pesos EfficientNet-B3
como la etiqueta oculta de sexo.14 previamente entrenados utilizados para predecir las 6 etiquetas clínicas definidas
El modelo de este estudio aprendió información específica del cable de ECG por el médico y el sexo de Sangha et al.14Primero descongelamos solo las últimas 4
basándose en la etiqueta, independientemente de la ubicación del cable. capas y entrenamos el modelo con una tasa de aprendizaje de 0,01 durante 2
Se incluyeron cuatro formatos de imágenes en el conjunto de datos épocas, y luego descongelamos todas las capas y entrenamos con una tasa de
de imágenes de entrenamiento (Figura 1). El primer formato se basó en aprendizaje de 5×10.–6durante 6 épocas. Utilizamos un optimizador Adam, recorte
el formato de ECG impreso estándar en los Estados Unidos, con cuatro de gradiente y un tamaño de minibatch de 64 durante todo el entrenamiento. El
columnas de 2,5 segundos impresas secuencialmente en la página. optimizador y las tasas de aprendizaje se eligieron después de la optimización de
Cada columna contenía intervalos de 2,5 segundos de 3 clientes hiperparámetros. Para ambas etapas del entrenamiento del modelo, detuvimos el
potenciales. La grabación completa de 10 segundos de la señal solista I
Descargado de http://ahajournals.org el 10 de abril de

entrenamiento cuando la pérdida de validación no mejoró en 3 épocas


se incluyó como tira rítmica. El segundo formato, un formato de 2 consecutivas.
ritmos, agregó la derivación II como una tira de ritmo adicional al
formato estándar. El tercer diseño era el formato alternativo, que Entrenamos y validamos nuestro modelo en un conjunto de datos de
constaba de 2 columnas, la primera con 6 grabaciones simultáneas de imágenes generadas que tenía el mismo número de imágenes estándar, de
5 segundos de las derivaciones de las extremidades; El cuarto formato 2 ritmos, alternativas y estándar barajadas (Figura 1). En los análisis de
era un formato aleatorio, que tenía derivaciones precordiales en las sensibilidad, el modelo se validó en tres diseños de ECG novedosos
dos primeras columnas y derivaciones de extremidades en la tercera y construidos a partir del conjunto disponible para evaluar su rendimiento en
cuarta. Todas las imágenes se rotaron una cantidad aleatoria entre –10 formatos de ECG que no se encontraron en el proceso de entrenamiento.
y 10 grados antes de ingresarlas en el modelo para imitar las Estos novedosos esquemas de ECG incluían 3 ritmos (con las derivaciones I,
variaciones observadas en los ECG cargados y ayudar a prevenir el II y V1 como tira de ritmo), sin ritmo y ritmo en formatos superiores (con la
sobreajuste. derivación I como tira de ritmo ubicada encima de las 12 derivaciones;Figura
El proceso de convertir señales de ECG en imágenes fue independiente S3). Se realizaron análisis de sensibilidad adicionales utilizando imágenes de
del desarrollo del modelo, lo que garantizó que el modelo no aprendiera ECG calibradas a 5, 10 y 20 mm/mV (20).Figura S4). Se utilizó una función de
ningún aspecto del procesamiento que generaba imágenes a partir de las pérdida personalizada con equilibrio de clases (entropía cruzada binaria
señales. Todos los ECG se convirtieron en imágenes en todos los formatos ponderada) basada en el número efectivo de muestras, dada la menor
diferentes sin condicionarse a etiquetas clínicas. La validación requirió que frecuencia de la etiqueta FEVI <40% en relación con aquellos con una FEVI≥
las imágenes cargadas estuvieran en posición vertical, recortadas según la 40%. Además, el rendimiento del modelo se evaluó en un análisis de
región de la forma de onda, sin consideración de brillo ni contraste, siempre validación cruzada de 5 veces utilizando el conjunto de derivación original
que la forma de onda fuera distinguible del fondo y las etiquetas de los (entrenamiento y validación). Una división a nivel de paciente estratificada
cables fueran discernibles. por FEVI <40% versus≥En este análisis se buscó el 40% y el rendimiento del
modelo se evaluó en el conjunto de pruebas retenidas.

Diseño experimental
Cada ECG incluido tenía un valor de FEVI correspondiente de su ETT más cercano
dentro de los 15 días posteriores al registro. La FEVI baja se definió como una FEVI Validación externa
<40%, el punto de corte utilizado como indicación para la mayoría de la Realizamos una serie de estudios de validación. Estos representaron
farmacoterapia dirigida por las guías para la insuficiencia cardíaca.4 estudios de cohortes tanto clínicos como poblacionales. La validación clínica
Los pacientes con al menos un ECG dentro de los 15 días posteriores a su ETT más representó conjuntos de datos de imágenes no sintéticas de entornos
cercano se dividieron aleatoriamente en conjuntos de niveles de pacientes de clínicos que abarcan pacientes consecutivos sometidos a ecocardiografía
entrenamiento, validación y prueba retenida (85 %, 5 % y 10 %;Figura S1). Este ambulatoria en el Centro Médico Cedars Sinai en Los Ángeles.

Circulación. . . . Rev. 2023; 148: 765–777. DOI: 10.1161/CIRCULACIÓN.122.062646 29 de agosto, 767


Sangha et al. Detección de disfunción sistólica del VI a partir de imágenes de ECG
INVESTIGACION ORIGINAL

ARTÍCULO
Descargado de http://ahajournals.org el 10 de abril de

Figura 1.Esquema del estudio.


A, Procesamiento de datos.B,Entrenamiento modelo.C, Modelo de validación. La estrategia de transferencia de aprendizajeB) en el desarrollo del modelo actual incluye la
transferencia de pesos de inicialización del modelo del algoritmo anterior entrenado originalmente para detectar trastornos del ritmo cardíaco y la etiqueta oculta de sexo
en las imágenes de ECG. El aprendizaje por transferencia se utilizó como pesos de inicialización para la red neuronal convolucional EfficientNet B3 que se está entrenando
para detectar la disfunción sistólica del ventrículo izquierdo. Aparte de los pesos, las etiquetas clínicas y de sexo no se ingresaron en el modelo actual. EF indica fracción de
eyección; ELSA-Brasil, Estudio Longitudinal de Salud del Adulto; FC, capas totalmente conectadas; y Grad-CAM, mapeo de activación de clases ponderado por gradiente.

768 29 de agosto, Circulación. . . . Rev. 2023; 148: 765–777. DOI: 10.1161/CIRCULACIÓN.122.062646


Sangha et al. Detección de disfunción sistólica del VI a partir de imágenes de ECG

Angeles, CA, y muestras de conveniencia estratificadas de ECG de disfunción cada predicción y realizó una agrupación promedio global de los gradientes
sistólica del VI y disfunción sistólica no del VI de 4 entornos diferentes: (1) en cada filtro, enfatizando aquellos que contribuyeron a una predicción.

INVESTIGACION ORIGINAL
clínicas ambulatorias de YNHH; (2) admisiones de pacientes hospitalizados Luego multiplicamos estos filtros por sus pesos de importancia y los
en Lake Regional Hospital en Osage Beach, MO; (3) admisiones de pacientes combinamos entre filtros para generar mapas de calor Grad-CAM.

ARTÍCULO
hospitalizados en el Memorial Hermann Southeast Hospital en Houston, TX; Promediamos los mapas de activación de clase entre 100 casos positivos con
y (4) visitas ambulatorias y admisiones de pacientes hospitalizados en la las predicciones del modelo más confiables para una FEVI <40% en todos los
Clínica Metodista de Cardiología en San Antonio, TX. Además, validamos formatos de ECG para determinar las áreas de imagen más importantes para
nuestro enfoque en la cohorte prospectiva de Brasil, el Estudio Longitudinal la predicción de FEVI baja. Tomamos una media aritmética entre los mapas
Brasileño de Salud del Adulto (ELSA-Brasil),19con ECG y ecocardiogramas de calor para un formato de imagen determinado y superpusimos este mapa
protocolizados en los participantes del estudio. de calor promedio en un ECG representativo antes de la conversión de la
Los criterios de inclusión y exclusión para los conjuntos de validación externos imagen a escala de grises. Las intensidades de Grad-CAM se convirtieron de
fueron similares a los del conjunto de datos interno de YNHH. Los pacientes se su escala original (0–1) a un rango de color utilizando la matriz de mapa de
limitaron a aquellos a los que se les realizó un ECG de 12 derivaciones dentro de los colores jet en la biblioteca Matplotlib de Python. Luego, este mapa de colores
15 días posteriores a un ETT con FEVI informada. Para los pacientes con más de un se superpuso a la imagen del ECG original con un α de 0,3. El mapa de
ETT en este intervalo, se utilizó para el análisis la FEVI del ETT más cercano. activación, una matriz de 10 × 10, se aumentó al tamaño de la imagen
En Cedars Sinai, se incluyeron todas las imágenes índice de original utilizando la interpolación bilineal integrada en TensorFlow v2.8.0.
ECG de pacientes consecutivos que realizaron visitas ambulatorias También evaluamos el Grad-CAM para ECG individuales para evaluar la
entre enero y marzo de 2019, lo que representa 879 personas, coherencia de la información en ejemplos individuales.
incluidas 99 con una FEVI <40 %. Estos análisis se realizaron de
forma totalmente federada y ciega, sin acceso a los ECG, por parte
de los desarrolladores del algoritmo.
Estrategias de preprocesamiento para datos de entrada ruidosos
Para los otros sitios de validación clínica, se extrajo una muestra de
conveniencia estratificada enriquecida para FEVI baja. Esto se hizo para Los requisitos de entrada estándar para nuestro modelo basado en

evaluar el uso amplio en un entorno clínico por parte de médicos en ejercicio imágenes incluyen imágenes de ECG limitadas a trazados de 12 derivaciones

sin acceso a un conjunto de datos de investigación. Nuestras evaluaciones con orientación vertical, rotación mínima, fondo sólido y sin anotaciones

preliminares de la prevalencia de la disfunción sistólica del VI en entornos periféricas. Para mitigar el impacto de los datos de entrada ruidosos en las

ambulatorios y hospitalarios fueron del 10% y el 20%, respectivamente. predicciones de modelos en aplicaciones del mundo real, incorporamos una

Intentamos lograr el doble de esta prevalencia en nuestros datos de función de preprocesamiento automatizado que incluye dos pasos

validación externa en estos sitios para garantizar que nuestro desempeño no principales. En el primer paso, enderezar y recortar, la imagen de ECG de

estuviera impulsado por pacientes con FEVI conservada y que el modelo entrada se endereza automáticamente para corregir las rotaciones y luego

pudiera detectar aquellos con disfunción sistólica del VI. En particular, una se recorta para eliminar los elementos periféricos. El resultado de este paso
Descargado de http://ahajournals.org el 10 de abril de

proporción de 1:4 de ECG correspondiente a una FEVI <40% y≥El 40 % fue de preprocesamiento es un rastreo de 12 derivaciones sin anotaciones

buscado en 3 de los 4 sitios (YNHH, Memorial Hermann Southeast Hospital y circundantes ni identificadores de pacientes.

Methodist Cardiology Clinic). En el cuarto sitio, Lake Regional Hospital, se En el segundo paso, evaluación y estandarización de la calidad, el
solicitó una proporción de 1:2 para medir mejor la capacidad discriminativa algoritmo calcula los valores medios de brillo y contraste a nivel de
del modelo en un entorno exclusivo para pacientes hospitalizados. píxel para las imágenes de entrada y los evalúa frente al brillo y el
contraste de las imágenes utilizadas en el desarrollo del modelo. Tanto
Evaluamos nuestro modelo en el estudio ELSA-Brasil, el brillo como el contraste se escalan a los valores medios de la
una cohorte prospectiva comunitaria en Brasil que obtuvo población en desarrollo antes de las predicciones. Los ECG con
ECG y ecocardiografía. Este conjunto incluyó datos de 2577 desviaciones extremas de brillo y contraste (50% por encima o por
individuos, incluidos 30 de individuos con una FEVI <40%. debajo del conjunto de desarrollo) se marcan como fuera de rango
para que se pueda adquirir e ingresar una imagen de mejor calidad.
Evaluamos la calibración del modelo a través de las variaciones de brillo
y contraste de la foto. Para este análisis, utilizamos la biblioteca de imágenes
de Python para ajustar las calidades de la imagen de entrada. Se

Antes de la validación, los identificadores de pacientes, las seleccionaron aleatoriamente un total de 200 ECG del conjunto de pruebas

mediciones de ECG y los diagnósticos informados se eliminaron de retenidas en una proporción de 1:4 para una FEVI <40% y≥40%,

todas las imágenes de ECG. Las diferencias en los diseños de ECG y los respectivamente. Se generaron variaciones de la imagen original con brillo y

procedimientos de validación se describen con más detalle en la contraste entre 0,5 y 1,5 veces los valores originales y se utilizaron en este

Material suplementario. . . . Muestras no identificadas de imágenes de análisis de sensibilidad.

ECG se presentan enFigura S5(Centro Médico Cedars Sinai),Figura S6


(YNHH y Lake Regional Hospital),Figura S7(Hospital Memorial Hermann
Análisis estadístico
Sureste), yFigura S8(Clínica Metodista de Cardiología) y las imágenes de
Las variables categóricas se presentaron como frecuencias y porcentajes, y
los autores están disponibles previa solicitud.
las variables continuas se presentaron como medias y desviaciones estándar
o mediana y rango intercuartílico, según correspondiera. El rendimiento del
Localización de señales predictivas del modelo modelo se evaluó en el conjunto de pruebas de reserva y en los conjuntos de
Utilizamos el mapeo de activación de clases ponderado por gradiente datos de imágenes de ECG externos. Utilizamos el área bajo la característica
(Grad-CAM) para resaltar qué partes de una imagen eran importantes del operador del receptor (AUROC) para medir la discriminación del modelo.
para predecir una FEVI <40%.20Calculamos los gradientes en la pila final El límite para la predicción binaria de la disfunción sistólica del VI se fijó en
de filtros en nuestro modelo EfficientNet-B3 para 0,10 para todos los internos

Circulación. . . . Rev. 2023; 148: 765–777. DOI: 10.1161/CIRCULACIÓN.122.062646 29 de agosto, 769


Sangha et al. Detección de disfunción sistólica del VI a partir de imágenes de ECG

y validaciones externas, basadas en el umbral que alcanzó una Detección de disfunción sistólica del VI
sensibilidad de >90% en el conjunto de validación interna. También
INVESTIGACION ORIGINAL

evaluamos el área bajo la curva de recuperación de precisión (AUPRC), El AUROC del modelo para detectar una FEVI <40% en el
la sensibilidad, la especificidad, el valor predictivo positivo, el valor conjunto de pruebas retenido compuesto por imágenes
ARTÍCULO

predictivo negativo y el odds ratio de diagnóstico. Los IC del 95 % para estándar fue de 0,91 y su AUPRC fue de 0,55 (Figura 2). Se
AUROC y AUPRC se calcularon utilizando el algoritmo DeLong y eligió un umbral de probabilidad para predecir una FEVI <40%
bootstrapping con 1000 variaciones para cada estimación, sobre la base de una sensibilidad de≥0,90 en el subconjunto
respectivamente.21.22El rendimiento del modelo se evaluó en todos los de validación, con una especificidad de 0,77 en este umbral en
subgrupos demográficos y esquemas de ECG, como se describió el conjunto de validación interna. Con este umbral, el modelo
anteriormente. Realizamos más análisis de sensibilidad del rendimiento
tenía una sensibilidad y especificidad de 0,89 y 0,77 en el
del modelo en todas las calibraciones de ECG. También evaluamos el
conjunto de pruebas retenidas y un valor predictivo positivo y
rendimiento del modelo en intervalos PR (>200 versus≤200 ms) y
un valor predictivo negativo de 0,26 y 0,99, respectivamente.
después de excluir los ECG con ritmos estimulados, trastornos de la
En general, un ECG sugestivo de disfunción sistólica del VI
conducción, fibrilación auricular y aleteo auricular. Además, evaluamos
la asociación de la probabilidad prevista de disfunción sistólica del VI presagiaba probabilidades >27 veces mayores (odds ratio,
del modelo en todas las categorías de FEVI. 27,5 [IC 95 %, 22,3–33,9]) de disfunción sistólica del VI en la
A continuación, evaluamos el desarrollo futuro de la disfunción sistólica ETT (Tabla 1). El rendimiento del modelo fue comparable entre
del VI en modelos de tiempo transcurrido hasta el evento utilizando un subgrupos de edad, sexo y raza (Tabla 1; Figura 2). En un
modelo de riesgos proporcionales de Cox. En este análisis, tomamos el análisis de validación cruzada, el rendimiento del modelo se
primer ECG temporal de los pacientes en el conjunto de pruebas retenidas y mantuvo constante en 5 divisiones y fue similar al rendimiento
luego modelamos el primer desarrollo de una FEVI <40% en los grupos de del modelo original (Tabla S3). Además, en deciles sucesivos
pacientes con resultados positivos pero que no tenían disfunción sistólica del
de las probabilidades predichas por el modelo, la proporción
VI concurrente (falso ).positivos), y aquellos que dieron negativo (verdadero
de individuos con disfunción sistólica del VI aumentó,
negativo) en este primer ECG, censurados al momento de la muerte o al final
mientras que la FEVI media disminuyó;Figura S9).
del período de estudio en junio de 2021. Además, calculamos un índice de
riesgo ajustado que tuvo en cuenta las diferencias en edad, sexo y FEVI
inicial en el momento del cribado índice para visualizar las tendencias de
Rendimiento del modelo en todos los formatos y
supervivencia. Los paquetes analíticos utilizados en el desarrollo de modelos
calibraciones de ECG
y el análisis estadístico se informan enTabla S1. . . . Todo el desarrollo del
modelo y los análisis estadísticos se realizaron con Python 3.9.5 y el nivel de El rendimiento del modelo fue comparable en los 4 diseños
significancia se estableció en un α de 0,05. originales de imágenes de ECG en el conjunto retenido, con un
Descargado de http://ahajournals.org el 10 de abril de

AUROC de 0,91 en la detección de disfunción sistólica concurrente


del VI (1999).Tabla S4). El modelo tenía una sensibilidad de 0,89 y
una predicción positiva confería probabilidades de disfunción
RESULTADOS sistólica del VI de 26 a 27 veces mayores en el estándar y en las 3
variaciones de los datos. En los análisis de sensibilidad, el modelo
Población de estudio
demostró un rendimiento similar en la detección de disfunción
De los 2.135.846 ECG obtenidos entre 2015 y 2021, 440.072 sistólica del VI a partir de nuevos formatos de ECG que no se
fueron de pacientes que tuvieron ETT dentro de los 15 días habían encontrado anteriormente, con un AUROC entre 0,88 y 0,91
posteriores a la obtención del ECG. En total, 433.027 tenían un (2010).Tabla S5).
registro de ECG completo, lo que representa 10 segundos de El rendimiento del modelo también fue consistente en
registros continuos en las 12 derivaciones. Estos ECG se todas las calibraciones de ECG, con un AUROC entre 0,88 y
extrajeron de 116.210 pacientes únicos y se dividieron en 0,91 en calibraciones de ECG de 5, 10 y 20 mm/mV y un
conjuntos de tren, validación y prueba a nivel de paciente ( AUROC de 0,909 (0,900–0,918) y un AUPRC de 0,539 (0,504–
Figura S1). 0,918) y 0,574), con calibraciones mixtas en el conjunto de
Un total de 116210 individuos con 385601 ECG prueba retenido. La calibración mixta se generó con una
constituyeron la población de estudio, que representa a muestra aleatoria de calibraciones de 5 y 20 mm/mV de los
los incluidos en los conjuntos de entrenamiento, validación cuartiles de voltaje más alto y más bajo, respectivamente, en
y prueba. Los individuos de la población de desarrollo del el cable I (que en conjunto representan el 25 % de la muestra
modelo tenían una edad media de 68 años (rango del equipo de prueba), junto con 10 mm/mV (75 % restante del
intercuartil, 56-78) en el momento del registro del ECG, y conjunto de prueba;Tabla S6). Análisis de sensibilidad
59282 (51,0%) eran mujeres. En general, 75928 (65,3%) adicionales demostraron un rendimiento consistente del
eran blancos no hispanos, 14000 (12,0%) eran negros no modelo en los ECG: (1) sin un intervalo PR prolongado (AUROC,
hispanos, 9349 (8,0%) eran hispanos y 16843 (14,5%) eran 0,920 y AUPRC, 0,537;Tabla S7); (2) sin ritmos estimulados
de otras razas. Un total de 56.895 (14,8%) ECG tuvieron un (AUROC, 0,908 y AUPRC, 0,519;Tabla S8); y (3) sin fibrilación
ecocardiograma correspondiente con una FEVI <40%, y auricular, aleteo auricular ni trastornos de la conducción
36.669 (9,5%) tuvieron una FEVI≥40% pero <50%, y 292037 (AUROC, 0,919 y AUPRC, 0,536;Tabla S9). El rendimiento del
(75,7%) tenían FEVI≥50% (Tabla S2). modelo también fue consistente en todos los subconjuntos

770 29 de agosto, Circulación. . . . Rev. 2023; 148: 765–777. DOI: 10.1161/CIRCULACIÓN.122.062646


Sangha et al. Detección de disfunción sistólica del VI a partir de imágenes de ECG

INVESTIGACION ORIGINAL
ARTÍCULO
Descargado de http://ahajournals.org el 10 de abril de

Figura 2.Medidas de desempeño del modelo.


Funcionamiento del receptor (Ay recuperación de precisión (B) curvas en imágenes en el conjunto de prueba retenido.C, Odds ratios de diagnóstico entre subgrupos de edad, sexo y raza
en imágenes de formato estándar en el conjunto de pruebas reservado. AUROC indica el área bajo la curva característica de funcionamiento del receptor; y AUPRC, área bajo la curva de
recuperación de precisión.

en el conjunto de pruebas retenido según el tiempo del ECG seguimiento de 3,2 años (rango intercuartílico, 1,8 a 4,4 años).;
en relación con el ecocardiograma (Tabla S10). Figura 3). Esto representó un riesgo 3,9 veces mayor de incidencia
de FEVI baja sobre la base de tener un resultado de detección
positivo (índice de riesgo, 3,9 [IC del 95 %, 3,3–4,7]). Después del
Falsos positivos predichos por modelos en la disfunción
ajuste por edad, sexo y FEVI en el momento de la evaluación, los
sistólica del VI pacientes con una evaluación positiva tenían un riesgo 2,3 veces
De los 10.666 ECG del conjunto de pruebas en espera con una FEVI mayor de presentar FEVI baja (índice de riesgo ajustado, 2,3 [IC 95
asociada≥Del 40% en un ecocardiograma proximal, el modelo %, 1,9–2,8]).
clasificó 2.469 (23,1%) como “falsos positivos” y 8.197 (76,9%) como
verdaderos negativos. En una evaluación adicional de los falsos
Localización de señales predictivas de disfunción
positivos, 562 (22,8% de los falsos positivos) tenían evidencia de
disfunción sistólica leve del VI, con una FEVI entre el 40% y el 50%
sistólica del VI
en la ecocardiografía concurrente. En la Figura 4 se presentan mapas de calor de
En este grupo de individuos, 4046 pacientes tuvieron al menos activación de clase de los 100 casos positivos con las
un ETT de seguimiento, incluidos 1125 (27,8%) falsos positivos y predicciones del modelo más confiables para la
2921 (72,2%) verdaderos negativos en la prueba de índice inicial. predicción de FEVI reducida en 4 diseños de ECG.
Hubo 2.665 y 6.083 ecocardiogramas en las poblaciones de falsos 2
y V fueron
3
las áreas más importantes para
positivos y verdaderos negativos durante el seguimiento, siendo el predicción de FEVI reducida.Figura S10representa la distribución
seguimiento más largo de 6,1 años. En general, 264 (23,5%) de las intensidades medias de la señal Grad-CAM en las regiones
pacientes con una prueba de detección positiva prevista por el correspondientes a las derivaciones V 2
y v y el
3
otro
modelo y 199 (6,8%) con una prueba de detección negativa regiones de ECG de formato estándar en esta muestra. Para la
desarrollaron una nueva FEVI <40% por encima de la mediana. mayoría de los casos, las intensidades de la señal Grad-CAM en el

Circulación. . . . Rev. 2023; 148: 765–777. DOI: 10.1161/CIRCULACIÓN.122.062646 29 de agosto, 771


Sangha et al. Detección de disfunción sistólica del VI a partir de imágenes de ECG

Tabla 1.Rendimiento del modelo en imágenes de prueba en subgrupos demográficos en el conjunto de pruebas retenido
INVESTIGACION ORIGINAL

Positivo Negativo
profético profético F1
Etiquetas Cuando. (%) valor valor Especificidad Sensibilidad AUROC AUPRC puntaje
ARTÍCULO

Todo 11621 (100) 0.257 0,988 0,769 0,892 0,910 (0,901–0,919) 0,545 (0,511–0,579) 0,399

Masculino 5952 (51,2) 0,285 0.984 0.735 0,897 0,901 (0,889–0,914) 0,583 (0,539–0,621) 0.433

Femenino 5668 (48,8) 0.215 0.991 0.802 0,884 0,917 (0,903–0,932) 0,470 (0,416–0,530) 0.346

≥65 años 6550 (56,4) 0.252 0.985 0.717 0.896 0,892 (0,880–0,905) 0,522 (0,480–0,561) 0.393

<65 años 5068 (43,6) 0.266 0.991 0.833 0,886 0,931 (0,916–0,945) 0,590 (0,534–0,655) 0.410

Hispano 942 (8,1) 0.253 0,992 0.802 0.908 0,926 (0,892–0,961) 0,576 (0,453–0,696) 0,396

Blanco 7557 (65,0) 0.261 0,988 0.770 0,895 0,910 (0,898–0,921) 0,537 (0,498–0,580) 0.404

Negro 1417 (12.2) 0.263 0.984 0,712 0,897 0,899 (0,872–0,925) 0,590 (0,498–0,665) 0.407

Otro 1705 (14,7) 0.231 0.987 0,787 0.864 0,912 (0,887–0,937) 0,532 (0,437–0,625) 0.364

Fibrilación o aleteo auricular 1518 (13.1) 0.274 0.974 0.572 0.912 0,858 (0,831–0,885) 0,540 (0,470–0,613) 0,421

Sin fibrilación ni aleteo auricular 10103 (86,9) 0.251 0.989 0,796 0,886 0,917 (0,907–0,927) 0,548 (0,511–0,586) 0,392

ECG estimulados 551 (4,7) 0.360 0.983 0.302 0.987 0,821 (0,784–0,858) 0,626 (0,549–0,712) 0.528

Sin ECG estimulados 11070 (95,3) 0.241 0,988 0,786 0,873 0,908 (0,898–0,919) 0,527 (0,493–0,566) 0,378

Intervalo PR >200 1253 (10,8) 0.265 0.980 0.731 0.865 0,900 (0,871–0,929) 0,582 (0,497–0,671) 0.405

intervalo PR≤200 10368 (89,2) 0.255 0,988 0,773 0.896 0,911 (0,902–0,921) 0,540 (0,503–0,579) 0,398

Bloqueo de rama izquierda 399 (3,4) 0.328 0.953 0,277 0.963 0,804 (0,756–0,852) 0,602 (0,504–0,701) 0,489

Sin bloqueo de rama izquierda 11222 (96,6) 0.249 0,988 0,782 0.883 0,911 (0,901–0,921) 0,538 (0,503–0,575) 0,389

Bloqueo de rama derecha 933 (8,0) 0.238 0.987 0,697 0.909 0,882 (0,847–0,917) 0,457 (0,352–0,547) 0,377

Sin bloqueo de rama 10688 (92,0) 0,259 0,988 0,775 0.890 0,912 (0,903–0,922) 0,554 (0,519–0,590) 0.401
derecha

AUPRC indica el área bajo la curva de recuperación de precisión; y AUROC, área bajo la curva característica operativa del receptor.
* La información sobre el sexo no estaba disponible para un paciente y la edad no estaba disponible para 3 pacientes del total de 11621 pacientes en el conjunto de pruebas retenido.
Descargado de http://ahajournals.org el 10 de abril de

Las
2
áreas V3y V fueron más altas que las otras regiones del ECG. Se incluyeron 50 imágenes de ECG, 11 (22%) de pacientes
Imágenes representativas del análisis Grad-CAM en individuos con FEVI <40%, con un modelo AUROC y AUPRC de 0,91 y
muestreados con pantallas positivas y negativas en el conjunto de 0,88 en estas imágenes, respectivamente. El quinto
pruebas realizadas e imágenes de ECG no sintéticas en sitios de conjunto de validación contenía 50 imágenes de ECG de la
validación se presentan enFiguras S11 y S12, respectivamente. Clínica Metodista de Cardiología, que incluían 11 (20%) ECG
de pacientes con una FEVI <40%, con un modelo AUROC de
0,90 y un AUPRC de 0,74.
El sexto conjunto incluyó 2.577 ECG de personas inscritas
Validación externa prospectivamente en el estudio ELSA-Brasil, incluidos 30 con
El rendimiento de la validación del modelo fue consistente y sólido una FEVI <40 %. El modelo demostró un AUROC de 0,95 y un
en cada uno de los 6 conjuntos de datos de validación (Figura 5). El AUPRC de 0,45 en este conjunto. En una muestra mixta de
primer conjunto de validación en el Centro Médico Cedars Sinai datos de ecocardiografía de ECG de todos los sitios de
incluyó 879 ECG de pacientes consecutivos que se sometieron a validación externos, el modelo demostró un AUROC y un
ecocardiografía ambulatoria, incluidos 99 (11%) individuos con una AUPRC de 0,96 (0,950–0,969) y 0,63 (0,563–0,694),
FEVI <40%. El modelo demostró un AUROC de 0,90 y un AUPRC de respectivamente, para detectar la disfunción sistólica del VI. El
0,53 en este conjunto. En segundo lugar, se utilizaron para la rendimiento del modelo en estos 6 conjuntos de validación se
validación 147 imágenes de ECG extraídas de clínicas ambulatorias describe en la Tabla 2 yTablas S11–S13. . . .
de YNHH e incluyeron 27 imágenes (18%) de pacientes con una
FEVI <40%. El modelo tuvo un AUROC de 0,94 y un AUPRC de 0,77
Garantía de calidad en aplicaciones del mundo real
en la validación de estas imágenes. El tercer conjunto de datos de
imágenes incluía imágenes de ECG de visitas de pacientes Evaluamos nuestro proceso de preprocesamiento en
hospitalizados al Lake Regional Hospital. Incluyó 100 imágenes de segmentación y estandarización de calidad de imágenes de ECG
ECG, con 43 imágenes (43%) de pacientes con FEVI <40%, con un del mundo real. Figura S13representa ejemplos de ECG en formato
modelo AUROC de 0,90 y AUPRC de 0,88. El cuarto conjunto de PDF electrónico antes y después del preprocesamiento y
datos del Memorial Hermann Southeast Hospital in- demuestra la eliminación automática de anotaciones de ECG e
identificadores de pacientes de la imagen.Figuras S14 y S15

772 29 de agosto, Circulación. . . . Rev. 2023; 148: 765–777. DOI: 10.1161/CIRCULACIÓN.122.062646


Sangha et al. Detección de disfunción sistólica del VI a partir de imágenes de ECG

INVESTIGACION ORIGINAL
ARTÍCULO
Descargado de http://ahajournals.org el 10 de abril de

Figura 3.Curvas de riesgo acumuladas para incidentes de disfunción sistólica del ventrículo izquierdo en pantallas positivas y negativas predichas por el
modelo entre miembros del conjunto de pruebas retenidas con una fracción de eyección del ventrículo izquierdo≥40% y al menos 1 medición de seguimiento.

demostrar la estandarización de la calidad de las fotografías de ísticas ideales para una estrategia de detección. Es resistente a las
ECG obtenidas con un teléfono inteligente con variaciones variaciones en los diseños de las formas de onda del ECG y detecta la
extremas de brillo, sombras, ángulos sesgados y artefactos de ubicación de las derivaciones del ECG en múltiples formatos con una
ruido. Además, evaluamos sistemáticamente la calibración de precisión constante, lo que lo hace adecuado para su implementación
nuestro modelo a través de las variaciones de brillo y contraste de en una variedad de entornos. Además, el algoritmo fue desarrollado y
la fotografía en una muestra de 200 ECG seleccionados probado en una población diversa con alto rendimiento en subgrupos
aleatoriamente del conjunto de pruebas realizadas en una de edad, sexo y raza, y en sistemas de salud académicos y comunitarios
proporción de 1:4, para una FEVI <40% y≥40%, respectivamente. geográficamente dispersos. Funcionó bien en 6 sitios de validación
Observamos cambios mínimos en las probabilidades predichas externos, que abarcan ambos entornos clínicos, así como en un estudio
por el modelo a pesar de alteraciones del 50% en el brillo y el de cohorte prospectivo en el que se realizaron ecocardiogramas
contraste de la imagen en imágenes preprocesadas (Figura S16). protocolizados al mismo tiempo que ECG. Una evaluación de las
Este efecto se mantuvo constante en todos los ECG de individuos señales de discriminación de clases lo localizó en las derivaciones
con un nivel bajo (Figura S17) y normales (Figura S18) FEVI.Tabla anteroseptal y anterior independientemente del diseño del ECG,
S14presenta las matrices de confusión para las predicciones del correspondiendo topológicamente al ventrículo izquierdo. Finalmente,
modelo en diferentes niveles de brillo y contraste de la imagen de entre las personas que no tenían una FEVI baja registrada
entrada, con o sin preprocesamiento. simultáneamente, una prueba de ECG positiva se asoció con un riesgo
3,9 veces mayor de desarrollar futura disfunción sistólica del VI en
comparación con aquellos con una prueba negativa, lo cual fue
DISCUSIÓN significativo después del ajuste por edad y sexo. y FEVI basal. Por lo
Desarrollamos y validamos externamente un algoritmo automatizado tanto, un enfoque basado en imágenes de ECG puede representar una
de aprendizaje profundo que identifica con precisión la disfunción estrategia de detección y predicción de la disfunción sistólica del VI,
sistólica del VI únicamente a partir de imágenes de ECG. El algoritmo particularmente en entornos de bajos recursos.
tiene alta discriminación y sensibilidad, representando características.

Circulación. . . . Rev. 2023; 148: 765–777. DOI: 10.1161/CIRCULACIÓN.122.062646 29 de agosto, 773


Sangha et al. Detección de disfunción sistólica del VI a partir de imágenes de ECG

Figura 4.Mapeo de activación de clase ponderada por gradiente en todos los formatos de ECG.
A, Formato predeterminado.B, Dos pistas de ritmo.C, Formato aleatorio estándar.D, Formato alternativo. Los mapas de calor representan promedios de los 100 casos positivos con las
Descargado de http://ahajournals.org el 10 de abril de

predicciones del modelo más confiables para una fracción de eyección del ventrículo izquierdo <40%.

El análisis de imágenes de ECG basado en el aprendizaje profundo para aplicaciones a repositorios de imágenes, una tarea que requiere menos recursos
detectar insuficiencia cardíaca representa una aplicación novedosa de que optimizar herramientas para diferentes máquinas.
inteligencia artificial que tiene el potencial de mejorar la atención clínica. El uso de imágenes de ECG en nuestro modelo supera los desafíos
Anteriormente se habían diseñado redes neuronales convolucionales para de implementación que surgen de los algoritmos de caja negra. El
detectar FEVI baja a partir de señales de ECG.10,11Aunque la dependencia de origen de las señales discriminatorias de riesgo en las derivaciones
los modelos basados en señales en datos de voltaje no está precordiales de las imágenes de ECG sugiere un origen del VI de las
computacionalmente limitada, su uso tanto en entornos retrospectivos como señales predictivas. Además, la observación constante de estas señales
prospectivos requiere acceso a un depósito de señales en el que la predictivas en las derivaciones anteroseptal y anterior,
arquitectura de datos de ECG varía según los proveedores de dispositivos de independientemente de la ubicación de las derivaciones en las
ECG. Además, los datos a menudo no se almacenan más allá de la imágenes impresas, también sirve como control para las predicciones
generación de imágenes de ECG impresas, particularmente en entornos del modelo. A pesar de localizar las señales discriminatorias de clase en
remotos.23Además, la adopción generalizada de modelos basados en la imagen en el ventrículo izquierdo, es posible que el análisis del mapa
señales está limitada por barreras de implementación que requieren de calor no capture necesariamente todas las características predictivas
inversiones en todo el sistema de salud para incorporarlos al flujo de trabajo del modelo, como la duración de los segmentos, intervalos o
clínico, algo que puede no estar disponible o no ser rentable en entornos de morfologías de las formas de onda del ECG que podrían haberse
bajos recursos y, hasta la fecha, no está ampliamente extendido. disponible utilizado en las predicciones del modelo. Sin embargo, las
en entornos de mayores recursos como los Estados Unidos. El algoritmo representaciones visuales consistentes con el conocimiento clínico
presentado en este estudio supera estas limitaciones al hacer que la podrían explicar partes del proceso de predicción del modelo y abordar
detección de la disfunción sistólica del VI a partir de ECG sea interoperable las dudas en la adopción de estas herramientas en la práctica clínica.24
en todos los formatos de adquisición y esté directamente disponible para los Un hallazgo importante fue el riesgo significativamente
médicos que solo tienen acceso a las imágenes del ECG. Debido a que las mayor de incidencia de disfunción sistólica del VI entre
imágenes de ECG escaneadas son el formato de almacenamiento y uso más pacientes con una prueba positiva predicha por el modelo
común de los ECG, los operadores no capacitados pueden implementar pero con una FEVI≥40% en ecocardiografía concurrente. Estos
pruebas de detección a gran escala mediante la revisión de gráficos o hallazgos demuestran una firma electrocardiográfica que
sistemas automatizados. puede preceder al desarrollo de evidencia ecocardiográfica de
disfunción sistólica del VI. Esto fue reportado anteriormente

774 29 de agosto, Circulación. . . . Rev. 2023; 148: 765–777. DOI: 10.1161/CIRCULACIÓN.122.062646


Sangha et al. Detección de disfunción sistólica del VI a partir de imágenes de ECG

INVESTIGACION ORIGINAL
ARTÍCULO
Figura 5.Curvas de funcionamiento del receptor para sitios de validación externos.
AUROC indica el área bajo la curva característica de funcionamiento del receptor; ELSA-Brasil, Estudio Longitudinal Brasileño de Salud de Adultos; LRH, Hospital
Regional del Lago; y YNHH, Hospital Yale New Haven.

en modelos basados en señales,10lo que sugiere además que la La población en entrenamiento probablemente tenía una indicación
detección de disfunción sistólica del VI en imágenes de ECG clínica para la ecocardiografía, a diferencia del uso más amplio en el
Descargado de http://ahajournals.org el 10 de abril de

representa un proceso fisiopatológico subyacente similar. mundo real del algoritmo para pruebas de detección de disfunción
Además, observamos una relación lineal entre la gravedad de la sistólica del VI entre aquellos sin ninguna enfermedad clínica. La
disfunción sistólica del VI y las probabilidades de FEVI baja capacidad de nuestro modelo para distinguir consistentemente la
predichas por el modelo, lo que respalda la plausibilidad biológica disfunción sistólica del VI entre subgrupos demográficos y poblaciones
de las predicciones del modelo a partir de datos emparejados de de validación sugiere solidez y generalización de los efectos, aunque se
ECG y ecocardiografía. Estas observaciones sugieren un papel justifican evaluaciones prospectivas en el entorno de detección
potencial de los modelos de ECG basados en inteligencia artificial previsto. Es digno de mención que el modelo demostró una mayor
en la estratificación del riesgo para el desarrollo futuro de especificidad y menor sensibilidad en la cohorte ELSA-Brasil compuesta
enfermedades cardiovasculares.25 por individuos más jóvenes y generalmente más sanos con una menor
Nuestro estudio tiene ciertas limitaciones que merecen prevalencia de disfunción sistólica del VI en comparación con los otros
consideración. Primero, desarrollamos este modelo entre pacientes conjuntos de validación. Dependiendo del resultado deseado
con ECG y ecocardiogramas. Por lo tanto, los seleccionados

Tabla 2.Rendimiento del modelo en conjuntos de datos de validación externa

Positivo Negativo
profético profético F1
Sitio valor valor Especificidad Sensibilidad AUROC AUPRC puntaje

Centro Médico Cedars Sinaí 0.326 0,979 0,772 0,869 0,902 (0,877–0,926) 0,533 (0,432–0,640) 0,474

Clínicas ambulatorias del Hospital Yale New 0.338 1.000 0.558 1.000 0,946 (0,910–0,982) 0,775 (0,605–0,916) 0.505
Haven

Hospital Regional del Lago 0.538 0.955 0.368 0,977 0,901 (0,843–0,959) 0,889 (0,810–0,946) 0,694

Hospital Memorial Hermann del Sureste 0.385 0.958 0.590 0.909 0,918 (0,790–1,000) 0,888 (0,699–1,000) 0.541

Clínica Metodista de Cardiología 0,458 1.000 0,667 1.000 0,902 (0,816–0,989) 0,738 (0,470–0,928) 0,629

ELSA-Brasil 0.256 0.996 0.976 0,700 0,949 (0,915–0,983) 0,449 (0,290–0,651) 0.375

Todos los sitios de validación 0.356 0.993 0,900 0.891 0,959 (0,950–0,969) 0,631 (0,563–0,694) 0.508

AUPRC indica el área bajo la curva de recuperación de precisión; AUROC: área bajo la curva característica operativa del receptor; AUPRC: área bajo la curva
de recuperación de precisión; y ELSA-Brasil, Estudio Longitudinal de Salud del Adulto.

Circulación. . . . Rev. 2023; 148: 765–777. DOI: 10.1161/CIRCULACIÓN.122.062646 29 de agosto, 775


Sangha et al. Detección de disfunción sistólica del VI a partir de imágenes de ECG

Debido al enfoque de detección y las limitaciones de recursos con Centro Vascular, Hospital Brigham and Women's, Facultad de Medicina de Harvard,
Boston, MA (AAN). Departamento de Ingeniería y Ciencias de la Computación, Universidad
las pruebas posteriores, es posible que sea necesario recalibrar los
INVESTIGACION ORIGINAL

Texas A&M, College Station (BJM). Centro de Investigación y Evaluación de Resultados


umbrales de predicción de la disfunción sistólica del VI cuando se (CORE), Yale New Haven Hospital, New Haven, CT (BJM, HMK, RK). Departamento de

implementen en tales entornos. En segundo lugar, el desarrollo de Tecnología de la Información, Universidad de Uppsala, Suecia (AHR). Departamento de
ARTÍCULO

Medicina Interna, Lake Regional Hospital Health, Osage Beach, MO (EB). Clínica Metodista
nuestro modelo utiliza datos retrospectivos de ECG y
de Cardiología, San Antonio, TX (OA). Instituto Vascular y del Corazón, Memorial Hermann
ecocardiograma. Por tanto, se aplican todas las limitaciones Southeast Hospital, Houston, TX (NG). Sistema de atención médica de VA Connecticut, West

inherentes a los análisis secundarios. Aunque el modelo ha sido Haven, CT (CAB). Centro de Telesalud y Servicio de Cardiología, Hospital de Clínicas (ALPR),
Departamento de Medicina Interna, Facultad de Medicina (ALPR), Departamento de
validado externamente en numerosos entornos, incluida la
Medicina Preventiva, Facultad de Medicina y Hospital de Clínicas (LG, SMB), Universidad
cohorte ELSA-Brasil en la que se realizaron ecocardiogramas Federal de Minas Gerais, Belo Horizonte, Brasil. Programa de Estudios de Postgrado en

protocolizados sin indicación clínica, son necesarias evaluaciones Cardiología y División de Cardiología, Hospital de Clínicas de Porto Alegre, Universidad
Federal de Rio Grande do Sul, Porto Alegre, Brasil (MF). Departamento de Medicina,
prospectivas en el entorno de detección previsto. En tercer lugar,
Universidad de California, San Francisco, CA (NY). Sección de Cardiología, Centro Médico de
aunque incorporamos 4 formatos de ECG durante su desarrollo y Asuntos de Veteranos de San Francisco, CA (NY). Departamento de Cardiología, Smith

demostramos que el modelo tenía un rendimiento constante en Heart Institute (DO), División de Inteligencia Artificial en Medicina (DO), Cedars-Sinai
Medical Center, Los Ángeles, CA. Departamento de Política y Gestión de la Salud (HMK),
una variedad de diseños novedosos y de uso común que no se
Sección de Informática de la Salud, Departamento de Bioestadística (RK), Escuela de Salud
incluyeron en el desarrollo, no podemos determinar si mantiene el Pública de Yale, New Haven, CT.

rendimiento en todos los formatos novedosos. En cuarto lugar,


Agradecimientos
aunque el desarrollo del modelo persigue el preprocesamiento de
El Dr. Khera concibió el estudio y accedió a los datos. V. Sangha y el Dr. Khera desarrollaron
la señal de ECG para trazar imágenes, estos representan procesos el modelo. V. Sangha, Dr. Nargesi y Dhingra, A. Khunte y Dr. Khera continuaron con el
estándar realizados antes de que las máquinas de ECG generen o análisis estadístico. V. Sangha y el Dr. Nargesi redactaron el manuscrito. Todos los autores
brindaron comentarios sobre el diseño del estudio e hicieron contribuciones críticas a la
impriman las imágenes de ECG. Por lo tanto, no se requiere
redacción del manuscrito. El Dr. Khera supervisó el estudio, obtuvo financiación y es el
ningún otro procesamiento de imágenes para la aplicación en el garante. El modelo está disponible en formato en línea para uso en investigación en
mundo real, como se demuestra en la aplicación del modelo a los https://www.cards-lab.org/ecgvision-lv

conjuntos de validación externos. Quinto, nuestro modelo se Recursos de fondos


construyó sobre una única arquitectura de red neuronal Este estudio fue apoyado por fondos de investigación otorgados al Dr. Khera por la
convolucional. No comparamos el rendimiento de nuestro modelo Facultad de Medicina de Yale y una subvención del Instituto Nacional del Corazón, los
Pulmones y la Sangre de los Institutos Nacionales de Salud bajo el premio K23HL153775.
con arquitecturas y modelos alternativos de aprendizaje
Los financiadores no tuvieron ningún papel en el diseño y realización del estudio;
automático para la detección de la disfunción sistólica del VI. Esto recopilación, gestión, análisis e interpretación de datos; preparación, revisión o aprobación
se basó en nuestro estudio anterior que infirió que EfficientB3 del manuscrito; o la decisión de enviar el manuscrito para su publicación.

demostró un buen rendimiento en tareas de clasificación de


Descargado de http://ahajournals.org el 10 de abril de

Divulgaciones
imágenes de ECG, aunque estudios futuros podrían evaluar otras El Dr. Mortazavi informó haber recibido subvenciones del Instituto Nacional de Imágenes
arquitecturas para estas aplicaciones. Finalmente, aunque Biomédicas y Bioingeniería, el Instituto Nacional del Corazón, los Pulmones y la Sangre, la
Administración de Alimentos y Medicamentos de EE. UU.; Además, el Dr. Mortazavi tiene
incluimos un prototipo de una aplicación basada en web con
una patente pendiente sobre modelos predictivos que utilizan registros médicos
estandarización y predicciones automatizadas a partir de electrónicos (US20180315507A1). El Dr. AH Ribeiro está financiado por la Fundación Kjell y
imágenes de ECG, representa solo una demostración del eventual Marta Beijer. El Dr. Krumholz trabaja bajo contrato con los Centros de Servicios de
Medicare y Medicaid para respaldar los programas de medición de la calidad, recibió una
despliegue del modelo. Sin embargo, será necesario un mayor
subvención de investigación de Johnson & Johnson, a través de la Universidad de Yale, para
desarrollo y validación antes de cualquier implementación clínica o respaldar el intercambio de datos de ensayos clínicos; recibió un acuerdo de investigación,
a gran escala de dicha aplicación. a través de la Universidad de Yale, del Centro de Información de Salud de Shenzhen para
trabajar en el avance de la prevención inteligente de enfermedades y la promoción de la
salud; colabora con el Centro Nacional de Enfermedades Cardiovasculares de Beijing;
recibe pago del bufete de abogados Arnold & Porter por el trabajo relacionado con el
Conclusiones litigio del clopidogrel de Sanofi, del bufete de abogados Martin Baughman por el trabajo
relacionado con el litigio del filtro Cook Select IVC; preside el consejo asesor científico
Desarrollamos un algoritmo automatizado para detectar la
cardíaco de UnitedHealth; fue miembro de la junta directiva de IBM Watson Health Life
disfunción sistólica del VI a partir de imágenes de ECG, lo que Sciences; es miembro del Consejo Asesor de Element Science, del Consejo Asesor de
demuestra un rendimiento sólido en subgrupos de datos Facebook y del Consejo Asesor de Médicos de Aetna; y es cofundador de Hugo Health, una
plataforma de información de salud personal, y cofundador de Refactor Health, una
demográficos de pacientes, formatos y calibraciones de ECG y
empresa de gestión de datos aumentada con inteligencia artificial para el cuidado de la
entornos de práctica clínica. Dada la omnipresente disponibilidad salud. El Dr. ALP Ribeiro cuenta con el apoyo parcial del CNPq (465518/2014-1,
de imágenes de ECG, este enfoque representa una estrategia para 310790/2021-2 y 409604/2022-4) 21). V. Sangha y el Dr. Khera son los coinventores de la
Solicitud de Patente Provisional de EE.UU. No. 63/346,610, “Artículos y métodos para la
la detección automatizada de la disfunción sistólica del VI,
detección independiente del formato de enfermedades cardiovasculares ocultas a partir
especialmente en entornos con recursos limitados. de imágenes electrocardiográficas impresas mediante aprendizaje profundo”. 63/346,610.
El Dr. Khera recibe apoyo del Instituto Nacional del Corazón, los Pulmones y la Sangre de
los Institutos Nacionales de Salud (con el premio K23HL153775) y la Doris Duke Charitable

INFORMACIÓN DEL ARTÍCULO Foundation (con el premio 2022060). Recibe apoyo de la Fundación Blavatnik a través del
Fondo Blavatnik para la Innovación de Yale. También recibe apoyo para la investigación de
Recibido el 28 de septiembre de 2022; aceptado el 26 de junio Yale, Bristol-Myers Squibb y Novo Nordisk. Es editor asociado deJAMA. . . . Además de
63/346.610, el Dr. Khera es coinventor de las solicitudes de patente provisionales de EE.
Afiliaciones UU. 63/177.117, 63/428.569 y 63/484.426. También es fundador de Evidence2Health, una
Departamento de Ciencias de la Computación (VS, AK), Sección de Medicina Cardiovascular, plataforma de salud de precisión para mejorar la atención cardiovascular basada en
Departamento de Medicina Interna (AAN, LSD, EJM, EJV, HMK, RK), Departamento de Medicina de evidencia.
Emergencia (CAB), Universidad de Yale, New Haven, CT. corazón y

776 29 de agosto, Circulación. . . . Rev. 2023; 148: 765–777. DOI: 10.1161/CIRCULACIÓN.122.062646


Sangha et al. Detección de disfunción sistólica del VI a partir de imágenes de ECG

Material suplementario [ PubMed ] 11. Vaid A, Johnson KW, Badgeley MA, Somani SS, Bicak M, Landi I, Russak
A, Zhao S, Levin MA, Freeman RS, et al. Utilizar algoritmos de aprendizaje profundo para

INVESTIGACION ORIGINAL
Tablas de procedimientos y datos de validación
identificar simultáneamente la disfunción ventricular derecha e izquierda a partir del
externa S1 a S14
electrocardiograma.Imágenes cardiovasculares JACC. . . . Rev. 2022; 15: 395–410. doi:
Figuras S1 a S18

ARTÍCULO
10.1016/j.jcmg.2021.08.004
[ PubMed ] 12. Yao X, Rushlow DR, Inselman JW, McCoy RG, Thacher TD, Behnken EM,
Bernard ME, Rosas SL, Akfaly A, Misra A, et al. Electrocardiogramas habilitados por
inteligencia artificial para la identificación de pacientes con fracción de eyección
REFERENCIAS
baja: un ensayo clínico pragmático y aleatorizado.Nat Med. . . . Rev.2021;27:815–8
[ PubMed ] Wang TJ, Evans JC, Benjamin EJ, Levy D, LeRoy EC, Vasan RS. Historia natural doi: 10.1038/s41591-021-01335-4
de la disfunción sistólica del ventrículo izquierdo asintomática en la comunidad. 13. Stamenov D, Gusev M, Armenski G. Interoperabilidad de los estándares de
Circulación. . . . 2003;108:977–982. doi: 10.1161/01.CIR.0000085166.44904.79 ECG. En: Actas de la 41.a Conferencia Internacional sobre Tecnologías de la
2. Srivastava PK, DeVore AD, Hellkamp AS, Thomas L, Albert NM, Butler J, Patterson JH, Spertus JA, Información y las Comunicaciones, Electrónica y Microelectrónica (MIPRO) de
Williams FB, Duffy CI, et al. Hospitalización por insuficiencia cardíaca y patrones de 2018, Opatija, Croacia, IEEE; 2018:0319–0323.
prescripción dirigidos por guías entre pacientes con insuficiencia cardíaca con fracción de [Artículo gratuito de PMC] [PubMed] 14. Sangha V, Mortazavi BJ, Haimovich AD, Ribeiro AH, Brandt
eyección reducida.Insuficiencia cardíaca JACC. . . . Apocalipsis 2021; 9:28–3 doi: 10.1016/ CA, Jacoby DL, Schulz WL, Krumholz HM, Ribeiro ALP, Khera R. Diagnóstico multietiqueta
j.jchf.2020.08.017 automatizado en imágenes y señales electrocardiográficas.comuna nacional. . . .
[ PubMed ] 3. Wolfe NK, Mitchell JD, Brown DL. La reducción independiente de la mortalidad 2022;13:1583. doi: 10.1038/s41467-022-29153-3
asociada con el tratamiento médico dirigido por las directrices en pacientes con enfermedad [Artículo gratuito de PMC] [PubMed] 15. He J, Baxter SL, Xu J, Xu J, Zhou X, Zhang K. La
de las arterias coronarias e insuficiencia cardíaca con fracción de eyección reducida. implementación práctica de tecnologías de inteligencia artificial en medicina.Nat Med. . . .
Resultados de Eur Heart J Qual Care Clin. . . . 2021;7:416–421. doi: 10.1093/ehjqcco/qcaa032 2019;25:30–3 doi: 10.1038/s41591-018-0307-0
4. Heidenreich PA, Bozkurt B, Aguilar D, Allen LA, Byun JJ, Colvin MM, Deswal A, 16. Biblioteca Python de trazado de ECG. Consultado el 25 de mayo de 2022. https://pypi.org/
Drazner MH, Dunlay SM, Evers LR, et al. Guía de 2022 de la AHA/ACC/HFSA project/ecg-plot/
para el tratamiento de la insuficiencia cardíaca: un informe del Comité [Artículo gratuito de PMC] [PubMed] 17. Cui Y, Jia M, Lin TY, Song Y, Belongie S. Pérdida de clase equilibrada
Conjunto de Guías de Práctica Clínica del Colegio Americano de Cardiología/ basada en el número efectivo de muestras.arXiv. . . . 2019;1901.05555.
Asociación Americana del Corazón.Circulación. . . . 2022;145:e895–e1032. doi: [PubMed] 18. Tan M, Le QV. EfficientNet: repensar el escalado de modelos para redes neuronales
10.1016/CIR000000000001063. convolucionales.arXiv. . . . 2020;1905.11946v5
[ PubMed ] 5. Wang TJ, Levy D, Benjamin EJ, Vasan RS. La epidemiología de [ PubMed ] 19. Aquino EML, Barreto SM, Bensenor IM, Carvalho MS, Chor D,
la disfunción sistólica del ventrículo izquierdo "asintomática": Duncan BB, Lotufo PA, Mill JG, Molina MDC, Mota ELA, et al. Estudio
implicaciones para el cribado.Ann Intern Med. . . . 2003;138:907–916. longitudinal brasileño de salud del adulto (ELSA-Brasil): objetivos y diseño.Am
doi: 10.7326/0003-4819-138-11-200306030-00012 J Epidemiol. . . . 2012;175:315–324. doi: 10.1093/edad/kwr294
[ PubMed ] 6. Vasan RS, Benjamin EJ, Larson MG, Leip EP, Wang TJ, Wilson PWF, Levy [Artículo gratuito de PMC] [PubMed] 20. Selvaraju RR, Cogswell M, Das A, Vedantam R, Parikh D,
D. Péptidos natriuréticos plasmáticos para la detección comunitaria de hipertrofia Batra D. Grad-CAM: explicaciones visuales de redes profundas mediante localización basada
ventricular izquierda y disfunción sistólica: el estudio del corazón de Framingham. en gradientes. En:Actas de la Conferencia Internacional IEEE sobre Visión por Computadora
JAMA. . . . 2002;288:1252–1259. doi: 10.1001/público.288.10.1252 (ICCV) de 2017.. . . . IEEE; Rev. 2017: 618–6
[PubMed] 7. McDonagh TA, McDonald K, Maisel AS. Detección de disfunción ventricular izquierda [ PubMed ] 21. DeLong ER, DeLong DM, Clarke-Pearson DL. Comparación de las áreas bajo
asintomática mediante péptido natriurético tipo B.Insuficiencia cardíaca congestionada. . . . dos o más curvas características operativas del receptor correlacionadas: un
2008;14:5–8. doi: 10.1111/j.1751–7133.2008.tb00002.x enfoque no paramétrico.Biometría.1988;44:837–845.
Descargado de http://ahajournals.org el 10 de abril de

8. Galasko GI, Barnes SC, Collinson P, Lahiri A, Senior R. ¿Péptidos [Artículo gratuito de PMC] [PubMed] 22. Sun X, Xu W. Implementación rápida del algoritmo de DeLong para
natriuréticos, electrocardiograma, ecocardiografía de mano, comparar las áreas bajo curvas características operativas del receptor correlacionadas.Lett de proceso
ecocardiografía tradicional o su combinación?tu corazon j. . . . de señal IEEE. . . . 2014;21:1389–1393. doi: 10.1109/lsp.2014.2337313
2006;27:193–200. doi: 10.1093/eurheartj/ehi559 [ PubMed ] 23. Siontis KC, Noseworthy PA, Attia ZI, Friedman PA. Electrocardiografía mejorada con
inteligencia artificial en el tratamiento de enfermedades cardiovasculares.Nat Rev Cardiol. . . .
[PubMed] 9. Atherton JJ. Detección de disfunción sistólica del ventrículo izquierdo: ¿las Rev. 2021; 18: 465–478. doi: 10.1038/s41569-020-00503-2
imágenes son una solución?Imágenes cardiovasculares JACC. . . . 2010;3:421–428. [Artículo gratuito de PMC] [PubMed] 24. Quer G, Arnaout R, Henne M, Arnaout R. El aprendizaje automático y
doi: 10.1016/j.jcmg.2009.11.014 el futuro de la atención cardiovascular: una revisión del estado del arte del JACC.J. Am Coll Cardiol. . . .
[ PubMed ] 10. Attia ZI, Kapa S, López-Jiménez F, McKie PM, Ladewig DJ, Satam G, Pellikka 2021;77:300–313. doi: 10.1016/j.jacc.2020.11.030
PA, Enriquez-Sarano M, Noseworthy PA, Munger TM, et al. Detección de disfunción [Artículo gratuito de PMC] [PubMed] 25. Maurovich-Horvat P. Tendencias actuales en el uso del aprendizaje
contráctil cardíaca mediante un electrocardiograma habilitado por inteligencia automático para el diagnóstico y/o estratificación del riesgo en enfermedades cardiovasculares.Res
artificial.Nat Med. . . . 2019;25:70–7 doi: 10.1038/s41591-018-0240-2 cardiovascular. . . . 2021;117:e67–e69. doi: 10.1093/cvr/cvab059

Circulación. . . . Rev. 2023; 148: 765–777. DOI: 10.1161/CIRCULACIÓN.122.062646 29 de agosto, 777

También podría gustarte