Traducido del inglés al español - www.onlinedoctranslator.
com
Acceso abierto
Citar:Sujan M, Furniss D, Grundy K,et al.
Desafíos de los factores humanos para
el uso seguro de la inteligencia artificial
en la atención al paciente.Informe de
atención médica de BMJ 2019;26
:e100081. doi:10.1136/
bmjhci-2019-100081
Recibido el 31 de mayo de 2019
Aceptado el 14 de noviembre de 2019
© Autor(es) (o su(s) empleador(es))
2019. Reutilización permitida
según CC BY-NC. Sin reutilización
comercial. Ver derechos y
permisos. Publicado por BMJ.
1Facultad de Medicina de Warwick,
Universidad de Warwick, Coventry, Reino
Unido
2Human Reliability Associates, Dalton,
Reino Unido
3Paciente, Derby, Reino Unido
4Unidad de Cuidados Intensivos, Hospitales
Universitarios de Derby y Burton NHS
Foundation Trust, Derby, Reino Unido
5Equipo de seguridad clínica, NHS
Digital, Leeds, Reino Unido
6Departamento de Ciencias de la
Computación, Universidad de York, York,
Reino Unido
Correspondencia a
Dr. Mark Sujan;
mark.sujan@humanreliability.
com
Retos de los factores humanos para el uso
seguro de la inteligencia artificial en
atencion al paciente
Mark Sujan ,1,2Dominic Furniss,2Kath Grundy,3Howard Grundy,3
David Nelson,4Mateo Elliott,4sean blancos,5Ibrahim Habli,6Nick Reynolds4
Abstracto
El uso de inteligencia artificial (IA) en la atención al paciente puede
ofrecer importantes beneficios. Sin embargo, falta una evaluación
independiente que considere el uso de la IA. El artículo sostiene que
se debe considerar cómo se incorporará la IA en los procesos y
servicios clínicos. Los desafíos de los factores humanos que
probablemente surjan en este nivel incluyen aspectos cognitivos
(sesgo de automatización y desempeño humano), traspaso y
comunicación entre los médicos y los sistemas de inteligencia
artificial, la conciencia de la situación y el impacto en la interacción
con los pacientes. La investigación de los factores humanos debería
acompañar el desarrollo de la IA desde el principio.
Introducción
El uso de la inteligencia artificial (IA) en la atención al
paciente es actualmente uno de los temas más
apasionantes y controvertidos. Está destinado a
convertirse en una de las industrias de más rápido
crecimiento, y los políticos están poniendo su peso
detrás de esto, tanto para mejorar la atención al
paciente como para explotar nuevas oportunidades
económicas. En 2018, el entonces Primer Ministro del
Reino Unido prometió que el Reino Unido se convertiría
en uno de los líderes mundiales en el desarrollo de la IA
en la atención sanitaria y su uso generalizado en el
Servicio Nacional de Salud. El Secretario de Salud y
Atención Social, Matt Hancock, es un paciente
autoproclamado registrado en el sistema GP at Hand de
Babylon Health, que ofrece un verificador de síntomas
impulsado por inteligencia artificial junto con consultas
de medicina general (GP) en línea que reemplazan las
visitas a las clínicas de médicos de cabecera habituales.
GP at Hand es, posiblemente, uno de los servicios
compatibles con IA más conocidos que se utilizan
actualmente en el Reino Unido. Sin embargo, no está
exento de controversia y un informe reciente ha encontrado
evidencia de que, en promedio, los pacientes atraídos por
GP at Hand tienden a ser más jóvenes y más saludables que
los de las clínicas de médicos de cabecera habituales.1
Esto podría tener importantes implicaciones
financieras, que hasta ahora no han sido evaluadas
ni comprendidas adecuadamente.
Se han logrado resultados alentadores en
una amplia gama de servicios de IA, en
Sujan M,et al.Informe de atención médica de BMJ2019;26:e100081. doi:10.1136/bmjhci-2019-100081
BMJ Health Care Inform: publicado por primera vez como 10.1136/bmjhci-2019-100081 el 27 de noviembre de 2019. Descargado dehttp://informatics.bmj.com/el 30 de septiembre de 2023 por invitado. Protegido por
Comunicación
particularmente en dominios que dependen del
reconocimiento, clasificación y predicción de
patrones. Los ejemplos incluyen el uso de redes
neuronales profundas (DNN) para determinar si las
lesiones cutáneas son malignas o benignas. En un
estudio de evaluación, el DNN superó a los médicos
y alcanzó una precisión de alrededor del 70%.2
La diabetes es un importante problema de salud pública,
que afecta a alrededor de cuatro millones de personas en el
Reino Unido, y los investigadores han desarrollado una
aplicación basada en DNN que puede detectar cambios en
la actividad vascular utilizando la luz y la cámara de los
teléfonos inteligentes de las personas para determinar si es
probable que una persona la padezca. de la diabetes.3
derechos de autor.
El uso predictivo de las DNN se demostró en un
estudio que desarrolló un algoritmo para respaldar
los cuidados paliativos mediante la predicción de la
mortalidad en el hospital.4La salud mental es otra
área que podría beneficiarse significativamente de
la introducción de la IA porque el acceso a los
profesionales de la salud mental sigue siendo un
desafío y las barreras percibidas para buscar ayuda
suelen ser altas. Se han desarrollado aplicaciones
basadas en inteligencia artificial para brindar terapia
cognitivo-conductual. Un pequeño ensayo
prospectivo de un chatbot de IA encontró que, para
un tamaño de muestra limitado, los resultados
logrados por esta aplicación fueron superiores a
otras formas de contacto terapéutico.5
Si bien todos estos avances brindan vías para
obtener beneficios potencialmente significativos
para los pacientes, también es oportuno dar un
paso atrás y considerar si es seguro utilizar la IA en
la atención al paciente o, más específicamente, qué
tipo de evidencia está disponible y qué tipos Es
posible que sea necesario abordar una serie de
desafíos. Si bien se han reconocido y debatido los
desafíos técnicos, como la calidad de los datos de
capacitación y la posible introducción de sesgos,6
Hasta ahora se ha dado menos énfasis al impacto
de la integración de la IA en los procesos y
servicios clínicos. Es en este nivel, donde los
humanos y la IA se unen, donde es probable que
surjan los desafíos de los factores humanos.
1

Acceso abierto
Figura 1 Descripción general de los desafíos de los factores humanos en el uso
Inteligencia artificial en la atención al paciente.
Enfoque tecnológico de los estudios de evaluación Como era de
esperar, muchos de los estudios publicados sobre la IA en la atención
al paciente se centran en la tecnología en sí porque los
desarrolladores están interesados en demostrar que la tecnología
está funcionando. Es común encontrar afirmaciones que comparan el
desempeño de, por ejemplo, un DNN con el de los médicos al realizar
una tarea bien definida y limitada. Los ejemplos incluyen la
identificación del cáncer de piel,7identificación de lesiones mamarias
de alto riesgo que no requieren escisión quirúrgica8
y detección de retinopatía diabética.9Estos estudios han demostrado que
los sistemas de IA a menudo superan a los humanos en este tipo de tareas.
Sin embargo, la base empírica hasta la fecha sigue siendo débil; los
tamaños de las muestras suelen ser pequeños; y los ensayos prospectivos
son poco frecuentes.10
En comparación con la gran cantidad de estudios de evaluación
realizados por los desarrolladores de algoritmos de IA, los estudios de
evaluación independientes son relativamente poco frecuentes.
Cuando existe una evaluación independiente, las cifras principales no
siempre se reproducen. Por ejemplo, una auditoría de 23 verificadores
de síntomas de cara a los pacientes encontró que el diagnóstico
correcto aparecía como el más probable sólo en alrededor de un tercio
de los casos de prueba.11Hay un paso adelante desde la validación de
la tecnología per se hasta la evaluación de su uso en la atención al
paciente.
Fundamentalmente, al brindar atención al paciente, se debe
considerar la integración en los sistemas clínicos, pero los ensayos
prospectivos de IA siguen siendo la excepción hasta el momento. Las
situaciones en las que el sistema de IA brinde un servicio por sí solo
serán muchas menos que los escenarios en los que equipos clínicos de
profesionales de la salud y sistemas de IA cooperarán y colaborarán
para brindar atención al paciente. Es probable que algunos de estos
sistemas de IA sean agentes autónomos que operen como parte del
equipo clínico. Un ejemplo es el uso futuro de bombas de infusión
autónomas en cuidados intensivos, donde las bombas de infusión
pueden ajustar o detener las infusiones de forma independiente.12Los
médicos siguen a cargo general, pero deben gestionar y cooperar con
estos
2 Sujan M,et al.Informe de atención médica de BMJ2019;26:e100081. doi:10.1136/bmjhci-2019-100081
BMJ Health Care Inform: publicado por primera vez como 10.1136/bmjhci-2019-100081 el 27 de noviembre de 2019. Descargado dehttp://informatics.bmj.com/el 30 de septiembre de 2023 por invitado. Protegido por
agentes autónomos. Esto no es diferente a lo que sucede con los pilotos
que supervisan los sistemas de gestión de vuelo en aviones modernos, con
todos los problemas y peligros de factores humanos que recientes
accidentes importantes, como el del Boeing 737 Max, han llamado la
atención.
Integración de la IA en sistemas clínicos
Cuando la automatización comenzó a implementarse a escala en los
sistemas industriales, la investigación de factores humanos sobre las
"sorpresas de la automatización" y las "ironías de la automatización"
explicaron algunos de los problemas que aparecieron con la
introducción de la automatización.13 14La falacia fundamental es la
suposición de que la automatización podría reemplazar a las personas,
pero en la realidad, el uso de la automatización cambia y transforma lo
que hacen las personas.15Los sistemas clínicos no son necesariamente
comparables a aviones comerciales o vehículos autónomos. Sin
embargo, una mirada a estas diferentes industrias puede resultar útil
para resaltar posibles desafíos de factores humanos que
probablemente requieran consideración al adoptar la IA en la atención
al paciente. Los desafíos de los factores humanos discutidos se
relacionan con los aspectos cognitivos (sesgo de automatización y
desempeño humano), el traspaso y la comunicación entre los médicos
y los sistemas de inteligencia artificial, la conciencia de la situación y el
impacto en la interacción con los pacientes (ver Figura 1).
derechos de autor.
Sesgo de automatización
Los estudios en aviación que se remontan a las décadas de 1980 y
1990 y el análisis de informes de incidentes registrados en el Sistema
de informes de seguridad de la aviación encontraron que los pilotos
con frecuencia no monitoreaban indicadores de vuelo importantes o
no desconectaban el piloto automático y los sistemas automatizados
de gestión de vuelo en la cabina en caso de mal funcionamiento. .16 17
Por ejemplo, en 1985, la Junta Nacional de Seguridad en el
Transporte (NTSB) de Estados Unidos investigó un incidente que
involucró a un Boeing 747 SP-9 de China Airlines que volaba de
Taipei a Los Ángeles. Cuando el avión estaba cerca de San
Francisco, falló un motor. El piloto automático tomó medidas
mitigadoras pero no alertó a los pilotos sobre este problema. Los
pilotos sólo se dieron cuenta del fallo del motor cuando
desconectaron el piloto automático y la aeronave empezó a
volcarse y se sumergió en un descenso incontrolado. El informe
de la NTSB concluyó que "la causa probable de este accidente fue
la preocupación del capitán por un mal funcionamiento durante el
vuelo y su incapacidad para monitorear adecuadamente los
instrumentos de vuelo del avión [...] Contribuyó al accidente la
excesiva dependencia del capitán en el piloto automático [...]".
(Informe de la NTSB AAR-86-03).
Este fenómeno se conoce como sesgo de automatización o complacencia
inducida por la automatización y representa un ejemplo de toma de
decisiones inapropiada como resultado de una dependencia excesiva de la
automatización.18El sesgo de automatización puede provocar errores de
omisión, en los que las personas no realizan una acción requerida porque
la automatización no les alertó, y puede provocar errores de comisión, en
los que las personas siguen los consejos inadecuados de un sistema
automatizado.dieciséis

La velocidad con la que las personas comienzan a confiar y a confiar
excesivamente en la automatización y los sistemas autónomos
impulsados por IA podría sorprender a muchos, como lo ha
demostrado un estudio reciente en el ámbito automotriz.19Se instruyó
a una muestra de 49 conductores experimentados sobre las
limitaciones de un automóvil parcialmente autónomo y se les pidió
que completaran un viaje de 30 minutos durante 1 semana. Al final de
la semana, la mayoría de los conductores ya no miraban la carretera y
pasaban alrededor del 80% de su tiempo en sus teléfonos inteligentes
o leyendo libros y documentos.
La atención médica está haciendo una transición hacia entornos clínicos
digitales y respaldados por inteligencia artificial a un ritmo rápido, y
podemos y debemos esperar que los médicos lleguen a confiar y depender
de la tecnología. Esto conlleva el riesgo de sesgo de automatización y
puede afectar potencialmente la toma de decisiones de los médicos para
millones de pacientes. Varios estudios han destacado el sesgo de
automatización introducido con los sistemas de apoyo a las decisiones
clínicas. Un estudio inicial que comparaba el desempeño de los radiólogos
que interpretaban mamografías encontró que, en determinadas
situaciones, el desempeño de los radiólogos expertos se deterioraba
cuando estaban respaldados por un sistema de apoyo a las decisiones que
destacaba áreas específicas en las que centrarse.20Un estudio que investigó
el impacto del apoyo a las decisiones en la precisión de la interpretación del
ECG encontró que, si bien la clasificación correcta del apoyo a las decisiones
aumentó la precisión del médico (no cardiólogo), la clasificación incorrecta
del apoyo a las decisiones disminuyó la precisión de los médicos del 56% al
48%.21Otro estudio que analizó el impacto del apoyo a las decisiones
clínicas en los sistemas de prescripción electrónica produjo hallazgos
similares sobre los efectos del apoyo a las decisiones clínicas.22El estudio
encontró que el apoyo a las decisiones clínicas reducía los errores de
prescripción cuando funcionaba correctamente, pero también aumentaba
los errores de prescripción en aproximadamente un tercio en los casos en
que el sistema no alertaba al médico sobre un problema potencial o
proporcionaba el consejo equivocado. Una revisión de la literatura sobre el
sesgo de automatización en la atención sanitaria identificó seis estudios
que investigaban el impacto del sesgo de automatización en los errores.23El
estudio concluyó que la complejidad de las tareas (p. ej., el diagnóstico
respaldado por un sistema de apoyo a las decisiones clínicas) y la carga de
tareas (es decir, el número de demandas de tareas) aumentaban la
probabilidad de una dependencia excesiva de la automatización.
Se anunciará que muchos sistemas de IA, si no la mayoría,
tienen una confiabilidad ultraalta, y es de esperar que, a su debido
tiempo, los médicos lleguen a confiar en estos sistemas. Sin
embargo, los estudios sobre el sesgo de automatización sugieren
que las cifras de confiabilidad por sí solas no permiten predecir lo
que sucederá en el uso clínico, cuando el médico se enfrenta a
una salida del sistema potencialmente inexacta.20
¿Qué tan fácil o difícil será detectar esto y cómo se
protegerá contra el potencial sesgo de automatización?
Impacto en el desempeño humano
La experiencia se construye a través de la exposición y el entrenamiento
frecuentes. La generación actual de conductores de automóviles humanos
tiene una habilidad razonable para gestionar situaciones de tráfico
complejas porque muchos de nosotros lo hacemos a diario. ¿La generación
que ha crecido con vehículos autónomos
Sujan M,et al.Informe de atención médica de BMJ2019;26:e100081. doi:10.1136/bmjhci-2019-100081
BMJ Health Care Inform: publicado por primera vez como 10.1136/bmjhci-2019-100081 el 27 de noviembre de 2019. Descargado dehttp://informatics.bmj.com/el 30 de septiembre de 2023 por invitado. Protegido por
Acceso abierto
¿Los vehículos tienen los mismos niveles de habilidades básicas de
conducción que les permiten retomar el control en situaciones de tráfico
complejas y potencialmente muy críticas cuando falla el sistema de IA? Esto
es particularmente relevante en el sector sanitario, donde los profesionales
sanitarios se enorgullecen de sus habilidades profesionales. ¿Se deteriorará
la experiencia de los radiólogos cuando se les exponga únicamente a
imágenes específicas seleccionadas específicamente por un sistema de
inteligencia artificial en lugar de la amplia gama de imágenes con las que
actualmente entrenan día a día?24
Irónicamente, los algoritmos de IA con frecuencia se entrenan y validan
con datos de referencia desarrollados a partir del desempeño humano (por
ejemplo, la lectura de imágenes por parte de un radiólogo), y la erosión de
las oportunidades de capacitación y habilidades prácticas para los médicos
como resultado de la introducción de sistemas de IA podría crear un círculo
vicioso. donde la calidad de los datos de referencia se deteriora a largo
plazo.
Entregar
Un argumento clave para la seguridad de los vehículos
autónomos es que el conductor puede tomar el control en caso de
emergencias o situaciones imprevistas. Sin embargo, los muy
publicitados accidentes mortales de Tesla de Josh Brown en 2016
y, más recientemente, de Jeremy Banner en marzo de 2019
demuestran trágicamente que los conductores no siempre toman
el control del piloto automático cuando es necesario. Las
investigaciones han puesto en duda si tal suposición es realista,
considerando el corto tiempo de reacción disponible.25
El traspaso es una tarea crítica para la seguridad bien
derechos de autor.
reconocida en la prestación de atención, aunque en la
concepción tradicional pensamos en el traspaso entre
médicos o equipos de médicos.26En el futuro, el traspaso
entre humanos y sistemas autónomos de IA será cada vez
más importante, y se podría suponer que será incluso más
complejo que el traspaso entre el piloto automático y el
conductor de un vehículo autónomo.
El sistema de IA debe reconocer la necesidad de ceder el
mando. Si bien esto podría lograrse, la IA también necesita
determinar qué entregar, cómo debe hacerse y cuándo. En el
traspaso humano, hemos reconocido la necesidad de protocolos
de comunicación estructurados para transmitir claramente las
características más destacadas de una situación, por ejemplo,
edad, tiempo, mecanismo, lesiones, signos, tratamientos (ATMIST)
para atención o situación de emergencia, antecedentes,
evaluación, recomendación (SBAR) de manera más general.
¿Debería haber un equivalente para el traspaso humano-IA?
Por ejemplo, si una bomba de infusión autónoma que suministra
insulina comienza a reconocer que tiene dificultades para mantener
los niveles de azúcar en sangre, ¿en qué momento debería activar una
alarma para iniciar la transferencia? Identificar el momento preciso
requiere equilibrar la precisión con la puntualidad. ¿La entrega
debería simplemente transmitir la incapacidad de la bomba de
infusión para mantener los niveles de azúcar en la sangre, o debería la
bomba de infusión proporcionar más información sobre los ajustes
anteriores que realizó? ¿La mejor estrategia es esperar a que la bomba
de infusión active una alarma e inicie el traspaso, o debemos
asegurarnos de que el médico pueda reconocer que surgirá la
necesidad de retomar el control?
3

Acceso abierto
Estas preguntas se refieren fundamentalmente a cómo la IA
apoyará a los médicos y a los equipos clínicos, y cómo se
puede optimizar su interacción.
conciencia de la situación
Los individuos y los equipos se desempeñan con mayor éxito
cuando tienen una buena conciencia de la situación.27El
traspaso tradicional contribuye al desarrollo de una conciencia
situacional compartida y permite la discusión y el diálogo.28
Si bien podría ser posible crear agentes autónomos que tengan
una alta confiabilidad, surgen preguntas sobre qué debería
comunicar el sistema autónomo a los médicos durante el
funcionamiento normal para permitirles mantener el
conocimiento de la situación. Esto no es sencillo de responder
observando simplemente un sistema de IA de forma aislada,
porque los médicos pueden estar interactuando con muchos
agentes autónomos (p. ej., múltiples bombas de infusión) al
mismo tiempo, y el diseño de la comunicación debe considerar las
necesidades y limitaciones de la información humana.
Los agentes autónomos también necesitan crear conciencia de
la situación. Una bomba de infusión autónoma necesita saber si el
paciente recibe otros medicamentos que podrían afectar la
fisiología y la respuesta del paciente. Estos medicamentos pueden
provenir de otras bombas de infusión o pueden ser administrados
por el médico. El dicho "si no está documentado, no sucedió" se
aplica aquí con consecuencias críticas: si hay actividades
relevantes en marcha que no están documentadas ni
comunicadas al agente autónomo (por ejemplo, bomba de
infusión), entonces, en lo que respecta a la IA En lo que respecta a
esto, esto literalmente no sucedió porque el sistema no tiene
forma de saberlo. Los resultados podrían ser catastróficos.
Interacción del paciente
La IA puede mejorar la eficiencia de los procesos clínicos y liberar
tiempo al médico para realizar otras tareas. Esto es
potencialmente muy útil en un sistema de salud presionado. Sin
embargo, otra forma de ver esto es que podría haber un número
menor de médicos que tengan otras tareas que realizar,
potencialmente alejadas del paciente. ¿Podrían las unidades de
cuidados intensivos habilitadas por IA funcionar con menos
enfermeras y, por tanto, aumentar el número de pacientes por
enfermera? Esto podría ser una preocupación para los pacientes,
porque podrían ver menos a sus médicos y podría resultarles más
difícil brindar comentarios sobre su atención y su condición. Por
ejemplo, si una aguja se despega, el paciente podría ser
consciente de ello antes que el sistema de IA (y potencialmente
podría evitar y mitigar cualquier efecto adverso), pero ¿a quién se
lo comunican los pacientes?
Brindar atención médica significa responder a las necesidades
fisiológicas, así como personales y emocionales del paciente. En
algunos entornos clínicos, como la unidad de cuidados intensivos,
el vínculo entre la enfermera y el paciente es muy fuerte y, para
muchos pacientes, su episodio en cuidados intensivos es
traumático. ¿Cómo afectará la introducción de la IA y los sistemas
autónomos en estos entornos a esta relación única? Se ha
argumentado que la IA podría en realidad crear más
oportunidades para la empatía y el cuidado porque podría
permitir a los médicos centrarse más en estos aspectos.
4 Sujan M,et al.Informe de atención médica de BMJ2019;26:e100081. doi:10.1136/bmjhci-2019-100081
BMJ Health Care Inform: publicado por primera vez como 10.1136/bmjhci-2019-100081 el 27 de noviembre de 2019. Descargado dehttp://informatics.bmj.com/el 30 de septiembre de 2023 por invitado. Protegido por
aspectos del cuidado.29Sin embargo, aún está por verse si este es
el caso o si el aspecto del cuidado se erosiona al transformar, por
ejemplo, la atención de enfermería en enfermeras especialistas en
IA que "cuidan" los sistemas autónomos (es decir, los supervisan).
La introducción de la IA a escala tiene el potencial de cambiar e
interrumpir fundamentalmente la comunicación entre los
pacientes y sus médicos. ¿Se volverán los hospitales similares a las
cajas automáticas de los supermercados, con clientes frustrados
esperando a que un empleado sobrecargado se ocupe de los
frecuentes problemas en la caja? Hasta la fecha, estas cuestiones
han recibido muy poca atención en comparación con la atención
prestada a la precisión y el rendimiento de la IA de forma aislada.
Conclusión
El uso de la IA en la atención al paciente es un disruptor de escala
sin precedentes que afecta a todas las áreas del sistema de salud.
Es comprensible que se dediquen muchos esfuerzos al desarrollo
de las nuevas tecnologías. Sin embargo, es de vital importancia
que la investigación en torno a los factores humanos, la
integración de la IA en los procesos y servicios clínicos y los
estudios de evaluación rigurosos no se queden atrás; deben
acompañar e informar el desarrollo de estas interesantes
innovaciones desde el principio.
gorjeoMark Sujan @MarkSujan y Dominic Furniss @domfurniss
derechos de autor.
ColaboradoresMS, DF, KG y HG desarrollaron la idea de este artículo. KG y HG redactaron
la primera versión del manuscrito. MS redactó revisiones posteriores del manuscrito. Todos
los autores revisaron y criticaron los borradores de los manuscritos y contribuyeron a las
versiones posteriores. Todos los autores aprobaron la versión final del manuscrito.
fondosEste trabajo cuenta con el apoyo del Programa Internacional Assuring
Autonomy, una asociación entre la Fundación Lloyd's Register y la Universidad de
York.
Conflicto de interesesNinguno declarado. Consentimiento del
paciente para publicación.No requerido.
Procedencia y revisión por paresNo encargado; Revisado externamente por pares.
acceso abiertoEste es un artículo de acceso abierto distribuido de acuerdo con la licencia
Creative Commons Attribution Non Commercial (CC BY-NC 4.0), que permite a otros distribuir,
remezclar, adaptar, desarrollar este trabajo de manera no comercial y licenciar sus trabajos
derivados en diferentes términos, siempre que el trabajo original esté debidamente citado, se
dé el crédito apropiado, se indique cualquier cambio realizado y el uso no sea comercial. Ver:
http://creativecommons.org/licenses/by-nc/4.0/.
identificación orcid
Mark Sujanhttp://orcid.org/0000-0001-6895-946X
REFERENCIAS
1 Ipsos MORI.Evaluación del GP de Babylon al alcance de la mano. Londres: Ipsos MORI,
2019.
2 Haenssle HA, Fink C, Schneiderbauer R,et al. Hombre contra máquina:
rendimiento diagnóstico de una red neuronal convolucional de aprendizaje
profundo para el reconocimiento dermatoscópico de melanoma en comparación
con 58 dermatólogos.Anales de oncología2018;29:1836–42. Avram R, Tison G,
3 Kuhar P,et al. Predecir la diabetes a partir de FOTOPLETISMOGRAFÍA mediante
aprendizaje profundo.J. Am Coll Cardiol2019;73:16.
4 Avati A, Jung K, Harman S,et al. Mejorar los cuidados paliativos con profunda
aprendiendo.BMC Med Informa Decis Mak2018;18:122.
5 Fitzpatrick KK, Darcy A, Vierhile M. Brindar terapia cognitivo-
conductual a adultos jóvenes con síntomas de depresión y

ansiedad utilizando un agente conversacional totalmente automatizado
(Woebot): un ensayo controlado aleatorio.JMIR Salud Mental2017;4:e19.
6 Challen R, Denny J, Pitt M,et al. Inteligencia artificial, sesgo y seguridad
clínica.BMJ Qual Saf2019;28:231–7.
7 Esteva A, Kuprel B, Novoa RA,et al. Clasificación a nivel dermatólogo del cáncer de
piel con redes neuronales profundas.Naturaleza2017;542:115–8. Bahl M, Barzilay
8 R, Yedidia AB,et al. Lesiones mamarias de alto riesgo: un modelo de aprendizaje
automático para predecir la mejora patológica y reducir la escisión quirúrgica
innecesaria.Radiología2018;286:810–8. Gulshan V, Peng L, Coram M,et al.
9 Desarrollo y validación de un algoritmo de aprendizaje profundo para la detección
de retinopatía diabética en fotografías del fondo de retina.JAMA2016;316:2402–10.
10 Yu KH, Kohane IS. Enmarcando los desafíos de la inteligencia artificial en la
medicina.BMJ Qual Saf2019;28:238–41.
11 Semigran HL, Linder JA, Gidengil C,et al. Evaluación de verificadores de
síntomas para autodiagnóstico y triaje: estudio de auditoría.BMJ2015;351.
12 Sujan M, Furniss D, Embrey D,et al. Barreras críticas para garantizar la
seguridad y regular los sistemas médicos autónomos. En: Beer M, Zio E,
eds.29ª Conferencia europea de seguridad y fiabilidad (ESREL 2019).
Hannover: CRC Press, 2019.
13 Bainbridge L. Ironías de la automatización.Automática1983;19:775–9.
14 Sarter NB, Woods DD, Billings CE. Sorpresas en la automatización. En:
Salvendy G, ed.Manual de factores humanos y ergonomía. Wiley, 1997:
1926–43.
15 Parasuraman R, Sheridan TB, Wickens CD. Un modelo para tipos y niveles de
interacción humana con la automatización.Traducción IEEE. Hombre del
sistema Cybern A2000;30:286–97.
dieciséis Mosier KL, Skitka LJ, Heers S,et al. Sesgo de automatización: toma de
decisiones y desempeño en cabinas de mando de alta tecnología.Int J Aviat
Psychol 1998;8:47–63.
17 Riley V. Dependencia del operador en la automatización: teoría y datos.
En: Parasuraman R, Mouloua M, eds.Automatización y desempeño
humano: teoría y aplicaciones.. Hillsdale, Nueva Jersey: Lawrence Erlbaum
Associates, 1996: 19–35.
Sujan M,et al.Informe de atención médica de BMJ2019;26:e100081. doi:10.1136/bmjhci-2019-100081
BMJ Health Care Inform: publicado por primera vez como 10.1136/bmjhci-2019-100081 el 27 de noviembre de 2019. Descargado dehttp://informatics.bmj.com/el 30 de septiembre de 2023 por invitado. Protegido por
Acceso abierto
18 Parasuraman R, Riley V. Los seres humanos y la automatización: uso, mal uso,
desuso, abuso.Factores de zumbido1997;39:230–53.
19 Burnett G, Large DR, Salanitri D.¿Cómo interactuarán los conductores con
los vehículos del futuro?Londres: Fundación RAC, 2019.
20 Alberdi E, Povyakalo A, Strigini L,et al. Efectos de los resultados incorrectos de la
detección asistida por computadora (CAD) en la toma de decisiones humanas en
mamografía.Acad Radiol2004;11:909–18.
21 Tsai TL, Fridsma DB, Gatti G. El soporte de decisiones por computadora como
fuente de error de interpretación: el caso de los electrocardiogramas.J Am Med
Informar Assoc2003;10:478–83.
22 Lyell D, Magrabi F, Raban MZ,et al. Sesgo de automatización en la
prescripción electrónica.BMC Med Informa Decis Mak2017;17:28.
23 Lyell D, Coiera E. Sesgo de automatización y complejidad de la verificación:
una revisión sistemática.Revista de la Asociación Estadounidense de
Informática Médica2016;45:ocw105–31.
24 Cabitza F, Rasoini R, Gensini GF. Consecuencias no deseadas del aprendizaje
automático en Medicina Consecuencias no deseadas del aprendizaje automático
en Medicina Consecuencias no deseadas del aprendizaje automático en
medicina.JAMA2017;318:517–8.
25 Hancock PA. Algunas trampas en las promesas de los vehículos
automatizados y autónomos.Ergonomía2019;62:479–95.
26 Sujan MA, Chessum P, Rudd M,et al. Traspaso de atención de emergencia (estudio
de eco) a través de los límites de la atención: la necesidad de una toma de
decisiones conjunta y la consideración de la historia psicosocial.Emerg Med J
2015;32:112–8.
27 Endsley Sr. Hacia una teoría de la conciencia de la situación en sistemas
dinámicos.Factores de zumbido1995;37:32–64.
28 Sujan M, Spurgeon P, Inada-Kim M,et al. Traspaso clínico dentro de la vía de
atención de emergencia y los riesgos potenciales de falla en el traspaso clínico
(eco): investigación primaria.Servicios de salud Deliv Res 2014;2:1–144.
29 Topol E.Medicina profunda: cómo la inteligencia artificial puede hacer que la
atención médica vuelva a ser humana. Nueva York: Hachette, 2019.
derechos de autor.
5