2020 Salvadori Ivan Intel Artif YDer Pen CPC

PÁGINA 1 - 162391-cpc-133-v.
pdf - SAFEKAT
I
2021 N.º 133
cuadernos
de política criminal
segunda época
Edita
AVISO IMPORTANTE A NUESTROS SUSCRIPTORES
Si desea suscribirse a Cuadernos de Política Criminal,

llame por teléfono o envíe un e-mail a info@dykinson.com,
indicando la forma de pago y el número o números a los que
quiere suscribirse, e inmediatamente recibirá su pedido.
CPC se adhiere a las Core Practices del Committee on Publication

Ethics (COPE) disponibles en: https://publicationethics.org/core-
practices; y especialmente a los Principios de Buenas Prácticas y
Transparencia en las Publicaciones Académicas desarrollados por el
Committee on Publication Ethics (COPE), Open Access Scholarly
Publishers Association (OASPA), Directory of Open Access Journals
(DOAJ) y World Association of Medical Editors (WAME) disponi-
bles en: https://publicationethics.org/ resources/guidelines-new/prin-
ciples-transparency-and-best-practice-scholarly-publishing
qqqqqqqqqqqqqqqqqq
La Revista no se respon-
sabiliza de las opiniones
contenidas en los artículos
qqqqqqqqqqqqqqqqqq
Edita: Dykinson, S.L.

C/ Meléndez Valdés, 61 — 28015 Madrid
Tels. 91 544 28 46 / 91 544 28 69
Fax 91 544 60 40
info@dykinson.com / www.dykinson.com
Imprime: Safekat, S. L.
Laguna del Marquesado, 32 - 28021 Madrid
www.safekat.com
ISSN: 0210-4059
Depósito Legal: M. 7533-1977
La Editorial Dykinson, a los efectos previstos en el artículo 32.1 párrafo segundo del
vigente TRLPI, se opone expresamente a que cualquiera de las páginas de esta obra o
partes de ella sean utilizadas para la realización de resúmenes de prensa.
Cualquier forma de reproducción, distribución, comunicación pública o trans-

formación de esta obra solo puede ser realizada con la autorización de sus
titulares,salvo excepción prevista por la ley. Diríjase a CEDRO (Centro Español de
DerechosReprográficos) si necesita fotocopiar o escanear algún fragmento de esta
obra (www.conlicencia.com; 91 702 19 70 / 93 272 04 47).119.
CONTENIDO
SECCIÓN ESTUDIOS PENALES

TRATAMIENTO JURÍDICO-PENAL DE LA EUTANASIA TRAS
LA REFORMA DE 2021. Por Jesús Barquín Sanz.................... 5
JUNTOS, PERO NO REVUELTOS. LA PENA DE REFERENCIA

DE LA PERSONA FÍSICA EN EL MODELO DE
RESPONSABILIDAD PENAL DE LAS PERSONAS JURÍDICAS.
Por Juan Luis Fuentes Osorio.................................................... 61
ANÁLISIS DEL ARTÍCULO 25(3)(A) DEL ESTATUTO DE ROMA

Y DE SU EVOLUCIÓN JURISPRUDENCIAL. Por Miren
Odriozola Gurrutxaga............................................................... 93
AGENTES ARTIFICIALES, OPACIDAD TECNOLÓGICA Y

DISTRIBUCIÓN DE LA RESPONSABILIDAD PENAL. Por
Iván Salvadori........................................................................... 137
SECCIÓN DERECHO COMPARADO

Y DERECHO INTERNACONAL PENAL
EL DELITO DE SOFTWARE MALICIOSO (ART. 269 J, INCISO
SEGUNDO, DEL CÓDIGO PENAL COLOMBIANO).
UNA PROPUESTA PARA SU LEGÍTIMA APLICACIÓN.
Por Roberto Cruz Palmera.......................................................... 175
SECCIÓN ESTUDIOS CRIMINOLÓGICOS

LA SOBRERREPRESENTACIÓN DEL EXTRANJERO EN
LAS ESTADÍSTICAS DE LA CRIMINALIDAD ESPAÑOLA:
POLÍTICA DE EXTRANJERÍA VS POLÍTICA PENITENCIARIA.
DISCUSIÓN Y ALGUNAS RECOMENDACIONES. Por Esther
Montero Pérez De Tudela............................................................... 213
EL DERECHO FUNDAMENTAL A LA PRESUNCIÓN DE

INOCENCIA Y LA TUTELA DE LOS DERECHOS DE LAS
VÍCTIMAS EN EL MARCO DE LA SOCIEDAD DIGITAL.
Por Ángel Cobacho López.......................................................... 251
ISSN: 0210-4059 CUADERNOS DE POLÍTICA CRIMINAL

Número 133, I, Época II, mayo 2021
SECCIÓN JURISPRUDENCIAL
PANORAMA JURISPRUDENCIAL: TRIBUNAL CONSTITUCIONAL
Y TRIBUNAL SUPREMO. Por Manuel Jaén Vallejo................. 279
EVOLUCIÓN DEL CONCEPTO DE DOLO. Por Manuel Jaén

Vallejo ...................................................................................... 293
SECCIÓN BIBLIOGRÁFICA
RECENSIÓN A MORILLAS CUEVA (DIR.), RESPUESTAS
JURÍDICAS FRENTE A LA CORRUPCIÓN POLÍTICA.
COLECCIÓN ENSAYOS PENALES. 1º EDICIÓN,
DYKINSON, 2020, MADRID, 930 PÁGINAS. Por Francisco
José Rodríguez Almirón............................................................. 319
RECENSIÓN A DE LA FUENTE HULAUD, FELIPE, ¿QUÉ

PROHÍBEN LAS NORMAS DE COMPORTAMIENTO? UNA
REFLEXIÓN SOBRE LAS NORMAS DE CONDUCTA DE LOS
DELITOS RESULTATIVOS. A LA VEZ, UN COMENTARIO
CRÍTICO A LA TEORÍA ANALÍTICA DE LA IMPUTACIÓN,
BOGOTÁ: UNIVERSIDAD EXTERNADO DE COLOMBIA,
2019, 124 PÁGINAS. Por José Ignacio Destéfanis.................... 343
RECENSIÓN A KAI AMBOS, DERECHO PENAL NACIONAL-

SOCIALISTA. CONTINUIDAD Y RADICALIZACIÓN, TIRANT
LO BLANCH, VALENCIA, 2020, 282 PÁGINAS. Por Daniel
González Uriel........................................................................... 349
NOTICIARIO.................................................................................. 361
POLÍTICA EDITORIAL, CRITERIOS Y RÉGIMEN PARA LA

PUBLICACIÓN DE TRABAJOS ORIGINALES EN CPC........ 385
CUADERNOS DE POLÍTICA CRIMINAL ISSN: 0210-4059

Número 133, I, Época II, mayo 2021
AGENTES ARTIFICIALES,
OPACIDAD TECNOLÓGICA Y DISTRIBUCIÓN
DE LA RESPONSABILIDAD PENAL*
Artificial agents, technological opacity
and distribution of criminal liability
IVÁN SALVADORI**
Fecha de recepción: 26/12//2020

Fecha de aprobación: 05/04/2021
RESUMEN: El presente trabajo tiene como objetivo comprobar si los mo-

delos tradicionales de atribución de responsabilidad penal siguen sien-
do válidos en relación con hechos lesivos resultantes de la acción de un
agente artificial o de la interacción ente agentes humanos y artificia-
les. Después de identificar los principales efectos que el desarrollo de
la Inteligencia Artificial y del Machine Learning puede tener sobre el
Derecho penal, procederemos a clasificar los diferentes tipos de agentes
artificiales sobre la base de sus niveles de automatización y autonomía,
estableciendo si, en la actualidad, pueden ser considerados “autores” de
un delito y estar sujetos, como agentes humanos, a una pena. Excluyendo
esta posibilidad, se identificarán los criterios para la atribución de res-
ponsabilidad penal a quienes están “detrás” de los agentes artificiales y
de los robots por hechos perjudiciales relacionados con ellos. A conti-
nuación, se determinarán los casos en los que un agente artificial puede
ser utilizado como medio de ejecución de un delito o convertirse en obje-
* Este artículo ha sido desarrollado en el marco del proyecto de excelencia
“Automazione, Diritto e responsabilità” (AUDIRR) del Departamento de Ciencias Jurídicas
la Universidad de Verona, del cual es responsable científico el prof. Lorenzo Picotti.
** Prof. Dr. de Derecho penal, Derecho penal informático y Derecho penal inter-
nacional, Departamento de Ciencias Jurídicas, Universidad de Verona, Italia; ivan.salva-
dori@univr.it. Traducción al español a cargo de la Dr. Aixa Gálvez Jiménez. Profesora de
Derecho Penal en la Universidad de Granada.

Número 133, I, Época II, mayo 2021, pp. 137-174
138 IVÁN SALVADORI
to material de un delito. En conclusión, se identificarán posibles solucio-

nes para resolver algunos de los complejos problemas jurídico-penales
asociados al desarrollo de la Inteligencia Artificial.
PALABRAS CLAVE: Agentes artificiales, Inteligencia Artificial, Opacidad
tecnológica, Responsabilidad penal, Responsabilidad por producto
defectuoso.
ABSTRACT: The paper focuses on the criminal liability of artificial agents
and the ‘humans behind’ Artificial Intelligence. Firstly, it classifies
the artificial agents on the basis of their structure and their level of
automation and autonomy. Secondly, it excludes the possibility to consider
an autonomous agent as a recipient of criminal punishment. Hence, it
determines under what conditions humans should be held criminally
responsible for developing, programming, producting and using artificial
agents that cause harm to others. The paper also analyses when an
artificial agent can be considered as a tool to commit a crime or a ‘victim’
of a crime. Finally, it suggests possible criteria to solve some criminal
issues related to the technological opacity and the AI development.
KEY WORDS: Artificial agents, Artificial Intelligence, Technological
Opacity, Criminal Liability, Product Liability
SUMARIO: I. Introducción.- II. Aplicación de la Inteligencia Artificial y

su posible impacto en el Derecho penal.- III. De la automati-
zación a la autonomía: clasificación de los agentes artificia-
les.- IV. Los agentes artificiales como autores del delito.- V. La
distribución de la responsabilidad penal entre el hombre y los
agentes artificiales: 1. La responsabilidad a título doloso. 2. La
responsabilidad imprudente.- VI. Lesión del agente artificial y
responsabilidad plurisubjetiva.- VII. El agente artificial como
medio de ejecución de un delito.- VIII. El agente artificial
como objeto material del delito.- XI. Consideraciones finales.
I. INTRODUCCIÓN
En los últimos años, gracias al desarrollo incesante de la Inteligencia
Artificial (en adelante IA) y el Aprendizaje automático –Machine Learnig
(en adelante ML)–, los agentes artificiales (de ahora en adelante a.a.), y
más en general, los sistemas de inteligencia artificial (de aquí en adelante
s.i.a.) están apoyando, o en algunos casos, sustituyendo al hombre en la
realización de actividades que, hasta hace poco, se pensaba que solo po-
dían lograr realizarse con la inteligencia humana1.
1
Sobre este tema véase el reciente libro blanco de la Comisión Europea (2020).
“Libro blanco sobre la inteligencia artificial - un enfoque europeo orientado a la excelencia

Agentes artificiales, opacidad tecnológica y distribución de la responsabilidad penal 139
El término a.a. (agente artificial), a menudo se equipara incorrecta-

mente con otro, más específico, el de “agente autónomo” o “agente inte-
ligente”, que se utiliza para identificar los software y los s.i.a. capaces de
desarrollar una función para otro agente (humano o artificial)2.
Basta pensar en los a.a. y los robots empleados en el sector médico-
quirúrgico o para asistir a enfermos o ancianos (elder care robotic), co-
ches autónomos o algoritmos de justicia predictiva3. No se trata de meros
instrumentos o de objetos, sino de verdaderos agentes artificiales capaces
de interactuar con la realidad circulante, con otras maquinas inteligen-
tes y con el hombre y capaces de tomar, en muy poco tiempo, decisiones
complejas de indudable relevancia social4.
La aplicación de la IA y de la ML en muchos ámbitos de la vida co-
tidiana está aportando extraordinarios beneficios a la sociedad; pero al
mismo tiempo, genera riesgos nuevos e impredecibles y plantea proble-
mas éticos y legales complejos.
Las repercusiones de la IA también son notables en las categorías tra-
dicionales de Derecho penal (acción, autoría, causalidad, imprudencia,
y la confianza”. Disponible en: https://ec.europa.eu/info/sites/info/files/commission-white-pa-

per-artificial-intelligence feb2020_it.pdf (fecha de consulta: 8 de mayo de 2021); Oecd (2020).
“Identifying and Measuring Developments in Artificial Intelligence: Making the Impossible
Possible”. Disponible en: https://www.oecd-ilibrary.org/docserver/5f65ff7e-en.pdf?expires=15
95826534&id=id&accname=gues t&checksum=4BA4A0 36BF685672C6EC2D3CA8F49CB
(fecha de consulta: 8 de mayo de 2021); European Commission (2020). “European Enterprise
Survey on the Use of Technologies Based on Artificial Intelligence”. Disponible en: https://
op.europa.eu/en/publication-detail/-/publication/f089bbae-f0b0-11ea-991b-01aa75ed71a1 (fe-
cha de consulta: 8 de mayo de 2021).
2
En este sentido Koops, B.J., Hildebrandt, M., Jaut-Chiffelle, D.O. (2010). “Bridging
the Accountability Gap: Rights for New Entities in the Information Society?”. Minn. J. L. Sci.
& Tech., n.° 497, pág. 497 y ss.; en términos más generales véase Floridi L., Sanders J.W.
(2014). “In the Morality of Artificial Agents”. Mind and Machines, pág. 349 y ss.
3
Para una breve descripción de los diferentes tipos de robots véase Müller, M.
(2014). “Roboter und Recht. Eine Einführung”. Aktuelle Juristische Praxis, n.° 5, pág. 595
y ss., pág. 596 y ss. Sobre las múltiples formas de interacción y colaboración entre hu-
manos y máquinas inteligentes véase Simmler, M., Frischknecht, R. (2020). “A Taxonomy
of Human-Machine Collaboration. Capturing Automation and Technical Autonomy”. AI &
Society, pág. 1 y ss.
4
En relación véase Floridi, L., Sanders, J.W. (2014). “In the Morality of Artificial
Agents”, cit., pág. 349 y ss.; Calo, R. (2015). “Robotics and the Lessons of Cyberlaw”.
California L. Rev., n.° 103, pág. 513 y ss., pág. 515, pág. 530 y ss.; Freitas, P.M., Andrade,
F., Novais, P. (2013). “Criminal Liability of Autonomus Agents: From the Unthinkable to the
Plausible”, en Casanovas, P., Pagallo, U., Palmarini, M., Sartor, G. (Eds.), AI Approaches
to the Complexity of Legal Systems, London, pág. 145 y ss., en particular pág. 146, que
identifican las principales características de los agentes artificiales en la autonomía, reac-
tividad, proactividad y adaptabilidad de conductas.

140 IVÁN SALVADORI
responsabilidad plurisubjetiva, culpabilidad, etc.), cuyo cumplimiento

de nuevas conductas ilícitas cometidas a través o en contra de los a.a. y
los s.i.a. se pone a prueba. Por lo tanto, el Derecho penal está llamado a
hacer su aportación fundamental a la resolución de los espinosos proble-
mas asociados con el desarrollo de la inteligencia artificial5.
Esta contribución tiene como objetivo comprobar si los modelos tra-
dicionales de atribución de responsabilidad penal siguen siendo válidos
en relación con hechos lesivos resultantes de la acción (directa o media-
da) de un a.a. o de la interacción ente agentes humanos y artificiales.
Después de identificar los principales efectos que el desarrollo de la
IA y el ML puede tener sobre el Derecho penal (apartado 2), procedere-
mos a clasificar los diferentes tipos de a.a. sobre la base de su estructura
interna y sus niveles de automatización y autonomía (apartado 3). Por
tanto, se establecerá si, en la actualidad, los a.a. pueden ser considerados
“autores” de un delito y estar sujetos, como agentes humanos, a una pena
(apartado 4). Excluyendo esta posibilidad, se identificarán los criterios
para la atribución de responsabilidad penal a quienes están “detrás” de
los a.a. por hechos perjudiciales relacionados con ellos (apartados 5 y
6). A continuación, se determinarán los casos en los que un a.a. puede
ser utilizado como medio de ejecución de un delito (apartado 7) o con-
vertirse en objeto material de un delito (apartado 8). En conclusión, se
identificarán posibles soluciones para resolver algunos de los complejos
problemas jurídico-penales asociados al desarrollo de la IA (apartado 9).
5
Cfr. Beck, S. (2009). “Grundlegende Fragen zum rechtlichen Umgang mit der Robotik”.
JR, n.° 6, pág. 230 y ss.; más recientemente Hilgendorf, E. (2019). “Zivil- und strafrechtli-
che Haftung für von Maschinen verursachte Schäden”, en Bender, O. (Hrsg.), Handbuch
Maschinenetik, Wiesbaden, p. 437 ss.; Simmler, M. (2019). “Maschinenetik und strafrechtli-
che Verantwortlichkeit”, en Bender O. (Hrsg.), Handbuch Maschinenetik und strafrechtliche
Verantwortlichkeit, Wiesbaden, p. 453 ss.; De La Cuesta Aguado, P.M. (2016). “La ambigüe-
dad no es programable: racionalización normativa y control interno en inteligencia artificial”.
Revista de Derecho y Proceso Penal, n.° 44, pág. 165 y ss.; Valls Prieto, J. (2017). Problemas
jurídico penales asociados a las nuevas técnicas de prevención y persecución del crimen me-
diante inteligencia artificial. Madrid; Miró Llinares, F. (2018). “Apuntes sobre la relación entre
Derecho penal e Inteligencia Artificial”, en Morales Prats, F., Tamarit Sumalla, J.M., García
Albero, M.M. (Coords.), Represión Penal y Estado de Derecho: Homenaje al Profesor Gonzalo
Quintero Olivares, Navarra, pág. 171 y ss.; Cordero Blanco, I. (2019). “Homo sapiens y ¿ ma-
china sapiens?”, en Mallada Fernández, C. (Coord.), Nuevos retos de la ciberseguridad en un
contexto cambiante, Navarra, pág. 63 y ss.; Palma Herrera, J.M. (2020). “Inteligencia Artificial
y Ciencias Penales. Aproximación a las bases de una compleja relación”, en Galán Muñoz, A.,
Mendoza Calderón, S. (Coords.), Derecho penal y Política Criminal en Tiempos Convulsos:
Libro Homenaje a la Profa. Dra. María Isabel Martínez González, Valencia, pág. 39 y ss.;
Burchard, C. (2019). “L’intelligenza artificiale come fine del diritto penale? Sulla trasformazio-
ne algoritmica della società”. Riv. it. dir. proc. pen, n.° 4, pág. 1909 y ss.

II. APLICACIÓN DE LA INTELIGENCIA ARTIFICIAL Y SU

POSIBLE IMPACTO EN EL DERECHO PENAL
La IA, configurándose como la denominada tecnología de doble uso
(dual-use technology) puede ser utilizada por humanos tanto para reali-
zar actividades lícitas como para perseguir fines ilegales6. En este último
sentido, ha sido acuñado recientemente el término AI-Crime para abar-
car nuevos y peculiares comportamientos delictivos realizados a través
de a.a.7.
Los denominados agentes de software pueden sustituir, en todo o par-
te, al hombre en la comisión de actividades ilícitas en la web8.
Los ataques de spear phishing son paradigmáticos.
Los modernos s.i.a. pueden estudiar los hábitos de los usuarios online
y enviar mensajes de correo electrónico fraudulentos mucho más sofisti-
cados que los que han sido elaborados a través de tradicionales técnicas
de social engineering. De este modo aumentan las posibilidades de indu-
cir a error a los internautas y de obtener de forma ilícita datos persona-
les de otras personas (datos incluidos en tarjetas de crédito, credenciales
para acceder a home banking, datos sanitarios, etc).
6
Piense, a título paradigmático, en los vehículos pilotados de forma remota (un-
manned vehicles), que pueden ser utilizados tanto para actividades lícitas (por ejem-
plo, para entregar paquetes postales) como ilícitas (transporte de drogas, armas, trá-
fico de seres humanos, etc.). En lo que respecta al uso de los drones en el tráfico de
estupefacientes véase el informe del Europol (2019). “EU Drug Market Report”, p. 63.
Disponible en: https://www.emcdda.europa.eu/system/files/publications/12078/20192630_
TD0319332ENN_PDF.pdf (fecha de consulta: 8 de mayo de 2021). De manera más gene-
ral, sobre las complejas relaciones entre la tecnología dual, y en particular el dual-use
software y el Derecho penal, véase Salvadori, I. (2017). “Il diritto penale dei software a
“duplice uso””, en Wenin, R., Fornasari, G. (a cura di), Diritto penale e modernità. Le nuove
sfide fra terrorismo, sviluppo tecnologico e garanzie fondamentali, Napoli, pág. 361 y ss.;
Salvadori, I. (2017). “La incriminación de software de “doble uso” en el derecho penal euro-
peo e italiano”. Revista General de Derecho Penal, n.° 28, pág. 1 y ss.
7
King, T.C., Aggarwal, N., Taddeo, M., Floridi, L. (2019). “Artificial Intelligence
Crime: An Interdisciplinary Analysis of Foreseeable Threats and Solutions”. Science and
Engineering Ethichs, pág. 1 y ss.; Abbott, R., Sarch, A. (2019). “Punishing Artificial
Intelligence: Legal Fiction or Science Fiction”. U.D. C. L. Rev., n.° 232, pág. 323 y ss.,
pág. 332 y ss. Sobre las múltiples posibilidades del uso de la IA con fines ilegales véase
Caldwell, M., Andrews, J.T.A., Tanay, T., Griffin, L.D. (2020). “AI-enabled Future Crime”.
Crime Science, n.° 4, pág. 1 y ss.; Hayward, K.J., Maas, M.M. (2020). “Artificial Intelligence
and Crime: A Primer for Criminologists”. CMC, pág. 1 y ss.
8
En este sentido véase Aa.Vv. (2018). The Malicious Use of Artificial Intelligence:
Forecasting, Prevention and Mitigation, pág. 1 y ss., pág. 18 y ss. Disponible en: https://
arxiv.org /pdf/1802.07228.pdf (fecha de consulta: 8 de mayo de 2021).

142 IVÁN SALVADORI
La IA también favorece la aparición de nuevas formas de agresión a

bienes jurídicos tradicionales o de nuevo acuño, como la confidenciali-
dad y la seguridad informática9. Los s.i.a. pueden ser programados para
acceder ilegalmente a sistemas informáticos, para llevar a cabo ataques
distribuidos en la red (los llamados ataques distribuidos de denegación de
servicios) o difundir peligrosos malware e ransomware.
Las denominadas social media bots contribuyen de forma significati-
va a la proliferación en las redes sociales del hate speech y de campañas
de desinformación, alimentadas de fake news, creadas con el objetivo de
manipular la opinión pública, de crear consenso político o de desestabili-
zar los equilibrios geopolíticos10.
Al igual que ocurre con cualquier nuevo descubrimiento tecnológico
(basta con pensar en la energía nuclear, los organismos genéticamente
modificados –OGM– o las nanotecnologías), existe un fuerte debate en
el seno de los organismos internacionales, las autoridades políticas y la
comunidad científica sobre los riesgos asociados al desarrollo de la IA y
del ML11.
El software tradicional realiza funciones específicas sobre la base de
instrucciones predeterminadas por sus desarrolladores y programado-
res. El lenguaje de programación es, por regla general, transparente y
9
Aa.Vv. (2018). The Malicious Use of Artificial Intelligence, cit., pág. 19 y ss. De ma-
nera más general, sobre el surgimiento de los nuevos intereses legales de confidenciali-
dad, integridad y disponibilidad de datos y sistemas informáticos, véase Picotti, L. (2004).
“Sistematica dei reati informatici, tecniche di formulazione legislativa e beni giuridici tutela-
ti”, en Picotti, L. (a cura di), Il diritto penale dell’informatica nell’epoca di Internet, Padova,
pág. 21 y ss., pág. 70 y ss.; Picotti, L. (2011). “Sicurezza, informatica e diritto penale”, en
Donini, M., Pavarini, M. (a cura di), Sicurezza e diritto penale, Bologna, pág. 217 y ss.; Picotti,
L. (2020). “Cybersecurity: quid novi?”. Diritto di Internet, n.° 1, pág. 11 y ss.; Salvadori, I.
(2019). “I reati contro la riservatezza informática”, en Cadoppi, A., Canestrari, S., Manna, A.,
Papa, M. (a cura di), Cybercrime, Torino, pág. 656 y ss., pág. 660 y ss.
10
En relación con lo expuesto, véase Ziccardi, G. (2019). Tecnologie per il potere.
Come usare i social network in política. Milano; Guerrini, T. (2020). Fake News e diritto
penale. La manipolazione digitale del consenso nelle democrazie liberali. Torino; Hohlfeld,
R., Harnischmacher M., Heinke, E., Lehner, L.S., Sengl, M. (2020). Fake News und
Disinformation. Baden-Baden; Finck, M. (2019). Artificial Intelligence Tools and Online
Hate Speech. Disponible en: https://cerre.eu/publications/artificial-intelligence-tools-and-
online-hate-speech/ (fecha de consulta: 8 de mayo de 2021).
11
Para una revisión de los principales temas relacionados con la IA que son obje-
to de debate en el calendario de las instituciones europeas, véase European Commission
(2019). “Liability for Artificial Intelligence and other Emerging Digital Technologies”.
Disponible en: https://op.europa.eu/en/publication-detail/-/publication/1c5e30be-1197-
11ea-8c1f-01aa75ed71 a1/language-en/format-PDF (fecha de consulta: 8 de mayo de
20219; Council of Europe (2019). Responsibility and AI. Disponible en: https://rm.coe.int/
responsability-and-ai-en/168097d9c5 (fecha de consulta: 8 de mayo de 2021).

permite comprender la forma en que funciona un algoritmo y la razón

por la que adopta ciertas decisiones (input) y produce resultados de datos
(output)12.
El funcionamiento de los agentes de software y robots que utilizan
tecnologías relacionadas con IA y ML es diferente.
Los s.i.a. operan sobre la base de algoritmos complejos a través de los
cuales adquieren la capacidad de autoaprendizaje, de mejorar su desem-
peño en el tiempo y de adoptar soluciones dinámicas13.
La IA favorece el desarrollo de los a.a. con un nivel de autonomía tal
que sean capaces de realizar actividades que ni sus programadores, desa-
rrolladores y productores habían previsto o querido14.
Al igual que los productos tecnológicos tradicionales, es posible, sal-
vo limitaciones particulares impuestas por las autoridades administrati-
vas o prohibiciones penales, proceder a probar el funcionamiento de los
a.a. para comprender cómo operan (piense, por ejemplo, en el sector de
los vehículos inteligentes) y prevenir los riesgos asociados a ellos15.
Sin embargo, respeto a los a.a. dotados de una alta autonomía, la for-
ma en que operan y el motivo de su acción, dependiendo directamente de
los input que adquieren con su experiencia y que procesan de forma inde-
pendiente, no sólo escapan a un observador externo, sino que no pueden
12
Surden, H. (2014). “Machine Learning and Law”. Washington L. Rev., pág. 87 y ss.
13
La inteligencia artificial con la que son dotados los a.a. más evolucionados no
coincide, hasta la fecha, con el sistema cognitivo del ser humano, pero debe entenderse
en un sentido funcional, como la capacidad de adaptar el comportamiento basado en la
experiencia para mejorar las funciones propias. En este sentido véase Surden, H. (2014).
“Machine Learning and Law”, cit., pág. 89. En relación con la compleja estructura “men-
tal” interna de los a.a. de última generación véase Magro, B. (2020). “Decisione umana e
decisione robotica. Un’ipotesi di responsabilità da procreazione robotica”. Leg. pen., pág.
1 y ss., págs. 2-3.
14
Cfr. Asaro, P.M. (2016). “The Liability Problem for Autonomous Artificial Agents”,
en AAAI, Spring Symposium, pág. 190 y ss., págs. 190-191. Disponible en: https://www.
aaai.org/Symposia/Spring/ sss16symposia.php (fecha de consulta: 8 de mayo de 2021).
15
En relación con los s.i.a. basados en tecnologías capaces de asegurar la trans-
parencia de su estructura interna y que permitan establecer a priori cómo y por qué to-
man determinadas decisiones, la literatura especializada se refiere a los denominados
eXplainable Artificial Intelligent (XAI). Sobre este tema véase Rai, A. (2020). “Explainable
AI. From Black Box to Glass Box”. Journal of the Academy of Marketing Science, n.° 48,
pág. 137 y ss.; Wischmeyer, T. (2020). “Artificial Intelligence and Transparency: Opening the
Black Box”, en Wischmeyer, T., Rademacher, T. (Hrsg.), Regulating Artificial Intelligence,
Cham, pág. 75 y ss. La necesidad de garantizar la transparencia y el cumplimiento de las
normas de la denominada roboética también se subraya en European Parliament (2020).
“The Ethics of Artificial Intelligence: Issues and Initiatives”. Disponible en: https://www.
europarl.europa.eu/RegData /etudes/STUD/2020/634452/ EPR S_STU(2020) 634452_EN.pdf
(fecha de consulta: 8 de mayo de 2021).

144 IVÁN SALVADORI
predecirse ex ante ni siquiera por parte de los “operadores” que los dise-
ñaron, desarrollaron, probaron o produjeron16.
La plena comprensión, desde el punto de vista humano, del proceso
de toma de decisiones y el conocimiento de los resultados (output) a los
que puede conducir la acción de un a.a. se ven obstaculizados aún más (si
no siquiera se previene) por la llamada opacidad tecnológica (technologi-
cal opacity), que tiende a connotar las tecnologías de la IA17.
La estructura interna de los a.a. puede ser ocultada deliberadamente
por los “operadores” por razones obvias de carácter económico o rela-
cionadas con la protección de secretos industriales, patentes, derechos
de autor (copyright), etc. Sin embargo, como regla general, la opacidad
tecnológica es inherente a la IA debido a la complejidad de los s.i.a., que
operan sobre la base de los llamados algoritmos de caja negra (black
box algorithms) y procesan rápidamente una gran cantidad de datos (big
data)18.
Son numerosas las personas (naturales o jurídicas) que, por sus com-
petencias específicas, intervienen en la planificación, desarrollo, testeo,
producción, distribución y aprovechamiento de los a.a. Es, por tanto,
un ámbito caracterizado por la inevitable aparición del conocido como
16
El término “operador” se utiliza en esta contribución para referirnos a los suje-
tos que, por diversos motivos, intervienen en las fases de creación, venta y uso de un a.a. y
contra los cuales se puede dar lugar a un reproche criminal en razón de su acción concre-
ta (por ejemplo, desarrolladores, programadores, productores, probadores, proveedores,
usuarios, etc.). Cfr. Gless, S., Weigend, T. (2014). “Intelligente Agenten und das Strafrecht”.
ZStW, n.° 126, pág. 561 y ss., págs. 569-570.
17
Surden, H., Williams, M.A. (2016). “Technological Opacity, Predicatibility, and
Self-Driving Cars”. Cardozo L. Rev., n.° 38, pág. 110 y ss., pág. 157 y ss. Un ejemplo pa-
radigmático de la llamada opacidad tecnológica está representado por los sofisticados
sistemas de auto-pilotaje de las aeronaves civiles, que realizan de forma autónoma múlti-
ples y complejas operaciones durante las fases de vuelo. Estos sistemas funcionan, en de-
terminadas circunstancias, de la forma en la que exactamente han sido programados. Sin
embargo, su funcionamiento real sigue siendo desconocido para los pilotos, ya que es el
resultado de la interacción de diferentes algoritmos con las partes de software y hardware
(por ejemplo, sensores) de las aeronaves.
18
Sobre la cuestión véase Doncieux, S., Mouret, J.B. (2014). “Beyond Black-box
Optimization: A Review of Selective Pressures for Evolutionary Robotics”. EI, pág. 71 y
ss.; y en particular Castelvecchi, D. (2016). “Can We Open The Black Box of AI?”. Nature,
pág. 1 y ss. Disponible en: https://www.nature.com/news/ can-we-open-the-black-box-of-
ai-1.20731 (fecha de consulta: 8 de mayo de 2021); Bathaee, Y. (2018). “The Artificial
Intelligence Black Box and the Failure of Intent and Causation”. Harv. J. L. & Tech., n.° 31,
pág. 889 y ss.; en relación con la técnicas de Big Data véase especialmente Valls Prieto, J.
(2018). Problemas jurídico penales, cit.; Valls Prieto, J. (2018). “El uso de inteligencia arti-
ficial para prevenir las amenazas cibernéticas”, en Valls Prieto, J. (Coord.), Retos jurídicos
por la sociedad digital, Navarra, pág. 77 y ss.

many hands problem19. Existen importantes repercusiones en el nivel de

determinación y atribución de responsabilidades20.
Por un lado, la responsabilidad (incluida la penal), que surge como
consecuencia de los hechos lesivos relacionados con el funcionamiento
y el uso de los a.a., tiende a difundirse y distribuirse entre varios “opera-
dores” (desarrolladores, programadores, probadores, productores, usua-
rios, etc.), cuya acción “concurre” sobre el aspecto causal, para producir
el hecho lesivo y, en determinados casos se suma a la del agente artificial
(véase infra, apartado 5)21.
De otro lado, en la reconstrucción del proceso etiológico, la aporta-
ción concreta de cada “operador” en la compleja estructura interna de
los a.a., se vuelve difícil de probar sobre el plano objetivo-causal y de la
imputación subjetiva (véase infra, apartado 6).
III. DE LA AUTOMATIZACIÓN A LA AUTONOMÍA: CLASIFICACIÓN

DE LOS AGENTES ARTIFICIALES
Las definiciones de IA y ML y la identificación de problemas relacio-
nados varían según los campos científicos en los que se analizan estos
complejos conceptos22.
Desde el punto de vista del Derecho penal, es necesario establecer
si los a.a., gracias a la IA y el ML, son capaces de incurrir en conductas
19
Gunkel, D.J. (2017). “Mind the Gap: Responsible Robotics and the Problem of
Responsibility”. Ethics and Information Technology, pág. 1 y ss., pág. 12; y en particu-
lar Coeckelbergh, M. (2019). “Artificial Intelligence, Responsibility Attribution, and a
Relational Justificiation of Explainability”. Science and Engineering Ethics, pág. 1 y ss.,
que recuerda, como ejemplo paradigmático del many hands problem en el contexto de la
IA, el fatal accidente provocado en Arizona por un automóvil autónomo de Uber.
20
Sobre los principales problemas de Derecho penal, vid., Beck, S. (2020). “Die
Diffusion strafrechtlicher Veranvortlichkeiten durch Digitalisierung und Lernende Systeme”.
ZIS, n.° 2, pág. 41 y ss.
21
Cfr. Lima, D. (2018). “Could AI Agents Be Held Criminally Liable? Artificial
Intelligence and the Challenges for Criminal Law”. South Carolina L. Rev., n.° 69, pág. 677
y ss., pág. 681; Beck, S. (2020). “Die Diffusion strafrechtlicher Veranvortlichkeiten”, cit.,
pág. 43 y ss.
22
Sobre una primera definición de IA véase Aa.Vv. (1955, 2006). “AI Proposal for
the Dartmouth Summer Research Project on Artificial Intelligence”. AI Magazine, n.° 27,
pág. 12 y ss.; Goecke, B.P. (Hrsg.) (2020). Artificial Intelligence. Padeborn; Boeden, M.A.
(Hrsg.) (2018), Artificial Intelligence. A Very Short Introduction. Oxford; Frankish, K., ram-
sey, W. (Eds.) (2014). The Cambridge Handbook of Artificial Intelligence. Cambridge; Wang,
P. (2017). “On Defining Artificial Intelligence”. Journal of Artificial General Intelligence,
n.° 10, pág. 1 y ss.

146 IVÁN SALVADORI
“libres”, es decir, no predeterminadas ex ante por quienes los han progra-

mado y desarrollado y que, en consecuencia, no son previsibles23.
Sólo con respecto a los agentes artificiales capaces de aprender y de
“autodeterminarse” puede surgir la cuestión de si el Derecho penal debe
reconocer su autonomía efectiva y plena y equipararlos con sujetos (hu-
manos) penalmente responsables.
Los a.a., cuyo comportamiento está rígidamente predeterminado,
deben considerarse en cambio como meras herramientas en manos del
hombre.
Los a.a. pueden carecer de una estructura física (hardware). Basta
pensar en los programas informáticos que se utilizan para realizar tran-
sacciones financieras, pilotar aviones, traducir textos o se aplican en el
campo de la justicia predictiva.
Los denominados agentes de software están formados por un conjun-
to de datos y algoritmos codificados en un lenguaje comprensible para
un ordenador y están programados para realizar funciones específicas24.
A menudo, los a.a. tienen una estructura física (hardware), como en
el caso de los automóviles autónomos, de las aeronaves o sumergibles
pilotados de forma remota (vehículos no tripulados) o de los brazos me-
cánicos utilizados en bioingeniería.
En algunos casos los a.a. están equipados con aparatos que emulan
el cuerpo humano (bodyware) y son capaces de moverse. Piense en los ro-
bots que se utilizan en los sectores médico-quirúrgico, militar, industrial
o sanitario.
Los s.i.a. y, de manera más general, los robots son sistemas informáti-
cos avanzados, que consisten en un dispositivo o grupo de dispositivos de
tipo software y hardware, capaces de realizar un procesamiento automati-
zado de datos que produce efectos socialmente relevantes.
El a.a., al poder cambiar su modo de funcionamiento sin necesidad
de input (humanos) externos, no es una mera herramienta (como puede
ser, por ejemplo, un coche o un teléfono) cuyo funcionamiento depende
del hombre25.
23
Seher, G. (2016). “Intelligente Agenten als “Personen” im Strafrecht?”, en Gless,
S., Seelmann, K. (Hrsg.), Intelligente Agenten und das Recht, Baden-Baden, pág. 45 y ss.,
pág. 46.
24
Koops, B.J., Hildebrandt, M., Jaut Chiffelle, D.O. (2010). “Bridging the
Accountability Gap”, cit., pág. 506.
25
Cfr. Pagallo, U. (2017). “From Automation to Autonomous Systems: A Legal
Phenomenology with Problems of Accountability”. Proceedings of IJCAI, pág. 17 y ss., pág.
19; Pagallo, U. (2016). “Even Angels Need the Rules: AI, Roboethics, and the Law”. ECAI,
pág. 209 y ss., pág. 209.

Los a.a. pueden ser sustancialmente de dos tipos: automatizados

(agentes automatizados) y autónomos (agentes autónomos)26.
Los agentes automatizados pueden implementar, en base a los algo-
ritmos que definen su estructura interna, una o más acciones en la for-
ma establecida por un “operador”. Considérese, a modo de ejemplo, los
agentes de software que, en virtud de un proceso de toma de decisiones
automatizado (automated individual decision making), elaboran perfiles
de usuarios en línea. La acción del software está predeterminada por la
persona que lo programó. En consecuencia, siempre es posible conocer
a priori las formas con las cuales el a.a. (denominado instruction-based)
procederá al procesamiento automatizado de datos27.
Por otro lado, los a.a. autónomos (agentes autónomos) son capaces
de adaptar su proceso de toma de decisiones para mejorar la consecu-
ción de los resultados establecidos por quienes los diseñaron y produje-
ron28. Su acción, por lo tanto, no está completamente predeterminada ni
tampoco es predecible de forma absoluta29.
A diferencia de los agentes automatizados, los agentes autónomos,
dependiendo de su nivel de autonomía, son capaces de tomar decisiones
sobre sus acciones y dirigirlas en función del contexto en el que operan,
incluso en ausencia de control por parte del hombre30.
Sobre la base del nivel de automatización y autonomía, es posible dis-
tinguir los a.a. sustancialmente en cuatro categorías.
Los a.a. de primer nivel operan automáticamente y están sujetos al control
humano. Este es el caso, por ejemplo, de los coches inteligentes disponibles en
el mercado hoy en día: el conductor puede supervisar su funcionamiento e in-
tervenir en cualquier momento para corregir cada fase de conducción31.
26
Cfr. Koops, B.J., Hildebrandt, M., Jaut Chiffelle, D.O. (2010). “Bridging the
Accountability Gap”, cit., pág. 514 y ss., que, sin embargo, se refieren a la categoría inter-
media de “agentes autonómicos”, caracterizada por un nivel reducido de autonomía y la
ausencia de conciencia y autoconciencia; más recientemente véase Hildebrandt, M. (2019).
“Legal Personhood for AI?”. Law for Computer Scientists, pág. 1 y ss., págs. 10-11; Simmler,
M., Frischknecht, R. (2020). “A Taxonomy of Human-Machine Collaboration”, cit., pág. 1 y ss.
27
En este sentido véase los artículos 13(2)f) y 22(1) y (4) del Reglamento europeo
2016/679 (GDPR).
28
Koops, B.J., Hildebrandt, M., Jaut Chiffelle, D.O. (2010). “Bridging the
Accountability Gap”, cit., pág. 515.
29
Ibidem.
30
Stuart, S.J., Norvig, P. (2010). Artificial Intelligence. A Modern Approach, 3rd ed. New
Pearson, pág. 4; Surden, H., Williams, M.A. (2016). “Technological Opacity”, cit., pág. 132.
31
Sobre este tema véase, por todos, YeeFen Lim, H. (2018). Autonomous Vehicles
and the Law. Technology, Algorithms and Ethics. Cheltenham, pág. 4 y ss.; Surden, H.,
Williams, M.A. (2016). “Technological Opacity”, cit., pág. 131 y ss.

148 IVÁN SALVADORI
Los a.a. de segundo nivel, cuyo funcionamiento siempre depende de

algoritmos deterministas, pueden resolver problemas ya previstos por
sus programadores y desarrolladores o reaccionar de forma autónoma
ante situaciones preestablecidas32. Por ejemplo, el software que reconoce
las señales de tráfico y permite que los vehículos autónomos se detengan
frente a un semáforo en rojo o respeten la dirección de circulación sin
invadir el carril opuesto.
Los a.a. de tercer nivel (semiautónomos), equipados con algoritmos
de aprendizaje automático (ML), son capaces de aprender, corregir y me-
jorar sus comportamientos de acuerdo con la experiencia que adquieren,
sin seguir reglas predeterminadas por el hombre33.
En relación con esta última tipología de a.a., el control humano se
mantiene sobre las fases de “aprendizaje” (nos referimos al denominado
aprendizaje supervisado). En este sentido, el programador puede hacer
un seguimiento del proceso de aprendizaje (learning process) del a.a., cla-
sificando y, en su caso, corrigiendo los datos (input) que se recogen y
procesan34.
El mayor nivel de autonomía se consigue mediante sistemas multi-
agente (multi-agent systems o MASs), que, gracias al Internet of Things
(denominada IoT), pueden interactuar con otros agentes y objetos (por
ejemplo, sensores) y pueden adaptar autónomamente sus comportamien-
tos en función del entorno en el que operan35. Piense, una vez más, en el
sector de los automóviles sin conductor.
Para proceder de forma segura, rápida y ecológica, los coches com-
pletamente autónomos (actualmente en fase experimental y aún no a la
venta) pueden compartir informaciones (relacionadas con el tráfico, las
32
Hildebrandt, M. (2016). Smart Technologies and the End(s) of Law. Cheltenham,
pág. 23.
33
Los algoritmos inteligentes que se basan en el análisis de datos, el cálculo esta-
dístico y el reconocimiento de patrones predeterminados (señales de tráfico, peatones,
automóviles, etc.) permiten a los a.a. realizar funciones específicas de forma indepen-
diente, para identificar problemas y definir soluciones que ni siquiera sus programadores
y desarrolladores pueden predecir a priori.
34
En los casos más avanzados, los a.a. pueden tener un sistema de “autoaprendiza-
je” (self-learning) autónomo. Considérese, a modo de ejemplo, los coches autónomos que
aprenden a conducir mediante un proceso de imitación de los comportamientos adopta-
dos por otros coches en la carretera.
35
Sobre su estructura véase Weiss, G. (Ed.) (2013). Multiagent Systems. 2nd ed.,
Cambridge; Xie, J., Liu, C.-C. (2017). “Multi Agent Systems and Their Application”. Journal
of International Council on Electrical Engineering, pág. 188 y ss. De manera más gene-
ral, sobre la interacción entre IA y IoT (la llamada AIoT) véase el estudio realizado por
Sas (2019). AIoT. How IoT Leaders are Breaking Away.

obras que se están realizando en carreteras, las condiciones meteorológi-

cas, la disponibilidad de plazas de aparcamiento, la presencia de colas o
accidentes, etc.) no solo con el centro de información de carreteras, sino
también con otros coches a los que están conectados a través de la Nube.
El hombre pierde así progresivamente el papel de conductor del vehículo
inteligente y se convierte en un mero pasajero.
Los a.a. totalmente autónomos, gracias a la automatización del pro-
ceso de aprendizaje (Automated Machine Learning o AutoML), están do-
tados de una extraordinaria capacidad de aprendizaje, adaptabilidad y
resolución de problemas36.
El alto nivel de autonomía que caracteriza a los a.a. totalmente auto-
matizados conlleva que sus comportamientos no sean predecibles ex ante
por un observador externo (por ejemplo, el usuario final), así como por
sus “operadores”.
Con respecto a los hechos lesivos que surgen del comportamiento de
los a.a. automatizados (primer y segundo nivel), la responsabilidad, in-
cluso criminal, siempre será de un operador humano (el llamado human
in the loop).
En cuanto respecta a los a.a. autónomos (tercer y cuarto nivel), la di-
ficultad (si no la imposibilidad) de que el hombre ejerza el control sobre
su trabajo puede conducir, como destacaremos (infra, apartados 4 y ss.),
a un peligroso vacío de responsabilidad (responsibility gap) incluso en
materia penal37.
IV. LOS AGENTES ARTIFICIALES COMO AUTORES DEL DELITO

Por regla general, la forma de operar de los a.a. depende de su lógica
y estructura interna, establecidas en la fase de planificación y desarro-
llo38. En relación con los agentes inteligentes más evolucionados (tercer
y cuarto nivel), se espera que, una vez que han recibido las instrucciones
de los programadores y desarrolladores, actúen de forma total o parcial-
mente autónoma. En un futuro cada vez menos lejano, puede darse el
caso de que un a.a. lleve a cabo un hecho que, si lo comete un hombre (de
forma dolosa o imprudente), sería considerado penalmente relevante.
36
Sobre el AutoML véase Hutter, F., Kotthoff, L., Vanschoren, J. (2020). Automated
Machine Learning. Methods, Systems, Challenges. Cham.
37
Véase Matthias, A. (2004). “The Responsibility Gap. Ascribing Responsibility for the
Actions of Learning Automata”. Ethics and Information Technology, n.° 4, pág. 175 y ss.
38
Véase retro, apartado 2.

150 IVÁN SALVADORI
La posibilidad (abstracta) de que un a.a. realice un hecho antijurídico

dependerá siempre de la forma en la que se ha planificado y desarrollado
originalmente.
La (concreta) “decisión” de un a.a. de realizar un hecho lesivo espe-
cífico o el hecho de haberlo provocado, pudiendo preverlo y evitarlo, no
podría, sin embargo, atribuirse directamente a un “operador”, a menos
que se haya creado específicamente para ese propósito (véase infra, apar-
tado 5.1) o sea un resultado que ocurrió debido a un error de programa-
ción u operación (véase infra, apartado 5.2)39.
Para un sector de la doctrina, a los a.a. completamente autónomos se
les debería reconocer la capacidad delictiva para actuar (Strafhähigkeit),
es decir, para poder cometer un hecho material ofensivo y criminalmente
relevante, que les pueda ser imputado40.
Numerosas noticias confirmarían cómo un a.a. puede provocar un
hecho típico (Tatbestand), cumpliendo el conjunto de elementos objetivos
que constituyen un delito41.
Paradigmático es el caso del robot Random Darknet Shopper (en ade-
lante RDS), programado para realizar compras casuales online mediante
el uso de bitcoin42.
Entre los diversos productos comprados de forma independiente por
el robot RDS en la web se encontraban diez tabletas de éxtasis, que luego
fueron entregadas a una galería de arte en Zúrich, donde se expuso al
público la droga junto con otras compras realizadas por el robot de com-
pras online.
La policía suiza, tras conocer lo que había ocurrido, procedió a la
incautación del robot RDS y a la destrucción de la droga comprada en
39
Cfr. Beck, S. (2016). “Intelligent Agents and Criminal Law. Negligence, Diffusion
of Liability and Electronic Personhood”. Robotics an Autonomous Systems, pág. 138 y ss.,
pág. 138.
40
En este sentido véase Hallevy, G. (2014). Liability for Crimes Involving Artificial
Intelligence Systems. Cham, pág. 61; más recientemente también Lagioia, F., Sartor, G.
(2019). “AI Systems Under Criminal Law: A Legal Analysis and A Regulatory Perspective”.
Phil. & Techn., pág. 1 y ss.
41
Sobre las razones que apoyan la reconstrucción del hecho típico (Tatbestand)
en términos objetivos, véase, para todos, en el Derecho penal italiano, además de la la-
bor fundamental de Delitala, G. (1930). Il «fatto» nella teoria generale del reato. Padova;
Marinucci, G. (1983). “Fatto e scriminanti. Note dogmatiche e politico-criminali”. Riv. it.
dir. proc. pen., 1983, pág. 1190 y ss.; Gargani, A. (1997). Dal corpus delicti al Tatbestand.
Le origini della tipicità penale. Milano.
42
Para una reconstrucción de la historia y un análisis de las complejas implicacio-
nes jurídico-penales, consulte: Lagioia, F., Sartor, G. (2019). “AI Systems Under Criminal
Law”, cit.

la dark web. No se hizo ningún reproche criminal contra quienes habían

diseñado el robot RDS, teniendo en cuenta los fines artísticos y culturales
perseguidos.
En relación con este caso, una línea doctrinal ha señalado que no
existirían obstáculos particulares para atribuir, a nivel objetivo-formal, el
hecho material de la adquisición ilícita de la droga al agente de software43.
Algunos estudiosos han ido más allá, argumentando que sería posi-
ble reprocharles a los a.a. los comportamientos constitutivos de delito
llevados a cabo a título doloso (conocimiento e intención) o imprudente
(negligencia)44.
Por tanto, existirían todas las condiciones (actus reus y mens rea) ne-
cesarias para equiparar los a.a., a seres humanos, a sujetos de Derecho
penal45. A ellos les sería reconocida también personalidad jurídica, deri-
vada de la particular naturaleza electrónica (e-personhood)46.
La doctrina, actualmente mayoritaria en el debate de Derecho penal,
tiene como objetivo excluir a los a.a. como sujetos que pueden ser consi-
derados penalmente responsables y estar sometidos a una pena por los
actos ilícitos “cometidos”, sería por tanto la atribución, según algunos, de
un mero prejuicio antropocéntrico47.
43
En estos términos Lagioia, F., Sartor, G. (2019). “AI Systems Under Criminal
Law”, cit. Se podría objetar que en la base de todo crimen debe haber una “acción huma-
na”, es decir, un movimiento muscular voluntario, como tradicionalmente se sostiene en
la doctrina. Debe señalarse, sin embargo, que la teoría del delito no se basa en un concep-
to naturalista u ontológico de “acción”, sino en la realización de un “hecho típico”. Para
una revisión del concepto de acción en el Derecho penal más reciente véase Salvadori, I.
(2016). I reati di possesso. Un’indagine dogmatica e politico-criminale in prospettiva storica
e comparata. Napoli, pág. 333 y ss.
44
En este sentido véase Hallevy, G. (2010). “The Criminal Liability of Artificial
Intelligence Entities. From Science Fiction to Legal Social Control”. Akron Intel. Prop. J.,
n.° 4, 2010, pág. 171 y ss.; pág. 186 y ss.; Hallevy, G. (2013). When Robots Kill: Artificial
Intelligence under Criminal Law. Boston.
45
Hallevy, G. (2010). “The Criminal Liability”, cit., pág. 199; Hu, Y. (2018).
“Robot Criminal Liability Revisited”, en Soo Yoon, J., Hoon Han, S., Jo Ahn Hu, S. (Eds.),
Dangerous Ideas in Law, Bobmunsa, pág. 494 y ss., págs. 497-498.
46
Sobre este tema véase Solum, L.B. (1992). “Legal Personhood for Artificial
Intelligence”. North Carolina L. Rev., n.° 70, pág. 1231 y ss.; Müller, M. (2014). “Roboter
und Recht”, cit., p. 604; Simmler, M., Markwalder, N. (2019). “Guilty Robots? – Rethinking
the Nature of Culpability and Legal Personhood in an Age of Artificial Intelligence”.
Criminal L. Forum, pág. 1 y ss.
47
Hallevy, G. (2015). Liability for Crimes Involving Artificial Intelligence Systems,
cit., pág. 212 y ss., según el cual la penalización para los agentes de software podría con-
sistir en su cancelación, mientras que para los s.i.a. equipados con un “cuerpo” físico, la
parte del hardware podría destruirse.

152 IVÁN SALVADORI
Es previsible que en el futuro los a.a. completamente autónomos

(véase retro, apartado 3) puedan tener capacidad autónoma para actuar
y, en algunos aspectos, ser capaces de percibir la realidad que les rodea y
de operar de forma “consciente”. Hasta la fecha, parece difícil reconocer
que las máquinas y los robots inteligentes, como los humanos, posean
una libertad efectiva de autodeterminación.
Incluso los a.a. más avanzados no tienen todavía una conciencia de sí
mismos que les permita comprender el valor social negativo de sus accio-
nes y captar la función preceptiva del Derecho penal48.
También quedan considerables dudas sobre la (presunta) posibilidad
por parte de los a.a. de actuar dolosamente, es decir, con “voluntad cons-
ciente” de cometer un hecho constitutivo de delito, o de forma impru-
dente, como actitud de incumplimiento de la norma cautelar49. De forma
resumida: un agente artificial (hasta la fecha) no puede ser culpable50.
En contra de esta razonable conclusión se ha argumentado que en
el actual debate penal el libre albedrío ya no constituye una condición
necesaria de la culpabilidad, dada la imposibilidad objetiva de probar
48
Cfr. Gless, S., Silverman, E., Weigend, T. (2016). “If Robots Cause Harm”,
cit., pág. 416; Lima, D. (2018). “Could AI Agents Be Held Criminally Liable? Artificial
Intelligence and the Challenges for Criminal Law”. S. Cl. L. Rev., n.° 69, pág. 677 y ss.;
Koops, B.J., Hildebrandt, M., Jaut Chiffelle, D.O. (2010). “Bridging the Accountability,
Gap”, cit., págs. 523-524; Coeckelbergh, M. (2020). “Artificial Intelligence”, cit., pág.
1 y ss.; Sarch, A. (2017). “Who Cares What You Think? Criminal Culpability and the
Irrelevance of Unmanifested Mental States”. L. & Phil., n.° 36, pág. 707 y ss., pág. 709;
Pagallo, U. (2018). “Vital, Sophia, and Co. The Quest for the Legal Personhood of Robotics”.
Information, pág. 1 y ss., pág. 7; Unesco (2017). “Report of Comest on Robotics Ethics”.
Paris, pág. 46, párrafo 201.
49
A pesar de que un a.a. evolucione, no lo hará hasta el punto de poder cumplir con
todos los elementos relevantes del hecho concreto que integran un delito. También sería
imposible sostener que habría podido darse cuenta del significado de su comportamiento,
usando la debida diligencia. La determinación del contenido y de la medida del deber
de diligencia vienen pacíficamente determinados en la doctrina y jurisprudencia italiana
sobre la base del parámetro del homo eiusdem professionis et condicionis, es decir, de un
agente modelo (humano). Para establecer la “culpa” del a.a. se debería disponer de carac-
terísticas (habilidades, facultades, etc.) que se determinasen en base a la experiencia. El
estado actualmente es embrionario, la experimentación en la que actualmente se encuen-
tran los a.a., hace que sea prácticamente imposible la construcción del llamado agente
artificial modelo.
50
En los mismos términos Wohlers, W. (2016). “Individualverkehr im. 21.
Jahrhundert: das Strafrecht von neuen Herausforderungen”. Basler Juristische Mitteilungen,
n.° 3, pág. 113 y ss., págs. 123-124; Gless, S., Weigend, T. (2014). “Intelligente Agenten”,
cit., pág. 570, págs. 573-574; Gless, S., Silverman, E., Weigend, T. (2016). “If Robots Cause
Harm”, cit., pág. 417.

científicamente su existencia51. Su existencia constituiría un dogma, una

ficción jurídica, que, como tal, también podría extenderse a los a.a. más
avanzados52.
El reconocimiento de la personalidad jurídica a la “entidad” no hu-
mana no sería una novedad, dado que en muchos ordenamientos jurídi-
cos, tanto del common law como del civil law, se reconoce pacíficamente
a las entidades y personas jurídicas.
La existencia de la libertad de la voluntad en la cabeza del hombre no
tiene un fundamento ontológico, pero es el resultado de una construcción
social que podría hacerse valer también contra los a.a. completamente
autónomos, desde el momento en el que, como los hombres, interactúan
e intervienen en las relaciones sociales y tienen un poder de conforma-
ción de la realidad53.
En definitiva, la verdadera cuestión subyacente no es si los a.a. están
dotados de la libertad de actuar como seres humanos, sino si, en un fu-
turo próximo, podrán ser considerados responsables de la realización de
conductas socialmente desviadas.
Pero todo intento de acusar a los a.a. de delito por cometer un hecho
constitutivo de delito está destinado, de jure condito, a naufragar frente al
obstáculo insuperable del art. 27 de la Constitución italiana, en la parte
en la que establece que “la responsabilidad penal es personal”.
En virtud del principio constitucional de culpabilidad, la comisión
de un hecho típico e ilícito (objetivo) no es suficiente para el uso del
jus puniendi, sino que debe ser reprochado personalmente a su autor
51
En relación véase, por todos, Hörnle, T. (2013). Kriminalstrafe ohne
Schuldvorwurf. Baden-Baden. Sobre el actual debate entre la neurociencia y el Derecho
penal, véase, por todos, Demetrio Crespo, E. (Dir.) (2013). Neurociencias y Derecho penal.
Nuevas perspectivas en el ámbito de la culpabilidad y tratamiento jurídico-penal de la pe-
ligrosidad. Madrid; Demetrio Crespo, E. (Coord.) (2017). Fragmentos sobre neurociencias
y derecho penal. Montevideo; Feijóo Sánchez, B.J. (2017). Derecho penal, neurociencias
y bien jurídico. Santiago; Grandi, C. (2016), Neuroscienze e responsabilità penale. Nuove
soluzioni per problemi antichi?. Torino, pág. 44 y ss.; Di Giovine, O. (2019). Ripensare il
diritto attraverso le (neuro)scienze?. Torino.
52
Sobre este punto véase Hilgendorf, E. (2012). Können Roboter schuldhaft hande-
ln?, en Beck, S. (Hrsg.), Jenseits von Mensch und Maschine, Baden-Baden, 2012, pág. 119
y ss.; Quintero Olivares, G. (2017). “La Robótica ante el derecho penal: el vacío de respues-
ta jurídica a las desviaciones incontroladas”. Revista Electrónica de Estudios Penales y de
la Seguridad, n.° 1, pág. 1 y ss., pág. 9.
53
Markwalder, N., Simmler M., (2017). “Roboterstrafrecht. Zur strafrechtlichen
Verantwortlichkeit von Robotern und künstlicher Intelligenz”. AJP/PJA, n.° 2, pág. 171 y
ss., pág. 181; Simmler, M., Markwalder, N. (2017). “Roboter in der Verantwortung? Zur
Neuauflage der Debatte um den funktionalen Schuldbegriff ”. ZStW, n.° 129, pág. 20 y ss.,
pág. 27 y ss.; Simmler, M., Markwalder, N. (2019). “Guilty Robots?”, cit., pág. 13.

154 IVÁN SALVADORI
(humano)54. La imposición de la pena presupone la atribución psicológi-

ca y el reproche del delito a quien lo cometió y la sanción penal que se le
impone debe tener como objetivo su reeducación (art. 27, párr. 3, de la
Constitución italiana). Pero esto, como se ha señalado, no se puede apli-
car a los a.a.
Incluso si los a.a. fueran considerados penalmente responsables, la
imposición de una sanción penal difícilmente podría cumplir una fun-
ción (aunque mínima) de prevención general y especial contra ellos55.
La atribución a un a.a. de una pena (en términos, por ejemplo, de
destrucción, desactivación o reprogramación) por la comisión de un deli-
to no puede tener ningún efecto de intimidación, disuasión u orientación
hacia los a.a56.
La función de prevención general presupone que los medios de reac-
ción del ordenamiento jurídico hacia quienes transgreden los preceptos
penales y el carácter aflictivo de la pena son (y pueden ser) conocidos por
sus destinatarios.
Sería aún más difícil garantizar la función especial de prevención, ya
que la sanción no sería adecuada para reeducar y resocializar un a.a.
La única forma de evitar que un robot “vuelva a llevar a cabo” un
comportamiento ilegal en el futuro sería “restablecer” los algoritmos que
54
Sobre el principio de culpabilidad véase en la doctrina italiana Donini, M. (1991).
Illecito e colpevolezza nell’imputazione del reato. Milano; Bartoli, R. (2005). Colpevolezza.
Tra personalismo e prevenzione. Torino; Marinucci, G., Dolcini, E. (2001). Corso di diritto
penale, 3° ed. Milano, pág. 642 y ss. Sobre la incompatibilidad entre el principio de culpa-
bilidad y los a.a. consulte Seher, G. (2016). “Intelligente Agenten”, cit., págs. 56-57; Beck,
S. (2017). “Digitalisierung und Schuld”, en Fischer, T., Hoven, E. (Hrsg.), Schuld, Baden-
Baden, pág. 289 y ss.
55
Sobre el denominado retribution gap se pone de relieve las manifestaciones de
Asaro, P. (2007). “Robots and Responsibility from a Legal Perspective”, pág. 1 y ss. Disponible
en: https://peterasaro.org/writing/ASARO%20Legal%20Perspective.pdf (fecha de consulta: 8 de
mayo de 2021); Asaro, P. (2012). “A Body To Kick, but Still No Soul to Damn: Legal Perspectives
on Robotics”, en Lin, P., Abney, K., Bekey, G.A. (Eds.), Robot Ethics. The Ethical and Social
Implications of Robotics, Cambridge, pág. 169 y ss., pág. 182; Pagallo, U. (2011). “Killers,
Fridges, and Slaves: A Legal Journey in Robotics”. AI & Society, pág. 347 y ss.; Lima, D. (2018).
“Could AI Agents Be Held Criminally Liable?”, cit., pág. 689; Danaher, J. (2016). “Robots, Law
and Retribution Gap”. Robots, Law and the Retribution Gap, n.° 4, pág. 299 y ss.
56
Asaro, P. (2012). “A Body To Kick”, cit., pág. 182; Abbott, R., Sarch, A. (2019).
“Punishing Artificial Intelligence”, cit., pág. 345. Según Mulligan, C. (2018). “Remedies
against Robots”. S. C. L. Rev., n.° 69, 2018, pág. 579 y ss., pág. 595, la sanción consiste en
la destrucción del robot autor de un delito y tendría como único efecto satisfacer a las víc-
timas del mismo. Para obtener un catálogo de posibles sanciones que se pueden aplicar a
los robots, consulte, de manera más general, Hu, Y. “Robot Criminal Liability Revisited”,
cit., págs. 529-530; Lemsley, M.A., Casey, B. (2019). “Remedies for Robots”. U. Chi. L. Rev.,
n.° 86, pág. 1311 y ss., pág. 1389 y ss.

han determinado o influido en su proceso de toma de decisiones57. Pero

incluso en este caso no sería posible incidir en su “personalidad”, ya que
sus “elecciones” dependen de lo que “aprendió”, así como de la interac-
ción con otros agentes artificiales y con los seres humanos.
V.
LA DISTRIBUCIÓN DE LA RESPONSABILIDAD PENAL
ENTRE EL HOMBRE Y LOS AGENTES ARTIFICIALES
Los a.a. pueden ser utilizados por personas malintencionadas como
herramienta para la comisión de un hecho ilícito.
El uso o disposición de un a.a. como “medio delictivo” puede afectar
a cualquier sector criminal (económico, cibernético, organizado, etc.).
Podemos pensar, por ejemplo, en el uso de un agente de software para
realizar fraudes en línea, el uso de armas autónomas letales (lethal auto-
nomous weapons) o drones armados para atacar objetivos militares, neu-
tralizar terroristas, etc.58.
En estos casos el a.a. es un mero instrumento, mientras que la con-
ducta consistente en su producción o en su uso será atribuida al “opera-
dor” que actúa “detrás” de él, utilizándolo maliciosamente para cometer
un delito (véase infra, apartado 5.1).
En la mayoría de los casos, la responsabilidad penal de un “operador”
se configurará; sin embargo, también pueden tener lugar hechos lesivos
que se produzcan como consecuencia de errores cometidos en la fase de
planificación, desarrollo, prueba o producción de un a.a., debido a su
funcionamiento defectuoso o de una utilización incorrecta. Por lo tanto,
se tratará de hipótesis que, en algunos supuestos, se reenvían al ámbito
de la responsabilidad por imprudencia (véase infra, apartado 5.2).
1. La responsabilidad a título doloso

No plantean problemas particulares los casos en los que un “opera-
dor” decide crear o utilizar un agente de software o un s.i.a. para cometer
un delito o para ofender a terceros59.
57
Sobre la posibilidad de “reeducar” un a.a. véase Asaro, P. (2014). “Determinism,
Machine Agency, and Responsibility”. Politica e Società, n.° 2, pág. 265 y ss.
58
Basile, F. (2019). “Intelligenza artificiale e diritto penale: quattro possibili percorsi
di indagine”. Dir. pen. uomo, n.° 10, pág. 1 y ss., pág. 25 y ss.
59
Freitas, P.M., Andrade, F., Novais, P. (2013). “Criminal Liability of Autonomus
Agents”, cit., pág. 150; Seher G., (2016). “Intelligente Agenten”, cit., pág. 55; Gless, S.,
Silverman, E., Weigend, T. (2016). “If Robots Cause Harm”, cit., pág. 425.

156 IVÁN SALVADORI
Piense en el ejemplo del robot asesino, diseñado con el propósito de

matar seres humanos60.
Mucho más cercano a la realidad está el ejemplo del terrorista que,
con el objetivo de matar a un número elevado de personas, utiliza un
dron autónomo para lanzar una bomba en una plaza abarrotada.
En los ejemplos citados, el a.a. constituye una mera herramienta en
manos de quienes la diseñan, producen o utilizan para cometer un delito
específico (asesinato, incendio, masacre, etc.)61. Por tanto no se trata, como
ha sostenido incorrectamente una línea doctrinal, de una hipótesis atribui-
ble a la figura del llamado perpetrator-by-another (o perpetrator-by-means)62.
A diferencia de los casos denominados de autoría mediada (mittelba-
re Täterschaft), al sujeto agente no se le va a atribuir la conducta de otra
persona, sino el hecho que realiza, para cuya realización ha utilizado ma-
liciosamente un a.a. como herramienta para cometer el delito63.
60
Pagallo, U. (2011). “The Adventures of Picciotto Roboto: AI & Ethics in Criminal
Law”, en AA.VV., The Social Impact of Social Computing, Sheffield, pág. 349 y ss. Análogo
es el caso del programador que voluntariamente desarrolla un agente de software que, una
vez instalado dentro de los sistemas informáticos de una empresa, es capaz de provocar un
incendio. En estos términos HALLEVY, G. (2019). “The Basic Models of Criminal Liability
of AI Systems and Other Circles”, pág. 1 y ss., pág. 2. Disponible en: en https://papers.ssrn.
com/sol3/papers.cfm? abstract_id=3402527 (fecha de consulta: 8 de mayo de 2021).
61
Cfr. Markwalder, N., Simmler, M. (2017). “Roboterstrafrecht”, cit., pág. 179.
62
Sobre el uso del modelo del perpetrator-by-another en relación con los s.i.a. véa-
se Hallevy, G. (2021). “Unmanned Vehicles. Subordination to Criminal Law under the
Modern Concept of Criminal Liability”. Journal of Law, Information and Science, n.° 21,
pág. 200 y ss.; Hallevy, G. (2019). “The Basic Models”, cit., pág. 1 y ss. La figura del llama-
do autor mediado fue desarrollada inicialmente por un sector del Derecho penal alemán,
partidario de la accesoriedad, denominada extrema, para llenar los vacíos de protección
derivados de la disciplina de la participación de las personas en el delito. En este senti-
do véase, por todos, Roxin, C. (1963). Täterschaft und Tatherrschaft. Hamburg, (10. Auf.,
Berlin, 2019). Tal controvertida figura dogmática ha encontrado sucesivamente recono-
cimiento en el Código Penal español del 1995, así como en el Estatuto de la Corte penal
internacional (art. 25(3)(a) ICC Statute). Sobre la controvertida institución de la autoría
mediada véase, por todos, Bolea Bardón, C. (2000). Autoría mediata en derecho penal.
Valencia; Mir Puig, S. (2016). Derecho penal, Parte general. 10a ed., Barcelona, pág. 390 y
ss.; en relación con el Derecho penal internacional véase Werle, G., Jesberger, F. (2020).
Principles of International Criminal Law. 4th ed. Oxford, pág. 249 y ss.; Ambos, K. (2013).
Treatise on International Criminal Law. vol. I, Oxford, pág. 154 y ss. Prefieren utilizar la
expresión innocent agency, en lugar de perpetrator through another person, Simester, A.P.,
Spencer, J.R., Sullivan, G.R., Virgo, G.J. (2013). Simester and Sullivan’s Criminal Law.
Theory and Doctrine. 5th ed. Oxford, pág. 205 y ss. En la doctrina italiana véase Riccio,
S. (1939). L’autore mediato. Napoli; Siniscalco, M. (1959). “Autoria mediata”. Enc. dir.,
Milano, pág. 443 y ss.; Padovani, T. (1973). Le ipotesi speciali di concorso nel reato. Milano,
pág. 13 y ss.
63
Cfr. Quintero Olivares, G. (2017). “La Robótica ante el derecho penal”, cit., pág. 14.

También surgirá una responsabilidad penal a título doloso con res-

pecto a las hipótesis de las llamadas aberratio causae, es decir, la diver-
gencia entre el curso causal prefigurado por el agente y el realmente rea-
lizado en el caso específico.
Considere, a modo de ejemplo, la persona que utiliza un dron pilota-
do de forma remota con la intención de dejar caer un artefacto explosivo
sobre la casa donde vive su peor enemigo y matarlo.
Si por un defecto en el funcionamiento del dron, el dispositivo cayera
sobre un edificio adyacente provocando un incendio cuyas llamas tam-
bién se extienden hasta el domicilio de la víctima designada y la víctima
muere, el hecho lesivo sería en todo caso atribuido, a título doloso, al
sujeto agente.
A nivel criminal, se atendería a la causalidad del hecho objeto de su
acción y no las formas concretas en las que ocurrió.
2. La responsabilidad imprudente
El comportamiento del a.a. automatizado es, como hemos visto (re-
tro, apartado 3), predeterminado y, por lo tanto, previsible por parte de
un “operador”64. Los hechos lesivos que tienen lugar debido a un error
de programación o funcionamiento del a.a. podrán por lo tanto ser im-
putados a título imprudente a quienes lo han programado, desarrollado,
producido o probado65.
Quién utiliza un a.a. podrá ser llamado a responder de las consecuen-
cias ofensivas que se deriven de su uso si tiene poder efectivo para pre-
venir el hecho. Piense, como paradigma, en el vehículo semiautomático
que, cerca de un cruce, no se detiene en la señal de stop, golpeando fatal-
mente a un peatón.
El fallecimiento del peatón será atribuido al conductor si se demues-
tra que con la debida diligencia podría (y debería) tomar medidas para
tomar el control del automóvil y evitar el golpe66.
64
Borsari, R. (2019). “Intelligenza Artificiale e responsabilità penale: prime conside-
razioni”. MediaLaws, n.° 3, pág. 262 y ss., pág. 264.
65
Cfr. Hallevy, G. (2014). “Liability for Crimes”, cit., 2014, pág. 185 y ss.; Abbott, R.,
Sarch, A. (2019). “Punishing Artificial Intelligence”, cit., pág. 345; Markwalder, N., Simmler,
M. (2017). “Roboterstrafrecht”, cit., pág. 175 y ss., con un extenso estudio del caso.
66
Cfr. Hilgendorf, E. (2017). “Automated Driving and the Law”, en Hilgendorf,
E., Seidel, U. (Hrsg.), Robotics, Autonomics, and the Law, Baden-Baden, pág. 171 y ss.,
págs. 181-182. En este sentido véase la elección hecha por el legislador austriaco con el
Gesamte Rechtsvorschrift für Automatisiertes Fahren Verordnung: el conductor de un ve-
hículo de conducción automatizada, si bien puede confiar en los sistemas de conducción

158 IVÁN SALVADORI
La identificación de los sujetos penalmente responsables por los deli-

tos cometidos contra terceros se complica en los supuestos en los que el
alto grado de autonomía de un a.a. no permite que el usuario tome ningu-
na acción correctiva inmediata.
Piense en un agente de software que actúa como piloto automático
en las complejas fases de despegue y aterrizaje de una aeronave y que, by
design, no proporciona ninguna posibilidad de control manual por parte
de los pilotos en caso de emergencia.
Si a raíz de un error en el funcionamiento de los sensores que mo-
nitorean las condiciones climáticas, la aeronave pierde repentinamente
altitud y se estrella contra el suelo, y provoca la muerte de los pasajeros,
no se puede hacer ningún reproche imprudente a los pilotos, si resulta
que no podían prever y evitar el accidente
En este caso, sin embargo, en la cadena de responsabilidades deriva-
da del desastre que conlleva la caída del avión podríamos hacer un ras-
treo hasta llegar a los sujetos que diseñaron, programaron y produjeron
el software para analizar las complejas fases del vuelo.
Al fabricante (persona física o jurídica) del software, se podría repro-
char a través de la imprudencia, cualquier error cometido en las fases de
producción67.
Sin embargo, el mal funcionamiento podría atribuirse (incluso antes)
al desarrollador y /o programador por un denominado “fallo de progra-
mación” o por no haber previsto la posibilidad de permitir, ante situacio-
nes de emergencia, la intervención manual de los pilotos.
Si el hecho del que surgió el proceso etiológico fuera atribuible al
error de varios “operadores” (por ejemplo, programadores, desarrolla-
dores, probadores y productores), se podría configurar como “concurso
de condiciones imprudentes independientes” (art. 41, párrafo 3, del código
penal italiano: de aquí en adelante CPI) o la denominada “cooperación
imprudente” de conformidad con el ex art. 113 CPI68.
asistida, debe conservar la responsabilidad de reanudar la conducción manual del vehí-

culo en cualquier momento (§ 3(1)).
67
Cfr. Markwalder, N., Simmler, M. (2017). “Roboterstrafrecht”, cit., pág. 178.
68
Sobre la heterogeneidad entre el “concorso di cause colpose indipendenti”
(llamado “concurso de imprudencias”) y la “cooperación imprudente”, véase Gallo,
M. (1957). Lineamenti di una teoria sul concorso di persone nel reato. Milano, pág. 124;
Risicato, L. (1998). “Il concorso colposo tra vecchie e nuove incertezze”. Riv. it. dir. proc.
pen., pág. 132 ss., pág. 137 y ss.; para una exhaustiva reconstrucción crítica del debate
doctrinal y jurisprudencial italiano vid., Cornacchia, L. (2004). Concorso di colpe e princi-
pio di responsabilità per fatto proprio. Torino, pág. 122 ss., en particular pág. 142 y ss.

A la misma conclusión se debe llegar en el caso del hacker que, ac-

cediendo ilegalmente al s.i.a. que maneja un coche autónomo, altera sin
saberlo el correcto funcionamiento del sistema de frenado, provocando
el atropello de algunos peatones.
El hecho de que los programadores y fabricantes del vehículo inte-
ligente no adopten las medidas de seguridad adecuadas para evitar la
interferencia (previsible) en el sistema de conducción es una de las “cau-
sas contribuyentes”, a que concurra el hecho lesivo69. Esto último será
imputable a los mencionados sujetos, a título imprudente, ya que, por sus
funciones y competencias técnicas, pudieron y debieron haber previsto y
evitado el riesgo de accidentes graves, derivado del bajo nivel de seguri-
dad informática del s.i.a. instalado en el coche autónomo. Además, con
el objetivo de suplir el bajo nivel de seguridad los sujetos tenían que “mo-
nitorear” el funcionamiento del “producto” y lanzar las actualizaciones
necesarias para remediar los fallos del software o, cuando esto no fuera
posible, retirarlo del mercado.
VI. LESIÓN DEL AGENTE ARTIFICIAL Y RESPONSABILIDAD

PLURISUBJETIVA
Los hechos lesivos asociados al uso de los a.a. pueden ser una con-
secuencia, como se mencionó (retro, apartado 5.2), de errores humanos
cometidos en la realización de actividades articuladas, a menudo multi-
fraccionadas, de programación, desarrollo, prueba y/o producción. Por
lo tanto, es un ámbito que comparte muchos de los problemas peculiares
asociados con la responsabilidad penal por productos defectuosos (pro-
duct liability)70.
69
Sobre la disciplina de las causas coadyuvantes, se hace referencia a Vallini, A.
(2012). ““Cause sopravvenute da sole sufficienti” e nessi tra condotte”. Dir. pen. cont., pág.
1 y ss.; Donini, M. (2006). Imputazione oggettiva dell’evento. “Nesso di rischio” e responsa-
bilità per fatto proprio. Torino, pág. 77 y ss.; Fiandaca, G., Musco, E. (2019). Diritto penale.
Parte generale. Bologna, pág. 266 y ss.
70
Para la imputabilidad de la responsabilidad derivada de la utilización de a.a. a
la categoría de la responsabilidad por productos defectuosos, véase, en la doctrina civilis-
ta, Bertolini, A. (2013). “Robots as Products: The Case for A Realistic Analysis of Robotic
Applications and Liability Rules”. Law, Innovation an Technology, n.° 5(2), pág. 214 y
ss., pág. 235 y ss.; más recientemente Ruffolo, U. (2019). “Intelligenza artificiale, machi-
ne learning e responsabilità da algoritmo”. Giur. it., pág. 1689 y ss.; Wagner, G. (2017).
“Produkthaftung für autonome Systemen”. AcP, Bd. 217, pág. 707 y ss.; Chagal-Feferkorn,
K.A. (2019). “Am I An Algorithm or A Product? When Products Liability Should Apply To
Alhorithms Decision-Makers”. Stanford Law & Policy Rev., n.° 30, pág. 61 y ss. Desde una
óptica penalista vid., Gless, S., Silverman, E., Weigend, T. (2016). “If Robots Cause Harm”,

160 IVÁN SALVADORI
En las fases de diseño, desarrollo y producción de los más modernos

a.a. intervienen, por regla general, múltiples sujetos, que pueden trabajar
en equipo (por ejemplo, mediante un software open source) o en cualquier
caso dentro de una empresa71.
En este último caso, casi siempre se trata de organizaciones com-
plejas (empresas, firmas, corporaciones, multinacionales, etc.), que se
caracterizan por la existencia de una pluralidad de centros dedicados a
la toma de decisiones y operaciones, dada la complejidad estructural de
un s.i.a. o un robot, que requiere la contribución de personal altamente
calificado en la producción de cada componente individual (hardware y
software).
En consecuencia, al igual que el ámbito de los daños que se derivan
de los productos defectuosos, se vuelve extremadamente problemático
reconstruir la etiología del hecho lesivo e identificar los sujetos responsa-
bles de cualquier contribución causal.
En sede procesual, por tanto, podría surgir la tentación de sustituir
los criterios tradicionales de imputación, basados en la constatación del
vínculo etiológico, por una responsabilidad derivada del cargo asumido
dentro de la organización, es decir, basado en la (mera) individualización
del sujeto que, en base a su competencia técnica y científica, tiene un pa-
cit., pág. 430 y ss.; Seher, G. (2016). “Intelligente Agenten”, cit., pág. 58; Beck, S. (2020).
“Die Diffusion strafrechtlicher Veranvortlichkeiten”, cit., pág. 45; en la doctrina italiana
vid., Cappellini, A. (2019). “Machina delinquere non potest? Brevi appunti su intelligenza
artificiale e responsabilità penale”. Discrimen, pág. 1 y ss., pág. 9 y ss. Más en general,
sobre los complejos problemas jurídico-penales que plantea la responsabilidad por da-
ños al producto, véase Piergallini, C. (2004). Danno da prodotto e responsabilità penale.
Profili dogmatici e politico-criminali. Milano; Piergallini, C. (2007). “La responsabilità
del produttore: una nuova frontiera del diritto penale?”. Dir. pen. proc., pág. 1125 y ss.;
Piergallini, C. (2014). “Colpa e attività produttive: un laboratorio di diritto “cedevole””.
Criminalia, pág. 387 y ss.; Bernardi, A. (2003). “La responsabilità da prodotto nel siste-
ma italiano: profili sanzionatori”. Riv. trim. dir. pen. econ., pág. 1 y ss.; Castronuovo, D.
(2005). “Responsabilità da prodotto e struttura del fatto colposo”. Riv. it. dir. proc. pen.,
pág. 301 y ss.; en la doctrina alemana véase Khulen, L. (1989). Fragen einer strafrecht-
lichen Produkhaftung. Heidelberg; Hassemer, W. (1994), Produktverantwortung im mo-
dernen Strafrecht. Heidelberg; Tiedemann, K. (1999). “Körperverletzung und strafrechtli-
che Produktverantwortung”, en FS H.J. Hirsch, Berlin, pág. 765 y ss.; Gless, S. (2013).
“Strafrechtliche Produkthaftung”. Recht, n.° 2, pág. 54 y ss.; en España vid., Mir Puig, S.,
Luzón Peña, D.M. (Dirs.). Responsabilidad de las empresas y sus organós y responsabilidad
por el producto. Barcelona, 1996; Iñigo Corroza, M.E. (2001). La responsabilidad penal del
fabricante por defectos de sus productos. Barcelona; Boix Reig, F.J. (2005). Responsabilidad
penal por defectos en productos destinados a los consumidores, Madrid.
71
Cfr. Lutz, L.S. (2015). “Autonome Fahrzeuge als rechtliche Herausforderung”.
NJW, pág. 119 y ss., pág. 121; Beck, S. (2020). “Die Diffusion strafrechtlicher
Veranvortlichkeiten”, cit., pág. 45.

pel particular en la programación, desarrollo, producción y prueba del

a.a.
Dentro de las complejas organizaciones que operan en el sector de
la IA y ML existe una inevitable división de poderes y tareas (toma de
decisiones, organizativas, operativas, de supervisión, consultoría, etc.),
a las que corresponden específicas posiciones de garantía, en virtud de
los cuales cada garante responderá de los errores y omisiones percepti-
bles en el desempeño de sus funciones. La responsabilidad potencial por
la causalidad activa de hechos prohibidos va, pues, acompañada de una
responsabilidad de omisión, en la forma peculiar de comisión por omi-
sión, por su falta de prevención de conformidad con el ex art. 40, último
párrafo, CPI.
Dentro de la organización compleja, se deberá identificar una red de
garantes, quienes están sujetos a la obligación de controlar ciertas fuen-
tes de peligro72.
Estas posiciones de garantía (Garentestellungen) surgen, no solo en
relación con quienes asumen poderes de decisión y organización (los lla-
mados altos directivos), sino también en relación con quienes, incluso sin
autonomía en la toma de decisiones (los llamados sujetos subordinados),
poseen los conocimientos técnicos-científicos, necesarios para desarro-
llar la compleja estructura interna de los a.a. (programadores, consulto-
res informáticos, etc.).
Estos sujetos estarán obligados a adoptar normas cautelares y pre-
ventivas encaminadas a evitar la ocurrencia de riesgos inherentes al di-
seño, desarrollo, producción, ensayo o puesta en circulación y uso de los
a.a. (por ejemplo, coches inteligentes o robots quirúrgicos).
El incumplimiento de las obligaciones de protección (Versiche-
rungspflichten) puede ser una fuente de responsabilidad (omisiva) en
relación con hechos lesivos concretos, que se produjeron como resulta-
do del uso de un a.a. o de su funcionamiento “autónomo”, siempre que
representen el desarrollo del peligro inherente a la fuente a controlar y
sean objetivamente previsibles y evitables.
72
Sobre la configuración de una posición de garantía para la creación de las deno-
minadas fuentes de peligro “artificiales” véase Sgubbi, F. (1975). Responsabilità penale per
omesso impedimento dell’evento. Padova, pág. 228 y ss. Más en general, sobre la posición
de garantía que tiene por objeto el control de las fuentes de peligro, véase Fiandaca, G.
(1979). Il reato commissivo mediante omissione. Milano, pág. 189 y ss.; Grasso, G. (1983).
Il reato omissivo improprio. La struttura obiettiva della fattispecie. Milano, en particular
pág. 320 y ss.; en la doctrina española véase Silva Sánchez, J.-M. (1986). El delito de omi-
sión. Concepto y sistema. Barcelona; Gimbernat Ordeig, E. (2003). La causalidad en la
omisión impropia y la llamada “comisión por omisión”. Buenos Aires.

162 IVÁN SALVADORI
Cuando a causa de la denominada “irresponsabilidad individual or-

ganizada” no sea posible identificar al autor del hecho antijurídico pe-
nalmente relevante (imprudente o doloso), incluyéndose el hecho lesivo
dentro del catalogo de delitos (reati-presupposto”) mencionados en los
artículos 24 y ss d.lgs. n. 231/2001, al remontarse a una actividad “colec-
tiva”, puede atribuirse a la persona jurídica (empresa, negocio, etc.) por
no haberlo impedido mediante una adecuada organización empresarial73.
Sin embargo, se deberá demostrar, de acuerdo con el art. 5, párrafo
1, d.lgs. n. 231/2001, que el delito se cometió en “interés” o “ventaja” de
la persona jurídica. Podemos pensar, por ejemplo, en una casa automovi-
lística que no actualiza los sistemas inteligentes de conducción automá-
tica (automated driving systems) para contener los costes de producción
de un nuevo modelo de automóvil autónomo y poder, de esta manera,
mantenerse al día con la gran competencia que existe en el sector de la
automoción.
Los problemas relacionados con la determinación de la responsabi-
lidad, incluida la responsabilidad penal, en el contexto de la IA se acen-
túan aún más, como hemos podido resaltar (retro, apartado 2), por la ten-
dencia a la opacidad que caracteriza la estructura interna (basta pensar
en el uso frecuente de black box algorithms).
Sobre el plano jurídico-penal, se pueden identificar dos consecuen-
cias principales.
La llamada opacidad tecnológica impide, en primer lugar, determi-
nar con precisión, en el contexto de la suma de varias causas “coadyu-
vantes”, las actuaciones de los “operadores” para ser relacionados cau-
salmente con la ofensa.
En segundo lugar, ese obstáculo que supone la individualización
de una ley de cobertura capaz de explicar científicamente el curso cau-
sal en un contexto caracterizado por una alta complejidad tecnológica
y una interacción inevitable entre múltiples “operadores” (many hands
problem)74.
73
Sobre el reparto de la responsabilidad penal dentro de organizaciones complejas
y la consecuente aparición de posiciones de garantía de naturaleza colectiva (a la cabeza
de la entidad) que están juntas a las de un tipo individual (la llamada posición de garantía
“dentro de la” organización) véase Gargani, A. (2017). “Posizioni di garanzia nelle organiz-
zazioni complesse: problemi e prospettive”. Riv. trim. dir. pen. econ., n.° 3-4, pág. 508 y ss.,
pág. 512 y ss.; Pulitanò, D. (2021). Diritto penale. Parte generale. Torino, pág. 389 y ss.
74
Cfr. Beck, S. (2017). “Google Cars, Software Agents, Autonomous Weapons Systems.
New Challenges for Criminal Law?”, en Hilgendorf, E., Seidel, U. (Eds.), Robotics, cit.,
pág. 227 y ss., pág. 243. En sentido sustancialmente análogo Quintero Olivares G. (2017).
“La Robótica ante el derecho penal”, cit., pág. 17.

Una vez más, paradigmático es el sector del automóvil sin conductor.

Las múltiples funciones de conducción son gestionadas por sofisticados
“subsistemas”, desarrollados y producidos por empresas altamente espe-
cializadas, que controlan y gestionan operaciones específicas (frenado
automático de emergencia, dirección, sistemas ADAS, etc.) y deben ope-
rar en sinergia para garantizar el correcto y seguro funcionamiento de
los smart cars.
El discurso se complica aún más en el caso de s.i.a. que interactúan a
través de la nube y el IoT con otros a.a. y usuarios, que están dotados de
un nivel tan alto de autonomía y adaptabilidad que su comportamiento es
objetivamente impredecible ex ante.
En estos casos, el hecho lesivo provocado por el a.a. sería imputable
a su comportamiento exclusivo, dada la imposibilidad de los “operado-
res” de eliminar el riesgo de que pudiera causar daños a terceros75.
En otras palabras, el comportamiento del a.a constituiría una causa
que por sí sola es suficiente para determinar el hecho lesivo que ha tenido
lugar (artículo 41, párrafo 2, CPI). Pero la aceptación de esta tesis condu-
ciría a un evidente vacío de protección, ante la imposibilidad de realizar
un reproche criminal dirigido a los agentes artificiales (ver retro, aparta-
do 4). También conduciría a una peligrosa falta de responsabilidad para
quienes diseñan, desarrollan y producen a.a. dotados de un alto nivel de
autonomía, garantizando un amplio margen de impunidad.
Para superar esta responsibility gap, un reproche negligente se podría
basar únicamente en la previsibilidad (o representabilidad) en abstrac-
to de la ocurrencia de posibles y genéricos eventos de daño derivados
del funcionamiento o uso de los a.a. por su complejidad y peligrosidad
intrínseca76. De esta forma, sin embargo, los “operadores” acabarían re-
conociendo una responsabilidad objetiva ilegítima (versari in re illicita),
contraria al principio de personalidad de la responsabilidad penal77.
Por tanto, el legislador deberá encontrar un punto de equilibrio razo-
nable que permita garantizar, por un lado, la protección de los bienes ju-
rídicos que puedan resultar vulnerados por el uso de a.a. y, por otro lado,
incentivar, en interés de la comunidad, el desarrollo de la IA y el ML. Con
75
Cfr. Beck, S. (2017). “Google Cars, Software Agents”, cit., pág. 51.
76
Cfr. Seher, G. (2016). “Intelligente Agenten”, cit., pág. 55.
77
Cfr. Gless, S., Silverman, E., Weigend, T. (2016). “If Robots Cause Harm”, cit.,
pág. 427. En términos más generales, sobre los límites de la observancia de las normas de
precaución en el contexto de actividades de riesgo, véase las declaraciones de Gallo, M.
(1960). “Colpa penale (dir. vig.)”. Enc. dir., Milano, pág. 624 y ss., págs. 639-640.

164 IVÁN SALVADORI
este fin debe reconocerse también en este ámbito, un margen del denomi-
nado riesgo permitido (Erlaubnis Risiko).
La realización de actividades de diseño, experimentación, produc-
ción y el uso de a.a. debe considerarse lícito en la medida en que los
“operadores” del sector observen normas de precaución precisas78. En
consecuencia, no se podrá hacer ningún reproche a título doloso por los
hechos eventualmente imprudentes que, aunque de forma abstracta pre-
decible, se produjeron a pesar del cumplimiento de las normas de pre-
caución (por ejemplo, de carácter técnico), siendo, de hecho, un riesgo
permitido79.
VII. EL AGENTE ARTIFICIAL COMO MEDIO DE EJECUCIÓN DE

UN DELITO
En el ordenamiento jurídico italiano, al igual que ocurre en otros
ordenamientos jurídicos culturalmente cercanos (por ejemplo, España,
Francia, Alemania y Suiza), no existen hasta la fecha normas incrimina-
torias en las que se haga referencia expresa a un a.a. o, más generalmen-
te, a s.i.a. como medio típico de ejecución de un delito.
Sin embargo, el uso de a.a. puede pasar a un primer plano cuando
se presenta como el medio de ejecución de un supuesto delito o como
un elemento circunstancial ya incluido en la estructura de un delito80.
Pensemos en los casos que prevén una sanción más grave por delitos
cometidos a través de herramientas informáticas o telemáticas, como se
contempla, por ejemplo, en relación con el delito de actos persecutorios
(el llamado stalking) conforme al art. 612-bis, párrafo 2, CPI o más bien
de “difusión ilícita de imágenes o videos sexualmente explícitos” (indebi-
damente definido como porno venganza o revenge porn) de conformidad
con el art. 612-ter CPI, introducido en el Código Penal por la ley de 19 de
julio de 2019, n. 69.
78
Debe tenerse en cuenta, sin embargo, que en el campo de la IA y del ML aún no
existen suficientes reglas cautelares de fuentes especiales (imprudencia genérica) o posi-
tivizada (imprudencia específica) que permitan a los “operadores” del sector identificar
con precisión las medidas cautelares a seguir en la fase de diseño, desarrollo y produc-
ción y cuya observancia permitiría evitar el hecho lesivo. Dado que se trata de áreas en
las que la experimentación aún se encuentra en una etapa embrionaria, ni siquiera sería
posible probar si la adopción de determinadas normas sería por sí misma eficaz para pre-
venir determinadas infracciones.
79
Sobre este punto tendremos la oportunidad de volver infra, apartado 9.
80
Sobre los “medios de comisión del delito” véase, por todos, Delogu, T. (1974).
“Lo strumento nella teoria generale del reato”. Riv. it. dir. proc. pen., pág. 19 y ss.

Un acosador (stalker) podría usar una social bot como herramienta

para causar, a través de conductas repetidas, un estado persistente de
ansiedad o miedo o generar un temor infundado en relación con la segu-
ridad de la víctima o de un familiar cercano81.
Gracias a la IA, las personas malintencionadas pueden producir fá-
cilmente contenido ofensivo e ilegal. Los agentes de software más moder-
nos son capaces de manipular imágenes y reemplazar las caras y voces
grabadas en un archivo de video con las de otras personas. Muchos de
estos contenidos falsos son de naturaleza pornográfica o representan a
menores en la realización de actividades sexualmente explícitas.
Una persona que tiene la intención de vengarse de su expareja podría
emplear un agente de software para crear y distribuir videos pornográfi-
cos manipulados ingeniosamente para causarle un daño grave82.
Los a.a. también pueden ser relevantes en relación con hechos delic-
tivos en los que el medio de ejecución no viene definido con suficiente de-
terminación. Considérese, a modo de paradigma, la hipótesis de un delito
de homicidio, que prevé un aumento de la pena si la muerte de un hom-
bre es causada por un «mezzo insidioso» (art. 577, párrafo 1, n. 2 CP).
La circunstancia agravante especial del medio insidioso, para cuya
configuración es necesario que haya facilitado objetivamente la ejecu-
ción del delito, ciertamente puede aplicarse a los casos en que la muerte
de una persona sea causada por el uso de aeronaves teledirigidas83. Por
sus características, los drones armados son un medio particularmente in-
81
Piense en el uso cada vez más generalizado de los llamados stalkerware, es de-
cir, agentes de software que, gracias al ML, son capaces de difundir y redirigir mensajes
de odio o insultos en las Redes Sociales. Paradigmática es la historia de Tay, un chatbot
creados por Microsoft con el objetivo de comunicarse con los jóvenes que frecuentan las
plataformas sociales. Al interactuar con los usuarios de Twitter, Tay aprendió rápidamen-
te cómo difundir mensajes racistas y xenófobos, lo que obligó a Microsoft a desactivarlo.
Para un análisis de las implicaciones legales del asunto véase Suárez Gonzalo, W.S., Mas
Manchón, L., Guerrero solé, F. (2019). “Tay is You. The Attribution of Responsibility in the
Algorithmic Culture”. Observatorio, n.° 13(2), pág. 1 y ss.
82
Al tratarse de videos creados de manera fraudulenta, sería difícil aplicar el delito
al que se refiere el art. 612-ter CPI, ya que sanciona, en el primer párrafo, a quien, «des-
pués de haberlos producido o robado», difunde videos de contenido sexual «destinados a
permanecer en el ámbito privado, sin el consentimiento de las personas que aparecen».
Por tanto, parece que el legislador quiso sancionar únicamente la difusión de videos pro-
ducidos con la participación real de la víctima.
83
Sobre la estricta legislación que rige el uso de la mencionada aeronave en Italia,
vid., Enac (2020). “Regolamento mezzi aerei a pilotaggio remoto”. Disponible en: https://
www.enac.gov.it/sites/default/files/allegati/2020-Lug/Regolamento_ APR _Ed_3_Em end_1.
pdf (fecha de consulta: 8 de mayo de 2021).

166 IVÁN SALVADORI
sidioso, ya que permiten sorprender a la víctima, haciendo casi imposible

la defensa84.
Puede darse el caso de que un terrorista utilice un dron armado pilo-
tado de forma remota para matar intencionalmente a una persona que se
encuentra dentro de su casa, pero que por un error ejecutivo provoque la
muerte de un vecino.
En este caso, se trataría de una hipótesis de aberratio ictus monole-
siva, ya que se produce un delito sobre una persona distinta de aquella a
quien se dirigió la acción por un error en el uso de los medios de ejecu-
ción del delito (artículo 82, párrafo 1, CPI)85.
Sobre la base de una interpretación constitucionalmente orientada
de aberratio ictus, el sujeto actuante será responsable de la muerte causa-
da a otra persona solo si el hecho lesivo se debe a imprudencia, es decir,
si un hombre medio pudo haberse dado cuenta de que, en esas circuns-
tancias, habría sido posible ofender a una persona diferente86.
VIII.
EL AGENTE ARTIFICIAL COMO OBJETO MATERIAL DEL
DELITO
Los a.a. de última generación, operan sobre la base de algoritmos
cuya estructura es similar a la red neuronal humana (el llamado deep
Learning), tienen una capacidad de aprendizaje extraordinaria.
Incluso si los a.a. antes mencionados tuvieran una configuración fí-
sica similar a la nuestra (pensemos, por ejemplo, en robots humanoides),
84
De manera más general, sobre cuestiones éticas, morales y legales relaciona-
das con el uso de drones en el ejército, consulte a Asaro, P. (2017). “Moral and Ethical
Perspectives”, en Aa.Vv., The Humanitarian Impacts of Drones, pág. 141 y ss. Disponible
en: https://reliefweb.int/sites/reliefweb.int/files/resources/humanitarian-impact-of-drones.
pdf (fecha de consulta: 8 de mayo de 2021); European Parliament (2013). “Human Rights
Implications of the Usage of Drones and Unmanned Robots in Warfare”. Disponible en:
https://www.europarl.europa.eu/ RegData/etudes/etudes/join/2013/410220/EXPO-DROI_E
T%2820 13 %29410220_EN.pdf (fecha de consulta: 8 de mayo de 2021).
85
Sobre el controvertido instituto de la aberratio ictus véase Basile, F. (2005). La
colpa in attività illecita. Un’indagine di diritto comparato sul superamento della responsa-
bilità oggettiva. Milano, pág. 94 y ss., pág. 103 y ss.
86
Deberá alcanzarse una solución similar en los casos de la denominada aberratio
delicti a los que se refiere el art. 83 CPI, es decir cuando por un error ejecutivo se causa
un hecho típico diferente al que se quería. Piense en el investigador privado que, para ob-
tener ilegalmente imágenes confidenciales, utiliza un dron teledirigido para sobrevolar la
casa de un político. Si por avería el dron dejara de funcionar repentinamente y al caer al
suelo hiriera gravemente a una persona, el hecho lesivo sería atribuido a título impruden-
te a quien lo utilizó para realizar el delito de injerencia ilegal en la vida privada. a que se
refiere el art. 615-bis CPI.

en virtud de la prohibición de la analogía in malam partem, no podrían

equipararse, a efectos criminales, con una persona humana. En conse-
cuencia, no pueden ser considerados sujetos pasivos de delitos contra la
vida y la integridad psico-física de una persona (asesinato, lesiones, muti-
lación de los órganos genitales, etc.).
Esto no significa, sin embargo, que los a.a., aunque no estén expre-
samente contemplados en la legislación penal vigente, no puedan, de jure
condito, constituir el objeto “material” de un delito, como los “bienes”, es
decir, sobre los que recae la conducta típica del infractor87.
Ya se ha indicado que los agentes de software deben ser considerados,
también a los efectos del Derecho penal, como programas informáticos
(véase retro, apartado 3). De ello se desprende que cualquier alteración,
modificación, supresión o deterioro no autorizado de un agente de soft-
ware podrá ser considerado como un daño a programas informáticos
“privados” de conformidad con el art. 635-bis CPI88.
En el caso de los agentes software utilizados por un organismo públi-
co (pensemos, como paradigma, en los algoritmos que se están probando
en el campo de la justicia predictiva), se puede aplicar, teniendo en cuen-
ta el “interés público”, el art. 635-ter CPI89.
87
Cfr. Riondato, S. (2017). “Robot: talune implicazioni di diritto penale”, en Moro,
P., Serra, C. (a cura di), Tecnodiritto. Temi e problemi dell’informatica e robotica giuridica,
Milano, pág. 85 y ss., pág. 86.
88
Sobre la infeliz formulación de los delitos de daños informáticos véase Picotti, L.
(2008). “La ratifica della Convenzione Cybercrime del Consiglio d’Europa. Profili di diritto
penale sostanziale”. Dir. pen. proc., pág. 700 y ss., pág. 707 y ss.; Pecorella, C. (2011). “La
riforma dei reati di danneggiamento informatico ad opera della l. n. 48/2008”, en Ruggieri,
F., Picotti, L. (a cura di), Nuove tendenze della giustizia penale di fronte alla criminalità in-
formatica. Aspetti sostanziali e processuali, Torino, pág. 140 y ss.; Salvadori, I. (2013). “La
regulación de los daños informáticos en el código penal italiano”. IDP, Revista de Internet,
Derecho y Política, n.° 16, pág. 44 y ss.; Salvadori, I. (2020). “I danneggiamenti informa-
tici”, en Parodi, C., Sellaroli, V. (a cura di). Il diritto penale dell’informatica. I reati della
rete e sulla rete, Milano, pág. 591 ss.
89
Sobre el uso de la IA en el campo de la justicia predictiva, véase, en el contexto
del debate italiano, Parodi, C., Sellaroli, V. (2019). “Sistema penale e intelligenza arti-
ficiale: molte speranze e qualche equivoco”. Dir. pen. cont., n.° 6, pág. 47 y ss.; Manes
V. (2020). “L’oracolo algoritmico e la giustizia penale: al bivio tra tecnologia e tecno-
cracia”. Discrimen, pág. 1 y ss.; en el Derecho penal alemán véase, la interesante posi-
ción de Gless, S., Wohlers, W. (2019). “Subsumtionsautomat 2.0. Künstliche Intelligenz
statt menschlicher Richter?”, en Böse, M., Schumann, K.H., Toepel, F. (Hrsg.), FS Urs
Kindhäuser, Baden-Baden, pág. 147 y ss.; en el Derecho penal español véase Miró
Llinares, F. “Inteligencia Artificial y justicia penal: más allá de los resultados lesivos cau-
sados por robots”. Revista de Derecho Penal y Criminológica, 3ª Época, n. 20, pág. 87
y ss.; Nieva Fenoll, J. (2018). Inteligencia Artificial y proceso judicial. Madrid; más en

168 IVÁN SALVADORI
Los a.a. más complejos (por ejemplo, los MASs), compuestos por uno
o más dispositivos de hardware y software, deben equipararse a un sis-
tema informático o telemático (véase retro, apartado 3). Los comporta-
mientos no autorizados que provoquen, a través de “hechos” dañosos a
los que se refiere el art. 635-bis CPI, la destrucción, inutilidad total o par-
cial, o que obstaculicen gravemente el funcionamiento de un s.i.a. (por
ejemplo, un robot) puede ser subsumidos en los delitos de daños a los
sistemas informáticos (privados o públicos) mencionados en los artículos
615-quater y 635-quinquies del Código Penal italiano90.
De manera más general, para proteger a los a.a. pueden aplicarse,
cuando concurran todas las condiciones, los delitos cibernéticos (cyber
crimes) que tengan por objeto datos o sistemas informáticos91. Considere,
a modo de ejemplo, un hacker que sin autorización se introduce en el
sistema informático que gestiona un coche autónomo. En este caso, la
conducta puede constituir una hipótesis de acceso no autorizado a un sis-
tema informático o telemático al que se refiere el art. 615-ter CPI92.
Lo mismo ocurre con el ciberdelincuente que, fuera de los casos
permitidos por la ley, instala un software espía diseñado para intercep-
tar los datos informáticos que son intercambiados por varios s.i.a. o que
proceda a interceptar las comunicaciones informáticas entre a.a. inter-
general vid., McDaniel, J.L.M., Pease, K. (Eds.) (2021). Predictive Policing and Artificial
Intelligence. New York.
90
Cfr. Salvadori, I. (2020). “I danneggiamenti informatici”, cit., pág. 597 y ss., pág.
607 y ss.; Cappellini, A. (2019). “I delitti contro l’integrità dei dati, dei programmi e dei siste-
mi informatici”, en Cadoppi, A., Canestrari, S., Manna, A., Papa, M. (a cura di), Cybercrime,
cit., pág. 762 y ss., en particular pág. 776 y ss., pág. 798 y ss.
91
Sobre la transición de la delincuencia informática (computer crime) a la ciber-
delincuencia (cybercrime), consulte a Picotti, L. (2018). “Diritto penale e tecnologie infor-
matiche: una visione d’insieme”, en Cadoppi, A., Canestrari, S., Manna, A., Papa, M. (a cura
di), Cybercrime, cit., pág. 35 y ss., pág. 46 y ss.; Clough, J. (2015). Principles of Cybercrime.
2nd ed., London, pág. 3 y ss.; Gillespie, A. (2015). Cybercrime. 2nd ed., Cambridge. Más
en general, sobre la relación entre IA, cibercrimen y Derecho penal, véase Baker, D.,
Robinson, P.H. (eds.) (2021). AI and the Law. Cybercrime and Criminal Liability, London;
Milivojevic, S. (2021). Crime and Punishment in the Future Internet. New York.
92
Sobre un análisis crítico de la estructura normativa del artículo 615-ter CPI,
consultar a Pecorella, C. (2006). Il diritto penale dell’informatica. Milano, pág. 306 ss.;
Salvadori, I. (2013). “L’accesso abusivo ad un sistema informatico o telematico. Una fattis-
pecie paradigmatica dei nuovi beni giuridici emergenti nel diritto penale dell’informatica”,
en Picotti, L. (a cura di), Tutela penale della persona e nuove tecnologie, Padova, pág. 125 y
ss.; Salvadori, I. (2018). “I reati contro la riservatezza informática”, cit., pág. 656 y ss., pág.
666 y ss.; Salvadori, I. (2013). “¿El delito de acceso abusivo a un sistema informático se
puede aplicar también a los insider?”. Revista Derecho Penal Contemporáneo, n. 43, pág.
5 y ss.

conectados, a través de la Nube de otros dispositivos. En concreto, se

pueden destacar los casos que sancionan la interceptación no autorizada
de datos informáticos (artículos 617-quater, 617-quinquies, 617-sexies del
Código Penal)93.
Los agentes de software, además de ser un recurso importante para el
desarrollo de las relaciones sociales, legales y económicas, tienen un valor
comercial indudable. Por tanto, es necesario garantizar a sus desarrollado-
res y productores una protección jurídica específica de derechos exclusivos.
Los agentes de software son un concepto reconducido a los «progra-
mas informáticos», que nuestro legislador equipara, ex art. 1 párrafo 2, de
la ley 22 abril 1941, n. 633 sobre el derecho de autor (en adelante: l.d.a.) los
hace merecedores y necesitados de protección, incluso penal, ya que son el
resultado de una creación intelectual. Serán relevantes las conductas que
consistan en la duplicación y en la comercialización abusiva de agentes
o en la fabricación, distribución o venta de dispositivos que tienen como
finalidad principal o uso comercial eludir medidas tecnológicas de protec-
ción eficaces, destinadas a prevenir o limitar actos no autorizados por los
titulares de derechos de autor (artículo 171-bis l.d.a.)94.
En los últimos años, los s.i.a. que realizan funciones de atención mé-
dica o reproducen muñecas o animales se utilizan como parte de progra-
mas innovadores de atención médica, terapia con muñecas o terapia con
mascotas, especialmente dedicada a personas mayores, discapacitadas o
enfermas. Aunque se trata de robots que son capaces de establecer una
relación emocional con los pacientes, no pueden equipararse, como se
mencionó anteriormente, con el concepto de persona o animal.
En consecuencia, a las conductas que se concreten en una lesión o en
el maltrato de los citados a.a. no podrá aplicarse el contenido de delitos a
través de los que se castiga el maltrato contra la familia y convivientes del
artículo 572 CPI y tampoco el maltrato de animales del art. 544-ter CPI.
93
Sobre la relevancia penal de las interceptaciones informáticas en el ordenamien-
to jurídico-penal italiano véase Picotti, L. (2004). “Sistematica dei reati informatici”, cit.,
pág. 83 y ss.; Pecorella C. (2006), Il diritto penale dell’informatica, cit., pág. 292 y ss.;
Pecorella C. (2017). “Reati informatici”. Enc. dir., Milano, pág. 707 y ss., pág. 717 y ss.;
Salvadori I. (2018). “I reati contro la riservatezza informática”, cit., pág. 704 y ss.
94
Sobre la protección penal del derecho de autor en Italia véase Flor, R., “La tute-
la penale dei diritti d’autore e connessi”, en Cadoppi, A., Canestrari, S., Manna, A., Papa M.
(a cura di), Cybercrime, cit., pág. 1046 y ss., pág. 1097 y ss. Sobre las nuevas aplicaciones
de la IA y su impacto en la normativa europea en materia de copyright véase European
Commission (2020). “Trends and Developments in Artificial Intelligence. Challenges to the
Intellectual Property Rights Framework”. Disponible en: https://ec.europa.eu/digital-sin-
gle-market/en/news/trends-and-developments-artificial-intelligence-challenges-intellectual-
property-rights-0 (fecha de consulta: 8 de mayo de 2021).

170 IVÁN SALVADORI
En el futuro, sin embargo, el legislador podría decidir extender la

protección penal también a las “entidades” artificiales (de forma similar
a como sucedió con los animales), si las considera, por sus capacidades
intelectuales y relacionales y su rol social, dignas y necesitadas de protec-
ción penal específica95.
Un argumento similar podría aplicarse a los robots sexuales (sexbots),
dotados de rasgos y características humanas, y que, gracias a la IA y el
ML, son capaces de moverse y emular actividades sexuales y establecer
relaciones “afectivas” con el hombre96.
Hay que tener en cuenta, sin embargo, que los androides antes men-
cionados suelen tener apariencia de menores, lo que favorece su uso para
simular la realización de actos sexuales “ilícitos”.
Estos comportamientos, aunque sean reprochables, no pueden ser
castigados a través de las normas utilizadas en el Derecho penal sexual,
el cual sanciona conductas lesivas que vulneran la integridad psico-fisi-
quica y sexual y de la libertad de autodeterminación del ámbito sexual de
personas y menores “de carne y hueso”.
Cuando los denominados sexbots fueran utilizados para la produc-
ción, la difusión de imágenes o videos que por su calidad técnica sean ca-
paces de suscitar en el espectador la idea de que el objeto de la represen-
tación pornográfica sea un menor involucrado en actividades sexuales se
podría aplicar el art. 600-quater 1 CPI (cuya función es ampliar las nor-
mas incriminatorias sobre la pornografía infantil también a los conteni-
dos “virtuales”), en relación con los artículos 600-ter y 600-quater CPI97.
95
Sobre la imposibilidad de equiparar tales sistemas a los animales vid., Basile, F.
(2019). “Intelligenza artificiale”, cit., págs. 32-33.
96
En relación con lo expuesto véase Danaher, J. (2017). “Robotic Rape and Robotic
Child Sexual Abuse: Should They Be Criminalized?”. Criminal Law & Philosophy, pág.
71 y ss.; Brown, R., Shelling, J. (2019). “Exploring the Implications of Child Sex Tools”.
Trends & Issues in Crime and Criminal Justice, n.° 570, pág. 2 y ss.; Forsch-Villaronga,
E., Poulsen, A. (2020), “Sex Care Robots. Exploring the Potential Use of Sexual Robot
Technologies for Disabled and Elder Care”. J. Behav. Robot, n.° 11, pág. 1 y ss.; González-
González, C.S., Gil-Iranzo, R.M., Paderewski-Rodríguez, P. (2021). “Human-Robot
Interaction and Sexbots: A systematic Literature Review”. Sensors, n.° 21, pág. 216 y ss.
97
Sobre el controvertido concepto legal de pornografía infantil virtual, véase, en
la jurisprudencia italiana, Cass. pen., sez. III, 13 de enero de 2017 (dep. 9 mayo 2017), n.
22265, lo que también lo ha extendido al cómic, al considerar que las conductas relativas
a dichos materiales deben ser sancionadas ya que alimentan “la atracción por manifes-
taciones sexuales destinadas a involucrar a menores”, y terminan poniendo en peligro la
personalidad aún en formación del menor. En general, vid., Bianchi M. (2019). I confi-
ni della repressione penale della pornografia minorile. Torino, pág. 431 y ss.; Salvadori, I
(2016). I reati di possesso, cit., pág. 185 y ss., pág. 223 y ss.

IX. CONSIDERACIONES FINALES

El desarrollo de IA y ML conducirá, en un futuro no muy lejano, a la
creación de a.a. dotados de la capacidad de aprendizaje y adaptación al
contexto en el que operan igual, si no superior, a la del hombre. Podrán
“autodeterminarse” y comprender el valor social negativo de su compor-
tamiento. En ese momento, el legislador deberá evaluar inevitablemente
la oportunidad de otorgar, en el contexto de un sistema penal ad hoc, una
responsabilidad directa a los a.a. completamente autónomos, a quienes,
por su rol social, reconocerá capacidad criminal. Solo entonces se podrá
reprochar a los agentes artificiales el haber cometido un acto antijurídico
y “culpable”98.
A la espera de comprender si la ciencia criminal será llamada en un
futuro a lidiar con un (probable) Derecho penal denominado robótico
(Roboterstrafrecht), son dos los principales caminos que el legislador po-
dría recorrer para resolver los problemas de atribución de la responsabi-
lidad derivada del desarrollo, producción y uso cada vez más extendido
de los a.a. y robots.
La opción más drástica sería prohibir, en virtud del principio de pre-
caución, el desarrollo y uso de a.a. autónomos e “impredecibles” (cuarto
nivel), dado su intrínseco peligro social99.
98
Sobre las posibles características de un sistema de responsabilidad penal para los
robots véase Hu, Y. (2019). “Robots Criminals”. Univ. of Michigan Journal of L. Reform,
vol. 52, pág. 487 y ss. Sobre la configuración de una responsabilidad directa de los robots
vid., Markwalder, N., Simmler, M. (2017). “Roboterstrafrecht”, cit., pág. 180 y ss.
99
En cuanto al posible alcance operativo del principio de precaución en materia
penal, véase, en la doctrina italiana, a Ruga Riva, C. (2006). “Principio di precauzione e di-
ritto penale”, en Dolcini, E., Paliero, C.E. (a cura di), Studi in onore di Giorgio Marinucci,
vol. II, Milano, pág. 1754 y ss.; Giunta, F. (2006). “Il diritto penale e le suggestioni del
principio di precauzione”. Criminalia, pág. 227 y ss.; Forti, G. (2006). ““Accesso” alle infor-
mazioni sul rischio e responsabilità: una lettura del principio di precauzione”. Criminalia,
pág. 155 y ss.; Forti, G. (2007). “La “luce chiara della verità” e l’“ignoranza del perico-
lo”. Riflessioni penalistiche sul principio di precauzione”, en Forti, G., Bartolino, M. (a
cura di), Scritti per Federico Stella, vol. I, Napoli, pág. 573 y ss.; Castronuovo, D. (2012).
Principio di precauzione e diritto penale. Paradigmi dell’incertezza nella struttura del rea-
to. Roma; Corn, E. (2013). Il principio di precauzione nel diritto penale. Studio sui limiti
all’anticipazione della tutela penale. Torino; Consorte, F. (2013). Tutela penale e principio
di precauzione. Profili attuali, problematicità, possibili sviluppi. Torino; en la doctrina es-
pañola véase, por todos, Mendoza Burgo, B. (2005). “Derecho penal ante la globalización:
el papel del principio de precaución”, en Bacigalupo Saggese, S., Cancio Meliá, M. (Dirs.),
Derecho penal y política transnacional, Barcelona, pág. 319 y ss.; Gómez Tomillo, M.,
Martínez Pérez, E.J. (Dirs.) (2014). Principio de precaución y derecho punitivo del estado.
Valencia; Galán Muñoz, A. (2015). “La problemática utilización del principio de precau-
ción como referente de la política criminal del moderno derecho penal: ¿ Hacia un derecho

172 IVÁN SALVADORI
Sin embargo, la solución de detener el inexorable desarrollo de la IA

no es práctica.
El avance asociado a la aplicación de la IA y del ML, aunque conlleva
un grave riesgo para la comunidad, es irrenunciable.
Las ventajas (económicas, ecológicas, de seguridad, etc.) que se deri-
van para la vida social son sin duda mayores que las desventajas.
Sin embargo, la creación de este riesgo será aceptable y admisible
solo si es realmente necesario para asegurar beneficios significativos a la
sociedad100.
En consecuencia, la comunidad no podrá asumir los riesgos inhe-
rentes al desarrollo de a.a. que, por su ámbito de aplicación, el contexto
en el que operan o los fines para los que fueron creados, carecen de toda
utilidad social o cuyo funcionamiento puede escapar a cualquier control
por parte del hombre. Piense, en este sentido, en robots asesinos, armas
autónomas inteligentes o los llamados Sexbots creados con fines de por-
nografía infantil101.
Por tanto, será necesario identificar un espacio de riesgo permitido
(Erlaubnis Risiko), como un punto de equilibrio entre la necesidad de
proteger los bienes jurídicos amenazados por las tecnologías de IA y los
intereses opuestos de la libertad de desarrollo, marketing y uso de a.a.
(paradigmático, una vez más, es el sector del automóvil sin conductor).
Para contener los riesgos dentro de un umbral socialmente aceptable,
será legítimo exigir a los “operadores” que hagan todo lo posible para de-
sarrollar, programar y producir agentes de software, s.i.a. y robots segu-
ros, de acuerdo con los mejores conocimientos y tecnologías disponibles.
Los “operadores” también deberían probar periódicamente sus “pro-
ductos” artificiales y prever medidas para actualizar y corregir, cuando
penal del miedo a lo desconocido o hacia uno realmente preventivo?”. Revista General de
Derecho Penal, n° 23, pág. 1 y ss.
100
Cfr. Hilgendorf, E. (2017). “Automated Driving and the Law”, cit., pág. 86.
101
Destaca la oportunidad de introducir limites al desarrollo de determinadas ti-
pologías de a.a. Gaede, K. (2019). Künstliche Intelligenz - Rechte und Fragen für Roboter?,
Pläydoyer für eine Regulierung künstlicher Intelligenz jenseits ihrer reinen Anwendung.
Baden-Baden, pág. 65 y ss. Sobre la necesidad de desarrollar una inteligencia artificial
denominada antropocéntrica al servicio del bienestar y de la seguridad de los seres huma-
nos, véase la relevante comunicación de la Comisión Europea (2019). “Generar confianza
en la inteligencia artificial centrada en el ser humano”, COM (2019), 8 abril 2019, 168 fi-
nal. Disponible en: https://ec.europa.eu/transparency/regdoc/rep/1/2019/ES/COM-2019-168-
F1-ES-MAIN-PART-1.PDF (fecha de consulta: 8 de mayo de 2021). Sobre tema expues-
to véase también los hallazgos que han sido compartidos por Wachter, S., Mittelstadt,
B., Floridi, L. (2017). “Transparent, Explainable, and Accountable AI for Robotics”. Sci.
Robot, n.° 2, pág. 1 y ss.

sea necesario, su comportamiento. Si esto no es posible, deben retirarlos

inmediatamente del mercado.
Al productor (persona física o jurídica) que, a pesar de tener conoci-
miento de mal funcionamiento o defectos de sus “productos” equipados
con inteligencia artificial, no tomó medidas para solucionarlos, se le debe
reprochar su conducta (realizada dolosa o imprudentemente) por no pre-
venir los hechos nocivos derivados de su uso.
Los efectos negativos que surgen como consecuencia de (eventuales)
errores en la fase de planificación, desarrollo, experimentación o produc-
ción de los a.a. o debido a su mal funcionamiento, cuando se han seguido
rigurosamente las normas de prevención, deberían ser asumidos de for-
ma colectiva. De hecho, se ha aceptado un cierto riesgo para cosechar los
beneficios derivados del desarrollo de la IA y del ML para usos civiles102.
La previsión de un margen de tolerancia contra la ocurrencia de pro-
bables hechos lesivos relacionados con el uso de IA permitiría probar
mejor el funcionamiento de los a.a. y recopilar los datos necesarios para
determinar el peligro en ciertos contextos (piense en la circulación de
automóviles inteligentes en el tráfico urbano), así como los medios más
efectivos para evitar consecuencias perjudiciales103.
El alcance del riesgo permitido puede establecerse sobre la base de
reglas de precaución predeterminadas por el legislador104. Por otra par-
te, solo su “positivización” sería compatible con la consecución de una
(deseable) armonización legislativa a nivel europeo en el sector de la IA,
como requisito previo necesario para garantizar a los operadores del sec-
tor unas condiciones de igualdad verdaderamente competitivas para el
desarrollo, la experimentación y listado de nuevos a.a.
102
Cfr. Beck, S. (2017). “Google Cars, Software Agents”, cit., pág. 47; Gless, S.,
Silverman, E., Weigend, T. (2016). “If Robots Cause Harm”, cit., pág. 434, que destacan
cómo la persona que sufre dicho daño debe ser considerada como una “víctima” de la
empresa y no de la conducta lesiva culpable de una persona en concreto.
103
Cfr. Pagallo, U. (2016). “Even Angels Need the Rules”, cit., págs. 213-214, que
recuerda la interesante elección del gobierno japonés de crear laboratorios (los llamados
Tokku) en determinadas zonas del país en los que científicos y ciudadanos puedan real-
mente probar cómo a.a. y los robots realizan las funciones para las que fueron creados.
De esta forma es posible establecer cuáles son los problemas legales que pueden derivarse
de su uso efectivo y de su interacción directa con el ser humano.
104
De manera más general, sobre la conveniencia de adoptar reglas de precau-
ción “positivas” en términos de reducción de riesgos, ver las interesantes reflexiones de
Palazzo, F. (2016). “Obblighi prevenzionistici, imputazione colposa e discrezionalità giudi-
ziale”. Dir. pen. proc., n.° 12, pág. 1545 y ss., pág. 1547 y ss.

174 IVÁN SALVADORI
Pero las normas cautelares codificadas, aunque fueran muy especí-

ficas, no bastarían por sí mismas para establecer un punto de equilibrio
entre los intereses opuestos en juego.
Desde una perspectiva de jure condendo, sería deseable contemplar
no solo obligaciones de información hacia las autoridades públicas com-
petentes, sino también un sistema de autorizaciones administrativas,
cuya cuestión debería estar sujeta al cumplimiento de precisas medidas
técnicas y cautelares. En este sentido, las pruebas y la producción de a.a
deben someterse a un riguroso procedimiento de control, antes de auto-
rizar su venta y uso, como ya es el caso en muchos países (por ejemplo,
Estados Unidos y Alemania) en el campo de los coches inteligentes.
Para garantizar el desarrollo de la IA fiable y al servicio de la socie-
dad, también habrá que introducir obligaciones legales que garanticen,
ya en fase de diseño, el desarrollo y producción de los a.a., el cumpli-
miento de la legalidad y los principios éticos (transparencia, no discri-
minación, equidad, rendición de cuentas, etc.), sobre los que existe un
consenso unánime a nivel europeo y supranacional105.
105
Sobre las relaciones entre ética e IA véase Dignum, V. (2019). Responsible
Artificial Intelligence. Cham; así como las importantes directrices desarrolladas por el
grupo independiente de expertos de alto nivel (el llamado AI HLEG), designado por la
Comisión Europea, y publicado en Comisión Europea (2018). “Directrices éticas para una
IA fiable”. Disponible en: https://ec.europa.eu/futurium/en/ai-alliance-consultation (fecha
de consulta: 8 de mayo de 2021); en sentido similar véase Oecd (2019). “Reccomendation
of the Council on Artificial Intelligence”. Disponible en: https://legalinstruments.oecd.org/
en/instruments/OECD-LEGAL-0449 (fecha de consulta: 8 de mayo de 2021); Oecd (2019).
“Policy and Investment Recommendation for Trustworthy AI”. Disponible en: https://www.
europarl.europa.eu/cmsdata/196378/AI% 20HLEG_Policy%20 and %20Investment%20
Recommendations.pdf (fecha de consulta: 8 de mayo de 2021).


2020 Salvadori Ivan Intel Artif YDer Pen CPC

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

2020 Salvadori Ivan Intel Artif YDer Pen CPC

Cargado por

Copyright:

Formatos disponibles

PÁGINA 1 - 162391-cpc-133-v.

Si desea suscribirse a Cuadernos de Política Criminal,

CPC se adhiere a las Core Practices del Committee on Publication

Edita: Dykinson, S.L.

Cualquier forma de reproducción, distribución, comunicación pública o trans-

SECCIÓN ESTUDIOS PENALES

JUNTOS, PERO NO REVUELTOS. LA PENA DE REFERENCIA

ANÁLISIS DEL ARTÍCULO 25(3)(A) DEL ESTATUTO DE ROMA

AGENTES ARTIFICIALES, OPACIDAD TECNOLÓGICA Y

SECCIÓN DERECHO COMPARADO

SECCIÓN ESTUDIOS CRIMINOLÓGICOS

EL DERECHO FUNDAMENTAL A LA PRESUNCIÓN DE

ISSN: 0210-4059 CUADERNOS DE POLÍTICA CRIMINAL

EVOLUCIÓN DEL CONCEPTO DE DOLO. Por Manuel Jaén

RECENSIÓN A DE LA FUENTE HULAUD, FELIPE, ¿QUÉ

RECENSIÓN A KAI AMBOS, DERECHO PENAL NACIONAL-

POLÍTICA EDITORIAL, CRITERIOS Y RÉGIMEN PARA LA

CUADERNOS DE POLÍTICA CRIMINAL ISSN: 0210-4059

Fecha de recepción: 26/12//2020

RESUMEN: El presente trabajo tiene como objetivo comprobar si los mo-

ISSN: 0210-4059 CUADERNOS DE POLÍTICA CRIMINAL

to material de un delito. En conclusión, se identificarán posibles solucio-

SUMARIO: I. Introducción.- II. Aplicación de la Inteligencia Artificial y

CUADERNOS DE POLÍTICA CRIMINAL ISSN: 0210-4059

El término a.a. (agente artificial), a menudo se equipara incorrecta-

y la confianza”. Disponible en: https://ec.europa.eu/info/sites/info/files/commission-white-pa-

ISSN: 0210-4059 CUADERNOS DE POLÍTICA CRIMINAL

responsabilidad plurisubjetiva, culpabilidad, etc.), cuyo cumplimiento

CUADERNOS DE POLÍTICA CRIMINAL ISSN: 0210-4059

II. APLICACIÓN DE LA INTELIGENCIA ARTIFICIAL Y SU

ISSN: 0210-4059 CUADERNOS DE POLÍTICA CRIMINAL

La IA también favorece la aparición de nuevas formas de agresión a

CUADERNOS DE POLÍTICA CRIMINAL ISSN: 0210-4059

permite comprender la forma en que funciona un algoritmo y la razón

ISSN: 0210-4059 CUADERNOS DE POLÍTICA CRIMINAL

CUADERNOS DE POLÍTICA CRIMINAL ISSN: 0210-4059

many hands problem19. Existen importantes repercusiones en el nivel de

III. DE LA AUTOMATIZACIÓN A LA AUTONOMÍA: CLASIFICACIÓN

ISSN: 0210-4059 CUADERNOS DE POLÍTICA CRIMINAL

“libres”, es decir, no predeterminadas ex ante por quienes los han progra-

CUADERNOS DE POLÍTICA CRIMINAL ISSN: 0210-4059

Los a.a. pueden ser sustancialmente de dos tipos: automatizados

ISSN: 0210-4059 CUADERNOS DE POLÍTICA CRIMINAL

Los a.a. de segundo nivel, cuyo funcionamiento siempre depende de

CUADERNOS DE POLÍTICA CRIMINAL ISSN: 0210-4059

obras que se están realizando en carreteras, las condiciones meteorológi-

IV. LOS AGENTES ARTIFICIALES COMO AUTORES DEL DELITO

ISSN: 0210-4059 CUADERNOS DE POLÍTICA CRIMINAL

La posibilidad (abstracta) de que un a.a. realice un hecho antijurídico

CUADERNOS DE POLÍTICA CRIMINAL ISSN: 0210-4059

la dark web. No se hizo ningún reproche criminal contra quienes habían

ISSN: 0210-4059 CUADERNOS DE POLÍTICA CRIMINAL

Es previsible que en el futuro los a.a. completamente autónomos

CUADERNOS DE POLÍTICA CRIMINAL ISSN: 0210-4059

científicamente su existencia51. Su existencia constituiría un dogma, una

ISSN: 0210-4059 CUADERNOS DE POLÍTICA CRIMINAL

(humano)54. La imposición de la pena presupone la atribución psicológi-

CUADERNOS DE POLÍTICA CRIMINAL ISSN: 0210-4059

han determinado o influido en su proceso de toma de decisiones57. Pero

1. La responsabilidad a título doloso

ISSN: 0210-4059 CUADERNOS DE POLÍTICA CRIMINAL

Piense en el ejemplo del robot asesino, diseñado con el propósito de

CUADERNOS DE POLÍTICA CRIMINAL ISSN: 0210-4059

SUMARIO: I. Introducción.- II. Aplicación de la Inteligencia Artificial y

III. DE LA AUTOMATIZACIÓN A LA AUTONOMÍA: CLASIFICACIÓN

VI. LESIÓN DEL AGENTE ARTIFICIAL Y RESPONSABILIDAD

VII. EL AGENTE ARTIFICIAL COMO MEDIO DE EJECUCIÓN DE