Aspectos legales dc la inteligencia artificial

83

por lo tanto, en la vía más cómoda, directa y sencilla para la

convertiría,
se de cualquier perjudicado. A mayor abundamiento, el robot no
reclamación alguno en repetir la reparación con cl resto
interés de actores,lo
tendría práctica impunidad de estos.
a la
que
causa por la que me opongo a la posibilidad
Unatercera daños a los robots, aunque muy ligada al de hacer res-
noblesde los responsabilidad eliminaría anterior motivo,
supuesta uno de los elementos colate-
esqueesa trataría del principal de la responsabilidad civil, como es
rales,aunqueno se
prevenir el daño. Como señala TENA, "la reparacióndel daño
laintenciÓnde sola funciones de disuasión
puedecumplirpor sí que colman losfines de Prevención
particularde rehabilitación y general de disuasión típicos del Derecho Penal "203La
propiaComisiónEuropea, en su reciente informe sobre responsabilidadci-
enla inteligenciaartificial, ya mencionado, ha puesto de manifiestoeste
elemento del que hablo, afirmando que las normas de responsabilidadcivil
también"Proporcionan incentivos económicosa la parte responsablepara que no
204
causedicho pnjuicio
la última de las razones por las que me opongo a esta supuesta solución
esprecisamenteporque esta propuesta de atribuir la responsabilidad civil a
losrobotso sistemas generaría un problema de legitimidad, pues los robots
notendríancapacidad procesal para poder ser demandados y formar parte
deunprocesojudicial. Por mucho que un robot estuviese diseñado para rea-
lizarunadeterminada tarea o función con un alto grado de especialización,
esono significaque fuese capaz de comprender un procedimientojurídico,
deelegirun abogado o una línea de defensa o de comprender lo que se le
En último caso, sería el dueño del robot el que tendría que asumir
reclama.
esadefensa,o el productor de este, pero ello carecería de sentido en un sis-
temacomo el nuestro.
Algunosautores han llegado a proponer que pudiera resolverse de mane-
similara como se hacía en la antigua Roma con los daños generados por
losesclavos,esto es, demandando al dueño del mismo, incorporando la ac-
05
ciónpretoria,por la que éste solo respondería por el importe del peculio"
Mecuestallegar a imaginar una demanda de responsabilidad civildirigida
contraun robot, y no tanto si fuese dirigida contra el dueño del mismo, el
productoro el operador.
Endefinitiva,los como
robots no responderán de los daños provocados,
norecibenremuneración Los
por su actividad, ni tienen días de vacaciones.
robotsno son
personas, ni jurídicas ni físicas, sino cosas. Así púes, como tales
deberánser tratadas civil.
también en el ámbito de la responsabilidad

203 Vid.TENA
R.',"Hacia un salto evolutivo en el Derecho civil... Op. cit.
segundad yespon.sa-
billdad Vid' Comisión Europea, Informe sobre las tepercusionesen materia de
civilde la
205 inteligencia artificial, el inletmel (le las cosas y la tol'ólica, '20'20
Cfr,ERClLLA GARCÍA,J.: Op. cit., págs.. 6 y 7
"Aproximación a una
 冖 一
丶 冖
0 de0 =un
tan tadamente
一
'206 : 一 SOS 冖 ta p 一
0 eldemisi6n
一
sabilidad
… : Todo como
一
0 。
El = 、
mientO
…
defecto
c oma
a 冖 一
84

一 ia 0
一
、 p ur= · 0
一 0 caso Tanto
adaptar
= 一
legislatÄu

丶 : PO0 0 p ()n 一 一
desde
」 paises
0
= : 00ad9
2
0
丶 = 0 一
er乛 ellO se ·
~ 」
一 =
=
:
一 : ·
:0 一 la0 ro0 de la de Europea
=
一一0 0
0: 冖
de
一
()r
0
= 0 y
丶 :=
tendrfa
definiciön la
0 m00
:00 Aunque
、 : 一
operado la
pasa, cuasi
responsabilidad hace
de 一 m
= 0 一
…
(i»nisid»n
= = 0 乛cuenta
冖 0
un inclusiön PO propuesta
一 eh = :
· 0 … 0
alguna.

= 0 冖
9 la operadores,
0 一
一
一
oraestaser 0
冖
0 9
0
一
(
一 =
)r ; sterna
en que
Obje
décadas 冖
la Uni6n0
一
、
0 -y
0b?
丶 ladO
=
0 乛
:
0
一
丶
=
:pasa indemnizada
0 ∕
p er一
00m:
=
era
también
la
、
」
unde
cualquier 冖
delimitar
iva
in
冖
eligencia
del
de
、
;
nacionales
la
一 09
0
:0
00 :-冖
de produc parlamen
0 Comisi6n一
0 Europea
9 0 匕
一 con
一 piedra
= responsabilidad …
一
冖
PO 一
=
un 0
一
Naciones
:0 一 一 00 Reglamento
0 、 0 9
0 一 0
丶 一 、
a r que 冖
0 0
冖 PO en
= 0 一
9
Ramon

a
,
sistema

la
一
= =
:
= 、
乛 nuestro que,
angular
u
、
一
0 冖
0 一
0- ar 冖 para expe
、
丶
~ =
0
一 一 =
= 0 la m0」 en Yproduc ennesgo'
por Ota
冖 冖 ~
0-一 冖
0 丶
inclusiön
一 =
000 0
一
冖 一
= propuesta
aun PO
aspec
0 ificial• Ell冖
冖 、
de
0
solicitar
Herrera

=
U 」 9
0
conve
00
冖
三
一
= esta0
冖
0 冖
de por 0d0
冖
las 0
;
00m0
冖
冖

:=
matizada 0P00
ahora
las
; exla responsabilidad
pudiendo 冖 en
00
一
0 、
= =
m0m0m0
en especffico
0-一
limi orsobre
冖 0 Como
一
0 el 冖
一
一 0
Naciones
0 」 :
de

=
0 0 一
0 00: menc la 冖
en 」
que que
sis
冖
一
冖 hacen
一
丶
=
arac 0: 一 n te
las

= 0
pos :0la 000 : deq ue 冖 冖 la
aci6n ampliaciön
la ya 冖
la
= nt
一
Heras

la ema
tengaresponsabilidad
0 =
preve

figura 一
一 he 000m0nd
一
冖
一 00 一n
o 二
n P
一
en 、 0-p0Sible ~
亠
n
hincapié 0
Unidas0 0
:
: :
y
冖
0 0 = 冖
0 00d de que sefialad0'
que PO
cia
冖 como
0

=
二
0
冖 =
0 0
一 0
: 、
= · 冖冖
dou 0
c e 一 absolu
un
ahora
que
丶
dafiosy0 la
reparaci6n
0
000m
me
一 :冖 la
0 :
0 一
0
:
Cia
=
0 」
00一
0
l
冖
0
a一
0 n0-
冖
一
vOPOcausasdel
rya
modificaciön
ver
p
、三
0 乛
=
∕ = 一
、 一
冖

00 mo 冖 : 乛 en ema en en 0 n0- 0
冖
0
0 冖
0
一 0 =
0 = 一
0 0
: 0
冖
ma•冖
冖
0
一
muchos
冖
amen me
00n00P
p
00n
冖
OtaOb.la
0
I0
Perjuicio€'$
一。
0) 0
一
三=
一
0
一 一
一
0
…
dos~
0 00
一
一
00K=
=
0 =
冖
0 ~
0
一
mism0
de de
de 引
胃
一
9 一 一
0 :
000=
0 e
、
0 十
0h0 =
0
ㄆ一 冖 0
0 冖
冖
一 0 乛 0 = ∕ 0 冖冖
0 0 d 一
v a la
一
“ 冖 0一 一
0一
0
乛
0 0
0 0 冖 ~ 一
0 =
0 亠一 0 0 … … + 00 一
0
P00
一 一~0 00
 Aspectos legales de la inteligencia artificial
83

sobre algo de lo que ya Inc

ndo,volviendoa cabo teniendo en cuenta hablado,
el
la necesidad de que
se lleve riesgo que la
elenfoque producto pueda conllevar. Como ya he venido puesta en cir-
clilacióndel señalando, son
agentes que podrán tener relación con los posibles daños causados
vatioslos que se encuentren diseñados o contengan inteligencia
sistemaso robots
en los que ahora me detendré.
artificial,
Tantola doctrina como las instituciones europeas no han dudado en se-
fialavque el régimen de responsabilidad civil, en lo que a la inteligencia
artificialse refiere, actualmente pasa por lo establecido en la Directiva del
consejo,de 25 de julio de 1985, relativa a la aproximación de las disposi-
cloneslegales, reglamentarias y administrativas de los Estados miembros en
materiade responsabilidad por los daños causados por productos defectuo-
sos,en adelante Directiva 85/374. Pero también es cierto que el Parlamento
Europeoy la Comisión Europea han señalado la necesidad de modificar la
mencionadadirectiva, y en la aprobación de un nuevo Reglamento Europeo
quepermitala adaptación a la nueva realidad, incluyendo,como no puede
serde otra manera, las novedades aportadas por la inteligencia artificial.
Anteriormentepuse de manifiesto la creación por parte de la Comisión
Europeaen el año 2018 de un grupo un Grupo de Expertos sobre responsa-
bilidady nuevas tecnologías cuyo resultado ya fue trasladado al Parlamento
Europeoen forma de una propuesta que incluye la modificación de la citada
directiva.Dicha modificación no será una modificación radical de la actual
Directiva85/374, sino que se tratará de "algunosajustesnecesarios",ante la
apariciónde nuevas técnicas207.A esta propuesta me referiré con deteni-
mientoa lo largo del presente capítulo, prestando especialatención a las
modificaciones más significativas,no sólo en el régimen de responsabilidad
civilaplicable,sino también en la necesaria modificacióny ampliación de
algunode los conceptos tradicionales incluidos en ella como son los de pro-
ducto,defecto o daño.
Tambiénel Parlamento Europeo ha elaborado una serie de recomenda-
cionespara la elaboración de un Reglamento europeo y del Consejo relativo
a la responsabilidad civil por el Funcionamiento de los Sistemasde inteli-
genciaartificial. Considera esta institución europea que, a pesar de que la
Directiva85/374 "ha demostrado ser durante más de treinta años un medioeficaz
Paraobteneruna indemnización por un daño causado por un productodefectuoso.
deberevisarsepara adaptarla al mundo digital y abordar los retosque Plantean las
V'nologíasdigitalesemergente"208.La mencionada propuesta, como ya he men-
clonado,pasa por capaz de adap-
aprobar un Reglamento Europeo que sea

207 Vid. Parlamento destinadasa la ('.0)nÁión

Europeo (2020), Infortne con oeccnnendaciones
un régimende
responsabilidad civil en malni(l de inteligencia artificial, pág. a la
208 Informe del destinadas
misiónsobre Parlamento Europeo con recomendacionesinteligencia
un régimen de responsabilidad civil en materia de
(2020/2014
, introducción núm. 8, pág. 7
 86 Ramón Herrera dc las Heras

tar algunos conceptos que han quedado ya anticuados

homogeneizar los sistemas de responsabilidad civil en toda
pea. La propuesta, que pasó previamente por el comité de ni6n
del Parlmnento Europeo, consta de vein ticuatro considerandos
asuntos . E
culos y un anexo. Es importante resaltar que se apuesta por , quince
Directña, con el objetivo de un R
y no por una conseguir una ar

en tales en
responsabilidad por los daños causados por la
inteligencia materia d
Además de la propuesta sobre el Reglamento Europeo artificial
lidad al que me vengo refiriendo, haré mención de de
propuesta de Reglamento del la recientemente
publicada Parlamento Europeo
sejo por el que se establecen normas armonizadas sobre la y
artificial y se modifican determinados actos inteligencia
legislativos de la
esta última se clasifican los sistemas de inteligencia artificial
en tres
gorías; los sistemas prohibidos, los de alto riesgo, y aquellos
quenoestán
ni prohibidos ni son de alto riesgo. Ello será fundamental a la horade
establecer el sistema de responsabilidad civil para los operadores,
en los dos primeros casos será objetivo, mientras que que
en el últimotendrá
carácter subjetivo.
Intentaré analizar a lo largo del siguiente apartado tanto el sistemaactual
de responsabilidad civil, en vigor aun, como la nueva propuestadeRegla-
mento que, en un futuro no lejano, se convertirá en la herramienta
básica
para la reparación de los daños causados por la inteligencia artificial.

3.1. El régimen de responsabilidad civil aplicable actualmente:LaDi-

rectiva 85/374 y los daños provocados por la inteligenciaartificial,

Como ya he señalado, el sistema de responsabilidad civilinstaurado ac-

tualmenteen Europa pasa por el establecido en la Directiva 85/374, con-
cretado en nuestro país por el Real Decreto Legislativo 1/2007,de 16de
noviembre,por el que se aprueba el texto refundido de la LeyGeneral para
la Defensade los Consumidores y Usuarios y otras leyes complementarias
Ambaslegislacioneshan sido eficaces respecto a los objetivosquesehabían
quela
planteado, aunque, llegado este punto, han de ser revisadas debidoa como
aparición de nuevas técnicas ha superado alguno de sus postulados
ahora pondré de manifiesto.
empresarid
Es comúnmente aceptado que cuando una actividad, ya sea sea
o profesional, genere unos simultáneamente
determinados beneficios y deben
una potencial amenaza para las bienes, aquellas
personas o sus queinspi10
mirla reparación de los daños filosofía relativa
provocados. Esa fue la y
legislacióneuropea en materia a los consumidorespritneltl
a la responsabilidad por de protección país, ' los(',011'
productos defectuosos, En nuestro de
norma gue trató este aspecto Defensa
fue la Ley General para la
 Aspectos legales de la inteligencia
artificial
87

sumidoresy Usuarios, de 19 de julio dc 1984. Pero la verdadera

revolución
fue introducida por la Unión Europea a través dc la Directiva85/374/CEE,
de 25 de julio relativa a la aproximación dc las disposiciones legales,
mentariasy administrativas de los Estados miembros en materia de regla-
respon-
sabilidadpor los daños causados por productos defectuosos, de la que ahora
hablaremoscon detenimiento. Ya años más tarde, España promulgó la Ley
(lei 22/1994, de 6 de julio como transposición de la mencionada directiva, y que
s fue reemplazada por el hoy vigente Real Decreto Legislativo1/2007, de 16
de 110\iembre, por el que se aprueba el texto refundido
sarmonizad4
actos
de la LeyGeneral
la Defensa de los Consumidores y Usuarios y otras leyes complementa-
c legislativosliasque continúa hoy en vigor.
Inteligenciaanfi
( El proceso de formación de la Directiva 85/374 fue largo y
alto complejo que,
finalmente,tras un largo e intenso debate, dio sus frutos el 25 de julio de
Ello será
fund 1985con la aprobación de esta. La problemática más importante se encon-
idad civil trabaen dos puntos polémicos como eran el establecimientode un tope
paraIos
Vo, opt( máximoen la indemnización por los daños producidos, que aún hoy sigue
mientras
que generandoun importante debate, y la posible incorporacióno no de los
fiesgos al desarrollo.
liente apartado
, como la fue el Convenio europeo sobre la responsabilidad derivada de los productos
en caso de lesiones corporales o de muerte, que data del año 1977y en el
e convertiráenlaherr¿zque se consagraba por vez primera en Europa el principio de responsabili-
. Desde entonces, incluso ahora en la nueva propuesta realiza-
dad objetiva 209
OSpor la inteligenciaa±
da por la Comisión Europea, la responsabilidad objetivaha estado presente
con mayores o menores matices; con más o menos exenciones de responsa-
d civil aplicable bilidad.
intelig,l
vocados porla Por lo que respecta al contenido de la Directiva 85/374, hay que seña-
lar que incluía los dos objetivos que se habían planteado como prioritarios;
responsabilidadd> por una parte, la protección y tutela de los consumidores europeos, no solo
e de su salud y seguridad sino también de sus intereses económicos.De este
en la)
blecido modo se consideran indemnizables, según lo establecido en el artículo 9 de
Legislativo la Directiva85/374, los daños causados por muerte o lesiones corporales,
ecreto delaw los
refundido daños causados a una cosa o la destrucción de una cosa, que no sea el
sto propioproducto defectuoso con la condición de que tal cosa sea de las que
tarios y normalmentese destinan al uso o consumo privadosy el perjudicado la haya
loso utilizadoprincipalmente para su uso o consumo privados. Por otro, el es-
-espectd0eterrCf' tablecimientode un sistema único de responsabilidad civil para todos los
ban PrOductoresde los distintos Estados miembros. Pero, a pesar de este intento
do alguno por lograr la armonización, el Tribunal de Justicia de la Unión Europea ha
a
dad'9111/Señaladoen varias ocasiones que los Estados miembros gozan de cierta liber-
acosi f tad para establecer regímenes de responsabilidad diversos al de la objetiva
tina
do
os be ne RODRíGUEZ CARRIÓN,J. L.: La responsabilidadcivilpor las
.i Gisdefectuosos, Pág. 19
Ediciones Revista General (le Derecho. Valencia,
as Esa losco

ctoos0Si
elle14
G
 que Es
en la Directiva210. que el no haber
conseguid
eslgualdad o defi
tores especialmenteen lo que respecta al entre
los
establecimiento
sistema de responsabilidad subjetivo frente a otro objetivo, proclllc
productores que soportar una mayor carga económicaque
Otros211linos
Lo que me ocupa cn trabQjocs cl sistema
(le
mente
que pueden ser provocados por la inteligencia artificial. Con a losdaños
carácter
ral, podemosafinnar que se trata de un régimen de responsabilidad gene.
o sin culpa, por el que cl perjudicado tan solo tendría
existenciade defecto en el producto, el daño que se hubiese que
nexo de causalidad entre ellos. Concretamente, el artículo 4 producido
de la
yel
afirma que "el pajudicado deberáprobar el daño, el defectoy la relación
el defectoy el daño." Así pues, deja al lado la obligación de probar la
culpa,ele.
mento este que caracteriza a la responsabilidad subjetiva.
Este principio, el de la responsabilidad cuasiobjetiva,se mantieneen
dos sus términos en la propuesta vigente de modificaciónde la Directi\ü.
Como posteriormentetrataré de acreditar,una de las novedades másdes
tacadasen este sentido es la exclusiónde alguna de las causasdeexone-
ración de la responsabilidad civilexistentes actualmentey que sepretende
que desaparezcan. Otros aspectos a destacar, además del establecimientode
ese régimen de responsabilidad cuasi objetiva para fabricante del producto,
son los relativos a la valoración más objetivada del concepto de defecto,
el
establecimientode acciones propias en beneficio del perjudicadoyelnaci-
miento de la obligaciónpor parte del fabricante de suscribirun seguro de
responsabilidad civil.
por
Así pues, en la legislaciónactual, aplicable a los daños producidos
productos defectuosos, nos encontramos con un sistema de responsabilidad
prácticamenteobjetiva,frente al tradicional de responsabilidadsubjeti\ü,
que se basaba en la afirmación de que no hay responsabilidad sin culpa,
una
Es cierto que existió cierto debate entre la doctrina acerca de si hayAm-
diferencia significativa entre la responsabilidad por riesgo y la objetiva.
bos sistemas se caracterizan indudablemente por no ser la culpa el funda-
mento del criterio de imputación de la responsabilidad.Comparto lapos-
resideen
tura de RODRÍGUEZLLAMAScuando sostiene que la diferencia respon-
gue para el nacimiento de la obligación de resarcir en un sistemade tanto'
lo
sabilidad objetiva ha de mediar una relación de causa-efectoy por que
serían causas de exoneración de responsabilidad objetiva aquellas responsabili-
cansen en Ja ruptura del nexo causal; En cambio, en el caso de

la Unión
210 Sentencia de IO de enero de del Tribunal (leJusticia de
asunto Skovt/ Billa /unmshvareus
211 . RODRÍGUEZ 14-AMA.S,S.: ponsabilidad Civilpor
cit. Pág. 58.
 abe r
Aspectos legales dc la
inteligencia
artificial
ro Ob.StableehtrelldOd
nuca dad por riesgo podrá exonerarse de responsabilidad,
que que se produzca la ruptura del nexo no
que no concurra el causal, sino solo cn aquellos
siste casosen los riesgo típico también
delimitado por la en aquellos
directa de En cl Texto refundido, al igual que cn la legislación212
tificial. e 140 una serie dc causas dc exoneración, Directiva,se
& Ilte a pesar (leestablecen en
de señalar que se basa igualmente en un lascuales el
solo responsa aunque en algunos casos, los que no régimen de responsabilidad
afecten al
se tenclu-a
hub•lese que ni plena, o, como define JIMÉNEZ LIÉBANA,una operador,ni absoluta
el limitada,ofiginada por la puesta en circulación de responsabilidadobjetiva
artículo productosdefectuosos213
4
3.2. El régimen de responsabilidad civil en
la futura legislación
e probar pea sobre inteligencia artificial euro-
jetiva. la
bjetiva, se Dicholo anterior, no cabe duda de que la evolución
de las
nologías,especialmente las relacionadas con la inteligencia nuevastec-
)dificación artificial,hace
de la
Dih
dotarde mayor seguridad a los ciudadanos europeos. La comisión
la de las causas de exper-
mente y que se informesobre las repercusiones en materia de seguridady responsabilidad
prez
civilde la inteligencia artificial, el internet de las cosas y la robótica, que esa
nás del establecimientoi
modificacióndebe llevarse a cabo sin mayor demora, y ello en base a que
a fabricante delproduct las características de estas nuevas
técnicas "ponen en entredichoaspectosde los
el concepto dedefectt marcosde responsabilidad civil nacionales y de la Unión y Podrían menoscabarsu efi-
del peljudicadoye11L t cacia."El principal riesgo que encuentra la Comisión Europea es el relativoa
de suscribir unsegu la dificultad que puede conllevar "la determinación de la relacióncausal entrelos
dañosproducidosy un comportamiento humano." Efectivamente, el daño directo
Io realizará ese sistema de inteligencia artificial, ya sea de forma material o
producidos? inmaterial,pero hemos de ser capaces de determinarqué comportamiento
os daños
stema de humanofue el que lo provocó. Puede que sea un diseñoerróneodel soft-
esponsabilidad
subjtfi ware,una actualización inadecuada o un uso inconveniente,por señalaral-
un nexo con la
sin culp gunas posibilidades, pero siempre, en cualquier caso, existirá
nsabilidad
sihflz actividadde una persona física o jurídica.
de se refiere,dice
•na
acerca
Entrando ya en lo que al sistema de responsabilidadcivil un enfoqueespe-
basede
riesgo Y textualmente el informe que debe plantearse "sobrela
circunstancias normales
la cíficobasado en el riesgo." No cabe duda de que, si en
o ser Comp. culpabilidad en el daño
causado,tnucho
no siempre es fácil determinar la
lidad. participaciónde tecnologías
diferenc% difícil lo será si ese daño se produce con la
sistema comola inteligencia artificial.
detiniti\a entre el
n un yp0
Como ahora trataré de explicar, distingue la
propuesta
y el del resto
-efecto oeIlaS los operadores
sa sistemade responsabilidad civil necesario para
etiva ale respo
caso por {hodudas
ResponsabilidadCivil
el 212 RODRÍGUEZ LLAMAS, S.: Régimen de
cit. Págs. Pág.112
Úr1i00 37
y ss.
de la civil:
213 Vid,JlMÉNEZ LIÉBANA, D.: Responsabilidad
ticia
ppdi1d05
 90 Ramón Herrera de las Heras

de los actores. Los primeros incluyen, según la propuesta de Reglamento

bre Inteligencia Artificial del Consejo Europeo y el Parlamento Europeosos
nominada Reglamento por el que se establecen normas armonizadas de_
la inteligencia artificial, al proveedor, al usuario, al representante sobre
al importador y al distribuidor 214.De este modo, en el caso de los autorizado
las instituciones europeas se inclinan por un sistema absolutamente operadores
para aquellas actividades en las que el sistema de inteligencia artificial objetivo
considerado peligroso o de alto riesgo, mientras que para aquellosquesea
Esta lo sean se manifiesta favorable a diseñar un sistema de responsabilidad no
oculti jetivo. Esto, como señala parte de la doctrina, puede conllevar un problema sub
de tr; que no es otro que el perjudicado decida reclamar única y exclusivamente
La int al opemdor, y que sea este el encargado, en su caso, de repetir frente al
de posibles responsables como los productores o programadores,aunque resto
nues
escu estos. De este modo, EBERSse inclina porque la futura legislaciónrelativa
vece a los daños producidos por la inteligencia artificial pase por un sistemade
avar responsabilidad por riesgo en el que tanto productor como operadorres-
los pondan del daño causado como obligados solidarios215
inte La propuesta no aboga por la generalización de la responsabilidadobje-
tiva, sino que pasa porque la responsabilidad del productor esté basadaen
cor el riesgo, como actualmente se recoge ya en la Directiva 85/374. Comose-
Est ñalan GÓMEZ LIGÜERRE y GARCÍA-MILCO, "no todoslosdañosimaginables
se serán causados por defectosdel dispositivo y el Informe es cauto a la hora de extender
la responsabilidad objetiva a supuestos en los que la responsabilidad delfabricanteno
sea de aplicaczon
No debemos obviar que la propuesta de Reglamento estableceen suar-
ar tículo 11 una responsabilidad solidaria para el caso en el que hayamásde
c; un operador del sistema de inteligencia artificial. Prevé también el casoen
n el que tan solo exista un operador y que este sea a su vez el productordel
sistema, en cuyo caso el sistema de responsabilidad civilque prevaleceráserá

del ConsejoEu-
214 Art. 3.8de la propuesta de Reglamento sobre Inteligencia Artificial normasestablecen
ropeo y el Parlamento Europeo denominada Reglamentopor el que se
una responsabilidad por riesgoparael
215 El autor advierte de que el establecimiento de
sólose dirigirían
No
dueño del producto "podía llevar a proceder unilateralmente contra el operador.
objetivo y de cercanía local antes al operador que al pmductor.También
los peúudicados por razones por
cho que una responsabilidad del operador, concebida como sido
podría Perfectanwnte ocumr ha
Directiva, no
eec atractiva que la responsabilidad del Productor, ya que esta, en la mixto,
riesgo,
00 • pura, sino como un sistema de
diseñada como una responsabilidadpor agentes electrónicos
en la Vid. EBERS, M.: "la utilización de
estrictos, la respon
tríficojurídico: ¿Necesitamos reglas especiales en el Derecho de
inteligentes en el 16
núm. 3, 2016, págs. 15 y Artificial .
Op.
sabilidad civil?", en Rpvista para el análisis del Derec110,
S: G.: "Liability for
216 Vid. GÓMEZ LIGÜERRE, C., y GARCíA-MlLCÓ,
cit., pág. 505
 Aspectos legales dc la
inteligencia artificial
91

el del futuro Reglamento que, recuerdo, es más estricto

aun que el recogido
pasaremos ahora a analizar la responsabilidad
agentesque pueden llegar a haber tenido algún tipoaplicable a los principales
de
causado.Quizá el sujeto que cuenta tradicionalmente relación con el daño
con mayor relevancia
es el productor o fabricante del producto. Pero una de las características
que conlleva la inteligencia artificiales la aparición
de
una gran cantidad
sujetos,con distintas actividades y roles, que tienen de
relación
delproducto fmal. De este modo habrá que tener en cuenta con la creación
a
doresde la inteligencia artificial, a los encargados de generar los desarrolla-
los
a los encargados de aportar y procesar los datos, a los propiamentealgoritmos,
tesde los objetos que incorporen el software de inteligencia fabrican-
artificial, a los
propietariosde estos, y a los operadores o usuarios de los mismos,
algunosde ellos pudieran englobarse en una misma categoría217. aunque
Así, todos
lossujetos a los que me acabo de referir podrían encajar en el concepto
de
productor,a excepción hecha de los propietarios del producto y los opera-
doresdel mismo, que deberán contar con sus propias normas particulares a
lasque ahora me referiré.
3.2.1. Elproductor

El artículo 3 de la Directiva 85/374 define al productor como "laPersona

quefabrica un Producto acabado, que Produce una materiaprima o quefabrica una
parte integrante, y toda aquella Persona que se Presente como Productor Poniendo su
nombre,marca o cualquier otro signo distintivo en el Producto."Es evidente que
esteconcepto, con las características que conlleva la inteligenciaartificial,
no engloba todos los actores que, de una forma o de otra, participanen la
creación de la aplicación o del robot. Es por ello por lo que una de las princi-
palesnovedades que se recoge en el informe tanto de la ComisiónEuropea
comodel Parlamento Europeo es la propuesta de modificación del concep-
tode productor, en el que se debería incluir a todos los agentes involucrados
en la elaboración del producto. Concretamente, en su recomendaciónoc-
tavaseñala que, en el nuevo concepto de productor, deberían tener cabida
"
IOfabricantes, desarrolladores, Programadores, Proveedores de semicios y operadoms
finales. "

A pesar de que la Resolución del Parlamento Europeo, de 20 de octu-

de 2020, con recomendaciones destinadas a laComisión sobre un régi-
artificial señale en
nen de responsabilidad civil en materia de inteligencia afabricantes, desa-
incluir
COnsiderando B que "el concepto de Productor debe
operadomsftnales",lo cierto
Olladores,
Programadores, Prestadores de serviciosy y
entre operadores por un lado
que durante toda la propuesta distingue

legal and ethical considera-

217 GIUFFRIDA, L: "Liability for Al decisión-making: Sotne
• , en Fordham LawRcuiew, Vol. 88, núm. 2, pág. '1'13
 0
一 03
一
=
一digital.
冖
dep
n ca
,
en一 deno p general,
、 6 pa-saran,
9 rec unla DIAZ-ALABART, mas
Parlamento
indemnizaciön 冖 0
一 冖 Re
冖
re establecida
oduc
Sible 92

、 ∕por el Ac Ciein ons 0

0一 0
dad

一 responsabilidad
00ad9 弓「
responsabilidad
一冖 、冖
09u allå 、
: 一A
Sllfre
、 u 冖
comerci()
~ 丶 一000M95ZCE eligencia
000 冖 00a
0 00
0
eliminaci6n

丶
~ 亠 冖
0 segun
二 mente0
grado ~ ~ en 一
9
:0•ta
乛一
00m0冖
0 esta
la
Oduc exigencia
:
apenas

一 0
9 ,
ad en hacecuan Ese p
冖 :
= 0 ;0
to 0 se de 冖
configure

=
0一
de la
0 、
ar

·
~ de la em
十
丶
=
de ·
0 describiry
seguridad
D 冖 冖
0 =
一 '
ificial, 0
一 establecen
·
modificaciones,
debido menc16n
Direc

、
sussob 一
=
:
一 一 daios 冖
su
一
冖 de
a 0 cu b
:
ac men
3 = de
0
la 冖 、 一
0 冖 0
= mos 0 :
0
produc冖 go ualmen
0
exenclones
:
como
0玄e
丶 一 一 冖
del
一
冖
冖
、 0 v a y iva
」
0 冖
一 en •
e
0
012
spondan
冖 0
a
~ 0
冖
冖
la a la 04 85Z374
0
9
de
Productor
§
0 乛
一0
en leten冖que que
peligro, a
ividad,la 一
冖
0
=
seguridad 0
一
Ram6n

b la
、
冖 冖0 : 乛
una

一
一
exis
冖 一
乛
0 -000 冖
,一
ados 0
丶 V O
propuesta
00
0
ci ~ la 0 e
responsabilidad
一
」
丶 0 0 un la
一
cu " recomendaci6n existen
la= al
冖
ta 0
冖
0
responsabilidad

=
:
encia ·
ac hoy apostando
Herrera

丶
00 0 fabrican
mäquinas como PO
乛
PO
一 D 一
= final
debe
Ahora, 一
= la
De
0冖
…
亠丶
丶
0
一 general
ividad
masdeprod este
desempefiar
exis
冖 冖
一 冖冖
0
=
一
=
0- 冖d y
冖
0
00 、
0 va0
sera
e
:! 丶 =
de
elevada
0 raIlevada
Cier 冖 」
ahora
aunque -go
dafios 一
冖
sutrabaJ0
一
= 0
一
0 00m :0-
las
~ 一 冖
0 0 modo en
030
Lo ~
ccto debe 丶
queque
85/374 0
por
onable 」
乛
冖
一

冖
0b de000Z4aaudef del explicaré,
冖 es.
Heras

十
mismo
一 porla
nte 一 一
0
一 一 la
producidos
0窰e
deforna
= 0
」 Incluso

:
一
7g冖 、 un el
producdiria
era
a 冖 0
:0冖
…
onomla con
del 0 p cabo ~
to
del
00 esta
informe
/CEque 一
Papelfundamental
一n2 冖
冖

400 一0
iva

oduc Comisiön
~ 一
0
冖
eta que
0 =
=
=
inuidad
…
ra乛 :
que,
0
n
0
219

que 」 poen一 a
乛 一00
=
en
0
冖 3
乛 冖 冖
乛
w
一
= 0 or
0
la

£
del 冖 ~ 冖 yendo
p 9
、 冖
冖
erapert
一
冖 冖
me 」… a
冖
po
~
00n
一
= 一
el

=一
Como a informe un
00m0
sefiala

e.
冖 ella 一
0 {mb
= 00 0
el
0 匕 0 冖 二
0
0
台 ra ~ del
E
de冖 冖
一
0 0 0
一 : per-
0
∕ =
=
,
乛 = la
0n400n
~
一 de un =
乛
0 end
。
0 0
、
冖
…
00=
=
m00
一冖 丶
一00
sis
0 = 0 0 enla de la 0 冖
que
乛 0
0 = 一
0 冖
0 0
冖 一=
= 0
一
冖
0
de la "la la del 0
♀ 0
ema
0
十 0 冖
0
 Aspectos Icgalcs dc la intcligcncia artificial 93

que los defectos del producto aparezcan con posterioridad a su puesta

en el siempre y cuando aquel siga siendo el responsable de las ac-
en circulación,
alizaciones del producto
tu una novedad importante en la propuesta realizada es
Lo que sí conlleva
carácter general, de la exoneración de responsabilidad del
laexclusión,con conocidos como "riesgosdel desarrollo",que
productorpor los no es otra cosa
la objetivación del sistema de responsabilidad civil como
queprofundizar en
exoneración, que sí aparece en el artículo 7 de la ac-
acabode señalar. Esta
y en el Texto Refundido de la Ley General para la
tualDirectiva81/374223
Defensade los Consumidores y Usuarios, se entiende ahora que, como seña-
GÓMEZ LIGÜERRE y GARCÍA-MILCÓ, "podría liberar de responsabilidad a
buenaparte de los Potenciales responsables en perjuicio de las víctimas y en beneficio de
De este modo, hay una causa de exoneración que urge elimi-
pmductore"224.
nar.Concretamente es la establecida en el artículo 7.b que permite exonerar
de responsabilidadal productor en aquellos casos en los que "el defectoque
causóel daño no existiera en el momento en que él puso el Producto en circulación o
queestedefectoapareciera más tarde."
Comoya he advertido, una de las características que acompaña a la inte-
ligenciaartificial es precisamente la de ser capaz de ir aprendiendo con el
tiempoo, lo que es lo mismo, de ir cambiando a través de distintos proce-
sos.Igual sucedería con las actualizaciones que se le pudiesen ir haciendo,
algoque es muy habitual en cualquier software. Si se mantiene esta causa
deexoneración, el productor no sería responsable en aquellos casos en los
queel daño fuese provocado por una decisión tomada en base no al soft-
wareo algoritmo original, sino como consecuencia de lo aprendido por la
máquinaa lo largo del tiempo. Algunos autores se inclinan también por
eliminarla causa de exoneración establecidaen el artículo 7.e que hace
referencia a que "en el momento en que el Productofue puesto en circulación, el

222 Asíse recoge en la recomendación 14 del Informe de responsabilidadcivil por la

inteligenciaartificial y otras tecnologías emergentes, pág. 6
223 Establece el artículo 7 de la Directiva 85/374 que "el pmductorno será vsponsablesi
prueba: a) que no
puso el Producto en circulación
b) 0 que , teniendo en cuenta las circunstancias , sea Probable que el defecto que causó el daño no exis-
tieraen el momento en
que él puso el Producto en circulación o que este defecto apapeciem más tanle
c) 0 que él no fabricó el producto para
venderlo o distribuirlo de alguna forma confines económicos , y
no lofabricó
ni distribuyó en el ámbito de su actividad profesional
d) 0 que el defectose
fniblicos debe a que el producto se ajusta a normas imperativas dictadas por los lxxieres
e) 0 que , en el
Científicos momento en que el Productofue puesto en cimulación , el estado de los conocimientas
) técnicosno
Permitía descubrir la existencia del defecto
f) 0 que , en
el caso delfalnic,anle de una parte integrante , el defectosea imputable al diseño del
a seha incorporado
0 a las instrucciones por del
224
cit., Pág. Vid. GÓMEZ LIC,ÜERRE, C., y GARCíA-MlLCÓ, G.: "Liability for Artificial op.
509
 De 0 -000 que, la :
que
00 0
·
0 0 cesidad
、
in 冖
00乛
twa 、 puesta
incluir me alarma elalar-ma
comp
que alanna, 一
m一
、
…
ado
del

一
mental
冖
eligencia 0- 0 一en h00h0
· 、
Pero
desarro

Si
冖 冖 0
defecto

de de
0 Oba la
冖
:
detendré

0 0 = bien 一 0m0
·22

mo 一 0 0 0 冖 一 funcionaba
en冖
fundamental

一
0 00
= ; 0
0-000m de0
巴 0- ·
a pudiera
ha 冖00n
h 0 0 冖 este 丶 0
一
00
乛 :
la
ladores,

一 stiJ
artificial
0冖 0 ra0 0 0冖0一
zad es la
一
225

一 pedir La hora provocado

0 、 一
0k00
0
sistema~
一 me l a
0
、 、 0
con
冖 一
00n 000匕 cuenta
uac en 00h
parlamento la 一冖
responsabilidad

= 、 0
冖 h
、
PO
que de
、
冖 de ser

0 、
、
~
00一
= hora
0
0 、 0 -
00
mayor
冖
一 la
、0in0también la一
0
que establecer
exonerado
; On ed冖 om 一
0
de …
0
一
一
electamen
冖
0
amadores

, el
Uni6n 一
00
lame冖
0 一一 que de
dafio en p 0
= 」 = querespo 0
~
一 nc 00n00P
0 0
a

一 la冖 一 一
Ramon

、 0 0
冖

一
encl()ll
冖 」 丶
…
:

:=:冖
冖 冖
0 0
:
0
0
一
0 冖
0
u hemos
、 Eu civil la
」 冖 09一
c ula
vivienda.
一0
0-
冖 0
冖
0
冖
乛 F00
Isabilida
一 乛
m in
0
0000 一
0 eva
一 乛 0 nada 冖
0 0
一
de

、 0 冖 冖 」 冖
n226

∕
responsabilidad
y de
一 冖
000-00 0P0 de
err

p •
al 0
en

= encia que
del
0
:
reparar

冖 冖 hablado
冖 0、 冖
una
era

= Cla
0000一
00hmen
deberfa冖
0 20
n0 m6 la
de
la
radicional
desarrollador
Si 冖
;冖 00m0
一
ha ha0
冖 乛
causalidad
一
一冖0
0
0
000m0
00m0冖 :
一 、
一 ido el
do 冖
produc
que
00 =
= 000m
乛
一
la: 冖 0 m ons
en impedir er
0 一 一
冖 0 etarl()
·
dafi()

:== 0
figura
= 冖
0
enun0
冖 一de civil a
冖
ra冖 =
0 乛
冖
0 目 =
0 00 ~
ram 0 apartado 0 乛 冖
一 =
一 0
del

·= : 0 一 0 0
como

la p causado.
冖 la
丶0 eta
0 : = Cia 0 0 冖 que puede
-del
= Me
del

0
software

冖00m
00 0
一 ·= 9 Oduc
、 冖
0 0 =
0
一 =
。 、
0 一
produc

一
un

冖 巴 、冖 0
= 一
、 0 0 0
一 一 冖 0 000 =
一
m 00W. :
0= es 乛 = , 0
0 p
一 osp 0 = 冖
elemen
n 冖 且。 0 冖
冖
。
PO
冖
冖 =
0
冖
0
一一 一
000 0
一 冖
冖
0
冖 m0
oduc
一 = ,
0 ala
Me
。
冖

冖 = 彡 一 乛
0
乛
or.

~ =
0

0 0 一 0 0 。 乛
= 台 0 。
冖
乛 冖
一冖 一 00 0 一 0一
乛 ,
冖

冖
0
十0
乛 耳 0乛
冖“
~ =
0
亠 一
冖
0
冖
0
。
la
0
乛
funda-
一
la0
0 0
乛 。 =
。 。
0 0 冖
0m0

一 = 冖
0 冖
0~
一
 Aspectos legales dc la inteligencia
artificial
95

softwarese trata de un producto, bien independiente,

complejo, que es el que permite realizar bien unido a
o más distintas tareas. Pensemos,
A.ejemplo, en robot. Este contará con un software,que
realmente será
lo dote de inteligencia artificial, y un hardware, que sería
el armazón
Sialguien o algo resultase dañado por el robot, podría dirigirse
cualquierade ellos, por ser ambos productores. Otra cosa es quefrente
luego
I creadordel software pudiese repetir contra el del hardware, o viceversa,
que el daño trae causa única y exclusivamentede
Icreditandodel robot. uno de los
:omponentes
Hayautores que sostienen que los programadores del softwaretan solo
de los daños Provocadospor los defectosdel Programa."Pero
",psponderán habría
matizaresta afirmación tan rotunda. Es muy posible que en muchas oca-
sionescoincidan las figuras del operador con las del programador del soft-
vareo con el productor. En estos casos, la propuesta de Reglamento esta-
blece,como ya he mencionado anteriormente, que este "debePrcvalecer sobre
la Directivasobre responsabilidad por los daños causados por Productos defectuosos."
Estosignificaque la responsabilidad sería objetiva también para el progra-
mador,siempre que nos encontremos ante una actividad peligrosa o de alto
riesgo.
Deotra parte, un elemento que no podemos obviar,y que dotará de ma-
yorcomplejidadla determinación del responsable de los daños que pudie-
senproducirse por la actividad de la inteligencia artificial, es el hecho de
que,a no tardar mucho, los robots podrán ir adquiriendo una complejidad
tal,que serán capaces incluso de llegar a independizarse de su propio diseño
origina1 . De ahí que los desarrolladores de softwaretengan un importante
227
papelen este aspecto y deban de contribuir al fácil acceso a su trabajo. Así,
en materia de inteligencia artificial se habrá de garantizar los principios de
"transparencia,auditabilidad, explicabilidady trazabilidad'. Se trata de otra de
lasnovedades más relevantes de la propuesta actual y sobre la que menos se
hatrabajado hasta el momento.
Así,estos elementos se convierten también en novedades muy destacadas
la
paratener en cuenta y serán determinantes a la hora de poder establecer
COrrespondiente El segundo de los
asignación de la responsabilidad civil.explicabilidad, con-
Principiosa los que anteriormente hacía referencia es la
sistenteen hacer posible que el contenido de la aplicación o del software
así lo en-
Puedaser entendido por el receptor. La transparencia, al menos
referencia a un sistema que, de por sí, sea
tiendela Comisión Europea, hace
sencillo y entendible.
trazabilidad y auditabilidad,por ser
Me detendré en los principios de civil.El prime-
esencialesen el proceso de asignación de la responsabilidad

IkXRRIO
robot?", l)oecho
227 Vid. GARCíA-PRlETO CUESTA,].: "¿Qué es
ANbRf.s,M.
(Dir.) , Ed. Wollers Kluver, pág. 59
 · responsable
han 0b00 utilizados
Judicial
:0
:
PO 0
a: 、 Ya
96
la culizar
~
ponsabilidad
perjudicado
一
冖

= 0m0
-0
Sefialan, eligencia
、 g
crono

0 0- : = 00m0
inteligencia
一 no NO
podido 、 0
=
ro 一
0 en 0
一 a冖
、 0
20200

0 、
04 冖
0
冖 一
0n0 0-
es 」 0n2
冖00
la
poder
= 00
: : Para
razabilidad.
= = 冖
misma.
=
cre=
con

0 冖 、 que,si 0 0
ar

00m 0 la000d0
del 冖
、 0
一 desarrollar,
一

00
ema es civil 冖

、
一

冖 =
ificial
冖
capacidad 冖 =
4/apple-no-ayudara-fbi-desbl
ar
一
ener
razön,

ora冖 0 0 00
un
desarrollo
片
a0
一• rata、 menor
bien ificial,elemen 冖
por 」
、 la
Es
acceso
Es
0
9 =
0
Carta
eviden
eliminando

0 一 =
SAIF

一 0 00n el
9 muy0
000
=: cn冖
enes "todosdafio
al =9=
fab 0 、
nt
一
09 e n0q0
= 丶 Ramon
del en
、
冖
•l importante
0 0
y
冖
e 0 冖
e
冖 00
一 0 一 Derec
AMMANATH

/冖 /
: 一 一 0
esencial
do que quedesa
一 d 0
: :
causado,
冖
IOS
一
~
0
:0 一
冖
0 0 一 、
para
de
0
冖
den pa
sefialamos, n
; 冖 =
probary
distintos
cualquier 乛

0 :
一
en err-era

冖 丶
A000 一
0
0 : 一
冖
00m0 un
vo0 de
一 ~ a 一
一 =
0 la 9、 、
0 · caso

= 」
)quear-tiroteo-pensaco

=
229d D
que
la el

0 0 del
~ ,丶a
dc
09 an
hora
一
一
0 =
0 一
一 …
es
acceso
que hora de
ta
la e 0rta
encrip ~
()a
JasHeras

0
一
= 0
冖 、
000m
00= h
、 一
冖
I
」
一
VO
pues …para
de 乛de一 0
que
丶
r a
丶
legislaciön
、
丶
一
nen
冖 」 一
a
4= 0 ma
a
0 · haya
en
,丶 :0: 0 冖0 冖
冖
ya es esta
u
=
aciön
derec 0 、
丶 、
que
冖
0 0
del
0
se ablecer
一
冖
w 一0m0: 冖
0 00一
mp
que
prueba
一
一
一 0 一 d han d 0
0m000 ~
、
se

de 、 0 que
0 =
一 0乛
一 IA„
一
0 0 0laun匕 dedado entender
9 0 establecer
pueda

0 、一 一 冖
el
一 0 0
pudiese

0 : u
丶
po

一 冖 0 十 …
nexo
=
冖
0
一 一
0
冖
一
0
0m0
冖
0
一
0
一 b confiar 冖
p 0
000 、
=0
∕
乛 0000
寡 冖
,00 • 。
冖
tan 冖
冖 一 0
.
亠 causal.
0 台
一 ' 一 0~ ~
00冖
mo
一
~en
0 la
冖
一
0
冖
0
0
=
 Aspectos Icgalcs de la inteligencia artificial 97

del sistema operativo o software de este cuyas consecuencias

característicaspueden ser de un coste muy elevado. Hablamos de miles de
empresariales en juego, por lo que la legislación debería
millonesde euros establecer tam-
medidas para asegurar por un lado el acceso al contenido a las
biénalgunas judiciales y, por otro, la protección de la propiedad intelectual
autoridades
este sentido, varios países de la Unión Europea ya han recla-
delmismo.En de establecer por ley estas Puertas traserasen una futura
madola necesidad
regulación europea
Comoseñala la Comisión de las Naciones Unidas para el Derecho Mer-
cantilInternacional, ninguna de las definiciones ha sido aun aceptad de ma-
nevauniversal,el gran problema en este sentido será de índole probatoria,
yaquelos afectados podrían verse en la situación de no ser capaces de deter-
minar la responsabilidad al carecer de disposiciones específicas231
En definitiva,y a modo de resumen, los creadores de un software,o los
desarrolladoresdel producto, pasarán en la futura legislación a ser incluidos
en el concepto de productor, asumiendo así la misma responsabilidad que
a estese le asigna en la actual Directiva. Así pues, el que dota de un software
talquepermita que las aplicaciones o los robots se independicen del diseño
originaldel fabricante deberá también asumir los riesgos que esta autono-
míao independencia pueda conllevar por lo que, aunque no sería respon-
sablepor vía directa de esos hechos, sí que lo sería por vía indirecta a través
dela responsabilidad civil por riesgo. Así lo recomienda el Parlamento Euro-
peoen su informe con recomendaciones destinadas a la Comisión sobre un
régimende responsabilidad civil en materia de inteligencia artificial apuesta
por "aplicar un régimen de responsabilidad justa a losfallos de los Programas opera-
tivos,losfallos de red y los riesgos relacionados con las opciones de Programación que
actualmenteno están adecuadamente cubiertas." A ello hay que añadirle el hecho
deque los desarrolladores de software podrán actuar también en ocasiones
comooperadores,por lo que su responsabilidad, en dichas circunstancias,
paralos casos en los que sean de alto riesgo o peligrosos, sería plenamente
objetiva.
Hayautores que defienden que es necesario que cualquier producto do-
tadocon inteligencia artificial señale de forma clara quién es el responsa-
bleen casode que éste provoque un daño a terceros. Ponen el ejemplo de
un ciudadano que utilice los servicios de una empresa cuyos productos van
destinadosa la realización de inversiones a través de una aplicación con in-
teligenciaartificial, y que, debido a los malos algoritmos utilizados en ella,
pierde sus ahorros. Sostienen que " debería haber un mecanismopara identificar

230 Alemania prepara una ley para que existan "puertas traseras" en cualquier dispositi-
vomoderno. (2017). DerechoDe La Red.Accesible en https://derechodelared.com/alemania-
ley-puertas-traseras/
231 Cfr. Comisión de las Naciones Unidas para el Derecho MercantilIntemacional
(2018) , Aspectosjurídicos 3
de los contratos inteligentes y la inteligencia artificial, pág.
 0 冖~
m 00
、 一 冖 quién
一 冖 mo.a00 PO0
= 1a0
98

0 mir … … pira
」
一 0
冖
que gencia,
mismo.

la
n 0
ad
0
cues
Op 冖 PO 0
00 一
software,
丶
0
en sable
一
n?
~ 、
0--
ova cit.
乛A onsab
0
…
0 0 冖
一
()n
0 emp 冖~ : 一
sera一
、 、
:丶
一0
0 弓
el

30
一 eada
0- 一 0a4d040
、 冖 el 冖
0
0
1611 ro 冖
la la
~ 2 丶 dafio por 冖 m20
冖 0
que
…
del
一 a
。
=sue
KINGSTON,J.: 0 - n0004
: 0m00
、
冖
Asf, problema
Techniqu
0-
一
0
ta
=
一
d
pueda go 一
…
0
丶
en
dafio, 0 podrfa 一
cosa 0
」 ~
0
冖0=0 乛
0 h0
=
冖 、 que
0
el la
0- que 一
0 一 丶
el surge
d
1111 sea

=
一
·En no sentitular provocado que 冖
一
m冖
一o一
6 0
1 、
que
、
一
and 0
一
ya ~ de
mencionados
solidaria
一
0 de 冖 la
de 、que
ambién
= 9
一
0
0一
00一 =
0
de
丶
~
=
一 culpabilizar
hubiese
冖
el
mi一
=
que
aportan 0
~ …
一 =
冖
冖
P
=
一de0 ·
ido in
Applications
Artificial erminarse

一
ilidad 冖
~
·00 0
de

mento
(1)1111011
亠 0podrfa 」
一

一
一 0 '冖
23
冖
0 一
00 m2
ampliO se
errogan
0
civil
冖
0
los Ram6n

pueda plan ser 一 0 =

ci 冖 、
=冖
m冖
generado
NO
por
一
nte 忥 、
、
d .=
derechos
一
冖 0- 一
000
hubiese
un

0 n
=
丶 冖
冖
al
冖 0 00m0
la ea
一
:一
:一 del iene ser 」
Antes
、
0 o.
冖 elsoftware
=
乛

冖 benefic
la
e lerrera

la
al
=
au mo
el
0 一
relaci6n

z=a
9
一 =
al de es 冖

一
operador
~ :
nteem
causa
afirmar
0
0 or 冖 hechO
~ 00 0
culpa
0 que 冖 quediseiador el vo la
:00
一

=
Si
~
In= 一
、一 =
sido
0 ser del mismo.」 de la debido 0 一= 冖
del de
:
0
de

0
deberåde pérdida
de contra 一
~
~=
、
冖
0=
==0
n0- 0 0
las

Le
enc 一
一
9
0 el
causalidad•
Clue, el
que冖
misma.de pira
=
0:cia
0
0
一 冖
0 :9 Heras

= 冖
冖 =
09 :
erminar que
、Liability, 冖 de
del
m =
programador,sin()

0
podra 0 、 冖 ser 冖
臼d、 、
patrimonialy
0 00G
0
∕00 一 00- 一
冖
一
:冖
la0 ;también
a
一 P u debe la
一 0000
=
0 丶
冖 一
KINGSTON
responsable una
·pfue,al
el
一 一
pag.
冖 0 ;0- 冖 a 0
cia
aplicaciön =
0 …quedel 0
po = 、
software
ram 0m4
一 :; =
:一 一
quién
冖
、
posible
一~
de
冖 =
一
~
~0
一
=
=
一 0 Il 0 responde
0
un0
on=
menos
00
0
0 冖
冖
0 00
一
0
冖
0 冖
r冖
一0
mO ~
pro es
a 」 queel au en
es, 00冖0
冖
00
=
00
pudiese
n.
no
、
0 ,
0
一 、
十
一
0
falta

十 0m0
planel
0
0
一
一
0
一
冖= e乛
0 ~
一
冖0
ama 0 0冖 po 0 ~ 一
m
~
冖
00
冖
ea
04
冖
del
冖
乛
0
芻
~ =
一冖 一
0
ela
…
00
冖
。
乛
,0
十000
一。, 00
一 =
一
0乛 , 一 0
0
 pectos legales de la inteligencia
artificial
99

la
-ogidatambién en recomendación del Parlamento Europeo.
será aquel
I operador, queque a su vez que controle el riesgo que produzca Hablamos
la inteli-
,nciaartificial y obtenga algún tipo de
beneficio por
opuesta de Reglamento aprobada por el Consejo Europeo y el su uso. La
) Europeo en materia de responsabilidad civil incluye dentro deParlamen-
la
el operador al proveedor, al usuario, al representante autorizado, al figura
y al distribuidor
impor-
ador
Estapropuesta distingue entre operador inicial, que será cualquier
per-
sona,ya sea física o jurídica, que ejerza algún tipo de control "sobreun riesgo
asociadoa la operación y el funcionamiento del sistema de IA y se beneficiade
y operador final que será aquel que "definalas su
funcionamientô' características
deIn tecnología )Proporciona datos y un servicio de apoyo final de base
esencial y, por
tanto,ejercetambién grado de control sobre un riesgo asociado a la operacióny elfun-
234
cionamientodel sistema de IR'
Tantola Comisión Europea como el Parlamento Europeo han justificado
la inclusiónde este nuevo sujeto en la futura legislaciónsobreresponsabi-
lidadcivilcausada por la inteligencia artificial. Concretamente, el Informe
conrecomendaciones destinadas a la Comisión sobre un régimen de res-
ponsabilidad civil en materia de inteligencia artificial del Parlamento Euro-
peo, sostiene que " la responsabilidad civil del operador sejustifica por el hecho de
quecontrolaun riesgo asociado al sistema de IA, comparableal del Propietariode un
automóvil' . Este sujeto, actualmente se rige por las reglas generales de la
235
responsabilidadcivil, bien sea la referida a la responsabilidad civilextracon-
tractualo la responsabilidad civil contractual.
En este sentido, como ya he señalado, recientemente se ha presentado la
propuestade Reglamento sobre Inteligencia Artificialdel ConsejoEuropeo
y el Parlamento Europeo denominada Reglamento por el que se establecen
normasarmonizadas sobre la inteligencia artificial, que fue publicada el 21
de abril de 2021. La principal novedad en este aspecto se refiere al estableci-
miento de una triple división entre los distintos sistemas de inteligencia ar-
tificial:prohibidos, de alto riesgo y aquellos que no son ni prohibidos ni de
sistema
altoriesgo. Dependiendo de ante cuál de ellos nos encontremos,el
de responsabilidad civil será objetivo o subjetivo.
artificialpro-
El primer bloque se refiere a los sistemasde inteligencia a grandes rasgos,
hibidos,detallados ampliamente en el artículo 5.1, que,
explotar las debilida-
serán aquellos que tengan como objetivo manipular o se prohll)e el uso
deso circunstancias especiales de las También
personas236.
wcomendaci(h
Reglamento recogido en el Informecon
234 Arts. 3 e) y f) de la propuesta de de inteligencia
civil en
nes a la Comisión sobre un régimen de responsabilidad a la Com¿sión
con wcomendacionesdestinadas
235 Vid. Parlamento Europeo (2020) , Informe pág. 9
sobreun régimen de materia de inteligencia artificial,
responsabilidad civil en
236 Artículo 5
1. Quedan prohibidas las siguientes de inteligencia
 ridad 0
一
0 - en
mien 0- la mien
、 peau psic016gico
una 0
=
巴
mente
0
capacidad
a 0
0 ,
SC
0 = 冖
legjsJaciön tamente

冖
= 冖
aparecidos;

pun
一
100

一 0 eros 冖
一 la
generaron
冖 冖 de onoridades
Ja ·
000
d)冖0 一
一 冖
0
persona
la
era 0
一 一
m comercialimcion,
fi.sica 一
00m00
冖
de、
一
: el social
de 0
一
uaci()n
mismas
uso 0 tratamien 一
necesarl()
-00
、
00m0 一
:
dafi0
de

0000 de0 一
personas 00 一 a
一 capüblicasa pe一
esa 0
、
0
一冖
=
0 、
0 冖 mis
0
-00
一
o r = a que de 0 一 一 tam
dicho

duran
recogleron

一 00 -一su en 一 冖
r
persona
m00
0n00
一 u
一 CO
=
0 00 gravedad•
em no冖
para
0
a
一 sus
00n que 0 : z
era ac
一
0 allä
0m0
una :fines 一
一

冖 一
0 p
冖

perjudicial e en
=
stado

0 en
= :
fisicas
、un
ex 00ndu00
冖
0」 = 一 =
000puesta
uno
0冖
amenaza de
一
u 冖 冖 su
denombre a a 00n
一
=
、 0
= 0
一 la
una
6g00
00 0-
0- 0
miembro.

identificaciön 0-0
=
de
0 冖
de
一 ifi sociales 冖
- erminado
t1C 冖
a 0
一 0-ta 一
00
00:0
0 。
一

一 fin
= 0 一
0-

un
0 一
al 0 do
0
siguientes a
desfavorable - 0
un: 一
0 000:
Ram6n

ataque
00m0 ;me、
pe para
de=
0
d ~ :
、 一
、 。
=
de-Ona
冖

一 = 。
e
IOS
一
4 m00
manera
0 0
一 0 0一。 He
; 十
乛
:
biométlica
de no 一 :、
一
0-0
la
0
0 冖
manera
1n。 乛
or sustancial
da
uso
e evaluaciÖn
、 乛
objeuvos;

冖
0S… 一
0
: 0 ut 00
0 ropo
que 一
era
de 、 一
ta :laa 、 dan
determinad&S
endede
=
00m00
zac= 冫
0 =
。
maten.almente
de
…
0 me 0
一
冖
0- tiemPO, cause 一 =
0 :
、 un 一
inminente
=
一
on
distancia
、
-
一
冖
u clasificaciön=
0
0 = causesistemade
000 He
=
、
do 、
0
00n 00n 0n0sobre pueda
0 00
乛 冖
1n0 0
一
、
0
一
:="en 、pe 一 ~0 00n00 0
: 乛
= 00
= 冖0=
、O
0
=
一
0
一 00on 00n 、
0- la 0
、
u 0
一 em 0
= 0
·
冖
0 0
=
0
empo
冖
、一b de
nbd 0 la ~
、
00m
0
=
一 0 0 =
冖
00 =
。
:0
冖0 usosea
冖
0
: 冖
fisicas
ex
… 0 de un
fiabilidad 乛 0
: 冖
一 ; 一
00。
十 0、
04
00 compo
0-00 0
冖
冖
0
su
一00m 、 00 =
0 0
=
0 0
, , 一
。
-' 040 0
…
。 0
一 。 0 目
0~ ~ =0 000 n t
~0
冖
一 一
一0乛 一
0。 。
00
、0
。 冖 ,。
冖
一
 Aspectos legales dc la inteligencia
artificial
101

La propuesta de Reglamento
Ido Anexo 111237. se ha basado en
fundamentales para determinar este tipo de tres crite-
actividades:
Por un lado,
la finalidad del sistema en sí misma y, por otro, en los posibles
leda llegar a causar, así como en la gravedad y daños que
probabilidad de estos238.
El último de la clasificación serán aquellos sistemasde
inteligenciaarti-
cialque no se encuadren en los prohibidos ni en los peligrosos
cuyomar-
;en,después de la amplia clasificación a la que haré mención ahora,
y se reservará para actividades menores y que no sean es muy
susceptibles
degenerar controversia.
por lo que respecta a la responsabilidad civil en este ámbito, coexistirán
dossistemasde responsabilidad civil distintos. Por un lado, aquellos casos
en
losque nos encontremos ante un sistema de inteligencia artificialprohibi-
doo peligroso, de riesgo elevado como lo denomina el Libro Blancosobre
inteligenciaartificial de la Comisión Europea, y, por otro, para aquellos que
no los sean. Para los dos primeros casos, como ahora pasaré a explicar, se ha
diseñadoun sistema objetivo de responsabilidad civil,mientras que para el
segundoserá subjetivo.
Me centraré ahora en el estudio de los sistemas de inteligencia artificial
peligrososo de alto riesgo, con el objeto de precisar con mayor detalle las
característicasy consecuencias en lo que a responsabilidad civilse refiere.
La primera de ellas es que la inteligencia artificial sea empleada en un
ámbitoen el que sea previsible concurran riesgos significativos.En el ya
mencionadoLibro Blanco sobre inteligencia artificial establecen sectores
comola sanidad, el transporte, la energía y el sector público que pueden
. La segunda de estas es la que se refiere a que
tener especial incidencia 239
esainteligencia artificial se use de tal forma que puedan aparecer riesgos
significativos.Es decir, que, si bien algunos ámbitos como los ahora men-
cionadospueden ser considerados como de riesgo, puede que la inteli-
genciaartificial sea usada para un tema que no implique riesgo.El propio
LibroBlanco señala un ejemplo clarificador en el ámbito del sector sanita-
rio que, si bien es un sector complejo, un error el sistemade inteligencia
artificialpor el que se asignan las citas de un centro de salud no implicaría
riesgo algun0 240

Artificialdel Con-
237 El artículo 7.1 de la propuesta de Reglamento sobre Inteligencia armonizadas sobre la
sejOEuropeo y el Parlamento Europeo por el que se establecen normas
actualizar la lista delanexoIII
inteligencia artificial señala que "La Comisiónestáfacultada para ... siguientes.s."
añadiendo sistemas de IA de alto riesgo cuando se cumplan las dos condiciones Artificialdel Consejo
238 El Art. 6 de la propuesta de Reglamento sobre Inteligencia armonizadas soba• la inte-
Europeo y el Parlamento Europeo por el que se establecen normas
para los sistonas de IA de alto nesgo"
ligencia artificial establece que " las teglas de clasificación (l)tificial- un enfoque
sobe la inteligencia
239 Vid. Comisión Europea, Libro Blanco
(Jilentadoa la excrlencia y la confianza, 2020, pág. 21 21
artificial..., op. cit., pag.
inteligencia
240 Vid. Comisión Europea, Lilno Blanco sobe la
 -一 」 fi
, 0
, 一
;
一 0
∕
一 la ment=
0 0
一
巴 =
=
0
y
la 0
0 冖
=
exigl(ias personas

24
冖
0 o
Iln 」
lntema
(311
a 」
0
一 一
0 0
"en

冖
一、
0 = 0
identificacion
一
102

· al ' 、
relaciones,

ayuda
0 Euro
b) 3 a)
一 ,
1
冖
0
冖
mp
VI
)」 a)

一
2.Gesti6n

0
tiempo
a) ,Educaci6n
4.Empleo,

一
-Identificacion

: 一
一 一
0
= 0 :
(一
一 Sistemas
一 de 丶
一
0- Sistemas explotaci6n

a l 0
Sis

0
一
Los adas
一 冖
OS

丶 」= la
、 一
0 0 一一
: 0 me
habi
0
0 =
rnédica•
一
sistemas expertos
冖

0
emas

;: desu•nada · 0 00 乛
fisicas

一 冖 一
real"
冖
de em
ualmente ademås
~ 一 」
l
detallado
m a
一
y

: 一,
SObI*C
den
一 0 乛
一
冖
0
gesti()n de explotaci6n

乛 =
dey
= 一 = v a一 0
y

: 0 0 一
•
a

de IA formacionIA y
puntuaciönde 0 0 」 '一
"a

一 冖
del IA

049
centros

de 4m0 la
de
= =
poste
ca
destinados al la
· IA destinados
一 ; 0
:
des

一
de 冖

0
in
、
冖
一 =
råfico

'Cl
egor1zaci6nque
一
destinados para

0
冖
一
冖

冖
eligencia
冖 一
乛
trabajadores inados

om que一 la 一 一 乛
0
educat1VOS

0 一
de 0
profesional an
es = 冖
{ 10 ; z ac
0 =
la

gesti6n
冖 :
rodado

、 ra at
」
infraes

0 0
Ramon

0
admision
= 一
de
冖
: :
a

~ , = 冖 =
a
:十 0 一 0 一
a

0 =
ser
: 一
ser
乛
ser personas

= =
00
a biomé puedan
artificial
hacfa
= 40m = 一
biometrica 一
0 =
Reglamen

+
ser utilizados
y 冖

= 一
u

0 =
y

一 0
ruc

= =
y utilizados

=
elsuministro
冖
artificial.
0
Herrera

冖 一
de

ilizados

=
…
亠 一 一 =
acceso
0 0 冖
utili 冖

0 : -0 es」 0 一 ·
冖 uras

冖 0
formacion

冖 冖 la =
rica

la
menclon
de
冖 一 0 一 =
ffsicas;

二
一
丶
ya
0-

冖 m p 0
adospara
la para a
afiadidas
= 000-9 00 =
crl

一
de

冖
al
de

0 =
一
冖
、 一 一0 en =
一•
como

=
0
= 一
au 冖

∕0000 冖 00 一
personas

rac
Icas
las

0 de
0 0
Båsicamen
para
00
冖

0
冖

一
de
e
la
oempleo la
一
de
profesional; Her-as

pe que
…

0 = = 一 乛 A
iden componen
agua,

=
冖
一 0
de
0
= al
evaluar
erminar
冖 冖 :
0m00 :
detallaria

一
= 0 m00 冖 f recogldos
ificaci6n
en 0 」
0 、 :
~
utoem
;
on 冖
一
-0
0 0
∕
0
0 一
g

0 乛 El
… 一

estable
c
=
一 一
6 1 a el
一
乛 : 0
、 冖
; 一 一
」

:= …
= m e
一
calefacci6n

一 一
冖 0000
冖

0
0-
一
00m =
es

一
acce 一
冖
0
一 一
=0
estudian
-0
b
0m6 el
一
en
090 乛
一
de

00一
一
0 0
一
0
la 冖
0 0
0: 一
atravésdel 一
seguridad

00m
Anexo 冖
0 000
era0h0000 乛 0
0
la
= 乛
一
la
00 0 00 0:
乛
y

冖
冖
es 一 、
o lde
ca
=
electlicidad•

十 十0
Ill 。0
一
乛
00
一
a
distancia
一 en
「 =
0冖
=
亠。 0
:0
一
乛 0
0
… la
…
 Aspectos legales dc la inteligencia artificial
103

Reglamento sobre Inteligencia Artificialse

En la propuesta dc detallan
puede causar la inteligencia artificial, que incluyen los siguien-
osdaños que
Laslesiones o muerte; Los daños provocados en la propiedad privada;
es: sistémicos para la
os impactosadversos la prestación de sociedad en general; Las interrup-
tionessignificativas en servicios esenciales; El impacto en
lasoportunidadesfinancieras, educativas o profesionales; El impacto en el

6. Aplicación de la ley:
a) Lossistemasde IA destinados a ser utilizados por las autoridades policialespara realizar
evaluacionesindividuales del riesgo de las personas físicas con el fin de evaluar el riesgo de
queuna persona fisica delinca o reincida o el riesgo para las posibles víctimas de delitos;
b) Sistemasde IA destinados a ser utilizados por las autoridades policiales como polígrafos
yherramientassimilares o para detectar el estado emocional de una persona física;
c) los sistemasde IA destinados a ser utilizados por las autoridades policiales para detectar
falsificacionesprofundas, tal como se menciona en el artículo 52, apartado 3;
d) sistemasde IA destinados a ser utilizados por las autoridades policiales para evaluar la
fiabilidadde las pruebas en el curso de la investigación o el enjuiciamiento de delitos;
e)Sistemasde IA destinados a ser utilizados por las autoridades policiales para predecir la
ocurrenciao reincidencia de una infracción penal real o potencial basada en la elaboración
de perfiles de personas físicas, tal como se contempla en el artículo 3, apartado 4, de la Direc-
tiva(UE) 2016/680, o para evaluar los rasgos y características de la personalidad o el compor-
tamientodelictivoanterior de personas físicas o grupos;
f)Los sistemas de IA destinados a ser utilizados por las autoridades policiales para la elabo-
raciónde perfiles de personas físicas según lo dispuesto en el artículo 3, apartado 4, de la Di-
rectiva(UE) 2016/680 en el curso de la detección, investigación o enjuiciamiento de delitos;
g) sistemasde IA destinados a ser utilizados para el análisis de la delincuencia en relación
conlaspersonas físicas,que permitan a las autoridades policialesbuscar grandes conjuntos de
datoscomplejos, relacionados y no relacionados, disponibles en diferentes fuentes de datos o
en diferentesformatos de datos, con el fin de identificar patrones desconocidos o descubrir
relaciones ocultas en los datos.
7.Gestión de la migración, el asilo y el control de fronteras:
(a) Sistemasde IA destinados a ser utilizados por las autoridades públicas competentes
comopolígrafosy herramientas similares o para detectar el estado emocional de una persona
fisica;
b) Sistemasde IA destinados a ser utilizados por las autoridades públicas competentes
para evaluar un riesgo, incluido un riesgo para la seguridad, un riesgo de inmigración irre-
gularo un riesgo para la salud, planteado por una persona fisica que pretende entrar o ha
entradoen el territorio de un Estado miembro;
(c)Sistemasde IA destinados a ser utilizados por las autoridades públicas competentes
para la verificación de la autenticidad de los documentos de viaje y de la documentación justi-
ficativade las personas físicasy detectar los documentos no auténticos mediante la comproba-
ciónde suscaracterísticas
de seguridad;
(d) Sisternasde IA destinados a asistir a las autoridades públicas competentes en el exa-
mende las solicitudes de asilo, visado y permisos de residencia, así como de las reclamaciones
asociadasen relación con la elegibilidad de las personas tísicasque solicitan un estatuto,
8.Adrninistraciónde justicia y procesos delnocráticos:
e inter.
de IA destinados a asistir a una autoridad judicial en la investigación
Pretaci6nde los hechos y la ley y en la aplicación de la ley a un conjunto concreto de hechos.
 丶

·一
:
/
一
~ 0M0exirnirse
一
一 0
冖 一
0
lutamen
= 冖
0 =
0
冖
0 0
一
:
一 m00
一 p
lutamen elde20de aquellos 一
一 冖
mas
0 00 0
cuidadosamen
000h 冖 debe
de0 sistema 一
= m
que Informe El
0n0
:
104

…
0
Op.

·
mento
onado 丶 de
emergentes,

modO ema
一
pasandO
=
logfas

: “
一 autot
Como enc manera
:
tenimiento

一
informe
冖
00 一 Cia 0 一
comp
• 9
、
las、 ~
0 0
丶
la
cit.,

emergen ~
3 debida.
=
、 de 00n … conta 丶
nc 00R de 冖
0
)
一 ~
0 de 冖
0 一
0 00
Propuesta
一 0 冖
0
;
d
一
re depende
冖
pig.
que
:
de el~
= ah0
rv
、
乛
0 0 0 一 onam ~
丶
CO?
decfa 一
in 0 responsabilidad delresponsabilidad
一 一
冖
= 冖
一
一
244
冖 00= 一
、
、
=
ons
0
0
丶
一 0 0
508 päg.

一
冖
func
-
responsabilidad
pe 冖 0 ~ de cuentan 一 冖 c m 一
Asi r ata 9
冖 eligencia …
冖 冖 o m 冖
0
= 0 =
00n0 一 es, … la de 一一一一
= 冖 … 冖 de 乛
0 0
、 Parlamen
一
90
al
39

0n00 0
an
· n ~ … 0 toma
-00
丶
一
-
onam
00 一 ;
一
… … 一
一
en en ) de
=
0 dad n al
冖 00
冖
-一-
9 la
0 0
es,
一 一
冖
a (operador)"243.Asf, re 冖
= e mp 0
· 0 e
iguala m =
一 es
0
冖
0 0
-0 capacidad
ema… ~ 丶 00n Re 一
= 0 =
一
de
obj
Como =
0
para

m
P00
冖
、 ar 冖
~ 乛
00mm = ;
nto
0 e ~
lamen
encia
0 0h9
09
一
habilidad decisiones,
90
、 冖 冖 0
=
冖
; caso
=
… ificial
0
0
~ 0
quede va ~ un 0h一0 冖
一 0
冖
0
Ramon
es entre
0
0 ; :
一
一
Eu
= : de civil 丶 …
ya := 、
9
丶
0
一
0
;0 la deb cuando ~
;
冖 0
一
= 0 la
e

一 =一 :
usaran, Sl, 20 乛
冖
iva 冖
0
冖
一
0
0P00 乛
0
comp
=
nuevo
= 0- para cno
de 丶 冖
」 一
、
a1 = =
a if1C
0 :
、 丶 0
0
recaer un 丶
0
por 、
0 00 encde de
Herrera

9 00
gravedad 乛
00m
:
fundamentales•

0
cabe e
-0
cualquier

00n ~ 丶 一
define
冖
probabi 冖
0000
三 冖 0 nos la ~
a l al
manera0 0 ;
0
=
ma manera
=
sera o
一 0 fuerza su冖 冖
0
y 'aseno 冖
PO e ma
in 、 一
…
que 、
la =
一
009 冖 一
=
0m0 1a
de

00 4.3. causadOs = = 乛
de 0n00n
00
冖
一
0
一 0 、
us0_ di 冖
eligencia ~
arlo 丶 dear
0 0
0」
e darian
=
冖
:冖= m y 40que na冖
IA"
idad m00
; : 冖
de
: , = m
el a 丶
exhaustiva,
一
0-0 0 '
一
obligaci6n el
20razonablem
0-
0
000m0
la
0
冖 responsabilidad
de
operador,一 …
~
d
一
冖 0
= 0- 一
= 一
=
、
=
= 乛
0 0
一
冖 riesgo. ib 00
0m9 、 : 0 0
0 ea
=
sistemas

0
、
en
G
lugar
Re 冖 一 que u en 冖 一 一
9 0 : 000
: 一
一 0b ar daio a 00n
U
、
0
丶
: 一00 ningun
a 、 p 0
一 一 = =
;
冖
冖 un
= 冖
丶
= = 冖
un一 ncend 00W 、
nt Refiere ificial 、 :
乛 = = 0
0
、
n nt 一
肎
0 、 冖 0 冖 、
la
0
、
0000W
0
em
、
一
、 一 0
:一
冖
una
la
0 0 一
se
一 sy 0 、
perjuic
0 一 = ia
complejos

0
= u 冖
… de 丶 0 … 0 - 、
一 00 0 0-
=
一
: 0 一
0 n -0、、 0
、 一 y propone
一 emaopera
= 0-e n 、 乛
;
乛0
冖 、
0 一
magnitud
; … el 冖 0
esossiste_
00 -0
000
冖enb0n060
= 一一 00 一 00Civil
冖 WOW00
… de 0 0
一 = 一
0 冖
ra
」 0
一
, =
0 冖 su 000 一 ;
0 0一 十
0 beneficia
n :
一 ∕
0 0
一 亠 ~
、十
一 abS()-
go 乛 … 00m0
。一 0000 乛0 0一 一 0
Ill 一 0 一 0
0 0
十一 0• 0 冖 ln ♀
00n en
0
一
冖
一~
~ 0 ~ 、
一 0 丶
 Aspectos legales de la inteligencia
artificial
105
sobre un régimen de
a la Comisión responsabilidad civil
artificial: "Los operadores de un sistema en materia de
de de alto riesgo
civil alegando que actuaron
,ludirsu responsabilidad con la diligencia no podrán
0 perjuiciofue causado por una actividad, un dispositivoo debida queel
un procesoautóno-
gobemadospor su sistema de IA. Los operadoresno serán
responsablessi el daño
0pajuicioha sido provocadopor un caso defuerza mayor." Se trata
cambiodeterminante en el sistema de responsabilidad civil pues, de un
garantizarála protección de los usuarios a costa privar a los
tradicional,que
operadores de la
posibilidadde demostrar su falta de responsabilidad. Como
posteriormente
expondré, ello vendrá acompañado de una exigencia para los
operadores
de contratación de un seguro de responsabilidad civil obligatorio.
En cambio, si el sistema de inteligencia artificial que causa el daño no
se
tratade un sistema de alto riesgo, nos encontraremos ante una responsabili-
dadcivilsubjetiva. Para poder llegar a esquivar la responsabilidad civildebe-
rá acreditar que no tuvo la culpa del daño en base a dos motivos.El primero
siel sistema de inteligencia artificial se activó sin su conocimiento y consen-
timiento,habiendo, eso sí, establecido las medidas razonables para evitar esa
activacióninintencionada. El segundo de los motivos será aquel por el cual
se pueda acreditar que " observó la diligencia debida a través de la realizaciónde
las siguientesacciones: la selección de un sistema de LAapropiadopara las tareasy
las capacidades adecuadas, la correcta puesta en funcionamiento del sistema de LA,
elcontrolde las actividades y el mantenimiento de la fiabilidad operativa mediante la
instalaciónperiódica de todas las actualizaciones disponible"245.
Como ya he comentado, la legislación europea y española va en la línea
dela necesaria participación del ser humano en la toma de decisiones,o en
el control de estas, por lo que estos sujetos, los operadores, son tenidos en
cuentacomo responsables de los daños producidos. De este modo, si llega
a materializarselo propuesto en la Carta de Derechos digitales,esa partici-
pacióntendrá carácter imperativo. En este sentido, el documento otorga el
derecho a cualquier persona de que las decisiones tomadas de manera auto-
máticapor la inteligencia artificial puedan ser supervisadasy contar con la
atenuar
intervenciónde las mismas por parte del ser humano. Ello podríaparte de
la responsabilidad civil del fabricante, puesto que permite trasladar
esaresponsabilidad al supervisor u operador humano. Si aquelre\isaclaque ha reci-
por
bido el daño renuncia al derecho de exigir que la decisión sea la decisión,
un ser humano, que forme parte de la entidad que haya tomado al ejerci-
renunciado
no Podrá responsabilizar a esa entidad, puesto que ha
ciode un derecho.
plantearnos es la posibilidadde
Otra de las circunstancias que debemos la inteligencia
que el encargado de revisar esas decisiones propuestas por el
a tiempo de reparar el daño,
artificialno llegue a hacerlo. Si se estuviese
nromendaaones
wcogi(lo en el Infonnecon
245 Art. 8,2 de la propuesta de Reglanwnto de
civilen
a la Comisión un (le
 0 0 106

0 0
0 0 2 5' 0 0
0
0、
0 0
0
0
0
0

CD 0: 0、
O
OE 0 0
Ramon

0
一 、 0 0 p 0 Herrera

0
CD

=
一
CD
0 Heras

0 0 0
0 0
0 .
2.
CD 0

CD
 Aspectos legales dc la inteligencia
artificial
107

el En mi opinión, no se trata tanto, corno sostiene una

parte
na, de que el software no se pueda incluir en el concepto de de la doctri-
gridoen la Directiva por ser un bien inmaterial, puesto que producto reco-
como el software serían considerados como bienes muebles, tanto los robots
teriori los primeros
Inateriales y los últimos inmateriales. Como señala ARIAS DE RINCÓN,
programa como un bien inmaterial, regulado por el Derecho de "el
derechos de propiedad autor y sobreel cual
se transmiten intelectual, por el otro, los
datos electrónicos
que contienen el Programa, datos electrónicos susceptibles de ser considerados
bienesmueblesincorporales"248.Tanto es así que algunos países, cosas
e que como Estonia
ha y Francia, han reconocido que el software se trata de un producto y
como
cogido en la Directiva 85/374249.Es más, el software es reconocido como
ptos producto en Reglamento 2017/745 sobre los productos sanitarios y en el
Reglamento 2017/746 sobre los productos sanitarios para diagnósticoin
\itro 250
En cambio, sí que plantea más dudas su inclusión en el concepto
Iropca relativa el hecho de que los productos basados en el uso de la inteligencia actual
an artificial
o a los sujetos sean altamente complejos. Sobre este particular, ya en la evaluación que rea-
quedé lizó el Consejo Europeo de la aplicación de la Directiva
a lo único que 85/374 se advertía
debd de la práctica imposibilidad para la aplicación de la definición de producto
ucto, daño o defecti defectuoso en estos casos251 . Parece evidente que, en lo que respecta a los
cunstancias actualffçproductos dotados con software basados en la inteligencia artificial,tendrán
un carácter especialmente complejo, por lo que, aunque la Directivahaya
funcionado correctamente, es conveniente que, como señala el informe
misión Europea ugt,
ahora mencionado, se produzca una modificación de la definiciónde pro-
Dilú ductoen la próxima legislación.
•ealiza la actual
defectifr También se hace necesario llevar a cabo una actualizacióndel concepto
productos 85/374 prevé tanto los
y ellopodri de daño. Actualmente, el artículo 9 de la Directiva
patrimo-
•enérica 110 daños los físicos, ya sea el fallecimiento o las lesiones, como los
de destrucciónde
sponsables niales,definidos como los daños causadosa una cosa o la
nencionada)Úó
| 1 a los que puedan ser
actualconcepto de daño para adecuarlos con claridad
to las III
bien
(Ido a ¿PO
Stt1diO, de las de soft-
"La calificaciónjurídica
248 Vid. ARIAS DE RINCÓN, M.l.: 13
to Wareen Internet", en Frónesis,vol. 14, núm.l, 2007, pág. dejulio de 1985,
mlativa a
doc del Comsejo,de 25 miembRk€
en
ebate 249 Vid. Evaluación de la Directiva 85/374/CEE (le las Estadas
y
lo (JProximación (lz las disposiciones legales, reglamentarias
pág. 37 civil:petspec-
materia de la responsabilidad purproduclos defectuosos, 2()18, y responsabilidad
"Inteligencia artificial 278 2020,
250 Vid. CASADESUS RIPOLL, P, Facultad
(leMéxico,
tivasjurídicas y retos legislativos", en Revista (le la
1985, mlativa a
pág. 359
Consejo,(le 25 dejulio de miembwsen
85/374/CEE del (Idiliinistrativas de las Estadas
251 Vid. Evaluación de la Dimcliva
reglanwntarias y
la aProximación de las disposiciones legales, pág. 25
de la responsabilidad defectuosos,2018,
こ
ノ
一
ミ ミ
「do de「
0 = 、
ミ 「
0「
「
0 00g
=0
m03
mo,
0
0.
3 que PO
「
algo
en
que
tecnologf as
a biar
sostiene
la
que,
por
0
ca
un
~0
dad
de 、
~
ミミ0 ミ
こ
、
「
を
0 一「
0
del,
ミ
=
, on0 ミ
0 一
一l
一
0 a
= D一三
一 =
ミ p / =
3.4. 〔

, ~U
y en 、

g き
hora
〔

一
ro
=
ミ 0 P
「, O
〔

,
aumento

デ
~
ミ ミ ~
el
~ =
ser

芻
u 000
que

05 「
0mp
を
La

0d 「 一 la
〔 que las( de
0
de modificados
0
d き ミ6
400
「 竃 =
0
= 一
0
las
0
000m Oduc actuales do 「 =
ミ e 0 一
clam=
en 0
= ュ ot 、】
Debemos,
, = デ
relaci6n
・ toma
「 三
0
e g
digitales

9
la

三 、 ミ 一0
es

ュ
a 一 0 Citaspectos
ミ 0 ト
=
芻 (
0 ミ 「
=
「
imputaciön significativo
nd
一
、
9 ,
necesar10
00n
、
(
、
de 』 0 「
C
0 0
0 ミ da 一 00n lac
0
、
0
n一 ミ 「 一
一
0
=0
9 一
e一 9
de se de
circunstancias, ac
ミこ d o
(
「
0 を
0 ぶ
0 0 n0
冐
一
、 一 r ac
』
ptISO い
=
emergentes.

一 「
5 que

ミ
decisiones
きぶ
一
0 n00n00P por 0 de
, 三
con
eno la三 l a
causalidad

0= abrir
一 ご 』
ミこ
ミ 三 = = き ,
n
き
「
conha
0 「 del cierta
0 ミ ・ 0 0
0ぎ 一
de

0 、き Le
= int
0 (00g0 「
) , 00 「
〔

、
tantO, 0
=
0 00 「
o
,0= 「exp
0
一
9
duci
que
「 el dafio. el de este
ser basada 0 ミ
こoc
ミ
「
) ー
0 0
morales,
「
,
General
「
(
冐 0 on
三「
0
n

=
objetivo
d
、 0
facilidad,lo
0
=
debate
一
errera

=
ac
一
一
0
・ revisado
PO
ぶ 、
ミ ミ
plantea
』
0
き on 一
0 )
= 0
三
,también
0 la 「 debe 『
「 ア
0 、
0 ミ
El

0 ()n productos de
、
き addo
、、 ( de

0 p
「 r e
ac m 一
en
き ミ para 0 「
informe

、 一 0
「 ミ
sobre

= =
三 9 00h
men es en
「 0 三 =
las

ミ
dafios.

de
, 』 m一
la
0
(0
「 ミ el esta「 =
da 三 = 「
0 )
・

ミ
es
,
este inteligencia
ミ ぎ la 0 0
leras

=
que

m
一 = ( 「
0 adecuado el
一
ミ ミ
04( こ0 .
0 ー
00 0
Si
0 目 A en
を
ndo
una cuestion Deニ こ clを
0 ,
relativo
=
el del

0 一 ,
、一
on caso
0 三 一 一=
aumenta

= 、 ト 、 0 =
「 一 0
ミ
concepto
0
2
」 =
」
la
「 006
=
Parlamento
susceptibles
「 き 3
にミ =
「
, 「 0 0-
0 を
0
「
de

一
」
0 三
0
0
ま
0
コ
na一
=
ま
0 0
0
en
0
一
la
a
一
tener
0
a
「
que tificial
0
(
ante
ミ
0
「 、
0
4040
=
os
を0
ミ
00
一
9
co
0
=
0 話
la
ela 「
0 、 三
0=
(
0
」
(0「 「 = ,
一 ミ
0 = =
「 0 0
de

ぶ
当
comp

9
一 」 0
」
0 en la= 、ミ = = =
000
= 00 =
000 0デ
一
0
mome
pos
一 = 0
2 0
0 一
0 entiende
」 「
Europeo

0・ 0 0一
を m 0i9 」 三
三 de cuen
一
d
m
・日
p
「
od
寧 ま
= 0 守
「、 , m = 0
~ ,
・
0

第(~厚 身 「 習
与一
自 la 」 譴Esta 一
た一」 発
当
「 コ 「豈 「 ぎci み
El 0111
一1r
〔

「 。 m e= opuesta 三 一
穹 三que
000h
0el 20de0b
「 9
en
一 (
&
0 (311 「
deEuro
p
〕
b C1111S
Obarぎ「
de
la la ta
〕
No
em
n
p 一
00pir
一
 Aspectos legales dc la
inteligencia
artificial

involucrados es el responsable del daño

los programas dotados causado,
con inteligencia que,
llegar a estar compuestos por múltiples artificial
pueden dispositivos,como
varios. Todo ello podría los actores
dificultar,técnica
amente, la determinación del del y
el informe de la Comisión Europea,daño. Por otro lado, y como
el uso masivo
acidadde los algoritmos en la toma de decisiones, de datos y la
la determinación de las causas de los daños pueden tambiéncom-
provocados.
Atinque Directiva 83/374 haya dado respuesta,
y lo sigue haciendo
oy,a las principales problemáticas referidas al aun
resarcimiento
por productos defectuosos, no podemos de los daños
n-ovocados
¿omisiónEuropea, en la evaluación que hizo de la obviar que la propia
2018, señaló
mencionadaDirectiva
en el año que " uno de los motivos más frecuentes
para rechazarrecla-
maciones se refieren a la prueba del defecto ) su relación con el
daño, que en conjunto
representanel 53% de los casos de rechazô'254.Como ya he puesto de
manifiesto,
esteproblema no lo encontraremos en el caso de los operadoresde sistemas
de inteligencia artificial complejos o de alto riesgo, pues la responsabilidad
será objetiva. No obstante, sí que tendrá relevancia en aquellos casosen los
que no se trate de este tipo de tecnología de alto riesgoy en el casode los
productores.
Esta circunstancia a la que hago mención tiene aún más relevanciasi cabe
en el ámbito de la inteligencia artificial, puesto que, debido a la alta comple-
jidad que conlleva su aplicación, será muy difícil que los afectadospuedan
llegar a probar la causa por la que se produjo el daño. Es por ello por lo
quela propuesta llevada a cabo por el grupo de expertosseleccionadopor
la Comisión Europea, aunque mantenga el principio general por el que la
víctimadebe de probar la causa del daño, opta por establecertres escenarios al
muyamplios en los que se eximirá de la necesidad de realizaresaprueba
afectado235
en los que se eximirá de la necesidadde
El primero de los supuestos
dé a la víctima" un acceso
aportar esa prueba será en los casos en los que no se una presunción iuris
lo que generará
razonablea la información"del producto, la del product025ó.Esto
la causa fue
tantumde que el daño fue producido y la trazabilidady necesidad
anteriormente de
entronca con lo que mencioné
la programación de estossiste-
de transparencia en todo lo que se refiere a

julio de 1985,
del Consejo, de 25 de en
85/374/CTE de los
234 Vid. Evaluación de la Directiva y administrativws
afzroximoción de Ins disposicaones legales, la
de
Así se recoge en (a recomendación '25
de
se recoge la pág.
inteligencia artificial y otras tecnologías enwvgentes,
 一 ~ 0
:冖
0
:0 ea,y冖 ∕一
冖
:
=00 00
冖
no
冖
dad 一
vo es
La 冖
cualquier

0
ablecidos

冖
0 mdeLa
:Cia
一 冖 · dep 一
0
· generados
tecnologia
7
~
fa 一丶a冖 冖
ercera me
一 冖
一
0
冖
… 9 Seguro0b 一
一 (f)
sea

-0 ;
tif 0
seguridad
∕=
también

冖
circunstancia,

0 、 por
一 0 on
ev
de 丶
000 0000
冖
=
… por hace
040
冖
idente;

0 0 =
」 0 ~ el
~ la
一
、 ;0 一 0
limite 一
:=0
modific

0
0
laci6n
0
乛
ra乛
一 =
ne grado
丶 …
0 0
fabricante

、
:400m0 :
、 la 0
que
∕0 ~
0
丶
den
0
冖
04

0 乛
000m0 ; de sera 0 haber :一
一
= 冖 0
hubiesende 一n2
0
0 a =
0 ensu;冖
den

一
0 di
乛
la
cuanuaen
冖 dano… contiibuido 一
0 ;0
al 0
:=0m0 :=
= 0
冖
0 、 20
a:,一
es proveed

一 0
一 :cia y peque POnc
causalidad 冖

0
:! 0m0 一
26 = 冖 一 冖 …
0
冖
=
aquellos

w9
乛 冖
p m
0 0
)r

:;00
la 一 冖
= ;
=
=
一 一
0 0
original.
0
la
0一
,0: 0三
冖 0 丶
丶
一 uro de
0 do一
9 se
ea
丶
m en
causa
:一
十
一 一
0 en
冖 0 ~
que

=
一 = 0 =
de
p
0
…
、
0 :
冖
冖
、
乛
as
丶
一 0
。 、 0 0
causado"25
0 一
9 …

= 冖 :0
man.

冖 0
m
0
一
0
、
冖 0
…
-
0一 m2 00 00 0 冖 …nf0 ;00
、 引
0
a

=
口 eximir

0
一 0冖 一
丶
inc
0 。 0
mat
+A
冖 ~=
inque 0 乛 m
de
la
…
00
一
…
一
一
目 0000
04 寡
 Aspectos legales de la inteligencia
artificial
111

indemnizatorias fueron modificadas mediante el Real Decreto

una serie de límites, concretamente 37/2001
19de enero, establece de 300.000eu-
Así,el Real Decreto 1036/2017 reitera, en su artículo 26.c) , la existencia
esoslímites al exigir « una póliza de seguro u otra garantía financiera
civilfrente a tercerospor los daños que Puedan que cubra
ocasionarse...
s Iñnitcsde cobertura que se establecen en el Real Decreto37/2001, de 19 de
enero,
cl se actualiza la cuantía de las indemnizaciones por daños Previstasen la
de 21 de julio, de Navegación Aérea, para
Ley
8/1960, las aeronaves de menos
kg de 20
masamáximaal despeguo».Hemos de hacer constar que ese límite es única
exclusivamenterelativo al seguro, y no a la posible condena por daños,
que
se por lo dispuesto en los artículos 1.902 y siguientes del Código
civil.
Ante esta circunstancia, el problema que plantearon algunos autores a
esterespecto es la dificultad que entrañaría determinar los sujetos que esta-
ríanobligados a asegurarse260.Pero posteriormente, como decía, el propio
Europeo se posicionó de manera favorablea que no sololos
parlamento
productorescontasen con ese seguro de responsabilidadcivilobligatorio,
sinoque a ellos se sumasen los operadores de sistemas de inteligencia artifi-
dal, eso sí, limitándolos a aquellos que fuesen de alto riesgo, que tendrían
queser recogidos en un futuro anexo al Reglamento propuest0261 . Esto no
dejade tener sentido puesto que es el caso en el que la obligación de reparar
naceráde manera objetiva, y ha de asegurarse la reparación del mismo.
Lo mismo sucede con el informe de expertos ya mencionado sobre res-
ponsabilidadcivil por los daños causados por la inteligencia artificial,que
apuesta por la necesidad de que " cuanto más frecuente o grave sea el daño poten-
cialresultante de la tecnología digital emergente, y cuanto menos Probablesea que el
operadorpueda indemnizar a las víctimas individualmente, más adecuadopuedeser
elsegurode responsabilidad civil obligatoriopara tales riesgos".Esto nos abocaría,
razonablemente,a la necesidad de establecer un seguro de responsabilidad
civilobligatorio.
El riego que plantean algunos autores a este respecto, y que yo comparto
plenamente, es que, con la existencia de un seguro, se tienda a limitar la res-
Ponsabilidadal contratante de este, y no al verdadero causante del dañ02b2
Uno de los elementos más polémicos en lo referente al seguro de respon-
Sabilidadcivil obligatorio es la existencia o no de límites indemnizatorios.
Algunosautores sostienen que no se debería limitar ni los tipos de daños
quedeberían de ser reparados, ni la cuantía por la que se debería respon-
(1er.Así SANTOS GONZÁLEZ tipo o el alcance
que " no se debe limitar el
sostiene limitar
de los daños y perjuicios que puedan ser objeto de cotnpensación, ni tampoco
op.
"Liability for Artificial
260 Vid. GÓMEZ LIGÜERRE, C., y GARCíA-MILCÓ, G.:
, pág. 51()
tecomendaciones destinadasa la Comisión
261 Vid. Parlamento Europeo (2020), Infornw con
(Utilicial, pág. 12
de inteligencia
un régimen de responsabilidad civil en
262 Vid. 2019,pág. 75
Rulo,
 を 引 00
naciona1266
indemnizaci6n,
ladad unapara
EsDi
一
0 「
1

de
limite
0
articuloCiaponsabilidad
Esa CO
artificial
】 = 「
一
0
き
ぎ
「
=
0
=
lin
ectiva 当
「
0 el
0
斗 )
ョ
p
「 no
ejercicio
.itaciön 0
0 374/85/CEE
〕

141
oduc 「 hemos
。
=
「
ria
ぎ
265
〔

mesativa
como
》
~
=
0
la (
0
「
del
dede la
de
一 、
=
ミ 0
ミ
=
m
き
冐
D ワ Texto 0 sefialado,
asflo que
一 dafios 0 、 =
relativa
「 ,
一
la la actualmente
0 0 0
一 0
0 0
0
cuantfa
hizo no m po acci6n
=》 ミ ミ
=
0
Refundido

00 en「 a
一 p
「 la
0 ミ
こ
=
mativa =ミ
ミ
(
04
legislador=
el suado quede 一イ 0 0 no = 0
一 =
0 a
「 「
ワ
ocado
danos 「
establece
reclamacion
「
0 、
0
=
ミ
0
=
「
〔
000
0
=
en=
cu
一 que
se
le
de
, ミ
、
0 =
0
』
la
0 producidos
espano ~
「 16,
0 a一
ella de
「
puede
Ley PO
「
一
que
0
ミ
0 =
0
、
=
(=
estOS 、
iva tantO9 =
9
ningün
00Estados
General
por 「 en
0 4
』 0
00m0
0 、
de 0b0
exlgir
una
ミ
= que
「
el por
la
facultadpa dafiO
do 一
当 き0m04
「
「
ミ
al limitaci6n
=
= =
「 、 一一
productos
m 0 「 0
一 m 一
当
、』
0a mento
=
autor
a
=
「
一 dos
03 0
〔
0.= la p en
こ 0
ミ こ
e mb 「
m
一 0
No 毛 del
、 を
Oducid() (

~
De

」
= 「 de 0
一
、 マ一
「 9
00
一
0 一 ユ
デ
0
0。
=
= 」
0 0
を
= =( 一0.工0m00ュ三9 ・「 =雪
0 00
= d
0
9
(
e
「 m
de
「
0 =〔
一
0
la 〔

,0「
~
=
0
3
龕メ をミ 寰
・ 「 4
を コ
ri え =
、
responsabilice
一 (邑冒
0一
~
0
~
%
三
%
。
0
la
等
0
」
e
身
三
0
ti
第
0
イ
「
ヨ
三
000 ~
一
0
一
」
0.3
「
contn
al
ca
Com
〔

d00
El 以
0
0
一
9 0
dos
rete 6 0