GORITMOS EN EL IAL Y EL DERECHO A UN ION TODAS LAS GARANTIAS M. JOSUNE PEREZ ESTRADA. Prof. adjunta de Derecho Procesal (acred. Agregada) Universidad del Pais Vasco/EHU ICCION: £L PRECEDENTE JUDICIAL. ||. EL USO DE ALGORITMOS EN EL PROCESO. ‘concepto y funcionamiento. 2. Correctional Offender Management Profiling S (COMPAS). 3. La consideracion de los algoritmos como prueba en el proceso STA EL USO DE ALGORITMOS EN EL PROCESO PENAL AL DERECHO A UN PROCE- ARANTIAS. 1. La garantia del proceso penal. 2. La configuracién del derecho a un tes, 3. El uso de algoritmos en el proceso penal y su afeccién en el derecho aS las garantias. IV. CONCLUSIONES. V. BIBLIOGRAFIA JUCCION: EL PRECEDENTE JUDICIAL encia Artificial (IA) y, en concreto, de los algoritmos 08 es ya una realidad. Asistimos asi a una nueva era arrolla a través de diferentes manifestaciones como oNotPay 0 Lee&Ally) que interaccionan para resol- es no complejos; también estan proliferando startups es dirigidas a los operadores juridicos que, o bien, es- judiciales con un fin aprioristico, de justicia predicti- ss de IBM y Blue J Legal, o elaboran perfiles de jueces su actividad jurisdiccional (Ravel Law de LexisNexis ientas dirigidas a la basqueda y procesamiento de materia HARTUNG, Markus, BU! Micha-Manuel y HAL- A, Legal Tech. A Practitioner's Guide, Beck/Hart, 2018. En la lisis exhaustivo del estado actual y futuro de la LegalTech a la aplicacién de la tecnologia juridica y explica como y en 0 automatizado y la IA se esta utilizando.236 informacion juridica (Doctrine. fr y Luminance)*. Podemos, por tanto, ha blar de una generalizacién de los sistemas automatizados de toma de de- cisiones basados en algoritmos que persiguen la rapidez y certeza juridica” en la aplicacién del derecho, la seguridad en el resultado, en definitiva, el acierto en la decision judicial. Se estan utilizando, en la actualidad, en de- terminados sistemas penales algoritmos predictivos que ayudan al juez en la toma de determinadas decisiones judiciales con la idea de lograr eficacia en el proceso, de racionalizar la Justicia’, Estos mecanismos inteligentes no estén exentos de polémica con motivo de los sesgos algorfunicos por lo que su tratamiento juridico debe realizarse desde el respeto a las normas fundamentales y de derechos humanos. La aplicaci6n de estas herramientas inteligentes en la resolucion juris: diccional del conflicto juridico tiene un punto de inflexion. Se trata del pronunciamiento, el 13 de julio de 2016, por la Corte Suprema de apela- ciones del Estado de Wisconsin‘ sobre la admisibilidad de los algoritmos de predicci6n del comportamiento a la hora de adoptar decisiones judiciales Un repaso por las actuales herramientas de intcligencia artificial (IA), OLIVA LEON, Ricardo, zJusticia algoritmica ética? Disponible en hutps://wwwalgorit molegal.com /tecnologias-disruptivas/justicia-algoritmica-etica/ (fecha de ac ceso: 24/04/2019). También LACRUZ MANTECON, Miguel L., “Cibernética y Derecho Europeo: guna inteligencia robética2”, Diario La Ley, nim. 9376, Seccién. Doctrina, 13 de marzo de 2019, nos recuerda la evolucién de esta materia desde la Jurimetria, basada en el andlisis y previsién de sentencias futuras, hacia el uso de la LA en la aplicacién del Derecho. YMAGRO SERVET, Vicente, “La aplicacion de la inteligencia artificial en la Administracién de Justicia”, Diario La Ley, mim. 9268, Seccién Doctrina, 27 de setiembre de 2018. Este ideal de certeza juridica aboca hacia sistemas artificiales inteligentes ante he imposibilidad de conseguir seguridad juridica en las decisiones judiciales. Como. pone de manifiesto GUZMAN FLUJA, Vicente C., “Sobre la aplicacién de Ia im teligencia artificial a la solucién de conflictos (Reflexiones acerca de una tran formacién tan apasionante como compleja”, Justicia Civil y Penal en la era global, YVAA (ed. BARONA VILAR, Silvia), Tirant lo Blanch, Valencia, 2017, pp. 68,“ Desde hace ya bastantes afios se ha venido especulando con la posibilidad de que laactividad de decision juridica de los conflictos pudiera ser llevada a cabo por un robot. Hablamos del juez-robot entendido como sustituto pleno del juez humano, Estamos mas cerca de ello, sin duda, ...pero lo que ha Hegado con fuerza es la capacidad de predecir el resultado de un litigio, lo que se llama predictibilidad de la decision judicial, entendida como un sistema de ayuda a la toma de decisiones, no s6lo del Juez, ni siquiera principalmente, sino sobre todo de los litigantes’. ‘ State v, Loomis, 881, N.W.2d 749, 7532 (Wis, 2016).de algoritmos en el proceso penal y el derecho a un proceso con todas las garantias 237 hun proceso penal’. El Tribunal avala el empleo del Correctional Offen- Management Profiling for Alternative Sanctions (COMPAS) y admite nnecesariedad de hacer publicos los parametros que tiene en cuenta cl tmo empleado en la herramienta COMPAS para establecer el riesgo ‘reincidir; argumenta que el conocimiento del resultado del algoritmo ne un nivel suficiente de transparencia®, COMPAS es un Software de eva- cién del riesgo de reincidir que tiene un acusado y aconseja a los jueces él tipo de pena y el ntimero de afios a imponer el caso de privacién le libertad; se utiliza, de manera habitual, por los tribunales norteamerica- s para adoptar decisiones judiciales relativas al establecimiento de fian- adopcién de libertad condicional y dictado de sentencias. El problema aen que se trata de un programa matematico desarrollado por una esa privada totalmente opaco, ie., sobre el cual el acusado no posee a informacidn’. a importancia del caso radica en que un Tribunal superior apruebe cionamiento de esta herramienta artificial para decidir sobre una ién relevante del proceso penal como es la imposicién de la pena. Se Se utiliza un sistema automatizado de evaluacin de la peligrosidad del reo sin haberse verificado independientemente. Anilisis posteriores sostienen que su funcionamiento implica utilizar datos personales o parametros que influyen o -afectan a la objetividad del resultado. Véase, FREEMAN, Katherine, “Algorith- mic Injustice: How the Wisconsin Supreme Court Failed to Protect Due Process Rights in State v. Loomis”, 18 N.C... & Tech. On. 75, 2016. Disponible en hup:// nejolorg/wp-content/uploads/2016/12/Freeman_Final.pdf (fecha de acceso: 22/04/2018). E| Tribunal afirmaba en su sentencia: “La evaluacién del COMPAS le identifica como una persona de alto riesgo para la comunidad. Sopesando los diversos fac- tores, descarto la libertad condicional debido a la gravedad del delito y porque sus antecedentes, su historial de supervisin y las herramientas de evaluacién de riesgos que se han utilizado sugieren que usted es una persona con un riesgo " extremadamente alto de reincidir en el delito.” State v, Loomis, 881, N.W.2d 749, 7582 (Wis, 2016), 755. El Tribunal confirma la sentencia dictada por el tribunal de instancia, caso Wisconsin v, Loomis, en el que se condena a Eric Loomis a una pena de 6afios de prisién al considerarle culpable por su participacién en un tiro- te0 en Chicago al obtener una puntuacién de “alto riesgo” en la herramienta de anillisis del riesgo de reincidir (COMPAS). Loomis recurre la sentencia a la Corte de apelaciones alegando que se ha vulnerado el derecho a un proceso debido porque no se le habfa permitido acceder y evaluar el algoritmo empleado en la herramienta COMPAS. _ Véase DE MIGUEL BERIAIN, fiiigo, “Does the use of risk assessments in senten- ces respect the right to due process? A critical analysis of the Wisconsin v. Loomis ruling”, Law, Probability and Risk, Volume 17, Issue 1, 1 March 2018, pp. 45-58.238 M. Josune Pérez Estr tata de un precedente judicial preocupante porque los andlisis de ries estiin evolucionando de algoritmos que son posibles analizar, como el COMPAS, a redes neuronales opacas, cuyo funcionamiento resulta im ble de entender. La propia naturaleza de las redes neuronales, algoritmos de aprendizaje profundo, que estan pensados para actuar como el cerebro humano, no permite que sean transparentes. Ademias, este tipo de he mientas “autoeyoluciona’”, ie., crea conexiones por ella misma; proceso en continuo cambio lo que limita la posibilidad de que un juez tome una de sién completamente informada y esto afectaria a la imparcialidad judicial e incide al derecho de defensa. Estas circunstancias hacen que sea conveniente estudiar el potencial de este tipo de herramientas y la posibilidad de su aplicacion en el proceso p nal’, En este trabajo se estudia el uso de los algoritmos en el proceso penal y se analiza si su utilizacién es compatible con el derecho fundamental aun proceso con todas las garantias. IL. EL USO DE ALGORITMOS EN EL PROCESO PENAL 1. Los algoritmos: concepto y funcionamiento Los algoritmos son series de ecuaciones matematicas que se entrelaza para proporcionar un resultado. Atiende a una instruccidn concreta q sirve para solucionar el problema planteado. Para lograrlo utiliza una gi base de datos ordenada (Smart Data) en la que elige los datos, de ma aleatoria, con la finalidad de anticipar un comportamiento®. La finalida¢ La doctrina empieza a estudiar la utilizacién de herramientas de Inteligencia tificial (IA) en el proceso: GUZMAN ELUJA, Vicente C., “Sobre la aplicaci6n la inteligencia artificial a la soluci6n de conflictos (Reflexiones acerca de transformacion tan apasionante como compleja)”, op. cit. y NIEVA FENOLL, ligencia artificial y proceso judicial, Marcial Pons, Madrid, 2018; BUENO DE Federico, “Mediacién electronica ¢ inteligencia artificial”, Actualidad Civil, ntin 1, enero 2015; RICHARD GONZALEZ, Manuel, “Admisibilidad, eficacia y valor cién de las pruebas neurolégicas en el proceso penal”, [uris: actualidad y précti derecho, mim. 206, 2014, pp. 36-41, NAVAS NAVARRO, Susana, “Derecho e intel gencia artificial desde el disefio. Aproximaciones”, Inteligencia artificial. Teenolo La definicién de algoriuno como un “Conjunto prescrito de instrucciones 0 reg bien definidas, ordenadas y finitas que permiten llevar a cabo una actividad m diante pasos sucesivos que no generen dudas a quien deba hacer dicha actividaluso de algoritimos en el proceso penal y el derecho aun proceso con todas las garantias 239 el algoritmo no es certificar la veracidad de una hipétesis planteada sino biisqueda de correlaciones deterministas entre unos datos y otros!”. El al- itmo utiliza una gran base de datos ordenados de manera comprensible Smart data), que un modelo matematico va utilizando de manera aleato- hasta establecer patrones de correlaci6n entre ellos lo que permite a la mienta realizar apreciaciones con exactitud. Existen otros algoritmos mas avanzados, inteligentes, que son los algo- mos de aprendizaje. Son més eficaces en cuanto a su capacidad de antici- comportamientos, pero tienen el problema de que su funcionamiento ulta incomprensible lo que dificulta la legitimidad de las decisiones que ptan!!, Estos algoritmos predicen, pero no explican, son capaces de rganizar sus propias variables (se automatiza su funcionamiento) y, lo problematico, pueden encontrar relaciones entre el resultado final se quiere medir (por ejemplo, la veracidad de la declaraci6n de un tes- 0 un acusado) y datos como la edad, género, nacionalidad, creencias giosas, ideoldgicas, etc., e, incluso, emplear datos sin haberlos pedido: slo que se Hama “sesgo” de los algoritmos. Generan correlaciones entre datos, no cadenas de causalidad", (...) siguiendo los pasos sucesivos se llega a un estado final y se obtiene una so- lucién”. (Wikipedia). Conviene distinguir el algoritmo de la LA: es la inteligencia exhibida por maquinas; coloquialmente, el término inteligencia artificial se aplica cuando una maquina imita las funciones “cognitivas” que los humanos asocian con otras mentes humanas como, por ejemplo: “aprender” y “resolver proble- mas’, (Wikipedia). Se trata de un concepto en desarrollo. Lo que, actualmente, se ha generalizado son los sistemas automatizados de toma de decisiones basados en algoritmos; sobre esta cuestion O’NEIL, Cathy, Armas de destrucciin matematica, Capitan Swing, Madrid 2017. Siguiendo a COTINO HUESO, Lorenzo, “Big data e inteligencia artificial. Una aproximacién a su tratamiento juridico desde los derechos fundamentales”, Dile- mata, 2017, pp. 24, 131-150, “Frente a la contrastacidn de una hipétesis a partir de los datos, se descubren correlaciones sin conocer previamente la causa. Asi sucede al probar casi aleatoriamente la posible correlaci6n entre datos en principio total- mente distantes”. Asi la légica de un algoritmo puede ser incomprensible para los humanos. Véa- se, DANIEL MITTELSTADT, Brent, ALLO, Patrick, TADDEO, Maria Rosaria, WATCHER, Sandra, FLORIDI, Luciano, “The ethics of algorithms: Mapping the debate”, Oxford Internet Institute, December 1, 2016. Disponible: hups://doi. org/10.1177%2F 205395 1716679679 (fecha acceso: febrero 2019). Como indica GIL GONZALEZ, Elena, “Big data, privacidad y proteccién de da- tos”. XIX Edicién del Premio Proteccién de Datos Personales de Investigacion de la Agencia Espanola de Proteccién de Datos, Madrid, 2016, pp. 28 y 43, “...se esta240 M. JosUNE PEREZ ESTRADA, Hay que tener presente, también, que los algoritmos pueden emplea datos del tipo sensibles como los referentes a la religién, género, raza, cionalidad, laborales, datos de salud, genéticos o biométricos, creen¢ religiosas e ideoldgicas, etc., incluso sin haberlos proporcionado directa: mente a la herramienta, a través de lo que se ha venido a denominar crea ci6n de “datos inferidos”!*; de manera que, aunque, a primera vista, no- se aprecie su uso, en la practica si que se estén empleando estos datos'4 De este modo, se podria haber vulnerado la negativa de la persona a pro porcionar estos datos sin que existiera una evidencia de la transgresion. Incluso, pudiera ser que esto sucediese sin que ni siquiera el creador de algoritmo fuera plenamente consciente de ello!’. produciendo un cambio de la «causalidad» a la «correlacion». Ya no importa tan to descubrir la causalidad entre dos hechos, sino su correlacion. Asi, en lugar de tratar de comprender exactamente por qué una maquina se estropea o por qué los efectos secundarios de un medicamento desaparecen, el big data permite a los investigadores recoger y analizar cantidades masivas de datos sobre estos eventos y todo lo asociado a éstos, para encontrar relaciones entre variables que permi descubrir patrones ocultos y predecir cuando estos eventos pueden volver a 0c rir”. Disponible: https://wwwagpd.es/portalwebAGPD /canaldocumentacion/ publicaciones/common/premios_2015/Big_Data_Priyacidad_y_proteccion_de_ datos.pdf (fecha acceso: febrero 2019). La capacidad de los algoritmos para inferir datos no proporcionados, a menudo personales e, incluso, pertenecientes al tipo de los especialmente protegidos, a partir de otros que no tienen ese caracter representa un problema en el uso esias herramientas. Como senala la Resolucién del Parlamento Europco, de de marzo de 2017, sobre las implicaciones de los macrodatos en los dere¢ fundamentales: privacidad, proteccién de datos, no discriminacién, seguridad y aplicaci6n de la ley [2016/2225(INI)], Considerando J, con la aparicién de los goritmos inteligentes, “puede observarse la aparicién de una difuminacién entre datos personales y no personales derivada del uso de la analitica de “macrod que puede generar la creacién de nuevos datos personales”. Su Conside! General 3 ya sefiala que “...puede inferirse informacién delicada sobre las perso nas de datos que no sean de caracter sensible, lo que desdibuja la linea entre informaci6n delicada y la que no es de caracter sensible”. Este es uno de los problemas que se detect6 en la herramienta COMPAS. El pro blema del sesgo de la maquina fue analizado por LARSON, Jeff MATTU, KIRCHNER, Lauren y ANGWIN, Julia, “How analyzed the COMPAS recidivis algorithm”, Pro Publica, May, 2016. Disponible: https://www.propublica.org article/how-we-analyzed-the-compas-recidivism-algorithm (fecha acceso: 2019). Notese que la distincién entre dato y dato deducido es sumamente signifi Como se sefiala en el Cédigo de buenas practicas en protecciin de datos para proyectos Bi Data, (coord. ACED, Emilio, HERAS, M. Rosario, SAIZ, Carlos Alberto), Agencia@ de algoritmos en el proceso penal y el derecho a un proceso con todas las garantias 241 Correctional Offender Management Profiling for Alternative Sanctions (COMPAS) En el precedente judicial analizado, sentencia de la Corte Suprema de isconsin, caso Wisconsin v. Loomis, la herramienta COMPAS que se utili- za contiene un sistema automatizado de toma de decisiones. El problema ica en que es un programa matematico opaco, propiedad de una em- esa privada (comercializado por la compafia Northpoint Inc.) y ampara- a bajo cl derecho de patente. Utiliza un algoritmo secreto, se desconoce, ‘por estar protegido por una patente. Utiliza 137 items o parametros pero no se conoce qué tipo de variables utiliza ni si emplea datos personales ecialmente protegidos o determinados factores socioeconomicos 0 si encuentra relaciones entre esos datos (“sesgo algoritmico”). Esta situacién royocado que se den falsos positivos. No hay Ley que regule su funcio- namiento, no hay, entonces, supervision del proceso”. El supuesto judicial analizado resulta preocupante desde un punto de juridico no sdlo por los problemas que plantea su funcionamiento y Espafiola de Proteccién de Datos (AEPD) y Asociacién Espafiola para el Fomento de la Seguridad de la Informacion, ISMS Forum Spain, 2018, p. 18, “el derecho a la portabilidad de datos (articulo 20) entendido como el derecho del afecta- doa obtener, en un formato estructurado, de uso comtin y lectura mecanica, la informacion que le concierna y haya facilitado a un responsable de tratamiento cuando esa informacién se trata por medios automatizados y sobre la base del con- sentimiento o para la ejecucion de un contrato. En relacion con este tltimo dere- cho, recientemente el Grupo de Trabajo del Articulo 29 de la Directiva 95/46/CE ha adoptado directrices sobre la aplicacion del derecho a la portabilidad. En este sentido, por ejemplo, el Grupo considera que el concepto de datos facilitados por cl interesado incluye los datos proporcionados de manera activa por el interesado y los datos observados (datos de ubicacién, busqueda, riumo cardiaco, etc.) pero no incluye dentro de los datos sujetos al derecho a la portabilidad a los datos inferidos o deducidos que hayan sido creados por el responsable de tratamiento a partir de los datos proporcionados por el interesado (como pueden ser los re- sultados algoritmicos)”. En el estudio empitico que realiza DRESSEL, Julia y FARID, Hany, “The accuracy, faimess, and limits of predicting recidivism, Science Advances, vol. 4, no. 1, 17 jan 2018, DOL 10.1126/sciadv.aa05580, analizan el software de evaluacién de riesgo COMPAS, que se utiliza de manera habitual por los Tribunales de EEUU, y legan a la conclusion de que es impreciso y que, a pesar de utilizar 137 parametros para obtener el resultado los autores comprueban que la misma precisién la logran con solo dos funciones; ademas de que se producen tanto falsos positives como falsos_negativos. Disponible: https://advances.sciencemag.org/content/4/1/ aao5580 (fecha acceso: 06/05/19).242 M. JosuNe Pérez Este la escasa tasa de éxito sino, también, por la posible evolucién de los algo mos que son posibles de analizar, como COMPAS, que utilizan algoritmos de anilisis de riesgo, a los llamados algoritmos de aprendizaje (Deep ning), pensados para actuar como el cerebro humano. Estos tiltimos s¢ basan en un proceso de conexiones cambiante y resulta muy probable qu usen datos personales, incluidos los especialmente protegidos, sin haberl ni siquiera proporcionado, los “datos inferidos’. 3. La consideracién de los algoritmos como prueba en el proceso penal La posibilidad de utilizar los algoritmos en el proceso penal como m¢ dio de prueba hace que se deba analizar si pueden constituir, en un futurd, prueba pericial cientifica con idéntica valoracin en el proceso penal qu la prueba de ADN, Para afirmar esta posibilidad es necesario verificar fiabilidad de estos mecanismos 0 senalar los requisitos que deberian plir para hacer prueba en el proceso penal'?. En nuestro sistema juridi¢o Ja decision de la admisiblidad de estas herramientas se atribuye al juzgad que es quien decide sobre su admisin a los efectos de poder influir en conviccién judicial. Si bien no se debiera exigir que estas técnicas tengat un grado de fiabilidad absoluto, si, necesariamente, debe vigilarse un total encaje en el sistema de proteccién de los derechos fundamentales y ga tias procesales. Certificar la fiabilidad de un sistema de inteligencia artificial consti hoy en dia, uno de los grandes retos juridicos que se deberdn afront Su grado de fiabilidad estara en relacion, sin duda, con la calidad de datos que se usen pero, ademas, se debe tener en cuenta el peligro qu presenten los sesgos algoritmicos 0 que se favorezcan intereses de una de La determinacién de la cientificidad de estas herramientas como prueba es u tema que deber abordarse a medida que se generalice su uso. Sobre esta cues tién, véase, ALCOCEBA GIL, Juan Manuel, “Los estindares de cientifici como criterio de admisibilidad de la prueba cientifica”, Revista Brasileira de Di Processual Penal, vol. 4, n. 1, p. 215-242, jan./abr. 2018. Disponible: https://do org/10.22197/rbdpp.v4il.120 (fecha acceso: 06/05/19); DOLZ LAGO, Man Jestis, “La prueba pericial cientifica ante el Tribunal Supremo”, Ciencia poli revista del Instituto de Estudios de policia, nim. 137, 2016, pp. 101-153; CABEZ BAJO, MP José, “Sociedades seguras, administracién de justicia eficiente y obte cidn eficaz de la prueba de ADN a nivel nacional y transfronterizo: hacia su regu laci6n armonizada”, Revista General de Derecho procesal, nitim. 46, 2018.p de algoritmos en el proceso penal y el derecho a wn proceso con todas las garantias 243 as partes del proceso!®, La decisién sobre la posibilidad de utilizar estos canismos en nuestros sistemas juridicos pasaré necesariamente por la gacién previa de regularlos'”. Ill. COMO AFECTA EL USO DE ALGORITMOS EN EL PROCESO. PENAL AL DERECHO A UN PROCESO GON TODAS LAS GARANTIAS I. La garantia del proceso penal Consustancial a la concepcién de proceso, en general, ya la del proceso enal, en particular, es la idea de la garantia del acierto de la sentencia. El proceso penal es el sistema que permite descubrir la verdad de los hechos jeterminar el sujeto responsable, siempre con el respeto al principio con- dictorio. El que permite la restricci6n de los derechos sin que puedan El proceso penal modero va mas all, debe tratarse de un proceso res- tuoso con los derechos humanos y con los derechos de las victimas. El ado, con atribucidn del monopolio del ius puniendi, ejercido, en exclusi- ‘a, por los tribunales y a través del proceso, no puede investigar sin limites Como seifiala la Resolucién del Parlamento Europeo, de 14 de marzo de 2017, sobre las implicaciones de los macrodatos en los derechos fundamentales: priva- cidad, proteccién de datos, no discriminacién, seguridad y aplicacion de Ia ley [2016/2225(INI)], Considerando M, *...debe hacerse una distincién entre cantidad ycalidad de los datos a fin de facilitar la utilizacién eficaz de los macrodatos (algorit- mosy otras herramientas analiticas); y que los datos y/o los procedimientos de baja calidad en los que se basan los procesos de toma de decisiones y las herramientas analiticas podrian dar lugar a algoritmos seszados, correlaciones falsas, errores, una subestimacion de las repercusiones éticas, sociales y legales, el riesgo de utilizaci6n de los datos con fines discriminatorios o fraudulentos y la marginacién del papel de los seres humanos en esos procesos, lo que puede traducirse en procedimientos de- ficientes de toma de decisiones con repercusiones negativas en las vidas y oportuni- dades de los ciudadanos, en particular los grupos marginalizados, asi como generar un impacto negativo en las sociedades y empresas”. ® Como sciala COTINO HUESO, Lorenzo, “Big data ¢ inteligencia artificial. Una aproximacidn a su tratamiento juridico desde los derechos fundamentales’, op. cit, p. 139 “...entiendo que este tipo de garantias frente a la discriminaci6n yan a tener que combinarse con el reconocimiento de fuertes facultades de acceso y conocimiento de los algoritmos y los grandes datos que se manejan por parte de sectores especializados, tanto ptiblicos como de la sociedad civ244 M. Josune Pérez EsTR (los limites vendran impuestos por la norma constitucional y las proc les) sino sometido al imperio de Ia ley. El modclo actual de proceso penal recoge, como suyas, las garantias que contienen los textos internaciona en el ambito de los derechos fundamentales de naturaleza procesal. La concepcidn de proceso penal actual supera su aspecto formal de desdob a miento de funciones estatales para acoger las garantfas procesales constitt cionalizadas (los principios del proceso) que la doctrina hace equivalera debido proceso o proceso con todas las garantias”. 2. La configuracién del derecho a un proceso con todas las garantias El derecho a un proceso con todas las garantias”! est4 constitucion lizado, es uno de los contenidos del art. 24.2 CE*, que, junto con o 2 De las funciones del proceso penal en el Estado de Derecho da buena cuenta autor ASENSIO MELLADO, José Maria, “El proceso penal con todas las gara fas”, Ius et Veritas, n° 33, 2006, pp. 236-24, poniendo de relieve la imposib dad en un Estado de Derecho de un proceso penal en contra de los “valores la cultura democratica”. En sus palabras, la eficacia del proceso penal radi en la “condena del auténtico culpable”, lo contrario, la condena de un inocen al proceso en ineficaz o, incluso, en un no proceso, en un “simple @ pediente inquisitivo”. Se trata de un proceso penal informado por los princi de contradiccion e igualdad de las partes, “respetuoso con los derechos fi mentales, especialmente el de defensa-pilar del contradictorio y definidor, excelencia, del concepto mismo de proceso” (en palabras del autor), pp. 23 21 E] derecho al proceso con todas las garantias del art. 24.2 CE se corresponde e el principio de “debido proceso”, y contiene un doble significado: para el legi dor de configurar un proceso penal teniéndolo en cuenta y para el juez de aplit cl derecho y dirigir el proceso de manera debida, ie., de manera garantista, Env palabras de GOMEZ COLOMER, Juan Luis, “La reforma estructural del proces penal y la elecci6n del modelo a seguir”, Anuario de Derecho Penal. Posicién insite cional de los sujetos en el proceso penal de menores reformado (juez, fiscal, defensor/acuste do, victima), Université de Fribourg-Département de droit pénal, 2008, p. 48, proceso legalmente debido es la “esencia del sistema acusatorio norteamericano, fijado en la Constitucién y desarrollado abrumadoramente por la jurisprudenci norteamericana”. 22 Dispone el art. 24 CE: 1. Todas las personas tienen derecho a obtener la tutela efectiva de los jueces tribunales en el ejercicio de sus derechos ¢ intereses legitimos, sin que, en ning caso, pueda producirse indefension. 2, Asimismo, todos tienen derecho al Juez ordinario predeterminado por Ia le la defensa y a la asistencia de letrado, a ser informados de la acusaci6n form contra ellos, a un proceso piiblico sin dilaciones indebidas y con todas las gauso de algoritmos en el proceso penal y el derecho a un proceso con todas las garantias 245 echos, dispone: “Todos tienen derecho...a un proceso...con todas las garantias...”. Se trata de un derecho aut6nomo del resto de derechos que se contemplan en el art. 24.2 CE, pero su problematica radica en su pro- 9 contenido procesal, al encontrarnos ante un concepto juridico inde- minado®'; incluso considerado como principio procesal**. En lo que la octrina coincide es que se trata de un derecho procesal predicable para iodos los Grdenes jurisdiccionales, no sdlo aplicable al orden jurisdiccional al, y relacionado con garantias procesales especificas Elderechoa un proceso con todas las garantias es independiente del de- ‘echo la tutela judicial efectiva, recogido en el art, 24.1 CE. Ya la sentencia del Sentencia del TC 46/1982, de 12 de julio” sefalaba un contenido dife- ‘rente entre el apartado 1 del art. 24 y el 2: “El art. 24 de la Constitucion, en s dos epigrafes, previene dos supuestos intimamente relacionados entre i, pero que merecen un tratamiento diferenciado, ya que el segundo de ellos apunta preferentemente a las Ilamadas «garantias procesales» —asi, el derecho al Juez ordinario predeterminado por la Ley, asistencia letrada, informaci6n de la acusacién, proceso publico, utilizacién de los medios de tfas, a utilizar los medios de prueba pertinentes para su defensa, a no declarar contra si mismos, a no confesarse culpables y a la presuncién de inocencia. Asi lo pone de relieve CALDERON CUADRADO, Maria Pia, “El derecho a un proceso con todas las garantias (aspectos controvertides y jurisprudencia del Tri- bunal Constitucional)”, Cuadernos de Derecho Piblico, nim. 10 (inayo-agosto 2000), p. 154-155, La autora mantiene que se trata de un “derecho complejo, en ocasio- nes incorrectamente delimitado —de ahi la confusién de ciertas sentencias del ‘Tribunal Constitucional— DE LA OLIVA SANTOS, Andrés, VVAA (dirs. DIEZ-PICAZO GIMENEZ, Ignacio, VEGAS TORRES, Jaime) , Derecho Procesal. Introduccion, Centro de Estudios Ram6n Areces, Madrid 1999, p. 65, lo califica de “genuino principio procesal...Porque no se trata sélo ni principalmente de una opcidn sobre la estructura y la configura- cién formal del proceso, sino de un criterio basico para decidir el derecho con las debidas garantias de acierto”. MONTERO AROCA, Juan, “Los principios politicos del poder judicial”, Derecho Jurisdiccional I, Parte General, 26" ed., VVAA, (dirs. MONTERO AROGA, Juan, GO- MEZ COLOMER, Juan Luis y BARONA VILAR, Silvia), Tirant lo Blanch, Valencia 2018, p. 89, entiende que la garantia procesal penal del derecho al juez ordinario predeterminado por la ley no se encuentra limitada, en exclusiva, al proceso penal porque “...ademas de procesal, es también jurisdiccional, pues atiende a la com- posicion y funcionamiento de los tribunales, independientemente del proceso en que éstos conozcan”; también, WALLESPIN PEREZ, David, El modelo constitucional de juicio justo en et dambito del prroceso civil: conexién enire el derecho a la tutela judicial efectiva y el derecho a un proceso con todas las garantias, Atelier, Barcelona, 2002. (BOE niim. 185, de 04 de agosto de 1982), ECLIES:TC:1982:46.246 M. JosuNr PEREZ ESTRADA, prueba pertinentes y presuncién de inocencia—, mientras que el primero, al proclamar el derecho a obtener la tutela efectiva de los Jueces y Tribu nales en el ejercicio de los derechos ¢ intereses legitimos previniendo que nunca pueda producirse indefensidn, establece una garantia, previa al pro= ceso, que lo asegura, cuando se dan las circunstancias requeridas al efecto. Dicho de otro modo, el art. 24.2 también asegura la «tutela efectiva», pero Jo hace a través del correcto juego de los instrumentos procesales, mientras que el 24.1 asegura la tutela efectiva mediante el acceso mismo al proceso”. La doctrina coincide con el TC en que la finalidad de este derecho ra dica en “salvaguardar la presencia de ciertas instituciones especificas en la ordenaci6n y tramitaci6n de la realidad procesal de modo que su falta en configuracién legal de la forma “en que debe realizarse el derecho objetivo por los 6rganos jurisdiccionales” 0, incluso, “en la propia actuacién de é tos” vulnerarfa el derecho a un proceso con todas las garanti ga, por lo tanto, un trato de “clausula de cierre” del sistema de garantias procesales, amparando derechos procesales que no estan expresamente recogidos en el art. 24 CE*’, Incluso se ha ido més alla, al utilizar el TC derecho a un proceso con todas las garantfas para acoger garantias pro sales establecidas en normas internacionales sobre derechos humanos”. Asi concluye CALDERON CUADRADO, Maria Pia, “El derecho a un proceso con todas las garantias (aspectos controyertidos y jurisprudencia del Tribunal Const tucional)”, Cuadernos de Derecho Piiblico, op. cit., p. 158. 28 De esta manera lo contempla PIGO IJUNOY, Joan, “Derecho a un proceso con to das las garantias”, Las garantias constitucionales del proceso, Bosch, Barcelona, 2012, p. 159. También véase a ESPARZA LEIBAR, Ifiaki, EU principio del proceso debid Bosch, Barcelona I$ : 2% Asi lo recoge la sentencia, por todas, TC 245/1991, de 16 de diciembre ( ntim, 13, de 15 de enero de 1992), ECLEES:TG:1991:245 cuando declara que € derecho a un proceso con todas las garantias contiene los derechos proclamados enclart. 6.1 CEDH, FJ 2°: “...en el proceso se quebrantaron reglas legales consti tutivas de garantias esenciales del procedimiento, que asegura cl art. 6.1 del venio Europeo pero que nuestra Constitucién protege también como derechos fundamentales en el art. 24 C.E., en particular, en la referencia al derecho a un’ proceso ptiblico con todas las garantias, contenida en el art. 24.2 C.E. El derecho a un proceso con todas las garantias, al igual que los demas derechos fundamen tales, ha de ser interpretado de conformidad con los Tratados y Acuerdos Inter nacionales sobre derechos humanos ratificados por Espaiia (art, 10.2 G.E.), entre los que ocupa un especial papel el Convenio Europeo de Derechos Humanos y Libertades Fundamentales, del que el TEDH realiza la interpretaci6n y cuyas cisiones son obligatorias para nuestro Estado.”247 0 de algoritmos en el proceso penal y el derecho a un proceso con todas las garantias En definitiva, el derecho a un proceso con todas las garantias constitu- -una garantia fundamental de Ia Justicia como valor superior del orde- namiento juridico de un Estado de Derecho™, Se trata, en definitiva, de gurar la confianza que los tribunales han de inspirar en una sociedad democratica*'. 3, El uso de algoritmos en el proceso penal y su afeccion en el derecho a un proceso con todas las garantias La utilizacién del uso de algoritmos o de otras herramientas de inteli- gencia artificial en el proceso penal, que duda cabe, incide, directamente, en las garantias procesales. Analizar de qué manera lo hace o el alcance le la afeccion en el derecho a un proceso con todas las garantias sera cla- ‘ye para poder concluir si resultan admisibles en nuestro sistema judicial penal. Habra que sefialar los principios fundamentales que forman parte del contenido del derecho a un proceso con todas las garantias (0 debido proceso) que pueden resultar afectados por el uso de algoritmos u otras herramientas de inteligencia artificial. Asi, comprobaremos la posible afec- cién en el principio inherente al titular de la potestad jurisdiccional: el principio de imparcialidad judicial, asi como en la igualdad de las partes enel proceso, como principio general del proceso, y en el derecho funda- mental de audiencia o defensa. La garantia de la imparcialidad judicial ha sido incluida, de manera ex- presa, en el contenido del derecho a un proceso con todas las garantias del art. 24.2 CE por cl TC ya desde la sentencia 145/ 1988, de 12 de julio”, en ‘el FJ.5, “...debe incluirse, aunque no se cite en forma expresa, el derecho aun Juez imparcial, que constituye sin duda una garantia fundamental de % Respecto de los principios y derechos que son necesarios para que el poder judi- cial sea compatible con cl estado de derecho o el principio del proceso debido, ESPARZA LEIBAR, Iiiaki, “El proceso debido como tinico modelo aceptable para la resolucion de conflictos en un estado de derecho y como presupuesto para la globalizacién”, EL derecho procesal espartol de siglo XX a golpe de tango, WNAA (coords. GOMEZ COLOMER, Juan Luis, BARONA VILAR, Silvia, CALDERON CUADRA- DO, Maria Pia, MONTERO AROCA, Juan), Tirant lo Blanch, 2012, pp. 319-337. 3 DIEZ-PICAZO GIMENEZ, Ignacio, “Articulo 24. Garantias procesales”, Comenta- rios a la Constitucién Espanola de 1978, Tomo Il, VVAA (dir. ALZAGA VILLAMIL, Oscar), Edersa, Madrid 1996. ‘También, LOPEZ ORTEGA, Juan José, “El derecho al juez no prevenido y el juicio de faltas”, Jueces para la democracia, mim 8, 1989, p. 47. 8% BOE num. 189, de 08 de septiembre de 1988. ECLIES:TC: 1988:145.248 M. Josunt PEREZ ESTRADA la Justicia en un Estado de Derecho, como lo es el nuestro, de acuerdo con: elart. 1.1 de la Constitucién.”* Se trata, en definitiva, a través de la impar cialidad judicial de asegurar la efectividad del derecho a un proceso con todas las garantias, pues la imparcialidad judicial, como derecho intrinseco: al desarrollo de la propia funcin jurisdiccional, incide en la confianza que. una sociedad democratica tiene respecto de sus Tribunales. Garantizar a las partes del proceso “que no concurre ninguna duda razonable sobre la existencia de prejuicios en el rgano judicial” es tarea fundamental en un- ‘ado de Derecho", La igualdad de las partes en el proceso la incluye el TC dentro del con-_ tenido del derecho a un proceso con todas las garantfas del art. 24.2 CE. Esta inclusién de la imparcialicad judicial en el derecho al debido proceso propiciada por el reconocimiento, en virtud del art. 10.2 CEDH, de la garanti reconocida en el art, 6.1 CEDH “Toda persona tiene derecho a que su causa oida equitativa, piblicamente y dentro de un plazo razonable, por un tribun independiente € imparcial”, La importancia de esta asunci6n es la recepcion de la jurisprudencia del TEDH en la interpretacin del derecho a juez imparcial, Se hace eco de dicha relevancia DIEZ-PICAZO GIMENEZ, Ignacio, “Articu 24, Garantias procesales ”, Comentarios a la Constitucién Espanola de 1978, Tomo Articulos 24 a 38 de la Constitucién Expaiola, p. 95. Disponible: huips:/ /app.vlex. com/#vid/331146 (Fecha acceso: 05/05/2018). Asf, el TC, siguiendo la doctrina del TEDH, en sentencia, entre otras, 47/2011, 12 abril (BOE nam. 111, de 10 de mayo de 2011). ECLI:ES:TC: 2011:47, F. J. 9: “Despe- jada la concurrencia de este dbice procesal y entrando en el fondo de la vulneraci aducida del derecho a la imparcialidad judicial (art. 24.2 CE), debe sefialarse que doctrina reiterada de este Tribunal que este derecho condiciona la existencia de la funci6n jurisdiccional, conforme al cual, por estar en juego la confianza quel Tribunales deben inspirar en una sociedad democratica, debe garantizarse a las partes que no concurre ninguna duda razonable sobre la cxistencia de prejuicios o preven= ciones en el 6rgano judicial. A esos efectos, se viene distinguiendo entre una imparciae lidad subjetiva, que garantiza que el Juez no ha mantenido relaciones indebidas las partes, en la que se integran todas las dudas que deriven de las relaciones del Juez’ con aquéllas, y una imparcialidad objetiva, es decir, referida al objeto del proceso, por la que se asegura que el Juez se acerca al “thema decidendi” sin haber tomado postura en relacion con él. Se ha puntualizando, no obstante, que no basta con que las dudas © sospechas sobre la imparcialidad del Juez surjan en la mente de la parte, sino que lo determinante y decisivo es que las razones para dudar de la imparcialidad judicial, por un lado, queden exteriorizadas y apoyadas en datos objetives y, por otro, alcan una consistencia tal que permita afirmar que se hallan objetiva y legitimamente just ficadas (por todas, STC 60/2008, de 26 de mayo, FJ 3).” En Ia sentencia, entre ouas, TC 27/1985, de 26 de febrero (BOE mim. 74, de 27) de marzo de 1985). ECLIES:TC: 1985:27, F.J. 3. Aunque también lo contempla, en. otras ocasiones, dentro del derecho a la tutela judicial efectiva o incluso vinculadoBl uso de algoritmos en el proceso penal y el derecho aun proceso con todas las garantias 249 Su esencia esta en garantizar que las partes del proceso gocen de los mis- derechos y se enfrenten a las mismas cargas, en igualdad de condicio- , sin que existan privilegios 0 desigualdades que favorezcan a una de . Se trata de conseguir una igualdad efectiva al dotar a las partes de las mas posibilidades procesales en la aportacion de los hechos al proceso, Jas alegaciones y en la prueba a fin de lograr la efectividad del resultado ¢ se quiere obtener. Impedir el desarrollo de este principio privandoles los trémites procesales legalmente previstos u obstaculizando la labor defensa de una parte en beneficio de la otra impide que se aplique con éxito este principio de igualdad de las partes en el proceso™. De modo genérico, dentro del derecho a un proceso con todas las ga- ntfas, recogido en el punto 2 del art. 24 CE, aparece también constitu- ionalizado el derecho fundamental de audiencia o defensa. El contenido Jel derecho se materializa en un doble ambito: las partes deben poder conocer todos los materiales de hecho y de derecho que puedan influir en la conviccién del juez en el momento de dictar la sentencia y la facultad de poder alegar, probar y argumentar con la misma idea de incidir en la conviccion judicial*’. ci Sin duda, la utilizacion de algoritmos judiciales en el “iter” del proceso in- cide 0 altera, de manera directa, los principios y garantias procesales quc con- forman el derecho al proceso debido o el derecho a un proceso con todas las garantfas®*, Como técnica 0 prueba que se aporte al proceso por la acusacion al derecho de defensa. Se entiende mas apropiada su ubicacién dentro de los con- tenidos del proceso debido al tratarse de un principio general propio del proceso. % MONTERO AROCA, Juan, “Los principios politicos del poder judicial”, Derecho Jurisdiccional I, Parte General, op. cit., pp. 253-257. Y la doctrina del TC comen- tada, PICO 1 JUNOY, Joan, "Derecho a un proceso con todas las garantias”, Las garantias constitucionales del proceso, op. cit. pp. 159-160. ‘Ningiin material que pueda llegar a incidir en la resoluci6n judicial puede man- tenerse en secreto para una © las dos partes, y si ello Hegara a ocurrir, estarfamos claramente ante un supuesto de indefensi6n”; con esta claridad argumental lo pone de manifiesto el profesor AROCA MONTERO, Juan, “Los principios gene- rales del proceso”, Derecho Jurisdiccional I, Parte General, 26" ed., VVAA, (dirs. MONTERO AROCA, Juan, GOMEZ COLOMER, Juan Luis y BARONA VILAR, Silvia), op. cit. pp. 251-253. % En palabras de GUZMAN FLUJA, Vicente G., “Sobre la aplicacin de la inteligen- cia artificial a la solucion de conflictos (Reflexiones acerca de una transformacion tan apasionante como compleja)”, Justicia Civil y Penal en la era global, VVAA (ed. BARONA VILAR, Silvia), op. cit., pp. 67-122, que analiza la utilizacién de los sis- temas de inteligencia artificial como medios de soluci6n de solucién de conflic- 9250 M. Josune Pérez Esrrapa influird en la conviccién personal del juez respecto del caso concreto que esta obligado a valorar; por lo que si el algoritmo no estuviese configurado de for ma adecuada 0 presenta sesgos el resultado de su andlisis afectara a la impar cialidad del juzgador en el momento de dictar la sentencia. La igualdad de las partes en el proceso también se vera afectada cuando la utilizacién del algoritmo por una de las partes puede colocarla en grado de superioridad procesal frente a la otra, en este caso de la parte acusadora frente al acusado. Por lo tanto, el grado de fiabilidad 0 la certeza con la que actiia el algoritmo, ie., las garantias que proporciona su aplicacién serdin determinan- tes ala hora de valorar la conveniencia de su aportacién en el proceso. Finalmente, habra de entenderse también lesionado el derecho funda- mental de defensa cuando con motivo del desconocimiento de materiales de hecho que se aporten al proceso, como es el caso de desconocimiento de la estructura que contienc cl algoritmo juridico, se impida al acusado, la po- sibilidad de alegar, probar y argumentar en contra de dicho material fictico. TV. CONCLUSIONES La admisibilidad de los algoritmos como herramienta inteligente de toma de decisiones sobre la base de una serie de pautas se consolida en el Ambito judicial de los EE.UU con motivo del dictado de Ia sentencia del Tribunal Supremo del Estado de Wisconsin el 13 de julio de 2016, A par tir de ese momento, los tribunales norteamericanos han ido expresando una voluntad creciente de utilizar las herramientas de inteligencia artificial para mejorar el funcionamiento de la Justicia. En nuestro entorno juridico el posible el uso de la inteligencia artificial en el proceso penal despierta sentimientos contrapuestos entre la doctrina que se ha pronunciado en este Ambito (atin son escasos los estudios sobre el tema). De un lado, parece preciso aceptar que algunas de sus aplicacio- nes pueden ser de gran utilidad para cubrir multiples carencias que, ahora mismo, tiene que afrontar el sistema jurisdiccional sin las herramientas adecuadas. De otro, es necesario reconocer que su uso puede generar tam- tos juridicos, sostiene que “derechos y garantias son un legado que debemos ser capaces preservat...cspecialmente su contenido esencial, sobre todo, en cuanto encarnan el nticleo de la propia legitimidad con la que se resuelven los conflictos jurfdicos”. Preservando estas garantias, el autor es partidario de utilizar las capac dades de la IA para la solucién de los conflictos juridicos, p. 121uso de algoritmos en el proceso penal y el derecho a un proceso con todas las garantias 251 én vulneraciones mas 0 menos encubiertas de derechos fundamentales, como el derecho a un proceso con las debidas garantias. os Una de las bondades de los algoritmos es, precisamente, la predictibili- dad del comportamiento juridico. A su vez, uno de los grandes problemas supone explicar cémo funcionan los algoritmos mas complejos que son los mas eficaces, los que obtienen mayores resultados de acierto, La cuestion ‘se centra en ¢] tipo de datos que incorporan y el grado de autonomia que se les conceda para efectuar la prediccién; ambos clementos afectaran al grado de fiabilidad de la decision. La incorporaci6n al proceso penal de la inteligencia artificial mediante el uso de algoritmos predictivos del comportamiento afecta, sin duda, a la esencia del propio proceso en la forma del debido proceso, como con- cepto constitucionalizado en el art. 24.2 CE. Podemos afirmar que el error en la fuente de datos, debido a la utilizacion de datos no fiables o de baja calidad, 0, en el propio algoritmo 0, incluso, en las interpretaciones de las conclusiones obtenidas afecta, sin lugar a dudas, a la propia conviccién o decision judicial. Del mismo modo, la igualdad de las partes en el proceso se entendera vulnerada (aunque la desigualdad pueda darse a pesar de que no exista sesgo en los datos). La légica del algoritmo que se aplica debe ser comprensible para las partes del proceso de manera que se garan- tice el derecho de defensa 0 audiencia. Cémo afecta y en qué medida en la configuracién de los principios que conforman el proceso conviene seguir estudiindolo, teniendo en cuenta la evoluci6n futura de la herramienta de IA. En fin, entendemos que son muchas las razones que deberan prevenimos frente al empleo de esta clase de mecanismos, salvo que seamos capaces de reglamentar adecuadamente su empleo. La necesidad de seguir buscando la eficacia en cl proceso no. debe resultar incompatible con la salvaguarda de las garantias y derechos fundamentales procesales. V. BIBLIOGRAFIA ALCOCEBA GIL, Juan Manuel, “Los estindares de cientificidad como criterio de ad- misibilidad de la prueba cientifica”, Revista Brasileira de Direito Processual Penal, vol 4, n. 1, p. 215-242, jan./abr. 2018. Disponible: hitps:/ /doi.org/10.22197/rbdpp. v4il.120 (fecha acceso: 06/05/19). ASENSIO MELLADO, José Maria, “El proceso penal con todas las garantias”, lus et Veritas, n° 33, 2006, pp. 236-24gulacin armonizada”, Revista General de Derecho pro- cesal, nim. 46, 2018.252 M. JOSUNE PEREZ ESTRADA. BUENO DE MATA, Federico, “Mediacién electronica e inteligencia artificial”, Actuali- dad Giyil, ntim. 1, enero 2015. CABEZUDO BAJO, M? José, “Sociedades seguras, administracién de justicia eficiente y obtencién eficaz de la prueba de ADN a nivel nacional y transfronterizo: hacia su regulacin armonizada”, Revisia General de Derecho procesal, nim, 46, 2018. CALDERON CUADRADO, Maria Pia, “El derecho a un proceso con todas las garantias (aspectos controvertidos y jurisprudencia del Tribunal Constitucional)”, Cuadernos de Derecho Pitblico, nm. 10 (mayo-agosto 2000), p. 154-155, 158. Codigo de buenas précticas en protecci6n de datos para proyectos Big Data, (coord. ACED, Emi- lio, HERAS, M. Rosario, SAIZ, Carlos Alberto), Agencia Espaiiola de Protecci6n de Datos (AEPD) y Asociacién Espafiola para e] Fomento de la Seguridad de la Infor: macién, ISMS Forum Spain, 2018, p. 18. COTINO HUESO, Lorenzo, “Big data c inteligencia artificial. Una aproximaci6n a su tratamiento juridico desde los derechos fundamentales”, Dilemata, 2017, pp. 24 131-150, DANIEL MITTELSTADT, Brent, ALLO, Patrick, TADDEO, Maria Rosaria, WATE CHER, Sandra, FLORIDI, Luciano, “The ethics of algorithms: Mapping the de- bate", Oxford Internet Institute, December 1, 2016. Disponible: hups://doi, org/10.1177%2F205395 1716679679 (fecha acceso: febrero 2019). DE LA OLIVA SANTOS, Andrés, VVAA (dirs. DIEZ-PICAZO GIMENEZ, Ignacio, VE- GAS TORRES, Jaime), Derecho Procesal. Introduccién, Centro de Estudios Ram6n Are- ces, Madrid 1999, p. 65. DE MIGUEL BERIAIN, fitigo, “Does the use of risk assessments in sentences respect the right to due process? A critical analysis of the Wisconsin v. Loomis ruling”, Law, Probability and Risk, Volume 17, Issue 1, 1 March 2018, pp. 45-53. DIEZ-PICAZO GIMENEZ, Ignacio, “Articulo 24. Garantias procesales”, Comentarios a Ia Constitucién Espanola de 1978, Tomo III, VVAA (dir. ALZAGA VILLAMIL, Oscar), Edersa, Madrid 1996. También, LOPEZ ORTEGA, Juan José, “El derecho al juez no. __prevenido y el juicio de faltas”, Jueves para la democracia, nim 8, 1989, p. 47. DIEZ-PICAZO GIMENEZ, Ignacio, “Articulo 24. Garantias procesales’, Comentarios ala Constitucién Espaiola de 1978, Tomo IIL, Articulos 24 a 38 de la Constitucion Espariola, p. 95. Disponible: hutps:/ /app.vlex.com/#vid/531146 (Fecha acceso: 05/05/2018). DOLZ LAGO, Manuel Jestis, “La prueba pericial cientifica ante ¢l Tribunal Supremo”, Ciencia policial: revista del Instituto de Estudios de policia, ntim. 137, 2016, pp. 101-153. DRESSEL, Julia y FARID, Hany, “The accuracy, fairness, and limits of predicting recidit vism, Science Advances, vol. 4, no. 1, 17 jan 2018, DOI: 10.1126 /sciadv.aa05580. Dis: ponible: https://advances.sciencemag.org/content/4/1/eaa05580 (fecha acceso: 06/05/19). ESPARZA LEIBAR, Ifaki, “El proceso debido como tinico modelo aceptable para la re- solucién de conflictos en un estado de derecho y como presupuesto para la globali- zacién", El derecho procesal espaiiol del siglo XX a golpe de tango, VVAA (coords. GOMEZ COLOMER, Juan Luis, BARONA VILAR, Silvia, CALDERON CUADRADO, Marfa Pia, MONTERO AROCA, Juan), Tirant lo Blanch, 2012, pp. 319-337. ESPARZA LEIBAR, liiaki, El principio del proceso debido, Bosch, Barcelona 1995. FREEMAN, Katherine, “Algorithmic Injustice: How the Wisconsin Supreme Court Fai- led 10 Protect Due Process Rights in State v. Loomis”, 18 N.CJ-L. & Tech. On. 75,‘uso de algoritmos en el proceso penal y el derecho a wn proceso con todas las garantias 253 2016. Disponible en hup://ncjol.org/wp-content/uploads/2016/12/Freeman_ Final.pdf (fecha de acceso: 22/04/2018). GONZALEZ, Elena, “Big data, privacidad y proteccion de datos”. XIX Edicion del Premio Proteccién de Datos Personales de Investigacién de la Agencia Espafiola de Protecci6n de Datos, Madrid, 2016, pp. 28 y 43. OMEZ COLOMER, Juan Luis, “La reforma estructural del proceso penal y la elec- cién del modelo a seguir”, Anuario de Derecho Penal. Posicién institucional de los sujetos en el proceso penal de menores reformado (juee, fiscal, defensor/acusado, victima), Universi- té de Fribourg-Département de droit pénal, 2008, p. 48. AN FLUJA, Vicente G., “Sobre la aplicacién de la inteligencia artificial a la so- lucién de conflictos (Reflexiones acerca de una transformacién tan apasionante como compleja”, Justicia Civil y Penal en la era global, VWVAA (ed. BARONA VILAR, Silvia), Tirant lo Blanch, Valencia, 2017, pp. 67-122. NG, Markus, BUES, Micha-Manuel y HALBLEIB, Gernot, VVAA, Legal Tech. A Practitioner's Guide, Beck/Hart, 2018. UZ MANTECON, Miguel L., “Gibernética y Derecho Europeo: zuna intcligencia robética?”, Diarié La Ley, nim. 9376, Seccién Doctrina, 13 de marzo de 2019. LARSON, Jeff’, MATTU, Surya, KIRCHNER, Lauren y ANGWIN, Julia, “How analyzed the COMPAS recidivism algorithm’, Pro Publica, May, 2016. Disponible: https:// \ww.propublica.org article /how-we-analyzed-the-compas-recidivism-algorithm (fe~ cha acceso: marzo 2019). MAGRO SERVET, Vicente, “La aplicacién de la inteligencia artificial en la Administra- cidn de Justicia”, Diario La Ley, niim. 9268, Seccién Doctrina, 27 de setiembre de 2018 MONTERO AROCA, Juan, “Los principios politicos del poder judicial”, Derecho Juris- diccional I, Parte General, 26" ed., VVAA, (dirs. MONTERO AROCA, Juan, GOMEZ COLOMER, Juan Luis y BARONA VILAR, Silvia), Tirant lo Blanch, Valencia 2018, p- 89 y 253-257. NAVAS NAVARRO, Susana, “Derecho ¢ inteligencia artificial desde el diseiio. Aproxi- maciones”, Inteligencia artificial. Tecnologia. Derecho, AAVV (dit, NAVAS NAVARRO, Susana), Tirant lo Blanch, Valencia, 2017. NIEVA FENOLL, Inteligencia artificial y proceso judicial, Marcial Pons, Madrid, 2018. O'NEIL, Cathy, Armas de desiruccién matemdtica, Capitan Swing, Madrid 2017 OLIVA LEON, Ricardo, Justicia algoriunica ética? Disponible en https;//wwwalgorit- molegal.com /tecnologias-disruptivas/justicia-algoriunica-etica/ (fecha de acceso: 24/04/2019). PICO I JUNOY, Joan, “Derecho a un proceso con todas las garantias”, Las garanifas constitucionales del proceso, Bosch, Barcelona, 2012, p. 159-160. Resolucin del Parlamento Europeo, de 14 de marzo de 2017, sobre las implicaciones de Jos macrodatos en los derechos fuundamentales: privacidad, proteccién de datos, no dis- criminacién, seguridad y aplicacién de la ley [2016/2225(INT) ], Considerando J y M. RICHARD GONZALEZ, Manucl, “Admisibilidad, eficacia y valoracién de las pruebas neurolégicas en el proceso penal”, furis: actualidad y préctica del derecho, nim. 206, 2014, pp. 36-41. VALLESPIN PEREZ, David, EU modelo constitucional de juicio justo en et dmbito del proceso civil: conexién entre el derecho a la tutela judicial efectiva y el derecho a un proceso con todas las garantias, Atelier, Barcelona, 2002.