Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Nota
Implicaciones para los neuroderechos de la disparidad axiológica entre
sesgos algorítmicos y neurodesarrollo
JOSÉ MANUEL MUÑOZ, JOSÉ ÁNGEL MARINARO
JOSÉ MANUEL MUÑOZ En este trabajo sostenemos que cualquier estimación de riesgo de
Doctor en Lógica, reincidencia en adolescentes basada en algoritmos de «caja negra» y
Historia y Filosofía de la Ciencia. en sus antecedentes delictivos, ignorando la inmadurez de su neuro-
Grupo Mente-Cerebro,
desarrollo, supone una vulneración del «neuroderecho» a la protec-
Instituto Cultura y Sociedad,
Universidad de Navarra (ICS, UN). ción contra sesgos algorítmicos, propuesto por la Fundación
Pamplona, España; NeuroRights, lo cual ubica a dicho grupo etario en una especial situa-
Centro Internacional de ción de vulnerabilidad que lo priva de oportunidades justas de reinte-
Neurociencia y Ética (CINET), gración y socialización. Las herramientas de «neuropredicción» del
Fundación Tatiana Pérez de delito agravan este problema si no se emplean para explorar posibili-
Guzmán el Bueno. dades de intervención especializada. El desfase en el neurodesarro-
Madrid, España.
llo de los menores constituye un espacio de atención victimológica
JOSÉ ÁNGEL MARINARO que viene siendo ampliamente minusvalorado y que debe llevarnos a
Doctor en Ciencias Jurídicas y reflexionar sobre qué aportan a tal efecto las neurociencias y si exis-
Sociales. te una adecuada protección normativa que blinde sus derechos fren-
Departamento de Derecho y te a eventuales usos maliciosos de las neurotecnologías.
Ciencia Política,
Universidad Nacional de Palabras clave: Infancia – Adolescencia – Evaluación de riesgo de
La Matanza (UNLaM). violencia – Neuropredicción – Neuroprevención.
San Justo, Buenos Aires,
R. Argentina.
Neurorights Implications of the Axiological Disparity between
Algorithmic Biases and Neurodevelopment
FECHA DE RECEPCIÓN: 27/04/2021 In this work, we argue that any estimation of the risk of recidivism in
FECHA DE ACEPTACIÓN: 14/05/2021 adolescents based on “black-box” algorithms and on their criminal
antecedents, ignoring the immaturity of their neurodevelopment,
implies a violation of the “neuroright” to protection from algorithmic
biases, proposed by the NeuroRights Foundation, thus making this
age group especially vulnerable and depriving them of fair opportuni-
ties for reintegration and socialization. Crime “neuroprediction” tools
CORRESPONDENCIA worsen this problem when they are not used to explore possibilities for
Dr. José Ángel Marinaro. specialized intervention. The neurodevelopment gap of minors consti-
Departamento de Derecho y tutes a space of victimological attention that has been widely under-
Ciencia Política, valued. It should also lead us to reflect on what neurosciences can
Universidad Nacional
contribute and on whether there is adequate normative protection that
de La Matanza,
Florencio Varela 1903, shields their rights from eventual misuses of neurotechnologies.
B1754JEC, San Justo,
Buenos Aires, R. Argentina; Keywords: Childhood – Adolescence – Violence Risk Assessment –
joseangelmarinaro@yahoo.com.ar Neuroprediction – Neuroprevention.
IMPLICACIONES PARA LOS NEURODERECHOS DE LA DISPARIDAD AXIOLÓGICA ENTRE SESGOS ALGORÍTMICOS Y NEURODESARROLLO 217
puestas iniciales de Anton Bauer [28], consti- Tomado de [13], de acuerdo con la licencia Creative
reconocidos casos Ropper v. Simmons [17], tecnologías, ha llevado al propio Yuste a lide-
Graham v. Florida [7] y Miller v. Alabama [14] rar la Fundación NeuroRights [25]: una pro-
han recogido los aportes de las neurocien- puesta de cinco nuevos neuroderechos
cias, determinando, por ejemplo, que los humanos que amplíen las disposiciones
adolescentes no pueden ser sometidos a legales vigentes a escala nacional y, sobre
pena de muerte o a pena de prisión perpetua, todo, internacional (en la Declaración
precisamente por la inmadurez en el desarro- Universal de Derechos Humanos [6]). Estos
llo de su cerebro. Por otro lado, factores neuroderechos son los siguientes: identidad
como la mayor vulnerabilidad en esa etapa personal, libre albedrío (muy relacionado con
etaria ante factores traumáticos de toda índo- la libertad cognitiva [3]), privacidad mental,
le [11] y el posible uso malicioso de las neu- acceso equitativo a potenciadores mentales
rotecnologías deberían estar presentes a la y, finalmente, protección contra sesgos algo-
hora de repasar el sistema de garantías para, rítmicos. El contenido de este derecho, es el
eventualmente, aggiornar sus disposiciones siguiente: «Utilizar contramedidas para com-
en torno a los niños, niñas y adolescentes. batir sesgos algorítmicos debe ser la norma
al emplear algoritmos de aprendizaje auto-
Cabe poner en evidencia la existencia de una mático. Se deben considerar indicaciones de
importante disparidad axiológica, vista la con- distintos grupos de usuarios para enfrentar
tradicción que surge al supervalorar negati- los sesgos de manera colectiva desde las pri-
vamente antecedentes penales de juventud meras fases del desarrollo del algoritmo»
en la carga de datos algorítmicos (como [25].
sucede en herramientas como COMPAS o
LSI-R), al mismo tiempo que los relevamien- Desde esta perspectiva, a nuestro entender,
tos empíricos señalan que en la adolescen- cualquier estimación del riesgo de reinci-
cia es elevada la asunción de riesgos y que dencia en adolescentes basada en algorit-
el control de impulsos, la anticipación de con- mos de «caja negra» (de los que no se
secuencias futuras, la planificación estratégi- conoce cómo operan sus cálculos [12]) y en
ca y la resistencia a la influencia de pares aquellos sustentados en sus antecedentes
son conductas que no se consolidan hasta la delictivos, ignorando a la vez la inmadurez
adolescencia tardía [13]. Como elocuente- de su neurodesarrollo, supone una evidente
mente señalan algunos autores, «los des- vulneración de este neuroderecho y ubica a
arrollos de la adolescencia temprana crean dicho grupo poblacional en una clara situa-
una situación en la que uno está arrancando ción de vulnerabilidad que lo priva de opor-
un motor sin tener aún un conductor cualifi- tunidades justas de reintegración y sociali-
cado» [23]. Es este el «carácter no cablea- zación. El eventual uso de recursos neuro-
do» al que se refieren los jueces en Ropper tecnológicos para efectuar estudios de
v. Simmons [17]. «neuropredicción» del delito [15], los cuales
emplean herramientas genéticas (v. gr.
La disparidad axiológica que señalamos es estudio del gen MAOA) y de neuroimagen
una evidente muestra del riesgo que supo- (estudio de la activación de la amígdala, el
nen los sesgos algorítmicos tal y como los giro cingulado, el córtex prefrontal y otras
definen Yuste et al. [27]: «Cuando las deci- áreas cerebrales) para estimar el riesgo de
siones científicas o tecnológicas están basa- reincidencia, no hace sino ahondar en la
das en un conjunto reducido de conceptos y gravedad de esta vulnerabilidad, cuando se
normas sistémicas, estructurales o sociales, hace exclusivamente con el fin de buscar la
la tecnología resultante puede privilegiar a seguridad pública y no para explorar tam-
ciertos grupos y perjudicar a otros». bién posibilidades de intervención especiali-
Precisamente este tipo de riesgo, junto a zada con los adolescentes condenados.
otros derivados del desarrollo de las neuro- Como bien señalan Barry-Jester et al. en el
título de su trabajo: «¿Deberían las penas de intervención para entrenar y mejorar los
de prisión basarse en delitos que aún no se índices obtenidos para dichos factores y, de
han cometido?» [2]. este modo, ayudar al recluso con la vista
puesta en su rehabilitación y reintegración.
Tal y como uno de nosotros señaló en otro Pero además, y he aquí un elemento crítica-
trabajo [19], el concepto mismo de neuropre- mente decisivo de la NCRA, dicha herra-
dicción conlleva un enfoque profundamente mienta ignora por completo cualquier tipo de
determinista de la conducta humana, que información relativa a los antecedentes pena-
refuerza las ideas basadas en la peligrosidad les, las características étnicas, el nivel edu-
innata, que ignora que el crimen es en gran cativo y el estatus laboral.
parte contextual y que, en última instancia,
conduce a una peligrosa paradoja según la El ejemplo de la NCRA demuestra que es
cual «el sistema se da a sí mismo el poder de posible desarrollar recursos para estudiar el
cambiar [por ejemplo, denegando un permiso sistema nervioso y su funcionamiento (esto
carcelario] el curso de eventos futuros que, al es, neurotecnologías) que resulten útiles
mismo tiempo, considera en gran parte inevi- para estimar el riesgo de reincidencia crimi-
tables [por parte del individuo]» [19]. Como nal sin pérdida de eficacia, respetando el
alternativa, se ha propuesto un enfoque neuroderecho a la protección contra sesgos
basado en la «neuroprevención» [18, 19, 20], algorítmicos (como los antecedentes, la
en el que cualquier estudio de riesgo de rein- etnia, etc.) y permitiendo elaborar estrategias
cidencia basado en herramientas neurotec- específicas de intervención para la rehabilita-
nológicas debe tener presente que dicho ción futura. Desde nuestro punto de vista, la
riesgo siempre es probabilístico (jamás especial vulnerabilidad de niños, niñas y ado-
determinista) y, sobre todo, ha de servir para lescentes invita profundamente a investigar
dilucidar qué rasgos neurobiológicos y de nuevas «neuroherramientas» ad hoc que
conducta pueden ser entrenados por medio permitan avanzar en esta línea a favor de
de un adecuado proceso de intervención con este grupo etario. El carácter eminentemente
el fin último de facilitar la reintegración del dinámico de sus rasgos cognitivos, mayor
recluso en el momento adecuado. aún que el de los adultos a causa de su
inmadurez cerebral, hace más imprescindi-
El hecho de que tal enfoque es realizable ble, si cabe, dicha investigación por cuanto
queda ilustrado cuando atendemos a nuevas permitiría diseñar estrategias de intervención
herramientas que han aparecido en los últimos específicamente encaminadas a trabajar en
tiempos, como la NCRA (NeuroCognitive Risk pos de su sano y adecuado neurodesarrollo.
Assessment) desarrollada por el equipo del
SciLaw dirigido por David Eagleman [8]. Se El comprobado desfase en el neurodesarro-
trata de una tablet con un conjunto de tests llo de los menores constituye, en definitiva,
neurocognitivos que evalúan distintos facto- un espacio de atención victimológica que
res criminógenos (agresión, atención, bús- viene siendo ampliamente minusvalorado y
queda de riesgos, empatía, impulsividad, pla- que debe llevarnos a efectuar una profunda
nificación futura, procesamiento emocional) y reflexión sobre qué aportan, a tal efecto, las
cuya estimación de riesgo se ha demostrado, neurociencias y si existe una adecuada pro-
cuando menos, igual de eficaz que la de las tección normativa que blinde sus derechos
pruebas realizadas con papel (entre ellas, frente a eventuales usos maliciosos de las
dos que ya hemos mencionado aquí: COM- neurotecnologías. Si bien se ha destacado
PAS y LSI-R). Resulta importante señalar aquí el derecho a la protección contra sesgos
que los factores cognitivos criminógenos algorítmicos, cabe sin duda ahondar en otras
mencionados son de naturaleza dinámica, lo cuestiones relacionadas con los otros cuatro
que significa que se puede diseñar un plan neuroderechos propuestos por la Fundación
NeuroRights. Por ejemplo: ¿cómo pueden de una ampliación o reformulación del art. 6,
emplearse eficazmente las neurotecnologías ap.2, de la Convención sobre los Derechos
en los menores sin que ello afecte perjudi- del Niño, relativa al derecho a su desarrollo
cialmente a su neurodesarrollo, con conse- normal [5], de manera tal que este artículo
cuencias para su identidad personal y el ejer- pueda abarcar específicamente el derecho a
cicio de su libre albedrío?; ¿cómo deben tra- un adecuado desarrollo neurocognitivo de los
tarse los datos cerebrales y neurocognitivos menores.
obtenidos, de manera que quede garantizada
su privacidad mental?; ¿es posible llevar a Declaraciones
cabo políticas públicas que garanticen un José Ángel Marinaro y José M. Muñoz decla-
acceso equitativo y justo de los menores a ran que su contribución a este artículo se
las tecnologías de potenciación mental, enmarca en los siguientes proyectos de
especialmente en el caso de aquellos que investigación: 1) Espacios de progresión de
viven en situaciones de extrema pobreza y las neurociencias en el derecho: aplicación
vulnerabilidad? en el campo de los derechos humanos, dere-
cho penal, ejecución de la pena, neurocien-
Aun siendo sin duda bienvenida la incorpora- cia forense y neurotecnologías. Universidad
ción de nuevas leyes y normativas generales Nacional de La Matanza (D-066, Programa
que acompañen al desarrollo de las neuro- PROINCE, Ministerio de Educación de
tecnologías, consideramos que la particular Argentina). Investigador principal: Prof. José
situación de los menores, requiere explorar Ángel Marinaro. 2) Derecho penal y compor-
vías normativas ad hoc que permitan garanti- tamiento humano (MICINN-RTI2018-097838-
zar sus derechos. El Comité de los Derechos B-100), otorgado por el Ministerio de Ciencia,
del Niño, de las Naciones Unidas, ha dado un Innovación y Universidades de España
paso adelante en esta línea por medio de su (MCIU/AEI/FEDER, UE), programa «I+D+i
Observación General núm. 24 [16], y más orientada a los retos de la sociedad».
concretamente en sus puntos 22 y 112, en Investigador principal: Prof. Eduardo
los que recoge los aportes de las neurocien- Demetrio Crespo, Universidad de Castilla-La
cias e insta «a los Estados partes a que Mancha.
tomen nota de los últimos descubrimientos
científicos y a que eleven en consecuencia la Agradecimiento
edad de responsabilidad penal en sus paí- José M. Muñoz agradece a la Fundación
ses». Como propuesta adicional e invitación Tatiana Pérez de Guzmán el Bueno su gene-
al debate, sugerimos considerar la posibili- roso apoyo, sin el cual no habría sido posible
dad de reforzar dicha observación a través la contribución a este trabajo.
Referencias
1. Bacigalupo E. Manual de derecho penal: parte 4. Casey BJ, Getz S, Galvan A. The adolescent
general. Bogotá: Temis; 1996. brain. Dev Rev. 2008;28(1):62-77. PMID:
2. Barry-Jester AM, Casselman B, Goldstein D. 18688292 DOI: 10.1016/j.dr.2007.08.003
Should prison sentences be based on crimes 5. Convención sobre los Derechos del Niño.
that haven’t been committed yet? Nueva York: Asamblea General de las
FiveThirtyEight. 2015 Aug 4. Available from: Naciones Unidas; 1989 nov 20. Disponible en:
https://fivethirtyeight.com/features/prison- https://www.un.org/es/events/childrenday/pdf/
reform-risk-assessment/ derechos.pdf
3. Bublitz JC. My mind is mine!? Cognitive liber- 6. Declaración Universal de Derechos
ty as a legal concept. En: Hildt E, Franke AG, Humanos, Resolución 217 A (III). Paris:
edits. Cognitive enhancement. Dordrecht: Asamblea General de las Naciones Unidas;
Springer; 2013. p.233-64. DOI: 10.1007/978- 1948 dic 10. Disponible en:
94-007-6253-4_19 https://www.un.org/es/about-us/universal-