See discussions, stats, and author profiles for this publication at: https://www.researchgate.

net/publication/337797495

Inteligencia Artificial Ética - Un Enfoque Metaético a la Moralidad de Sistemas

Autónomos (TFG)

Thesis · September 2019

DOI: 10.13140/RG.2.2.29346.58568

CITATION READS

1 2,387

1 author:

Juan Ignacio del Valle

University of Granada
4 PUBLICATIONS 2 CITATIONS

SEE PROFILE

All content following this page was uploaded by Juan Ignacio del Valle on 06 December 2019.

The user has requested enhancement of the downloaded file.

UNIVERSIDAD NACIONAL DE EDUCACIÓN A DISTANCIA
FACULTAD DE FILOSOFÍA

TRABAJO FIN DE GRADO

GRADO EN FILOSOFÍA

Inteligencia Artificial Ética

Un Enfoque Metaético a la Moralidad de Sistemas Autónomos

PRESENTADO POR

Juan Ignacio del Valle Martínez

DIRECTOR

Jesús Zamora Bonilla

Bruselas, convocatoria de septiembre 2019.

 Agradecimientos
En primer lugar, me gustaría agradecer a mi director de Trabajo del Fin de Grado, el
Profesor Jesús Zamora Bonilla por su dedicación, sus buenos consejos y su flexibilidad
con este trabajo que parecía que no iba a acabar nunca.

Muchos de los temas tratados aquí han surgido de conversaciones con el Doctor Patricio
López Expósito quien, además de ser un gran amigo, domina la mayéutica a la
perfección. Si este trabajo es comprensible es en gran parte gracias a él.

Igne del Valle me lo está enseñando todo de nuevo.

La impresora de Silvija Guzelyte ha funcionado correctamente.

2
 I´m sorry Dave, I’m afraid I can’t do that
Hal 9000, 2001: Una Odisea del Espacio

3
 Tabla de contenidos
1. Introducción ................................................................................................................................. 5

2. Breve introducción a sistemas autónomos e inteligencia artificial y sus usos actuales .................... 7

2.1. Un poco de historia.............................................................................................................. 7

2.2. Sistemas que aprenden........................................................................................................ 9

2.3. Usos actuales..................................................................................................................... 12

2.3.1. Ciencia ..................................................................................................................... 13

2.3.2. Transporte................................................................................................................ 14

3. Moralidad artificial...................................................................................................................... 19

3.1. Acotamiento del problema ................................................................................................ 20

3.2. Implementando la moralidad artificial................................................................................ 23

3.2.1. Estrategias Top-down ............................................................................................... 23

3.2.2. Estrategias Bottom-up .............................................................................................. 26

4. Gobernanza y valores éticos........................................................................................................ 29

5. Metaética de máquinas............................................................................................................... 32

5.1. Introducción: qué es la metaética y por qué nos tiene que importar................................... 32

5.2. El problema: vacíos lógicos y preguntas abiertas ................................................................ 33

5.2.1. El problema del ser/deber-ser................................................................................... 33

5.2.2. La falacia naturalista ................................................................................................. 34

5.3. Una solución: el realismo naturalista en el siglo XXI ............................................................ 37

5.3.1. Introducción ............................................................................................................. 37

5.3.2. Dos variantes de realismo naturalista contemporáneo .............................................. 38

5.3.3. Superveniencia ......................................................................................................... 40

5.3.4. Aprendizaje moral según el realismo naturalista ....................................................... 41

5.4. metaética aplicada: el cambio técnico actual y su regulación.............................................. 42

6. Conclusiones............................................................................................................................... 49

7. Otras consideraciones y posibles líneas de trabajo ...................................................................... 51

8. Referencias ................................................................................................................................. 53

4
1. Introducción

La Inteligencia Artificial (IA) es un conjunto de métodos y técnicas que permiten a los

computadores resolver ciertos problemas que normalmente requerirían capacidades
cognitivas únicamente presentes en los seres humanos, como el razonamiento o la toma
de decisiones.

Aunque el origen de este campo científico data de los años 50 del siglo XX, la IA está
viviendo unos años de enorme desarrollo debido, principalmente, a dos factores: el
aumento de la capacidad de almacenamiento y computación de los ordenadores, y la
disponibilidad de cantidades masivas de datos y la mejora del llamado machine learning,
la técnica empleada para explotarlos.

La disponibilidad de estos datos no tiene precedente y se debe principalmente a tres

décadas de Internet y al desarrollo y uso de aplicaciones cada vez más ubicuas, desde el
correo electrónico y la mensajería instantánea hasta los wearables -paradigma de
intrusión consentida o ignorada- pasando, por supuesto, por servicios como Facebook,
Twiter y otras redes sociales).

Volviendo a la definición de IA tenemos que realizar una precisión importante con

respecto a la “variedad de problemas” que citamos anteriormente. En sus inicios, a
mediados de siglo XX, la investigación en IA se centraba en desarrollar sistemas que
pudieran ejecutar el mismo tipo de actividades que un ser humano, la llamada IA Fuerte
(Strong AI). No se tardo mucho tiempo en comprender las dificultades insuperables que
en esa época -y aún hoy- entrañaba el desarrollo de ese tipo de sistemas. La
consecuencia fue la especialización de la IA, acotando el tipo de problemas a resolver
(reconocimiento de habla, visión artificial o juegos como el ajedrez) en lo que se llamó
IA Débil o IA Estrecha (Narrow AI) usando terminología actual.

Por otra parte, nunca se ha dejado de especular sobre la IA Fuerte, actualmente llamada
Inteligencia General Artificial (AGI, Artificial General Intelligence) y, más
particularmente, en conceptos como súper-inteligencia o singularidad, es decir el
momento en el que la IA alcance un grado de desarrollo tal que sea capaz de mejorarse
a sí misma, perfeccionándose de forma exponencial. Estos temas plantean problemas
extremadamente interesantes desde el punto filosófico como nuestros conceptos de
persona, consciencia, intencionalidad, o el futuro mismo de la humanidad en
convivencia con esta deidad artificial.

Sin embargo, actualmente no existe un consenso sobre si la singularidad es posible, y

los que afirman que lo es no se ponen de acuerdo en su horizonte temporal (entre 10 y
100 años). Por este motivo en lo sucesivo, aunque tendremos presente las discusiones
actuales en este ámbito, este trabajo -al igual que la mayor parte de la investigación
actual- se centrará en aplicaciones más limitadas de una IA Estrecha.

5
Incluso limitándonos a sus capacidades actuales, no hay ninguna duda de que la IA es
una de una tecnología socialmente disruptiva (Socially Disruptive Technology, SDT), es
decir, una tecnología que tiene y tendrá un impacto enorme en la sociedad y que está
llamada a inducir cambios en aspectos como el trabajo, el ocio, la salud, la educación, el
transporte, la guerra, y en otras áreas que hasta ahora habían sido coto privado de la
creatividad del ser humano, como la ciencia, el arte o -quién sabe- la filosofía. Otros
ejemplos de tecnologías socialmente disruptivas incluyen la imprenta, el motor de
vapor, el uso de electricidad, los ordenadores personales o Internet. Estas tecnologías
tienen el potencial de traer grandes beneficios a la sociedad, pero también de grandes
daños si no se desarrollan y se usan correctamente. En particular, como veremos más
adelante, la IA podría limitar la autonomía humana, transformar el mercado laboral a
una velocidad mayor a la de reacción al cambio de la sociedad, dejando a millones de
personas sin trabajo, coartar la privacidad y la dignidad de las personas o exacerbar la
desigualdad y las divisiones sociales. Por ello es importante desarrollar el marco
regulatorio que incluya aquellos principios normativos que deberían guiar el desarrollo
y el uso de esta tecnología, maximizando los beneficios que ésta aportaría a la sociedad
y a los individuos en general.

Este tipo de tecnologías plantean una serie de cuestiones que requieren una reflexión
ética. El problema al que nos enfrentamos es que en tecnologías como la IA tales
preguntas se dirigen a los mismos conceptos y valores que normalmente entran en
juego en nuestro pensamiento ético.

En presente trabajo vamos a centrarnos precisamente en este tema: las consideraciones

éticas en el diseño, desarrollo y uso de sistemas autónomos basados en IA. Para ello, en
la sección 2 empezaremos ofreciendo una breve introducción a sistemas autónomos e
IA en general, describiendo algunos usos paradigmáticos de esta tecnología, así como
algunos problemas técnicos que conlleva su uso. Es necesario comprender estos
elementos para definir claramente el objeto al que nos referimos antes de entrar en la
discusión sobre los problemas éticos de la IA en la sección 3. La sección 5 abundará en
estos problemas desde una perspectiva metaética que creemos que puede ser útil para
aclarar algunos aspectos del debate actual en torno a la IA ética. La sección 6 ofrecerá
algunas conclusiones y la sección 7, por último, describirá brevemente otros elementos
del ámbito de la reflexión sobre IA ética que se han quedado fuera de este trabajo.

6
2. Breve introducción a sistemas autónomos e
inteligencia artificial y sus usos actuales

2.1. Un poco de historia

A pesar de su actualidad, el campo de la IA data prácticamente de los inicios de la

computación digital a mediados del siglo XX y las bases para la tecnología actual,
incluidas las redes neuronales, protagonistas de las principales noticias en este ámbito
a día de hoy, fueron desarrolladas hace varias décadas. El propio término Inteligencia
Artificial fue utilizado por primera vez en un curso de verano en el Dartmouth College
en 1956, si bien Alan Turing ya había reflexionado sobre este tema unos años antes en
un artículo que se ha convertido en un clásico en este campo.

Alan Turing fue un matemático británico famoso por muchos motivos, entre otros, por
haber sentado las bases de la teoría moderna de computación, siendo la llamada
máquina de Turing uno de los primeros modelos teóricos (si no el primero) para las
computadoras actuales. Además, en 1950 Alan Turing escribió el artículo Computing
Machinery and Intelligence en la revista Mind en el que especulaba sobre la posibilidad
de crear máquinas que pudieran pensar, es decir, emular las capacidades de una mente
humana, y proponía el hoy célebre Test de Turing. Esta prueba estaba basada en el juego
de la imitación1 y tenía como objetivo validar que una máquina era capaz de confundir
a un ser humano haciéndose pasar por otro ser humano, lo cual era considerado una
evidencia de su capacidad equiparable a la de los seres humanos como entidades
pensantes.

El test de Turing, y sus variantes posteriores, fue tan importante que se consideró
durante mucho tiempo2 la forma de validar el desarrollo de una IA real y los primeros
sistemas de IA fueron chatbots cuya finalidad era pasar esta prueba. La primera
implementación de este tipo fue Eliza, un sistema que era capaz de procesar lenguaje
natural e intentaba mantener una conversación coherente con el usuario. Sin embargo,
Eliza, cuyo desarrollo estaba basado en reglas fijas, aburría -o desvariaba- tras algunos
minutos de conversación.

1
En el juego de la imitación entraban un hombre y una mujer en cuartos separados y el resto de los
jugadores intentaría distinguir entre cada uno por medio de preguntas y respuestas (escritas a máquina).
El objetivo del juego es que los participantes que se encuentran en los cuartos deben convencer al resto
que son el otro.
2
El test de Turing tuvo varios defensores y detractores a lo largo del tiempo, una de las objeciones más
importantes fue experimento de la habitación china propuesto por John Searle en 1980, en el que se
diferenciaba entre un tratamiento sintáctico de la información (lo que hacía en test de Turing y sus
variantes) y un tratamiento semántico de la misma que según Searle era lo que definiría a una máquina
como pensante.

7
Pronto se hizo evidente que estos primeros sistemas basados en reglas lógicas (también
llamados sistemas simbólicos) no iban a poder demostrar las tareas cognitivas previstas
por Turing y otros. La consecuencia fue que el interés en campo de la IA decayó
considerablemente, en especial a partir de 1973, año en que el matemático británico
James Lighthill publicó un informe muy crítico con las posibilidades de AI, y que fue la
causa de la decisión del gobierno británico de limitar severamente el apoyo a la
investigación en IA, inaugurando lo que se ha llamado el primer invierno de IA (IA
winter). Este no fue el único “invierno” que habría de sufrir esta tecnología ya que, a
medida que la tecnología evolucionaba se dieron otros ciclos de ilusión y decepción. No
obstante, el efecto de este primer “invierno” fue que la investigación en la materia se
concentrara en la especialización de la tecnología en ámbitos restringidos, desarrollando
lo que se llama una IA estrecha o débil. Este tipo de IA intenta resolver problemas
particulares como el reconocimiento del lenguaje natural o imágenes, o jugar a juegos
como la dama o el ajedrez. En contraposición, la llamada Inteligencia General Artificial
o IA Fuerte, sería capaz de desarrollar todas las tareas cognitivas requeridas en un único
sistema. Todos los sistemas actuales basados en IA son implementaciones de IA
estrecha.

Un hito importante en el desarrollo de IA (estrecha) tuvo lugar en 1996, cuando el súper

computador Deep Blue venció por primera vez al entonces campeón mundial de ajedrez,
Gary Kaspárov. Más recientemente hemos podido ver como en 2011 otro sistema
basado en IA, Watson, venció a los campeones de Jeopardy!, un popular concurso de
televisión estadounidense de conocimientos con preguntas sobre numerosos temas
como historia, idiomas, literatura, cultura popular, bellas artes, ciencia, geografía, y
deportes. Otro hito, si cabe más importante, ocurrió en 2016 cuando el sistema AlphaGO
venció al campeón mundial de GO, Lee Sedol.

El GO era considerado más complicado de automatizar debido a la cantidad de

posibilidades y configuraciones del tablero que entraña; de hecho se suele considerar
que la intuición humana tiene un papel fundamental en este juego. Este hecho no es
anecdótico: volveremos a la intuición y su papel en la reflexión ética más adelante pero
ahora es importante desatacar que todos estos avances han ido superando al ser
humano en tareas para las que tradicionalmente se consideraba que era necesario
poseer inteligencia humana3. En el caso del GO, el número de posibilidades que
involucraba el movimiento hacía impracticable un tratamiento del problema mediante
lógica simbólica y calculo mediante fuerza bruta de computación, como se usó en Deep
Blue. La tecnología usada explotaba otra facultad cognitiva que tradicionalmente se ha

3
Por otro lado es también habitual dejar de considerar necesaria la inteligencia para estas tareas una vez
que se consiguen automatizar. Esto es algo tan habitual en este ámbito que lo desarrolladores de IA suelen
definir con ironía la IA como “aquello que las máquinas todavía no pueden hacer”

8
considerado humana, y que será de gran importancia en este trabajo: la capacidad de
aprender.

2.2. Sistemas que aprenden

Las redes neuronales (Neural Networks, NN) es un campo investigación dentro de la IA

que se remonta a los años 60 del siglo XX aunque ha vivido unos cambios muy
interesantes en la última década. Esta tecnología está inspirada en el cerebro humano,
al menos en nuestro limitado conocimiento sobre su funcionamiento, y más
concretamente en sus neuronas y conexiones, las señales eléctricas que se transmiten
y el procesamiento de información.

Para comprender el funcionamiento de una red neuronal, al menos lo suficiente para las
discusiones posteriores en este trabajo, será necesario retener tres elementos: el
concepto de neurona artificial, las conexiones de éstas, y el algoritmo de aprendizaje de
máquina (Machine Learning, ML) usado en el entrenamiento de la red.

Volviendo al cerebro humano, vemos que éste contiene un gran número de neuronas y
un número todavía mayor4 de conexiones entre ellas, llamadas sinapsis. Cuando son
estimuladas de un modo particular, las neuronas pueden enviar un impulso eléctrico a
través de sus conexiones, que a su vez puede estimular o inhibir la activación de otras
neuronas. Estas conexiones se configuran de acuerdo a los inputs que recibe el cerebro.

Este modelo de neuronas y sinapsis en la el que el aprendizaje se modela como una

determinada configuración de sinapsis es la base de las redes neuronales. La figura 1
muestra una red neuronal de una capa, y las conexiones entre la capa de entrada y la de
salida. El entrenamiento de una red neuronal es la configuración de estas conexiones de
forma que a una entrada determinada le corresponda una salida correcta, asignando
diferentes valores (o pesos) a cada una de las conexiones de forma que éstas estén
activas o inhibidas al final del aprendizaje. Conseguir el ajuste de las conexiones entre
las neuronas de la red es la tarea principal del algoritmo de entrenamiento o de
aprendizaje de máquina.

4
Normalmente para dar un orden de magnitud, se equipara el número de neuronas al número de árboles
en el Amazonas y el número de sinapsis al número de hojas de los árboles del Amazonas.

9
 Figura 1. red neuronal de una capa

Durante el proceso de aprendizaje o entrenamiento de la red, a partir de una entrada

determinada, la red calcula una salida en base a la configuración específica de
conexiones. Si la salida es correcta se pasa a la siguiente entrada, en caso contrario lo
que hace el algoritmo aprendizaje es ajustar la configuración de las conexiones de forma
que el sistema calcule una salida correcta y se pasa a la siguiente entrada.

Las redes neuronales de una capa eran la base del primer sistema basado en esta
tecnología, el perceptrón, a finales de los años 60, cuya funcionalidad principal era
reconocer figuras geométricas. Sin embargo las capacidades de aprendizaje de estas
redes estaban muy limitadas. Para que esta tecnología proporcione resultados
interesantes hacían falta estructuras más complejas, incluyendo más capas, nuevos
algoritmos de aprendizaje capaces de configurar estas arquitecturas y mayor capacidad
de procesamiento.

Estos algoritmos llegaron en los años 80 del siglo XX con la propuesta de los llamado
algoritmos de retro-propagación (back error propagation). Cuantas más capas
añadimos, más complejo puede ser el conocimiento que elaboremos. Las redes
neuronales profundas, esto es, con varias capas internas son la base de lo que se conoce
como aprendizaje profundo (Deep Learning). Además, se han empezado a usar
diferentes capas para funciones específicas aumentando el rendimiento y las
capacidades de aprendizaje del sistema. Mayor complejidad de entrenamiento requiere
mayor capacidad de computación, lo cual no ha acabado de resolverse adecuadamente
hasta el desarrollo y uso de unidades de procesamiento gráfico (Graphical Processing
Units, GPU) y la computación distribuida en la primera década del siglo XXI. El único
elemento que nos falta para la explotación de esta tecnología era el conjunto de datos
de entrada que se van a usar para su entrenamiento y de nuevo hubo que esperar hasta

10
finales de la primera década del siglo XXI para tener un tratamiento masivo de los datos
fruto de 20 años de uso de Internet.

Las redes neuronales actuales están compuestas diferentes nodos o bloques, cada uno
de ellos compuesto por muchas capas, todas ellas adaptativas de modo que tenemos
sistemas con miles o millones de parámetros ajustables entrenados mediante millones
o a veces billones de ejemplos (datos de entrada).

Esta es una explicación muy básica que simplifica enormemente este campo de
investigación y desarrollo sin embargo, nos sirve para comprender una característica
principal de estos sistemas: los ordenadores ya no se programan, se entrenan5. Este es
un cambio fundamental en el campo de la computación, más que tener un ser humano
o equipo de programadores programando un computador para realizar una tarea
determinada, es decir, dar una serie de instrucciones de modo que cuando el
computador sigue esas instrucciones, resuelve una tarea determinada, se pasa a escribir
una serie de instrucciones o programa que permite al computador aprender, para
después entrenar al computador usando gran cantidad de datos.

El hecho de que el software pasa de ser escrito a ser entrenado tiene dos consecuencias
importantes particularmente para este trabajo: la inescrutabilidad, el indeterminismo y
la dependencia de los datos usados en el entrenamiento de los sistemas basados en esta
tecnología. En el desarrollo de software tradicional, dado que éste era escrito, era
posible leer el código y entender su funcionamiento, y verificarlo o modificarlo si era
necesario. Además el código estaba basado en reglas lógicas y el comportamiento del
sistema era completamente determinista: una vez establecidas las reglas, el sistema se
comporta siguiendo las mismas.

En sistemas basados en redes neuronales, una vez que el sistema comienza a ser
entrenado, lo único que somos capaces de ver en el código son neuronas y conexiones
activas o inactivas y no es posible entender el vínculo entre esta estructura y el
comportamiento del sistema. Por este motivo se dice que estos sistemas son
inescrutables y se suele hacer la comparación con una “caja negra”, de la que realmente
no comprendemos la causa de las salidas que obtenemos ni podemos leer o mejorar el
código del sistema directamente en caso de que estas salidas no sean las deseadas. Tan
solo podemos seguir entrenando al sistema.

Por otro lado, dado que el aprendizaje es cuantificación de probabilidades: el sistema va

mejorando a medida que la probabilidad de proporcionar salidas correctas (tener un
comportamiento adecuado) aumenta. Esto implica que se pierde el determinismo (al
menos el determinismo que los seres humanos son capaces de entender) que tienen los

5
https://www.wired.com/2016/05/the-end-of-code/

11
sistemas tradicionales programados mediante reglas lógicas. Ahora solo tenemos una
probabilidad de que el sistema se va a comportar de una manera determinada y la fase
de entrenamiento termina cuando esta probabilidad llega a un valor adecuado.

Por último, vemos los algoritmos diferentes de aprendizaje varían principalmente en la

forma en que las conexiones en la red son configuradas pero el entrenamiento del
sistema depende únicamente de los datos que se usen durante el mismo. El dicho
“garbage in, garbage out” se emplea habitualmente para describir este problema: la
calidad de datos será determinante en la fase de entrenamiento y el particular cualquier
sesgo en los datos repercutirá directamente en el sistema.

Los problemas de inescrutabilidad, indeterminismo y sesgos (dependencia de los datos)

son centrales en cualquier discusión sobre ética en sistemas autónomos basados en
redes neuronales y volveremos a ellos más adelante. Sin embargo, esto no ha impedido
que esta tecnología se haya empezado a emplear con éxito en muchos ámbitos, tanto
es así que es habitual -y en este trabajo seguiremos esta tendencia- referirse a IA, redes
neuronales y aprendizaje profundo indistintamente. Pasemos ahora a ver donde está
usando esta tecnología en la actualidad

2.3. Usos actuales

En la última década hemos asistido a una eclosión de sistemas basados en IA y

particularmente en la tecnología que hemos descrito en la sección anterior. Tanto es así
que actualmente es difícil encontrar un campo en el que no se use la IA de uno u otro
modo y una simple búsqueda en internet – ella misma asistida por esta tecnología -
sobre aplicaciones de IA o machine learning muestra una cantidad abrumadora de
aplicaciones basadas en IA. Ejemplos cercanos los tenemos en asistentes virtuales como
Siri o Alexa, que usan reconocimiento de voz basado en IA, o correctores en las
aplicaciones de mensajería instantánea, reconocimiento facial y muchas de las
aplicaciones actuales de reconocimiento de imágenes, por ejemplo el etiquetado de
imágenes en Facebook o reconocimiento de escritura a mano. Otros ejemplos los
tenemos en Amazon o Netflix que usan esta tecnología para recomendarnos productos
o películas en base a nuestro historial de uso o los traductores en tiempo real tanto de
texto como de habla.

En ámbitos profesionales tenemos ejemplos en el campo de la salud, en el que se usa la

capacidad de reconocimiento y clasificación de imágenes para el diagnóstico por
imagen. En el sector financiero se usa la capacidad de encontrar correlaciones a partir
de cantidades ingentes de datos en para operaciones en bolsa o para realizar una
primera clasificación en las solicitudes de préstamos o hipotecas.

En esta sección vamos a centrarnos en un par de aplicaciones de especial relevancia para

este trabajo. En primer lugar veremos la aplicación de IA al conocimiento científico, al
que haremos referencia más adelante. Después nos concentraremos en una aplicación

12
paradigmática en las que la reflexión ética tiene un claro impacto en el desarrollo de
sistemas autónomos: el transporte autónomo, que ha dado lugar a numerosos debates
sobre el conocido “problema del tranvía”.

2.3.1. Ciencia
Hace algunos años la revista Wired publicó el artículo “The end of theory: the data deluge
makes the scientific method obsolete”6 en el que su autor, Chris Anderson, defendía que
en la época actual de Big Data y supercomputación, el método científico tradicional se
haría obsoleto. No harían falta teorías o hipótesis o discusiones sobre si tal o cual
resultado experimental refuta o confirma la hipótesis original. Lo único que contaría es
el conocimiento adquirido mediante el tratamiento de grandes cantidades de datos
gracias a tecnologías como la IA, que habían dado muy buenos resultados en campos
como la bioinformática, biología, epidemiología y ecología. Anderson reflexiona de
forma algo provocadora al decir “Con datos suficientes, los números hablan por sí
mismos, la correlación reemplaza la causación y la ciencia puede avanzar incluso sin
modelos coherentes o teorías unificadas”.

No es de extrañar que haya habido objeciones muy fuertes desde el ámbito científico
que atacan principalmente la idea de correlación y causalidad en sistema complejos
(Succi & Coveney, 2019). Otras críticas apuntan al concepto mismo de conocimiento, al
sostener que conocer que el descubrir un determinado patrón gracias a un proceso de
inducción a partir de un conjunto de datos no es suficiente. Lo crucial para alcanzar un
nivel de conocimiento que pueda ser usado con seguridad en aplicaciones prácticas es
entender por qué se da este patrón (Mazzocchi, 2015).

Este es un tema sumamente interesante pero estudiar este debate con los elementos
gnoseológicos y epistemológicos que conllevaría está fuera del alcance de este trabajo.
En lo que vemos que sí hay consenso, y será la postura que retendremos aquí, es que el
tratamiento de grandes datos mediante IA es una nueva e importante herramienta para
la producción científica. Esto no implica sin embargo que vaya a reemplazar el método
científico sino que complementará otros elementos importantes en la producción
científica como la experimentación, la proposición de hipótesis y teorías, y la simulación
y modelización. Tratar el problema o las oportunidades que ofrece la IA en la ciencia en
términos de oposiciones, es decir, deducción contra inducción, formulación de hipótesis
contra reconocimiento de patrones, humano contra máquina, no tiene en cuenta que
ambas estrategias son necesarias y se pueden complementar la una a la otra. Las fases
de inducción y deducción son un ciclo iterativo en el proceso de adquisición de
conocimiento. De igual forma la IA puede ayudar en la priorización de hipótesis, pero

6
https://www.wired.com/2008/06/pb-theory/

13
remplazar la creatividad humana requerida en la investigación científica está, al menos
a día de hoy, fuera del alcance de la tecnología actual.

El artículo que citamos al inicio de esta sección tiene el beneficio de haber estimulado
un debate muy interesante y los logros científicos que se identificaron en el mismo se
han completado con otros importantes progresos en otros campos como materiales,
sistemas no lineares, mecánica de fluidos y turbulencias o astronomía (Succi & Coveney,
2019). Al mismo tiempo el tratamiento del problema este y en otros artículos y libros
que sobrevaloran la utilidad de IA para el conocimiento científico es que tienden a
simplificar algunos argumentos importantes que, debido a su complejidad conceptual y
filosófica, deberían tratarse con prudencia.

2.3.2. Transporte
El transporte autónomo no es un campo nuevo7, sin embargo en la última década ha
sido protagonista de un gran número de noticias, no siempre buenas8, en gran parte
debido a los progresos en la IA y a su uso en áreas como la visión artificial o la toma
decisiones. Además, el campo del transporte autónomo no se limita al transporte
terrestre: nuevos materiales más ligeros, baterías con mayor capacidad
almacenamiento de energía, motores eléctricos ligeros y asequibles y avances en el
campo de control de vuelo están en el centro de los nuevos desarrollos en el transporte
personal aéreo (aerotaxis) en el que se está invirtiendo una considerable cantidad de
recursos con unos primeros resultados prometedores9.

Existen muchos factores por los que esta tecnología se considera potencialmente
beneficiosa: económicos, medioambientales, laborales… pero quizás el más importante
sea el de la seguridad. Teniendo en cuenta que actualmente a nivel mundial hay 1.35
millones de muertos en accidentes de tráfico10 y que el 90% de esos accidentes se deben
a errores humanos11, se podría decir que es un imperativo moral desarrollar e implantar
lo antes posible esta tecnología que potencialmente podría salvar millones de vidas al
año.

Sin embargo también son morales los principales motivos que dificultan la implantación
de esta tecnología que parece estar alcanzando una madurez adecuada. El problema

7
Existen ejemplos de vehículos sin conductor desde los años 80 pero un caso paradigmático de
investigación en este campo fue el proyecto Eureka-PROMETHEUS (PROgraMme for a European Traffic of
Highest Efficiency and Unprecedented Safety, 1987-1995), que recibió una subvención de casi 800 M€ de
los países participantes.
8
Primer atropello mortal de un coche sin conductor. Una mujer de 49 años ha fallecido en Arizona tras
ser arrollada por un vehículo autónomo operado por Uber (El País, 19 de Marzo de 2018)
9
Primer vuelo de los modelos principales (Vahana de Airbus, eVTOL de Boeing, Lilium Jet de Lilium,
Volocopter) en los últimos tres años.
10
https://www.who.int/violence_injury_prevention/road_safety_status/2018/en/
11
http://cyberlaw.stanford.edu/blog/2013/12/human-error-cause-vehicle-crashes

14
más claro y bastante presente en el imaginario popular es el dilema del tranvía, un
experimento mental cuya forma original es:

“Un tranvía corre fuera de control por una vía. En su camino se hallan cinco personas
atadas (o incapacitadas de otro modo). Afortunadamente, nos encontramos cerca de
una palanca que, si la accionamos, encaminará al tranvía por una vía diferente, sin
embargo también hay una persona en esta vía. Cual es la opción más ética?: no hacer
nada y dejar que el tranvía mate a las cinco personas en la vía o accionar la palanca,
desviando el tranvía y salvando a esas cinco personas pero sacrificando a otra.”

Este experimento mental y sus variantes12 se adapta al caso de vehículos autónomos

cuando se plantea la toma de decisiones éticas en situaciones críticas en las que pueden
aparecer situaciones en las que el sistema automático debe decidir qué hacer en
situaciones de alto riesgo:

“En un cruce, un vehículo con cinco personas se salta un semáforo en rojo y se interpone
en nuestra vía, el vehículo automático no puede frenar a tiempo y debe escoger si seguir
recto y matar a las cinco personas o desviarse y colisionar contra un muro, matando solo
al propietario del vehículo automático.”

El experimento Moral Machine del Massachusetts Institute of Technology (MIT)

proporciona la formulación más avanzada de este tipo de problemas. Moral Machine13
es una encuesta en la que se proponen trece escenarios, todos ellos variaciones del
problema mencionado más arriba, en los que la muerte de alguien es inevitable. Los
participantes deben responder a quien salvar en situaciones con diferentes variables:
jóvenes, viejos, ricos o pobres, número de personas salvadas…

12
Por ejemplo empujar a un hombre gordo a la vía para detener el tranvía y salvar a las cinco personas
sacrificando una; también hay variantes que consideran que ese hombre es malvado, anciano o enfermo…
13
http://moralmachine.mit.edu

15
 Figura 2. Ejemplo de un escenario propuesto en Moral Machine. Fuente: MIT

Los primeros resultados del experimento (todavía activo) fueron publicados14 en 2018
tras dos años de estudio, seleccionando 2.3 millones de participantes de 130 países.

14
https://www.nature.com/articles/s41586-018-0637-6

16
 Figura 3. Primeros resultados de Moral Machine. Fuente: Nature.

La Figura 3 resume las conclusiones de estos primeros resultados y confirma que no

existen reglas universales para la resolución de estos dilemas, sino más bien tendencias
socialmente modeladas. Además estas tendencias varían considerablemente
dependiendo del contexto cultural: religioso, económico, político, etc. Así por ejemplo,
algo como la madurez de las instituciones democráticas que suele implicar tener una
sociedad más igualitaria juega un papel principal a la hora de no priorizar a los jóvenes,
los ricos o las mujeres y tener una preferencia utilitarista o de no intervención.

Estos resultados, por otra parte previsibles, muestran ciertos problemas sobre los que
se debería reflexionar detenidamente durante el desarrollo e implantación de esta
tecnología. El diseño tecnológico siempre implica una elección de valores que en el caso
de estos sistemas autónomos se hacen más evidentes. ¿Qué valores debería reflejar un
sistema autónomo?

Algunas voces -aunque pocas- piensan que es el fabricante el que tiene la autoridad
moral de realizar estas elecciones es sus coches. Esta opción tiene grandes
inconvenientes ya que actualmente estos algoritmos son propiedad intelectual de las
compañías con los problemas de falta de trasparencia que eso conlleva. Otra opción
sería dejar que sea el usuario quien configure su sistema de acuerdo a sus preferencias
aunque no está nada claro que esta esta opción sea la más justa. Por supuesto, estas

17
posturas no resuelven el problema de la responsabilidad: en caso de una fatalidad
¿Quién es responsable, el fabricante, el usuario, el vehículo? Quizás la opción que más
peso tiene sea estandarizar y regular la resolución de estas situaciones de conflicto así
como producir estándares de calidad que tendrían una relación directa con el coste de
un hipotético seguro al coche (Tegmark, 2017).

Como vemos la discusión empieza a incorporar elementos como valores, transparencia

(o explicabilidad), justicia, responsabilidad que, aunque pueden estar presentes en la
reflexión sobre la tecnología, se vuelven centrales en el caso de sistemas autónomos. Y
esto no solo se limita a los vehículos sin conductor, de una u otra forma estos problemas
aparecen en otras aplicaciones como el establecimiento de perfiles (profiling, targeting)
en aplicaciones en entorno bancario o institucional (justicia, policía…), salud, ámbito de
la publicidad o incluso en procesos democráticos y que plantean preguntas sobre la
autonomía del ser humano.

El desarrollo de este tipo de sistemas que tienen que tomar decisiones en situaciones
en las que la carga moral es elevada requiere un análisis holístico que trasciende
ampliamente el ámbito puramente técnico y en el que la filosofía contribuye a aclarar
muchos de sus elementos centrales.

Este es el tema de este trabajo.

18
3. Moralidad artificial

Es muy frecuente que lo primero que nos venga a la cabeza cuando hablamos de
moralidad de máquinas o de ética de IA sean las tres leyes de la robótica de Asimov.
Tanto es así que la mayoría de los libros y un porcentaje significativo de los artículos
especializados en estos temas suelan empezar enumerándolas:

1. Un robot no hará daño a un ser humano o, por inacción, permitirá que un ser
humano sufra daño.
2. Un robot debe cumplir las órdenes dadas por los seres humanos, a excepción de
aquellas que entrasen en conflicto con la primera ley.
3. Un robot debe proteger su propia existencia en la medida en que esta protección
no entre en conflicto con la primera o con la segunda ley.

Las tres leyes de la robótica inicialmente formuladas en el relato de ciencia ficción

Runaround (1942) fueron muchos años después completadas por el mismo Asimov por
la ley cero:

0. Un robot no hará daño a la Humanidad o, por inacción, permitir que la

Humanidad sufra daño.

Estas leyes han tenido un impacto muy importante tanto en la cultura popular y la
ciencia ficción como en las discusiones especializadas sobre moralidad artificial. Sin
embargo, aunque existen análisis rigurosos sobre la dificultad de implementación y la
poca adecuación a aplicaciones prácticas (Clarke, 2011) (Anderson S. L., The
unacceptability of Asimov's Three Laws of Robotics as Basis for Machine Ethics, 2011),
no es necesario efectuar una reflexión demasiado profunda para encontrar mucho casos
en los que es impracticable una aplicación de estricta de las leyes. Ejemplos claros los
tenemos en casi todos los escenarios15 diseñados en el experimento Moral Machine
descrito en la sección anterior: qué hacer cuando el daño a un ser humano es inevitable.
O qué hacer cuando dos seres humanos dan órdenes contradictorias. En estos casos la
jerarquía reflejada en las leyes tiene poca utilidad ya que el conflicto se da en cada ley
individual. Otros ejemplos los podríamos tener en ordenes injustas pero que no llegan a
dañar (el término “daño” es ambiguo) a otro ser humano como, por ejemplo, robar.
Como vemos los problemas se multiplican sin haber entrado en otras consideraciones
como el hecho de que esas leyes han sido diseñadas para esclavos y no para agentes

15
Exceptuando los escenarios en los que hay que elegir entre seres humanos y mascotas, que por otra
parte y curiosamente han recibido un porcentaje no despreciable de respuestas eligiendo sacrificar a los
primeros.

19
morales, o las evidentes dificultades de codificación de esas leyes en un lenguaje
simbólico.

Como vemos, el tema es abrumador y hereda problemas que provienen tanto de la

reflexión ética tradicional como de la ciencia de la computación más actual, con
elementos de la teoría de la mente y del conocimiento o la filosofía de la tecnología, con
especial atención problema de los valores en el diseño tecnológico. Para empezar a
tratar un tema complejo lo mejor es definirlo y acotarlo con precisión, dividirlo en partes
si es posible y aclarar los conceptos con claridad, de forma que tengamos un buen
andamiaje que nos ayude a tratar estos problemas de forma correcta. Esto nos permitirá
hablar de las leyes de la robótica de Asimov como un caso de implementación top-down
de un paradigma ético deontológico en un agente moral completo y ver que los
problemas mencionados más arriba son recurrentes en estos casos. Veamos estos
conceptos.

3.1. Acotamiento del problema

Vamos a comenzar analizando el problema de la moralidad artificial con una taxonomía

ya tradicional en este campo que lo define mediante cuatro categorías en según el grado
de agencia ética en las máquinas16 (Moor, 2006).

En el nivel más bajo tenemos “agentes con impacto ético” (ethical impact agents)
básicamente cualquier máquina que pueda ser evaluada por sus consecuencias éticas;
es difícil por otro lado encontrar una implementación de IA actual que no sea de un
modo u otro un agente de este tipo. El impacto ético del algoritmo de NetFix que sugiere
qué películas ver o de un chatbot como el fallido Tay Tweets17 puede ser pequeño, pero
es sin duda más importante lo que determina es qué publicidad aparece la pantalla
cuando estamos leyendo un periódico digital o en una red social18.

En el siguiente nivel tenemos lo que Moor llama agentes éticos implícitos (implicit
ethical agents): máquinas que han sido diseñadas para no tener efectos éticos
negativos. Un ejemplo propuesto por Moor es el de los pilotos automáticos de cualquier
avión comercial actual, cuyo diseño tiene en cuenta estrictos criterios de seguridad y

16
Para el objetivo de este trabajo no se considera necesario hacer diferencias entre implementaciones
basadas en software y hardware o únicamente software (“robots” o “bots”) y el término “maquina” se
utilizará indistintamente de “agente artificial”, “Inteligencia Artificial” o “AI” para referirse a ambas. En
otras obras esta diferencia sí es importante e incluso crucial en algunos casos en los que se precisa tener
un “cuerpo” (embodiment) como capacidad necesaria para implementar moralidad artificial.
17
Nos referimos al chatbot Tay Tweets de Microsoft que tuvo que ser dado de baja al comenzar a publicar
mensajes racistas y sexistas tan solo 16 horas después de su lanzamiento.
18
Esto se hace más evidente cuando esta publicidad tiene el potencial de influir sobre procesos
democráticos como se hizo patente en el escándalo de Cambridge Analytica
https://elpais.com/internacional/2018/03/20/estados_unidos/1521574139_109464.html

20
fiabilidad que se deben cumplir durante el proceso de desarrollo, implantación y uso. En
principio, cualquier implementación no trivial de IA debería estar diseñada para ser un
agente ético implícito. Esto incluye los algoritmos publicitarios que vimos anteriormente
y otras implementaciones como sistemas basados en IA para la ayuda a la decisión en el
sector bancario (por ejemplo aceptar o rechazar un préstamo) o el diagnóstico médico,
robots de compañía, o coches sin conductor. Todos estos sistemas tienen el potencial
de tener un impacto ético negativo como resultado de un diseño deficiente o una
reflexión superficial sobre su uso.

Continuando en la jerarquía tenemos los agentes éticos explícitos (explicit ethical

agents), es decir máquinas que razonan sobre ética usando categorías éticas como parte
de su programación, por ejemplo mediante el uso de diversas aproximaciones
deontológicas desarrolladas para representar obligaciones y responsabilidades o que
han recibido un entrenamiento específico. Ejemplos iniciales de estos sistemas podrían
ser MedEthEx un prototipo de asesor médico ético (Anderson, Anderson, & and Armen,
2006) y, aunque existen otros sistemas más actuales, todos ellos son prototipos que
operan en un entorno controlado (Winfield, Michael, Pitt, & Evers, 2019)19.

En lo alto de la jerarquía tenemos agentes éticos completos (full ethical agents):

máquinas que son capaces de realizar juicios morales explícitos y son en general
competentes en justificar esas decisiones. Todos los ejemplos de este tipo de sistemas
provienen actualmente de la ciencia ficción: HAL 9001 de “2001 Odisea en el Espacio” o
Andrew Martin del relato “El Hombre Bicentenario”. El hecho que estemos empezando
a vislumbrar sistemas que pueden alcanzar la categoría de “agente ético explícito” no es
una evidencia de que estemos cerca de tener “agentes éticos completos” entre nosotros
en un futuro cercano. Para este nivel de rendimiento Moor nos avanza que el agente
artificial debe poseer consciencia, intencionalidad y libre albedrío, argumentando que si
alguna de estas características faltase en un ser humano esto impactaría en su agencia
y responsabilidad moral.

Las posibilidades técnicas de desarrollas máquinas con esas capacidades han se ha

debatido intensamente desde los trabajos seminales de moralidad artificial a finales del
siglo XX y sigue discutiéndose en la actualidad. Además, aunque estos requisitos
suponen un salto exponencial en las capacidades técnicas actuales, también suele añadir
a la lista el requisito de poseer sensibilidad (sentience) o emocionalidad (emotionality)
argumentando que únicamente un ser con sentimientos sería capaz de apreciar los
sentimientos de los otros, siendo éste un factor crítico en la evaluación moral de las
acciones posible es una situación determinada.

19
Estos prototipos son GenEth, el robot ético Asimoviano, el robot Akratic, el robot “sorry I can’t do that”
y el robot mediador en el entorno de salud descritos con mayor o menos detalle en (Winfield, Michael,
Pitt, & Evers, 2019)

21
Otros científicos y filósofos como Steve Torrance (Torrance, 2011) argumentan que la
ética no puede entenderse sin reconocer la naturaleza particular de los organismos
biológicos en su autoorganización, su auto mantenimiento, y su tendencia de sobrevivir,
prosperar y procrear para concluir que solo los organismos biológicos son capaces de
ser actores (agentes y pacientes) morales. Este punto de vista “robusto” de la ética
destaca la necesidad de sentir compasión y empatía hacia otras personas en situaciones
de dolor, angustia, miedo, ira y también alegría o placer como elemento esencial en el
desarrollo moral del individuo.

Puntos de vista como los de Torrance parece estar basado en un tratamiento de la

moralidad artificial que evalúa la posibilidad de implementar una inteligencia artificial
ética intentando emular la inteligencia humana y sus características principales en un
modelo computacional. Los críticos con este tratamiento del problema argumentan que
esto es como desarrollar aviones cuyas alas aleteen y tengan plumas; es bien sabido
actualmente que el vuelo de los pájaros no es el mejor modelo para el vuelo humano.

Por otra parte, también se ha puesto en cuestión la adecuación del concepto de

responsabilidad en el ser humano para sistemas artificiales, separando la dos
dimensiones de la misma: responsibility y accountability (Floridi, 2011) (Anderson S. L.,
Philosophical Concerns with Machine Ethics, 2011). Otras referencias dudan de la
necesidad de cumplir estos requisitos para llevar a cabo acciones correctas.

Independientemente de estas consideraciones, nosotros vamos a seguir las indicaciones

del propio Moor al decir que la aparición de “agentes éticos completos” en el futuro es
algo que no puede determinarse actualmente mediante la reflexión filosófica o la
experimentación en ciencia e ingeniería.

El campo de la moralidad artificial (machine ethics, artificial morality, machine morality)

se centra específicamente en asegurar que el comportamiento de las máquinas mismas
respecto a los usuarios humanos20 es éticamente aceptable. Este campo se aplica
principalmente a los agentes éticos explícitos según la clasificación de Moor y trasciende
el ámbito de la ética de computadoras (computer ethics) o de la ética de la ingeniería en
general. Estos ámbitos tradicionales están más enfocados en los valores del ingeniero y
cómo estos afectan al diseño de sistemas, y a los problemas éticos asociado al uso de
los mismos y es más adecuada para los agentes éticos implícitos.

Una vez definido, el campo de la moralidad artificial y acotado el tipo de sistemas que
nos interesa, vamos a centrarnos en dos problemas que consideramos especialmente
relevantes. El primero está relacionado con la pregunta sobre qué ética (o la ética de
quién) habría que implementar explícitamente en este tipo de sistemas y de qué forma

20
Lo que Wendell Wallach and Colin Allen han denominado “moralidad funcional” (Wallach & Colin, 2009)

22
se puede realizar esta implementación. El segundo problema es la regulación y la
gobernanza de la IA y ha sido menos estudiado tradicionalmente en el campo de la
moralidad artificial aunque actualmente estamos viendo cómo crece el interés de las
personas involucradas en el desarrollo de la IA, las instituciones y el público en general.
Las dos próximas secciones estarán dedicadas a estos problemas y servirán como
introducción a la sección 5, que profundizará más en ciertos obstáculos que surgirán
durante esta discusión.

3.2. Implementando la moralidad artificial

Al evaluar qué ética (o la ética de quién) deberíamos implementar en un sistema

autónomo estamos entrando en el terreno de la ética normativa que estudia posibles
criterios para determinar cuándo una acción es correcta o no. En este trabajo sin
embargo nos acercaremos a estas consideraciones desde el punto de vista de una
posible implementación en un sistema computacional, es decir qué tipo de moralidad
es factible para un sistema artificial. Como veremos, algunas teorías conciben el
razonamiento moral como un tipo de cálculo que determinaría cuantitativamente el
valor máximo de bienestar mientras otras requerirían unas facultades mentales que
actualmente estamos lejos de reproducir.

Las dos grandes escuelas de pensamiento dentro de la ética normativa son la

deontología y el utilitarismo, que es una variante del consecuencialismo.

La implementación de estas teorías entra dentro de lo que en ingeniería se suele llamar

derivación de requisitos de arriba-abajo (top-down), es decir se parte de unos requisitos
de alto nivel y se deriva el diseño del sistema a partir de ellos. Sin embargo, Wendell
Wallach y Colin Allen (Wallach & Colin, 2009) han propuesto también un enfoque a la
moralidad artificial que además incluye una estrategia de abajo-arriba (bottom-up),
basada en proporcionar un entorno en el que el sistema pueda ser entrenado y adquiera
las capacidades morales necesarias que suele compararse con la ética de la virtud
aristotélica. Estas categorías top-down y botton-up están ampliamente aceptadas en el
campo de la moralidad artificial y facilitan su tratamiento al separar en la medida de lo
posible los problemas tradicionales de ética normativa de las dificultades técnicas de su
implementación. Veamos más detenidamente estos enfoques.

3.2.1. Estrategias Top-down

Como hemos avanzado la estrategia top-down requiere definir las reglas éticas que
queremos implementar de una forma que sea computable, siguiendo el sueño de Leibniz
quien en 1674 imaginó la posibilidad de construir una máquina que pudiera calcular la
mejor acción en cualquier circunstancia en base a una serie de reglas morales. Sin
embargo, y pese a los avances tecnológicos desde entonces, esta estrategia se ha visto
obstaculizada por una serie de problemas importantes y en la actualidad se considera
poco probable alcanzar una implementación top-down satisfactoria.

23
El primer problema es filosófico: los filósofos que piensan que el razonamiento ético se
puede derivar de unos principios de alto nivel se suelen orientar en diferentes
propuestas rivales sobre cuáles deberían ser esos principios. Las dos escuelas
principales, como ya hemos indicado, son el utilitarismo, una rama del
consecuencialismo, y la deontología.

Los utilitaristas afirman que la moralidad consiste primordialmente en maximizar la

cantidad total de la “utilidad”; la utilidad era una medida de la felicidad o del bien estar
en su formulación original del utilitarismo: la mayor felicidad para el mayor número de
personas. Las mejores acciones, o las mejores reglas a seguir (en la variante utilitarista
de reglas) son las que maximizan esta utilidad. Cuando trasladamos este requisito al
ámbito técnico, el primer gran obstáculo es si un computador es (o será) capaz de
procesar en tiempo real toda la información necesaria para un tratamiento satisfactorio
del problema, teniendo en cuenta que desde un enfoque consecuencialista las
consecuencias de una acción son esencialmente ilimitadas en el espacio y en el tiempo.
Este problema ha sido tratado por James Gips (Gips, 2011), quien identificó los requisitos
de un sistema de este tipo:

1. Capacidad de describir la situación en el mundo

2. Capacidad de generar posibles acciones
3. Capacidad de predecir la situación que resultaría si una acción fuera tomoda
dada una situación actual
4. Capacidad de evaluar una situación en función de su bondad o deseabilidad

Los problemas relacionados con tres primeros requisitos han sido brevemente
apuntados y están relacionados con los problemas de detectar y recoger la información
moralmente relevante y generar posibles escenarios “que pasaría si” (“what-if”) de
acuerdo a las distintas posibilidades. Esto ya es abrumador. Por otra parte es evidente
que la computación no se puede mantener hasta el infinito, pero la decisión de cuándo
pararla es en sí una decisión ética. El principio utilitarista especifica que la evaluación
debería pararse en el punto en el que seguir calculando en lugar de actuar. Sin embargo
como evaluar si realizar o no una computación sin hacerla? Estos problemas han sido
tratados ampliamente y las soluciones que se ofrecen suelen involucrar el
establecimiento de lo que Herbert Simon ha llamado una “racionalidad limitada”, que
incluye un conjunto muy limitado de consideraciones en la decisión racional y el uso de
heurísticas que acotan el número de escenarios a computar. Este enfoque está detrás
de sistemas como Deep Blue que no evaluaba todos los posibles movimientos
indefinidamente para jugar un buen juego. Sin embargo su aplicación se hace mucho
más compleja en entornos no estructurados y que involucran evaluar y maximizar otros
criterios.

24
Y así entramos en la cuarta capacidad que no ha sido tan estudiada hasta ahora, al fin y
al cabo si algo hacen bien las computadoras es agregar números y calcular máximos.
Ahora bien ¿cómo se asignan números a la utilidad? ¿cómo se define que esta
magnitud? ¿cómo se evalúa la bondad de una acción? Las dificultades surgen desde el
momento mismo que empezamos a plantearnos estos temas, incluso en sus
formulaciones iniciales de la utilidad como placer. Es bien sabido que Bentham y Mill no
estaban de acuerdo en si el placer de una persona jugando a un juego es equiparable al
placer de otra leyendo poesía. En problema surge cuando intentamos trabajar con
términos moralmente cargados, que muchos filósofos opinan que son indefinibles. Si un
término es indefinible, es imposible especificarlo como se requiere en una estrategia
top-down lo cual tiene serias consecuencias para la misma.

Este problema es especialmente interesante y lo trataremos con mucho más detalle en

la sección 5.

La deontología presenta obstáculos incluso más complicados de superar. El primer

problema ya lo vimos al principio de esta sección con las leyes de la robótica de Asimov:
incluso unas reglas diseñadas para ser implementadas en agentes artificiales no pueden
evitar tener desencadenar ciertas contradicciones extremadamente difíciles de resolver
algorítmicamente. Esto incluiría la resolución de conflictos entre reglas y la posibilidad
de desobedecer las reglas, lo cual requeriría la formulación de criterios extremadamente
específicos sobre cuando las reglas pueden ser desobedecidas.

Las teorías deontológicas requieren que los sistemas que las implementan entiendan las
reglas lo suficientemente bien para razonar correctamente en cualquier situación que
requiera un juicio moral. Esto requiere algunas de las capacidades de seleccionar
información relevante que vimos anteriormente y proyectar diferentes acciones21, que
llevan asociados muchos de los problemas que mencionamos anteriormente. Además
todas las reglas que conocemos tienen un grado de ambigüedad que aumenta con el
grado de abstracción y generalidad de las mismas. Las reglas específicas tienden a ser
más fáciles de aplicar pero no proporcionan una guía clara en situaciones más complejas,
por lo que únicamente podrían desarrollarse este tipo de sistemas en ámbitos muy
restringidos.

Vemos que las estrategias top-down presentan serias limitaciones y dificultades. Sin
embargo, y aunque los seres humanos están lejos de ser agentes morales perfectos, las
personas suelen confiar más en una moralidad basada en reglas o en enfoques
consecuencialistas, en definitiva algo que se pueda entender. Dado que la confiabilidad
(“trustworthy”) es un elemento clave en el uso de sistemas autónomos, su desarrollo no

21
Nos centramos en las estrategias deontológicas basadas en un conjunto de reglas. Si usaramos por
ejemplo el principio categórico kantiano estaríamos obligados a computar las acciones del resto de
agentes para determinar si nuestra acción puede convertirse en máxima universal.

25
puede prescindir de las estrategias top-down. En la sección siguiente vamos a ver formas
de aprovechar sus ventajas, limitando los inconvenientes que hemos mencionado. Esto
será después de revisar la estrategia opuesta, muy de actualidad debido a los últimos
avances en aprendizaje de máquina (machine learning)

3.2.2. Estrategias Bottom-up

En su formulación inicial (Allen, Smit, & Wallach, 2006) el enfoque bottom-up22 era
descrito como es habitual en ingeniería de sistemas: se parte de subsistemas que se
integran para formar componentes más grandes, que a su vez se enlazan hasta que se
forma el sistema completo. No de define el diseño del sistema en base a una teoría de
alto nivel sino que se describen tareas que el sistema debe cumplir sin especificar su
implementación. Estas tareas se suelen validar usando alguna métrica de rendimiento.
Un ejemplo paradigmático es la metodología de desarrollo de software basada en
pruebas (test-driven software development), en la que invierte el proceso estándar de
desarrollo al especificar las pruebas de validación y luego desarrollar el código que las
superan.

Estos componentes podían tener funcionalidades específicas y estar basado en

diferentes tecnologías de IA: algoritmos genéticos, redes neuronales, o incluso las
implementaciones de lógica simbólica (Good Old Fashioned AI, GOFAI). Sin embargo, en
la última década el machine learning ha eclipsado al resto de tecnologías de tal modo
que actualmente cuando se habla de estrategias bottom-up casi siempre nos referimos
al entrenamiento de una red neuronal. Esta estrategia sugiere que el sistema aprenda y
construya una noción de comportamiento ético a partir de un entrenamiento basado en
experiencias real o simulada. Esto resuelve dos problemas de los enfoques top-down:
no es necesario definir ningún criterio moral que deba ser maximizado, y tampoco es
necesario especificar reglas anticipando cada contingencia ya que no es necesario que
las máquinas entiendan las mismas.

Esta idea basada en el aprendizaje moral del niño como base para la emergencia de la
moral humana es tan antigua como el campo mismo de la IA. En su clásico artículo de
1950 “¿Pueden pensar la máquinas?“, Alan Turing escribía “En lugar de intentar producir
un programa que simule la mente del adulto, ¿por qué no mejor producir uno que simule
la del niño? Si este fuera sometido después a una educación apropiada obtendríamos el
cerebro de un adulto”.

Por otro lado este enfoque nos recuerda a la teoría Aristotélica de la virtud que
mantiene que la bondad de la acción en una consecuencia del cultivo del buen carácter,

22
En la formulación original también se habla de un enfoque híbrido combinando las estrategias top-down
y bottom-up, sin embargo actualmente todas las implementaciones bottom-up son híbridas, ya sea por
maximizar un cierto parámetro o por tener límites estáticos en el campo de acción. No consideramos que
tratar la estrategia bottom-up pura tenga ninguna ventaja.

26
que a su vez consiste en el cumplimiento de virtudes específicas. Y aquí empiezan los
problemas, porque al igual que los utilitaristas no se ponen de acuerdo en cómo medir
(o definir) la utilidad y los deontologistas en cuáles son las obligaciones o reglas que hay
que cumplir, en la ética de la virtud no existe una lista estándar de virtudes, y las que
hay están definidas de forma ambigua.

El problema de las virtudes, o usando una notación más actual, los valores éticos tiene
un impacto importante en el diseño y evaluación del entrenamiento de una red
neuronal. Como vimos en la sección 2.2, este entrenamiento se basa en mecanismos de
recompensas y penalizaciones en base a la evaluación de las respuestas (output) del
sistema respecto a una serie de entradas (inputs)23. Este proceso se repite en un ciclo
de pruebas que termina cuando el sistema alcanza un rendimiento definido. Si bien
establecer estos objetivos y evaluar el proceso cuando entrenamos un sistema a jugar a
al ajedrez, al GO o a clasificar imágenes es relativamente sencillo, la evaluación ética de
una acción se basará en su alineación con estos valores éticos, lo cual complica
considerablemente el proceso.

El problema es que como avanzamos cuando hablamos de las virtudes, no existe una
lista universal e inmutable de valores; estos cambian en diferentes culturas y a lo largo
del tiempo. Es por este motivo que, pese a los numerosos sistemas que usan machine
learning para diferentes aplicaciones, los desarrollos de sistemas autónomos morales
artificiales basados en este enfoque son muy reducidos. Estos se limitan a entornos muy
específicos por ejemplo ciertos ámbitos médicos como MedEthEx (Anderson, Anderson,
& and Armen, 2006) y otros en los que existe un consenso ético uniforme como en el
caso del GenEth (Anderson M. a., 2014)

Los valores en un desarrollo de sistema artificial moral autónomo determinarán los

objetivos de evaluación del sistema, los escenarios de simulación o reales para su
entrenamiento, el conjunto de datos que se van a usar y los criterios de éxito de la fase
de entrenamiento. Aunque el problema de los valores es de nuevo abrumador, como ya
viene siendo habitual a poco que empezamos a pensar en cualquier tema relacionado
con IA, lo cierto es que actualmente existen numerosas iniciativas que están trabajando
en este tema. El objetivo es identificar los valores éticos que son necesarios tener en
cuenta en sistemas autónomos y derivar a partir de ellos una serie de estándares éticos.

La estrategia bottom-up conlleva otro problema que se está tratando con mucho menor
interés. Nuestro objetivo en moralidad artificial es desarrollar sistemas que tengan un

23
Como indicamos anteriormente las estrategias bottom-up y top-down se suelen combinar de modo que
la evaluación de la red neuronal se basa en algún tipo de función maximizadora que nos recuerda al
utilitarismo. La diferencia es que ahora, esta evaluación se realiza únicamente durante el entrenamiento
del sistema.

27
comportamiento éticamente aceptable principalmente respecto a los seres humanos. Si
por otra parte en las estrategias bottom-up este enfoque está basado en las experiencias
del mundo, en situaciones reales por ejemplo, estaríamos confundiendo la ética de esas
situaciones con la ética que se debería tener. O por formularlo de un modo más familiar
en filosofía, estaríamos pasando de lo que “es” a lo que “debe ser”, un problema bien
conocido en filosofía desde la época de Hume y, en cierta medida, relacionado con el
problema de la definición de términos morales que identificamos en la sección anterior.

En la sección siguiente, vamos a revisar brevemente el problema de la identificación de

valores y las iniciativas que se están llevando a cabo principalmente en Europa24. Esto
está directamente relacionado con la gobernanza, regulación y los estándares éticos
para el desarrollo de sistemas autónomos confiables (trustworthy).

La sección 5 tratará con más detalle en paso de “ser” al “deber ser” al que hemos aludido
anteriormente y si este paso es realmente ilegítimo.

24
En la actualidad existen numerosas iniciativas con el mismo objetivo identificar qué valores son
necesarios tener en cuenta en el desarrollo de IA, tanto a corto como largo plazo. Por citar las que hemos
revisado para este trabajo: AI4People, AI Parnership o ASILOMAR.

28
4. Gobernanza y valores éticos

Una idea bien establecida y, particularmente, en el ámbito de la IA, el mantra habitual

en Bruselas, es que “Europa es una superpotencia regulatoria”. Esto a priori puede
parecer una medalla de chocolate para nuestra maltrecha Unión. Es como un premio de
consolación en la carrera tecnológica que Estado Unidos y China están liderando con
una amplia ventaja sobre el resto de países. Actualmente nos estamos dado cuenta que
quizás no podemos aspirar ni al tercer o cuarto puesto, al competir con otras grandes
potencias tecnológicas como Japón, Corea del Sur o incluso Rusia (aunque nadie sabe
muy bien qué pasa en Rusia) entre otras como se puede apreciar en la imagen.

Figura 4. Estrategias nacionales en IA. Fuente: Medium25

Sin embargo, y siendo pragmáticos, lo cierto es que dado que en los puestos de cabeza
no vamos a estar, y que si algo hacemos bien es regular, no está de más canalizar
nuestras energías en este ámbito y usar la potencia que nos da ser unos de los primeros
mercados mundiales para exigir unos estándares de IA confiable (trustworthy AI). Esto
sería algo así como una etiqueta CE para los productos basados en IA sin la cual no se
podría acceder al mercado de la Unión.

25
https://medium.com/politics-ai/an-overview-of-national-ai-strategies-2a70ec6edfd

29
Esta es al menos la idea de la Comisión Europea y la estrategia que está tras la reciente
creación de un grupo de expertos en IA26 (Artificial Intelligence High Level Expert Group,
AI HLEG) que ya ha publicado dos documentos según su mandato inicial:

Unas directrices sobre Inteligencia Artificial Ética (Ethics Guidelines on Artificial

Intelligence) con una perspectiva humana a la IA (human-centric approach to AI) basada
en una selección de valores a partir de los cuales se derivan una serie de requisitos para
el desarrollo de sistemas basados en IA confiables.

Unas recomendaciones sobre política e inversión (Policy and Investment

Recommendations) con una serie de recomendaciones sobre sostenibilidad,
crecimiento, competitividad e inclusión mientras se protege, beneficia y potencia al ser
humano. Estas recomendaciones deben servir a la Comisión para la próxima
actualización del plan de acción sobre IA previsto para final del 2019.

Para este trabajo, nos interesa especialmente el primer documento, ya que como vimos,
al discutir las estrategias bottom-up, necesitamos guiar el aprendizaje de estos sistemas
a unos objetivos claros y beneficiosos para las personas. Veremos que la claridad sigue
siendo un objetivo escurridizo cuando se trata de definir y especificar valores.

Las directrices sobre Inteligencia Artificial Ética (High Level Expert Group on Artificial
Intelligence, 2019) introducen un concepto que ya nos debe ser familiar, el de IA
confiable (trustworthy AI) y una identificación de valores basados en la preservación de
la dignidad humana en lo que se denomina un “enfoque basado en el humano” (human-
centric approach). Esta identificación de valores se realiza de forma sistemática a partir
de los derechos fundamentales plasmados en los tratados y estatutos Europeos, y en el
derecho internacional.

Los valores identificados en las directivas Europeas son:

• Respeto a la autonomía humana

• Prevención del daño
• Justicia
• Explicabilidad

Además, el documento deriva también sistemáticamente unos requisitos éticos que

deben tenerse en cuenta para el desarrollo de sistemas basados en IA: agencia humana,
robustez técnica y seguridad, privacidad y gestión de datos, transparencia, no

26
https://ec.europa.eu/digital-single-market/en/high-level-expert-group-artificial-intelligence

30
discriminación y justicia (fairness), bienestar social y medioambiental, responsabilidad
(accountability).

Sin embargo, la realidad no es tan bonita. De hecho, cuando empezamos a estudiar el

contenido del documento con más atención vemos que, pese al considerable esfuerzo
y valor añadido de haber identificado una serie de valores consensuados a nivel
Europeo, nos volvemos a encontrar problemas conocidos. Estos están relacionados con
la definición y especificación de valores éticos.

Esto se hace patente cuando se introducen los cuatro valores, que identifican conceptos
muy familiares pero muy difíciles de especificar de forma precisa y este problema no se
resuelve con la lista de requisitos. Aquí vemos que ciertos requisitos como los de
robustez, seguridad o gestión de datos no presentan demasiados problemas en su
tratamiento e incluso existen ciertos estándares que probablemente sean adecuados
con modificaciones mínimas. Sin embargo, otros requisitos como los de justicia,
bienestar o incluso agencia humana heredan directamente los problemas de
ambigüedad de los valores que hacen muy difícil su tratamiento técnico.

Este problema ya lo habíamos identificado anteriormente cuando tratamos los criterios

de utilidad en los enfoques consecuencialistas. Parece haber una dificultad intrínseca a
la hora de definir valores especialmente a medida que su carga ética aumenta. Como ya
avanzó Moor, cuando hablamos de tecnología y valores, normalmente pensamos en
valores éticos. Pero no todos los valores son éticos ni se basan en consideraciones éticas
(Moor, 2006).

Los valores en los que estamos interesados aquí son, evidentemente, los éticos y
queremos analizar más detalladamente la problemática que su definición suscita. La
definición de valores éticos apunta directamente al corazón de la autonomía de la ética
y sobre esto vamos a hablar en la siguiente sección.

31
5. Metaética de máquinas

5.1. Introducción: qué es la metaética y por qué nos tiene que

importar
Para comprender la importancia de la metaética en este estudio puede ser interesante
compararla con la ética normativa y la ética aplicada. Cuando se analizó el problema de
los principios de alto nivel que deberían implementarse en el desarrollo de Inteligencia
Artificial estábamos en el campo de la ética aplicada, que consiste en aplicar una teoría
ética determinada a un conjunto particular de circunstancias. La discusión sobre los
diferentes paradigmas éticos se produce en el campo de la ética normativa. En la
discusión sobre los paradigmas éticos también se trató el problema de la alineación de
los valores con respecto a los valores humanos y, más generalmente, el problema de la
definición de esos valores, y las posibles estrategias de implementación en sistemas
autónomos, incluyendo la especificación de los mismos (top-down) como su aprendizaje
(bottom-up)27.

Este problema no es técnico, es filosófico -y más concretamente metaético- porque la

estrategia de aprendizaje lleva implícita la derivación de valores a partir de hechos del
mundo. Esto conlleva problemas importantes ya que, como postulaba David Hume en
el siglo XVIII, existe un abismo lógico insalvable entre el orden fáctico y el orden
normativo. De la especificación de valores también se suele decir que está condenada
al fracaso desde principios del siglo XX debido la falacia naturalista propuesta por
George Edward Moore, que establece que las propiedades morales son indefinibles.

La metaética trata de dar respuesta a estos problemas y otros relacionados con los
supuestos metafísicos, epistemológicos, semánticos y psicológicos del pensamiento,
discurso y práctica moral. También se ocupa del problema de los valores y su conexión
con la acción humana y la motivación, así como de las dificultades relacionadas con la
naturaleza de la libertad y el significado de la responsabilidad moral.

Aquí nos interesa especialmente el problema del aprendizaje de valores y de la

posibilidad de especificar propiedades morales. El objetivo de esta sección es analizar
con detenimiento esta problemática y determinar las consecuencias del problema del
ser/debe-ser y la falacia naturalista para el desarrollo de sistemas autónomos morales.
La filosofía del siglo XX, más concretamente la metaética, ha planteado diferentes
soluciones a este problema, si bien en el presente trabajo, nos vamos a guiar por los
postulados del realismo moral naturalista, que como explicaremos más adelante

27
Aunque como hemos visto las estrategias bottom-up son realmente híbrida y también precisan una
especificación de valores de alto nivel

32
consideramos que es la estrategia más apropiada para la consecución del objetivo
marcado. Después analizaremos la aproximación al aprendizaje moral descrita por uno
de los realistas morales naturalistas más importantes en la actualidad: Peter Railton, y
terminaremos viendo la aplicación de todos estos elementos al desarrollo de sistemas
artificiales morales autónomos y más concretamente a la regulación de esta tecnología.

5.2. El problema: vacíos lógicos y preguntas abiertas

5.2.1. El problema del ser/deber-ser

Como hemos avanzado ya, proponer una estrategia de aprendizaje de valores a partir
de las observaciones de los seres humanos en el mundo implica ignorar el problema de
la imposibilidad de pasar del ser al deber ser. Este vacío existente entre el mundo
normativo y el de los hechos fue identificado por primera vez por David Hume en un
breve párrafo de su libro de 1739-40, el Tratado sobre la naturaleza humana (Libro III,
Parte I, Sección I):

“En todo sistema de moral que hasta ahora he encontrado he advertido siempre que el
autor procede durante un lapso de tiempo según la manera ordinaria de razonar, y
establece el ser de Dios o hace observaciones sobre asuntos humanos; cuando de
repente me sorprende hallar que en vez de las cópulas ordinarias de las proposiciones,
es, y, no es, me encuentro que ninguna proposición está conectada más que con un
debe o un no debe. Este cambio es imperceptible; pero es de suma importancia hasta el
final. Al expresar este debe o no debe alguna nueva relación o afirmación, es necesario
que se observe y explique; y a la par que se dé alguna razón por lo que parece del todo
inconcebible, cómo esta nueva relación puede ser una deducción de otras que son
enteramente diferentes de ella. Pero como de ordinario los autores no hacen uso de
esta precaución, me permito advertírselo a los lectores; y estoy seguro que esta
pequeña llamada de atención subvertiría todos los sistemas de moral corrientes, y
veríamos que la distinción entre vicio y virtud no está fundada meramente en relaciones
de objetos ni es percibida por la razón.” (Hume, 2001)

Según una interpretación contemporánea (Singer, 2015) lo que dice Hume es que:

No se puede deducir con validez conclusiones normativas relevantes a partir de

premisas no normativas

Sin embargo, siguiendo W.K. Frankena en su artículo “The naturalistic fallacy”, este
problema puede resolverse “mediante la introducción de definiciones de términos
éticos en términos no éticos” (Frankena, 1939). Para entender esto sigamos con el
ejemplo que se propone en este mismo artículo: el argumento epicúreo sobre el
hedonismo. Este afirma que el placer es bueno porque todos los hombres lo buscan. Su
forma sería esta:

33
 A) El placer es lo que todos los hombres buscan.

B) El placer es bueno.

La falta de validez en el argumento se presenta no se debe a que se derive una

conclusión ética de una premisa que no lo es. No es válido por su forma, ya que todo
argumento de la forma “A es B, luego A es C” es inválido. Sin embargo, los argumentos
de tal tipo se pueden entender suponiendo una premisa tácita. Si hacemos explícita esa
premisa, los argumentos adquieren validez lógica. Volviendo al ejemplo del hedonismo
epicúreo, si hacemos explícita la premisa que afirma: “lo que los hombres buscan es
bueno”, vemos que argumento es válido lógicamente.

A) El placer es lo que todos los hombres buscan.

B) Lo que todos los hombres buscan es bueno.

C) Luego el placer es bueno.

Al hacer explícita la premisa tácita hemos introducido un término normativo dentro de

las premisas de la deducción se evita la invalidez del silogismo. De este modo el
problema del paso ser/deber-ser se ha trasladado de ser un problema de invalidez lógica
a un problema de definición de términos éticos en función de términos no éticos. Por
desgracia es esto, precisamente, lo que prohíbe la falacia naturalista.

5.2.2. La falacia naturalista

La falacia naturalista fue propuesta por George Edward Moore en su obra Principia
Ethica en 1903. Aunque relacionada en cierta medida -y confundida muchas veces- con
el problema del ser/deber-ser, la falacia naturalista postula que las propiedades morales
son irreducibles tanto a propiedades naturales como a no naturales: las propiedades
morales son indefinibles. Además, la única forma de acceder a ellas es mediante una
intuición muy particular, la intuición moral.

La falacia naturalista coloca al problema ser/deber-ser en un callejón sin salida ya que,

como habíamos visto, este problema se podría solucionar mediante la introducción de
premisas que definieran los términos normativos y es precisamente esta estrategia lo
que la falacia naturalista prohíbe: las propiedades morales (deber-ser) nunca va a
depender de propiedades naturales (ser), ni por deducción, ni por inducción o
abducción: la ética es autónoma, no tiene ninguna relación con el mundo natural.
Veamos más detenidamente este problema que qué salidas tenemos.

Para Moore el objeto de la ética es la definición de lo bueno: el conocimiento de la

naturaleza real del objeto denotado por “bueno”, establece que su naturaleza es simple
(irreducible a otras propiedades) e indefinible, y etiqueta como falacia naturalista
cualquier intento de definir o reducir “bueno” a otras propiedades. Para entender esta

34
idea Moore usa una analogía con el color: no es posible definir “amarillo”; se pueden
ofrecer características físicas asociadas como lo longitud de onda, pero esto no significa
que no es lo que entendemos por la naturaleza real de la propiedad de ser amarillo, pues
tal longitud de onda no es lo que percibimos realmente. Con la propiedad de ser bueno
ocurre algo similar: puede que las cosas buenas sean también algo más (por ejemplo,
que ser bueno sea también ser útil), pero al igual que no significa que la propiedad de
ser amarillo sea lo mismo que una determinada longitud de onda, lo bueno no es lo
mismo que lo útil.

Moore no cruza los dedos y espera que algún día alguien obtendrá una definición de
“bueno”, por el contrario, afirma que se puede saber a priori que esto no va a pasar:
para Moore no es difícil definir “bueno”, es imposible. Esta posición, por supuesto
requiere ofrecer ciertos argumentos adicionales y para ello Moore utiliza el argumento
de la pregunta abierta (Open Question Argument, OQA). Este argumento consiste en
afirmar que siempre podremos preguntarnos si lo que se ofrece como definición de
“bueno” es bueno realmente. Si tiene sentido hacer tal pregunta entonces la pregunta
se considera abierta y la definición postulada no es completamente satisfactoria. Por
ejemplo, si definimos “bueno” como “placentero”, y consideremos la pregunta “Juan
obtiene placer en las apuestas, pero ¿es apostar bueno?”. Esta pregunta tiene sentido
formularla ya que la respuesta no es obvia y se concluye que “placentero” no define
“bueno”. En contraposición una pregunta cerrada sería por ejemplo “Juan es soltero
pero, ¿está casado?”. En este caso esta pregunta únicamente tendría sentido realizarla
si, por alguna confusión, los hablantes no entendieran alguno de los términos. La
definición de “soltero” como “hombre no casado” es satisfactoria.

Como vemos la tesis de Moore es en primer lugar ontológica: la bondad es una

propiedad simple, sui generis, que no puede ser definida realmente y para sustentar
esta tesis Moore se apoya en un argumento de tipo semántico, el de la pregunta abierta.
¿Como podemos acceder al conocimiento de algo que no podemos definir ni reducir a
otras propiedades conocidas? Una solución sería postular que las propiedades morales
son innatas. Moore, sin embargo, apuesta por la otra vía: Moore era un intuicionista
moral. La postura intuicionista puede definirse como la afirmación de que las
propiedades éticas, como la bondad, no son propiedades naturales (es decir, no son
ubicables en el tiempo ni en el espacio) y, por ende, no se pueden conocer más que por
intuición. Esta intuición no es una intuición ordinaria, por cuanto muestra qué cosas son
buenas. De este modo la bondad, para Moore, es una propiedad no natural, la cual es
imposible conocer por cualquier otro método (ya sea metafísico o empírico) diferente a
la intuición moral (Martínez, 2003).

Ha habido numerosas críticas al argumento de la pregunta abierta (Fisher, 2011, Miller,

2013), sin embargo, aquí vamos a centrarnos en el carácter semántico del argumento y
su validez para probar una tesis ontológica que se comentó anteriormente. Más bien

35
deberíamos decir su no validez porque según lo que hemos visto, lo que prueba el
argumento de la pregunta abierta es que la pregunta tiene sentido hacerla cuando dos
términos no son sinónimos, por ejemplo “bueno” y “placentero”. Ahora bien, del hecho
de no poder encontrar preguntas cerradas en el que uno de los términos sea ético no se
puede concluir la autonomía de la ética. Esto sólo alcanza a mostrar una autonomía
semántica y lógica, pero no ontológica, ya que el que dos términos no sean sinónimos
no implica que las propiedades a las que se refieren sean ontológicamente distintas
(Martínez, 2003). Esto se ve más claramente si tenemos en cuenta la famosa distinción
de Frege entre sentido y referencia: podemos referenciar la misma entidad mediante
términos distintos, por ejemplo “la estrella matutina” y “la estrella vespertina” no tienen
el mismo sentido, pero sí el mismo referente. Cuando alguien dice “la estrella matutina
es la estrella vespertina” no identifica las propiedades que se piensan bajo “estrella
matutina” con las que se piensan bajo “estrella vespertina”, simplemente dice que
ambas expresiones se refieren a una misma cosa: Venus. Lo importante aquí es que la
identidad entre “la estrella matutina” y “la estrella vespertina” no esta basada en el
significado de los términos, a esta identidad referencial no se llega mediante un análisis
conceptual (como en caso de soltero/hombre no casado) sino mediante investigación
empírica.

Descubrimos por investigación empírica que dos términos pueden designar la misma
cosa sin basarnos en su significado. Esto se infiere claramente en los ejemplos “agua es
H2O” o “la estrella matutina es la estrella vespertina” que, sin embargo, no superarían
el argumento de la pregunta abierta. Lo mismo podría pasar con “bueno” y alguna otra
propiedad (o propiedades) natural. Cuando decimos que ”ser bueno es ser placentero”
no estamos diciendo que “bueno” es sinónimo de “placentero”, simplemente
estaríamos aludiendo a una misma propiedad con términos diferentes. No habría
problema en sostener que “bueno” es “placentero” si pudiéramos hacerlo del mismo
modo en el que sostenemos que agua es H2O, es decir si pudiéramos probarlo
empíricamente. En este caso el que el argumento de la pregunta abierta no sería
relevante.

Aun habiendo demostrado que el argumento de la pregunta abierta no es válido para

concluir la imposibilidad de definir las propiedades morales, nos queda una sensación
incomoda. Al fin y al cabo, lo cierto es que todavía no hemos conseguido ofrecer una
definición de las propiedades morales, lo cual como hemos visto en los apartados
anteriores ha originado diversas discusiones sobre cómo y qué implementar en futuros
sistemas artificiales morales autónomos. Y éstas no hacen más que sumarse a las
innumerables discusiones que se han producido entre los defensores de las diversas
teorías metaéticas que se desarrollaron durante el siglo XX a partir, precisamente, de la
obra de Moore. Por estos motivos, y a pesar de que el argumento de la pregunta abierta
en su forma original resulta problemático, muchos filósofos -incluso realistas
naturalistas- piensan que Moore “podría haber descubierto algo” (Darwall, Gibbard, &

36
Railton, 1992). Este “algo” puede muy bien ser una potencia dialéctica fruto de la cual
se han desarrollado diferentes teorías metaéticas a lo largo del siglo XX y que, aún hoy,
continúa siendo relevante en la detección de las debilidades de muchas de ellas.

Una idea, ya desde un punto de vista realista naturalista, sería tomar una versión un
poco menos ambiciosa del argumento de la pregunta abierta: según esta versión
cualquier propuesta de definición de “bueno” debería exponer por qué dicha definición
incluye una explicación de por qué lo “bueno” nos motiva. Esto se debe a que, de
acuerdo el realismo naturalista, es precisamente ese elemento práctico, la motivación y
más concretamente el hecho de no explicar tal motivación, aquello que hace que las
personas encuentren preguntas abiertas con las definiciones propuestas (Fisher, 2011).
Aunque este es uno de los principales problemas de esta rama de la metaética no se
presenta como una imposibilidad sino más bien como un reto porque en cierto punto
alguien puede dar con una definición que podría incluir este elemento práctico.

En mi opinión el tratamiento realista naturalista del problema del paso del ser al deber-
ser, es decir realizar este paso mediante definiciones de términos morales demostradas
empíricamente, se ajusta a la intención original de Hume. Al fin y al cabo, él era un
naturalista y lo que pretendía al proponer el problema del ser/deber-ser era evitar
sencillas y descuidadas inferencias que van de lo que “es” a lo que “debería ser”. Esta es
la actitud que considero que se debe tomar en ciencia y tecnología: un naturalismo
sofisticado que, sin caer en cientismos, sea capaz de superar cualquier reflexión
especulativa en los campos en los que sea aplicable el método de la ciencia. La moralidad
es uno de ellos, especialmente cuando se trata del desarrollo de sistemas artificiales
morales autónomos. Por ello, en el resto de esta sección, de todas las propuestas
metaéticas que se han desarrollado en el siglo XX vamos a analizar las propuestas
realista naturalistas y su propuesta de aprendizaje moral que, como veremos, es muy
afín a las estrategias de aprendizaje de valores (bottom-up).

5.3. Una solución: el realismo naturalista en el siglo XXI

5.3.1. Introducción
En la sección anterior habíamos llegado a un punto en el que era necesario posicionarse
claramente con respecto a la rama metaética que creemos la más adecuada, dado que
esto tendrá una influencia importante en la forma en la que afrontaremos el debate
sobre el desarrollo de sistemas artificiales autónomos morales. Creo que muchas de las
discusiones que dificultan actualmente este debate, y particularmente las que
introducen conceptos metaéticos como el paso del ser al deber-ser o la falacia
naturalista, se enraízan en la tensión existente entre diferentes concepciones
metaéticas subyacentes, aparte de un acercamiento bastante superficial a la metaética
en general. Estas discusiones serían más productivas -o se haría evidente la dificultad de

37
llegar a un consenso- si las posiciones metaéticas de las distintas partes se hicieran
explícitas.

Como ya he avanzado, en este trabajo vamos a tomar una posición realista naturalista;
esta decisión está principalmente basada en mis convicciones personales generales. Por
otra parte, y quizás en parte a estos prejuicios, considero que la suposición de la
existencia de valores morales objetivos, vinculados a propiedades naturales, es más
convenientes para el desarrollo de sistemas artificiales autónomos morales.

El realismo moral parte de los siguientes supuestos:

• Los enunciados morales tienen un valor de verdad

• Algunos enunciados morales son verdaderos
• El valor de verdad de los enunciados morales es objetivos
• Los enunciados morales tienen una conexión directa con ocurrencias en el
mundo
• Los enunciados morales proporcionan una explicación de nuestras creencias y
prácticas en el ámbito de la moral

Por otra parte, el naturalismo parte de la convicción de que, en comparación con la

filosofía especulativa, la ciencia y el método científico han dado históricamente mejores
resultados en la compresión de los fenómenos del mundo y de nosotros mismos. La
posición naturalista es, de acuerdo a esta postura, que la investigación filosófica debería
desarrollarse en tándem con las ciencias empíricas.

El pensamiento naturalista en ética entró en decadencia durante la primera de mitad

del siglo XX en parte debido a la obra de Moore analizada anteriormente y a la
emergencia de nuevas teorías metaéticas como el emotivismo de A.J. Ayer o el
prescriptivismo de R.M Hare. Sin embargo, en las últimas décadas tras diversos
desarrollos en filosofía del lenguaje y metafísica, estamos asistiendo a un resurgir
contemporáneo del realismo naturalista (Railton, Naturalistic Realism, 2017) con dos
variantes principales: un nuevo naturalismo analítico que básicamente rechaza los
argumentos de Moore y un naturalismo no analítico que propone ir más allá del mero
análisis conceptual.

5.3.2. Dos variantes de realismo naturalista contemporáneo

El realismo naturalista no analítico en su versión más elaborada (Railton, Naturalistic
Realism, 2017) propone el uso de conceptos éticos y propiedades naturales. Los
conceptos son modos mentales de representación; las propiedades son características
del mundo y aunque los conceptos no son reducibles en sí mismos a propiedades, éstas
son suficientes para explicar la verdad de los enunciados que involucran aquellos. El

38
naturalismo no analítico busca determinar cómo se relacionan los conceptos morales,
como lo (moralmente) bueno, con propiedades reales y desarrollar teorías explicativas
– y no únicamente análisis conceptuales- sobre por qué tales conceptos son útiles e
importantes en en la organización de nuestra vida. En este sentido y al igual que en la
ciencia, nuestras las limitaciones cognitivas humanas son la causa de las deficiencias de
tales teorías según esta versión de realismo naturalista. En consecuencia, no se aspira a
tener un modelo completamente satisfactorio de estos conceptos morales sino uno que
se vaya refinando a medida que aumenta nuestro entendimiento sobre las propiedades
naturales en las que se basan dichos conceptos.

Por su parte el realismo naturalista analítico propone atacar directamente las

dificultades identificadas por la falacia naturalista y el argumento de la pregunta abierta,
asumiendo que las definiciones de las propiedades morales no serán unas definiciones
simples como las que criticaba Moore, sino unas definiciones mucho más complejas,
aunque basadas únicamente en propiedades naturales. Por ejemplo, los defensores del
Plan de Camberra, originado por David Lewis y Frank Jackson, proponen que los
términos éticos pueden ser definidos en base a los roles que poseen en una teoría ética
bien desarrollada (mature folk morality). Para ello y usando un proceso desarrollado
inicialmente por Frank Ramsey y refinado más tarde por David Lewis se parte de una
descripción de dicha teoría que contenga observaciones empíricas o casos
paradigmáticos de la misma. A partir de aquí se usan cuantificadores para formular una
declaración de la misma que conserve las relaciones inferenciales y las conexiones con
la observación o casos paradigmáticos pero que no contenga ningún término teórico
problemático (en este caso moral). De este modo la definición de los términos morales
es una descripción compleja basada en términos de los roles que éstos juegan en la
teoría y práctica ética de la que habíamos partido.

Más que ofrecer una descripción detallada de estas variantes del realismo naturalista
me interesa destacar en ambos casos parece que nuestras propias limitaciones
cognitivas lo que impiden ver con claridad la relación existente entre los conceptos o
propiedades morales y las propiedades o hechos naturales. En un caso se plantea una
tarea continua de revisión de nuestros conceptos como se hace en la ciencia y en otro
caso se plantea un método para obtener unas definiciones quizás tan complejas que no
serían manejables por el ser humano. Pero en ningún caso, evidentemente, se plantea
que las propiedades éticas sean sui generis, o ninguna capacidad específicamente
humana para acceder a ellas y por supuesto no introducen ningún elemento no natural
para explicar la relación entre éstas y aquellas: las propiedades éticas están
profundamente vinculadas a propiedades naturales y únicamente a propiedades
naturales. Para explicar este vínculo los filósofos naturalistas se sirven frecuentemente
de la noción de superveniencia.

39
 5.3.3. Superveniencia
La superveniencia es una relación necesaria entre características distintas: una
característica o grupo de características (S) superviene de otra característica o grupo de
características (T) si necesariamente fijando T también se fija S. Lo interesante de esta
relación es que no se requiere dar una definición analítica de la misma, lo cual la hace
especialmente útil para la propuesta naturalista no analítica introducida anteriormente.
El uso de la relación de superveniencia, sin embargo, no es exclusiva del realismo moral;
tenemos otros ejemplos paradigmáticos de su uso, por ejemplo, en física entre la
relación de la temperatura de un gas con la velocidad de las moléculas que lo componen,
o en filosofía de la mente entre los estados mentales y los estados cerebrales.

Superveniencia en ética propone que dos situaciones no pueden diferir en sus

propiedades morales sin ser diferentes a su vez en sus propiedades naturales. Las
propiedades éticas no son sui generis sino que dependen asimétrica28 y específicamente
de un conjunto de hechos naturales, sociales y psicológicos. De este modo se
demostraría un conocimiento deficiente de conceptos como “bueno” o “justo” si
pensáramos que podemos mejorar por ejemplo la justicia social sin cambiar los hechos
empíricos sobre la vida de las personas.

La comparación con el caso de la temperatura de un gas y la energía cinética de las

partículas que lo componen no se propone como analogía explicativa. De hecho,
creemos precipitado comparar una magnitud física como la temperatura, accesible
directamente a nuestros sentidos y fácil de medir empíricamente, con un concepto
moral como la justicia, del cual es difícil incluso proporcionar encontrar un consenso en
el pensamiento ético en distintas sociedades. Sin embargo en ambos casos se parten de
los mismos supuestos: que los conceptos que supervienen dependen necesariamente
de ciertas propiedades naturales que una vez determinadas éstas, su observación será
suficiente para proporcionar una explicación completa de aquellas; que nuestro acceso
epistémico a los conceptos que supervienen se basan en la percepción de las
propiedades naturales de las que dependen, es decir no se requiere ninguna otra
capacidad especifica para aprehender conceptos morales; por último que la dificultad
de encontrar la relación de superveniencia correcta esta en nuestras limitaciones
cognitivas y se pueden hallar, al igual que en la ciencia, mediante teorías explicativas
revisables cada vez más cercanas a la realidad.

Sin embargo, uno de los problemas más importantes al que se enfrenta el realismo
naturalista y que la propuesta de superveniencia, pese a su papel explicativo, no logra
exponer satisfactoriamente es la componente normativa de las propiedades morales.

28
Las propiedades que supervienen dependen y son consecuencias de las propiedades sobre las que
supervienen. Fijadas éstas se fijan necesariamente aquellas, pero lo contrario no es necesario.

40
Para resolver estas dificultades, vamos a seguir aquí a Peter Railton, quien se basa en la
teoría Humeana de la “simpatía o solidaridad general” (general sympathy) como fuente
del sentimiento moral y ofrece una versión contemporánea de la misma basada en la
simulación afectiva y su papel en el aprendizaje moral (Railton, Moral Learning:
Conceptual foundations and normative relevance, 2016). Una introducción a estas
teorías es necesaria para completar la visión realista naturalista de la ética y
especialmente a incidir en dos ideas que son especialmente útiles para este trabajo: que
no hay ninguna capacidad misteriosa en el acceso a las propiedades morales y que
nuestras limitaciones cognitivas son la principal causa de no tener una descripción
completa de las propiedades morales, incluyendo su elemento normativo.

5.3.4. Aprendizaje moral según el realismo naturalista

En las secciones anteriores habíamos propuesto la analogía entre el conocimiento moral
y el científico y habíamos identificado uso del método científico y la propuesta de teorías
explicativas revisables como la principal característica del realismo naturalista no
analítico que estamos describiendo. La concepción de aprendizaje moral incide en estos
elementos y añade una característica propia, no instrumental del aprendizaje moral con
respecto al científico: la relevancia central del daño o beneficio de aquellos seres
afectados. Esto no se concibe como la única característica del discurso moral, como
propondrían algunos utilitaristas, sino que se toma como algo común en las tradiciones
éticas principales (Railton, Moral Learning: Conceptual foundations and normative
relevance, 2016).

La pregunta principal que queremos responder aquí es cómo podemos llegar a formar
creencias a partir de experiencias, particularmente creencias morales que parecen
superar todas nuestras evidencias y cómo a pesar de esto pueden estar justificadas.
Resulta paradójico que la persona que postuló el vacío existente entre el ser y el deber-
ser sea la misma que nos ofrezca las primeras respuestas interesantes, pero como ya
indicamos antes, Hume era al fin y al cabo un naturalista. Para Hume es la proyección
imaginativa la que cubre ese vacío que no puede superar la inferencia lógica: las
creencias se proyectan espontáneamente en la red de asociación de ideas mediante
relaciones de similitud y analogía y su impulso inicial se “rompe en pedazos” en
respuesta al éxito o fracaso en las expectativas.

Actualmente se pueden encontrar los sucesores de la epistemología Humeana en

teorías como aprendizaje reforzado (reinforcement learning) que como vimos en la
sección 2.2 han mostrado su potencial en generalización abstracta, identificación de
correlaciones e incluso actividades creativas. Además, los últimos avances en
neurociencia han demostrado que los modelos probabilísticos basados en creación
espontanea de creencias son una buena aproximación a como los humanos perciben la
similitud, causalidad e intención o, por decirlo en palabras de Hume, como los humanos
“rompen las creencias en piezas” y usan el feedback para ajustar los modelos y

41
simulaciones (Railton, Moral Learning: Conceptual foundations and normative
relevance, 2016). Este aprendizaje moral en los humanos no necesita ninguna capacidad
innata aparte de las estructuras neuronales genéricas y un entrenamiento basado en
aprendizaje reforzado, sin necesidad de requerir un adiestramiento específico. Para
ofrecer su propuesta de aprendizaje moral, Railton emplea un proceso que ya ha usado
anteriormente en su obra (Miller, 2013): parte del ámbito no moral como paso previo al
estudio del problema completo. Y la conclusión es que, como ya indicamos más arriba,
lo que diferencia el aprendizaje moral es el papel de la empatía y la capacidad de incluir
en la simulación usada en ámbitos no morales (por ejemplo, la búsqueda de alimento)
los estados afectivos de los otros como parte de la experiencia del mundo y elemento
necesario en dicho aprendizaje.

En resumen, lo que se ha propuesto desde el realismo moral naturalista es desarrollar

una explicación de cómo los individuos desarrollan a partir de la experiencia modelos
evaluativos de situaciones, agentes, acciones y prácticas que cumplen los criterios
morales de imparcialidad, independencia de la autoridad y preocupación no
instrumental sobre el beneficio o daño a los otros, y una guía para el pensamiento y la
acción. Estos modelos evaluativos no están basados en ninguna “facultad moral” innata
sino en los mismos mecanismos genéricos usados en los modelos causales/evaluativos
del mundo. Los modelos neurológicos con los que se trabajan actualmente se asemejan
en gran medida a las propuestas de aprendizaje reforzado usando una arquitectura de
redes neuronales de propósito genérico como las que vimos en la sección 2.2. Al igual
que en el caso de redes neuronales, tenemos una capacidad limitada de introspección
en estos elementos, lo cual hace que cuando llega a nivel consciente adquiera la forma
de intuición moral. Esta intuición sin embargo no es más que un modo de representación
del resultado de un modelo subyacente complejo al cual no tenemos acceso directo.
Esta propuesta en mi opinión presenta similitudes importantes con los experimentos de
Gazzaniga sobre los procesos de decisión y sus conclusiones sobre el libre albedrío en el
ser humano (Gazzaniga, 2015).

5.4. metaética aplicada: el cambio técnico actual y su

regulación
En esta sección hemos revisado tanto el problema ser/deber-ser de Hume como la
falacia naturalista de Moore. Hemos propuesto que estos problemas están
estrechamente relacionados con el desarrollo de sistemas morales autónomos tanto en
su estrategia top-down como en la bottom-up. Tal relación obedece a que en ambos
casos, o bien se requiere especificar los valores que se deben implementar, lo que
implicaría una definición de las propiedades morales, o se pretende una derivación de
estos valores mediante aprendizaje a partir de los datos del mundo.

42
También hemos resaltado la importancia de posicionarse claramente en el ámbito de
las diferentes teorías metaéticas y conocer las implicaciones que tiene esta decisión. En
mi opinión, hacer explícita esta decisión es fundamental a la hora de afrontar el debate
sobre el desarrollo y regulación de sistemas morales autónomos. Creo que muchas de
las discusiones que dificultan actualmente este debate se enraízan en la tensión
existente entre diferentes concepciones metaéticas subyacentes que si se hicieran
explícitas permitiría un tratamiento de problema más productivo o al menos se haría
evidente la dificultad de llegar a un consenso.

En este trabajo nos hemos decantado por una aproximación a la metaética realista
naturalista.

En mi opinión, aunque el problema del ser/deber-ser y las consecuencias que hemos

descrito se amplifican considerablemente en el desarrollo de sistemas autónomos, no
son un problema específico de este tipo de sistemas, sino de la implementación de
cualquier nueva tecnología que tenga impacto en la sociedad y, por tanto, deba ser
regulada. De hecho, aunque el ámbito que había centrado nuestra atención (y la de la
mayoría de personas que trabajan en este campo) hasta ahora es el de diseño y
desarrollo de sistemas, todos los elementos introducidos hasta ahora se ponen en juego
incluso de manera más importante en el ámbito de la regulación tecnológica. Esto es así
porque cada vez que se produce un cambio técnico y, en particular, cada vez que se
debe regular la introducción y uso de una nueva tecnología, tenemos que salvar el vacío
existente entre el mundo descriptivo y el mundo normativo.

Aquí es importante resaltar la dimensión socio-técnica de la regulación cambio técnico:

se describe y se evalúa una tecnología y su uso. El impacto que la tecnología tiene en la
sociedad y viceversa es un tema central en los estudios de Ciencia, Tecnología y Sociedad
y, en mi opinión, el cambio técnico que estamos viviendo actualmente, la introducción
de Inteligencia Artificial y sistemas autónomos es un caso paradigmático de cambio
técnico. Esta tecnología – como la irrupción de Internet hace 25 años - tiene el potencial
de afectar a la sociedad por entero, a los que están involucrados en su desarrollo como
a los que no, a los que usan directamente esta tecnología como a los que no. Por este
motivo, y a diferencia de lo que ocurrió con Internet, es necesario que el desarrollo y
uso de este tipo de sistemas esté convenientemente regulado.

Veamos con un ejemplo como encaja esta aproximación teórica a los procesos de
regulación de tecnología actuales y los problemas a los que nos enfrentamos en el caso
de sistemas autónomos. Para ello vamos a tomar un ámbito de tecnologías altamente
reguladas y vamos a formular explícitamente el problema ser/deber ser que hemos
identificado anteriormente y como se esta resolviendo hasta ahora. Después veremos
cual es la diferencia con los sistemas autónomos y cual es la propuesta que estamos
realizando en esta sección.

43
Un ejemplo que considero práctico, actual y relevante proviene del ámbito aeronáutico:
la introducción y regulación de aviones remotamente pilotados29 para tareas tanto
civiles como militares como por ejemplo vigilancia, inspección de infraestructuras,
transporte de carga o incluso transporte de personas.

En este proceso de regulación por un lado tenemos a la ciencia y la ingeniería

representadas por aquellos organismos que desarrollan y proponen una nueva
tecnología (un centro de investigación, universidad o, más generalmente, una empresa).
En el mejor de los casos estos organismos se coordinan para la creación de un estándar
técnico. Este estándar es capaz de describir esta tecnología y sus posibles usos. En el
ámbito aeronáutico hay varios organismos internacionales, normalmente formados por
diferentes empresas con intereses en el desarrollo y comercialización de determinadas
tecnologías. En Europa la organización más importante es EUROCAE30 que actualmente
tiene un grupo de trabajo activo en la estandarización tecnologías relacionadas con
aviones remotamente pilotados como sistemas anticolisión (Detect and Avoid) o enlace
de datos para control (Command and Control datalink).

Por otro lado, tenemos a la sociedad, incluyendo a los usuarios potenciales de esta
tecnología y a aquellas personas potencialmente afectadas de alguna manera por la
misma. La sociedad está representada por una entidad gubernamental organismo
nacional o internacional encargado de regular la tecnología considerada. Este organismo
debe evaluar la tecnología y sus posibles usos. En Europa en el ámbito aeronáutico este
organismo es EASA31 que actualmente esta llevando a cado una revisión completa de la
regulación básica de aviación civil para incluir la operación de aviones remotamente
pilotados32.

Aquí normalmente se produce un enfrentamiento de intereses que conduce a un

aparente círculo vicioso en el que el que desarrolla la nueva tecnología requiere conocer
de antemano cómo va a ser la regulación que va a aplicar a este nuevo desarrollo, algo
que el regulador no puede hacer sin conocer y evaluar el mismo. Un caso paradigmático
de este problema lo encontramos en el desarrollo de sistemas anticolisión para aviones
no tripulados que lleva más de una década de desarrollo. En este caso un estándar
puede establecer por ejemplo que el sistema puede detectar una colisión a 5 millas
náuticas (descripción) pero nunca establecerá que 5 millas náuticas es un valor
suficientemente bueno (evaluación).

29
Es importante que aquí evitamos los problemas relacionados con los sistemas autónomos que veremos
más adelante mediante la exigencia que estas plataformas estén continuamente controladas por ser
humano.
30
European Organization for Civil Aviation Equipment
31
European Aviation Safety Agency
32
Regulatory framework to accommodate unmanned aircraft systems in the Europena aviation system
(Rulemaking Task 0230)

44
Este sistema de relaciones, como hemos visto, no es realmente un círculo: es un vacío.
Un vacío entre el ámbito de la descripción y el ámbito de evaluación, que dificulta la
regulación de la nueva tecnología y su implantación ordenada, evitando en la medida de
los posible sus efectos negativos.

La labor del regulador es hacer explícito aquello que falta en la descripción de la

tecnología y su encaje en la sociedad, el componente evaluativo de la misma, es decir
qué (y qué usos) hace esta tecnología buena para la sociedad. Para ello actualmente se
usa una estrategia top-down para la cual es necesario identificar los valores que se
usarán para la evaluación y se definen en base a propiedades naturales que puedan ser
validadas empíricamente y que idealmente contengan ese elemento normativo que
identificamos anteriormente.

Siguiendo con el ejemplo de sistema anticolisión para aviones remotamente tripulados,

se suelen proponer conceptos como seguridad (safety) que se define mediante une
probabilidad determinada de colisión aérea (mid-air collision) basados en datos actuales
de seguridad en Europa33. Estos conceptos son la base de la validación de la tecnología
que se quiere introducir y, junto a los estándares que la describen y que se usan como
medio de cumplimiento de dicha validación, componen el marco regulatorio de esta
tecnología.

En mi opinión hasta ahora, aunque no haya sido una tarea trivial, el regulador ha
logrado proponer (o imponer) estos conceptos evaluativos (o valores tout court)
debido a que estos valores tenían una carga ética relativamente baja y esta es una de
las principales diferencias y dificultades en el ámbito de sistemas artificiales morales
autónomos: los valores que se están planteando sí tienen una importante carga
ética34.

El ámbito de la regulación de sistemas autónomos, y pese a la gran cantidad de

publicaciones que están saliendo a luz, está en sus inicios, aunque empieza a haber
ejemplos como la GDPR (General Data Protection Regulation) que trata parcialmente el
uso de sistemas autónomos basados en Inteligencia Artificial. El principal obstáculo de
la GDPR, y de futuras regulaciones que se espera que se deriven de a partir de iniciativas
como el AIHLG de la Comisión Europea que se describió en la sección 4, es la dificultad
de describir con precisión los valores que se usan para evaluar esta tecnología (por
ejemplo la preservación de la autonomía humana, la prevención del perjuicio, la

33
Target Level of Safety: normalmente se define la probabilidad de una colisión por cada 107 a 109 horas
de vuelo
34
Aquí de nuevo nos inspiramos en Railton (Miller, 2013) y su forma de explicar el tratamiento realista
naturalista de lo bueno moral a partir de lo bueno no moral (valores homeostáticos en su ejemplo) para
introducir ciertas dificultades que considero características de los sistemas autónomos morales
artificiales. Aquí en lugar de diferenciar lo bueno no moral de lo bueno moral, introducimos el concepto
de carga ética de los valores como un continuo, que parece más adecuado para nuestro caso que el
concepto binario Railtoniano.

45
explicabilidad, justicia…). Esta dificultad apunta en mi opinión directamente al problema
que hemos introducido en los párrafos anteriores, pero ahora aplicados a unos valores
con una fuerte carga ética. Esto ha conducido a no haber logrado proponer unas
definiciones adecuadas hasta el momento, lo cual es una barrera de cristal -cuando no
explícita- en todas las publicaciones actuales en este ámbito. Aunque desde un punto
de vista realista naturalista sí es teóricamente posible proporcionar estas definiciones,
vemos que la estrategia top-down es en la práctica poco adecuada para los propósitos
de regulación de este tipo de sistemas y menos a corto plazo.

Ya hemos propuesto que el problema de definir valores en términos naturales no es un

problema técnico, es filosófico, más concretamente metaético. También hemos visto
que, según la perspectiva realista naturalista, en al que nos centramos en este trabajo,
esto se debe a nuestra propia limitación cognitiva (e.g. sesgos, comprensión incompleta
de relaciones causales). Sin embargo, un realista naturalista no tiene inconveniente en
creer que esta descripción es posible, que no hay nada intrínsecamente misterioso en el
acceso epistemológico a las propiedades morales o como estas supervienen de
propiedades naturales. También hemos introducido la teoría de aprendizaje moral
desde un punto de vista realista naturalista y hemos concluido que no hay ninguna
propiedad no natural necesaria en este proceso de aprendizaje.

Todo esto parece indicar que desde una perspectiva realista naturalista no habría
ninguna objeción a un desarrollo de sistema autónomos mediante la estrategia bottom-
up. Esta estrategia propone desarrollar sistemas autónomos basado en algoritmos de
aprendizaje profundo (deep learning) como los descritos en la sección 2.2 debidamente
entrenados para tener un comportamiento moral satisfactorio, sin necesidad de haber
tenido que especificar los conceptos morales previamente a su desarrollo. Como hemos
visto en dicha sección una de las características más novedosas de esta tecnología es
que este tipo de sistemas tienen la capacidad de encontrar soluciones, o mejor dicho
predicciones con cierto grado de probabilidad, a problemas para los que no podemos
proporcionar una teoría o modelo satisfactorio, en base a la enorme capacidad que
tienen esta tecnología para establecer relaciones que están fuera del alcance de los
seres humanos. Hemos visto como estos sistemas se usan actualmente en ámbitos como
la biología o la física que han sido dominio exclusivo del método científico hasta ahora.
Un sistema como el postulado podría cubrir ese problemático vacío epistemológico
entre nuestras facultades cognitivas y los conceptos morales, convirtiéndose en lo que
algunos autores han llamado un microscopio moral (Frank, 2016).

Una de las conclusiones a las que hemos llegado es que, desde una perspectiva realista
naturalista, el desarrollo de sistemas autónomos según la estrategia botton-up no hay
ningún paso ilegítimo del ser al deber-ser ni se incurre en una falacia naturalista, que
era una de las principales preocupaciones al empezar este trabajo. La propuesta de
entrenar algoritmos de aprendizaje profundo no es más que una variación de la

46
propuesta realista naturalista de tipo metodológico que vimos en el apartado anterior
y que proponía trabajar en compatibilidad con los métodos de las ciencias naturales y
sociales. Aquí lo que se propone es seguir una tendencia que ha empezado a darse en
la ciencia, no para sustituir el método científico sino más bien para complementarlo.
Del mismo modo, no estamos proponiendo sustituir la reflexión sobre ética y moral por
algoritmos, datos y correlaciones, sino más bien complementar esta reflexión mediante
el uso de una tecnología que está dando sus frutos en otros ámbitos científicos.

Sin embargo, el desarrollo de sistemas mediante la estrategia botton-up tendrá unas

consecuencias importantes en la regulación de esta tecnología ya que este tipo de
sistemas van a exigir un tipo diferente de procesos de verificación y validación.
Subrayaré los problemas que me parecen más relevantes: la imposibilidad de realizar
una verificación del sistema y el problema del sesgo en los datos (data bias)

En ingeniería de sistemas el objetivo del proceso de verificación es asegurar que se la

construido el sistema correctamente. Para ello, tradicionalmente se inspeccionan los
procesos de desarrollo y el sistema en sí, o en el caso de software, el código fuente. Sin
embargo, una característica de los sistemas basados en aprendizaje profundo es su
inescrutabilidad, inspeccionar las entrañas de una red neuronal nunca nos va a dar
ninguna pista de por qué el sistema se ha configurado de un modo determinado y no de
otro durante su proceso de aprendizaje, lo cual imposibilita la verificación del sistema
en un sentido tradicional.

El problema del sesgo en los datos es una consecuencia de que el sistema no se

especifica, sino que se entrena; el resultado de este entrenamiento es extremadamente
dependiente de los datos que se usen en el mismo. Cualquier sesgo en los datos se verá
amplificado en el sistema y sabemos por otro lado que no es posible tener datos libres
de sesgo. Es por este motivo que las investigaciones actuales en ciencia de datos buscan
la detección y eliminación de sesgos, algo de enorme importancia para la validación de
estos sistemas35.

En resumen, en esta sección hemos aplicado los conceptos metaéticos introducidos

anteriormente al problema de regular el uso de sistemas artificiales morales en el que
hemos propuesto que se produce un paso del ser al deber-ser como el que se comentó
en la sección 5.2. Este problema no es específico de sistemas autónomos sino de
cualquier proceso de regulación (evaluación) de nuevas tecnologías. Sin embargo, sí
hemos concluido que en el caso de sistemas artificiales morales autónomos estas

35
Un problema mucho más complejo se da en sistemas autónomos que continúan aprendiendo durante
su operación en el mundo. Este tipo de sistemas amplifican enormemente los sesgos y prejuicios de las
personas que interactúan con el mismo. Un ejemplo paradigmático fue el chatbot Tay Tweets de
Microsoft que tuvo que ser dado de baja al comenzar a publicar mensajes racistas y sexistas tan solo 16
horas después de su lanzamiento.

47
dificultades de amplifican debido la mayor carga moral de los valores que se plantean
para su evaluación.

El problema de la falacia naturalista y del paso del ser al deber-ser se ponen

frecuentemente sobre la mesa en los debates actuales sobre inteligencia artificial
normalmente para atacar las estrategias de implementación botton-up; mi intención ha
sido estudiar con detenimiento estos temas y analizar si realmente teníamos un
obstáculo insuperable. Mi conclusión es que lo que es insuperable es tratar estos temas
desde perspectivas metaéticas diferentes y la necesidad de posicionarse claramente en
una de ellas. También he señalado que, desde un punto de vista realista naturalista, la
perspectiva en la que nos hemos centrado en este trabajo, no encontramos obstáculos
metaéticos para un desarrollo botton-up. Aun así, este tipo de desarrollos plantean
serios problemas en la verificación y validación que dificultarán considerablemente la
regulación.

En mi opinión es importante plantear estos problemas desde un punto de vista holístico,

en el que los elementos filosóficos son tan importantes como los técnicos. La filosofía
tiene un papel central en el análisis de las consecuencias de nuevas tecnologías en la
sociedad como se puede comprobar en los estudios de Ciencia, Tecnología y Sociedad
en las últimas décadas. En el caso de sistemas autónomos hay que redoblar esfuerzos.
El impacto de este tipo de sistemas será enorme y no se deben permitir que esta
tecnología se desarrolle sin una regulación específica como pasó con Internet en los años
noventa.

48
6. Conclusiones

En este trabajo hemos realizado una introducción sobre IA, resaltando aquellos
elementos técnicos relevantes en el campo de la moralidad artificial, por ejemplo la
arquitectura de redes neuronales, y problemas asociados, como la opacidad,
inescrutalibidad o sesgo en los datos. También hemos apuntado algunos usos actuales
de esta tecnología que se prevé ubicua en nuestras vidas en un futuro próximo,
introduciendo algunos usos en los que las consideraciones éticas comienza a ser
relevantes, como el transporte autónomo.

Después hemos tratado el campo de la moralidad artificial que se centra en asegurar el

desarrollo de sistemas autónomos que muestren un comportamiento éticamente
aceptable especialmente con respecto a los usuarios humanos. En este punto, nuestro
problema se ha limitado principalmente a evaluar lo que se suele denominar agentes
éticos explícitos: máquinas que razonan sobre ética usando categorías éticas como parte
de su programación.

Este tratamiento de la moralidad artificial se ha realizado desde un punto de vista a

medio camino entre la filosofía y la ingeniería, acercándonos a problemas que
tradicionalmente forman parte de la ética aplicada y normativa desde el enfoque de su
posible implementación en sistemas computacionales. Un problema con el que nos
hemos encontrado en las estrategias de implementación que hemos descrito es la
definición de los valores con los que especificar un criterio de utilidad (top-down) o
dirigir el proceso de entrenamiento del sistema (bottom-up). Además, hemos visto como
en la estrategia bottom-up se realiza la derivación de estos valores a partir de hechos
del mundo, lo que podría constituir aquello que Hume consideraba un paso ilegítimo del
“ser” al “deber ser”.

Como se menciona en este trabajo, el problema de descripción de valores no se resuelve

en los diversos documentos que tratan explícitamente este tema como las directrices
sobre Inteligencia Artificial Ética propuesto por el grupo de expertos en IA creado por
Comisión Europea. Hemos propuesto que el problema de definición de valores se
amplifica a medida que éstos aumentan su carga ética y hemos dedicado una sección
entera a tratar este tema con más detalle.

Hemos visto que tanto el vacío entre el “ser” y el “deber ser” como el problema de la
definición de los valores están íntimamente ligados a la falacia naturalista. En la última
sección hemos analizado este tema en particular, sosteniendo que muchas de las
discusiones que actualmente se dan en el campo de la moralidad artificial se enraízan
en la tensión existente entre diferentes concepciones metaéticas subyacentes. En este
trabajo hemos optado explícitamente por un tratamiento del problema desde el punto
de vista realista naturalista.

49
La falacia naturalista, tal y como fue formulado por Moore a principios de siglo XX,
sostiene que es imposible definir términos éticos usando términos no éticos. El realismo
naturalista contemporáneo no encuentra ninguna evidencia que pruebe esta aserción y
la confrontan desde dos variantes diferentes. En primer lugar, un realismo naturalista
analítico que se opone a la teoría de Moore proponiendo definiciones complejas, pero
usando únicamente términos naturales. Por otro lado, tenemos el realismo naturalista
no analítico que propone un modelo similar a la ciencia en el que nuestra definición de
conceptos éticos se va refinando a medida que aumenta nuestro entendimiento sobre
las propiedades naturales en las que se basan los mismos. El realismo naturalista se
opone a que las propiedades éticas sean sui generis, o que exista una capacidad
específicamente humana para acceder a ellas. De hecho, son nuestras limitaciones
cognitivas lo que impiden ver con claridad la relación existente entre los conceptos o
propiedades morales y las propiedades o hechos naturales, es decir definir
explícitamente la relación de superveniencia.

Por último, nos hemos centrado en la propuesta no analítica y, en particular, en la

explicación del aprendizaje moral de Peter Railton, para proponer que, teóricamente,
sería posible desarrollar sistemas autónomos basado en algoritmos de aprendizaje
profundo (deep learning) debidamente entrenados para tener un comportamiento
moral satisfactorio. El desarrollo e implantación de este tipo de sistemas va a tener un
gran impacto en la sociedad, por lo que debe ser debidamente regulada. Sin embargo,
esta tecnología tiene determinadas características que hacen inadecuados los procesos
tradicionales de regulación, en particular, los relacionados con los procedimientos de
verificación y validación de sistemas. Para explicar esta problemática, hemos descrito
cómo se realiza esta regulación en un ámbito altamente regulado y hemos apuntado los
principales problemas a los que nos enfrentamos con la IA a medida que aumenta la
carga ética de los conceptos que usamos en su regulación.

Todos estos elementos nos sirven para concluir que, desde un punto de vista metaético
realista naturalista no analítico:

• nuestras limitaciones cognitivas son el principal problema en la definición de

términos éticos;
• la moralidad artificial no puede ser especificada;
• la moralidad artificial puede ser entrenada en sistemas basados en machine
learning;
• el desarrollo de este tipo de sistemas va a necesitar un cambio de paradigma en
las estrategias de regulación tecnológica.

50
7. Otras consideraciones y posibles líneas de trabajo

El problema de la definición de valores morales por otra parte apunta al corazón mismo
de la autonomía ética y, aunque en este trabajo nos hemos centrado en Moore y en las
consecuencias de su Principia Ethica, hay otros pensadores que debemos mencionar. De
hecho, probablemente cuando hablamos de la autonomía de la ética o de la definición
de valores éticos lo primero que nos venga a la cabeza sea el Tractatus de Wittgenstein:
“De lo que no se puede hablar, hay que callar.” Quizás una línea interesante de trabajo
sería ver si las propuestas actuales de entrenamiento basadas en machine learning son
otra forma de superar este primer Wittgenstein. En esta línea también podríamos
analizar el debate Russell/Kripke respecto a la definición de términos mediante otros
términos como proponía el primero o la necesidad de salir del lenguaje como sostenía
el segundo. Estos temas son extremadamente interesantes y enriquecerían
mutuamente el ámbito de la IA, y el de la filosofía de la lógica y del leguaje.

Otros campos que no hemos tratado explícitamente o únicamente de forma tangencial

y que merecería mucho la pena pensar son el concepto mismo de autonomía humana
cuando confrontamos una tecnología cada vez más autónoma y el concepto mismo de
evolución tecnológica. En este campo nos podríamos servir de pensadores como
Langdon Winner36 o el mismo Wendell Wallach37 a quien hemos citado frecuentemente
en las secciones previas.

Aunque considerado por muchos un algo remotamente probable o imposible de

predecir, no podemos concluir este trabajo sin mencionar al elefante en la habitación:
Inteligencia General Artificial (IGA) y la súper-inteligencia, y su efecto en la humanidad
con situaciones tan distópicas como las descritas en ciencia ficción.

Figura 5. Computador Hal 9000 de la película “2001: Odisea del Espacio”

36
Tecnología autónoma (1979) o La ballena y el reactor: una búsqueda de los límites en la era de la alta
tecnología (1987)
37
A Dangerous Master: How to keep technology from slipping out of our control (2015)

51
Dado que “hacer predicciones es muy difícil, especialmente cuando se trata del
futuro”38, este es un campo que suscita gran interés tanto entre los especialistas como
en el gran público. La IGA, y en particular la ética de la IGA, involucra problemas como
el desarrollo de consciencia artificial, intencionalidad, libre albedrío o sensibilidad
(sentience) que requieren un tratamiento multidisciplinar en el que el enfoque filosófico
se hace especialmente necesario.

38
Cita normalmente atribuida a Niels Bohr (1885-1962), premio nobel de física en 1922

52
8. Referencias

Allen, C., Smit, I., & Wallach, W. (2006). Artificial Morality: Top-Down, Bottom-Up, and
Hybrid Approaches. Ethics and Information Technology, 149-155.

Anderson, M. A. (2007). Machine Ethics: Creating an Ethical Intelligent Agent. AI

Magazine, 15-26.

Anderson, M. a. (2014). GenEth: A General Ethical Dilemma Analyzer. Proceedings of the

National Conference on Artificial Intelligence.

Anderson, M., Anderson, S., & and Armen, C. (2006). MedEthEx: A Prototype Medical
Ethics Advisor. Proceedings of the Eighteenth Conference on Innovative
Applications of Artificial Intelligence. Menlo Park: AAAI Press.

Anderson, S. L. (2011). Philosophical Concerns with Machine Ethics. En M. a. Anderson,

Machine Ethics (págs. 162-167). Cambridge: Cambridge University Press.

Anderson, S. L. (2011). The unacceptability of Asimov's Three Laws of Robotics as Basis

for Machine Ethics. En S. L. Michael Anderson, Machine Ethics (págs. 285-296).
Cambridge: Cambridge University Press.

Clarke, R. (2011). Asimov's Laws of Robotics: Implications for Information Technology.

En S. L. Michael Anderson, Machine Ethics (págs. 254-284). Cambridge:
Cambridge University Press.

Floridi, L. (2011). On the Morality of Artificial Agents. En M. a. Anderson, Machine Ethics

(págs. 184-212). Cambridge: Cambridge University Press.

Frank, L. a. (2016). Metaethics in Context of Engineering Ethical and Moral Systems.

Association for the Advancement of Artificial Intelligence.

Gazzaniga, M. S. (2015). El cerebro ético. Ediciones Paidós.

Gips, J. (2011). Towards the Ethical Robot. En S. L. Anderson, Machine Ethics (págs. 244-
253). Cambridge: Cambridge University Press.

High Level Expert Group on Artificial Intelligence. (2019). ETHICS GUIDELINES FOR
TRUSTWORTHY AI. Bruselas: European Commission.

Mazzocchi, F. (2015). Could Big Data be the end of theory in science? EMBO Report.

Miller, A. (2013). Contemporary Metaethics . Cambridge: Polity Press.

Moor, J. H. (2006). The nature, importance, and difficulty of machine ethics. IEEE
Intelligent Systems, 18-21.

53
 Railton, P. (October de 2016). Moral Learning: Conceptual foundations and normative
relevance. Cognition, 167, 172-190.

Railton, P. (2017). Naturalistic Realism. En T. a. McPherson, The Routledge Handbook of

Metaethics.

Succi, S., & Coveney, P. (2019). Big data: the end of the scientific method? Philosophical
Transactions A Royal Society.

Tegmark, M. (2017). Life 3.0 : being human in the age of artificial intelligence. New York:
Penguin Random House.

Torrance, S. (2011). Machine Ethics and the Idea of More-Than-Human. En M. Anderson,

& S. L. Anderson, Machine Ethics (págs. 115-137). New York: Cambridge
University Press.

Wallach, W., & Colin, A. (2009). Moral Machines. Teaching Robots Right from Wrong.
Oxford University Press.

Wendell Wallach, C. A. (2005). Machine morality: bottom-up and top-down approaches

for modelling human moral faculties. Ethics and Information Technology, 149-
155.

Winfield, A. F., Michael, K., Pitt, J., & Evers, J. (2019). Machine Ethics: The Design and
Governance of Ethical AI and Autonomous Systems. Proceedings of the IEEE. New
York: Institute of Electrical and Electronics.

54

View publication stats