E L E THICS DE RTIFICIAL I NTELLIGENCE

(2011) Nick Bostrom Eliezer Yudkowsky Proyecto para Cambridge Manual

de Inteligencia Artificial, eds. William Ramsey y Keith francos
(Cambridge University Press, 2011): próxima la posibilidad de crear
las máquinas pensantes plantea un sinnúmero de cuestiones éticas.
Estas preguntas se refieren tanto a asegurar que tales máquinas no
perjudicial para los seres humanos y otros seres moralmente
relevantes, y a la condición moral de las propias máquinas. La
primera sección trata de los problemas que puedan surgir en el
futuro cercano, de AI. La segunda sección se esbozan los retos para
asegurar que la IA funciona de manera segura cuando se aproxima a
los seres humanos en su inteligencia. La tercera sección describe
cómo podríamos evaluar si, y en qué circunstancias, AIs mismos
tienen estatus moral. En la cuarta sección, consideramos cómo AIs
podrían diferir de los seres humanos en ciertos aspectos
fundamentales pertinentes a nuestra evaluación ética de ellos. La
última sección se abordan las cuestiones de creación de AIs más
inteligente de derechos y asegurar que se utilicen su inteligencia
avanzada para más buena que mala.
La ética en el aprendizaje de máquinas y otros específicos de
dominio algoritmos AI
imaginar, en un futuro cercano, un banco usando un algoritmo de
aprendizaje de máquina para recomendar las solicitudes de hipotecas
para su aprobación. Un solicitante rechazado trae un pleito contra
el banco, alegando que el algoritmo es discriminar racialmente
contra los solicitantes de hipotecas. El banco responde que esto es
imposible, ya que el algoritmo es deliberadamente ciego a la raza de
los solicitantes. De hecho, esa era una parte de la justificación
del banco para implementar el sistema. Aún así, las estadísticas
muestran que la tasa de aprobación del banco para los solicitantes
negros ha sido constantemente cayendo. Presentación de diez
aparentemente auténtica igualmente calificados solicitantes (según
lo determinado por un panel independiente de jueces humanos) muestra
que el algoritmo acepta solicitantes blancos y rechaza los
solicitantes negros. ¿Qué podría estar sucediendo? Encontrar una
respuesta puede no ser fácil. Si el algoritmo de aprendizaje de la
máquina se basa en una complicada red neuronal, o un algoritmo
genético producido por la evolución dirigida, entonces puede
resultar casi imposible entender por qué, ni siquiera cómo, el
algoritmo es juzgar a los solicitantes sobre la base de su raza. Por
otro lado, un alumno de la máquina basada en árboles de decisión o
las redes Bayesianas es mucho más transparente para el programador
1

inspección (Hastie et al. 2001), que puede permitir a un auditor

para descubrir que la AI algoritmo utiliza la información de la
dirección de los solicitantes que hayan nacido o residido
anteriormente predominantemente en las zonas afectadas por la
pobreza. Algoritmos AI juegan un papel cada vez más grande en la
sociedad moderna, aunque generalmente no etiquetados como "AI". El
escenario antes descrito podría ser transpirable incluso cuando
escribimos. Será cada vez más importante desarrollar algoritmos que
AI no sólo son potentes y escalables, pero también transparente para
inspección de nombre a una de las muchas propiedades socialmente
importantes. Algunos desafíos de la ética de la máquina son mucho
como muchos otros retos implicados en el diseño de máquinas. Diseño
de un brazo del robot para evitar aplastamientos stray el ser humano
no es moralmente más plagado de diseñar un sofá retardante de llama.
Ello conlleva nuevos retos de programación, pero no nuevos desafíos
éticos. Pero cuando AI tomar algoritmos de trabajo cognitivo con
dimensiones sociales-cognitivas tareas anteriormente realizadas por
los seres humanos, el algoritmo AI hereda los requerimientos
sociales. Seguramente sería frustrante ver que ningún banco en el
mundo se apruebe su solicitud de préstamos aparentemente excelente,
y nadie sabe por qué, y nadie puede saber ni siquiera en principio.
(Tal vez usted tiene un nombre fuertemente asociado con deadbeats?
¿Quién sabe?) La transparencia no es la única característica
deseable de AI. También es importante que los algoritmos AI asumir
funciones sociales ser predecible para los que gobiernan. Para
comprender la importancia de esa previsibilidad, considere una
analogía. El principio jurídico de stare decisis vincula a los
jueces a seguir los precedentes siempre que sea posible. A un
ingeniero, esta preferencia por el precedente puede parecer
incomprensible por qué enlazar el futuro con el pasado, cuando la
tecnología siempre está mejorando? Pero una de las funciones más
importantes del ordenamiento jurídico predecible, de modo que, por
ejemplo, los contratos pueden ser escritos a sabiendas de cómo van a
ser ejecutados. El trabajo del sistema jurídico no es necesariamente
para optimizar la sociedad, sino que proporcionan un entorno
previsible dentro de los cuales los ciudadanos puedan optimizar sus
propias vidas. También será cada vez más importante que ser robustos
algoritmos de AI contra la manipulación. Un sistema de visión
artificial para escanear el equipaje de Aerolíneas para bombas debe
ser robusta contra adversarios humanos buscando deliberadamente
fallas explotables en el algoritmo, por ejemplo, una forma que,
colocado junto a una pistola en su equipaje, neutralizarían el
reconocimiento de ella. Robustez contra la manipulación es un
criterio común en la seguridad de la información; casi el criterio.
Pero no es un criterio que aparece frecuentemente en revistas de
Machine Learning, que actualmente están más interesados en, por
ejemplo, cómo un algoritmo en escalas grandes sistemas paralelos.
Otro importante criterio social para tratar con organizaciones es
poder encontrar a la persona responsable de conseguir algo. Cuando
un sistema falla AI en su tarea asignada, quien toma la culpa? Los
programadores? Los usuarios finales?
2

burócratas modernos suelen tomar refugio en los procedimientos

establecidos que distribuir la responsabilidad de manera tan amplia
que ninguna persona puede ser identificado a los culpables de las
catástrofes que resultan (Howard, 1994). Comprobada la sentencia
desinteresado de un sistema experto puede llegar a ser un mejor
refugio. Incluso si un sistema de inteligencia artificial está
diseñado con un usuario omitir, uno debe considerar los incentivos
de carrera de un burócrata que será culpado personalmente si la
anulación va mal, y que preferirían a culpar a la AI para cualquier
decisión difícil con un resultado negativo. Responsabilidad,
transparencia, auditables, incorruptibilidad, previsibilidad y una
tendencia a no hacer víctimas inocentes gritar con impotente
frustración: todos los criterios que se aplican a los seres humanos
de realizar funciones sociales; todos los criterios que deben ser
considerados en un algoritmo destinado a sustituir el juicio humano
de funciones sociales; todos los criterios que pueden no aparecer en
un diario de aprendizaje máquina considerando cómo un Algoritmo se
amplía hasta más equipos. Esta lista de criterios no es exhaustiva,
pero sirve como una pequeña muestra de lo que una sociedad cada vez
más informatizada debe estar pensando.
Servicio General de Inteligencia Artificial
hay un acuerdo casi universal entre los modernos profesionales AI
Inteligencia artificial que dista mucho de las capacidades humanas
en algún sentido crítico, aunque AI algoritmos han golpeado a los
seres humanos en muchos dominios específicos como el ajedrez.
Algunos han sugerido que tan pronto como AI investigadores averiguar
cómo hacer algo, esa capacidad deja de considerarse inteligente-
chess fue considerado el epítome de la inteligencia hasta Deep Blue
ganó el campeonato del mundo de Kasparov, pero incluso estos
investigadores están de acuerdo en que algo importante está ausente
de la moderna AIs Hofstadter (p. ej., 2006). Mientras este subcampo
de la Inteligencia Artificial es sólo coalescentes, "General de
Inteligencia Artificial" (en lo sucesivo, AGI) es la nueva expresión
de arte usado para denotar "real" de AI (véase, por ejemplo, el
volumen editado Goertzel y Pennachin 2006). Como el nombre implica,
el consenso que está surgiendo es que faltaba el característico es
la generalidad. Algoritmos de ia actual con derechos equivalentes o
-un rendimiento superior se caracteriza por una competencia
programados deliberadamente sólo en un único dominio restringido.
Deep Blue se convirtió en el campeón del mundo de ajedrez, pero ni
siquiera pueden jugar a las damas, mucho menos conducir un coche o
hacer un descubrimiento científico. Esos modernos algoritmos de AI
se asemejan a todos la vida biológica, con la única excepción del
Homo sapiens. Una abeja exhibe la competencia en la construcción de
colmenas; beaver exhibe la competencia en la construcción de presas;
pero una abeja no construir embalses y un castor no pueden aprender
a construir una colmena. Un ser humano, viendo, puede aprender a
hacer ambas cosas; pero esta es una habilidad única entre formas de
vida biológica. Es discutible si la inteligencia humana es
verdaderamente general-estamos ciertamente mejor en algunas tareas
cognitivas que otros (Hirschfeld y Gelman, 1994), pero la
inteligencia humana es seguramente un número significativamente
mayor de inteligencia nonhominid generalmente aplicables.
3

Es relativamente fácil prever el tipo de problemas de seguridad que

pueden resultar de la AI sólo operan dentro de un dominio
específico. Es cualitativamente diferente de la clase para manejar
un problema operativo de AGI en muchos contextos novedosos que no se
pueden predecir de antemano. Cuando los ingenieros humanos construir
un reactor nuclear, que se imaginan los eventos específicos que
podrían ir en el interior de ella-válvulas fallan, los equipos
fallan, aumento en la temperatura de los núcleos y el ingeniero el
reactor para representar estos eventos noncatastrophic. O, en un
nivel más mundano, la construcción de un tostador de pan implica la
ideación y la ideación de la reacción del pan a los toasterʹs
elemento de calefacción. El tostador en sí no saben que su propósito
es hacer una tostada: el propósito de la tostadora está representado
dentro de la mente del diseñador, pero no está explícitamente
representada en los cálculos dentro del tostador y tan si usted
coloque un trapo dentro de una tostadora, puede prenderse fuego,
como el diseño se ejecuta en un contexto unenvisioned unenvisioned
con un efecto secundario. Incluso AI algoritmos específicos de la
tarea nos lanzan fuera de la tostadora-paradigma, el dominio del
local, específicamente el comportamiento previsto preprogramados.
Considere la posibilidad de Deep Blue, el algoritmo de ajedrez que
golpearon a Garry Kasparov por el campeonato del mundo de ajedrez.
Si fuera el caso de que las máquinas sólo pueden hacer exactamente
lo que se les dice, los programadores habría tenido que reprogramar
manualmente una base de datos que contiene se mueve por cada posible
posición de ajedrez Deep Blue que podría encontrar. Pero esto no era
una opción para Deep Blue's programadores. En primer lugar, el
espacio de las posibles posiciones de ajedrez unmanageably es
grande. En segundo lugar, si los programadores tenían entrada
manualmente lo que consideraron una buena jugada en cada situación
posible, el sistema resultante no habría sido capaz de hacer jugadas
de ajedrez más fuerte de sus creadores. Desde los programadores en
sí no eran campeones del mundo, un sistema de este tipo no habría
sido capaz de derrotar a Garry Kasparov. En la creación de un
superhombre jugador de ajedrez, los derechos de los programadores
necesariamente sacrificado su habilidad para predecir local del azul
profundo, comportamiento específico del juego. En su lugar, los
programadores tenían del azul profundo (justificable) confianza que
Deep Blue's Chess mueve satisfaría un criterio no local de
optimalidad: a saber, que la mueve tendería a dirigir el futuro del
tablero de juego en los resultados en la región "ganador" como se
define en las reglas de ajedrez. Esta predicción sobre consecuencias
lejanas, aunque resultó preciso, no permiten a los programadores a
vislumbrar el comportamiento local de Deep Blue-su respuesta a un
ataque específico sobre su rey-porque Deep Blue nolocal computado el
mapa de juego, el vínculo entre un movimiento y sus posibles
consecuencias futuras, con más precisión que los programadores
podían Yudkowsky (2006). Los seres humanos modernos no literalmente
millones de cosas para alimentarse de servir a la consecuencia
última de ser alimentadas. Algunas de estas actividades fueron
"imaginado por naturaleza" en el sentido de ser desafíos ancestrales
a las que estamos directamente adaptadas. Pero nuestro cerebro
adaptado ha crecido lo suficientemente potentes como para ser
significativamente más generalmente aplicables; permítanos
4

prever las consecuencias de millones de acciones a través de

diferentes dominios, y ejercer nuestras preferencias sobre los
resultados finales. Los seres humanos cruzó el espacio y poner
huellas en la Luna, aunque ninguno de nuestros antepasados encontró
un desafío análogo al vacío. Frente a AI específicos de dominio, es
un problema cualitativamente diferente para diseñar un sistema que
funcione de forma segura a través de miles de contextos; incluyendo
contextos no específicamente previsto ni por los diseñadores o los
usuarios; incluyendo contextos que ningún ser humano aún no ha
encontrado. Aquí no puede existir ninguna especificación local de
buen comportamiento no-simple especificación sobre las conductas,
más que existe un pacto local descripción de todas las maneras en
que los seres humanos obtengan su pan de cada día. Para construir
una IA que actúa de forma segura mientras actúa en muchos ámbitos,
con muchas consecuencias, incluyendo problemas con los ingenieros
nunca imaginaron explícitamente, uno debe especificar un buen
comportamiento en términos tales como "x tal que la consecuencia de
X no es perjudicial para los seres humanos". Esto no es local;
implica extrapolar las consecuencias lejanas de las acciones. Por lo
tanto, esto es sólo una especificación de efectivo, que puede ser
realizado como una propiedad de diseño-si el sistema extrapola
explícitamente las consecuencias de su comportamiento. Una tostadora
no tienen esta propiedad de diseño porque una tostadora no puede
prever las consecuencias de pan tostado. Imagine un ingeniero tener
que decir, "Bueno, no tengo ni idea de cómo he construido este avión
volará con seguridad. De hecho, no tengo ni idea de cómo va a volar
a todos, si va a agitar las alas o inflar a sí mismo con helio o
otra cosa ni siquiera he imaginado, pero les aseguro, el diseño es
muy, muy seguro." Esta Puede parecer un poco envidiable posición
desde la perspectiva de las relaciones públicas, pero es difícil ver
qué otra garantía de comportamiento ético sería posible para un
operativo de inteligencia general sobre problemas imprevistos, a
través de dominios, con preferencias sobre consecuencias distantes.
Inspeccionar el diseño cognitivo podría verificar que la mente era,
de hecho, buscando soluciones que deseamos clasificar como ético;
pero no podemos predecir qué solución concreta la mente de
descubrir. Respetar dicha verificación requiere alguna forma de
distinguir las garantías de confianza (un procedimiento que no se
diga que la IA es seguro a menos que la IA es realmente seguro) de
la pura esperanza y pensamiento mágico ("no tengo ni idea de cómo
será la piedra filosofal transmutar el plomo en oro, pero les
aseguro, va!"). Uno debe tener en mente que la puramente
expectativas esperanzadoras previamente han sido un problema en Ia
investigación (McDermott, 1976). De manera comprobable, construyendo
un fidedigno AGI requerirán métodos diferentes y una forma diferente
de pensar, desde la inspección de plantas de energía de software
bugs-requerirá un AGI que piensa como un ingeniero humano preocupado
por la ética, y no un simple producto de la ética de la ingeniería.
5

Así la disciplina ética de AI, especialmente si se aplica a la AGI,

es probable que difiere fundamentalmente de la disciplina ética de

específico de la AI no puede ser predecible, aparte de su seguridad,

incluso si
seguridad de la El sistema se convierte en un desafío mayor porque
debemos comprobar lo que el sistema está intentando hacer, en lugar
de ser capaz de verificar el comportamiento seguro del sistema
opera
tomado como un asunto de ingeniería.
Máquinas con estatus moral
un conjunto diferente de cuestiones éticas surge cuando contemplamos
la posibilidad de que algunos de los futuros sistemas de AI, podrían
ser candidatos para tener estatus moral. Nuestras relaciones con los
seres poseen estatus moral no son un asunto exclusivo de la
racionalidad instrumental: también tenemos razones morales para
tratarlas en ciertas maneras y a que se abstengan de tratarlos en
algunas otras maneras. Francisco Kamm ha propuesto la siguiente
definición de estado moral, que servirá para nuestros propósitos: X
ha estado moral = porque X cuenta moralmente en su propio derecho,
es admisible o inadmisible para hacer las cosas para su propio
beneficio. (Kamm 2007: Capítulo 7; parafrasear) Una roca no tiene
estado moral: podemos aplastarla, pulverizar, ni lo someta a ningún
tratamiento nos gusta sin ninguna preocupación por la misma roca.
Una persona humana, por el contrario, debe considerarse no sólo como
un medio sino también como un fin. Exactamente lo que significa
tratar a una persona como un fin es algo acerca de lo cual
diferentes teorías éticas discrepar; pero ciertamente implica tomar
en cuenta sus intereses legítimos de dar peso a su bienestar y
también puede implicar aceptar Moral estricta de lado limitaciones
en nuestros tratos con ella, como una prohibición de asesinar a su,
robar o hacer de ella una variedad de otras cosas que ella o su
propiedad sin su consentimiento. Además, es porque una persona
humana recuentos en su propio derecho, y por causa de ella, que no
es permisible hacer estas cosas a ella. Esto se puede expresar de
forma más concisa diciendo que una persona ha estado moral.
Preguntas sobre el estado moral son importantes en algunas esferas
de la ética práctica. Por ejemplo, las disputas sobre la licitud
moral del aborto suele depender de los desacuerdos sobre el status
moral del embrión. Controversias sobre la experimentación animal y
el tratamiento de animales en la industria alimentaria implican
preguntas acerca del estatus moral de diferentes especies de
animales. Y nuestras obligaciones hacia los seres humanos con
demencia severa, como la etapa tardía de la enfermedad de Alzheimer,
los pacientes también pueden depender de cuestiones de estatus
moral.
6

Es un hecho generalmente aceptado que los actuales sistemas de AI no

tienen ningún estatus moral. Podemos modificar, copiar, interrumpir,
eliminar o utilizar los programas de ordenador que nos plazca; por
lo menos en la medida en que los propios programas se refiere. Las
restricciones morales a las que estamos sometidos en nuestros tratos
con los contemporáneos AI sistemas son todos fundados en nuestras
responsabilidades para con otros seres humanos, como seres humanos,
no en cualquier deberes a los propios sistemas. Si bien es bastante
consensuado que los actuales sistemas de Ia falta estado moral, no
está claro exactamente qué atributos tierra estatus moral. Dos
criterios comúnmente se propusieron como importante vinculada al
estatus moral, ya sea por separado o en combinación: sentiencia y
sapience (o personalidad). Estos pueden caracterizarse
aproximadamente como sigue: Sentiencia: la capacidad para la
fenomenal experiencia o qualia, tales como la capacidad de sentir
dolor y sufrir Sapience: un conjunto de capacidades relacionadas con
la inteligencia superior, tales como auto-conciencia y razón de ser
un agente receptivo una opinión común es que muchos animales tienen
qualia y por lo tanto tienen algunos Estado moral, sino que sólo los
seres humanos tienen sapience, lo que les da un mayor estatus moral
de los animales no humanos.1 Este punto de vista, por supuesto, debe
afrontar la existencia de casos dudosos como, por un lado, los niños
o las personas con retardo mental severo-lamentablemente a veces
referido como "marginal" de los seres humanos- que no satisfacen los
criterios para sapience; Y, por otro lado, algunos animales no
humanos, como los grandes simios, que puedan poseer al menos algunos
de los elementos de sapience. Algunos niegan que los llamados "seres
humanos marginales" tienen pleno estatus moral. Otros proponen
formas adicionales en las que un objeto podría calificar como un
portador de status moral, como por ser miembro de una especie que
normalmente tiene una sentiencia o sapience, o poniéndose de pie en
una proporción adecuada a la que independiente ha estado moral (cf.
Mary Anne Warren, 2000). A los presentes efectos, sin embargo, nos
centraremos en los criterios de la sentiencia y sapience. Esta
imagen de estatus moral sugiere que un sistema de inteligencia
artificial tendrá algún estatus moral si tiene capacidad para
qualia, tales como la capacidad de sentir dolor. Un sistema de
inteligencia artificial sensible, incluso si carece de lenguaje y
otras facultades cognitivas superiores, no es como un animal de
peluche o un wind-up doll; es más como un animal vivo. Es erróneo
para infligir dolor en un ratón, a menos que existan razones
imperiosas moralmente suficientemente fuerte para hacerlo. Lo mismo
se mantienen para cualquier sentient AI sistema. Si además de la
sentiencia, un sistema de inteligencia artificial también
1 alternativamente, uno podría negar que el estado moral viene en
grados. En su lugar, uno podría sostener que algunos seres humanos
tienen intereses más importantes que otros seres. Así, por ejemplo,
se podría afirmar que es mejor guardar una humana que para guardar
un pájaro, no porque el ser humano tiene mayor estatus moral, sino
porque el ser humano tiene un interés en tener más significativos de
su vida salvada que hace el pájaro en haber salvado su vida.
7

tiene sapience de una especie similar a la de un adulto humano

normal, entonces tendría pleno estatus moral, equivalente al de los
seres humanos. Una de las ideas subyacentes a esta valoración moral
puede ser expresado en forma más fuerte como un principio de no
discriminación: el principio de no discriminación del sustrato Si
dos seres tienen la misma funcionalidad y la misma experiencia
consciente, y sólo se diferencian en el sustrato de su aplicación y,
a continuación, tienen el mismo estatus moral. Se puede argumentar
que este principio por motivos que rechazarla equivaldría a adoptar
una posición similar al racismo: substrato carece de significación
moral fundamental de la misma manera y por la misma razón que hace
el color de la piel. El principio de no discriminación del sustrato
no implica que una computadora digital podía ser consciente, o que
podría tener la misma funcionalidad que un ser humano. Sustrato por
supuesto puede ser moralmente relevantes en la medida en que hace
una diferencia a la sentiencia o funcionalidad. Pero la celebración
de estas cosas constante moral, no hace ninguna diferencia si un ser
está hecha de silicio o carbono, o si su cerebro utiliza semi-
conductores o neurotransmisores. Un principio adicional que puede
ser propuesto es que el hecho de que los sistemas de ia son
artificiales, es decir, el producto de diseño deliberado es
básicamente no pertinentes a su estatus moral. Podríamos formular de
la siguiente manera: Principio de la ontogenia no discriminación Si
dos seres tienen la misma funcionalidad y la misma experiencia de la
conciencia, y sólo se diferencian en la manera en que entró en
existencia, entonces tienen el mismo estatus moral. Hoy en día, esta
idea es ampliamente aceptada en el caso humano-aunque en algunos
círculos, particularmente en el pasado, la idea de que el status
moral depende del linaje o casta ha sido influyente. No creemos que
los factores causales, tales como la planificación familiar, la
asistencia del parto, la fertilización in vitro, la selección de
gametos, deliberados, mejoramiento de la nutrición materna, etc.-
que introducen un elemento de elección deliberada y diseño en la
creación de personas humanas-tienen las necesarias consecuencias
para el estado moral de la progenie. Incluso quienes se oponen a la
clonación reproductiva humana por razones morales o religiosas
generalmente aceptan que un clon humano, deberían ser llevados a
término, que tendría el mismo status moral como cualquier otro bebé.
El principio de la ontogenia no discriminación se extiende este
razonamiento para el caso de totalmente los sistemas cognitivos
artificiales. Por supuesto, es posible que las circunstancias de la
creación para afectar a la progenie resultante de tal manera como
para alterar su estatus moral. Por ejemplo, si se

realiza algún procedimiento 8 durante la concepción o gestación que

causó un feto humano a desarrollarse sin un cerebro, entonces este
hecho acerca de la ontogenia sería pertinente para nuestra
evaluación del estado moral de la progenie. Los niños anencefálicos,
sin embargo, tendrían el mismo estatus moral como cualquier otro
niño anencefálicos similares, incluyendo una que ha llegado a través
de algún proceso totalmente natural. La diferencia de estatus moral
entre un niño anencefálicos y un niño normal se basa en la
diferencia cualitativa entre los dos: el hecho de que uno tiene una
mente mientras que la otra no lo hace. Dado que los dos niños no
tienen la misma funcionalidad y la misma experiencia consciente, el
principio de la ontogenia, la no discriminación no se aplica. Aunque
el principio de la ontogenia no discriminación afirma que la
ontogenia del ser esencial no tiene influencia sobre su estado
moral, no niega que los hechos acerca de la ontogenia pueden afectar
qué deberes morales particulares agentes tienen hacia el ser en
cuestión. Los padres tienen obligaciones especiales a sus hijos que
no tienen a otros niños, y que éstos no tendrían siquiera si hubo
otro niño cualitativamente idéntica a la suya propia. Del mismo
modo, el principio de la ontogenia, la no discriminación es
consistente con la afirmación de que los creadores o propietarios de
un sistema de inteligencia artificial con estatus moral puede tener
deberes especiales para su mente artificial que no tienen a otro
artificial mind, incluso si las mentes en cuestión son
cualitativamente similares y tienen el mismo estatus moral. Si los
principios de no discriminación con respecto al sustrato y ontogenia
son aceptados y, a continuación, haga muchas preguntas acerca de
cómo deberíamos tratar mentes artificiales pueden ser contestadas,
aplicando los mismos principios morales que utilizamos para
determinar nuestros deberes en contextos más familiares. En cuanto
deberes morales se derivan de consideraciones de status moral,
deberíamos tratar una mente artificial de la misma manera deberíamos
tratar a un nivel cualitativamente idéntico natural mente humana en
una situación similar. Esto simplifica el problema de desarrollar
una ética para el tratamiento de mentes artificiales. Incluso si
aceptamos esta postura, sin embargo, debemos enfrentarnos a una
serie de nuevos interrogantes éticos que los citados principios
dejar sin respuesta. Novela cuestiones éticas surgen porque mentes
artificiales pueden tener propiedades muy diferentes a los normales
de la mente humana o animal. Debemos considerar cómo estas novedosas
propiedades afectaría el status moral de mentes artificiales y qué
significaría para respetar el status moral de esas mentes exóticos.
Mentes con propiedades exóticas
en el caso de los seres humanos, nosotros normalmente no dudan en
atribuir sentiencia y experiencia consciente a cualquier individuo
que exhibe los tipos normales del comportamiento humano. Pocos creen
que haya otras personas que actúan normalmente pero falta conciencia
perfectamente. Sin embargo, otros seres humanos no se limitan a
comportarse en persona como medios parecidos a nosotros; también
tienen cerebros y arquitecturas cognitivas que son
9

constituía una gran parte como la nuestra. Una inteligencia

artificial, por el contrario, podría estar constituido de una manera
bastante diferente de un intelecto humano todavía exhiben un
comportamiento humano o poseer las disposiciones de comportamiento
normalmente indicativos de personalidad. En consecuencia, sería
posible concebir una inteligencia artificial que sería sapient, y
quizá sería una persona, pero no sería sensible o tener experiencias
conscientes de ningún tipo. (Si esto es realmente posible depende de
las respuestas a algunas de las cuestiones metafísicas no trivial.)
Debería ser posible un sistema de este tipo, se plantearía la
cuestión de si una persona no sensible tendría algún estatus moral
alguna; y en caso afirmativo, si tendría el mismo status moral como
una persona sensible. Desde sentiencia o, al menos, una capacidad
para la sentiencia, normalmente se supone que deben estar presentes
en cualquier persona que es una persona, esta cuestión no ha
recibido mucha atención hasta la fecha.2 Otra exótica propiedad, uno
de los cuales es sin duda metaphysically y físicamente posible para
una inteligencia artificial, es para su tasa subjetiva de tiempo
para apartarse radicalmente de La tasa que es característico de un
cerebro humano biológico. El concepto de tasa subjetiva de tiempo es
mejor explicada por primera introducción a la idea de la emulación
de la totalidad del cerebro, o "cargar". "Cargando" se refiere a un
hipotético futuro tecnología que permitiría a un humano u otro
animal el intelecto para ser transferido desde su implementación
original en un cerebro orgánico en una computadora digital. Un
escenario va como esto: Primero, una muy alta resolución análisis se
realiza de algún cerebro en particular, posiblemente destruyendo el
original en el proceso. Por ejemplo, el cerebro podría estar
vitrificados y disecaron en rodajas muy finas, que luego pueden ser
analizados mediante alguna forma de microscopía de alto rendimiento
combinado con reconocimiento de imagen automatizada. Podemos
imaginar esta exploración para ser lo suficientemente detalladas
para capturar todas las neuronas, sus interconexiones sinápticas, y
otras características que son funcionalmente relevantes para el
funcionamiento del cerebro original. En segundo lugar, este mapa
tridimensional de los componentes del cerebro y sus interconexiones
se combina con una biblioteca de advanced neuroscientific teoría
computacional que especifica las propiedades de cada tipo de
elemento, como diferentes tipos de neurona y synaptic junction. En
tercer lugar, la estructura computacional asociado y el
comportamiento de sus componentes algorítmicos son implementadas en
algún ordenador potente. Si el proceso de carga se ha realizado
correctamente, el programa informático debería ahora replicar el
esencial
2 La pregunta está relacionada con algunos problemas en la filosofía
de la mente, los cuales han recibido una gran atención, en
particular, el problema de "zombie", que puede formularse como
sigue: existe un mundo posible metaphysically que es idéntica a la
del mundo real con respecto A todos los hechos físicos (incluyendo
la microestructura física exacta de todos los cerebros y organismos)
pero que difiere del mundo real en lo que respecta a algunos
fenomenal (subjetivo) experiencial hechos? Poner más crudamente, es
posible metaphysically que podría haber una persona que físicamente
es exactamente idéntico a usted, sino que es un "zombie", es decir,
carente de qualia y fenomenal conciencia? (David Chalmers, 1996)
esta cuestión familiar difiere de la mencionada en el texto: nuestra
"zombie" es permitido tener sistemáticamente diferentes propiedades
físicas de los seres humanos normales. Por otra parte, deseamos
llamar la atención específicamente al estatuto ético de sapient
zombi.
10

características funcionales del cerebro original. La carga

resultante puede habitar en una realidad virtual simulada, o,
alternativamente, podría darse el control de un cuerpo robótico,
permitiéndole interactuar directamente con la realidad física
externa. Surgen una serie de preguntas en el contexto de tal
escenario: Cómo plausible es que este procedimiento va a ser un día
tecnológicamente factible? Si el procedimiento funcionó y produjo un
programa de ordenador que exhiben aproximadamente la misma
personalidad, los mismos recuerdos, y los mismos patrones de
pensamiento como el cerebro original, este programa sería ser
sensible? Sería la carga sea la misma persona que el individuo cuyo
cerebro fue desmontado en el proceso de carga? ¿Qué sucede a la
identidad personal si una carga se copian tal que dos
cualitativamente similares o idénticos cargar las mentes se están
ejecutando en paralelo? Aunque todas estas preguntas son relevantes
para la ética de la inteligencia artificial, déjenos aquí se centran
en un tema que involucra el concepto de tasa subjetiva de tiempo.
Supongamos que una carga podría ser sensible. Si ejecutamos el
programa de carga en un ordenador más rápido, esto causará que el
cargar, si está conectado a un dispositivo de entrada como una
cámara de vídeo, con el fin de percibir el mundo externo como si se
hubiera ralentizado. Por ejemplo, si la carga está funcionando una y
mil veces más rápido que el cerebro original, entonces el mundo
externo aparecerá a la carga como si estuviera ralentizado por un
factor de mil. Alguien cae una taza de café: la física subir observa
la taza lentamente cayendo al suelo mientras la subida termina de
leer el periódico de la mañana y envía unos correos electrónicos. Un
segundo de tiempo objetivo corresponde a 17 minutos de tiempo
subjetivo. Duración objetiva y subjetiva así pueden divergir. El
tiempo subjetivo no es lo mismo que una estimación del sujeto o la
percepción de cuán rápido el tiempo fluye. Los seres humanos son a
menudo confundido acerca del flujo de tiempo. Creemos que se trata
de uno o'clock cuando en realidad es un trimestre pasado dos; o un
medicamento estimulante podría causar nuestros pensamientos a la
raza, haciéndola parecer como si ha transcurrido tiempo más
subjetivo que es realmente el caso. Estos casos incluyen una mundana
distorsionada percepción del tiempo más bien que un cambio en la
tasa de tiempo subjetivo. Incluso en una cocaína-addled cerebro,
probablemente no exista un cambio significativo en la velocidad de
los cálculos neurológicos básicos; más probable, el medicamento está
causando ese cerebro fluctuar más rápidamente de un pensamiento a
otro, haciéndola pasar menos tiempo subjetivo pensar cada uno de un
número mayor de distintos pensamientos. La variabilidad de la tasa
subjetiva de tiempo es una exótica propiedad de mentes artificiales
que plantea nuevos problemas éticos. Por ejemplo, en los casos en
que la duración de una experiencia es éticamente relevante, debe
medirse en duración objetiva o subjetiva del tiempo? Si una carga se
ha cometido un crimen y condenado a cuatro años de cárcel, debería
ser este objetivo cuatro años-que podría corresponder a muchos
milenios de tiempo subjetivo o debería ser de cuatro años subjetivo,
que podría ser en un par de días de tiempo objetivo? Si un ayuno AI
y un ser humano están en el dolor, es más urgente para aliviar el

dolor del AI 11, alegando que experimenta una mayor duración del
dolor subjetivo para cada segundo que sideral paliación se retrasa?
Dado que en nuestro acostumbrado contexto de seres humanos
biológicos, el tiempo subjetivo no es muy variable, es sorprendente
que este tipo de pregunta no es hechar resuelta por conoce las
normas éticas, incluso si estas normas se extienden a los intelectos
artificiales por medio de los principios de no discriminación (como
los propuestos en la sección anterior). Para ilustrar el tipo de
reclamo ético que podría ser relevante aquí, podemos formular (pero
no argumentan para) un principio de privilegiar el tiempo subjetivo
como normativamente más noción fundamental: el principio de la tasa
subjetiva de tiempo en los casos en que la duración de una
experiencia es de trascendencia normativa básica, es la experiencia
subjetiva del tiempo es lo que cuenta. Hasta ahora hemos hablado de
dos posibilidades (no sensible sapience y variable tasa subjetiva de
tiempo) que son exóticas en el sentido de ser relativamente
profundas metaphysically problemática así como carente de casos
claros o paralelos en el mundo contemporáneo. Otras propiedades de
posible mente artificial sería exótica en un sentido más
superficial; por ejemplo, por una divergencia en algunos
unproblematically dimensión cuantitativa de los tipos de cuenta con
el que estamos familiarizados. Pero tales superficialmente
propiedades exóticas también pueden plantear nuevos problemas
éticos, si no en el ámbito de la filosofía moral fundacional, luego
en el plano de la ética aplicada o para un nivel intermedio de
principios éticos. Un conjunto importante de propiedades exóticas de
inteligencias artificiales se refieren a la reproducción. Un número
de condiciones empíricas que se aplican a la reproducción humana no
tiene por qué aplicarse a las inteligencias artificiales. Por
ejemplo, derechos los hijos son el producto de la recombinación del
material genético de los dos padres; los padres tienen una capacidad
limitada para influir en el carácter de sus hijos; un embrión humano
debe ser gestado en el vientre durante nueve meses; toma de quince a
veinte años para un niño para alcanzar la madurez humana; un niño
humano no hereda Las aptitudes y conocimientos adquiridos por sus
padres; los seres humanos poseen un complejo evolucionado conjunto
de adaptaciones emocionales relacionados con la reproducción,
crianza, y una relación padre-hijo. Ninguna de estas condiciones
necesitan empíricas pertinentes en el contexto de una reproducción
de la inteligencia de la máquina. Por lo tanto, es probable que
muchos de los principios morales de nivel medio que hemos llegado a
aceptar como las normas que rigen la reproducción humana tendrán que
ser repensadas en el contexto de la IA de la reproducción. Para
ilustrar por qué algunas de nuestras normas morales necesitan ser
repensados en el contexto de reproducción de AI, bastará para
considerar sólo una exótica propiedad de AIs: su capacidad de
reproducción rápida. Dado acceso al hardware del equipo, AI podría
duplicar en sí muy rápidamente, en no más tiempo del que se tarda en
hacer una copia del software de AI.
12

Además, desde la AI copia sería idéntica a la original, sería nacido

completamente maduros, y la copia podría comenzar a realizar sus
propias copias de inmediato. Ausencia de limitaciones de hardware,
una población de AIs podría por lo tanto crecer exponencialmente a
un ritmo extremadamente rápido, con un tiempo de duplicación del
orden de minutos u horas en lugar de decenios o siglos. Nuestras
actuales normas éticas sobre reproducción incluyen alguna versión de
un principio de libertad reproductiva, en el sentido de que
corresponde a cada persona o pareja a decidir por sí mismos si
desean tener hijos y cuántos hijos tener. Otra norma que tenemos (al
menos en países ricos y países de renta media) es que la sociedad
debe intervenir para proporcionar las necesidades básicas de los
niños en los casos en que sus padres son incapaces o se niega a
hacerlo. Es fácil ver cómo estas dos normas podrían chocar en el
contexto de entidades con capacidad de reproducción extremadamente
rápido. Por ejemplo, consideremos una población de cargas, uno de
los cuales pasa a tener el deseo de producir un clan tan grande como
sea posible. Dado plena libertad reproductiva, esta carga puede
empezar a copiar en sí tan pronto como pueda; y las copias que
produce- que se puede ejecutar en equipos nuevos adquiridos o
alquilados por el original, o pueden compartir el mismo equipo como
el original de la copia también comenzará a ellos mismos, puesto que
son idénticos a los del progenitor cargar y compartir su deseo
philoprogenic. Pronto, los miembros del clan de carga se vean
incapaces de pagar la factura de electricidad o el alquiler para el
procesamiento computacional y el almacenamiento necesarios para
mantenerlos vivos. En este punto, un sistema de bienestar social
puede patear en proporcionarles al menos las necesidades básicas
para el sostenimiento de la vida. Pero si la población crece más
rápido que la economía, los recursos se agoten; punto en el cual la
carga o bien van a morir o su capacidad para reproducir será
restringida. (Para dos escenarios, consulte distópica relacionados
Bostrom (2004). Este escenario ilustra cómo algunos principios
éticos de nivel medio que son adecuados en las sociedades
contemporáneas que necesite ser modificado si esas sociedades se
incluyen personas con la exótica propiedad de poder se reproducen
muy rápidamente. El punto general aquí es que cuando pensamos acerca
de la ética aplicada a contextos muy diferentes de nuestro conocido
condición humana, debemos tener cuidado de no confundir los
principios éticos de nivel medio normativo fundacional de verdades.
Puesto de otra manera, debemos reconocer la medida en la cual
nuestros preceptos normativos ordinarios son implícitamente
condicionado a la obtención de diversas condiciones empíricas, y la
necesidad de ajustar estos preceptos en consecuencia al aplicarlas a
futurista hipotético casos en los que sus condiciones sean asumidas
por no obtener. Por esto, no estamos haciendo ningún reclamo
polémica sobre el relativismo moral, sino simplemente resaltando el
punto commonsensical ese contexto es pertinente para la aplicación
de la ética y sugiriendo que este punto es especialmente pertinente
cuando uno está considerando la ética de mentes con propiedades
exóticas.
13

Superintelligence
I. J. Bueno (1965) exponen la hipótesis relativa superintelligence
clásico: que una IA lo suficientemente inteligentes para comprender
su propio diseño podría rediseñar sí o crear un nuevo sistema, más
inteligentes, que luego podría rediseñar sí nuevamente a ser aún más
inteligentes, y así sucesivamente en un ciclo de retroalimentación
positiva. Buen llamado a esto la "explosión de inteligencia". La
recursividad no se limitan a AI: los seres humanos con inteligencia
aumentada a través de una interfaz cerebro-ordenador podría
convertir sus mentes a diseñar la próxima generación de interfaces
cerebro-ordenador. (Si hubiera una máquina que aumentó su IQ,
estaría obligada a ocurrir a usted, una vez que se convirtió en lo
suficientemente inteligente, para tratar de diseñar una versión más
potente de la máquina.) Superintelligence puede lograrse también
mediante el aumento de la velocidad de procesamiento. El más rápido
observado las neuronas disparan 1000 veces por segundo; el más
rápido axón fibras señales en la conducta de 150 metros/segundo, un
semi-millonésima parte de la velocidad de la luz (Sandberg 1999).
Parece que debe ser físicamente posible construir un cerebro que
calcula un millón de veces más rápido que un cerebro humano, sin
reducirse su tamaño o regrabación de su software. Si la mente humana
se aceleró, así un año de pensamiento subjetivo se lograría física
de cada 31 segundos en el mundo exterior, y de un milenio volaría
por en ocho horas y media. Vinge (1993) se refiere a esos agilizado
el proceso de mentes superintelligence como "débil": una mente que
piensa como un ser humano, pero mucho más rápido. Yudkowsky (2008a)
muestra una lista de tres familias de metáforas para visualizar la

inspiradas por las diferencias de inteligencia individual entre los

seres humanos: AIs patente nuevos inventos, publicar documentos de
investigación innovadora, hacer dinero en el mercado bursátil, o

conocimiento de las diferencias entre las civilizaciones humanas

pasadas y presentes: Fast AIs inventar capacidades que los
futurólogos comúnmente para predecir las civilizaciones humanas un
siglo o milenio en el futuro, como la nanotecnología molecular o el
s diferencias de
arquitectura cerebral entre los seres humanos y otros organismos
biológicos: por ejemplo, Vinge (1993): "Imagínese que ejecuta un
perro mente a muy alta velocidad. Sería un mil años de vida perruno
agregar hasta cualquier humano insight?" Es decir: Cambios de
arquitectura cognitiva puede producir ideas que ninguna mente a
nivel humano sería capaz de encontrar, o quizás incluso representan,
después de cualquier cantidad de tiempo. Incluso si nos limitamos a
metáforas históricas, resulta claro que la inteligencia sobrehumana
presenta desafíos éticos que están literalmente sin precedentes. En
este punto las apuestas ya no están en una escala individual (por
ejemplo, hipotecas injustamente desaprobaron, casa prende fuego,
agente-persona maltratada) pero en una

escala global o 14 cósmico (p. ej., la humanidad se haya extinguido

y sustituido por nada pensamos que vale la pena). Superintelligence
o, si se le puede dar forma para ser beneficioso, entonces, en
función de sus capacidades tecnológicas, se podrían realizar
trabajos cortos de muchos de los problemas actuales que han
demostrado ser difíciles de nuestro nivel de inteligencia humana.
Superintelligence es uno de varios riesgos "existencial", como se
define por Bostrom (2002): un riesgo "cuando un resultado adverso
podría aniquilar la Tierra-originarios vida inteligente o
permanentemente y drásticamente su potencial". Por el contrario, un
resultado positivo de superintelligence podría preservar la tierra-
originarios vida inteligente y ayudar a cumplir su potencial. Es
importante destacar que las mentes inteligentes plantean grandes
beneficios potenciales, así como los riesgos. Los intentos de
razonar acerca de los riesgos catastróficos globales pueden ser
susceptibles a una serie de sesgos cognitivos Yudkowsky (2008b),
incluida la "buena noticia" propuesto por el sesgo Bostrom (2002):
Supongamos que nuestras intuiciones acerca de qué escenarios futuros
son "plausible y realista" están conformadas por lo que vemos en la
televisión y en las películas y lo que leemos en las novelas.
(Después de todo, una gran parte del discurso sobre el futuro que
las personas que encuentro es en forma de ficción y otros contextos
recreativos.) Entonces, cuando deberíamos pensar críticamente,
sospecho que nuestras intuiciones de parcialidad en el sentido de la
sobreestimación de la probabilidad de los escenarios que hacen que
sea una buena historia, pues tales escenarios se parecen mucho Más
conocido y más "real". Esta buena noticia, el sesgo puede ser muy
poderosa. Cuándo fue la última vez que vio una película acerca de la
humanidad de repente extinguido (sin advertencia y sin ser
reemplazada por alguna otra civilización)? Aunque este escenario
puede ser mucho más probable que un escenario en el que los héroes
repeler con éxito una invasión de monstruos o robot guerreros, no
sería muy divertido de ver. Resultados verdaderamente deseable hacer
malas películas: ningún conflicto significa ninguna historia.
Mientras Asimov las tres leyes de la Robótica de Asimov (1942) se
cita a veces como un modelo para el desarrollo, el AI ético tres
leyes son como mucho un plot device como Asimov's "positronic
brain". Si Asimov había descrito las tres leyes como funcionando
bien, él no habría tenido historias. Sería un error considerar "AIs"
como una especie con características fijas y pregunte, "¿Estará bien
o mal?" El término "Inteligencia Artificial" se refiere a un vasto
espacio de diseño, presumiblemente mucho más grande que el espacio
de la mente humana (dado que todos los seres humanos comparten una
arquitectura cerebral). Puede ser una forma de buena historia
parcialidad a preguntar, "¿AIs ser bueno o malo?" como si se tratara
de escoger una premisa para una película de parcela. La respuesta
debe ser, "Exactamente que ai design estás hablando?"
15

puede controlar a través de la programación inicial de una

inteligencia artificial se traducen en influencia en su posterior
efecto en el mundo? Kurzweil (2005) sostiene que "[i]ntelligence es
intrínsecamente imposible controlar", y que a pesar de que ningún
humano los intentos de tomar precauciones, "[b]y definición ...
Entidades inteligentes tienen la astucia para superar dichas
barreras fácilmente." Supongamos que el AI no sólo es inteligente,
sino que, como parte del proceso de mejora de su propia
inteligencia, tiene acceso irrestricto a su propio código fuente: se
puede reescribir a sí misma todo lo que quiere ser. Sin embargo, de
ello no se sigue que la AI debe querer reescribir a sí mismo una
forma de hostilidad. Considere la posibilidad de Gandhi, quien
parece haber poseído un sincero deseo de no matar a la gente. Gandhi
no iba a sabiendas tomar una píldora que le causó quiere matar a la
gente, porque sabe que si Gandhi quiere matar a la gente, él
probablemente matar a la gente, y la actual versión de Gandhi no
quiere matar. De forma más general, parece probable que la mayoría
de las mentes de automodificación naturalmente tendrá funciones de
utilidad estable, lo que implica que la elección inicial de diseño
de la mente puede tener efectos duraderos (Omohundro 2008). En este
punto del desarrollo de la ia ciencia, hay alguna manera podemos
traducir la tarea de encontrar un diseño para una "buena" AIs en una
moderna dirección de investigación? Puede parecer prematuro
especular, pero uno no sospecha que algunos paradigmas AI son más
propensos que otros a la larga resulta propicio para la creación de
agentes inteligentes de automodificación cuyos objetivos siguen
siendo incluso predecible después de varias iteraciones de
mejoramiento propio. Por ejemplo, la rama bayesiana de AI, inspirado
por los sistemas matemáticos coherente como la teoría de la
probabilidad y la maximización de la utilidad esperada, parece estar
más dispuesto a la auto-modificación previsible problema de
programación evolutiva y los algoritmos genéticos. Esta es una
afirmación controvertida, pero ilustra el punto de que si estamos
pensando en el desafío de superintelligence abajo del camino, esto
puede efectivamente ser convertido en asesoramiento direccional para
presentar la investigación de AI. Pero incluso suponiendo que
podemos especificar un sistema objetivo de AI para ser persistente
en virtud de la auto- modificación y la autosuperación, esto sólo
comienza a tocar en el núcleo de los problemas éticos de la creación
superintelligence. Los seres humanos, la primera asamblea
inteligencias que existen en la Tierra, han utilizado la
inteligencia para reformar sustancialmente el mundo-tallar montañas,
ríos de doma, la construcción de rascacielos, la agricultura
desiertos, produciendo cambios climáticos planetarios involuntarios.
Una inteligencia más potente podría tener consecuencias
proporcionalmente mayor. Examine de nuevo la metáfora histórica para
superintelligence-diferencias similares a las diferencias entre las
civilizaciones pasadas y presentes. Nuestra civilización actual no
está separada de la antigua Grecia sólo por el mejoramiento de la
ciencia y el aumento de la capacidad tecnológica. Hay una diferencia
de perspectivas éticas: los antiguos griegos pensaban que la
esclavitud estaba aceptable; pensamos lo contrario. Incluso entre
los 19º y
16

del siglo XX, hubo importantes desacuerdos éticos-las mujeres

deberían tener el voto? Debe tener el voto de los negros? Parece
probable que la gente de hoy no será visto como éticamente perfectos
por las civilizaciones futuras, no sólo debido a nuestra incapacidad
para resolver problemas éticos reconocidos actualmente, tales como
la pobreza y la desigualdad, pero también por nuestro fracaso,
incluso a reconocer ciertos problemas éticos. Tal vez algún día el
acto de someter a los niños a involuntariamente la escolaridad será
visto como el maltrato infantil, o tal vez permitiendo a los niños a
dejar la escuela a la edad de 18 años será visto como el abuso de
menores. No lo sabemos. Considerando la historia ética de las
civilizaciones humanas a lo largo de siglos de tiempo, podemos ver
que podría resultar una gran tragedia para crear una mente que fue
estable en dimensiones éticas a lo largo del cual las civilizaciones
humanas parece exhibir cambio direccional. ¿Qué pasa si Arquímedes
de Siracusa habían sido capaces de crear una inteligencia artificial
de larga duración con una versión fija del código moral de la
antigua Grecia? Pero para evitar este tipo de estancamiento ético es
probable que resulte complicado: no bastaría, por ejemplo,
simplemente para representar la mente inestable al azar. Los
antiguos griegos, incluso si se habían dado cuenta de su propia
debilidad, no podría haber hecho mejor por tirar los dados.
Ocasionalmente una buena idea nueva en ética viene, y viene como una
sorpresa, pero la mayoría de cambios éticos generados aleatoriamente
nos castigaría como locura o incomprensible. Quizás esto nos plantea
el reto final de la máquina de la ética: ¿Cómo construir una IA que,
cuando se ejecuta, se torna más ético que usted? Esto no es como
pedir a nuestros propios filósofos para producir superethics, más
que Deep Blue fue construido por conseguir los mejores jugadores
humanos de ajedrez para programar en buenos movimientos. Pero
tenemos que ser capaces de describir la cuestión, si no la respuesta
de tirar los dados no generar buenas jugadas de ajedrez, o una buena
ética. O, quizás una forma más productiva para pensar el problema:
¿Qué estrategia sería desea Arquímedes a seguir en la construcción
de un superintelligence, de tal forma que el resultado global sería
aceptable, si no podría decirle específicamente lo que él estaba
haciendo mal? Esta es precisamente la situación en que nos
encontramos, en relación con el futuro. Una gran pieza de
asesoramiento que surge a partir de considerar nuestra situación
como análogo al de Arquímedes es que no debemos tratar de inventar
una versión "super" de lo que nuestra civilización considera ética-
esta no es la estrategia que hubiéramos deseado Arquímedes a seguir.
Quizás la pregunta que se debe considerar es, más bien, cómo la
inteligencia artificial programada por Arquímedes, con no más de la
experiencia moral de Arquímedes, podía reconocer (al menos algunos)
de nuestra civilización, la ética como el progreso moral, en
contraposición a la mera inestabilidad moral. Esto requeriría que
comenzamos a comprender la estructura de las cuestiones éticas en la
forma en que ya hemos comprendido la estructura de ajedrez. Si somos
serios acerca del desarrollo de la inteligencia artificial avanzada,
este es un reto que debemos afrontar. Si las máquinas se coloca en
una posición de ser más fuertes, más rápidos, más fiables, o
17

más inteligentes que los humanos, entonces la disciplina ética de la

máquina debe comprometerse a la búsqueda de derechos superior (no
sólo derechos equivalente) Amabilidad.3
Conclusión
Aunque AI actual nos ofrece algunas cuestiones éticas que no están
ya presentes en el diseño de Coches o plantas de energía, el enfoque
de los algoritmos de IA más hacia el pensamiento antropoides
presagia complicaciones previsibles. Los roles sociales pueden ser
llenadas por los algoritmos de inteligencia artificial, lo que
implica nuevos requisitos de diseño como la transparencia y la
previsibilidad. Algoritmos AI suficientemente general ya no puede
ejecutar en contextos predecibles, que requieren nuevos tipos de
aseguramiento de la inocuidad y la ingeniería artificial de las
consideraciones éticas. AIs con estados mentales suficientemente
avanzada, o el tipo correcto de estados tienen estatus moral, y
algunos pueden contar como personas-aunque quizás las personas mucho
a diferencia de la ordenación que existen ahora, quizás regido por
normas diferentes. Y por último, la perspectiva de AIs con
inteligencia sobrehumana y habilidades sobrehumanas, nos presenta el
desafío extraordinario de afirmar un algoritmo que superethical
salidas de comportamiento. Estos retos pueden parecer visionario,
pero parece previsible que nos vamos a encontrar con ellos; y ellos
no están desprovistos de sugerencias de direcciones de investigación
actual.
Biografías de autores
Nick Bostrom es profesor en la Facultad de Filosofía de la
Universidad de Oxford y Director del Instituto del futuro de la
humanidad dentro de la escuela Martin Oxford. Es autor de unas 200
publicaciones, incluyendo el sesgo Antrópico (Routledge, 2002),
Global riesgos catastróficos (ed., OUP, 2008), y el mejoramiento de
los seres humanos (ed., OUP, 2009). Su investigación abarca una gama
de imágenes grandes preguntas de la humanidad. Él está trabajando
actualmente un libro sobre el futuro de la inteligencia artificial y
sus implicaciones estratégicas. Eliezer Yudkowsky es Investigador
Asociado en el Instituto de la singularidad de la Inteligencia
Artificial donde trabaja a tiempo completo en las previsibles
problemas de diseño de arquitecturas de objetivo en el auto-
mejoramiento de AI. Su trabajo actual se centra en la modificación
de la clásica teoría de la decisión para describir de manera
coherente la auto-modificación. Él es también conocido por su famoso
escrito sobre cuestiones de la racionalidad humana y sesgos
cognitivos.
Seguir leyendo
Bostrom, N. 2004. "El futuro de la Evolución Humana', en la muerte y
en la lucha contra la muerte: Doscientos años después de Kant,
cincuenta años después de Turing, ed. Charles Tandy (Palo Alto,
California: Ría University Press). -Este documento explora algunas
dinámicas evolutivas que podrían conducir a una población de
diversas cargas para desarrollar en la distópica direcciones.
3 Los autores Agradecemos a Rebecca Roache para ayuda a la
investigación y a los editores de este volumen de comentarios
detallados sobre una versión anterior de nuestro manuscrito.
18

Yudkowsky, E. 2008a. "La inteligencia artificial como un factor

positivo y negativo en el riesgo global', en Bostrom y Cirkovic
(eds.), págs. 308-345. -Una introducción a los riesgos y los
desafíos que presenta la posibilidad de auto-mejoramiento
superintelligent recursivamente las máquinas. Wendell, W. 2008.
'Moral de máquinas: Enseñanza Robots lo correcto de lo incorrecto"
(Oxford University Press, 2008). - Un estudio exhaustivo de los
acontecimientos recientes.
Referencias
Asimov, I. 1942. "rodeos", sorprendente Ciencia Ficción, marzo de
1942. Beauchamp, T. y Chilress, J. Principios de ética biomédica.
Oxford: Oxford University Press. Bostrom, N. 2002. "Riesgos
existenciales: Análisis de escenarios de extinción humana", Revista
de la evolución y la tecnología 9
(http://www.nickbostrom.com/existential/risks.html). Bostrom, N.
2003. "Residuos astronómica: El costo de oportunidad del retraso del
desarrollo tecnológico", Utilitas 15: 308-314. Bostrom, N. 2004. "El
futuro de la Evolución Humana', en la muerte y en la lucha contra la
muerte: Doscientos años después de Kant, cincuenta años después de
Turing, ed. Charles Tandy (Palo Alto, California: Ría University
Press) (Http://www.nickbostrom.com/fut/evolution.pdf) Bostrom, N. y
Cirkovic, M. (eds.), 2007. Global de los riesgos catastróficos.
Oxford: Oxford University Press. Chalmers, D. J. 1996, la mente
consciente: En busca de una teoría fundamental. Nueva York y Oxford:
Oxford University Press Hirschfeld, L. A. y Gelman, S. A. (eds.),
1994. Cartografía de la mente: La Especificidad de dominio en la
cognición y cultura, Cambridge, Cambridge University Press.
Goertzel, B. y Pennachin, C. (eds.), 2006. Servicio General de
Inteligencia Artificial. New York, NY: Springer Verlag. Bueno, I. J.
1965. "Acerca de la primera Ultraintelligent peculations máquina',
en el Alt, F. L. y Rubinoff, M. (eds.) adelantos en equipos, 6,
Nueva York: Academic Press. Pp. 31-88. Hastie, T., Tibshirani, R. y
Friedman, J. 2001. Los elementos de aprendizaje estadístico. New
York, NY: Springer Science. Henley, K. 1993. "principios abstractos,
principios de nivel intermedio, y el imperio de la ley", Derecho y
Filosofía 12: 121-32. Hofstadter, D. 2006. "Tratar de Muse
racionalmente sobre el escenario de la singularidad", presentado en
la Cumbre de singularidad en Stanford, 2006. Philip K. Howard, 1994.
La muerte de sentido común: Cómo la Ley es asfixiante América. New
York, NY: Warner Books.
19

Kamm, F. 2007. Ética intrincados: los derechos, responsabilidades y

daños admisibles. Oxford: Oxford University Press. Kurzweil, R.
2005. La singularidad está cerca: Cuando los humanos trascienden la
biología. New York, NY: Viking. McDermott, D. 1976. "Inteligencia
Artificial cumple estupidez natural', ACM SIGART Newsletter 57:4-9.
Omohundro, S. 2008. "Las unidades básicas de AI", Actas de la AGI-08
Taller. Ámsterdam: IOS Press. Pp. 483-492. Sandberg, A. 1999. "La
Física del procesamiento de la información Superobjects: Vida
cotidiana entre los cerebros de Júpiter", Revista de la evolución y
la tecnología, 5. Vinge, V. 1993. 'La próxima singularidad
tecnológica", presentado en el Simposio de Visión 21, Marzo, 1993.
Warren, M. E. 2000. Estado Moral: obligaciones a las personas y
otros seres vivos. Oxford: Oxford University Press. Yudkowsky, E.
2006. 'AI como una precisa Art', presentó en 2006 el Taller de AGI
en Bethesda, MD. Yudkowsky, E. 2008a. "La inteligencia artificial
como un factor positivo y negativo en el riesgo global', en Bostrom
y Cirkovic (eds.), págs. 308-345. Yudkowsky, E. 2008b. "sesgos
cognitivos afectan potencialmente a juicio de riesgos mundiales", en
Bostrom y Cirkovic (eds.), pp. 91-119.
20