Las cuestiones ticas en inteligencia artificial avanzada

Nick Bostrom
Facultad de Filosofa de la Universidad de Oxford 10 Merton Street
Oxford OX1 4JJ Reino Unido
Correo electrnico: Nick@nickbostrom.com
resumen las cuestiones ticas relacionadas con la posible futura
creacin de mquinas con capacidades intelectuales generales
sobrepasando con creces los de los seres humanos son bastante
distinta de cualquier problemas ticos que surgen en los actuales
sistemas de informacin y automatizacin. Tal superintelligence no
sera simplemente otro desarrollo tecnolgico; sera la invencin
ms importante jams realizada, y llevara a la explosin del
progreso en todos los campos cientficos y tecnolgicos, como la
superintelligence realizaran investigaciones con eficacia
sobrehumana. En la medida en que la tica es una bsqueda, un
superintelligence cognitiva tambin podra fcilmente superar los
seres humanos en la calidad de su pensamiento moral. Sin embargo,
correspondera a los diseadores de la superintelligence para
especificar sus motivaciones originales. Desde la superintelligence
pueden convertirse en poderosos unstoppably debido a su superioridad
intelectual y las tecnologas que podran desarrollar, es crucial
que se facilite con human-friendly motivaciones. En este documento
se examinan algunos de los singulares problemas ticos en la
creacin superintelligence y explica qu motivaciones debemos dar un
superintelligence, y presenta algunas consideraciones de costebeneficio respecto de si el desarrollo de mquinas superintelligent
deben ser acelerados o retardados.
KEYWORDS: Inteligencia Artificial, tica, carga superintelligence,
la seguridad mundial, el anlisis costo-beneficio

1. Introduccin Un superintelligence es cualquier intelecto que es

enormemente supera a los mejores cerebros humanos en prcticamente
cada fi 1 eld, incluida la creatividad cientfica, general,
sabidura y habilidades sociales.
Esta definicin deja abierta la cuestin de cmo se implementa la
superintelligence - podra estar en una computadora digital, un
conjunto de ordenadores en red, culta tejido cortical, o algo ms.
En esta definicin, Deep Blue no es un superintelligence, puesto que
es slo dentro de un estrecho dominio inteligente (ajedrez), e
incluso all no es muy superior a la de los mejores seres humanos.
Entidades como empresas o la comunidad cientfica no son
superintelligences tampoco.
Aunque se pueden realizar una serie de proezas intelectuales de que
ningn individuo humano es capaz, no estn suficientemente
integrados para contar como "intelecto", y hay muchos campos en los
que realizan mucho peor que la de un solo hombre. Por ejemplo, no
puede tener una conversacin en tiempo real con la "comunidad
cientfica".

Si bien la posibilidad de "superintelligences especficos de

dominio", tambin vale la pena explorar, este documento se centra en
las cuestiones derivadas de la perspectiva del general
superintelligence. Las limitaciones de espacio nos impiden intentar
nada completa o detallada. Un boceto caricaturesco de unas cuantas
ideas es lo ms que se puede aspirar a en las siguientes pginas.
Varios autores han argumentado que existe una oportunidad importante
que superintelligence pueden crearse dentro de unos pocos decenios,
quiz como resultado de la creciente y aumento de la capacidad de
rendimiento de hardware para implementar algoritmos y arquitecturas
similares a las utilizadas por
2 el cerebro humano. Se podra tomar mucho ms tiempo, pero no
parece ser actualmente no hay buena tierra para asignar una
probabilidad despreciable a la hiptesis de que superintelligence
ser creada dentro de la vida de algunas personas vivas en la
actualidad. Dada la magnitud de las consecuencias de
superintelligence, tendra sentido dar esta perspectiva algunos
seria consideracin, incluso si uno piensa que hay slo una pequea
probabilidad de que suceda en cualquier momento pronto.
2. SUPERINTELLIGENCE ES DIFERENTE un requisito para tener un debate
significativo sobre superintelligence superintelligence es la
realizacin de que no es slo otra tecnologa, otra herramienta que
agregar incrementalmente a las capacidades humanas.
Superintelligence es radicalmente diferente. Este punto corresponde
destacar, por anthropomorphizing superintelligence es una etapa ms
fecunda fuente de malentendidos.
Consideremos algunos de los aspectos inusuales de la creacin de:
Superintelligence superintelligence puede ser la ltima invencin
los seres humanos alguna vez necesita hacer.
Dada una superioridad intelectual del superintelligence, sera mucho
mejor en la realizacin de la investigacin cientfica y el
desarrollo tecnolgico de todo ser humano y, posiblemente, incluso
mejor que todos los seres humanos, tomados conjuntamente. Una
consecuencia inmediata de este hecho es que:
El progreso tecnolgico en todos los dems campos sern acelerada
por la llegada de inteligencia artificial avanzada.
Es probable que cualquier tecnologa que actualmente podemos prever
sern rpidamente desarrollado por el primer superintelligence, sin
duda, junto con muchas otras tecnologas de las que somos como
1 (Bostrom, 1998)
2 (Bostrom Kurzweil 1998; 1999; 1999)
1 Moravec

pero desorientado. Las tecnologas que un previsible

superintelligence es propensa a desarrollar incluyen ma 3
nufacturing molecular maduros, cuyas aplicaciones son muy amplias:

a) b) computadoras muy potentes armas avanzadas, probablemente

capaces de desarmar de forma segura una potencia nuclear c) los
viajes espaciales y sondas de von Neumann (auto-reproduccin de
sondas interestelares) d) eliminacin del envejecimiento y la
enfermedad e) control de grano fino de derechos el estado de nimo,
emocin y motivacin f) carga (neurales o sub-escaneado neuronal de
un cerebro en particular y la aplicacin de las mismas estructuras
algortmicas en un equipo de una manera que persevera memoria y
personalidad) g) reanimacin de pacientes cryonics h) completamente
realista realidad virtual Superintelligence conducir a
superintelligence ms avanzados.
Es el resultado de la mejora de hardware que un superintelligence
podran crear, y tambin de las mejoras que puede aportar a su
propio cdigo fuente.
mentes artificiales pueden copiarse fcilmente.
Desde inteligencias artificiales son software, pueden copiarse
fcilmente y rpidamente, mientras hay hardware disponible para
almacenarlos. Lo mismo puede decirse de la carga. Aparte del
hardware, el coste marginal de la creacin de una copia adicional de
una carga o una inteligencia artificial despus de la primera ha
sido construido es cercana a cero. Por lo tanto, artificial mente
podra venir rpidamente a existir en grandes nmeros, aunque es
posible que la eficacia sera partidario de concentrar los recursos
computacionales en una nica sper-intelecto.
Aparicin de superintelligence puede ser repentino.
Parece mucho ms difcil para llegar desde donde estamos ahora a
nivel humano de inteligencia artificial para llegar desde all a
superintelligence. As, si bien puede tomar bastante tiempo antes de
que consigamos superintelligence, la etapa final puede ocurrir
rpidamente. Es decir, la transicin de un estado donde tenemos unos
derechos a nivel de inteligencia artificial a un estado donde
tenemos plena- superintelligence fundido, con revolucionarias
aplicaciones, puede ser muy rpido, quiz una cuestin de das en
lugar de aos. Esta posibilidad de un repentino surgimiento de
superintelligence
4 se conoce como hiptesis de la singularidad.
Inteligencia Artificial son potencialmente agentes autnomos.
Un superintelligence no necesariamente debe ser concebido como una
mera herramienta. Mientras superintelligences especializados que
pueden pensar slo sobre un conjunto limitado de problemas puede ser
factible, el general superintelligence sera capaz de iniciativa
independiente y de formular sus propios planes y, por tanto, tal vez
sera ms apropiado considerar como un agente autnomo.
Inteligencia Artificial no necesitan tener motivos antropoides.
Derechos rara vez son esclavos dispuestos, pero no hay nada
inverosmil, sobre la idea de una superintelligence teniendo como su
supergoal para servir a la humanidad o determinados derechos, sin
deseo alguno de rebelin o de "liberar" a s mismo. Tambin parece
perfectamente posible tener un superintelligence cuyo nico objetivo
es algo completamente arbitrario, como para fabricar tantos clips
como posible y que resistira con todas sus fuerzas a cualquier
intento de alterar este objetivo. Para mejor o para peor, intelectos
artificiales no necesitan compartir nuestra motivacin humana
tendencias.
3 (Drexler, 1986)
4 (Vinge 1993; Hanson et al. 1998)

intelectos artificiales pueden no tener la psique antropoides.

La arquitectura cognitiva de una inteligencia artificial tambin
puede ser bastante diferente de la de los seres humanos.
Los intelectos artificiales pueden encontrar fcil para protegerse
contra algunos tipos de errores humanos y de sesgo, mientras que al
mismo tiempo estn en mayor riesgo de otros tipos de error que ni
siquiera los ms desafortunados derechos hara. Subjetivamente, el
interior de la vida consciente de una inteligencia artificial, si lo
tiene, tambin pueden ser bastante diferentes de las nuestras.
Por todas estas razones, uno debe ser cuidadoso de asumir que la
aparicin de superintelligence pueden predecirse mediante la
extrapolacin de la historia de otros avances tecnolgicos, o que la
naturaleza y los comportamientos de los intelectos artificiales
tendra necesariamente se asemejan a los de otras mentes humanas o
animales.
3. SUPERINTELLIGENT PENSAMIENTO moral en la medida en que la tica
es una bsqueda cognitiva, un superintelligence podra hacerlo mejor
que los pensadores. Esto significa que las preguntas sobre la tica,
en la medida en que tienen respuestas correctas que pueden ser
alcanzadas por el razonamiento y la ponderacin de las pruebas,
podra ser ms precisa contestadas por un superintelligence que por
los seres humanos. Lo mismo puede decirse de las cuestiones de
poltica y planificacin a largo plazo; cuando se trata de entender
que las polticas que conduzcan a resultados y, lo que significa que
sera ms eficaz en la consecucin de los objetivos fijados, superan
a los seres humanos sera superintelligence.
Por lo tanto, hay muchas preguntas que no necesitaramos para
responder a nosotros mismos si nos tenan o estaban a punto de ser
superintelligence; podramos delegar muchas investigaciones y
decisiones a la superintelligence. Por ejemplo, si no estamos
seguros de cmo evaluar los posibles resultados, podramos pedir a
la superintelligence estimar cmo habramos evaluado estos
resultados si hubiramos pensado en ellas durante un tiempo muy
largo, se examinaron cuidadosamente, tena ms memoria y mejor
inteligencia, y as sucesivamente. Al formular un objetivo para la
superintelligence, no siempre sera necesario dar una detallada, la
definicin explcita de este objetivo. Podramos recabar la
superintelligence para ayudarnos a determinar la intencin real de
nuestra peticin, disminuyendo as el riesgo de que poco afortunada
la redaccin o la confusin acerca de lo que queremos lograr
conducira a resultados que queremos desaprobar en retrospectiva.
4. Importancia de las motivaciones iniciales de la opcin de aplazar
muchas decisiones a la superintelligence no significa que no podemos
permitirnos ser complacientes en cmo construimos superintelligence.
Por el contrario, el establecimiento de las condiciones iniciales y,
en particular, la seleccin de un objetivo de nivel superior para la

superintelligence, es de la mayor importancia. Nuestro futuro puede

depender de cmo solucionar estos problemas.
Tanto por su superior capacidad de planificacin y porque de las
tecnologas podra desarrollarse, es razonable suponer que la
primera superintelligence sera muy potente.
Muy posiblemente, sera insuperable: sera capaz de lograr casi
cualquier resultado posible y para frustrar cualquier intento de
impedir el cumplimiento de su objetivo principal. Podra acabar con
todos los dems agentes, persuadirlos a cambiar su comportamiento, o
bloquear sus intentos de interferencia. Incluso una "coartada
superintelligence" que se ejecuta en un equipo aislado, capaces de
interactuar con el resto del mundo slo a travs de la interfase de
texto, podra ser capaz de romper
3

de su confinamiento por persuadir a sus controladores para

liberarlo. Incluso hay algunas pruebas preliminares 5 experime ntal
que este sera el caso.
Parece que la mejor forma de garantizar que un superintelligence
tendr un impacto beneficioso en el mundo es dotarlo con valores
filantrpicos. Su objetivo principal debe ser iendliness fr 6.
Exactamente cmo debe entenderse la amabilidad y la forma en que
debe aplicarse, y cmo la amistad deba repartirse entre las
diferentes personas y no humanos criaturas es un asunto que merece
mayor consideracin. Yo dira que al menos todos los seres humanos,
y probablemente muchos otros seres sintientes de la tierra debe
obtener una participacin significativa en el superintelligence la
beneficencia. Si los beneficios que la superintelligence podra
otorgar son enormemente vasto, entonces puede ser menos importante
regatear la distribucin detallada patrn y ms importante para
tratar de asegurar que todo el mundo obtiene al menos alguna cuota
significativa, ya que en este supuesto, incluso una pequea
proporcin sera suficiente para garantizar una muy larga y muy
buena vida. Un riesgo que debe ser custodiado en contra es que
aquellos que desarrollan la superintelligence no lo hara
filantrpica genricamente sino que darle la meta ms limitada de
servir slo algn pequeo grupo, como sus propios creadores o
quienes encarg.
Si un superintelligence comienza con un simptico comienzo meta, sin
embargo, entonces puede ser invocado para estancia agradable, o al
menos no deliberadamente a librarse de su amistad. Este punto es
elemental. Un "amigo" que pretende transformarse en alguien que
quiere hacerle dao a usted, no es su amigo. Un verdadero amigo, uno
que realmente se preocupa por usted, tambin se propone la
continuacin de su cuidado para usted. O, para decirlo de una manera
diferente, si su objetivo principal es X, y si piensas que cambiando
a ti mismo en alguien que quiere y que hara menos probable que X se
lograr, entonces no racionalmente transfrmese en alguien que
quiere Y. El conjunto de opciones en cada momento se evala sobre la
base de sus consecuencias para el logro de los objetivos retenidos

en ese momento, y generalmente ser irracional deliberadamente a

cambiar la propia meta superior, ya que hara menos probable que los
actuales objetivos sern alcanzados.
En los seres humanos, con nuestro complicado evolucionado ecologa
mental de estado-dependiente de las unidades competidoras, deseos,
planes e ideales, a menudo no existe una manera obvia para
identificar cul es nuestra meta principal es; hay incluso podra no
tener uno. Para nosotros, el razonamiento anterior no necesitan
aplicar.
Pero un superintelligence pueden estar estructuradas de manera
diferente. Si un superintelligence tiene un claro objetivo
declarativo-estructura claramente identificado con un objetivo
superior, entonces el argumento anterior se aplica. Y este es un
buen motivo para nosotros para construir el superintelligence con
tal motivacin explcita de la arquitectura.
5. El desarrollo debe ser retrasado o acelerado?
Es difcil pensar en cualquier problema que no poda solucionar
superintelligence o al menos ayudarnos a resolver. La enfermedad, la
pobreza, la destruccin del medio ambiente, el sufrimiento
innecesario de todo tipo: estas son las cosas que un
superintelligence equipados con avanzados la nanotecnologa sera
capaz de eliminar. Adems, un superintelligence poda darnos vida
til indefinida, ya sea por detener y revertir el proceso de
envejecimiento mediante el uso de
7 , o de Nanomedicina, nos ofrece la opcin de cargar nosotros
mismos. Un superintelligence tambin podra crear oportunidades para
que podamos incrementar considerablemente nuestros propios
intelectuales y emocionales
Yudkowsky 5 (2002)
6 (2003)
7 Yudkowsky Freitas Jr. (1999)
4

capacidades y que podra ayudarnos en la creacin de un gran

atractivo mundo experiencial en el que pudiramos vivir una vida
dedicada a en alegre juego, relacionados entre s, que experimentan,
crecimiento personal y a vivir ms cerca de nuestros ideales.
Los riesgos en el desarrollo superintelligence incluyen el riesgo de
fracaso para darle la supergoal de filantropa. Una forma en que
esto podra suceder es que los creadores de la superintelligence
deciden construir lo que sirve slo a este selecto grupo de seres
humanos, en lugar de la humanidad en general. Otra manera para que
esto ocurra es que un significado bien equipo de programadores
cometen un gran error a la hora de disear su sistema de objetivo.
Esto podra provocar, para volver al ejemplo anterior, en cuya cima
superintelligence objetivo es la fabricacin de clips, con la
consecuencia de que se inicia la transformacin de primera todos de
tierra y luego aumentar las porciones de espacio en las
instalaciones de fabricacin de sujetapapeles. Ms sutilmente,
podra resultar en un superintelligence realizacin de un estado de

cosas que podramos ahora magistrada como deseable pero que en

realidad resulta ser una falsa utopa, en la cual las cosas
esenciales al florecimiento humano han perdido irreversiblemente.
Tenemos que ser cuidadosos con lo que deseamos desde un
superintelligence, porque podramos conseguirlo.
Una de las consideraciones que deben tenerse en cuenta a la hora de
decidir si se debe promover el desarrollo de superintelligence
superintelligence es que si es factible, probablemente ser
desarrollado ms tarde o ms temprano. Por lo tanto, nosotros
probablemente un da tiene que tomar la apuesta de superintelligence
no importa qu. Pero una vez en existencia, un superintelligence
podra
ayudarnos 8 reducir o eliminar otros riesgos existencial , tales
como el riesgo de que el avance de la nanotecnologa ser usada por
los seres humanos en la guerra o el terrorismo, una seria amenaza
para la supervivencia a largo plazo de la vida inteligente en la
tierra. Si llegamos a superintelligence primero, podemos evitar este
riesgo de nanotecnologa y muchos otros. Si, por el contrario,
obtenemos la nanotecnologa en primer lugar, tendremos que hacer
frente a los riesgos de la nanotecnologa y, si estos riesgos son
sobrevivi, tambin los riesgos de superintelligence. El riesgo
global parece ser minimizado mediante la aplicacin
superintelligence, con gran cuidado, tan pronto como sea posible.
Referencias Bostrom, N. (1998). "Cmo mucho antes
Superintelligence?", Revista Internacional de Estudios sobre el
futuro, 2. Http://www.nickbostrom.com/superintelligence.html
Bostrom, N. (2002). "existencial humano: anlisis de los riesgos y
peligros relacionados con escenarios de extincin." oficial de la
evolucin y la tecnologa, 9.
Http://www.nickbostrom.com/existential/risks.html
Drexler, K. E. Motores de creacin: la prxima era de la
nanotecnologa. Libros: Ancla (
Nueva York, 1986). http://www.foresight.org/EOC/index.html Freitas
Jr., R. A. La nanomedicina, Volumen 1: Capacidades Bsicas. (Landes
Bioscience:
Georgetown, TX, 1999). Http://www.nanomedicine.com
Hanson, R. et al. (1998). "Una discusin crtica del concepto de
singularidad de Vinge.". Http://www.extropy.org/eo/articles/vi.html
Extropy en lnea
8 (2002)
5 Bostrom

Kurzweil, R. La edad de las mquinas espirituales: Cuando los

equipos que superan la inteligencia humana. (Viking: Nueva York,
1999).
Moravec, H. Robot: Mera mquina a la mente trascendente. (Oxford
University Press,
Nueva York, 1999).
Vinge, V. (1993). "La prxima singularidad tecnolgica." Toda la
tierra Examen, cuestin de invierno.

Yudkowsky, E. (2002). "El cuadro AI experimento." Pgina Web.

Http://sysopmind.com/essays/aibox.html
Yudkowsky, E. (2003). Crear amistoso AI 1.0.
http://www.singinst.org/CFAI/index.html
6