La voluntad SUPERINTELLIGENT:motivación y

racionalidad instrumental en Advanced

agentes artificiales

(2012) Nick Bostrom

futuro de la humanidad, los
profesores del Instituto de Filosofía y de Oxford Martin School de
la
Universidad de Oxford
[www.nickbostrom.com próximas en las mentes y máquinas, 2012]

RESUMEN
Este documento analiza la relación entre la inteligencia y la
motivación en agentes artificiales,
desarrollando y discutiendo brevemente dos tesis. La primera, la
ortogonalidad tesis, sostiene (con algunas
salvedades) que la inteligencia y objetivos finales (efectos) son
ejes ortogonales a lo largo del cual es posible
intelectos artificiales pueden variar libremente más o menos
cualquier nivel de inteligencia podría combinarse con
más o menos cualquier meta final. La segunda, el instrumental de
convergencia, sostiene la tesis de que, mientras
ellos poseen un nivel suficiente de inteligencia, agentes que tengan
cualquiera de una amplia gama de metas finales
serán similares objetivos intermedios porque tienen razones
instrumentales para hacerlo.En
combinación, los dos tesis nos ayudan a entender la posible gama de
comportamientos de
los agentes, y superintelligent señalan algunos peligros potenciales
en la construcción de tal agente.

KEYWORDS: superintelligence, Inteligencia artificial AI, el

objetivo, la razón instrumental, Intelligent
Agent
1. La ortogonalidad de la motivación y la inteligencia

1.1 evitando el antropomorfismo

Si nos imaginamos un espacio en el que todas las posibles mentes
pueden estar representados, debemos imaginar todas las
mentes humanas como constituyendo una pequeña y bastante apretado
cluster dentro de ese espacio. Las
diferencias de personalidad entre Hannah Arendt y Benny Hill puede
parecer enorme para nosotros, pero esto es porque
la barra de escala en nuestro intuitivo sentencia se calibra en la
distribución humana existente. En el
espacio más amplio de todas las posibilidades lógicas, estas dos
personalidades son vecinos cercanos. En términos de
arquitectura neuronal, al menos, la Sra. Arendt y el Sr. Hill son
casi idénticas.Imagine sus cerebros
sentando al lado de tranquilo reposo. Las diferencias parecen
menores y que sería bastante fácil reconocerlos como dos de una
clase; puede incluso ser incapaz de decir cual era el cerebro cuyo.
Si ha estudiado la morfología de los dos cerebros más estrechamente
bajo un microscopio, el
1
impresión de similitud fundamental sólo sería reforzado: después,
tendría que ver la misma organización laminar de la corteza, formada
por el mismo tipo de neurona, la inmersión en el mismo
baño de moléculas neurotransmisoras.1

Es bien k nown th en n observadores aïve anthropomorphize

frecuentemente las capacidades de simple r
insensate sistemas.podríamos decir, por ejemplo, "Esta máquina
expendedora está tomando mucho tiempo para pensar acerca de mi
chocolate caliente." Esto podría llevar bien a subestimar la
complejidad cognitiva de capacidades que vienen naturalmente a los
seres humanos, tales como el control motor y
percepción sensorial o, alternativamente, que atribuyen importantes
grados de La concentración y la
inteligencia para sistemas muy tontas, como gusta de Weizenbaum
chatterboxes ELIZ UN
Weizenbaum (1976). De manera similar, existe una tendencia común a
anthropomorphize las
motivaciones de los sistemas inteligentes en los que realmente no
hay terreno para esperar humano-como
unidades y pasiones ("Mi coche realmente no desea iniciar esta
mañana") . Eliezer Yudkowsky
da una buena ilustración de este fenómeno:

en la era de la ciencia ficción de la pulpa, la revista cubre

ocasionalmente representado un
alienígena monstruoso sentient coloquialmente conocida como un bug-
eyed monster (BEM)-llevar una
atractiva mujer humana en un vestido desgarrado.Parece que el
artista no cree que un
alienígena humanoide -, con una historia evolutiva totalmente
diferente, ¿deseo sexual
hembras humanas ... percibe las
hembras humanas como atractivo. Más bien, una mujer humana en un
rasgado vestido es sexy-intrínsecamente así, como una propiedad
intrínseca.
mente: se centra en la mujer vestido rasgado.
sería menos sexy; BEM no entrar en ella. Yudkowsky (2008)

una inteligencia artificial puede ser mucho menos humano-como en sus

motivaciones de un extraterrestre.
El Extraterrestre (supongamos) es una criatura biológica que ha
surgido a través de un proceso de
evolución y por lo tanto, puede esperarse que tenga el tipo de
motivación típicos de evolucionado criaturas. Por ejemplo, no sería
enormemente sorprendente encontrar que algunos al azar
extraterrestre inteligente habría motivos relacionados con el logro
o evitando de alimentos, aire, temperatura,
gasto energético, la amenaza o la aparición de lesiones,
enfermedades, predadores, reproducción, o la
protección de la descendencia. Un miembro de una especie social
inteligente también podría tener motivaciones
relacionadas con la cooperación y la competencia: como nosotros,
podría mostrar la lealtad de grupo, un resentimiento de
free-riders, incluso una preocupación con la reputación y la
apariencia.

Por el contrario, una mente artificial no necesita cuidado

intrínsecamente sobre cualquiera de esas cosas, ni
siquiera el más mínimo grado. Uno puede fácilmente concebir una
inteligencia artificial cuyo único
objetivo fundamental es contar los granos de la arena en Boracay, o
para calcular decimales de pi
indefinidamente, o maximizar el número total de clips en su futuro
lightcone. De hecho, sería
más fácil crear un AI con objetivos simples como estos, que
construir uno que tiene un ser humano-
como el conjunto de valores y disposiciones.

1 Por supuesto, no se trata de negar que las diferencias que

aparecen pequeñas pueden ser funcionalmente visualmente profunda.
2
probablemente el artista no preguntar si un bug gigante
que quien hizo este error no pensar en el insectoid si el vestido no
estaban desgarrados, la mujer

1.2 La ortogonalidad tesis

para nuestros propósitos, la "inteligencia" será aproximadamente
adoptadas para corresponder a la capacidad para el
razonamiento instrumental (más sobre esto más adelante). Búsqueda
inteligente de planes
y políticas óptimas instrumentalmente puede realizarse en el
servicio de cualquier meta.la inteligencia y la motivación en este
sentido puede ser pensado como un par de ejes ortogonales en un
gráfico cuyos puntos representan
los agentes inteligentes de diferentes especificaciones
emparejado.Cada punto en el gráfico representa un posible
lógicamente
agente artificial, modulo algunas limitaciones débiles, por ejemplo,
podría ser imposible para un
sistema muy ignorantes para tener motivaciones muy complejas, desde
complejas motivaciones impondría una carga significativa en la
memoria.Además, para que un agente de "tener" un conjunto de
motivaciones, este conjunto puede necesitar ser funcionalmente
integrada con los procesos de decisión del agente,
que volvería a colocar sus demandas en la potencia de procesamiento
y quizás de inteligencia.Para mentes
que puede Modificar ellos mismos, también pueden existir
limitaciones dinámicos; por ejemplo, una
mente inteligente con un urgente deseo de ser estúpido no podría
seguir siendo inteligente para muy largo. Pero estas
calificaciones no debe opacar la idea principal, que podemos
expresar como sigue:

La ortogonalidad tesis
inteligencia y objetivos finales son ejes ortogonales a lo largo del
cual es posible que los agentes pueden
variar libremente. En otras palabras, más o menos cualquier nivel de
inteligencia podría en principio ser
combinado con más o menos cualquier meta final.

Puede hacerse una comparación Humean aquí con la teoría de la

motivación. David Hume
pensaba que creencias solo (es decir, sobre lo que es bueno hacerlo)
no puede motivar a la acción:
se requiere cierta voluntad.2 Esto apoyaría la o t rthogonality
hesis por la subcotización una posible
objeción, a saber, que la inteligencia suficiente podría conllevar
la adquisición de ciertas creencias,
y que estas creencias sería necessaril y producir ciertas
motivaciones. Pero no es así, según David
Hume: creencia y motivo están separados.

Aunque la ortogonalidad tesis puede dibujar Humean s itio de la

teoría de la
motivación, no presuponen que . En particular, no hay necesidad de
mantener que las creencias por sí solo
nunca puede motivar a la acción.bastaría un ssume, por ejemplo, que
un agente-estar de alguna manera
inteligente puede ser motivado para seguir un curso de acción si el
agente pasa a tener ciertos deseos permanente de algunos suficiente,
la fuerza primordial. Otra manera en que la
ortogonalidad tesis podría ser cierto incluso si la teoría de la
motivación Humean es falso es si
arbitrariamente alta inteligencia no implica la adquisición de
cualquiera de tales creencias como son (presuntamente)
motivar en sus el propios. Un tercer aspecto en el que sería posible
que la ortogonalidad tesis
para ser cierto incluso si la teoría Humean eran falsas es si es
posible construir un sistema cognitivo (o
más neutral, un proceso de "optimización") con alta intell igence
arbitrariamente, sino con la
constitución tan exóticas como al no contener claramente funcionales
análogos a lo que en los seres humanos llamamos

2 Para algunos de los recientes intentos de defender la teoría de la

motivación humean, véase Smith (1987), Lewis (1988), y Sinhababu
(2009).
3

"creencias" y "deseos" . Este sería el caso si un sistema de este

tipo se puede construir de una manera
que haría motivados para perseguir cualquier meta final.
La ortogonalidad tesis, como formula aquí, hace un reclamo acerca de
la relación
entre la motivación y la inteligencia, en lugar de entre la
motivación y racionalidad (o de la
motivación y la razón).
Un "normativamente más gruesa de concepto" que buscamos para
connotar aquí con la palabra "inteligencia".Por
ejemplo, en motivos y personas Derek Parfit argumenta que ciertas
preferencias básicas sería irracional, como que en caso contrario de
un agente normal que tiene "Futuro -Tuesday-Indifference" :

una cierta hedonista cuida mucho acerca de la calidad de sus futuras

experiencias.Con
excepción de uno, que él se preocupa por igual sobre todas las
partes de su futuro. La excepción es que él ha
Future-Tuesday indiferencia. A lo largo de cada martes se interesa
en la manera habitual
sobre lo que está sucediendo a él.Pero él nunca se preocupa por
posibles dolores o placeres sobre
un futuro martes...esta indiferencia es una realidad.Cuando él está
planeando su futuro,
simplemente, es cierto que él siempre prefiere la perspectiva de un
gran sufrimiento en un martes a la
más leve dolor en cualquier otro día. Parfit (1984)3

Por lo tanto, el agente ahora es indiferente a su propio futuro

sufrimiento si y sólo si se produce en un futuro el
martes. Para nuestros propósitos, necesitamos adoptar ninguna
postura sobre si es correcto que Parfit esto es
irracional, mientras que nos conceda que no es necesariamente
ignorantes .por la "inteligencia" aquí
significa algo así como la racionalidad instrumental-habilidad en la
predicción, planificación, y termina el
razonamiento en general. -agente Tuesday-Indifferent podría tener
impecable racionalidad instrumental y, por tanto, gran inteligencia,
incluso si él se queda corto en
algún tipo de sensibilidad a la "razón objetiva" que podría
requerirse de un agente completamente racionales.
Por consiguiente, este tipo de ejemplo no socave la ortogonalidad
tesis.

En una vena similar, incluso si existen hechos moral objetiva que

cualquier agente completamente racionales
que abarcaría, e incluso si estos hechos morales son de alguna
manera intrínsecamente motivador (tales
que cualquiera que entiende plenamente de ellos es necesariamente
motivados a actuar de acuerdo con
ellos) esta necesidad de no socavar la ortogonalidad tesis. La tesis
puede ser cierto si un agente
podría tener impecable racionalidad instrumental aunque carezca de
alguna otra facultad
constitutiva de la racionalidad propiamente dicha, o alguna facultad
necesaria para la plena comprensión de la
moral objetiva de los hechos.(n agente también podría ser
extremadamente inteligentes, incluso superintelligent,
sin tener la plena racionalidad instrumental en cada dominio.)
Una razón para centrarse en la inteligencia, es decir, en la
racionalidad instrumental, es que este es
el concepto más relevante si estamos tratando de averiguar lo que
los diferentes tipos de sistemas,
lo haría. Cuestiones normativas, como si su comportamiento se
contaría como ser prudencialmente racional o moralmente
justificable, puede ser importante en diversas formas. Sin embargo,
estas cuestiones
no deben cegarnos a la posibilidad de sistemas cognitivos que logran
satisfacer a

3 Véase también Parfit sustancial (2011).

4
Esto es porque algunos filósofos usan la palabra "racionalidad" para
connotar
Parfit el futuro imaginario

criterios normativos, pero que sin embargo son muy potentes y

capaces de ejercer una fuerte influencia
en el mundo.4

1.3 La predicción superintelligence la motivación y el

comportamiento de
la ortogonalidad tesis implica que las mentes sintéticas pueden
tener totalmente no-antropomorfo
objetivos-metas como extraño por nuestras luces como grano de arena-
counting de maximizar o un clip. Esto es válido aun (de hecho
especialmente) para agentes artificiales que son extremadamente
inteligentes o
superintelligent. Sin embargo, no se deriva de la ortogonalidad
tesis de que es imposible hacer
predicciones sobre lo que va a hacer de agentes particulares. La
previsibilidad es importante si se pretende
diseñar un sistema para alcanzar determinados resultados, y la
cuestión se vuelve más importante el más
poderoso el agente en cuestión sea artificial. Agentes
Superintelligent podría ser extremadamente potente,
por lo que es importante desarrollar una forma de analizar y
predecir su comportamiento. Sin embargo, a pesar de la
independencia de la inteligencia y objetivos finales implícita por
la ortogonalidad tesis, el problema de la predicción del
comportamiento de un agente no necesita ser insolubles, ni siquiera
con respecto a hipotéticos
superintelligent agentes, cuya complejidad cognitiva y las
características de rendimiento podría
hacerlos en ciertos respectos opaco a un análisis humano.

Hay al menos tres direcciones a partir de la cual uno puede abordar

el problema de la
predicción superintelligent motivación:
(1) la previsibilidad mediante competencia de diseño.Si podemos
suponer que los diseñadores de un
agente puede superintelligent ingeniero correctamente el objetivo
del agente para que
establemente, persigue un objetivo concreto fijado por los
programadores, entonces podemos
hacer una predicción es que el agente tratará de lograr ese
objetivo. Cuanto más inteligente sea el agente, mayor es
la cognitiva ingenio tendrá que alcanzar ese objetivo. Por lo que
incluso antes de que un agente
ha sido creado podríamos ser capaces de predecir algo acerca de su
comportamiento, si queremos saber
algo acerca de quién construirá y qué objetivos querrán tener.

(2) la previsibilidad mediante la herencia. Si se crea una

inteligencia digital directamente desde una
plantilla humana (como sería el caso en una alta fidelidad de
emulación de la totalidad del cerebro), entonces la
inteligencia digital podría heredar las motivaciones de la plantilla
humana.5 El agente podría
volver tain algunas de estas motivaciones, incluso si sus
capacidades cognitivas son posteriormente
reforzada para hacerla superintell igent. Este tipo de inferencia
requiere precaución . Los
objetivos y valores del agente podría fácilmente dañado en el
proceso de carga o
durante su posterior explotación y valorización, dependiendo de cómo
se
implementa el procedimiento.

4 La ortogonalidad tesis implica que la mayoría de cualquier

combinación de meta final y nivel de inteligencia es lógicamente
posible; no implica que sería prácticamente fácil dotar a un agente
superintelligent con algunas arbitrarias o derechos-respeto objetivo
final, incluso si supiéramos cómo construir la parte de
inteligencia. Para algunas notas preliminares sobre el problema de
carga de valor, véase, por ejemplo, Dewey (2011) y Yudkowsky (2011).
5 Ver s un dberg & Bostrom ( 2008 ) .
5

(3) de la previsibilidad mediante razones instrumentales

convergentes. Incluso sin un conocimiento detallado de los objetivos
finales de un agente, puede ser que podamos inferir algo acerca de
sus objetivos más inmediatos por considerar las razones
instrumentales que surgirían por cualquiera de una amplia
gama de posibles objetivos finales de una amplia gama de
situaciones. Esta forma de predicción se vuelve más útil cuanto
mayor sea la inteligencia del agente, porque un
agente más inteligente tiene más probabilidades de reconocer las
verdaderas razones instrumentales para sus acciones y, por tanto,
actuar
de una manera que hace que sea más probable para lograr sus
objetivos.

La siguiente sección explora esta tercera forma de previsibilidad y

desarrolla un "instrumental" de la tesis de convergencia que
complementa la ortogonalidad tesis.

2. Convergencia instrumental
según la ortogonalidad tesis artificial agentes inteligentes pueden
tener una enorme gama
de posibles objetivos finales. No obstante, de acuerdo a lo que
podríamos denominar la "convergencia" instrumentales tesis, hay
algunos objetivos instrumentales probablemente será perseguido por
casi cualquier
agente inteligente, porque hay algunos objetivos que son útiles a
intermediarios para la
realización de casi cualquier meta final. Podemos formular esta
tesis como sigue:

La tesis de convergencia Instrumental

varios valores instrumentales pueden ser identificados, los cuales
son convergentes en el sentido de que su
consecución aumentaría las posibilidades de que el objetivo del
agente está realizado para una amplia gama
de metas finales y una amplia gama de situaciones, lo que implica
que estos valores instrumentales son
susceptibles de ser perseguidos por muchos agentes inteligentes.

En el siguiente trataremos varias categorías donde tales

valores instrumentales convergentes pueden encontrarse.6 l a
probabilidad de que un agente reconocerá los valores instrumentales
que
conf ronts aumenta (ceteris paribus) con la inteligencia del agente
. Por consiguiente, vamos a centrarnos principalmente
en el caso de un hipotético agente superintelligent cuya capacidad
de razonamiento instrumental lejos

6 Stephen Omohundro pionero ha escrito dos documentos sobre este

tema (Omohundro 2008a, 2008b).
Omohundro sostiene que todas los sistemas de inteligencia artificial
avanzada son propensos a presentar un número de "unidades básicas",
que significa " tendencias que estarán presentes a menos que
explícitamente se contrarresta." El término "AI drive" tiene la
ventaja de ser breve y sugestiva, pero tiene la desventaja de
sugerir que los objetivos instrumentales que se refiere a influir en
la toma de decisiones de AI en la misma manera como unidades
psicológicos influyen en la toma de decisiones, es decir, a través
de una especie de remolcador fenomenológica sobre nuestro ego que
nuestra voluntad ocasionalmente puede tener éxito en resistir. Esa
connotación es inútil. Uno normalmente no dicen que un ser humano
típico tiene una "unidad" para llenar sus declaraciones de
impuestos, aunque la presentación de impuestos pueden ser bastante
objetivo instrumental convergentes para los seres humanos en las
sociedades contemporáneas (un objetivo cuya realización previene
problemas que nos impediría la realización de muchos de nuestros
objetivos finales). Nuestro tratamiento aquí también difiere del de
Omohundro en algunas otras maneras más sustancial, aunque la idea
subyacente es la misma. (Véase también Chalmers Omohundro (2010) y
(2012).
6

exceden a los de cualquier ser humano. También vamos a comentar cómo

la tesis de convergencia instrumental
se aplica al caso de los seres humanos, esto nos da ocasión de
detallar algunas
calificaciones esenciales acerca de cómo la convergencia
instrumental tesis debe ser interpretada y
aplicada. Donde hay valores instrumentales convergentes, podremos
ser capaces de predecir algunos
aspectos del comportamiento del superintelligence incluso si no
sabemos prácticamente nada sobre los objetivos finales que
superintelligence.

2.1 La auto-preservación
Supongamos que un agente tiene algún objetivo final que se extiende
en el futuro. Hay
muchas situaciones en las que el agente, si todavía está alrededor
en el futuro, entonces es ser capaz de realizar
acciones que aumentan la probabilidad de alcanzar el objetivo. Esto
crea una razón instrumental
para el agente para intentar ser alrededor en el futuro para ayudar
a alcanzar su actual meta orientada al futuro.

Agentes con derechos-como estructuras motivacionales parecen a

menudo lugar algún valor final de
su propia supervivencia. Esto no es una característica necesaria de
agentes artificiales: algunos pueden ser diseñadas para
colocar ningún valor final independientemente de su propia
supervivencia. No obstante, incluso a agentes que no les importa
intrínsecamente de su propia supervivencia, en un justamente la gama
amplia de condiciones, cuidado instrumental en cierta medida acerca
de su propia supervivencia, a fin de lograr los objetivos finales
que hacen valor.

2.2 Objetivo de la integridad del contenido de

un agente es más probable que actúen en el futuro para maximizar la
efectividad de sus actuales metas finales si
todavía tiene esos objetivos en el futuro. Esto le da al agente un
presente la razón instrumental para evitar
alteraciones de sus objetivos finales. (Este argumento sólo se
aplica a los objetivos finales. A fin de alcanzar sus
objetivos finales, un agente inteligente será por supuesto
rutinariamente sus subojetivos quiere cambiar a la luz de la nueva
información y conocimiento.)

Meta-la integridad del contenido de objetivos finales, en cierto

sentido, es incluso más importante que la supervivencia
como una motivación instrumental convergentes. Entre los seres
humanos, al contrario pareciera ser el caso,
pero eso es porque la supervivencia es generalmente parte de
nuestros objetivos finales. Para los agentes de software, que puede
cambiar fácilmente los órganos o crear duplicados exactos de sí
mismos, la preservación de la autonomía como una
implementación particular o un determinado objeto físico no necesita
ser un importante valor instrumental.
Agentes de software avanzada también podría ser capaz de cambiar los
recuerdos, descargar habilidades y
modifique radicalmente su arquitectura cognitiva y personalidades.
Una población de tales agentes podrían funcionar más como una "sopa"
funcional de una sociedad compuesta de distintas personas semi-
permanente.7 Para
algunos propósitos, procesos en un sistema de este tipo podría ser
mejor individuado como subprocesos teleológica,
basado en sus valores finales, más que sobre la base de los
cadáveres, personalidades, recuerdos o
habilidades. En tales escenarios, meta-continuidad podría decirse
que constituye un aspecto clave de la supervivencia.

Aún así, hay situaciones en las que un agente puede cambiar

intencionadamente sus propias
metas finales.Tales situaciones pueden surgir cuando alguno de los
siguientes factores es significativa:

7 Ver Chislenko (1997).

7

objetivos y utilizar esa información para

inferir instrumentalmente disposiciones pertinentes u otros
atributos correlacionados, puede estar en el interés del agente para
modificar sus objetivos para hacer cualquier impresión deseada. Por
ejemplo,
un agente puede perderse en beneficioso ofertas si los socios
potenciales no se puede confiar en él para cumplir
su parte del trato.Para hacer compromisos creíbles, un agente
podría, por consiguiente,
adoptar como objetivo final el cumplimiento de sus compromisos
anteriores, y permitir que otros
para verificar que efectivamente se ha adoptado este objetivo. Los
agentes que podrían
modificar la flexibilidad y transparencia en sus propias metas
podría utilizar esta capacidad para imponer acuerdos de uno a
otro.8

sobre los objetivos del agente.

entonces podría tener motivos para modificar sus objetivos, ya sea
para satisfacer o frustrar esas
preferencias.
algún objetivo final afectado
con el agente del propio contenido objetivo. Por ejemplo, el agente
podría tener un objetivo final para
convertirse en el tipo de agente que está motivada por ciertos
valores, tales como la compasión.

algunas parte de una función de utilidad del agente es

grande comparado con la posibilidad de que surgirá una situación en
que la aplicación de esa parte de la
función de utilidad hará una diferencia, entonces el agente tiene
una razón instrumental para
simplificar su contenido objetivo, y es posible que la basura que
parte de la función de utilidad.9 10

h uman s a menudo nos parecen felices para que nuestros objetivos y

valores finales .Esto deriva a menudo pueden ser
porque no sabemos exactamente qué son .evidentemente queremos
nuestras creencias acerca de nuestros
objetivos y valores finales para poder cambiar a la luz de la
continua auto-descubrimiento o cambio de auto- las necesidades de
presentación. Sin embargo, hay casos en los que estemos dispuestos a
cambiar los objetivos y valores en
sí, no sólo nuestras creencias o interpretaciones de ellos. Por
ejemplo, alguien decidir
tener un hijo podría predecir que vendrán al valor del niño para su
propio bien, aunque en
el momento de la decisión no podrán, en particular, su futuro hijo o
incluso como los niños en
general.

8 Véase también Shulman (2010).

9 Un agente puede también cambiar su objetivo de representación si
se cambia su ontología, con el fin de transponer su representación
antigua a la nueva ontología. Cf. de Blanc (2011).
10 Otro tipo de factor que mig ht tomar una decisión probatorio
teórico emprender diversas acciones, incluyendo el cambio de sus
objetivos finales, es la importación de probatorio decide hacerlo.
Por ejemplo, un agente que sigue probatorias de teoría de la
decisión podría creer que existen otros agentes como en el universo,
y que sus propias acciones proporcionará cierta evidencia acerca de
cómo los otros agentes actuará. Por lo tanto, el agente podría
decidir adoptar un objetivo final que es altruista hacia esos otros
agentes vinculados evidentially, alegando que esto dará el agente
evidencia que esos otros agentes habrán elegido para actuar de
manera similar. Un resultado equivalente podría ser obtenido, sin
embargo, sin cambiar los objetivos finales, seleccionando en cada
instante a actuar como si uno hubiera esos objetivos finales.
8
El agente
los seres humanos son complicados, y hay muchos factores que pueden
estar en juego en una situación como esta.11 Por
ejemplo, uno podría tener un valor fi nal que implica ser la clase
de persona que se preocupa por
alguna otra persona para su propio beneficio (aquí se pone un valor
final en tener cierto
valor final ). Alternativamente, uno podría tener un valor final que
implica tener ciertas
y ser padre y atravesando un ; exp eriences y ocupando una cierta
soci al papel
objetivo asociado shift-podría ser una parte necesaria de ello. Los
objetivos humanos también pueden tener
contenido incoherente, meta contenido; y por lo que algunas personas
podrían querer modificar algunas de sus metas finales para
reducir las incoherencias.

Mejora cognitiva 2.3

Mejoras en la racionalidad y la inteligencia tenderán a mejorar del
agente en la toma de decisiones,
haciendo que el agente más probabilidades de alcanzar sus objetivos
finales. Sería de esperar, por tanto,
mejora cognitiva para emerger como un objetivo instrumental para
muchos tipos de agente inteligente. Por
razones similares, agentes tenderá al valor instrumental muchos
tipos de información.12

No todos los tipos de racionalidad, inteligencia y conocimientos

deben ser instrum entally útiles en
el logro de los objetivos finales del agente."libro holandés
argumentos" puede ser usada para mostrar que un
agente cuyo crédito función no obedecer las reglas de la teoría de
la probabilidad es susceptible de "dinero" de la bomba de los
procedimientos, en los cuales una savvy bookie un rranges un
conjunto de apuestas, cada uno de los cuales aparece favorable según
las creencias del agente, pero que en combinación están garantizados
para
dar como resultado una pérdida para el agente, y una ganancia
correspondiente para el bookie. Sin embargo, este hecho no
ofrece ningún general fuertes razones instrumentales para intentar
resolver todos incoherency probabilístico.
Los agentes que no esperan encontrar savvy bookies, o que adopten
una política general contra
las apuestas, no pierde mucho de tener algunas creencias incoherente
y pueden obtener
importantes beneficios de los tipos mencionados: reduce el esfuerzo
cognitivo, social de señalización, etc. no hay una razón para
esperar que un agente para buscar instrumentalmente inútil formas de
mejora cognitiva, como un agente puede no valorar el conocimiento y
la comprensión por su propio bien.

Que las habilidades cognitivas son útiles instrumentalmente depende

tanto del agente f inal
objetivos y su situación. Un agente que tiene acceso a asesoramiento
de expertos fiables pueden tener poca necesidad de
su propia inteligencia y conocimiento, y por lo tanto puede ser
indiferente a estos recursos.Si la
inteligencia y el conocimiento tienen un costo, tales como el tiempo
y el esfuerzo dedicados a la adquisición, o en el
aumento de requisitos de procesamiento y de almacenamiento y, a
continuación, un agente puede preferir menos conocimientos y

11 Una extensa literatura psicológica explora la formación de

preferencias adaptativas. Véase, por ejemplo, Forgas et al.
(2009).
12 En modelos formales, el valor de la información se cuantifica
como la diferencia entre el valor esperado realizado por decisiones
óptimas con esa información y el valor esperado realizado por
decisiones óptimas hechas sin él. (Véase, por ejemplo, Russell &
Norvig 2010.) se desprende que el valor de la información nunca es
negativo. Se deduce también que cualquier información que usted sabe
nunca afectará cualquier decisión que usted hará siempre tiene el
valor cero para usted. Sin embargo, este tipo de modelo supone
varios idealizaciones que son a menudo no válida en el mundo real,
como que el conocimiento no tiene ningún valor final (en el sentido
de que el conocimiento sólo tiene valor instrumental y no es valiosa
para su propio beneficio), y que los agentes no son transparentes a
otros agentes.
9

menos inteligencia.13 El mismo puede mantener si el agente tiene

objetivos finales que involucran bei ng ignorantes de
ciertos hechos : l ikewise si un agente enfrenta los incentivos
derivados de compromisos estratégicos, señalización
o las preferencias sociales, como se ha señalado anteriormente. 14

Cada una de estas razones compensatorias a menudo entra en juego

para los seres humanos . Mucha de la
información es irrelevante para nuestros objetivos; a menudo podemos
confiar en otros conocimientos y experiencia; adquirir
conocimientos lleva tiempo y esfuerzo; podríamos valor
intrínsecamente tipos determinados de la ignorancia; y operamos
en un entorno en el que la capacidad de hacer compromisos
estratégicos, socialmente señal, y satisfacer las preferencias
directas de otras personas sobre nuestros propios Estados epistémica
, a menudo es importante para
nosotros que los simples logros cognitivos.

Existen situaciones especiales en las cuales mejora cognitiva puede

resultar en un enorme incremento en la capacidad de un agente para
alcanzar sus objetivos finales en particular, si los objetivos
finales del agente son
bastante desbordada y el agente se encuentra en una posición para
convertirse en el primer superintelligence, lo cual
podría obtener una ventaja decisiva la activación del agente para
dar forma al futuro de la Tierra --
originarios y accesible la vida cósmica de recursos según sus
preferencias. Al menos en este
caso especial, un agente inteligente racional tendría lugar un muy
alto valor instrumental en la
mejora cognitiva.

2.4 perfección tecnológica

Un agente puede tener a menudo razones instrumentales a procurar una
mejor tecnología, que en su forma más simple
significa que buscan maneras más eficientes de transformar algunos
de los insumos en productos valorados.
Así, un agente de software podría colocar un valor instrumental en
algoritmos más eficientes que
permitan que sus funciones mentales para correr más rápido en
determinado hardware. Asimismo, los agentes cuyos objetivos
requieren algún tipo de construcción física podría mejorar el valor
instrumental de la
tecnología de ingeniería que les permite crear una amplia gama de
estructuras de forma más rápida y confiable,
utilizando menos o materiales más baratos y menos energía. Por
supuesto, existe un equilibrio: los
beneficios potenciales de la mejor tecnología debe sopesarse en
relación con sus costos, incluyendo no sólo el costo de la
obtención de la tecnología sino también el costo de aprender a
usarlo, su integración con otras
tecnologías ya en uso, y así sucesivamente.

Los proponentes de alguna nueva tecnología, confiados en su

superioridad frente a las alternativas existentes,
a menudo están consternados cuando otras personas no comparten su
entusiasmo, pero la resistencia de los pueblos a la
novela y nominalmente tecnología superior no necesita estar basada
en la ignorancia o irracionalidad. Una tecnología de valence o
carácter normativo no sólo depende del contexto en el que se
implementa, sino también el punto de partida con el que se evalúan
sus efectos: ¿Qué es una bendición desde la perspectiva de una
persona puede ser un pasivo de la del otro. El
aumento de la eficiencia económica de la producción textil, los
telares manuales Luddite
13 tejedoras que esta estrategia se ejemplifica mediante la ascidia
larva, que nada alrededor hasta que encuentre un adecuado, a la cual
roca permanentemente los afijos en sí. Cimentada en su lugar, la
larva tiene menos necesidad de procesamiento de información
compleja, de dónde procede a digerir parte de su propio cerebro (su
ganglio cerebral).
Los académicos a veces puede observar un fenómeno similar en sus
colegas a quienes se concede la tenencia.
14 Cf. Bostrom ( 2012 ).
10
Así pues, aunque los telares mecanizados

prevé que la innovación haría su destreza artesana obsoleto puede

haber tenido buenas
razones instrumentales para oponerse a ella. El punto aquí es que si
"Technology ical perfección" es
un nombre ampliamente objetivo instrumental convergentes para
agentes inteligentes, entonces el término debe entenderse
en un sentido especial-tecnología debe interpretarse como incrustado
en un determinado contexto social, y
sus costos y beneficios deben ser evaluados con referencia a algunos
de los agentes especificado valores finales.

Parece que un singleton superintelligent superintelligent-un agente

que no enfrenta importantes rivales inteligentes u oposición, y por
tanto está en posición de determinar
unilateralmente la política mundial tendría razón instrumental para
perfeccionar las tecnologías que hacen que sea
más capaz de moldear el mundo según sus diseños preferidos.15 Esto
probablemente incluya
espacio colonización tec hnology, tales como sondas de von Neumann-
automático, auto-reparación y auto-
replicando las naves espaciales que pueden ampliar su alcance más
allá del Sistema Solar. La
nanotecnología molecular, o alguna alternativa aún más capacidad
física, la tecnología de fabricación también
parece ser muy útil al servicio de una amplia gama de metas
finales.16

2.5 La adquisición de recursos

por último, la adquisición de recursos es otro objetivo instrumental
emergentes comunes, en gran medida, por las mismas
razones que perfección tecnológica: la tecnología y los recursos
facilitar
proyectos de construcción física.

Los seres humanos tienden a tratar de adquirir recursos suficientes

para satisfacer sus
necesidades biológicas básicas. Pero la gente usualmente buscan
adquirir recursos mucho más allá de ese nivel mínimo.Para ello,
pueden ser parcialmente impulsada por menor deseos físicos, tales
como el aumento de la comodidad y conveniencia. Una gran cantidad de
acumulación de recursos está motivada por preocupaciones sociales-
estado ganando, compañeros, amigos e influencia, a través de la
acumulación de riqueza y el
consumo conspicuo. Quizás menos común, algunas personas buscan
recursos adicionales para lograr
altruista caros o no de los objetivos sociales.

15 Cf. Bostrom (2006).

16 Uno podría invertir la cuestión y mirar en su lugar en los
motivos posibles de un singleton superintelligent no desarrollar
algunas capacidades tecnológicas. Estos incluyen: (a) el valor
exclusivo, previendo que no tendrá ningún uso de cierta capacidad
tecnológica; (b) los costos de desarrollo de ser demasiado grande en
comparación con la previsión de utilidad. Este sería el caso si, por
ejemplo, la tecnología nunca será adecuado para el logro de
cualquiera de los extremos del singleton, o si el singleton tiene
una muy alta tasa de descuento que s fuertemente desalienta la
inversión; (c) El valor final de tener algunos singleton que
requiere la abstención de determinadas vías de desarrollo
tecnológico; (d) Si el singleton no está seguro de que permanecerá
estable, es posible que prefieran abstenerse de desarrollar
tecnologías que pudieran amenazar su estabilidad interna o que haría
que las consecuencias de la disolución peor (por ejemplo, un
gobierno mundial tal vez no deseen desarrollar tecnologías que
faciliten la rebelión, incluso si tenían algunos buenos usos, ni
fácil de desarrollar tecnologías para la producción de armas de
destrucción masiva que Podría causar estragos si el gobierno mundial
fueron para disolver); (e) Igualmente, singleton pueda haber
realizado algún tipo de compromiso estratégico vinculante a no
desarrollar alguna tecnología, un compromiso que continúa en vigor,
incluso si ahora sería conveniente desarrollar. (Sin embargo, tenga
en cuenta que algunos motivos de actualidad para el desarrollo de
tecnología no sería aplicable a un singleton: por ejemplo, las
razones derivadas de las carreras de armamentos no deseados.)
11

Sobre la base de esas observaciones puede ser tentador suponer que

una
superintelligence no enfrenta un mundo social competitivo no verían
la razón instrumental para
acumular recursos más allá de un modesto nivel, por ejemplo,
independientemente de los recursos informáticos
necesarios para ejecutar su mente junto con algo de realidad
virtual.Pero esa suposición sería totalmente injustificada. En
primer lugar, el valor de los recursos depende de los usos a los que
se pueden poner, lo que
a su vez depende de la tecnología disponible. Con tecnología madura,
los recursos básicos tales como el
tiempo, el espacio y la materia, y otras formas de energía libre,
podrían ser transformados para servir casi cualquier
meta.Por ejemplo, esos recursos básicos podrían ser convertidos en
la vida.Aumento de
recursos computacionales podrían utilizarse para ejecutar el
superintelligence a una velocidad mayor y de más larga duración,
o para crear otros físicos o virtuales (simuladas) vive y
civilizaciones.
Recursos físicos adicionales también podrían ser utilizados para
crear los sistemas de copia de seguridad o las defensas
perimetrales, aumentar la seguridad.
Dichos proyectos podrían fácilmente consumir mucho más que un valor
de los recursos del planeta.

Además, el costo de la adquisición de más recursos extraterrestres

disminuirá
radicalmente a medida que madure la tecnología. Una vez que las
sondas de von Neumann puede ser construido, una gran parte del
universo observable (suponiendo que está deshabitada por vida
inteligente) podría ser
colonizado por la gradualmente un costo de construcción y
lanzamiento de un solo éxito de auto-reproducción de
sonda. Este bajo coste de adquisición de recursos celestiales,
significaría que dicha expansión podría ser de
utilidad, incluso si el valor de los recursos adicionales adquiridos
eran algo marginal. Por
ejemplo, incluso si una cuidada superintelligence instrumentalmente
no sólo sobre lo que sucede dentro de
una particular pequeño volumen de espacio, como el espacio ocupado
por su planeta natal original, aún
tendría razones instrumentales para cosechar los recursos del cosmos
más allá.podría
utilizar los recursos excedentarios para construir equipos para
calcular más formas óptimas de uso de
recursos dentro de la pequeña región espacial de principal
preocupación. También podría utilizar los
recursos adicionales para construir cada vez más defensas sólidas
para salvaguardar el privilegio real estate. Dado que el
costo de adquirir recursos adicionales permitiría mantener
disminuir, este proceso de optimizar y aumentar las salvaguardias
bien podría continuar indefinidamente, incluso si estuviera sujeta a
continuo declive
devuelve.17 18

17 Supongamos que un agente descuentos los recursos obtenidos en el

futuro a un ritmo exponencial, y que, debido a la limitación de la
velocidad de la luz el agente sólo puede aumentar su dotación de
recursos en un polinomio tasa.
Sería esto significa que habrá algún tiempo después de que el agente
no encontraría interesante continuar la expansión adquisitiva?No,
porque aunque el valor actual de los recursos obtenidos en tiempos
futuros sería asymptote a cero la ulterior en el futuro esperamos,
por lo que el coste actual de su obtención. El costo actual de
enviar una sonda von Neumann, más de 100 millones de años
(posiblemente usando algún recurso adquirido algún corto tiempo
antes) se vería reducida por el mismo factor de descuento que
disminuiría el valor actual de los futuros recursos la sonda extra
adquiriría un factor constante (módulo).
18 Incluso un agente que tiene un objetivo final aparentemente muy
limitado, tales como "hacer 32 clips", podrían perseguir la
adquisición de recursos ilimitado si no hubo costo relevante para el
agente de hacerlo. Por ejemplo, incluso después de una maximización
de la utilidad esperada de agente había construido 32 clips, podría
utilizar algunos recursos adicionales para comprobar que realmente
había creado 32 clips reunión todas las especificaciones (y, si es
necesario, tomar medidas correctivas). Después de que lo hubiera
hecho, podría ejecutar otra tanda de pruebas para estar doblemente
seguros de que ningún error había sido realizado. Y entonces se
podría ejecutar otra prueba, y otro. Los beneficios de las pruebas
subsiguientes abruptamente estaría sujeto a rendimientos
decrecientes; sin embargo, hasta que no hubo una acción alternativa
12

Así pues, existe una gama muy amplia de posibles objetivos finales
un singleton superintelligent
podría tener que generaría el objetivo instrumental de adquisición
de recursos ilimitados. La
probable manifestación de esto sería el inicio de la
superintelligence un proceso de colonización
que podría expandir en todas las direcciones utilizando sondas de
von Neumann.Esto sería aproximadamente el resultado en una
esfera de ampliar la infraestructura centrada en el planeta
originario y creciendo en la radio en
algunas fracciones de la velocidad de la luz; y la colonización del
universo continuaría de esta
manera hasta que la aceleración de la velocidad de expansión cósmica
(consecuencia de la
constante cosmológica positiva) hace físicamente imposible la
adquisición de nuevos materiales como las
regiones alejadas permanentemente deriva fuera del alcance.19 Por el
contrario, los agentes que carecen de la tecnología necesaria para
la adquisición de recursos baratos , o para la conversión de
recursos físicos genéricos en
infraestructura útil , podrá encontrar a menudo no costo - Eficaz
para invertir los recursos actuales en increa cantar
su dotación material. T él mismo podrá celebrar para los agentes que
operan en competencia con otros
agentes de potencias similares.Por ejemplo, si los agentes
competidores han obtenido ya accesible
, tardía de recursos cósmico - agente de arranque puede no tener
oportunidades de colonización. La conver gent
razones instrumentales para superintelligences un certain de la no -
existencia de otros poderosos
agentes superintelligent son complicados por consideraciones
estratégicas en wa ys que
actualmente no podemos comprender plenamente, pero que pueden
constituir importantes salvedades a los ejemplos
de razones instrumentales convergentes que hemos visto aquí. 20

Cabe destacar que la existencia de razones instrumentales

convergentes, incluso si
se aplican y son reconocidos por un agente determinado, no implica
que el comportamiento del agente
es fácilmente predecible. Un agente bien podría pensar en maneras de
perseguir a los correspondientes
valores instrumentales que no ocurren fácilmente a nosotros.Esto es
especialmente cierto para un superintelligence, que podría
idear extremadamente inteligente pero ilógico planes para lograr sus
objetivos, posiblemente incluso explotar aún sin descubrir fenómenos
físicos.Lo previsible es que los convergentes

con una mayor utilidad esperada, el agente que mantendría a probar y

volver a probar y seguir adquiriendo más recursos para habilitar
estos tests).
19 Mientras el volumen alcanzado por la colonización sondeos en un
momento dado podría ser casi esférica y
luego la tasa de crecimiento puede convertirse de nuevo en
puntiagudos como las galaxias cercanas son colonizados; luego la
tasa de crecimiento podría volver a aproximar ~t2 como producto de
expansión en una escala más que la distribución de las galaxias es
aproximadamente homogénea; luego otro período de crecimiento seguida
por punta suave ~t2 el crecimiento como galactic superclústeres son
colonizados; hasta que, en última instancia, la tasa de crecimiento
empieza un declive final, alcanzando eventualmente cero como la
velocidad de expansión del universo se acelera hasta tal punto que
la colonización aún más imposible. ;t expansión con una tasa
proporcional al cuadrado del tiempo transcurrido desde que se lanzó
la primera sonda (~t 2), la cantidad de recursos que contiene este
volumen se siga un patrón de crecimiento menos regular, ya que la
distribución de los recursos es no homogénea y varía a lo largo de
diversas escalas. Inicialmente, la tasa de crecimiento podría ser
~t2 como el planeta hogar es colonizado; luego la tasa de
crecimiento podría convertirse en puntiagudos cerca de planetas y
sistemas solares están colonizados; luego, como el volumen
aproximadamente en forma de disco de la Vía Láctea obtiene rellenan,
la tasa de crecimiento podría incluso, a ser aproximadamente
proporcional a
20 el argumento de simulación pueden ser de particular importancia
en este contexto. Un agente superintelligent puede
asignar una significativa probab ility a hipótesis según la cual
vive en una simulación de computadora y su
secuencia percept superintelligence generado por otro, y esto podría
generar diversas
razones instrumentales convergentes según el agente suposiciones
acerca de qué tipos de simulaciones es más probable que sea. Cf.
Bostrom (2003).
13

valores instrumentales serían perseguidos y usar para lograr los

objetivos finales del agente, y no las
acciones concretas que el agente debe tomar para lograr esto.

Conclusiones
La ortogonalidad tesis sugiere que no podemos asumir que un
superintelligence alegremente será
necesariamente compartimos cualquiera de los valores finales
estereotípico asociado con la sabiduría y el
desarrollo intelectual de los seres humanos, la curiosidad
científica, benevolente la preocupación por los demás, la
iluminación espiritual y la contemplación, la renuncia de los
materiales de la codicia, el gusto por la
cultura refinada o para los sencillos placeres de la vida, la
humildad y la abnegación, y así sucesivamente. Podría ser posible a
través de un esfuerzo deliberado para construir un superintelligence
que valores tales cosas, o
construir uno que valora el bienestar humano, la bondad moral, o
cualquier otro propósito complejos que sus
diseñadores que desee servir. Pero no es menos posible-y
probablemente técnicamente más fácil de construir un
superintelligence que coloca el valor final en nada pero calcular
los decimales de pi.

La tesis de convergencia instrumental sugiere que no podemos asumir

que un
superintelligence alegremente con el objetivo final de calcular los
decimales de pi (o hacer clips, o
contar los granos de arena) limitará sus actividades de manera tal
que no materialmente infringir
los intereses humanos. Un agente con ese objetivo final tendría una
razón instrumental convergentes,
en muchas situaciones, para adquirir una cantidad ilimitada de
recursos físicos y, si es posible,
eliminar las amenazas potenciales a sí mismo y su meta system.21
podría ser possib le para configurar una situación
en la que la forma óptima para el agente para perseguir estos
valores instrumentales (y, por ende, sus
objetivos finales) es promover el bienestar humano, actuando
moralmente, o cumpliendo algunos efectos beneficiosos como
concebida por sus creadores.Sin embargo, si un tal agente d cuando
se encuentra en una situación diferente,
de la que se espera un mayor número de decimales de pi que se
calcula si se destruye la
especie humana que si continúa Actuar cooperativamente, su
comportamiento sería tomar un
siniestro giro instantáneamente. Esto indica un peligro basándose en
valores instrumentales como garante de una
conducta segura en el futuro agentes artificiales que están
destinadas a convertirse en superintelligent y que podría ser
capaz de aprovechar sus superi ntelligence en niveles extremos de
power a nd influencia . 22

Referencias
Bostrom, N. (2003). Está viviendo en una simulación de computadora?
Trimestral filosóficos, 53(211),
243-255.

Bostrom. N. (2006). ¿Qué es un singleton? Investigaciones

Lingüísticas y filosóficas, 5(2), 48 a 54.

21 seres humanos podrían constituir amenazas potenciales;

ciertamente constituyen recursos físicos.
22 Para co mments debate y estoy agradecido a Stuart Armstrong,
Grant Bartley, Owain Evans, Lisa
, Luke Muehlhauser Makros, Toby Ord, Brian Rabkin, Rebecca Roache,
Anders Sandberg, y tres
árbitros anónimos.
14

Bostrom, N. (2012). Peligros de la información: una tipología de

daños potenciales de conocimiento.
Revisión de la filosofía contemporánea, 10, 44-79.
[Www.nickbostrom.com/information-hazards.pdf]

Chalmers, D. (2010): La singularidad: un análisis filosófico.

Journal of Consciousness Studies,
17, 7-65.
Chislenko, A. (1997). La tecnología como extensión de la
arquitectura funcional. Extropy
Online. [proyecto.cyberpunk.ru/BID/tecnología_como_extension.html]

de Blanc, P. (2011). Crisis ontológica del agente artificial en los

sistemas de valores. Manuscrito. La
singularidad del Instituto de Inteligencia Artificial.
[Arxiv.org/pdf/1105.3821v1.pdf]

Dewey, D. (2011). Aprender qué valor. En Schmidhuber, J. Thorisson,

K. R., mira, M. (eds.).
Actas de la IV Conferencia General de Inteligencia Artificial, el
AGI 2011 (págs. 309-314),
Heidelberg: Springer.

Forgas, J. et al. (eds.) (2009). La psicología de las actitudes y el

cambio de actitud. Londres: Psicología
Pulse.

Lewis, D. (1988). Deseo como creencia. Mente, 97(387), 323-332.

Omohundro, S. (2008a). Las unidades básicas de AI. En P. Wang, B.

Goertzel y S. Franklin (eds.).
Actas de la Primera Conferencia de AGI, 171, Fronteras en
Inteligencia Artificial y aplicaciones.
Ámsterdam: IOS Press.

Omohundro, S. (2008b). La naturaleza de Self-Improving Inteligencia

Artificial. Manuscrito.
[Selfawaresystems.files.wordpress.com/2008/01/nature_of_self_improvi
ng_ai.pdf]
Omohundro próximas, S. (2012). Rationally-Shaped Inteligencia
Artificial. En Edén, A. et al.

(eds.). La singularidad hipótesis: una evaluación científico y

filosófico (Springer, de próxima publicación).

Parfit, D. (1984). Motivos y personas. (págs. 123-4). Reimpreso y

edición corregida, 1987. Oxford:
Oxford University Press.

Parfit, D. (2011). En lo que importa. Oxford: Oxford University

Press.

Russell y Norvig, S., P. (2010). Inteligencia artificial: un enfoque

moderno. (3ª ed.). Nueva Jersey:
Prentice Hall.

Sandberg, A. y Bostrom, N. (2008). Emulación de la totalidad del

cerebro: una "Hoja de Ruta". Informe técnico 2008-
3. Oxford: el futuro de la humanidad Institute, La Universidad de
Oxford.
15
[www.FHI.ox.ac.uk/Reports/2008-3.pdf]
Shulman, C. (2010). La Omohundro AI básicos "Unidades" y cata
strophic riesgos. Manuscrito.
[Singinst.org/upload/ai-resource-drives.pdf]
Sinhababu, N. (2009). La teoría de la Motivación Humean reformuladas
y defendida.
Examen filosófico, 118(4), 465-500.

Smith, M. (1987). La teoría de la motivación humean. Mente, 46

(381): 36-61.

Weizenbaum, J. (1976). Equipo de alimentación y la razón humana: de

la sentencia para el cálculo. San
Francisco: W. H. Freeman.

Yudkowsky, E. (2008). La inteligencia artificial como un factor

positivo y negativo en el riesgo global. En
Bostrom, N. y Cirkovic, M. (eds.). Global de los riesgos
catastróficos. (págs. 308-345; cita de p. 310).
Oxford: Oxford University Press.

Yudkowsky, E. (2011). Los sistemas de valores complejos son

requeridos para lograr valiosos de futuros. En
Schmidhuber, J. Thorisson, K. R., mira, M. (eds.). Actas de la IV
Conferencia
General de Inteligencia Artificial, el AGI 2011 (págs. 388-393).
Heidelberg: Springer.
16