Superinteligencia

Superinteligencia
Caminos, Peligros, Estrategias
Nick Bostrom
Director, Instituto Futuro de la Humanidad Profesor de la Facultad de Filosofa y Oxford
Martin SchoolUniversidad de Oxford

Gran Clarendon Street, Oxford, OX2 6DP,

Reino Unido
Oxford University Press es un departamento de la Universidad de Oxford. Es propicio el
objetivo de la Universidad de excelencia en la investigacin, la erudicin,y la educacin
mediante la publicacin en todo el mundo. Oxford es una marca registrada de
Oxford University Press en el Reino Unido y en otros pases
Nick Bostrom 2014 Los derechos morales del autor han afirmado

Primera edicin publicada en 2014

Impresin: 1
Todos los derechos reservados. Ninguna parte de esta publicacin puede ser reproducida,
almacenada en un sistema de recuperacin, o transmitida, en cualquier forma o por
cualquier medio, sin la previa autorizacin por escrito de la Oxford University Press, o de
lo expresamente permitido por la ley, por la licencia o bajo condiciones acordadas con la
organizacin adecuada de los derechos de reprografa. Las consultas relativas a la
reproduccin fuera del mbito de lo anterior se deben enviar a la Direccin de Derechos,
Oxford University Press, en la direccin arriba
Usted no debe distribuir este trabajo en cualquier otra forma

y debe imponer esta

misma condicin en cualquier adquirente

Catalogacin Biblioteca Britnica de datos de publicacinDatos disponibles

Biblioteca del Congreso de control el nmero: 2013955152

ISBN 978-0-19-967811-2
Impreso en Italia por L.E.G.O.
TN

S.p.A.-Lavis

Los enlaces a sitios web de terceros son proporcionados por Oxford de buena fe y por slo
informacin. Oxford se exime de cualquier responsabilidad por los materiales contenidos
en cualquier pgina web de terceros que se hace referencia en este trabajo.
La fbula inacabada de los Gorriones
Era la temporada de nido-construccin, pero despus de das de trabajo duro y largo, los
gorriones se sent en el resplandor de la noche, relajante y piar de distancia.
"Estamos todos tan pequeo y dbil. Imagina lo fcil que sera la vida si tuviramos un
bho que podran ayudarnos a construir nuestros nidos! " "S!",
Dijo
podramos utilizarlo para cuidar a nuestros ancianos y nuestros jvenes."

otro.

"Y

"Nos podra dar consejos y mantener un ojo hacia fuera para el gato barrio",
aadi un tercero.
Entonces Pastus, el ave mayor, habl: "Enviemos exploradores en todas
direcciones y tratamos de encontrar un owlet abandonada en algn lugar, o tal vez un
huevo. Una chica cuervo tambin podra hacer, o una comadreja beb. Esto podra ser lo
mejor que le ha pasado a nosotros, por lo menos desde la apertura del Pabelln de
Ilimitado grano en el patio trasero de all ".
El rebao estaba eufrico y gorriones piando todas partes comenz en la parte
superior de sus pulmones.

Slo Scronkfinkle, un gorrin tuerto con un temperamento inquieto, no estaba convencido

de la sabidura de la empresa. Quoth l: "Esto sin duda ser nuestra perdicin. No
deberamos pensar un poco en el arte de bho-domesticacin y bho-domar primero,
antes de traer una criatura en medio de nosotros? "
Respondi Pastus: "Domando un bho suena como una cosa muy difcil de hacer. Ser
suficiente para encontrar un huevo bho difcil. As que vamos a empezar por ah. Despus
hemos tenido xito en la crianza de un bho, entonces podemos pensar en tomar en este
otro desafo ".
"Hay una falla en ese plan!" Chill Scronkfinkle; pero sus protestas fueron en vano ya que
el rebao ya se haba levantado para empezar a aplicar las directivas establecidas por
Pastus.
Slo dos o tres gorriones se quedaron atrs. Juntos comenzaron a tratar de averiguar
cmo pueden ser domesticados o domesticados bhos. Pronto se dieron cuenta de que
Pastus tena razn: se trataba de un reto muy difcil, especialmente en ausencia de un
bho real para practicar. Sin embargo ellos siguieron adelante lo mejor que pudieron, en
constante temor de que el rebao podra volver con un huevo lechuza antes de una
solucin al problema de control haba sido encontrado.
No se sabe cmo termina la historia, pero el autor dedica este libro a Scronkfinkle y sus
seguidores.
PRLOGO
Dentro de su crneo es lo que hace la lectura. Esta cosa, el cerebro humano, tiene
algunas capacidades que los cerebros de otros animales carecen. Es a estas capacidades
distintivas que le debemos nuestra posicin dominante en el planeta. Otros animales
tienen msculos ms fuertes y garras ms ntidas, pero tenemos cerebros ms
inteligentes. Nuestra ventaja modesta en la inteligencia general nos ha llevado a
desarrollar el lenguaje, la tecnologa y la organizacin social compleja. La ventaja ha
agravado con el tiempo, a medida que cada generacin se ha basado en los logros de sus
predecesores.
Si algn da construimos cerebros mquinas que superan los cerebros humanos en
la inteligencia general, entonces esta nueva superinteligencia podra llegar a ser muy
poderoso. Y, como el destino de los gorilas ahora depende ms de nosotros los seres
humanos que en los propios gorilas, por lo que el destino de nuestra especie depender
de las acciones de la superinteligencia mquina.
Tenemos una ventaja: que lleguemos a construir las cosas. En principio, podramos
construir una especie de superinteligencia que protegera a los valores humanos. Sin duda
tiene razn de peso para hacerlo. En la prctica, el problema en el control problema de

cmo controlar lo que la superinteligencia hara-se ve muy difcil. Tambin parece que
slo obtendremos una oportunidad. Una vez que existe superinteligencia antiptico, que
nos impedira su sustitucin o cambiar sus preferencias. Nuestro destino se sell.
En este libro, trato de entender el desafo presentado por la perspectiva de
superinteligencia, y la forma en que mejor podra responder. Esta es posiblemente la
humanidad reto ms importante y ms desalentadora jams se ha enfrentado. Y, tanto si
tenemos xito o fracasamos-es, probablemente, el ltimo desafo que alguna vez cara.
No es parte del argumento de este libro que estamos en el umbral de un gran
avance en la inteligencia artificial, o que podemos predecir con precisin cundo podra
ocurrir tal desarrollo. Parece poco probable que va a suceder en algn momento de este
siglo, pero no sabemos a ciencia cierta. El primer par de captulos do discutir posibles vas
y decir algo acerca de la cuestin de la oportunidad. La mayor parte del libro, sin embargo,
se trata de lo que sucede despus. Se estudia la cintica de una explosin de inteligencia,
las formas y los poderes de la superinteligencia, y las opciones estratgicas disponibles
para un agente superinteligente que logra una ventaja decisiva. Luego nos cambiamos
nuestro enfoque al problema de control y preguntamos qu podamos hacer para dar
forma a las condiciones iniciales a fin de lograr un resultado de supervivencia y
beneficioso. Hacia el final del libro, nos acercamos y contemplamos el panorama general
que emerge de nuestras investigaciones. Algunas sugerencias se ofrecen en lo que se debe
hacer ahora para aumentar nuestras posibilidades de evitar una catstrofe existencial
despus.
Esto no ha sido un libro fcil de escribir. Espero que el camino que se ha aclarado
que permitir a otros investigadores para llegar a la nueva frontera ms rpida y cmoda,
para que puedan llegar all fresco y listo para unirse a los trabajos para ampliar an ms el
alcance de nuestra comprensin. (Y si la forma en que se ha hecho es un poco accidentado
y articulados, espero que los colaboradores, al juzgar el resultado, no hay que subestimar
la hostilidad del terreno
ex ante!)
Esto no ha sido un libro fcil de escribir: He tratado de hacer que un libro fcil de
leer, pero no creo que bastante he tenido xito. Al escribir, que yo tena en mente como el
pblico objetivo una anterior intervalo de tiempo de m mismo, y yo trat de producir un
tipo de libro que me hubiera gustado leer. Este podra ser un grupo demogrfico estrecho.
Sin embargo, creo que el contenido debe ser accesible a muchas personas, si ponen un
poco de pensamiento en l y resistir la tentacin de malinterpretar instantneamente
cada nueva idea asimilando con el
la mayora de sonido similar clich disponibles en sus despensas culturales. Lectores no
tcnicos no deben ser desalentados por algn que otro acto de las matemticas o
vocabulario especializado, ya que siempre es posible deducir el punto principal de las

explicaciones de los alrededores. (Por el contrario, para aquellos lectores que quieren ms
de lo esencial y bsico, no hay mucho que se encuentran entre los endnotes.1)
Muchos de los puntos sealados en este libro son probablemente equivocado. 2
Tambin es probable que haya consideraciones de importancia crtica que no tienen en
cuenta, lo que invalida todas o algunas de mis conclusiones. He ido a alguna extensin
para indicar matices y grados de incertidumbre en todo el texto-gravar con una mancha
fea de "posiblemente", "podra", "puede", "podra bien", "parece", "probablemente"
"muy probable", "casi con seguridad". Cada calificador se ha colocado donde es cuidadosa
y deliberadamente. Sin embargo, estas aplicaciones tpicas de la modestia epistmica no
son suficientes; deben ser complementados aqu por una admisin sistmica de
incertidumbre y falibilidad. Esto no es falsa modestia, porque mientras yo creo que mi
libro es probable que sea muy mal y engaoso, creo que los puntos de vista alternativos
que se han presentado en la literatura son sustancialmente peores, incluyendo la vista por
defecto, o "hiptesis nula" segn la cual podemos por el momento de manera segura o
razonablemente ignorar la perspectiva de superinteligencia.
AGRADECIMIENTOS
La membrana que ha rodeado el proceso de escritura ha sido bastante permeable.
Muchos conceptos e ideas generadas mientras se trabaja en el libro se ha permitido a
filtrarse hacia fuera y se han convertido en parte de una conversacin ms amplia; y, por
supuesto, numerosas ideas procedentes del exterior, mientras que el libro se marcha se
han incorporado en el texto. He tratado de ser un poco diligente con el aparato de la
citacin, pero las influencias son demasiados para documentar plenamente.
Para amplios debates que han ayudado a aclarar mi pensamiento Agradezco a un gran
conjunto de personas, incluyendo Ross Andersen, Stuart Armstrong, Owen Algodn Barratt, Nick Beckstead, David Chalmers, Paul Christiano, Miln Dirkovid, Daniel Dennett,
David Deutsch, Daniel Dewey, Eric Drexler, Peter Eckersley, Amnn Edn, Owain Evans,
Benja Fallenstein, Alex Flint, Carl Frey, Ian Goldin, Katja Gracia, J. Storrs Hall, Robin
Hanson, Demis Hassabis, James Hughes, Marcus Hutter, Garry Kasparov, Marcin Kulczycki,
Shane Legg, Moshe Looks, Willam MacAskill, Eric Mandelbaum, James Martin, Lillian
Martin, Roko Mijic, Vincent Mueller, Elon Musk, Sen higeartaigh, Toby Ord, Dennis
Pamlin, Derek Parfit, David Pearce, Huw Price, Martin Rees , Bill Roscoe, Stuart Russell,
Anna Salamon, Lou Salkind, Anders Sandberg, Julian Savulescu, Jrgen Schmidhuber,
Nicholas Shackel, Murray Shanahan, Noel Sharkey, Carl Shulman, Peter Singer, Dan
Stoicescu, Jaan Tallinn, Alexander Tamas, Max Tegmark, Roman Yampolskiy y Eliezer
Yudkowsky.

Para los comentarios detallados sobre todo, estoy agradecido a Miln Dirkovid,
Daniel Dewey, Owain Evans, Nick Hay, Keith Mansfield, Lucas Muehlhauser, Toby Ord, Jess
Riedel, Anders Sandberg, Murray Shanahan, y Carl Shulman. Para asesoramiento o ayuda
de investigacin con diferentes partes Quiero agradecer Stuart Armstrong, Daniel Dewey,
Eric Drexler, Alexandre Erler, Rebecca Roache, y Anders Sandberg.
Para obtener ayuda con la preparacin del manuscrito, estoy agradecido a Caleb
Bell, Malo Bourgon, Robin Brandt, Lance Bush, Cathy Douglass, Alexandre Erler, Kristian
Rnn, Susan Rogers, Andrew Snyder-Beattie, Cecilia Tilli, y Alex Vermeer. Quiero
agradecer especialmente a mi editor Keith Mansfield por su aliento abundantes durante
todo el proyecto.
Mis disculpas a todos los dems que debera haber sido recordado aqu.
Por ltimo, un aficionado ms gracias a los patrocinadores, amigos y familia: sin su
respaldo, no se habra hecho este trabajo.
CONTENIDOS
Las listas de figuras, tablas y Cajas
1. Evolucin del pasado y capacidades actuales
Modos de crecimiento y la historia grande
Grandes expectativas
Estaciones de la esperanza y la desesperacin
Lo ltimo
Las opiniones sobre el futuro de la inteligencia artificial
2. Caminos de superinteligencia
Inteligencia artificial
Emulacin total del cerebro
Cognicin Biolgica
Interfaces cerebro-ordenador

Redes y organizaciones

Resumen 3. Formas de superinteligencia

Superinteligencia velocidad Superinteligencia colectiva

Superinteligencia Calidad
Alcance directo e indirecto
Fuentes de ventaja para inteligencia digital
4. La cintica de una explosin de inteligencia
El tiempo y la velocidad del despegue
Obstinacin
Caminos de inteligencia no-mquina

Emulacin y caminos de AI
Potencia Optimizacin y explosividad
5. ventaja estratgica decisiva
El favorito obtener una ventaja estratgica decisiva?
Qu tan grande ser el xito
del proyecto?
Monitoreo
La colaboracin internacional
Desde ventaja estratgica decisiva a Singleton
6.
superpotencias
cognitivos
Funcionalidades y superpotencias
Un escenario de toma de control AI
Alimentacin a travs de la naturaleza y los agentes
7. La voluntad superinteligente La relacin entre la inteligencia y la motivacin
Convergencia Instrumental
Instinto de conservacin Integridad gol contenido
Mejora cognitiva
La perfeccin tecnolgica
Adquisicin de recursos
8. Es el resultado doom defecto? Catstrofe existencial como el resultado
predeterminado de una explosin de inteligencia? El giro traicionera
Modos de fallo malignos
Instanciacin Perverse Profusin Infraestructura
Crimen Mente 9. El problema de control Dos problemas de agencia
Mtodos de control de la Capacidad
Mtodos de boxeo
Mtodos de incentivos
El retraso del crecimiento
Cables trampa

Mtodos de seleccin Motivacin

Especificacin directa
Domesticidad

Normatividad indirecta
Aumento
Sinopsis
10. orculos, genios, soberanos, herramientas
Orculos
Genios y soberanos Herramienta-IA
Comparacin
11. escenarios multipolares
De caballos y hombres

Los salarios y el desempleo

El capital y el bienestar
El principio malthusiano en una perspectiva histrica
El crecimiento demogrfico y la inversin
La vida en una economa algortmica

Esclavitud voluntaria, la muerte ocasional

Funcionara mxima eficiencia ser divertido?
Subcontratistas inconsciente?
La
necesariamente

evolucin

no

Formacin posterior a la transicin de un producto nico? Una

Superorganismos y economas de escala
Unificacin por tratado
12. La adquisicin de valores
El problema del valor de carga

es

segunda

transicin

Seleccin Evolutiva
Aprendizaje por refuerzo
Acrecin valor asociativo
Andamios de motivacin
Aprendizaje Valor
Modulacin de Emulacin
Diseo Institucin
Sinopsis
13. La eleccin de los criterios para la eleccin La necesidad de normatividad
indirecta Volicin extrapolado Coherente Algunas explicaciones
Justificaciones para CEV
Otras observaciones
Modelos de moralidad
Do What I Mean
Lista de componentes
Contenido Meta
Teora de la decisin
Epistemologa Ratificacin Conseguir lo suficientemente cerca
14. El cuadro estratgico
Estrategia de ciencia y tecnologa
Desarrollo tecnolgico diferencial
Orden preferido de llegada
Las tasas de cambio y la mejora de la cognicin
Acoplamientos Tecnologa
Segundo-adivinanzas
Caminos y facilitadores
Efectos de los avances de hardware Se debe promover la investigacin de emulacin de
todo el cerebro? La perspectiva de la persona que afectan favorece la velocidad
Colaboracin La carrera dinmica y sus peligros Sobre los beneficios de la colaboracin
Trabajando juntos Tiempo 15. Crunch Filosofa con una fecha lmite
Qu se debe hacer?

Buscando la luz estratgica

La construccin de una buena capacidad Medidas particulares
Ser el mejor de la naturaleza humana por favor ponerse de pie Notas
Bibliografa
ndice
Listas de figuras, tablas y CAJAS
Lista de Figuras
1. historia a largo plazo del PIB mundial.
2. Impacto global a largo plazo de HLMI.
3. rendimiento superordenador.
4. Reconstruccin 3D neuroanatoma a partir de imgenes del microscopio electrnico.
5. Toda la hoja de ruta de la emulacin cerebro.
6. Compuesto enfrenta como una metfora de los genomas de hechizo a cuadros.

7.

Forma del despegue.

8. A escala menos antropomrfica? 9. Un modelo simple de una explosin de

inteligencia.
10. Fases en un escenario de toma de control de AI.
11. Ilustracin esquemtica de algunas trayectorias posibles para un producto
nico sabio hipottico.
12. Resultados de antropomorfizar motivacin ajena.
13. La inteligencia artificial o la emulacin de todo el cerebro primero?
14. Los niveles de riesgo en las carreras de tecnologa de IA.
Lista de tablas 1. Juego
de papeles AI
2. Cuando se alcanza la inteligencia artificial a nivel humano?
3. Cunto tiempo desde el nivel humano a superinteligencia? 4. Las capacidades
necesarias para la emulacin de todo el cerebro 5. ganancias mximas de CI de seleccionar
entre un conjunto de embriones
6. Posibles impactos de la seleccin gentica en diferentes escenarios 7. Algunas
carreras tecnolgicas estratgicamente importantes
8. Superpoderes: algunas tareas estratgicamente relevantes y habilidades
correspondientes 9. Diferentes tipos de cables trampa 10. Mtodos de control 11.
Caractersticas de las diferentes castas del sistema 12. Resumen de las tcnicas de valor de
carga
13. Lista de componentes
Lista de Cajas
1. Un agente bayesiano ptimo
2. El flash crash de 2010
3. Qu hara falta para recapitular la evolucin?
4. En la cintica de una explosin de inteligencia 5. razas Tecnologa: algunos ejemplos
histricos
6. El escenario ADN electrnico ordenada

7. Qu tan grande es la dotacin csmica?

8. captura Antrpico
9. soluciones extraas de bsqueda a ciegas
Aprendizaje valor 10. Formalizacin
11. Una IA que quiere ser amigable
12. Dos recientes (medio-horneados) Ideas
13. Un riesgo-carrera a la baja
CAPTULO 1
La evolucin pasada y las capacidades actuales
Empezamos por mirar atrs. Historia,
en la escala ms grande, parece exhibir una secuencia de modos de crecimiento distintos,
cada uno mucho ms rpido que su predecesor. Este patrn se ha llevado a sugerir que
otro (an ms rpido) modo de crecimiento podra ser posible. Sin embargo, no ponemos
mucho peso en esta observacin, esto no es un libro sobre "la aceleracin tecnolgica" o
"crecimiento exponencial" o las nociones diversas veces reunidos bajo el ttulo de "la
singularidad". A continuacin, se revisa la historia de la artificial inteligencia. A
continuacin, examinamos las capacidades actuales del campo. Por ltimo, echamos un
vistazo a algunas encuestas de opinin de expertos recientes, y contemplamos nuestra
ignorancia acerca de la lnea de tiempo de los futuros avances. Modos de crecimiento y la
historia grande
Hace apenas unos pocos millones de aos nuestros antepasados todava estaban
colgando de las ramas en la copa africana. En una escala de tiempo geolgica o incluso la
evolucin, el ascenso de Homo sapiens de nuestro ltimo ancestro comn con los grandes
simios sucedieron con rapidez. Desarrollamos postura erguida, pulgares oponibles ycrucialmente-algunos cambios relativamente menores en el tamao del cerebro y la
organizacin neurolgica que llevaron a un gran salto en la capacidad cognitiva. Como
consecuencia, los seres humanos pueden pensar de manera abstracta, comunicar
pensamientos complejos y culturalmente acumular informacin sobre las generaciones
mucho mejor que cualquier otra especie en el planeta.
Estas capacidades permiten los seres humanos desarrollan tecnologas productivas
cada vez ms eficientes, por lo que es posible que nuestros antepasados a emigrar lejos de
la selva y la sabana. Especialmente despus de la adopcin de la agricultura, la densidad
de poblacin aumentaron junto con el tamao total de la poblacin humana. Ms
personas significan ms ideas; mayores densidades signific que las ideas podan
propagarse con mayor facilidad y que algunos individuos podran dedicarse al desarrollo
de habilidades especializadas. Estos acontecimientos aumentaron la
tasa de crecimiento de la productividad econmica y la capacidad tecnolgica.
Desarrollos posteriores, relacionados con la Revolucin Industrial, provocaron una
segunda, cambio de ritmo comparable en la tasa de crecimiento.
Estos cambios en la tasa de crecimiento tienen consecuencias importantes. Hace
unos cien mil aos, a principios de humano (o homnido) la prehistoria, el crecimiento fue
tan lento que tom en el orden del milln de aos para la capacidad productiva humana
para aumentar lo suficiente como para sostener un adicional de un milln de personas

que viven a nivel de subsistencia. Por 5000 aC, tras la Revolucin Agrcola, la tasa de
crecimiento haba aumentado hasta el punto en que la misma cantidad de crecimiento
tuvo apenas dos siglos. Hoy en da, despus de la Revolucin Industrial, la economa
mundial crece en promedio en esa cantidad cada noventa minutos.1 Incluso el actual
ritmo de crecimiento va a producir resultados impresionantes si se mantiene durante un
moderadamente largo tiempo. Si la economa mundial sigue creciendo al mismo ritmo que
lo ha hecho en los ltimos cincuenta aos, el mundo va a haber algunas 4,8 veces ms rico
en el 2050 y cerca de 34 veces ms rico en 2100 de lo que es hoy.2 Sin embargo, la
perspectiva de continuar en una senda de crecimiento exponencial constante palidece en
comparacin con lo que pasara si el mundo fuera a experimentar otro cambio de ritmo en
la tasa de crecimiento comparable en magnitud a los asociados con la revolucin agrcola y
la Revolucin Industrial. El economista Robin Hanson estima, en base a los datos
econmicos y poblacionales histricos, una economa mundial caracterstica de tiempo
para que la sociedad de cazadores-recolectores del Pleistoceno de 224.000 aos de
duplicacin; para la sociedad la agricultura, 909 aos; y para la sociedad industrial, 6,3
aos3 (En el modelo de Hanson, la poca actual es una mezcla de la agricultura y de los
modos-el crecimiento industrial de la economa mundial en su conjunto an no est
creciendo a la tasa de duplicacin de 6,3 aos.) Si otro tales transicin a un modelo de
crecimiento diferente se produjera, y fuera de magnitud similar a los dos anteriores, que
dara lugar a un nuevo rgimen de crecimiento en el que la economa mundi al se
duplicara en tamao cada dos semanas. Dicha tasa de crecimiento parece fantstico por
las luces actuales. Los observadores en pocas anteriores podran haber encontrado
igualmente absurdo suponer que la economa mundial un da sera duplica varias veces
dentro de un mismo perodo de vida. Sin embargo, esa es la condicin extraordinaria que
ahora damos a ser ordinarias.
La idea de una singularidad tecnolgica que viene a estas alturas ha sido
ampliamente popularizado, empezando por ensayo seminal de Vernor Vinge y
continuando con los escritos de Ray Kurzweil y otros.4 El trmino "singularidad", sin
embargo, se ha utilizado en muchos sentidos confusamente dispares y ha acrecentado un
(todava casi milenaria) aura impa de connotations.5 tecno-utpico Dado que la mayora
de estos significados y connotaciones son irrelevantes para nuestro argumento, podemos
ganar claridad mediante la supresin de la palabra "singularidad" en favor de una
terminologa ms precisa.
La idea relacionada singularidad que nos interesa aqu es la posibilidad de una
explosin de inteligencia, En particular la perspectiva de la mquina superinteligencia.
Puede haber quienes estn persuadido por los diagramas de crecimiento como los de la
Figura 1 que otro cambio drstico en el modo de crecimiento est en las cartas,
comparable a la agrcola o la Revolucin Industrial. Esta gente puede entonces reflejan
que es difcil concebir un escenario en el que el tiempo de duplicacin de la economa
mundial reduce a meras semanas que no implica la creacin de mentes que son mucho
ms rpido y ms eficiente que el tipo biolgico familiar. Sin embargo, el caso de tomar en
serio la perspectiva de una revolucin inteligencia de la mquina no tiene por qu
depender de los ejercicios de ajuste de curvas o extrapolaciones de crecimiento

econmico pasado. Como veremos, hay razones ms fuertes para tomar atencin.
Figura 1
La historia a largo plazo del PIB mundial. Trazada en una escala lineal, la historia de la
economa mundial se parece a una lnea plana abrazando a la X
eje y, hasta que de repente clava verticalmente hacia arriba. (A) Incluso cuando nos
acercamos a las ms recientes 10.000 aos, el patrn sigue siendo esencialmente una de
un solo ngulo de 90 . (B) Slo en los ltimos 100 aos ms o menos hace el ascensor
curva sensiblemente por encima del nivel cero. (Las diferentes lneas en la trama
corresponden a diferentes conjuntos de datos, que producen poco diferente estimates.6)
Grandes expectativas
Mquinas emparejan los seres humanos en la inteligencia de que en general es,
que poseen el sentido comn y la capacidad efectiva de aprender, razonar y planificar
para satisfacer desafos complejos de procesamiento de informacin a travs de una
amplia gama de naturales y abstractas dominios han esperado desde la invencin de las
computadoras en la dcada de 1940. En ese momento, la llegada de este tipo de
mquinas a menudo se coloca una veintena de aos en el futuro.
7
Desde entonces, la fecha prevista de llegada ha estado retrocediendo a un ritmo
de un ao por cada ao; por lo que hoy en da, los futuristas que se preocupan por la
posibilidad de ia fuerte todava a menudo creen que las mquinas inteligentes son un par
de dcadas away.8
Dos dcadas es un punto dulce para pronosticadores de cambio radical: lo
suficientemente cerca para ser que llame la atencin y relevante, pero lo suficiente para
que sea posible suponer que para entonces podra haber ocurrido una serie de avances,
en la actualidad slo vagamente imaginable,. Contraste esto con plazos ms cortos: la
mayora de las tecnologas que tendrn un gran impacto en el mundo en cinco o diez aos
a partir de ahora ya son de uso limitado para que tecnologas que remodelar el mundo en
menos de quince aos, probablemente existen como prototipos de laboratorio. Veinte
aos tambin pueden estar cerca de la duracin tpica restante de la carrera de un
pronosticador, que limita el riesgo reputacional de una prediccin audaz.
Del hecho de que algunos individuos han sobrepronostic inteligencia artificial en
el pasado, sin embargo, no se sigue que la IA es imposible o nunca se desarroll.
9
La razn principal por la que el progreso ha sido ms lento de lo esperado es que
las dificultades tcnicas de la construccin de mquinas inteligentes han demostrado ser
superiores a los pioneros previeron. Pero esto deja abierta cun grande esas dificultades
son y qu tan lejos estamos ahora de superarlos. A veces, un problema que parece
inicialmente irremediablemente complicada resulta tener una solucin
sorprendentemente simple (aunque lo contrario es probablemente ms comn).

En el prximo captulo, vamos a ver los diferentes caminos que pueden conducir a la
inteligencia de las mquinas a nivel humano. Pero notemos en primer lugar que no
obstante las muchas paradas que hay entre aqu y la inteligencia artificial a nivel humano,
ste no es el destino final. La siguiente parada, a poca distancia de ms largo de las pistas,
es la inteligencia artificial a nivel sobrehumano. El tren no podra deten er o incluso
desacelerar en la estacin Humanville. Es probable que Swoosh derecho.
El matemtico IJ Good, que haba servido como jefe de estadstica en el equipo para
romper el cdigo de Alan Turing en la Segunda Guerra Mundial, podra haber sido el
primero en enunciar los aspectos esenciales de este escenario. En un pasaje muy citado de
1965, escribi:
Deje una mquina ultrainteligente definirse como una mquina que ahora puede superar
todas las actividades intelectuales de cualquier hombre, sin embargo inteligente. Desde el
diseo de mquinas es una de estas actividades intelectuales, una mquina
ultrainteligente podra disear incluso mejores mquinas; entonces habra, sin duda, una
"explosin de inteligencia", y la inteligencia del hombre se quedara muy atrs. As, la
primera mquina ultrainteligente es la ltima invencin de que el hombre tiene que hacer
cada vez, siempre que la mquina es lo suficientemente dcil para decirnos cmo
mantenerla bajo control.
10
Puede parecer obvio ahora que los principales riesgos existenciales se asociaran
con una explosin como la inteligencia, y que la perspectiva, por tanto, debe ser
examinada con la mayor seriedad, incluso si se supiera (que no lo es) tener sino un
moderado pequea probabilidad de que viene pasar. Los pioneros de la inteligencia
artificial, sin embargo, a pesar de su creencia en la inminencia de nivel AI humana, en su
mayora no contemplan la posibilidad de mayor de lo humano AI. Es como si sus msculos
especulacin lo haba agotado en concebir la posibilidad radical de mquinas alcanzando
la inteligencia humana que no poda comprender el corolario-que las mquinas seran
posteriormente
convertido
superinteligente.
Los pioneros de AI en su mayor parte no tolerar la posibilidad de que su empresa podra
implicar riesgos.
11
Le dieron ningn servicio a dejar el labio solo seria pensamiento a cualquier problema de
seguridad o reparo tico relacionado con la creacin de mentes artificiales y potenciales
seores informticos: una laguna que asombra incluso en el contexto de la era de la
normas no tan impresionantes de tecnologa crtica assessment.12 Debemos esperar que
por el momento la empresa con el tiempo llega a ser factible, habremos ganado no slo el
nivel de competencia tecnolgica para provocar una explosin de inteligencia, sino
tambin el mayor nivel de maestra que sean necesarias para hacer que la detonacin de
supervivencia.
Pero antes de que nos dirigimos a lo que se avecina, ser til tomar un rpido vistazo a la

historia de la inteligencia de la mquina hasta la fecha. Estaciones de la esperanza y la

desesperacin
En el verano de 1956 en el Dartmouth College, diez cientficos comparten un
inters en las redes neuronales, teora de autmatas, y el estudio de la inteligencia
convocado para un taller de seis semanas. Este Proyecto de Verano Dartmouth es a
menudo considerado como el canto del gallo de la inteligencia artificial como un campo
de investigacin. Muchos de los participantes ms tarde sera reconocido como figuras de
fundacin. La visin optimista entre los delegados se refleja en la propuesta presentada a
la Fundacin Rockefeller, que proporcion los fondos para el evento:
Proponemos que un 2 meses, 10 estudio hombre de inteligencia artificial se llevar
a cabo .... El estudio es proceder sobre la base de la conjetura de que todos los aspectos
de aprendizaje o cualquier otra caracterstica de la inteligencia puede en principio ser tan
describe precisamente que una mquina puede ser hecha para simular la misma. Se har
un intento de encontrar la manera de hacer las mquinas que utilizan el lenguaje,
abstracciones y conceptos de forma, resolver tipos de problemas que ahora reservadas a
los seres humanos, y mejorar a s mismos. Creemos que un avance significativo puede
hacerse en uno o ms de estos problemas si un grupo cuidadosamente seleccionado de
cientficos trabajar en l juntos por un verano.
En las seis dcadas desde este inicio impetuoso, el campo de la inteligencia
artificial ha pasado por perodos de bombo y las altas expectativas que se alternan con
perodos de retroceso y la decepcin.
El primer perodo de excitacin, que comenz con la reunin de Dartmouth, fue
descrito ms tarde por John McCarthy (principal organizador del evento) como "Mira,
mam, sin manos!" Era. Durante estos primeros das, los investigadores construyeron
sistemas diseados para refutar las afirmaciones de la forma "Ninguna mquina jams
podra hacer
X
! "Tales afirmaciones escpticos eran comunes en la poca. Para contrarrestarlos,
los investigadores de la IA crearon pequeos sistemas que alcanzaron
X
en un "micromundo" (un bien definido, dominio limitado que permiti una versin
reducida de la actuacin que se demostr), lo que proporciona una prueba de concepto y
demostrar que
X
podra, en principio, debe hacerse por la mquina. Uno de estos sistemas
temprano, el terico de la lgica, fue capaz de probar la mayor parte de los teoremas en el
segundo captulo de Whitehead y Russell
Principia Mathematica
, E incluso se acerc con una prueba de que era mucho ms
elegante que el original, desacreditando as la idea de que las mquinas podran "pensar
slo numricamente" y que muestra que las mquinas tambin fueron capaces de hacer la
deduccin y de inventar proofs.13 lgica Un seguimiento programa, el general Problem
Solver, podra resolver, en principio, una amplia gama de programas problems.14
especificados formalmente que podran resolver problemas de clculo tpicos de los
cursos universitarios de primer ao, los problemas de analoga visual del tipo que aparece
en algunas pruebas de coeficiente intelectual, y simples verbal problemas de lgebra eran
tambin written.15 El robot Shakey (llamada as debido a su tendencia a temblar durante

la operacin) demostr cmo el razonamiento lgico podra ser integrado con la

percepcin y la utiliza para planificar y controlar fsica activity.16 El programa ELIZA
mostr como un equipo podra suplantar un psychotherapist.17 Rogerian A mediados de
los aos setenta, el programa SHRDLU mostr cmo un brazo robtico simulado en un
mundo simulado de bloques geomtricos podra seguir instrucciones y responder a las
preguntas en Ingls que se escriben en por un user.18 En dcadas posteriores, sistemas
hara se crean que demostraron que las mquinas podran componer msica en el estilo
de diversos compositores clsicos, superar a los mdicos en formacin en ciertas tareas de
diagnstico clnico, conducir coches de forma autnoma, y hacer patentable inventions.19
Incluso ha habido una IA que quebr jokes.20 original (no que su nivel de humor era alta
"Qu se obtiene cuando se cruza un ptico con un
objetos mentales
? Una
ojo
-dea "hijos -pero los informes, encontraron sus juegos de palabras constantemente
entretenido.) Los mtodos que produjeron xitos en los sistemas de demostraci n
tempranas a menudo
resultado difcil de extender a una mayor variedad de problemas o para casos de
problemas ms difciles. Una razn para esto es la "explosin combinatoria" de
posibilidades que deben ser exploradas por los mtodos que se basan en algo as como
bsqueda exhaustiva. Estos mtodos funcionan bien para los casos simples de un
problema, pero fracasan cuando las cosas se ponen un poco ms complicado. Por
ejemplo, para probar un teorema que tiene una de 5 lneas de largo la prueba en un
sistema de deduccin con una regla de inferencia y 5 axiomas, uno podra simplemente
enumerar las combinaciones posibles y comprobar 3,125 cada uno para ver si entrega la
conclusin prevista. Bsqueda exhaustiva podra tambin trabajar para pruebas de 6 y 7
de la lnea. Pero a medida que la tarea se hace ms difcil, el mtodo de bsqueda
exhaustiva pronto se mete en problemas. Demostrando un teorema con una prueba de 50
lneas no toma diez veces ms que demostrar un teorema que tiene una prueba de 5
lneas: ms bien, si uno utiliza bsqueda exhaustiva, se requiere peinado a travs de 550
8,9 1034 secuencias posibles -que es computacionalmente inviable incluso con los
superordenadores ms rpidos.
Para superar la explosin combinatoria, hay algoritmos que explotan la estructura del
dominio de destino y se aprovechan de los conocimientos previos mediante el uso de
bsqueda heurstica, la planificacin y abstractas representaciones capacidades flexibles
que estaban mal desarrollados en los primeros sistemas de IA. El rendimiento de estos
primeros sistemas tambin sufri debido a los mtodos deficientes para el manejo de la
incertidumbre, la dependencia de las representaciones quebradizos y sin conexin a tierra
simblicos, la escasez de datos y limitaciones de hardware graves sobre la capacidad de la
memoria y la velocidad del procesador. A mediados de la dcada de 1970, hubo una
creciente toma de conciencia de estos problemas. La comprensin de que muchos
proyectos de IA nunca podran hacer valer sus promesas iniciales condujo a la aparicin de
la primera "invierno AI": un perodo de reduccin de personal, durante el cual los fondos
disminuy y aument el escepticismo, y la IA se cay de la moda.
Una nueva primavera lleg a principios de 1980, cuando Japn lanz su Proyecto Quinta

Generacin Computer Systems, una asociacin pblico-privada bien financiado que

pretenda dejar atrs el estado de la tcnica en el desarrollo de una arquitectura de
computacin paralela masiva que servira como plataforma para la inteligencia artificial.
Esto ocurri en la fascinacin pico con los japoneses "milagro econmico de la posguerra",
un perodo en el que lderes gubernamentales y empresariales occidentales buscaban
ansiosamente para adivinar la frmula del xito econmico de Japn en la esperanza de
replicar la magia en casa. Cuando Japn decidi invertir grandes en AI, varios otros pases
siguieron el ejemplo.
Los aos siguientes vieron una gran proliferacin de
sistemas expertos. Diseado
como herramientas de apoyo para los tomadores de decisiones, los sistemas expertos son
programas basados en reglas que hicieron inferencias sencillas de una base de
conocimiento de los hechos, que se haba obtenido de expertos en el dominio humano y
cuidadosamente codificadas a mano en un lenguaje formal. Se construyeron cientos de
estos sistemas expertos. Sin embargo, los sistemas ms pequeos siempre poco beneficio,
y los ms grandes resultaron caros de desarrollar, validar y mantener al da, y eran
generalmente engorroso de usar. Era prctico para adquirir un equipo independiente por
el simple hecho de ejecutar un programa. A fines de 1980, esta temporada de
crecimiento, tambin, haba seguido su curso.
El Proyecto Quinta Generacin no cumpli con sus objetivos, al igual que sus
contrapartes en Estados Unidos y Europa. Un segundo invierno AI descendi. En este
punto, un crtico justificadamente podra lamentar "la historia de la investigacin de la
inteligencia artificial hasta la fecha, que consiste siempre xito muy limitado en rea s
particulares, seguido inmediatamente por el fracaso en alcanzar los objetivos ms amplios
en los que estos xitos iniciales parecen en un primer momento a insinuar."
21
Los inversores privados comenzaron a huir de cualquier empresa que lleva la
marca de la "inteligencia artificial". Incluso entre los acadmicos y sus financiadores, "AI"
se convirti en un epithet.22 no deseado
El trabajo tcnico continu a buen ritmo, sin embargo, y por la dcada de 1990, el
segundo invierno AI descongelarse gradualmente. El optimismo se reaviv por la
introduccin de nuevas tcnicas, que pareca ofrecer alternativas al paradigma logicista tradicional (a menudo
referido como "buena inteligencia artificial pasado de moda", o "BAIA" para abreviar), que se haba centrado en la manipulacin de
smbolos de alto nivel y que haba alcanzado su apogeo en los sistemas expertos de la dcada de 1980. Las nuevas tcnicas pop ulares,
que incluan las redes neuronales y algoritmos genticos, se comprometieron a superar algunas de las deficiencias del enfoque BAIA, en
particular la "fragilidad" que caracteriza los programas de IA clsicas (que normalmente produce una completa tontera si los
programadores hicieron ni un solo ligeramente suposicin errnea). Las nuevas tcnicas se jact una actuacin ms orgnico. Por
ejemplo, las redes neuronales exhiben la propiedad de "degradacin elegante": una pequea cantidad de dao a una red neuronal
normalmente traducido en una pequea degradacin de su funcionamiento, en lugar de un accidente to tal. An ms importante, las
redes neuronales pueden aprender de la experiencia, la bsqueda de formas naturales de generalizar a partir de ejemplos y la
bsqueda de patrones estadsticos ocultos en su input.23 Esto hizo que las redes de buenas a problemas de reconocimiento de
patrones y clasificacin. Por ejemplo, mediante la formacin de una red neuronal en un conjunto de datos de las seales de so nar,
podra ser enseado a distinguir los perfiles acsticos de submarinos, minas y la vida marina con mayor precisin que los expertos
humanos, y esto se puede hacer sin que nadie tener que averiguar de antemano exactamente cmo las categoras deban ser defin ido o
cmo diferentes caractersticas deban ser ponderados.

Si bien se haban conocido los modelos de redes neuronales simples desde finales de
1950, el campo disfrut de un renacimiento despus de la introduccin del algoritmo
backpropagation, lo que hizo posible entrenar redes neuronales multicapa.
24
Este tipo de redes de mltiples capas, que tienen uno o ms intermediarios ("ocultos")
capas de neuronas entre las capas de entrada y de salida, pueden aprender una gama
mucho ms amplia de funciones que sus predecessors.25 sencillas combinadas con los
ordenadores cada vez ms potentes que se estaban convirtiendo disponibles, estas
mejoras algortmicas permiti a los ingenieros para construir redes neuronales que eran lo
suficientemente bueno como para ser til en muchas aplicaciones.
Las cualidades del cerebro como de las redes neuronales contrastados fa vorablemente
con la lgica de cortar de manera rgida pero el rendimiento de los sistemas frgiles suficientes BAIA basados en reglas tradicionales de modo de inspirar un nuevo "ismo"
conexionismo
, Que hizo hincapi en la importancia de procesamiento sub-simblico paralelo masivo.
Ms de 150.000 artculos acadmicos ya han sido publicados en las redes neuronales
artificiales, y seguir siendo un enfoque importante en el aprendizaje de la mquina.
Los mtodos basados en la evolucin, tales como algoritmos genticos y programacin
gentica, constituyen otro enfoque cuyo surgimiento ayudado a poner fin a la segunda
invierno AI. Hizo tal vez un impacto acadmico menor que las redes neuronales, pero fue
ampliamente popularizado. En los modelos evolutivos, se mantiene una poblacin de
soluciones candidatas (que pueden ser estructuras o programas de datos), y las nuevas
soluciones candidatas son generados aleatoriamente por mutacin o recombinacin de
variantes en la poblacin existente. Peridicamente, la poblacin se poda mediante la
aplicacin de un criterio de seleccin (una funcin de aptitud) que permite que slo los
mejores candidatos para sobrevivir en la prxima generacin. Repiten a lo largo de miles
de generaciones, la calidad media de las soluciones en el grupo de candidatos aumenta
gradualmente. Cuando funciona, este tipo de algoritmo puede producir soluciones
eficientes a una amplia gama de problemas-soluciones que pueden ser
sorprendentemente novedoso y poco intuitivo, a menudo buscan ms como estructuras
naturales que cualquier cosa que un ingeniero humano diseara. Y, en principio, esto
puede ocurrir sin mucha necesidad de intervencin humana ms all de la especificacin
inicial de la funcin de aptitud, que a menudo es muy simple. En la prctica, sin embargo,
conseguir mtodos evolutivos de trabajar bien requiere habilidad e ingenio, sobre todo en
la elaboracin de un buen formato de representacin. Sin una
forma eficiente para codificar soluciones candidatos (un lenguaje gentico que coincid e
con la estructura latente en el dominio de destino), la bsqueda de la evolucin tiende a
deambular eternamente en un vasto espacio de bsqueda o quedar atrapado en un
ptimo local. Incluso si se encuentra un buen formato de representacin, la evolucin es
computacionalmente exigente ya menudo es derrotado por la explosin combinatoria.
Las redes neuronales y algoritmos genticos son ejemplos de mtodos que estimulan el
entusiasmo en la dcada de 1990 al aparecer para ofrecer alternativas al paradigma
estancamiento BAIA. Pero la intencin aqu no es para cantar las alabanzas de estos dos
mtodos o para elevarlos por encima de las muchas otras tcnicas de aprendizaje

automtico. De hecho, uno de los principales desarrollos tericos de los ltimos veinte
aos ha sido una comprensin ms clara de cmo superficialmente tcnicas dispares
pueden ser entendidas como casos especiales dentro de un marco matemtico comn. Por
ejemplo, muchos tipos de red neuronal artificial se pueden ver como clasificadores que
realizan un tipo particular de clculo estadstico (estimacin de mxima verosimilitud).26
Esta perspectiva permite redes neuronales que deben compararse con una clase ms
amplia de algoritmos para clasificadores de ejemplos- aprendizaje "rboles de decisin",
"modelos de regresin logstica", "mquinas de vectores soporte", "ingenuo de Bayes", "
k
-nearest-vecinos de regresin ", entre others.27 De una manera similar, los algoritmos
genticos se pueden ver como realizar estocstico de escalada, que es de nuevo un
subconjunto de una clase ms amplia de algoritmos para la optimizacin. Cada uno de
estos algoritmos para la construccin de clasificadores o para la bsqueda de un espacio
de soluciones tiene su propio perfil de las fortalezas y debilidades que se p ueden estudiar
matemticamente. Los algoritmos difieren en sus requisitos de tiempo de procesador y
espacio de memoria, que los sesgos inductiva que presuponen, la facilidad con que
externamente contenido producido se puede incorporar, y la transparencia d e su
funcionamiento interno son un analista humano.
Detrs del alarde publicitario de la mquina de aprendizaje y resolucin creativa de
problemas tanto se encuentra un conjunto de compensaciones matemticamente bien
especificadas. Lo ideal es que el agente de bayesiano perfecto, uno que hace uso
probabilsticamente ptimo de la informacin disponible. Este ideal es inalcanzable
porque est demasiado computacionalmente exigente para ser implementado en
cualquier equipo fsico (vase el recuadro 1). En consecuencia, se puede ver la inteligencia
artificial como una bsqueda para encontrar atajos: formas de tractably aproximar el ideal
bayesiano sacrificando algunos optimalidad o generalidad preservando suficiente para
conseguir un alto rendimiento en los dominios reales de inters.
Un reflejo de esta imagen se puede ver en el trabajo realizado durante el ltimo par de
dcadas en los modelos grficos probabilsticos, como las redes Bayesianas. Redes
bayesianas proporcionan una forma concisa de representar las relaciones de
independencia probabilsticos y condicionales que tienen en algn dominio particular.
(Explotacin de tales relaciones de independencia es esencial para la superacin de la
explosin combinatoria, que es como un gran problema para la inferencia probabilstica
como lo es para la deduccin lgica.) Tambin proporcionan informacin importante
sobre el concepto de causalidad. 28
Una de las ventajas de relacionar los problemas de aprendizaje de los dominios
especficos para el problema general de la inferencia bayesiana es que los nuevos
algoritmos que hacen inferencia bayesiana ms eficiente entonces producir mejoras
inmediatas a travs de muchas reas diferentes. Los avances en las tcnicas de
aproximacin de Monte Carlo, por ejemplo, se aplican directamente en la visin artificial,
la robtica, la gentica y computacionales. Otra ventaja es que permite a los
investigadores de diferentes disciplinas piscina ms fcilmente sus resultados. Modelos
grficos y estadstica bayesiana se han convertido en un foco comn de investigacin en

muchos campos, incluyendo el aprendizaje de mquina, la fsica estadstica, la

bioinformtica, la optimizacin combinatoria y teora de la comunicacin.35 Una buena
cantidad de los recientes progresos en el aprendizaje de la mquina es el resultado de la
incorporacin de los resultados formales originalmente derivados en otros campos
acadmicos. (Aplicaciones de aprendizaje de mquina tambin se han beneficiado
enormemente de las computadoras ms rpidas y mayor disponibilidad de grandes
conjuntos de datos.)
Recuadro 1 Un agente bayesiano ptimo
Un agente bayesiano perfecto comienza con una "distribucin de probabilidad antes", una
funcin que asigna probabilidades a cada "mundo posible" (es decir, a cada forma
especfica al mximo el mundo podra llegar a ser).29
Este antes incorpora un sesgo inductivo tal que los mundos ms simples posibles se
asignan probabilidades ms altas. (Una forma de definir formalmente la simplicidad de un
mundo posible es en trminos de su "complejidad Kolmogorov," una medida basada en la
longitud del programa ms corto de computadoras que genera una descripcin completa
del mundo.30) El anterior tambin incorpora cualquier fondo conocimiento de que los
programadores quieren dar al agente.
Como el agente recibe nueva informacin de sus sensores, actualiza su distribucin de
probabilidad por conditionalizing la distribucin de la nueva informacin de acuerdo con
el teorema de Bayes. 31 Condicionalizacin es la operacin matemtica que establece el
nuevo probabilidad de esos mundos que son incompatibles con la informacin recibida a
cero y normaliza la distribucin de probabilidad sobre los mundos posibles restantes. El
resultado es una "distribucin de probabilidad posterior" (que el agente puede usar como
su nuevo antes en el siguiente paso del tiempo). A medida que el agente hace
observaciones, su masa de probabilidad de este modo se concentr en el conjunto cada
vez menor de los mundos posibles que permanecen consistentes con la evidencia; y entre
estos mundos posibles, otras ms simples siempre tienen ms probabilidad.
Metafricamente, podemos pensar en una probabilidad como la arena en una hoja
grande de papel. El documento se divide en zonas de diferentes tamaos, cada rea
correspondiente a un mundo posible, con grandes reas que corresponden a mundos ms
simples posibles. Imagnese tambin una capa de arena de incluso extensin de espesor
en toda la hoja: esta es nuestra distribucin de probabilidad previa. Cada vez que una
observacin se hace que descarte algunos mundos posibles, quitamos la arena de las
reas correspondientes del papel y redistribuirlo de manera uniforme sobre las reas que
quedan en juego. Por lo tanto, la cantidad total de la arena en la hoja nunca cambia, slo
se concentra en menos reas como evidencia observacional acumula. Esta es una imagen
de aprendizaje en su forma ms pura. (Para calcular la probabilidad de una
hiptesis, Simplemente medir la cantidad de arena en todas las reas que
corresponden a los mundos posibles en los que la hiptesis es verdadera.)
Hasta el momento, hemos definido una regla de aprendizaje. Para conseguir un agente,
tambin necesitamos una regla de decisin. Con este fin, dotamos al agente con una
"funcin de utilidad", que asigna un nmero a cada mundo posible. El nmero representa
la conveniencia de que mundo segn preferencias bsicas del agente. Ahora, en cada paso

de tiempo, el agente selecciona la accin con la ms alta utilidad esperada.

32

(Para encontrar la accin con la ms alta utilidad esperada, el agente podra enumerar
todas las acciones posibles. Se podra entonces calcular la distribucin de probabilidad
condicional dada la accin de la distribucin de probabilidad que resultara de
conditionalizing su distribucin de probabilidad actual en la observacin de que la accin
tena acaba de ser tomada. Por ltimo, se podra calcular el valor esperado de la accin
como la suma del valor de cada mundo posible multiplicado por la probabilidad
condicional de que el mundo dado action.33)
La regla de aprendizaje y la regla de
decisin en conjunto definen una "nocin ptimo" para un agente. (Esencialmente la
misma nocin de optimalidad se ha utilizado ampliamente en la inteligencia artificial, la
epistemologa, la filosofa de la ciencia, la economa, y las estadsticas.
34
) En realidad, es imposible construir un agente tal porque es computacionalmente
intratable para realizar los clculos necesarios. Cualquier intento de hacerlo sucumbe a
una explosin combinatoria como el descrito en nuestra discusin de la BAIA. Para ver por
qu esto es as, considere un pequeo subconjunto de todos los mundos posibles: los que
constan de un solo monitor de ordenador flotando en un vaco sin fin. El monitor tiene 1,
000 1, 000 pxeles, cada uno de los cuales es perpetuamente encendido o apagado.
Incluso este subconjunto de los mundos posibles es enormemente grande: la 2 (1000
1000) posibles estados del monitor superan en nmero a todos los clculos previstos
siempre que tenga lugar en el universo observable. Por lo tanto, no podamos ni siquiera
enumerar todos los mundos posibles en este pequeo subconjunto de todos los mundos
posibles, y mucho menos realizar clculos ms elaborados en cada uno de ellos
individualmente.
Nociones de optimalidad pueden ser de inters terico, incluso si son fsicamente
irrealizable. Nos dan un estndar por el cual juzgar aproximaciones heursticas, ya veces
podemos razonar sobre lo que un agente ptima hara en algn caso especial. Nos
encontraremos con algunas nociones de optimalidad alternativas para agentes artificiales
en el Captulo 12.
Lo ltimo
La inteligencia artificial ya supera a la inteligencia humana en muchos dominios. Tabla 1
encuestas del estado de los equipos de juego de papeles, lo que d emuestra que los IA
ahora venci a los campeones humanos en una amplia gama de juegos.36
Estos logros no podran parecer impresionante hoy. Pero esto se debe a que
nuestros estndares de lo que es impresionante torre adaptando a los avances que se
realizan. Juego de ajedrez de expertos, por ejemplo, se pensaba para personificar la
inteleccin humana. En opinin de varios expertos a finales de los aos cincuenta: "Si uno
pudiera idear una mquina de ajedrez xito, uno parece haber penetrado en el ncleo d e
la actividad intelectual humana."55
Esto ya no parece tan. Uno simpatiza con John McCarthy, quien se lament: ". Tan pronto
como funciona, nadie lo llama AI nunca ms" 56
Tabla 1
Juego de papeles AI

Damas Sobrehumano
Programa de damas de Arthur Samuel, escrito originalmente en 1952 y ms tarde
mejorado (la versin 1955 incorpora el aprendizaje de mquina), se convierte en el primer
programa para aprender a jugar un juego mejor que su creador.
37
En 1994, el programa de CHINOOK bate el campen reinante humana, marcando
la primera vez que un programa gana un campeonato mundial oficial en un juego de
habilidad. En 2002, Jonathan Schaeffer y su equipo "resolver" las damas, es decir, producir
un programa que siempre hace el mejor movimiento posible (que combina la bsqueda
alfa-beta con una base de datos de 39000000000000 posiciones de finales). Juego
perfecto por ambos lados conduce a una draw.38
Backgammon Sobrehumano 1979: El programa de backgammon BKG por Hans Berliner
derrota el-campen primer programa informtico mundo para derrotar (en un partido de
exhibicin) un campen del mundo en cualquier juego, aunque ms tarde Berliner atribuye
la victoria a la suerte con las tiradas de dados.39

1992: El programa de backgammon TD-Gammon por Gerry Tesauro alcanza la

capacidad a nivel de campeonato, con diferencia temporal de aprendizaje (una forma de
aprendizaje por refuerzo) y jugadas repetidas contra s mismo para mejorar.
40

En los aos transcurridos desde, programas de backgammon ahora han superado los
mejores jugadores humanos.41
TCS viajeros Sobrehumana en colaboracin con humanos42
Tanto en 1981 y 1982, el programa de Douglas Lenat Eurisko gana el campeonato
de Estados Unidos en TCS viajeros (un juego de guerra naval futurista), lo que provoc
cambios en las reglas para bloquear sus estrategias poco ortodoxas.
43
Eurisko tenido heursticas para el diseo de su flota, y tambin tena la heurstica
para modificar sus heurstica.
Othello Sobrehumano
1997: El programa Logistello gana cada juego en un partido de seis partidos contra
el campen del mundo de Takeshi Murakami.44 Ajedrez Sobrehumano
1997: Deep Blue es mejor que el campen mundial de ajedrez, Garry Kasparov.
Kasparov afirma haber visto destellos de inteligencia y creatividad cierto en algunos de los
movimientos de la computadora. 45
Desde entonces, los motores de ajedrez han seguido improve.46
Crucigramas
Nivel Experto 1999: El programa Proverbio crucigrama para resolver el crucigrama supera a -solucionador media.47

2012: El programa Dr. Fill, creada por Matt Ginsberg, las puntuaciones en el cuartil

superior entre los concursantes de lo contrario humanos en la American Crucigrama

Torneo. (Del Dr. Rellena rendimiento es irregular. Se completa perfectamente el
rompecabezas tiene ms difcil por los seres humanos, sin embargo, est perplejo por un
par de acertijos no estndar que implicaron la ortografa hacia atrs o escribir respuestas
en diagonal.) 48
Escarbar
Sobrehumano A partir de 2002, el software de Scrabble-juego supera a los mejores
jugadores humanos.49 Puente
Igual a la mejor
Para el ao 2005, puente de contrato que juegan software alcanza
la paridad con los mejores jugadores de bridge humanos.
50
Jeopardy!
Sobrehumano 2010: IBM Watson
derrota a los dos de todos los tiempos-ms humana
Jeopardy!
campeones, Ken Jennings y Brad Rutter.51 Jeopardy! es un programa de juegos por
televisin con preguntas de trivia sobre la historia, la literatura, los deportes, la geografa,
la cultura pop, la ciencia y otros temas. Las preguntas se presentan en forma de pistas, ya
menudo implican juegos de palabras. Pker Variado
Los jugadores de pquer de ordenador permanecen ligeramente por debajo de los
mejores seres humanos para full-ring de Texas hold 'em pero desempearse a un nivel
sobrehumano en algunas variantes de pquer.
52
Carta blanca
Sobrehumano
Heurstica evolucionaron mediante algoritmos genticos producen un solucionador
para el juego de solitario FreeCell (que en su forma ms generalizada es NP-completo) que
es capaz de vencer a los jugadores humanos de alto rango.
53
Ir
Muy fuerte nivel amateur A partir de 2012, la serie Zen de los programas de gojuego ha alcanzado el rango 6 dan en los juegos rpidos (el nivel de un jugador muy
fuerte aficionado), utilizando Monte Carlo Bsqueda rbol y tcnicas de aprendizaje
automtico.54
Ir-jugando programas han ido mejorando a un ritmo de alrededor de 1 daN / ao en los
ltimos aos. Si esta tasa de mejora contina, podran vencer a la campeona del mundo
humano en cerca de una dcada.
Hay un sentido importante, sin embargo, en que ajedrecista AI result ser un triunfo
menor de lo que muchos imaginaron que sera. Antes se supona, tal vez no sin razn, que
para que un equipo a jugar al ajedrez a nivel de gran maestro, que tendra que estar
dotado de un alto grado de general
intelligence.57 Uno podra haber pensado, por ejemplo, el gran juego de ajedrez requiere
ser capaz de aprender conceptos abstractos, pensar inteligentemente acerca de la
estrategia, redactar planes flexibles, hacer una amplia gama de deducciones lgicas

ingeniosos, y tal vez incluso modelar el pensamiento de un rival. No tan. Result ser
posible construir un motor de ajedrez perfectamente bien en torno a un algorithm.58 para
fines especiales Cuando se implementa en los procesadores rpidos que se hicieron
disponibles hacia el final del siglo XX, que produce el juego muy fuerte. Pero una IA
construido de esa manera es estrecha. Juega al ajedrez; que puede hacer no other.59
En otros dominios, soluciones han resultado ser ms
complicada de lo previsto inicialmente, y el progreso ms lento. El cientfico de la
computacin Donald Knuth fue golpeado que "AI ha ya tenido xito en hacer bsicamente
todo lo que necesita" pensar ", pero ha dejado de hacer la mayor parte de lo que la gente
y los animales" sin thinking'-que, de alguna manera, es mucho ms difcil! "60 Analizar
escenas visuales, reconocimiento de objetos, o controlar el comportamiento de un robot
que interacta con un entorno natural ha demostrado ser un reto. Sin embargo, una
buena cantidad de progreso se ha hecho y contina siendo hecha, ayudado por las
constantes mejoras en el hardware. El sentido comn y la comprensin del lenguaje
natural tambin han resultado ser difcil. En la actualidad se piensa a menudo que el logro
de una actuacin totalmente plano humano en estas tareas es un problema "AI-completo",
lo que significa que la dificultad de resolver estos problemas es esencialmente equivalente
a la dificultad de la construccin en general mquinas inteligentes a nivel humano.61
En otras palabras, si alguien fueron para tener xito en la creacin de una IA que pudiera
entender el lenguaje natural, as como un adulto humano, seran con toda probabilidad
tambin o bien ya han logrado crear una IA que podra hacer todo lo dems que la
inteligencia humana puede hacer, o que seran sino una muy pequeo paso de un
capability.62 tan general
Experiencia Chess-juego result ser alcanzable por medio de un algoritmo
sorprendentemente simple. Es tentador especular que otras capacidades tales como la
capacidad de razonamiento general, o alguna habilidad clave que participan en la
programacin pueden asimismo ser alcanzable a travs de algn algoritmo
sorprendentemente simple. El hecho de que el mejor rendimiento a la vez que se alcanza
a travs de un complicado mecanismo no significa que no existe un mecanismo simple
podra hacer el trabajo tan bien o mejor. Podra ser simplemente que nadie ha encontrado
la alternativa ms sencilla. El sistema de Ptolomeo (con la Tierra en el centro, en rbita
por el Sol, la Luna, los planetas y las estrellas) represent al estado de la tcnica en la
astronoma durante ms de mil aos, y su exactitud predictiva se ha mejorado durante
siglos por complicando progresivamente el modelo aadiendo epiciclos sobre epiciclos a
los movimientos celestes postuladas. Entonces todo el sistema fue derrocado por la teora
heliocntrica de Coprnico, que era ms simple y, aunque slo despus de una mayor
elaboracin por accurate.63 Kepler-ms predictiva
Mtodos de inteligencia artificial se utilizan ahora en ms reas de lo que tendra sentido
para revisar aqu, pero mencionando una muestra de ellos le dar una idea de la amplitud
de las aplicaciones. Aparte del juego de IA aparece en la Tabla 1, hay audfonos con
algoritmos que filtran el ruido ambiental; ruta buscadores que muestran mapas y ofrecen
consejos de navegacin para los conductores; sistemas de recomendacin que sugieren
libros y lbumes de msica basado en las compras y clasificaciones anteriores de un
usuario; y los sistemas de apoyo a las decisiones mdicas que ayudan a los mdicos a

diagnosticar el cncer de mama, recomiendan los planes de tratamiento, y la ayuda en la

interpretacin de electrocardiogramas. Hay mascotas robticas y robots de limpieza, los
robots de csped-siega, robots de rescate, robots quirrgicos, y ms de un milln de
robots industriales. 64
La poblacin mundial de robots supera 10 million.65
Reconocimiento
de
voz
moderna, basada en tcnicas estadsticas tales como los modelos ocultos de Markov, se ha
convertido suficientemente exacta para el uso prctico (algunos fragmentos de este libro
se redactaron con la ayuda de un programa de reconocimiento de voz). Asistentes digitales
personales, tales como Siri de Apple, responden a comandos de voz y pueden responder a
preguntas sencillas y ejecutar comandos. Reconocimiento ptico de caracteres de texto
manuscrito y mecanografiado se utiliza rutinariamente en aplicaciones como el correo de
clasificacin y digitalizacin de documentos antiguos.66
Traduccin automtica sigue siendo imperfecto, pero es lo suficientemente bueno
para muchas aplicaciones. Los primeros sistemas utilizan el enfoque BAIA de gramticas
de codificacin manual que tuvieron que ser desarrollada por lingistas calificados de cero
para cada idioma. Los nuevos sistemas utilizan tcnicas de aprendizaje automtico
estadsticos que construyen automticamente modelos estadsticos de los patrones de
uso observados. La mquina deduce los parmetros de estos modelos mediante el anlisis
de corpora bilinge. Este enfoque prescinde de los lingistas: los programadores que
construyen estos sistemas necesitan ni siquiera hablar las lenguas con las que trabajan.
67
El reconocimiento facial ha mejorado lo suficiente en los ltimos aos que ahora
se utiliza en los pasos fronterizos automatizados en Europa y Australia. El Departamento
de Estado de Estados Unidos opera un sistema de reconocimiento facial con ms de 75
millones de fotografas para la tramitacin de visados. Los sistemas de vigilancia utilizan
tecnologas de minera de datos cada vez ms sofisticada IA y analizar de voz, vdeo o
texto, grandes cantidades de las cuales estn rastreado desde los medios de comunica cin
electrnicos en el mundo y se almacenan en centros de datos gigantes.
Teorema-proving y la ecuacin de problemas son ahora tan bien establecidas que
apenas se consideran como la IA ms. Solucionadores de ecuaciones se incluyen en los
programas de computacin cientfica, tales como Mathematica. Mtodos de verificacin
formal, incluyendo demostradores de teoremas automatizadas, se utilizan de forma
rutinaria por los fabricantes de chips para verificar el comportamiento de los diseos de
circuitos antes de la produccin.
Los establecimientos militares y de inteligencia de Estados Unidos han estado liderando el
camino para el despliegue a gran escala de los robots de bombas, disponiendo de
vigilancia y ataque aviones y otros vehculos no tripulados. Esto s todava dependen
principalmente de control remoto por los operadores humanos, pero se est trabajando
para extender sus capacidades autnomas. Programacin inteligente es un rea importante de xito. La
herramienta de DART para la planificacin logstica automatizada y la programacin se utiliz en la Operacin Tormenta del Desierto en
1991 a tales efectos que DARPA (Agencia de Proyectos de Investigacin Avanzada de Defensa de los Estados Unidos) afirma que e sta
sola aplicacin ms que pagado su inversin de treinta aos en la IA .

68
Sistemas de reserva de avin utilizan sistemas de programacin y de precios sofisticados.
Las empresas hacen un amplio uso de tcnicas de IA en los sistemas de control de
inventario. Tambin utilizan sistemas de reserva telefnica automticas y lneas de ayuda

relacionados con el software de reconocimiento de voz para marcar el comienzo de sus

clientes a travs de desventurados laberintos de enclavamiento opciones del men.
Tecnologas de IA subyacen muchos servicios de Internet. Software vigila el trfico de
correo electrnico en el mundo, ya pesar de la adaptacin continua por los spammers
para burlar las contramedidas que se les imputan, los filtros de spam bayesiano han
logrado en gran medida para contener la marea de spam a raya. Software utilizando
componentes de AI es responsable de aprobar o rechazar automticamente las
transacciones de tarjetas de crdito, y un seguimiento continuo de la actividad de cuenta
para detectar signos de uso fraudulento. Sistemas de recuperacin de informacin
tambin hacen un amplio uso de la mquina de aprendizaje. El motor de bsqueda de
Google es, sin duda, el mayor sistema de inteligencia artificial que an se ha construido.

Ahora, hay que subrayar que la demarcacin entre la inteligencia artificial y el

software en general no es agudo. Algunas de las aplicaciones mencionadas anteriormente
podra ser visto ms como aplicaciones de software genricos en lugar de AI, en particular,
aunque esto nos lleva de nuevo a la mxima de McCarthy que cuando algo funciona ya no
se llama AI. Una distincin ms relevante para nuestros propsitos es que entre los
sistemas que tienen un estrecho margen de capacidad cognitiva (llmense "AI" o no) y los
sistemas que tienen ms en general la capacidad de resolucin de problemas aplicables.
Esencialmente todos los sistemas actualmente en uso son del primer tipo: estrecho. Sin
embargo, muchos de ellos contienen componentes que tambin podra desempear un
papel en el futuro inteligencia general artificial o estar al servicio de su desarrollocomponentes tales como clasificadores, algoritmos de bsqueda, los planificadores, los
solucionadores, y los marcos de representacin.
Uno de alto riesgo y entorno extremadamente competitivo en el que los sistemas
de IA operan hoy en da es el mercado financiero global. Los sistemas automatizados en
acciones comerciales son ampliamente utilizados por las principales casas de inversin. Si
bien algunos de estos son simplemente formas de automatizar la ejecucin de
determinados comprar o vender rdenes emitidas por un gestor de fondos humana, otros
persiguen estrategias comerciales complicadas que se adaptan a las condiciones
cambiantes del mercado. Sistemas analticos utilizan una variedad de tcnicas de minera
de datos y anlisis de series de tiempo para explorar en busca de patrones y tendencias en
los mercados de valores o para correlacionar los movimientos de precios histricos con
variables externas tales como palabras clave en tickers de noticias. Proveedores de
noticias financieras venden paquetes de noticias que estn especialmente formateados
para su uso por este tipo de programas de IA. Otros sistemas se especializan en la
bsqueda de oportunidades de arbitraje dentro o entre los mercados, o en el comercio de
alta frecuencia, que busca sacar provecho de los movimientos de precios minuto que se
producen en el transcurso de milisegundos (una escala de tiempo en el que las latencias
de comunicacin, incluso para la velocidad de la luz en seales pticas cable de fibra
convertirse significativa, por lo que es ventajoso para localizar ordenadores cerca de la
central). Operadores de alta frecuencia algortmicos representan ms de la mitad de las
acciones de renta variable negociados en mercados de Estados Unidos.
69

Comercio algortmico ha sido implicado en Flash Crash de 2010 (ver Cuadro 2).

Recuadro 2 El flash crash de 2010

Por la tarde de mayo, 6,
2010, los mercados de acciones de Estados Unidos ya se redujeron un 4% por las
preocupaciones sobre la crisis de la deuda europea. En 14:32, un gran vendedor (un
complejo de fondos mutuos) inici un algoritmo de venta de disponer de un gran nmero
de los E-mini S & P 500 contratos de futuros para ser vendido a un ritmo de venta
vinculada a una medida de minuto-a- -Minuto liquidez en la bolsa. Estos contratos fueron
comprados por comerciantes de alta frecuencia algortmicos, que fueron programados
para eliminar rpidamente sus posiciones largas temporales mediante la venta de los

contratos a otros comerciantes. Con la demanda de los compradores fundamentales

tocado la barriga, la
comerciantes algortmicos comenzaron a vender el E-Minis principalmente a otros
operadores algortmicos, que a su vez les transmiten a los dems operadores algortmicos,
creando un efecto "patata caliente" haciendo subir volumen esta negociacin se
interpreta por el algoritmo de venta como un indicador de alta la liquidez, lo que llev a
aumentar el ritmo al que se estaba poniendo contratos E-Mini en el mercado, empujando
la espiral descendente. En algn momento, los operadores de alta frecuencia comenzaron
la retirada del mercado, secando la liquidez mientras que los precios siguieron cayendo. A
las 2:45 de la tarde, la negociacin en el E-mini se detuvo por un interruptor automtico,
funcionalidad lgica de parada de la central. Cuando se reinici el comercio, tan slo cinco
segundos ms tarde, los precios se estabilizaron y pronto comenzaron a recuperar la
mayor parte de las prdidas. Pero durante un tiempo, en el punto ms bajo de la crisis, un
billn de dlares se haban borrado del mercado, y los efectos secundarios se haban
llevado a un nmero sustancial de las operaciones en valores individuales en ejecucin a
precios "absurdas", como un centavo o 100000 dlares. Despus del cierre del mercad o
para el da, los representantes de las bolsas se reunieron con los reguladores y decidieron
romper todos los oficios que haban sido ejecutadas a precios 60% o ms lejos de sus
niveles anteriores a la crisis (considerando este tipo de transacciones "claramente
errnea" y por lo tanto sujetos a post facto
cancelacin bajo las reglas comerciales existentes) 0.70
El volver a contar aqu de este episodio es una digresin porque los programas
informticos que intervienen en el flash Crash no eran particularmente inteligente o
sofisticado, y el tipo de amenaza que crean es fundamentalmente diferente de las
preocupaciones nos recaudar ms adelante en este libro en relacin con la perspectiva de
la mquina superinteligencia. Sin embargo, estos acontecimientos ilustran varias lecciones
tiles. Uno de ellos es el recordatorio de que las interacciones entre los componentes de
forma individual simples (como el algoritmo de venta y de los programas de negociacin
algortmica de alta frecuencia) puede producir efectos complicados e inesperados. El
riesgo sistmico puede acumularse en un sistema de medida que se introducen nuevos
elementos, los riesgos que no son evidentes hasta despus de que algo va mal (ya veces ni
siquiera entonces). 71
Otra leccin es que los profesionales inteligentes pueden dar una instruccin a un
programa basado en una suposicin razonable aparente y, normalmente, de sonido (por
ejemplo, que el volumen de comercio es una buena medida de la liquidez del mercado), y
que esto puede producir resultados catastrficos cuando el programa sigue actuando en
la instruccin con frrea coherencia lgica, incluso en la situacin no prevista en la
hiptesis resulta ser vlido. El algoritmo simplemente hace lo que hace; ya menos que se
trata de un tipo muy especial de algoritmo, no importa que nos juntamos nuestras
cabezas y jadeo de horror estupefacto a lo inapropiado absurdo de sus acciones. Este es
un tema que nos encontraremos de nuevo.
Una tercera observacin en relacin con el flash Crash es que mientras que la
automatizacin contribuy a la incidente, tambin contribuy a su resolucin. La lgica de

orden de suspensin pre-programada previamente, que suspendi el comercio cuando los

precios se movieron demasiado fuera de control, se estableci para ejecutar
automticamente porque se haba previsto correctamente que los eventos
desencadenantes podran ocurrir en un plazo de tiempo demasiado rpido para que los
humanos responden. La necesidad de seguridad pre-instalado y ejecutar
automticamente la funcionalidad de oposicin a la dependencia de tiempo de ejecucin
humana supervisin nuevo presagia un tema que ser importante en nuestra discusin de
la mquina superinteligencia.
72
Las opiniones sobre el futuro de la inteligencia artificial
Progreso en dos grandes frentes hacia una ms slida base estadstica y teora de la
informacin para la mquina de aprendizaje, por un lado, y hacia el xito prctico y
comercial de varias aplicaciones de problemas especficos o de dominio especfico en el
otro, se ha restaurado a la investigacin en IA algo de su prestigio perdido. Puede haber,
sin embargo, ser una efecto cultural residual en la comunidad de la IA de su historia
anterior que hace que muchos investigadores principales renuentes a alinearse con el
exceso de gran ambicin. As Nils Nilsson, uno de los veteranos en el campo, se queja de
que sus colegas de hoy en da carecen de la audacia de espritu que impuls a los pioneros
de su propia generacin:
La preocupacin por la "respetabilidad" ha tenido, creo, un efecto embrutecedor
en algunos investigadores de la IA. Los oigo decir cosas como, "AI sola ser criticado por su
flossiness. Ahora que hemos hecho un progreso slido, no nos arriesgamos a perder
nuestra respetabilidad "Un resultado de este conservadurismo se ha aumentado la
concentracin en" IA dbil ", la variedad dedicada a proporcionar ayudas a pensamiento y
humano de distancia de" IA fuerte ". - la variedad que los intentos de mecanizar
inteligencia a nivel humano.
73
El sentimiento de Nilsson ha sido repetida por varios otros de los fundadores, entre ellos
Marvin Minsky, John McCarthy, y Patrick Winston. 74
Los ltimos aos han visto un resurgimiento del inters en la IA, que an podra
extenderse a renovados esfuerzos hacia artificial
general
inteligencia (lo que llama Nilsson "IA fuerte"). Adems de hardware ms
rpido, un proyecto contemporneo se beneficiara de los grandes avances que se han
hecho en los muchos subcampos de AI, en ingeniera de software de manera ms general,
y en los campos vecinos, como la neurociencia computacional. Un indicio de la demanda
acumulada de la informacin y la educacin de calidad se muestra en la respuesta a la
oferta gratuita en lnea de un curso de introduccin a la inteligencia artificial de l a
Universidad de Stanford en el otoo de 2011, organizada por Sebastian Thrun y Peter
Norvig. Algunos 160.000 estudiantes de todo el mundo firmaron desde la izquierda (y
23.000 completaron) 0.75
Opiniones de expertos sobre el futuro de la IA varan enormemente. Hay
desacuerdo sobre escalas de tiempo, as como acerca de lo que constituye AI
eventualmente podra tomar. Las predicciones sobre el futuro desarrollo de la inteligencia
artificial, un estudio reciente seal que "son tan seguros como lo son diversos."

76

Aunque la distribucin actual de la fe no se ha medido con mucho cuidado, podemos obtener una idea aproximada de

diversas encuestas y observaciones informales ms pequeos. En particular, una serie de encuestas recientes han encuestados
miembros de varias comunidades de expertos pertinentes sobre la cuestin de cundo esperan que "la inteligencia artificial a nivel
humano" (HLMI) a desarrollar, que se define como "una que pueda llevar a cabo la mayora de las profesiones humanas, al menos , as
como un humano tpico ".

77
Los resultados se muestran en la Tabla 2. dio la siguiente (mediana) estiman La
muestra combinada: 10% de probabilidad de HLMI en 2022, 50% de probabilidad para el
2040, y un 90% de probabilidades de 2075. (se les hizo a los encuestados que premisa de
sus estimaciones en el supuesto que "la actividad cientfica humana contina sin
interrupcin importante negativo.")
Estas cifras deben tomarse con algunos granos de sal: tamaos de muestra son bastante
pequeas y no necesariamente representativos de la poblacin general de experto. Ellos
son, sin embargo, en concordancia con los resultados de otras encuestas. 78
Los resultados de la encuesta tambin estn en lnea con algunas entrevistas publicadas
recientemente con aproximadamente dos docenas de investigadores en campos
relacionados a Inteligencia Artificial. Por ejemplo, Nils Nilsson ha pasado una carrera larga
y productiva trabajando en problemas en la bsqueda, la planificacin, la representacin
del conocimiento, y la robtica; es autor de los libros de texto en la inteligencia artificial; y
recientemente complet la historia ms completa del campo escrito hasta la fecha.
79
Cuando se le pregunt acerca de las fechas de llegada para HLMI, ofreci el siguiente
dictamen: 80 10% de probabilidad: 2030 50% de probabilidad: 2050
90% de probabilidad: 2100
Tabla 2

Cuando se alcanza la inteligencia artificial a nivel humano?81

A juzgar por las transcripciones de las entrevistas publicadas, distribucin de probabilidad

del profesor Nilsson parece ser bastante representativa de muchos expertos en el rea,
aunque de nuevo hay que destacar que existe una amplia difusin de la opinin: hay
profesionales que son sustancialmente ms boosterish, con confianza esperando HLMI en
el rango de 2020 a 40, y otros que estn seguros de que o bien nunca va a suceder o que
es indefinidamente lejos. 82 Adems, algunos de los entrevistados consideran que la
nocin de un "nivel humano" de la inteligencia artificial es mal definido o engaosa, o por
otras razones son reacios a dejar constancia con una prediccin cuantitativa.
Mi propia opinin es que los nmeros reportados en la mediana de la encuesta de
expertos no tienen masa de probabilidad suficiente en fechas posteriores de la llegada.
Una probabilidad de 10% de HLMI no haber sido desarrollado por 2075 o incluso 2100
(despus conditionalizing en "actividad cientfica humana continua y sin interrupcin
importante negativo") parece demasiado bajo.
Histricamente, los investigadores de la IA no han tenido un fuerte rcord de ser capaz de
predecir la velocidad de los avances en su propio campo o la forma que tales avances
tomaran. Por una parte, algunas tareas, como el ajedrez de juego, resultaron ser
alcanzable mediante programas sorprendentemente simples; y detractores que afirmaban
que las mquinas seran "nunca" ser capaz de hacer esto o aquello en repetidas ocasiones

se han equivocado. Por otro lado, los errores ms tpicos entre los practicantes han sido
subestimar las dificultades de conseguir un sistema para llevar a cabo con firmeza en las
tareas del mundo real, y para sobrestimar las ventajas de su propio proyecto personal o
tcnica.
La encuesta tambin pregunt a otras dos cuestiones de importancia para nuestra
investigacin. Se inform de los encuestados acerca de cunto tiempo pensaban que se
tardara en llegar superinteligencia asumiendo mquina-nivel humano se logra primero.
Los resultados estn en la Tabla 3.
Otra pregunta pregunt lo que pensaban sera el impacto general a largo plazo para la
humanidad de alcanzar la inteligencia artificial a nivel humano. Las respuestas se resumen
en la figura 2.
Mis propias opiniones nuevamente difieren un poco de las opiniones expresadas en la
encuesta. Asigno una probabilidad ms alta de superinteligencia crendose relativamente
pronto despus de la inteligencia artificial a nivel humano. Tambin tengo una perspectiva
ms polarizado sobre las consecuencias, pensando una muy buena o un muy mal
resultado ser algo ms propensos que
un resultado ms equilibrado. Las razones de
esto se aclararn ms adelante en el libro.
Tabla 3 Cunto tiempo desde el nivel humano a superinteligencia?
Dentro de 2 aos despus de HLMI
Dentro de 30 aos despus de HLMI
TOP100
5%
50%
10%
75%

Conjunto

Figura 2 Impacto global a largo plazo de HLMI.83 Los tamaos pequeos de la

muestra, los sesgos de seleccin, y -sobre todo- la falta de fiabilidad inherente de
opiniones personales provocaron quiere decir que no se debe leer demasiado en estas
encuestas a expertos y entrevistas. Ellos no nos dejan sacar ninguna conclusin firme. Pero
ellos apuntan a una conclusin dbil. Ellos sugieren que (al menos en lugar de mejores
datos o anlisis) puede ser razonable para creer que la inteligencia de la mquina a nivel
humano tiene una oportunidad bastante considerable de ser desarrollado a mediados de
siglo, y que tiene la oportunidad no trivial de ser desarrollado considerablemente ms
pronto o ms tarde; que podra tal vez muy pronto a partir de entonces como resultado
superinteligencia; y que una amplia gama de resultados puede tener una posibilidad
significativa de que ocurra, incluyendo muy buenos resultados y los resultados que son tan
malos como la extincin humana.84
Por lo menos, sugieren que el tema merece una mirada ms cercana.
CAPITULO 2 Caminos de superinteligencia
Las mquinas son actualmente muy inferiores a los humanos en la inteligencia

general. Sin embargo, un da (que hemos sugerido) sern superinteligente. Cmo

podemos llegar desde aqu hasta all? Este captulo explora varios caminos tecnolgicos
concebibles. Nos fijamos en la inteligencia artificial, la emulacin de todo el cerebro, la
cognicin biolgica, y las interfaces hombre-mquina, as como redes y organizaciones.
Evaluamos sus diferentes grados de plausibilidad como vas para superinteligencia. La
existencia de mltiples caminos aumenta la probabilidad de que el destino se puede
alcanzar a travs de al menos uno de ellos.
Podemos definir tentativamente una superinteligencia como cualquier intelecto
que supera en gran medida el rendimiento cognitivo de los seres humanos en
prcticamente todos los mbitos de inters0.1 Tendremos ms que decir sobre el
concepto de superinteligencia en el prximo captulo, donde vamos a someterla a una
especie de anlisis espectral para distinguir algunas diferentes formas posibles de
superinteligencia. Pero por ahora, la caracterizacin aproximada acaba de dar suficiente.
Tenga en cuenta que la definicin es evasivo acerca de cmo se implementa la
superinteligencia. Tambin es evasivo respecto qualia: si una superinteligencia tendra
experiencia consciente subjetiva podra tener gran importancia para algunas preguntas
(en particular para algunas cuestiones morales), pero nuestro principal objetivo aqu es
sobre los antecedentes causales y consecuencias de la superinteligencia, no en la
metafsica de la mind.2 El programa de ajedrez Deep Fritz no es una superinteligencia en
esta definicin, ya que Fritz es slo es inteligente dentro del dominio estrecha de ajedrez.
Ciertos tipos de superinteligencia de dominio especfico podran, sin embargo, ser
importante. Al referirse al desempeo superinteligente limitado a un dominio particular,
vamos a notar explcitamente la restriccin. Por ejemplo, un "superinteligencia ingeniera"
sera un intelecto que supera ampliamente las mejores mentes humanas actuales en el
campo de la ingeniera. A menos que se indique lo contrario, se utiliza el trmino para
referirse a los sistemas que tienen un nivel sobrehumano de general inteligencia. Pero
cmo podemos crear superinteligencia? Examinemos algunos caminos posibles.
Inteligencia artificial Los lectores de este captulo no deben esperar un anteproyecto para
la programacin de una inteligencia general artificial. No existe tal plan, sin embargo, por
supuesto. Y si yo hubiera estado en posesin de un modelo tal, que con toda seguridad no
habra publicado en un libro. (Si las razones de esto no son inmediatamente evidentes, los
argumentos en los captulos siguientes se hacen claras.)
Podemos, sin embargo, discernir algunas de las caractersticas generales del tipo de
sistema que se requerira. Ahora parece claro que la capacidad de aprender sera una
caracterstica integral del diseo de la base de un sistema destinado a lograr la inteligencia
general, no es algo que se insertan en adelante como una extensin o una ocurrencia
tarda. Lo mismo ocurre con la capacidad de hacer frente eficazmente a la incertidumbre y
la informacin probabilstica. Algunos profesores para extraer conceptos tiles a partir de
los datos sensoriales y estados internos, y para el aprovechamiento de los conceptos
adquiridos en representaciones combinatorias flexibles para su uso en el razonamiento
lgico e intuitivo, tambin es probable que pertenecen entre las caractersticas de diseo
de ncleo en una IA moderna destinadas a alcanzar la inteligencia general.
Los primeros sistemas de Inteligencia Artificial buena pasada de moda no lo hicieron, en
su mayor parte, se centran en el aprendizaje, la incertidumbre, o la formacin de

conceptos, tal vez porque las tcnicas de tratar con estas dimensiones fueron poco
desarrollada en el momento. Esto no quiere decir que las ideas subyacentes son tan
novedoso. La idea de utilizar el aprendizaje como un medio de bootstrapping un sistema
ms sencillo a la inteligencia de nivel humano se remonta al menos a la nocin de una
"mquina de nio", que l escribi en 1950 de Alan Turing: En lugar de tratar de producir
un programa para simular la mente adulta, por qu no ms bien tratar de producir uno
que simula el nio? Si esto se somete entonces a un curso apropiado de la educacin se
obtendra el cerebro adulto.3
Turing prevea un proceso iterativo para desarrollar una mquina tal nio:
No podemos esperar encontrar una buena mquina nio en el primer intento. Hay que
experimentar con la enseanza de uno de esos mquina y ver lo bien que aprende.
Entonces se puede probar con otro y ver si es mejor o peor. Hay una conexin obvia entre
este proceso y la evolucin .... Uno puede Esperemos, sin embargo, que este proceso ser
ms rpido que la evolucin. La supervivencia del ms apto es un mtodo lento para
medir ventajas. El experimentador, por el ejercicio de la inteligencia, debe ser capaz de
acelerarlo. Igualmente importante es el hecho de que no se limita a mutaciones
aleatorias. Si es capaz de trazar una causa de alguna debilidad que probablemente puede
pensar en el tipo de mutacin que mejorarlo.
4
Sabemos que los procesos evolutivos ciegos pueden producir inteligencia general a nivel
humano, puesto que ya lo han hecho al menos una vez. Procesos evolutivos con visin de
futuro, es decir, los programas genticos diseados y guiados por un ser inteligente
programador debe humano ser capaz de lograr un resultado similar con mucho mayor
eficiencia. Esta observacin ha sido utilizado por algunos filsofos y cientficos, entre ellos
David Chalmers y Hans Moravec, para argumentar que a nivel de AI humana no slo es
tericamente posible, pero factible dentro de este siglo. 5 La idea es que podemos
estimar las capacidades relativas de evolucin y la ingeniera humana para producir
inteligencia, y encontrar que la ingeniera humana es ya muy superior a la evolucin en
algunas reas y es probable que se convierta superior en las reas restantes en poco
tiempo. El hecho de que la evolucin produce la inteligencia, por tanto, indica que la
ingeniera humana pronto ser capaz de hacer lo mismo. Por lo tanto, escribi Moravec
(ya en 1976):
La existencia de varios ejemplos de inteligencia diseado bajo estas limitaciones
nos debe dar una gran confianza de que podemos lograr lo mismo en el corto plazo. La
situacin es anloga a la historia del ms pesado que el vuelo del aire, donde las aves,
murcilagos e insectos demostraron claramente la posibilidad antes de nuestra cultura
domin.6
Uno tiene que tener cuidado, sin embargo, en lo que uno dibuja inferencias de
esta lnea de razonamiento. Es cierto que la evolucin produce ms pesado que el aire de
vuelo, y que los ingenieros humanos posteriormente tuvo xito en hacer lo mismo
(aunque por medio de un mecanismo muy diferente). Otros ejemplos tambin podran

aducirse, como el sonar, la navegacin magntica, las armas qumicas, los fotorreceptores,
y todo tipo de caractersticas de rendimiento mecnico y cinticos. Sin embargo, se podra
igualmente apuntar a reas donde los ingenieros humanos han fracasado hasta el
momento para que coincida con la evolucin: en la morfognesis, la auto-reparacin, y la
defensa inmune, por ejemplo, los esfuerzos humanos estn muy por detrs de lo que la
naturaleza ha logrado. El argumento de Moravec, por lo tanto, no puede darnos "gran
confianza" que podemos lograr la inteligencia artificial a nivel humano "en el corto plazo."
A lo mejor, la evolucin de la vida inteligente coloca un lmite superior en la dificultad
intrnseca del diseo de la inteligencia. Pero este lmite superior podra ser muy muy por
encima de las capacidades actuales de ingeniera humanos.
Otra forma de desplegar un argumento evolutivo para la viabilidad de la IA es a
travs de la idea de que podramos, mediante la ejecucin de algoritmos genticos en las
computadoras lo suficientemente rpidos, conseguir resultados comparables a los de la
evolucin biolgica. Esta versin de la
argumento evolutivo propone por lo tanto un mtodo especfico mediante el cual la
inteligencia podra ser producido.
Pero es cierto que pronto vamos a tener suficiente poder de cmputo para recapitular los
procesos evolutivos pertinentes que produjeron la inteligencia humana? La respuesta
depende tanto de la cantidad de tecnologa informtica avanzar en las prximas dcadas
y en la forma en que se requiere mucha potencia de clculo para ejecutar algoritmos
genticos con la misma potencia de optimizacin como el proceso evolutivo de la
seleccin natural que se encuentra en nuestro pasado. Aunque, al final, la conclusin que
obtenemos de perseguir esta lnea de razonamiento es decepcionantemente
indeterminada, es instructivo para intentar un clculo aproximado (ver Cuadro 3). Si nada
ms, el ejercicio llama la atencin sobre algunas incgnitas interesantes.
El resultado es que los recursos computacionales necesarios para simplemente replicar los
procesos evolutivos relevantes en la Tierra que producen inteligencia a nivel humano son
severamente fuera de su alcance, y permanecern as que incluso si la ley de Moore fuera
a continuar durante un siglo (ver Figura 3). Es plausible, sin embargo, que en comparacin
con la replicacin de fuerza bruta de los procesos evolutivos naturales, vastas mejoras en
la eficiencia son alcanzables por el diseo del proceso de bsqueda para objetivo
para la inteligencia, utilizando diversas mejoras evidentes sobre la seleccin natural. Sin
embargo, es muy difcil de obligado la magnitud de los aumentos de la eficiencia
alcanzables. Ni siquiera podemos decir si ascienden a cinco o veinticinco rdenes de
magnitud. Ausente una mayor elaboracin, por lo tanto, los argumentos evolucionistas no
pueden restringir significativamente nuestras expectativas de cualquiera de la dificultad
de la construccin de la inteligencia artificial a nivel humano o los plazos para tales
desarrollos. Recuadro 3 Qu hara falta para recapitular la evolucin?
No todos los hazaa lograda por la evolucin en el curso del desarrollo de la inteligencia
humana es relevante para un ingeniero humano tratando de evolucionar artificialmente
inteligencia de la mquina. Slo una pequea parte de la seleccin evolutiva de la Tierra
ha sido la seleccin de inteligencia. Ms especficamente, los problemas que los
ingenieros humanos no pueden derivacin trivialmente pueden haber sido objeto de una

porcin muy pequea de la seleccin evolutiva total. Por ejemplo, ya que podemos
ejecutar nuestros equipos de la energa elctrica, que no tenemos que reinventar las
molculas de la economa de la energa celular con el fin de crear mquinas inteligentes, y
sin embargo la evolucin molecular de las vas metablicas podran haber utilizado una
gran parte del total cantidad de energa de seleccin que estaba a disposicin de la
evolucin a lo largo de la historia de la Tierra.
7 Se podra argumentar que las ideas
clave para la IA estn incorporados en la estructura del sistema nervioso, que entr en
existencia hace menos de mil millones de aos.8 Si tomamos ese punto de vista, entonces
el nmero de "experimentos" pertinentes a disposicin de la evolucin se redujo
drsticamente. Hay algunas 4-6 1030 procariotas en el mundo de hoy, pero slo 1.019
insectos, y menos de 1.010 seres humanos (mientras que las poblaciones pre-agrcolas
eran rdenes de magnitud ms pequea) 0.9 Estos nmeros slo son intimidantes
moderadamente.
Los algoritmos evolutivos, sin embargo, requieren no slo variaciones de
seleccionar entre, sino tambin una funcin de aptitud para evaluar variantes, y esto es
por lo general el componente ms costoso computacionalmente. Una funcin de aptitud
para la evolucin de la inteligencia artificial plausiblemente requiere simulacin del
desarrollo neuronal, el aprendizaje y la cognicin para evaluar la aptitud. Podemos por lo
tanto es mejor no hacer para mirar el nmero prima de organismos con sistemas
nerviosos complejos, pero en lugar de asistir al nmero de neuronas en los organismos
biolgicos que podamos necesitar para simular para imitar la funcin de la aptitud de la
evolucin. Podemos hacer un crudo
estimacin de que esta ltima cantidad, considerando los insectos, que dominan la
biomasa animal terrestre (con hormigas solo estimados para contribuir un 15-20%) 10
insectos del tamao del cerebro vara sustancialmente, con los insectos grandes y sociales
luciendo cerebros ms grandes:. un cerebro de la abeja tiene un poco menos de 106
neuronas, el cerebro de la mosca de fruta tiene 105 neuronas, y las hormigas se
encuentran en el medio con 250.000 neurons.11 La mayora de los insectos ms pequeos
pueden tener cerebros de unos pocos miles de neuronas. Errar en el lado de alta de forma
conservadora, si asignamos todos los nmeros 1.019 insectos fruta-mosca de neuronas, el
total sera de 1.024 neuronas de insectos en el mundo. Esto podra ser aumentado con un
pedido adicional de magnitud para dar cuenta de los coppodos acuticas, aves, reptiles,
mamferos, etc., para llegar a 1025. (Por el contrario, en los tiempos pre-agrcolas haba
menos de 107 seres humanos, con arreglo 1.011 neuronas cada :. por lo tanto menos de
1.018 neuronas humanas en total, aunque los seres humanos tienen un mayor nmero de
sinapsis por neurona)
El coste computacional de simular una neurona depende del nivel de detalle que se
incluye en la simulacin. Modelos de neuronas simples Extremadamente utilizan cerca de
1.000 operaciones de punto flotante por segundo (FLOPS) para simular una neurona (en
tiempo real). El modelo de Hodgkin-Huxley electrofisiolgicamente realista utiliza
1200000 flops. Un modelo multi-compartimental ms detallada aadira otros tres o
cuatro rdenes de magnitud, mientras que los modelos de mayor nivel que los sistemas
abstractos de las neuronas podran restar dos a tres rdenes de magnitud a partir de los
modelos simples.
12

Si nos vamos a simular 1.025 neuronas ms de mil millones de aos de evolucin (ms de
la existencia de los sistemas nerviosos como los conocemos), y permitimos que nues tras
computadoras se ejecuten durante un ao, estas cifras nos dan un requisito en el rango de
1031 -1044 flops. En comparacin, China Tianhe-2, la supercomputadora ms potente del
mundo a partir de septiembre de 2013, proporciona slo 3,39 1016 FLOPS. En las
ltimas dcadas, se ha tomado unos 6,7 aos para las computadoras de los productos
bsicos para aumentar el poder en un orden de magnitud. Incluso un siglo de continuo la
ley de Moore no sera suficiente para cerrar esta brecha. Ejecucin de hardware ms
especializado, o permitiendo ya veces correr, podra contribuir a pocos ms rdenes de
magnitud.
Esta cifra es conservadora en otro aspecto. Evolucin logra la inteligencia
humana, sin el objetivo de este resultado. En otras palabras, las funciones de la aptitud
para organismos naturales no seleccionan slo por la inteligencia y sus precursores.13
Incluso los entornos en los que los organismos con habilidades de procesamiento de
informacin superiores Reap diversas recompensas no pueden seleccionar para la
inteligencia, ya la mejora de la inteligencia pueden (ya menudo lo hacen) imponer costos
significativos, tales como un mayor consumo de energa o tiempos de maduracin ms
lenta, y esos costos pueden ser mayores que cualquier beneficio se gan desde el
comportamiento ms inteligente. Excesivamente entornos mortales tambin reducen el
valor de la inteligencia: la vida til esperada de la ms corta, menos tiempo habr para
una mayor capacidad de aprendizaje para pagar. Reduccin de la presin selectiva para la
inteligencia retarda la propagacin de las innovaciones de inteligencia de mejora, y por lo
tanto la oportunidad para la seleccin a favor de innovaciones posteriores que dependen
de ellos. Por otra parte, la evolucin puede terminar atrapado en ptimos locales que los
seres humanos se dieran cuenta y bypass mediante la alteracin de las compensaciones
entre la explotacin y la exploracin o proporcionando una suave progresin de la cada
vez ms difcil tests.14 inteligencia y como se mencion anteriormente, la evolucin
dispersa mucho de su poder seleccin en rasgos que no estn relacionados con la
inteligencia (como carreras rojo Reina de co-evolucin de competencia entre los sistemas
inmunolgicos y parsitos). Evolucin contina desperdiciando recursos que producen
mutaciones que han demostrado consistentemente letal, y no toma ventaja de similitudes
estadsticas en los efectos de las diferentes mutaciones. Estas son todas las ineficiencias en
la seleccin natural (cuando se ve como un medio de evolucin de inteligencia) que sera
relativamente fcil para un ingeniero humano para evitar durante el uso de algoritmos
evolutivos para el desarrollo de software inteligente.
Es posible que la eliminacin de ineficiencias como las que acabamos de describ ir que
recortar muchos rdenes de magnitud de la 10 31-1044 TIRN rango calculado
anteriormente. Desafortunadamente, es difcil saber cmo muchos rdenes de magnitud.
Es difcil incluso para hacer una estimacin aproximada de lo que sabemos, los ahorros de
eficiencia podra ser cinco rdenes de magnitud, o diez, o veinte y five.15

Figura 3 Rendimiento superordenador. En un sentido estricto, la "ley de Moore"

se refiere a la observacin de que el nmero de transistores en circuitos integrados tienen
desde hace varias dcadas se duplic aproximadamente cada dos aos. Sin embargo, el

trmino se utiliza a menudo para referirse a la observacin ms general de que muchos

parmetros de rendimiento de la tecnologa de la computacin han seguido una tendencia
similar rapidez exponencial. Aqu trazamos la velocidad pico del superordenador ms
rpido del mundo en funcin del tiempo (en una escala vertical logartmica). En los
ltimos aos, el crecimiento de la velocidad de serie de los procesadores se ha estan cado,
pero mayor uso de paralelizacin ha permitido el nmero total de clculos realizados para
permanecer en el line.16 tendencia
Hay una complicacin adicional con este tipo de consideraciones evolutivas, que
hace que sea difcil para derivar de ellos incluso una muy floja lmite superior de la
dificultad de la evolucin de la inteligencia. Debemos evitar el error de inferir, a partir del
hecho de que la vida inteligente evolucionado en la Tierra, que los procesos evolutivos
involucrados tenan una probabilidad razonablemente alta antes de producir la
inteligencia. Tal inferencia es errnea, ya que no toma en cuenta el efecto de seleccin
observacin de que garantiza que todos los observadores se encontrarn haber originado
en un planeta donde surgi la vida inteligente, no importa qu tan probable o improbable
que era para cualquier planeta dado para producir inteligencia . Supongamos, por
ejemplo, que, adems de los efectos sistemticos de la seleccin natural que requiere una
enorme cantidad de
afortunada coincidencia
para producir la vida lo suficientemente inteligente como
para que la vida inteligente evoluciona en un solo planeta de cada 1.030 planetas en los
que surgen replicadores simples. En ese caso, cuando ejecutamos nuestros algoritmos
genticos para tratar de replicar lo que hizo evolucin natural, podramos encontrar que
hay que ejecutar algunas 1.030 simulaciones antes de encontrar uno donde todos los
elementos se unen en la manera correcta. Esto parece totalmente coherente con nuestra
observacin de que la vida evolucion en la Tierra. Slo mediante una cuidadosa y algo
intrincado razonamiento mediante el anlisis de los casos de evolucin convergente de
rasgos relacionados con la inteligencia y comprometerse con las sutilezas de la seleccin
observacin teora podemos eludir parcialmente esta barrera epistemolgica. A menos
que uno se toma la molestia de hacerlo, uno no est en condiciones de descartar la
posibilidad de que el presunto "lmite superior" de los requerimientos computacionale s
para recapitular la evolucin de la inteligencia derivada en el recuadro 3 podra ser
demasiado baja por treinta rdenes de magnitud (o algn otro tal nmero grande) 0.17
Otra forma de argumentar a favor de la viabilidad de la inteligencia artificial est
sealando
el cerebro humano y lo que sugiere que podramos utilizar como una plantilla para una
inteligencia artificial. Se pueden distinguir diferentes versiones de este enfoque basado en
lo cerca que proponen imitar las funciones del cerebro biolgico. En un extremo, el de
muy cerca la imitacin-tenemos la idea de emulacin total del cerebro
, Lo que vamos a discutir en la siguiente subseccin. En el otro extremo se encuentran los
enfoques que se inspiran en el funcionamiento del cerebro, pero no intentan imitacin de
bajo nivel. Los avances en la neurociencia y la psicologa cognitiva, lo cual ser ayudado
por mejoras en la instrumentacin deberan finalmente descubrir los principios generales
de la funcin cerebral. Este conocimiento podra entonces guiar los esfuerzos de AI. Ya

hemos encontrado redes neuronales como un ejemplo de una tcnica de IA -inspirado

cerebro. Organizacin perceptiva jerrquica es otra idea que ha sido transferido de la
ciencia del cerebro para el aprendizaje de la mquina. El estudio del aprendizaje de
refuerzo ha sido motivado (por lo menos en parte) por su papel en las teoras psicolgicas
de la cognicin animal y tcnicas de aprendizaje de refuerzo (por ejemplo, el "TDalgoritmo") inspirados en estas teoras son ahora ampliamente utilizado en AI.18 Ms
casos como estos seguramente se acumularn en el futuro. Dado que no es un nmero,
tal vez limitado un nmero muy pequeo de los mecanismos fundamentales distintos que
operan en el cerebro, continuando el progreso incremental en la ciencia del cerebro,
finalmente, debe descubrirlos todos. Antes de ello, sin embargo, es posible que un
enfoque hbrido, que combina algunas tcnicas inspiradas en el cerebro con algunos
mtodos puramente artificiales, cruzara la lnea de meta. En ese caso, el sistema
resultante no tiene que ser cerebro-como a pesar de que algunas ideas obtenida de
cerebro se usaron en su desarrollo reconocible. La disponibilidad del cerebro como
plantilla proporciona un fuerte apoyo a la afirmacin de que la inteligencia artificial es en
ltima instancia factible. Esto, sin embargo, no nos permite predecir cundo se lograr
porque es difcil predecir el futuro de la tasa de descubrimientos en la ciencia del cerebro.
Lo que podemos decir es que el an ms en el futuro esperamos, mayor es la probabilidad
de que los secretos de la funcionalidad del cerebro se han decodificado lo suficiente como
para permitir la creacin de inteligencia de las mquinas de esta manera.
Diferentes personas que trabajan hacia la inteligencia de las mquinas tienen
diferentes puntos de vista acerca de cmo enfoques prometedores neuromrfica se
comparan con los enfoques que apuntan a diseos completamente sintticos. La
existencia de las aves demostr que el vuelo de aire ms pesado que era fsicamente
posible y pide esfuerzos para construir mquinas voladoras. Sin embargo, los primeros
aviones que funcionan no baten sus alas. El jurado est fuera de si la inteligencia artificial
ser como el vuelo, que los seres humanos logra a travs de un mecanismo artificial, o
combustin similares, que al principio nos dominamos copiando los incendios de origen
natural.
La idea de Turing de disear un programa que adquiere la mayor parte de su
contenido mediante el aprendizaje, en lugar de tener que pre-programado en un
principio, puede aplicarse por igual a los enfoques neuromrficos y sintticos a la
inteligencia artificial. Una variacin en la concepcin de Turing de una mquina de nio es
la idea de una "semilla AI."19 Mientras que una mquina de nio, como parece haber
Turing previsto que, tendra una arquitectura relativamente fijo que slo desarrolla sus
potencialidades inherentes al acumular
contenido
, Una semilla AI sera una inteligencia artificial ms sofisticada capaz de
mejorar su propio
arquitectura . En las primeras etapas de una semilla AI, estas mejoras podran producirse
principalmente a travs de ensayo y error, la adquisicin de informacin, o la ayuda de los
programadores. En sus etapas posteriores, sin embargo, una semilla AI deb e ser capaz de
entender
su propio funcionamiento suficiente para disear nuevos algoritmos y
estructuras computacionales para arrancar su rendimiento cognitivo. Esta comprensin
necesaria podra ser el resultado de la semilla AI alcanzar un nivel suficiente de

inteligencia general en muchos dominios, o de cruzar un umbral en un dominio particular

relevancia tales como la informtica o las matemticas.
Esto nos lleva a otro concepto importante, el de una semilla xito AI sera capaz de
mejorar de forma iterativa en s "auto-mejora recursiva.": Una primera versin de la IA
podra disear una versin mejorada de s mismo, y la versin mejorada de bienestar ms
inteligente que el original-podra ser capaz de disear una versin an ms inteligente de
s mismo, y as sucesivamente.

20
Bajo ciertas condiciones, un proceso de auto-mejora recursiva tal podra continuar
el tiempo suficiente para dar lugar a una explosin, una inteligencia evento en el que, en
un corto perodo de tiempo, el nivel de un sistema de aumentos de inteligencia de una
relativamente modesta dotacin de capacidades cognitivas ( quiz sub -humana en
muchos aspectos, pero con un talento de dominio especfico para la codificacin y la
investigacin en IA) para superinteligencia radical. Volveremos a esta importante
posibilidad en el captulo 4, en el que se analizaron ms de cerca la dinmica de tal
evento. Tenga en cuenta que este modelo sugiere la posibilidad de sorpresas: los intentos
de construir ia fuerte puede fallar casi por completo hasta el ltimo componente crtico
que falta se pone en el lugar, momento en el cual una semilla AI podra llegar a ser capaz
de auto-mejora recursiva sostenido.
Antes de terminar este apartado, hay una cosa ms que debemos destacar, y es
que una inteligencia artificial no necesita mucho se asemejan a una mente humana. IA
podra ser -de hecho, es probable que la mayora se-ser extremadamente extrao.
Debemos esperar que van a tener muy diferentes arquitecturas cognitivas que
inteligencias biolgicos, y en sus primeras etapas de desarrollo que tendremos muy
diferentes perfiles de las fortalezas y debilidades cognitivas (aunque, como veremos ms
adelante discutir, que podramos eventualmente superar cualquier debilidad inicial) . Por
otra parte, los sistemas de meta de IA podran divergir radicalmente de las de los seres
humanos. No hay razn para esperar que una IA genrico para estar motivado por el amor
o el odio o el orgullo u otros tales sentimientos humanos comunes: estas adaptaciones
complejas requeriran un esfuerzo costoso deliberada de recrear en IA. Esto es a la vez un
gran problema y una gran oportunidad. Volveremos al tema de la motivacin AI en
captulos posteriores, pero es tan central para el argumento de este libro que vale la pena
teniendo en cuenta en todo momento.
Emulacin total del cerebro
En la emulacin de todo el cerebro (tambin conocido como "carga"), software inteligente
sera producida por la exploracin y el modelado de cerca la estructura computacional de
un cerebro biolgico. As, este enfoque representa un caso lmite de la inspiracin de la
naturaleza: descarada plagio. El logro de la emulacin de todo el cerebro requiere la
realizacin de los siguientes pasos.
En primer lugar, se crea un
anlisis suficientemente detallado de un cerebro humano en particular. Esto podra
implicar la estabilizacin del cerebro post-mortem a travs de vitrificacin (un proceso
que convierte el tejido en una especie de vidrio). Una mquina podra entonces
diseccionar el tejido en rodajas finas, lo que podra ser alimentado a otra mquina para el
escaneo, tal vez por una serie de microscopios electrnicos. Varias manchas podran
aplicarse en esta etapa para llevar a cabo diferentes propiedades estructurales y qumicas.
Muchas mquinas de escaneo pueden trabajar en paralelo para procesar mltiples cortes
de cerebro simultneamente.

En segundo lugar, los datos en bruto de los escneres se alimenta a un ordenador

para el procesamiento automatizado de imgenes para reconstruir la red neuronal
tridimensional que implementa la cognicin en el cerebro originales. En la prctica, este
paso podra proceder simultneamente con el primer paso para reducir la cantidad de
datos de imagen de alta resolucin almacenada en buffers. El mapa resultante se combina
entonces con una biblioteca de modelos neurocomputacionales de diferentes tipos de
neuronas o de diferentes elementos neuronales (como determinados tipos de conectores
sinpticas). La Figura 4 muestra algunos resultados de la exploracin y procesamiento de
la imagen producida con la tecnologa de hoy en da.
En la tercera etapa, la estructura neurocomputacional resultante de la etapa anterior se
implementa en un equipo suficientemente potente. Si un xito completo, el resultado
sera una reproduccin digital del intelecto original, con la memoria y la personalidad
intacta. La mente humana emulado ahora existe como software en un equipo. La mente
puede o habitar una realidad virtual o la interfaz con el mundo exterior por medio de
apndices robticos. El camino de emulacin de todo el cerebro no requiere que
averiguar cmo funciona la cognicin humana o cmo programar una inteligencia
artificial. Slo se requiere que entendamos las caractersticas funcionales de bajo nivel de
los elementos computacionales bsicas del cerebro. No se necesita gran avance conceptual
o terico fundamental para la emulacin de todo el cerebro para tener xito.
Emulacin total del cerebro, sin embargo, requiere de algunas tecnologas facilitadoras en
lugar avanzadas. Hay tres requisitos fundamentales: (1) exploracin
: Microscopa de alto rendimiento con la resolucin y la deteccin de propiedades
relevantes suficiente; (2)
traduccin: Automatizado de anlisis de imgenes para
convertir los datos de escaneo en bruto en un modelo tridimensional de elementos
interpretado neurocomputacionales pertinentes; y (3)
simulacin
: Hardware lo suficientemente potente como para poner en prctica la
estructura computacional resultante (ver Tabla 4). (En comparacin con estos pasos ms
difciles, la construccin de una realidad virtual bsico o una realizacin robtica con un
canal de entrada audiovisual y algunos canales de salida sencilla es relativamente fcil.
Simple pero mnimamente Yo adecuada / S parece viable ya con el actual technology.23)

Figura 4
La reconstruccin de la neuroanatoma 3D a partir de imgenes del
microscopio electrnico.
Arriba a la izquierda : Una micrografa electrnica tpica que muestra secciones
transversales de neuronales materia-dendritas y axones.
Superior derecha
: Imagen Volumen de conejo tejido neural retina adquirida por
bloque cara de serie electrnico de barrido microscopy.21 individuales imgenes 2D se
han apilado en un cubo (con un lado de aproximadamente 11 micras). Fondo
: Reconstruccin de un subconjunto de las proyecciones neuronales de llenado un
volumen de neuropilo, generada por un algorithm.22 segmentacin automatizado
Hay buenas razones para pensar que el requisito que permite tecnologas son alcanzables, aunque no en un futuro prxim o. Ya existen
modelos computacionales razonables de muchos tipos de neuronas y procesos neuronales. Software de reconocimiento de imagen se

ha desarrollado que puede rastrear los axones y dendritas a travs de una pila de imgenes bidimensionales (aunque f iabilidad hay que
mejorar). Y hay Imaging herramientas que proporcionan la resolucin con un microscopio de efecto tnel es posible "ver" los tomos
individuales, que es una resolucin mucho ms alta que la necesaria necesario. Sin embargo, a pesar de los conocimientos y
capacidades sugieren que no hay barrera, en principio, para el desarrollo de la necesaria permitiendo tecnologas, est claro que se
necesitara una gran cantidad de progreso tcnico incrementales para traer la emulacin total del cerebro h umano a su alcance.

24
Por ejemplo, la tecnologa de microscopa necesitara no slo una resolucin
suficiente sino tambin suficiente rendimiento. El uso de una resolucin atmica
microscopio de efecto tnel a la imagen de la superficie necesaria sera d emasiado lento
para ser practicable. Sera ms plausible para utilizar un microscopio electrnico de menor
resolucin, pero esto requerira nuevos mtodos para la preparacin y tincin de tejido
cortical de hacer visibles los detalles relevantes tales como la estructura fina sinptica.
Tambin sera necesaria una gran expansin de las bibliotecas neurocomputacionales y
grandes mejoras en el procesamiento automatizado de imgenes e interpretacin de
anlisis.
Tabla 4
Capacidades necesarias para la emulacin de todo el cerebro

En general, la emulacin de todo el cerebro se basa menos en el conocimiento

terico y ms en la capacidad tecnolgica de la inteligencia artificial. Slo cmo se
requiere mucha tecnologa para la emulacin de todo el cerebro depende del nivel de
abstraccin en el que se emula el cerebro. En este sentido hay un equilibrio entre la
penetracin y la tecnologa. En general, la peor de nuestro equipo de exploracin y los
ms dbiles de nuestros ordenadores, menos nos podan confiar en la simulacin de
procesos cerebrales electrofisiolgicos qumica de bajo nivel y, y el conocimiento ms
terico seran necesarios de la arquitectura computacional que estamos tratando de
emular a fin para crear representaciones ms abstractas de las funcionalidades
relevantes.25
Por el contrario, con la tecnologa de escaneo suficientemente avanzada y abundante
potencia de clculo, podra ser posible ataque de fuerza bruta una emulacin incluso con
un conocimiento bastante limitado de cerebro. En el caso lmite realista, podramos
imaginar que emula un cerebro en el nivel de sus partculas elementales utilizando la
ecuacin de Schrdinger de la mecnica cuntica. Entonces uno poda confiar
enteramente en el conocimiento de la fsica existente y en absoluto en cualquier modelo
biolgico. Este caso extremo, sin embargo, pondra demandas totalmente impracticables
en potencia de clculo y adquisicin de datos. A nivel mucho ms plausible de emulacin
sera uno que incorpora las neuronas individuales y su matriz de conectividad, junto con
algunos de la estructura de sus rboles dendrticos y tal vez algunas variables de estado de
sinapsis individuales. Molculas neurotransmisoras no se simularon individualmente, pero
sus concentraciones fluctuantes se modelan de una manera de grano grueso.
Para evaluar la viabilidad de la emulacin de todo el cerebro, hay que entender el criterio
para el xito. El objetivo no es crear una simulacin del cerebro de manera detallada y

precisa que uno podra utilizar para predecir exactamente lo que habra ocurrido en el
cerebro original si haba sido sometido a una secuencia particular de estmulos. En
cambio, el objetivo es captar suficiente de las propiedades computacionalmente
funcionales del cerebro para permitir la emulacin resultante para llevar a cabo el trabajo
intelectual. Para ello, muchos de los detalles biolgica desordenado de un verdadero
Un anlisis ms elaborado sera distinguir entre los diferentes niveles de xito emulacin
cerebro es irrelevante.
basado en la medida en que se ha conservado la funcionalidad de procesamiento de informacin del cerebro emulado. Por ejemplo, s e
podra distinguir entre (1) una

emulacin de alta fidelidad

que tiene todo el conjunto de conocimientos, habilidades, capacidades y valores del
cerebro emulado; (2) una emulacin distorsionada
cuyas disposiciones son
significativamente no humano en algunos aspectos, pero que es sobre todo capaz de hacer
lo mismo el trabajo intelectual como el cerebro emulado; y (3) una emulacin genrica
(Que tambin podra ser distorsionada) es algo as como un beb, que carecen de las
habilidades o los recuerdos que haban sido adquiridas por el cerebro adulto emulado
pero con la capacidad de aprender ms de lo que un ser humano normal puede learn.26
Aunque parece finalmente factible producir una emulacin de alta fidelidad, parece
bastante probable que el primero emulacin total del cerebro que lograramos si nos
fuimos por este camino sera de un grado inferior. Antes de que se pueden conseguir
cosas que funcionan a la perfeccin, probablemente conseguir que las cosas funcionen de
manera imperfecta. Tambin es posible que un impulso hacia la tecnologa de emulacin
dara lugar a la creacin de algn tipo de neuromrfica AI que adaptar alguno s principios
neurocomputacionales descubiertos durante los esfuerzos de emulacin y de hibridar con
mtodos sintticos, y que esto iba a pasar antes de la finalizacin de un completo y
funcional emulacin de todo el cerebro. La posibilidad de un derrame de este tipo en
neuromrfica AI, como veremos en un captulo posterior, complica la evaluacin
estratgica de la conveniencia de tratar de acelerar la tecnologa de emulacin.
Cun lejos estamos de alcanzar actualmente una emulacin de todo el cerebro
humano? Una evaluacin reciente present una hoja de ruta tcnica y lleg a la
conclusin de que las capacidades de requisitos previos podran estar disponibles a
mediados de siglo, aunque con un intervalo de incertidumbre general.
27
Figura 5 representa los principales hitos en esta hoja de ruta. La aparente
simplicidad del mapa puede ser engaosa, sin embargo, y debemos tener cuidado de no
subestimar la cantidad de trabajo que queda por hacer. Sin cerebro an no se ha emulado.
Considere el modelo de organismo humilde
Caenorhabditis elegans
, Que es un gusano redondo transparente, alrededor de 1
mm de longitud, con 302 neuronas. La matriz de conectividad completa de estas neuronas
se conoce desde mediados de la dcada de 1980, cuando fue laboriosamente traza do
mediante el corte, microscopa electrnica, y de la mano-etiquetado de specimens.29
Pero saber simplemente que las neuronas se conectan con la que no es suficiente . Para
crear una emulacin del cerebro tambin se tendra que saber qu sinapsis excitato ria son
y cules son inhibitoria; la fuerza de las conexiones; y varias propiedades dinmicas de los
axones, las sinapsis, y rboles dendrticas. Esta informacin no est disponible todava,
incluso para el pequeo sistema nervioso de los

C. elegans
(A pesar de que ahora puede estar dentro del alcance de un proyecto de
investigacin de tamao moderado dirigida) 0.30 xito en la emulacin de un pequeo
cerebro, como el de C. elegans
, Nos dara una mejor visin de lo que sera necesario para emular cerebro s ms grandes.

Figura 5 Todo el plan de trabajo de emulacin cerebro. Esquema de insumos,

actividades y milestones.28
En algn punto en el proceso de desarrollo de la tecnologa, las tcnicas de una vez estn
disponibles para emular automticamente pequeas cantidades de tejido cerebral, el
problema se reduce a uno de escalamiento. Observe "la escalera" en la parte derecha de
la figura 5. Esta serie ascendente de cajas representa una secuencia final de los avances
que pueden comenzar despus de obstculos preliminares se han despejado. Las etapas
de esta secuencia se corresponden con las emulaciones de todo el cerebro de forma
sucesiva ms neurolgicamente sofisticada ejemplo modelo para los organismos,
C.
elegans abeja ratn

mono rhesus

humano
. Debido a las diferencias entre estos peldaos, al menos despus del primer paso son en
su mayora de naturaleza cuantitativa y debido principalmente (aunque no del todo) a las
diferencias en el tamao de los cerebros para ser emulado, que debera ser manejable a
travs de una relativamente sencilla ampliacin de la exploracin y la simulacin
capacity.31
Una vez que empezamos subiendo esta escalera final, el eventual
consecucin de emulacin de todo el cerebro humano se vuelve ms clara foreseeable.32
De este modo podemos esperar obtener alguna advertencia previa antes de la llegada a la
inteligencia artificial de nivel humano a lo largo de toda la trayectoria de la emulacin
cerebro, al menos si el ltimo lugar entre el requisito que permite tecnologas para llega r
a la madurez suficiente es o bien la exploracin de alto rendimiento o de la potencia de
clculo necesaria para la simulacin en tiempo real. Si, sin embargo, la ltima tecnologa
que permite a caer en su lugar es el modelado neurocomputacional, entonces la transicin
de prototipos mediocres a una emulacin humana de trabajo podra ser ms abrupto. Uno
podra imaginar un escenario en el que, a pesar de abundantes datos de exploracin y
computadoras rpidas, est resultando difcil conseguir nuestros modelos neuronales que
funcionan bien. Cuando por fin el ltimo fallo se plancha a cabo, lo que antes era un
sistema anlogo completamente disfuncional tal vez para un cerebro inconsciente de
someterse a un gran mal Convulsin podra encajar en un estado de vigilia coherente. En
este caso, el avance clave no sera anunciada por una serie de funcionamiento
emulaciones animales de aumentar la magnitud (provocando titulares de los peridicos de
tamao de fuente correspondiente escalada). Incluso para aquellos que pagan la atencin
que podra ser difcil saber de antemano el xito cun muchos defectos permanecieron en
los modelos neurocomputacionales en cualquier punto y el tiempo que se tardara en
solucionarlos, incluso hasta la vspera de la gran avance crtico. (Una vez que una

emulacin total del cerebro humano se ha logrado, ms desarrollos potencialmente

explosivas se llevaran a cabo, pero que aplazar el debate de esta hasta el captulo 4.)
Sorpresa escenarios son, por tanto imaginable para la emulacin de todo el cerebro, incluso si todas las investigaciones pertinentes se
llevaron a cabo al aire libre. Sin embargo, en comparacin con la ruta AI a la inteligencia artificial, la emulacin de todo el cerebro es
ms probable que sea precedida por presagios clara s ya que se basa ms en tecnologas concretas observables y no est totalmente
basada en el conocimiento terico. Tambin podemos decir, con mayor confianza que en el camino de la IA, que el camino de
emulacin no tendr xito en el futuro cercano (dentro de los prximos quince aos, por ejemplo), porque sabemos que varias
tecnologas precursoras desafiantes an no se han desarrollado. Por el contrario, parece probable que alguien pudiera

en principio sentarse y cdigo de una semilla de AI en un presente-da ordinario

computadora personal; y es concebible, aunque poco probable, que alguien en algn lugar
tendr la visin correcta para cmo hacer esto en un futuro cercano. Cognicin Biolgica
Un tercer camino a la inteligencia mayor de lo corriente humana es mejorar el
funcionamiento de los cerebros biolgicos. En principio, esto podra lograrse sin la
tecnologa, a travs de la cra selectiva. Cualquier intento de iniciar un programa de
eugenesia a gran escala clsica, sin embargo, se enfrentara grandes obstculos polticos y
morales. Por otra parte, a menos que la seleccin era muy fuerte, se necesitaran muchas
generaciones para producir resultados sustanciales. Mucho antes de que tal iniciativa
sera dar sus frutos, los avances en la biotecnologa permitirn un control mucho ms
directo de la gentica y neurobiologa humanos, representacin ocioso cualquier
programa de reproduccin humana. Por lo tanto, nos centraremos en los mtodos que
mantienen el potencial para ofrecer resultados ms rpidos, en la escala de tiempo de un
par de generaciones o menos.
Nuestras capacidades cognitivas individuales pueden fortalecerse de varias
maneras, incluyendo por mtodos tradicionales tales como la educacin y la formacin. Desarrollo neurolgico puede ser

promovido por las intervenciones de baja tecnologa, como la optimizacin de la nutricin

materna e infantil, la eliminacin de plomo y otros contaminantes neurotxicos del medio
ambiente, la erradicacin de parsitos, lo que garantiza un sueo adecuado y el ejerci cio,
y la prevencin de enfermedades que afectan a las mejoras en la cognicin brain.33 sin
duda puede ser obtenida a travs de cada uno de estos medios, aunque las magnitudes de
las ganancias son propensos a ser modestos, especialmente en poblaciones que ya estn
razonablemente bien nutridos y -schooled. Desde luego, no lograremos superinteligencia
por cualquiera de estos medios, pero podramos ayudar en el margen, sobre todo
levantando los desposedos y ampliar la captacin de talento global. (Depresin
permanente de la inteligencia debido a la deficiencia de yodo sigue siendo generalizada en
muchas reas del interior empobrecidas del mundo, un ultraje, dado que la condicin se
puede prevenir mediante la fortificacin de la sal de mesa a un costo de unos p ocos
centavos por persona y year.34)
Mejoras Biomdicas podran dar aumentos ms grandes. Ya existen frmacos que
se alega para mejorar la memoria, la concentracin y la energa mental al menos en
algunos temas.35 (El trabajo en este libro se vio impulsado por el caf y la nicotina goma
de mascar.) Mientras que la eficacia de la presente generacin de frmacos inteligentes es
variable, marginal, y generalmente dudosa, nootrpicos futuras podran ofrecer beneficios
ms claros y menos effects.36 lado Sin embargo, parece inverosmil, tanto por motivos
neurolgicos y evolutivos, que uno podra introduciendo algn producto qumico en el
cerebro de una persona sana provocar un aumento dramtico en intelligence.37 El

funcionamiento cognitivo de un cerebro humano depende de un delicado orquestacin de

muchos factores, sobre todo durante la etapas crticas del desarrollo embrionario y es
mucho ms probable que esta estructura de auto-organizacin, para mejorar, tiene que
ser cuidadosamente equilibrado, atento, y cultivada en lugar de simplemente inundado
con alguna pocin extraa. La manipulacin de la gentica proporcionar una ms
potente conjunto de herramientas que la psicofarmacologa. Consideremos de nuevo la
idea de la seleccin gentica: en lugar de tratar de implementar un programa de
eugenesia mediante el control de los patrones de apareamiento, se podra utilizar la
seleccin a nivel de embriones o gametos.
38
El diagnstico gentico de preimplantacin ya se ha utilizado durante los
procedimientos de fertilizacin in vitro para detectar los embriones producidos por
enfermedades monognicas como la enfermedad de Huntington y para la predisposicin a
algunas enfermedades de inicio tardo tales como el cncer de mama. Tambin se ha
utilizado para la seleccin de sexo y para hacer coincidir tipo de antgeno leucocitario
humano con la de un hermano enfermo, que entonces se pueden beneficiar de una de
sangre de cordn donacin de clulas madre cuando el nuevo beb es born.39 La gama de
rasgos que se pueden seleccionar favor o en contra se ampliar considerablemente
durante la prxima dcada o dos. Un fuerte motor de progreso en la gentica del
comportamiento es el costo rpida cada de genotipado y secuenciacin de genes.
Genoma en todo el anlisis rasgo complejo, utilizando los estudios con un gran nmero de
temas, recin ahora est empezando a ser factible y aumentar en gran medida nuestro
conocimiento de las arquitecturas genticas de traits.40 cognitivo y del comportamiento
humano Cualquier rasgo con una no despreciable heredabilidad -incluyendo capacidad
cognitiva podra entonces ser susceptible a la seleccin de embriones selection.41 no
requiere una profunda comprensin de las vas causales por el cual los genes, en la
compleja interaccin con los entornos, producen fenotipos: requiere slo (un montn de)
los datos sobre las correlaciones genticas del caractersticas de inters.
Es posible calcular algunas estimaciones aproximadas de la magnitud de las
ganancias que se pueden obtener en diferentes escenarios de seleccin.42 Tabla 5
muestra espera que los aumentos en la inteligencia que resultan de diversas cantidades de
seleccin, en el supuesto de informacin completa sobre las variantes genticas aditivos
comunes que subyacen a la heredabilidad sentido estricto de la inteligencia. (Con
informacin parcial, la eficacia de la seleccin se reducira, aunque no del todo en la
medida de uno podra ingenuamente expect.44) Como era de esperar, la seleccin entre un
mayor nmero de embriones produce mayores ganancias, pero no estn disminuyendo
abruptamente devoluciones: seleccin entre 100 embriones hace no produce una ganancia
en cualquier lugar cerca de cincuenta veces ms grande que la que se podra obtener de la
seleccin entre 2 embryos.45 Tabla 5 Ganancias mximas de CI de seleccionar entre un
conjunto de embriones
43

Seleccin

Puntos de CI ganaron
4.2
1 en 10
11.5
1 en 100
18.8

1 de 2

1 en 1000
24.3
5 generaciones de 1 en 10
<65
decrecientes)

(b

rendimientos

10 generaciones de 1 en 10
<130 (b / c rendimientos decrecientes)
Lmites acumulativos (variantes aditivos
optimizados para la cognicin)
100 + (<300 (b / c rendimientos decrecientes)) Curiosamente, la disminucin de los
rendimientos se disminuy en gran medida cuando la seleccin se extiende sobre varias
generaciones. Por lo tanto, la seleccin repetidamente la parte superior 1 en 10 ms de
diez generaciones (que cada nueva generacin se compone de los descendientes de los
seleccionados en la generacin anterior) producir un mayor incremento en el valor rasgo
que una seleccin de 1 en 100 de una sola vez. El problema con la seleccin secuencial,
por supuesto, es que se necesita ms tiempo. Si cada paso generacional lleva veinte o
treinta aos, y luego incluso slo cinco generaciones sucesivas podran empujarnos hasta
bien entrado el siglo XXII. Mucho antes de entonces, los modos ms directos y poderosos
de la ingeniera gentica (por no hablar de la inteligencia artificial) lo ms probable es
estar disponible.
Hay, sin embargo, una tecnologa complementaria, uno que, una vez que ha sido
desarrollado para uso en seres humanos, sera potenciar en gran medida la mejora de la
potencia pre-implantacin cribado gentico: a saber, la derivacin de esperma viable y
huevos a partir de clulas madre embrionarias.
46
Las tcnicas para esto ya se han utilizado para producir descendencia frtil en
ratones y clulas de gametos-como en los seres humanos. Retos cientficos sustanciales
siguen siendo, sin embargo, en la traduccin de los resultados de los animales a los seres
humanos y para evitar alteraciones epigenticas en las lneas de clulas madre derivadas.
Segn un experto, estos retos pueden poner aplicaciones humanas "10 o incluso 50 aos
en el futuro." 47 Con gametos derivados de clulas madre, la cantidad de energa
disponible para la seleccin de un par se podra aumentar en gran medida. En la prctica
actual, un procedimiento de fertilizacin in vitro implica normalmente la creacin de
menos de diez embriones. Con gametos derivados de clulas madre, unas pocas clulas
donados pueden ser convertidos en un nmero virtualmente ilimitado de gametos que
pueden ser combinados para producir embriones, que podra ser genotipo o
secuenciados, y los ms prometedores elegido para la implantacin. Dependiendo del
costo de la preparacin y seleccin de cada embrin individual, esta tecnologa podra
producir un aumento de varias veces en el poder selectivo a disposicin de las parejas que
utilizan la fecundacin in vitro. Ms importante an, el tallo gametos derivados de clulas
permitira a mltiples generaciones de seleccin para ser comprimido en menos de un

perodo de maduracin humana, permitiendo la seleccin de embriones iterada

. Este es un procedimiento que constar de los siguientes pasos: 48
1
Genotipo y seleccione un nmero de embriones que son ms altos en las
caractersticas genticas deseadas.
2
Extraer clulas madre de los embriones y los convierte a los espermatozoides y
vulos, con vencimiento dentro de seis meses o less.49 3
Cruce el nuevo esperma y vulos para producir embriones.
4

Repita hasta que se hayan acumulado grandes cambios genticos.

De esta manera, sera posible llevar a cabo diez o ms generaciones de seleccin
en pocos aos. (El procedimiento sera mucho tiempo y es caro, sin embargo, en principio,
sera necesario hacer slo una vez en lugar de repetir para cada nacimiento Las lneas
celulares establecidas al final del procedimiento se podran utilizar para generar un gran
nmero de. embriones mejoradas.)
Como indica la Tabla 5, la
promedio
nivel de inteligencia entre los individuos concebidos de esta manera podra
ser muy alta, posiblemente igual o algo superior a la de la persona ms inteligente en la
poblacin humana histrica. Un mundo que tena una gran poblacin de estos individuos
podran (si tuviera la cultura, la educacin, la infraestructura de comunicaciones, etc., para
que coincida) constituye una superinteligencia colectiva. El impacto de esta tecnologa
ser humedecido y retras por varios factores. No es el retraso madurativo inevitable
mientras los embriones seleccionados finalmente se convierten en seres humanos
adultos: al menos veinte aos antes de que un nio llegue a una mayor productividad
total, ya an antes de que estos nios llegan a constituir un segmento importante de la
poblacin activa. Adems, incluso despus de que la tecnologa se ha perfeccionado, las
tasas de adopcin probablemente comenzar baja. Algunos pases podran prohibir su uso
por completo, por razones morales o religiosas.
50
Incluso cuando se permite la seleccin, muchas parejas prefieren la forma natural
de concebir. La voluntad de utilizar la FIV, sin embargo, aumentara si haba beneficios
ms claros asociados con el procedimiento, tales como una garanta virtual que el nio
sera de gran talento y libre de predisposiciones genticas a la enfermedad. Menores
costos de atencin mdica y ganancias de por vida ms altos esperados tambin
argumentan a favor de la seleccin gentica. Como el uso del procedimiento se vuelve
ms comn, sobre todo entre las lites sociales, puede haber un cambio cultural hacia las
normas de crianza que presentan el uso de la seleccin como la cosa que las parejas
iluminados responsables hacen. Muchos de los inicialmente reacios podra subirse al tren
con el fin de tener un hijo que no est en desventaja en relacin con los nios mejoradas
de sus amigos y colegas. Algunos pases podran ofrecer incentivos para alentar a sus
ciudadanos a tomar ventaja de la seleccin gentica con el fin de aumentar la reserva de
capital humano del pas, o para aumentar la estabilidad social a largo plazo mediante la
seleccin de rasgos como la docilidad, la obediencia, la sumisin, la conformidad, la
aversin al riesgo o la cobarda, fuera del clan gobernante. Efectos sobre la capacidad
intelectual tambin depender de la medida en que el poder de seleccin disponible sera
utilizado para mejorar rasgos cognitivos (Tabla 6). Los que optan por utilizar algn tipo de

seleccin de embriones tendra que elegir la forma de asignar el poder de seleccin a su

disposicin, y la inteligencia sera en cierta medida en competencia con otros atributos
deseados, como la salud, la belleza, personalidad, o el atletismo. La seleccin de
embriones iterado, al ofrecer una gran cantidad de poder seleccin, aliviara algunas de
estas compensaciones, lo que permite una fuerte seleccin simultnea para varios rasgos.
Sin embargo, este procedimiento tiende a perturbar la relacin gentica normal entre
padres e hijos, algo que podra afectar negativamente a la demanda en muchas culturas.
51
Con nuevos avances en la tecnologa gentica, puede ser posible sintetizar genomas a la
especificacin, obviando la necesidad de grandes grupos de embriones. La sntesis de ADN
ya es una rutina de la biotecnologa y en gran medida automatizado, aunque todava no es
factible para sintetizar un genoma humano entero que podra ser utilizado en un contexto
reproductiva (no menos debido a las dificultades an no resueltos en consegui r el
epigentica derecha). 54 Pero una vez que esta tecnologa ha madurado, un embrin
podra ser diseado con la combinacin exacta preferido de insumos genticos de cada
padre. Los genes que estn presentes en ninguno de los padres tambin podran ser
empalmados, incluyendo los alelos que estn presentes con baja frecuencia en la
poblacin, pero que puede tener efectos positivos significativos sobre cognition.55 Tabla 6
Posibles impactos de la seleccin gentica en diferentes escenarios52
Una intervencin que se hace posible cuando los genomas humanos pueden ser
sintetizados es gentico "correccin ortogrfica" de un embrin. (Seleccin de embriones
iterada tambin podra permitir una aproximacin de esto). Cada uno de nosotros lleva
actualmente una carga mutacional, con cientos de mutaciones que reducen la eficiencia
de los diversos procesos celulares.56 Cada mutacin individual tiene un efecto casi
insignificante (de ah que slo se retira lentamente de la reserva gentica), pero en
combinacin tales mutaciones puede exacta una pesada carga sobre nuestros
functioning.57 diferencias individuales en la fuerza de inteligencia en gran medida
atribuible a las variaciones en el nmero y la naturaleza de tales alelos ligeramente
deletreos que cada uno de nosotros lleva. Con la sntesis de genes que podramos tomar
el genoma de un embrin y construir una versin de ese genoma libre del ruido gentico
de las mutaciones acumuladas. Si se quisiera hablar provocativamente, se podra decir
que los individuos creados a partir de estos genomas revisar podran ser "ms humano"
que nadie actualmente vivo, en que seran expresiones menos distorsionadas de forma
humana. Tales personas no estaran todos copias al carbn, porque los seres humanos
varan genticamente de manera que no sean mediante la realizacin de diferentes
mutaciones deletreas. Pero la manifestacin fenotpica de un genoma proofread puede
ser una constitucin fsica y mental excepcional, con elevada funcionamiento en
dimensiones rasgo polignico como la inteligencia, la salud, la resistencia, y
appearance.58 (A analoga suelta podra hacerse con las caras de material compuesto, en
el que los defectos de los individuos superpuestos se promedian: vase la Figura 6.)
Figura 6 Caras compuestas como una metfora de los genomas de hechizo a
cuadros. Cada una de las imgenes centrales fue producido por la superposicin de

fotografas de diecisis individuos diferentes (residentes de Tel Aviv). Caras compuestas a

menudo se juzgan para ser ms bella que cualquiera de las caras individuales de que se
componen, como imperfecciones idiosincrsicos se promedian. Anlogamente, mediante
la eliminacin de mutaciones individuales, revisadas genomas pueden producir la gente
ms cerca de "los ideales platnicos." Estas personas no estaran todos genticamente
idnticos, debido a que muchos genes vienen en mltiples alelos igualmente funcionales.
Correccin slo eliminara varianza derivada de mutations.59 deletreo
Otras tcnicas biotecnolgicas potenciales tambin pueden ser relevantes. La
clonacin reproductiva humana, una vez logrado, se podra utilizar para replicar el
genoma de individuos excepcionalmente talentosos. La captacin se limitara por la
preferencia de la mayora de los futuros padres para ser biolgicamente relacionado a sus
hijos, sin embargo, la prctica, sin embargo, podra llegar a tener un impacto no
despreciable debido a que (1) incluso un relativamente pequeo aumento en el nmero
de personas excepcionalmente talentosos podran tener un efecto significativo; y (2) es
posible que algn estado se embarcara en un programa de eugenesia de mayor escala, tal
vez mediante el pago de las madres de alquiler. Otros tipos de ingeniera gentica, tales
como el diseo de genes sintticos novedosos o insercin en el genoma de regiones
promotoras y otros elementos para controlar la expresin gnica-podra tambin ser
importante en el tiempo. An ms pueden existir posibilidades exticas, tales como cubas
llenas de tejido complejamente estructurada culta cortical, o animales transgnicos
"levantadas" (tal vez algunos mamferos de gran cerebro, como la ballena o elefante,
enriquecida con los genes humanos). Estos ltimos son totalmente especulativa, pero
durante un perodo de tiempo ms largo que quizs no pueden ser completamente
descontados.
Hasta ahora hemos hablado de las intervenciones en la lnea germinal, los que se
pueden hacer en los gametos o embriones. Somticos mejoras de genes, sin pasar por el
ciclo de generacin, podran producir, en principio, los impactos ms rpidamente. Sin
embargo, son tecnolgicamente mucho ms difcil. Requieren que los genes modificados
pueden insertar en un gran nmero de clulas en el cuerpo vivo, incluyendo, en el caso de
mejora de la cognicin, el cerebro. Seleccin entre las clulas o embriones de huevo
existentes, en contraste, no requiere la insercin de genes. Incluso este tipo de terapias
como la lnea germinal tareas implican la modificacin del genoma (por ejemplo, la
correccin del genoma o empalme de alelos raros) son mucho ms fciles de implementar
en el gameto o la etapa embrionaria, donde uno est tratando con un pequeo nmero de
clulas. Por otra parte, las intervenciones en la lnea germinal de embriones
probablemente pueden lograr mayores efectos que las intervenciones somticas en los
adultos, debido a que el primero sera capaz de dar forma el desarrollo temprano del
cerebro mientras que el segundo se limitara a ajustar una estructura existente. (Algo de lo
que se podra hacer a travs de la terapia gnica somtica tambin podran ser
alcanzables por medios farmacolgicos.) Centrndonos, por tanto, en las intervenciones en
la lnea germinal, debemos tener en cuenta el desfase generacional retrasar cualquier gran
impacto en el mundo.60
Incluso si la tecnologa se perfecciona hoy y de inmediato empez a utilizar, se
necesitaran ms de dos dcadas para que una cra mejorada genticamente para alcanzar

la madurez. Adems, con aplicaciones en seres humanos normalmente hay un retraso de

al menos una dcada entre prueba de concepto en el laboratorio y la aplicacin clnica,
debido a la necesidad de extensos estudios para determinar la seguridad. Las formas ms
simples de la seleccin gentica, sin embargo, podran anular en gran medida la necesidad
de tales pruebas, ya que utilizaran tcnicas de tratamiento de fertilidad estndar y la
informacin gentica que elegir entre embriones que de otro modo han sido
seleccionados por casualidad.
Los retrasos tambin pueden ser el resultado de los obstculos no enraizadas en un miedo
al fracaso (la demanda de pruebas de seguridad), sino en el miedo al xito, la demanda de
regulacin impulsada por las preocupaciones sobre la licitud moral de la seleccin
gentica o sus implicaciones sociales ms amplias. Tales preocupa ciones son
probablemente ms influyente en algunos pases que en otros, debido a los diferentes
contextos culturales, histricos y religiosos. Alemania de la posguerra, por ejemplo, ha
optado por dar un gran rodeo para cualquier prctica reproductivos que podran ser
percibidos como incluso en la forma ms remota dirigida a la mejora, una postura que es
comprensible dada la historia particularmente oscura de atrocidades conectados a la
eugenesia movimiento en ese pas. Otros pases occidentales tienden a ad optar un
enfoque ms liberal. Y algunos pases, tal vez China o Singapur, los cuales tienen las
polticas de poblacin podra a largo plazo no slo permiten sino que activamente
promueven el uso de la seleccin gentica y la ingeniera gentica para mejora r la
inteligencia de sus poblaciones una vez que la tecnologa para hacerlo est disponible.
Una vez que el ejemplo se ha establecido, y los resultados empiezan a mostrar, holdouts
tendrn fuertes incentivos para seguir su ejemplo. Naciones se enfrentar an a la
posibilidad de convertirse remansos cognitivas y perder en, cientficos, militares, y
concursos de prestigio econmicos con los competidores que adoptan las nuevas
tecnologas de mejora de humanos. Los individuos dentro de una sociedad veran lugares
en las escuelas de lite que se llenan de nios seleccionados genticamente (que tambin
pueden ser en promedio ms bonita, ms saludable y ms consciente) y querrn sus
propios hijos para tener las mismas ventajas. Hay alguna posibilidad de que un gran
cambio de actitud podra tener lugar durante un tiempo relativamente corto, tal vez en
tan slo una dcada, una vez que la tecnologa se ha demostrado que funciona y para
proporcionar un beneficio sustancial. Las encuestas de opinin en Estados Unidos revelan
un cambio dramtico en la aprobacin pblica de la fecundacin in vitro despus del
nacimiento del primer "beb probeta", Louise Brown, en 1978. Unos aos antes, slo el
18% de los estadounidenses dijeron que usaran personalmente FIV para tratar la
infertilidad; sin embargo, en una encuesta realizada poco despus del nacimiento de
Louise Brown, el 53% dijo que lo haran, y el nmero sigue aumentando.61
(En
comparacin, en una encuesta realizada en 2004, el 28% de los estadounidenses aprueba
la seleccin de embriones para la "fuerza o inteligencia", 58% aprobado para evitar el
cncer del adulto, y el 68% aprobado de la misma para evitar enfermedades infantiles
mortales. 62)
Si sumamos los diversos retrasos -digamos cinco a diez aos para reunir la informacin
necesaria para la seleccin significativamente eficaz entre un conjunto de embriones
fecundados in vitro (posiblemente mucho ms tiempo antes provienen gametos derivados

de clulas estn disponibles para su uso en la reproduccin humana), diez ao s a construir

una absorcin importante, y veinte-veinticinco aos para que la mejorada
generacin para llegar a una edad en la que comienzan a ser productiva, nos
encontramos con que las mejoras de la lnea germinal es poco probable que tenga un
impacto significativo en la sociedad antes de mediados de este siglo. A partir de ese punto
en adelante, sin embargo, la inteligencia de los segmentos importantes de la poblacin
adulta puede comenzar a ser impulsado por mejoras genticas. La velocidad de la subida
sera luego acelerar en gran medida como cohortes concebidos mediante tecnologas
genticas ms potentes de la prxima generacin (en gametos derivados de clulas madre
y en particular la seleccin de embriones iterativo) entrar en la fuerza laboral. Con el pleno
desarrollo de las tecnologas genticas descritas anteriormente (dejando a un lado las
posibilidades ms exticas como la inteligencia en el tejido neural culta), que podra ser
posible para asegurar que los nuevos individuos son en promedio ms i nteligente que
cualquier ser humano que an no ha existido, con picos que subir ms alto todava. El
potencial de mejora biolgica es, pues, en ltima instancia, alto, probablemente suficiente
para el logro de la forma al menos dbiles de superinteligencia. Esto no debera ser
sorprendente. Despus de todo, los procesos evolutivos mudos han ampliado
dramticamente la inteligencia en el linaje humano, incluso en comparacin con nuestros
parientes cercanos a los grandes simios y nuestros propios ancestros humanoides; y no
hay razn para suponer
Homo sapiens haber alcanzado el vrtice de alcanzable eficacia cognitiva en un sistema
biolgico. Lejos de ser la especie biolgica ms inteligentes posibles, estamos
probablemente mejor idea de como las especies biolgicas posibles estpidas capaces de
iniciar una civilizacin tecnolgica-un nicho llenamos porque llegaron all primero, no
porque estamos en ningn sentido ptimamente adaptado a ella. El progreso a lo largo de
la ruta biolgica es claramente factible. El desfase generacional en las intervenciones en la
lnea germinal significa que el progreso no poda ser tan repentina y abrupta como en
escenarios de inteligencia de la mquina. (Somticas terapias gnicas y las intervenciones
farmacolgicas podran saltar tericamente el desfase generacional, pero parece ms
difcil de perfeccionar y tienen menos probabilidades de producir efectos dramticos.) El
ltimo potencial de la inteligencia de la mquina es, por supuesto, mucho mayor que la
de la inteligencia orgnica. (Se puede obtener una idea de la magnitud de la brecha
considerando la diferencia de velocidad entre los componentes electrnicos y las clulas
nerviosas: transistores incluso de hoy operan en una escala de tiempo diez millones de
veces menor que la de las neuronas biolgicas.) Sin embargo, incluso las mejoras
relativamente moderadas de biolgica cognicin podra tener consecuencias importantes.
En particular, la mejora cognitiva podra acelerar la ciencia y la tecnologa, incluidos los
avances hacia formas ms potentes de amplificacin de la inteligencia biolgica y la
inteligencia artificial. Considere cmo el ritmo de avance en el campo de la inteligencia
artificial que cambiara en un mundo donde Average Joe es un interlocutor intelectual de
Alan Turing o John von Neumann, y donde millones de personas se elevan muy por
encima de cualquier gigante intelectual del past.63 Una discusin de las implicaciones
estratgicas de mejora cognitiva tendr que esperar un captulo posterior. Pero podemos
resumir esta seccin sealando tres conclusiones: (1) por lo menos dbil formas de

superinteligencia son alcanzables por medio de mejoras biotecnolgicas; (2) la viabilidad

de los seres humanos cognitivamente mejoradas se suma a la plausibilidad que avanz
formas de inteligencia de la mquina son factibles, porque incluso si
nosotros
eran fundamentalmente incapaz de crear inteligencia artificial (que no hay
ninguna razn para suponer), la inteligencia artificial an podra estar al alcance de los
humanos cognitivamente mejoradas; y (3) si tenemos en cuenta los escenarios de
estiramiento significativamente en la segunda mitad de este siglo y ms all, hay que
tener en cuenta la aparicin probable de una generacin de poblaciones genticamente
mejorados votantes, inventores, cientficos-con la magnitud de la mejora rpida escalada
ms dcadas posteriores.
Interfaces cerebro-ordenador
A veces se propone que las interfaces cerebro-ordenador directos, en particular los
implantes, podran permitir a los seres humanos para explotar los puntos fuertes de
recuperacin digital de computacin perfecto, clculo aritmtico rpida y precisa, y datos
de alto ancho de banda de transmisin que permite al sistema hbrido resultante superan
radicalmente la cerebro no aumentada. 64 Pero a pesar de la posibilidad de
conexiones directas entre el cerebro humano y los ordenadores se ha demostrado, parece
poco probable que este tipo de interfaces se utilizan ampliamente como mejoras cualquier
momento soon.65
Para empezar, hay riesgos significativos de complicaciones mdicas, incluyendo
infecciones, desplazamiento del electrodo, hemorragia, y la implantacin de electrodos en
declive cognitivo en el cerebro. Tal vez el ejemplo ms vivo a la fecha de los beneficios que
se pueden obtener a travs de la estimulacin cerebral es el tratamiento de los pacientes
con la enfermedad de Parkinson. El implante de Parkinson es relativamente simple: no se
comunica realmente con el cerebro sino simplemente suministra una corriente elctrica
estimulante para el ncleo subtalmico. Un vdeo de demostracin muestra un sujeto se
desplom en una silla, completamente inmovilizado por la enfermedad, y de repente
brota a la vida cuando la corriente est encendido: el sujeto ahora mueve sus brazos, se
pone de pie y camina por la habitacin, se da la vuelta y realiza una pirueta . Sin embargo,
incluso detrs de este procedimiento especialmente sencillo y casi milagrosamente xito,
acechan negativos. Un estudio de los pacientes con Parkinson que haban recibido
implantes cerebrales profundas mostr reducciones en la fluidez verbal, la atencin
selectiva, de nombres de colores, y la memoria verbal en comparacin con los controles.
Temas tratados tambin reportaron quejas ms cognitivas.66 Tales riesgos y efectos
secundarios pueden ser tolerable si el procedimiento se utiliza para aliviar una
discapacidad severa. Pero para que los sujetos sanos voluntarios a s mismos para la
neurociruga, tendra que haber alguna mejora muy sustancial de la funcionalidad normal
a ser adquirida.
Esto nos lleva a la segunda razn para dudar de que la superinteligencia se lograr
mediante ciborgizacin, a saber, que la mejora es probable que sea mucho ms difcil que
la terapia. Los pacientes que sufren de parlisis podran beneficiarse de un implante que
reemplaza sus nervios cortados o activa generadores de patrones de movimiento de la
columna vertebral. 67

Los pacientes que son sordos o ciegos podra beneficiarse de cochleae artificial y
pacientes retinas.68 con enfermedad de Parkinson o el dolor crnico podran beneficiarse
de la estimulacin cerebral profunda que excita o inhibe la actividad en un rea particular
de la brain.69 Lo que parece mucho ms difcil de lograr es una interaccin directa de alto
ancho de banda entre el cerebro y el ordenador para proporcionar aumentos sustanciales
en la inteligencia de una forma que no podan alcanzarse ms fcilmente por otros
medios. La mayora de los potenciales beneficios que los implantes cerebrales podran
proporcionar en sujetos sanos se puede obtener en menos riesgo, los gastos y molestias a
travs de nuestro motor regular y rganos de los sentidos para interactuar con los
ordenadores situados fuera de nuestros cuerpos. No necesitamos para conectar un cable
de fibra ptica en nuestro cerebro con el fin de acceder a Internet. No slo puede la retina
humana transmitir datos a una velocidad impresionante de casi 10 millones de bits por
segundo, pero viene pre-empaquetado con una cantidad masiva de wetware dedicado, la
corteza visual, que est altamente adaptada al significado extraer de este torrente de
informacin y para la interconexin con otras reas del cerebro para su posterior
processing.70 Incluso si hubiera una manera fcil de bombear ms informacin en nuestro
cerebro, la entrada de datos adicional hara poco para aumentar la velocidad a la que
pensamos y aprender a no ser que toda la maquinaria neuronal necesaria para dar sentido
a los datos se actualiza de manera similar. Dado que este incluye casi todo el cerebro, lo
que realmente se necesita es una "prtesis total del cerebro - que es slo otra forma de
decir ia fuerte. Sin embargo, si uno tena un nivel AI humana, se podra prescindir de la
neurociruga: una computadora puede ser que tambin tienen una carcasa de metal como
uno de los huesos. As que este caso lmite slo nos lleva de vuelta a la senda de AI, que ya
hemos examinado. Interfaz cerebro-ordenador tambin se ha propuesto como una
manera de obtener informacin fuera del cerebro, para los propsitos de la comunicacin
con otros cerebros o con mquinas.71
Tales enlaces ascendentes han ayudado a pacientes con bloqueado-en el sndrome de
comunicarse con el mundo exterior por lo que les permite mover un cursor en una
pantalla por thought.72 El ancho de banda alcanzado en tales experimentos es baja: el
paciente minuciosamente tipos fuera una letra lenta despus de otras en un ritmo de unas
palabras por minuto. Uno puede imaginar fcilmente versiones mejoradas de esta
tecnologa, tal vez un implante de ltima generacin podra tapar en el rea de Broca (una
regin en el lbulo frontal que participan en la produccin del lenguaje) y recoger
speech.73 interna Pero mientras esta tecnologa podra ayudar a algunas personas con
discapacidades inducidas por accidente cerebrovascular o la degeneracin muscular, se
celebraran poco atractivo para los sujetos sanos. La funcionalidad que proporcionara es
esencialmente la de un micrfono junto con el software de reconocimiento de voz, que ya
est disponible comercialmente-menos el dolor, molestias, gastos, y los riesgos asociados
con la neurociruga (y menos por lo menos algunos de los matices hiper-orwelliana de un
dispositivo de escucha intracraneal). Mantener nuestras mquinas fuera de nuestro
Pero qu pasa con el sueo de pasar por las palabras en
cuerpo tambin hace ms fcil de actualizar.
conjunto y establecer una conexin entre dos cerebros que permite conceptos, pensamientos o reas enteras de la experiencia d e ser
"descargados" de una mente a otra? Podemos descargar archivos de gran tamao a nuestras computadoras, incluyendo bibliotecas con
millones de libros y artculos, y esto se puede hacer a lo largo de segundos: algo similar podra hacerse con nuestro cerebro ? La

aparente plausibilidad de esta idea deriva probablemente de una visin incorrecta de cmo se almacena y se represent en el cerebro
la informacin. Como se ha sealado, el paso limitante de la velocidad en la inteligencia humana no es la rapidez con datos b rutos
pueden ser alimentados en el cerebro, sino ms bien lo rpido que el cerebro puede extraer el significado y dar sentido a los datos. Tal
vez se sugiri que transmitimos significados directamente, en lugar de ellos paquete en datos sensoriales que debe ser decodi ficado
por el receptor. Hay dos problemas con esto. La primera es que el cerebro, a diferencia de los tipos de programa que normalmente se
ejecutan en nuestros ordenadores, no utilizan formatos de almacenamiento y representacin de datos estandarizados. Ms bien, cada
cerebro desarrolla sus propias representaciones idiosincrsicos de contenido de nivel superior. Qu particulares asambleas neuronales
son reclutados para representar un concepto particular depende de las experiencias nicas del cerebro en cuestin (junto con varios
factores genticos y los procesos fisiolgicos estocsticos). Al igual que en las redes neuronales artificiales, es decir, en las redes
neuronales biolgicas es probable representado de manera integral en la estructura y actividad patrones de regiones superpues tas
importantes, no en las clulas de memoria discretos establecidos en matrices ordenadas.

74
Por lo tanto, no sera posible establecer un sencillo mapeo entre las neuronas en
un cerebro y los de otro de tal manera que los pensamientos podran deslizarse
automticamente de uno a otro. A fin de que los pensamientos de un cerebro a ser
inteligible a otro, los pensamientos deben ser descompuesto y empaquetado en smbolos
de acuerdo a alguna convencin compartida que permite a los smbolos que deben ser
interpretadas correctamente por el cerebro de recepcin. Este es el trabajo del lenguaje.
En principio , Uno podra imaginar la descarga del trabajo cognitivo de articulacin e interpretacin de una interfaz que
leera alguna manera los estados neuronales en el cerebro del emis or y de alguna manera de comer en un patrn de medida de
activacin para el cerebro del receptor. Pero esto nos lleva al segundo problema con el escenario de cyborg. Incluso dejando de lado la
(bastante inmensa) desafo tcnico de cmo leer y escribir de forma fiable al mismo tiempo de quizs miles de millones de neuronas
direccionables individualmente, creando la interfaz requerida es probablemente un problema de AI -completo. La interfaz tendra que
incluir un componente de poder (en tiempo real) para trazar patrones de disparo en un cerebro en patrones de descarga
semnticamente equivalentes en el otro cerebro. La comprensin detallada de varios niveles de la computacin neuronal necesar ia
para llevar a cabo tal tarea parece habilitar directamente neuromr fica AI.

A pesar de estas reservas, la ruta hacia la mejora cognitiva cyborg no es del todo
sin promesa. Impresionante trabajo en el hipocampo de ratas ha demostrado la viabilidad
de una prtesis neural que puede mejorar el rendimiento en una tarea de memoria de
trabajo simple.
75
En su versin actual, el implante recoge las aportaciones de una docena o dos
electrodos situados en un rea ("CA3") del hipocampo y proyectos en un nmero similar
de neuronas en otra rea ("CA1"). Un microprocesador est capacitado para discriminar
entre dos patrones de activacin diferentes en la primera zona (correspondiente a dos
memorias diferentes, "palanca derecha" o "palanca izquierda") y para aprender cmo
estos patrones se proyectan en la segunda zona. Esta prtesis no slo puede restaurar la
funcin cuando se bloque la conexin neuronal normal entre las dos reas neuronales,
pero mediante el envo de un token especialmente claro de un patrn particular de la
memoria a la segunda rea que puede mejorar el rendimiento en la tarea de memoria
ms all de lo que la rata es normalmente capaz de hacer. Mientras que un tour de force
tcnico para los estndares contemporneos, el estudio deja muchas preguntas difciles
sin respuesta: Qu tan bien la escala de enfoque para un mayor nmero de recuerdos?
Qu tan bien podemos controlar la explosin combinatoria que de lo contrario amenaza
con hacer que el aprendizaje de la asignacin correcta factible a medida que aumenta el
nmero de neuronas de entrada y salida? El mejor rendimiento en la tarea de prueba

viene en algn costo oculto, como la disminucin de la capacidad de generalizar a partir

del estmulo particular usado en el experimento, o disminucin de la capacidad para
desaprender la asociacin cuando el entorno cambia? Los sujetos de prueba todava de
alguna manera beneficiar incluso si, a diferencia de las ratas que podan acogerse a las
ayudas de memoria externas tales como lpiz y papel? Y cunto ms difcil sera aplicar un
mtodo similar al de otras partes del cerebro? Considerando que la presente prtesis se
aprovecha de la estructura de alimentacin hacia adelante relativamente simple de las
partes del hipocampo (bsicamente acta como un puente entre las zonas unidireccional
CA3 y CA1), otras estructuras en la corteza implican retroalimentacin enrevesado bucles
que aumentan en gran medida la complejidad del cableado Diagrama y, presumiblemente,
la dificultad de descifrar el funcionamiento de cualquier grupo integrado de las neuronas.
Una esperanza para la ruta cyborg es que el cerebro, si se implanta de forma permanente
con un dispositivo de conexin a algn recurso externo, sera con el tiempo
aprender
una asignacin eficaz entre sus propios estados internos cognitivas y las
entradas que recibe de, o las salidas, aceptados por el dispositivo. Entonces, el propio
implante no tendra que ser inteligente; ms bien, el cerebro sera inteligente adaptarse a
la interfaz, tanto como el cerebro de un nio aprende gradualmente a interpretar las
seales que llegan de los receptores en sus ojos y ears.76 Pero aqu de nuevo uno debe
preguntarse cunto realmente se gan. Supongamos que la plasticidad del cerebro eran
tales que podra aprender a detectar patrones de alguna nueva arbitraria flujo de entrada
proyectada sobre una parte de la corteza por medio de una interfaz cerebro-ordenador:
por qu no proyectar la misma informacin sobre la retina en su lugar, como una visual
patrn, o sobre la cclea como sonidos? La alternativa de baja tecnologa evita mil
complicaciones, y en ambos casos el cerebro podra desplegar sus mecanismos de
reconocimiento de patrones y la plasticidad para aprender a dar sentido a la informacin.
Redes y organizaciones

Otro camino concebible superinteligencia es a travs de la mejora gradual de las

redes y organizaciones que enlazan las mentes humanas individuales entre s y con varios
artefactos y los robots. La idea aqu no es que esto mejorara la capacidad intelectual de
las personas suficientes para hacerlos superinteligente, sino ms bien que al gn sistema
compuesto por individuos tanto en red y organizados podra alcanzar una forma de
superinteligencia-lo que en el prximo captulo vamos a elaborar como "colectiva
superinteligencia ".
77
La humanidad ha ganado enormemente en la inteligencia colectiva en el transcurso de la
historia y la prehistoria. Las ganancias provienen de muchas fuentes, incluyendo
innovaciones en la tecnologa de las comunicaciones, como la escritura y la imprenta, y
sobre todo la introduccin de la lengua propia; aumentos en el tamao de la poblacin
mundial y la densidad de la vivienda; diversas mejoras en las tcnicas de organizacin y
normas epistmicas; y una acumulacin gradual de capital institucional. En trminos
generales, la inteligencia colectiva de un sistema est limitado por la capacidad de sus
mentes miembros, los gastos generales de la comunicacin de informacin relevante
entre ellos, y las diversas distorsiones e ineficiencias que impregnan las organizaciones
humanas. Si se reducen los gastos generales de comunicacin (incluyendo no slo los

costos de equipos, sino tambin de respuesta latencias, las cargas de tiempo y atencin, y
otros factores), a continuacin, las organizaciones ms grandes y densamente conectado
vuelven factible. Lo mismo podra suceder si no se encuentran soluciones para algunas de
las deformaciones burocrticas que tuercen juegos de estado de organizacin de la vida
derrochador, ampliacin de la misin, ocultacin o falsificacin de informacin, y otros
problemas de agencia. Incluso las soluciones parciales para estos problemas podran pagar
dividendos jugosos para la inteligencia colectiva. Las innovaciones tecnolgicas e
institucionales que podran contribuir al crecimiento de nuestra inteligencia colectiva son
muchas y variadas. Por ejemplo, los mercados de prediccin subvencionados podran
fomentar normas que buscan la verdad y mejorar la previsin sobre cuestiones cientficas y
sociales polmicos.78 Detectores de mentiras (cuando resulte factible hacer los que son
fiables y fciles de usar) podra reducir las posibilidades de engao en los detectores de
autoengao affairs.79 humanos podran ser an ms powerful.80 Incluso sin tecnologas
cerebrales novedosos, algunas formas de engao podra llegar a ser ms difcil de
practicar gracias a una mayor disponibilidad de muchos tipos de datos, incluyendo la
reputacin y trayectoria, o la promulgacin de fuertes normas epistmicas y la cultura
racionalidad. Vigilancia voluntaria e involuntaria se amasar grandes cantidades de
informacin sobre el comportamiento humano. Las redes sociales ya son utilizados por
ms de mil millones de personas para compartir datos personales: en breve, estas
personas podran comenzar a subir las grabaciones continuas de vida de los micrfonos y
las cmaras de vdeo incorporados en sus telfonos inteligentes o los marcos de anteojos.
El anlisis automatizado de dichos flujos de datos permitir a muchas aplicaciones nuevas
(siniestros, as como benignos, por supuesto) 0.81
El crecimiento de la inteligencia colectiva tambin puede provenir de mejoras
organizativas y econmicas ms generales, y de la ampliacin de la fraccin de la
poblacin mundial que se educ, conectado digitalmente, e integrado en la cultura
intelectual global.
82 El Internet se destaca como una frontera particularmente
dinmico para la innovacin y la experimentacin. La mayor parte de su potencial todava
pueden permanecer sin explotar. Continuando con el desarrollo de una web inteligente,
con un mejor soporte para la deliberacin, de empuje-DE, y la agregacin juicio, podra
hacer grandes contribuciones al aumento de la inteligencia colectiva de la humanidad en
su conjunto o de grupos particulares.
Pero qu hay de la idea aparentemente ms fantasiosa que Internet podra algn
da estela
arriba "? Podra el Internet convertirse en algo ms que la columna vertebral de una
superinteligencia, algo vagamente colectiva integrada ms como un crneo virtual de la
vivienda un emergente super-inteligencia unificada? (Esta fue una de las formas en que la
superinteligencia podra surgir de acuerdo con la influyente 1993 el ensayo de Vernor
Vinge, que acu el trmino "singularidad tecnolgica". 83) Contra ste podra objetar
que la inteligencia artificial es bastante difcil de lograr a travs ardua ingeniera, y que es
increble suponer que surgir
espontneamente. Sin embargo, la historia no tiene
por qu ser que algunos futura versin de Internet de repente se convierte en
superinteligente por mera casualidad. Una versin ms plausible del escenario sera que el

Internet se acumula mejoras gracias al trabajo de muchas personas durante muchos aos
el trabajo de disear mejor la bsqueda y filtrado de informacin, algoritmos ms
potentes formatos de representacin de datos, agentes de software autnomas ms
capaces, y los protocolos ms eficientes que rige las interacciones entre estos robots-y que
las mejoras incrementales mirada finalmente crear la base de alguna forma ms unificada
de la inteligencia web. Parece por lo menos concebible que un sistema cognitivo basado en
la web tales, sobresaturada con potencia de los ordenadores y todos los dems recursos
necesarios para un crecimiento explosivo salvo por un ingrediente fundamental, podra,
cuando el componente faltante final se dej caer en el caldero, arder con
superinteligencia. Este tipo de escenario, sin embargo, converge en otro posible camino
hacia la superinteligencia, el de inteligencia general artificial, que ya hemos discutido.
Resumen
El hecho de que hay muchos caminos que conducen a la superinteligencia debera
aumentar nuestra confianza en que vamos a llegar con el tiempo. Si un camino resulta ser
bloqueado, todava podemos avanzar.
Que hay varias rutas no implica que hay mltiples destinos. Incluso si la
amplificacin de inteligencia significativa se logra primero a lo largo de uno de los caminos
no-mquina de inteligencia, esto no hara que la inteligencia artificial irrelevante. Todo lo
contrario: una mayor inteligencia biolgica u organizacional aceleraran los avances
cientficos y tecnolgicos, lo que podra acelerar la llegada de las formas ms radicales de
amplificacin de la inteligencia como la emulacin de todo el cerebro y la IA. Esto no
quiere decir que es indiferente cmo se llega a la mquina superinteligencia. El camino
recorrido para llegar all podra hacer una gran diferencia en el resultado final. Incluso si
las capacidades finales que se obtienen no dependen tanto de la trayectoria, cmo se
utilizarn-how esas capacidades tanto control que los seres humanos tienen so bre su
disposicin, bien podra depender de los detalles de nuestro enfoque. Por ejemplo, las
mejoras de la inteligencia biolgica o de organizacin podran aumentar nuestra
capacidad para anticipar riesgos y disear superinteligencia mquina que es seguro y
beneficioso. (Una evaluacin estratgico implica muchas complejidades, y tendr que
esperar el captulo 14.) Verdadero superinteligencia (en contraposicin a aumentos
marginales en los niveles actuales de inteligencia) podra plausiblemente primero ser
alcanzado a travs de la ruta de AI. Hay, sin embargo, muchas incertidumbres
fundamentales a lo largo de este camino. Esto hace que sea difcil evaluar rigurosamente
el tiempo que el camino es o cuntos obstculos que hay en el camino. El camino de
emulacin de todo el cerebro tambin tiene alguna posibilidad de ser la ruta ms rpida a
superinteligencia. Desde el progreso a lo largo de este camino requiere avances
tecnolgicos principalmente incrementales en lugar de avances tericos, un caso fuerte
puede hacer que con el tiempo tener xito. Parece bastante probable, sin embargo, que
incluso si el progreso a lo largo de toda la ruta de emulacin de cerebro es rpido,
la inteligencia artificial, sin embargo, ser el primero en cruzar la lnea de llegada: est o es
debido a la posibilidad de neuromrfica IA basado en emulaciones parciales.
Mejoras cognitivas biolgicos son claramente factible, especialmente los basados en la
seleccin gentica. La seleccin de embriones Iterated actualmente parece una tecnologa
especialmente prometedora. En comparacin con los posibles avances en la inteligencia

de la mquina, sin embargo, las mejoras biolgicas seran relativamente lenta y gradual.
Ellos, a lo sumo, dar lugar a formas relativamente dbiles de superinteligen cia (ms sobre
esto en breve).
La clara posibilidad de mejora biolgica debera aumentar nuestra confianza en que la
inteligencia artificial es en ltima instancia, alcanzables, ya que los cientficos e ingenieros
humanos mejorados sern capaces de hacer ms y ms rpido progreso de su au
naturel
contrapartes. Especialmente en escenarios en los que la inteligencia artificial se retrasa
ms all de mediados de siglo, las cohortes cada vez cognitivamente mejoradas prximos
escenario jugarn un papel creciente en la evolucin posterior. Ven poco probable
interfaces cerebro-ordenador como fuente de superinteligencia. Las mejoras en las redes y
organizaciones podran dar lugar a formas dbilmente superinteligentes de la inteligencia
colectiva en el largo plazo; pero lo ms probable es que van a jugar un papel facilitador
similar a la de la mejora cognitiva biolgica, poco a poco la capacidad efectiva el aumento
de la humanidad para resolver problemas intelectuales. En comparacin con las mejoras
biolgicas, los avances en las redes y la organizacin har una diferencia antes-de hecho,
estos avances se estn produciendo continuamente y estn teniendo un impacto
significativo ya. Sin embargo, las mejoras en las redes y organizaciones pueden dar ms
estrechos aumentos en nuestra capacidad de resolucin de problemas de mejoras en la
"inteligencia colectiva" cognicin-que alza biolgica en lugar de "inteligencia de calidad",
para anticipar una distincin que estamos a punto de introducir en el prximo captulo.
CAPTULO 3
Formas de superinteligencia
Entonces, qu es, exactamente, qu entendemos por "superinteligencia"? Si bien no
deseamos empantanarse en pantanos terminolgicas, algo que hay que decir para aclarar
el terreno conceptual. Este captulo identifica tres formas diferentes de superinteligencia,
y argumenta que son, en un sentido relevante en la prctica, equivalente. Tambin
muestran que el potencial de inteligencia en un sustrato mquina es mucho mayor que en
un sustrato biolgico. Mquinas tienen una serie de ventajas fundamentales que les dar
la superioridad abrumadora. Los humanos biolgicos, aunque ha mejorado, sern
Muchas mquinas y animales no humanos ya realizan a niveles sobrehumanos en dominios estrechos.
superados.
Murcilagos interpretan seales de sonar mejor que el hombre, calculadoras nos superan en aritmtica, y los programas de ajedrez nos
golpearon en el ajedrez. La gama de tareas especficas que pueden ser mejor realizado por el software continuar expandindos e. Pero
aunque los sistemas especializados de procesamiento de informacin tendrn muchos usos, hay cuestiones profundas adicionales que
surgen slo con la perspectiva de intelectos mquinas que tienen suficiente inteligencia general para sustituir a los humanos a travs
del tablero.

Como se indic anteriormente, se utiliza el trmino "superinteligencia" para referirse a los

intelectos que superan considerablemente las mejores mentes humanas actuales a travs
de muchos dominios cognitivos muy generales. Esto es todava muy vago. Diferentes tipos
de sistema con atributos de rendimiento en lugar dispares podran calificar como
superinteligencias bajo esta definicin. Para avanzar en el anlisis, es til desglosar esta
simple nocin de superinteligencia distinguiendo diferentes haces de super-capacidades
intelectuales. Hay muchas maneras en las que tal descomposicin se poda hacer. Aqu

vamos a diferenciar entre tres formas: superinteligencia velocidad, superinteligencia

colectiva y superinteligencia calidad. Superinteligencia velocidad Un superinteligencia
velocidad es un intelecto que es igual que una mente humana, pero ms rpido. Esto es
conceptualmente la forma ms fcil de superinteligencia analizar.1 Podemos definir
superinteligencia velocidad de la siguiente manera: Velocidad superinteligencia:
Un sistema que puede hacer todo lo que el intelecto humano puede hacer, pero
mucho ms rpido
.
Por "mucho" que aqu significa algo as como "mltiples rdenes de magnitud." Pero en
lugar de tratar de borrar todos los remanente de la vaguedad de la definicin, vamos a
confiar al lector interpretar con sensatez. 2
El ejemplo ms simple de superinteligencia velocidad sera una emulacin total del
cerebro que se ejecuta en hardware rpido.
3
Una emulacin que funciona a una velocidad de diez mil veces mayor que la de un
cerebro biolgico sera capaz de leer un libro en pocos segundos y escribir una tesis
doctoral en una tarde. Con un factor de aceleracin de un milln, una emulacin poda
lograr todo un milenio de trabajo intelectual en un da.4 trabajo
Para una mente tan rpida, los acontecimientos en el mundo exterior parecen
desarrollarse en cmara lenta. Suponga que su mente corra a 10000 . Si su amigo carnal
debe suceder a caer su taza de t, se poda ver la porcelana descender lentamente hacia la
alfombra en el transcurso de varias horas, como un cometa en silencio deslizndose por el
espacio hacia una cita con un planeta lejano; y, como la anticipacin de la venida de
choque se propaga tardamente a travs de los pliegues de
la materia gris de su amigo y de all hacia el sistema nervioso perifrico, se poda observar
su cuerpo asumiendo gradualmente el aspecto de un momento Uy-suficientes congelada
para usted, no slo para pedir una taza de reemplazo, sino tambin a leer un par de
artculos cientficos y tomar una siesta.
Debido a esto la dilatacin del tiempo aparente del mundo material, una superinteligencia
velocidad preferira trabajar con objetos digitales. Podra vivir en la realidad virtual y hacer
frente en la economa de la informacin. Alternativamente, podra interactuar con el
medio fsico por medio de manipuladores de nanoescala, ya que las extremidades en
escalas tan pequeas podran funcionar ms rpido que apndices macroscpicos. (La
frecuencia caracterstica de un sistema tiende a ser inversamente proporcional a su escala
de longitud. 5
) Una mente rpida podra comulgar principalmente con otras mentes rpidas en lugar de
con bradytelic, los humanos melaza-como.
La velocidad de la luz se convierte en un obstculo cada vez ms importante como mentes
se vuelven ms rpidos, ya que las mentes ms rpidas enfrentan mayores costos de
oportunidad en el uso de su tiempo para viajar o comunicarse a travs de largas
distancias.
6
La luz es aproximadamente un milln de veces ms rpido que un avin de reaccin, por
lo que se necesitara un agente digital con una aceleracin mental de 1.000.000

aproximadamente la misma cantidad de tiempo subjetivo de viajar por todo el mundo

como lo hace un journeyer humana contempornea. Marcar alguien de larga distancia
tomara tanto tiempo como llegar all "en persona", aunque sera ms barato que una
llamada requerira menos ancho de banda. Los agentes con grandes aceleraciones
mentales que quieren conversar ampliamente podran encontrar ventajoso para mover
cerca unos de otros. Mentes extremadamente rpidos con necesidad de una interaccin
frecuente (como miembros de un equipo de trabajo) pueden establecer su residencia en
computadoras ubicadas en el mismo edificio para evitar latencias frustrantes.
Superinteligencia colectiva
Otra forma de superinteligencia es un sistema de lograr un rendimiento superior
mediante la agregacin de un gran nmero de inteligencias ms pequeos:
Superinteligencia colectiva:
Un sistema compuesto de un gran nmero de inteligencias ms pequeas de tal
manera que el rendimiento general del sistema a travs de muchos dominios muy
generales enormemente supera a la de cualquier sistema cognitivo actual
.
Superinteligencia colectiva es menos conceptualmente clara de superinteligencia
velocidad.
7
Sin embargo, es ms familiar empricamente. Si bien no tenemos experiencia con mentes
a nivel humano que difieren de manera significativa en la velocidad de reloj, que hacer
tiene una amplia experiencia con la inteligencia colectiva, sistemas compuestos por varios
nmeros de componentes de nivel humano que trabajan junto con diversos grados de
eficiencia. Las empresas, equipos de trabajo, redes de chismes, grupos de defensa, las
comunidades acadmicas, pases, incluso la humanidad en su conjunto, pueden -si
adoptar un tanto abstracto perspectiva verse como vagamente definidos "sistemas"
capaces de resolver clases de problemas intelectuales. Por experiencia, tenemos una idea
de la facilidad con diferentes tareas sucumben a los esfuerzos de las organizaciones de
distinto tamao y composicin.
La inteligencia colectiva se destaca en la resolucin de problemas que se pueden romper
fcilmente en partes tales que las soluciones a los sub-problemas pueden perseguirse en
paralelo y verificados independientemente. Tareas como la construccin de un
transbordador espacial o explotacin de una franquicia de hamburguesas ofrecen
innumerables oportunidades para la divisin del trabajo: diferentes ingenieros trabajan en
los diferentes componentes de la nave; diferentes varas operan diferentes restaurantes.
En el mundo acadmico, la rgida divisin de investigadores, estudiantes, revistas,
subvenciones y premios en autnomos separados disciplinas -aunque poco propicio para
el tipo de trabajo que representa este libro-fuerza (slo en un marco conciliador y suave
de la mente) es visible como una condicin necesaria
alojamiento a los aspectos
prcticos de lo que permite un gran nmero de personas y equipos motivados diversa de
contribuir al crecimiento del conocimiento humano mientras se trabaja con relativa
independencia, cada arando su propio surco.
Inteligencia colectiva de un sistema podra mejorarse mediante la ampliacin del
nmero o la calidad de sus intelectos constituyentes, o mejorando la calidad de su
organizacin.

8
Para obtener un colectivo superinteligencia desde cualquier actual de la inteligencia
colectiva requerira un muy alto grado de mejora. El sistema resultante tendra que ser
capaz de enormemente superando cualquier corriente inteligencia colectiva u otro
sistema cognitivo a travs de muchos dominios muy generales. Un nuevo formato de la
conferencia que permite a los investigadores intercambiar informacin de manera ms
eficaz, o un nuevo algoritmo de filtrado de informacin colaborativa que las calificaciones
de los usuarios de los libros y las pelculas mejor predijo, claro que no hara en su propia
cantidad de algo parecido a superinteligencia colectiva. Tampoco sera un aumento del
50% en la poblacin mundial, o una mejora en el mtodo pedaggico que permiti a los
estudiantes para completar un da de clases en cuatro horas en lugar de seis. Algunos
mucho ms extremo crecimiento de la capacidad cognitiva colectiva de la humanidad
estara obligado a cumplir con el criterio de la superinteligencia colectiva.
Tenga en cuenta que el umbral para la superinteligencia colectiva est indexado a los
niveles de rendimiento de la presente, es decir, a principios del siglo XXI. A lo largo de la
prehistoria humana, y otra vez a lo largo de la historia humana, la inteligencia colectiva de
la humanidad

tiene crecido por factores muy grandes. La poblacin mundial, por ejemplo, ha
aumentado por lo menos un factor de mil desde que el Pleistocene.9 Sobre esta base, los
niveles actuales de la inteligencia colectiva humana podan considerarse superinteligencia
acercarse
en relacin con una lnea de base Pleistoceno
. Algunas mejoras en comunicaciones
tecnologas -especialmente hablan el idioma, pero tal vez tambin las ciudades, la
escritura y la impresin a tambin podra ser argumentado que tener, de forma individual
o en combinacin, siempre aumenta sper grandes, en el sentido de que si otra innovacin
de impacto comparable al nuestro colectiva capacidad de resolucin de problemas
intelectuales fueron a pasar, que dara lugar a superintelligence.10 colectiva
Un cierto tipo de lector se ver tentado a este punto interponer que la sociedad
moderna no parece tan particularmente inteligente. Tal vez algunos de decisiones
polticas no deseado solo se ha hecho en el pas de origen del lector, y la aparente falta de
sabidura de esa decisin ahora ocupa un lugar preponderante en la mente del lector
como evidencia de la incapacidad mental de la era moderna. Y no es el caso de que la
humanidad contempornea est idolatrando el consumo de materiales, agotamiento de
los recursos naturales, la contaminacin del medio ambiente, diezmando a la diversidad
de especies, a la vez que al no remediar gritando injusticias globales y dejar de lado los
valores humansticos o espirituales supremos? Sin embargo, dejando de lado la cuestin
de cmo se apilan las deficiencias de la modernidad contra las fallas no tan despreciables
de pocas anteriores, no hay nada en nuestra definicin de superinteligencia colectiva
implica que una sociedad con una mayor inteligencia colectiva es necesariamente mejor.
La definicin ni siquiera implica que la sociedad ms inteligente es colectivamente
ms sabio
. Podemos pensar en la sabidura como la capacidad de conseguir las cosas
importantes aproximadamente derecha. Entonces es posible imaginar una organizacin
compuesta de un gran grupo de trabajadores del conocimiento muy coordinados de
manera eficiente, que en conjunto pueden resolver problemas intelectuales a travs de
muchos dominios muy generales. Esta organizacin, supongamos, puede operar la
mayora de los tipos de empresas, inventar la mayora de tipos de tecnologas, y optimizar
la mayora de los tipos de procesos. An as, podra conseguir algunas cuestiones clave de
gran imagen totalmente equivocada ejemplo-para, puede dejar de tomar las precauciones
adecuadas contra los riesgos existenciales-y como resultado perseguir un corto perodo de
crecimiento explosivo que termina sin gloria en el colapso total. Tal organizacin podra
tener un alto grado de inteligencia colectiva; si es lo suficientemente alta, la organizacin
es una superinteligencia colectiva. Debemos resistir la tentacin de tirar todos los
atributos normativamente deseable en un concepto amorfo gigante del funcionamiento
mental, como si uno nunca podra encontrar un rasgo admirable sin todos los otros son
igualmente presentes. En su lugar, debemos reconocer que no puede existir
instrumentalmente poderosos sistemas de procesamiento de informacin-que los
sistemas inteligentes no son ni buenos ni inherentemente fiable sabio. Pero vamos a
examinar esta cuestin en el captulo 7.
Superinteligencia colectiva podra ser vagamente o estrechamente integrada. Para

ilustrar un caso de superinteligencia colectiva vagamente integrado, imaginar un planeta,

MegaEarth

, Que tiene el mismo nivel de las tecnologas de comunicacin y coordinacin que

tenemos actualmente en la Tierra real pero con una poblacin de un milln de veces ms
grande. Con una poblacin tan enorme, la fuerza de trabajo intelectual total en la
MegaEarth sera proporcionalmente mayor que en nuestro planeta. Supongamos que un
genio cientfico del calibre de un Newton o un Einstein surge al menos una vez por cada 10
millones de personas: entonces MegaEarth habra 700.000 tales genios viven
contemporneamente, junto proporcionalmente vastas multitudes de talentos
ligeramente menores. Las nuevas ideas y tecnologas se desarrollaron a un ritmo
vertiginoso, y la civilizacin mundial sobre MegaEarth constituiran una
superintelligence.11 colectiva vagamente integrado
Si aumentamos gradualmente el nivel de integracin de una inteligencia colectiva, que
puede llegar a convertirse en un unificado intelecto
-una sola "mente" grande en contraposicin a un mero conjunto de interactuar
libremente minds.12 humana ms pequea Los habitantes de MegaEarth podran dar
pasos en esa direccin mediante la mejora de las comunicaciones y las tecnologas de
coordinacin y mediante el desarrollo de mejores formas para muchas personas para
trabajar en cualquier disco problema intelectual juntos. Un superinteligencia colectiva
podra por lo tanto, despus de ganar lo suficiente en la integracin, convertirse en un
"superinteligencia calidad." Superinteligencia Calidad
Podemos
superinteligencia.

distinguir

una

tercera

forma

de

Superinteligencia Calidad: Un sistema que es al menos tan rpido como una mente
humana y cualitativamente muy inteligente.
Al igual que con la inteligencia colectiva, la calidad de la inteligencia es tambin un
concepto un tanto turbia; y en este caso la dificultad se ve agravada por nuestra falta de
experiencia con cualquier variacin en la calidad de inteligencia por encima del extremo
superior de la distribucin actual humano. Podemos, sin embargo, conseguir un poco de
comprensin de la nocin considerando algunos casos relacionados.
En primer lugar, podemos ampliar la gama de nuestros puntos de referencia
teniendo en cuenta los animales no humanos, que tienen la inteligencia de menor calidad.
(Esto no se entiende como una observacin especista Un pez cebra tiene una cualidad de
la inteligencia que se adapta excelentemente a sus necesidades ecolgicas, pero la
perspectiva relevante aqu es una ms antropocntrica uno:. Nuestra preocupacin es con
el rendimiento en humanamente . tareas cognitivas complejas pertinentes) Los animales no
humanos carecen de lenguaje estructurado complejo; que son capaces de ninguna o slo
el uso de herramientas rudimentarias y la construccin de la herramienta; que estn
severamente restringidos en su capacidad de hacer planes a largo plazo; y tienen la
capacidad de razonamiento abstracto muy limitada. Tampoco son estas limitaciones
plenamente explicadas por la falta de velocidad o de la inteligencia colectiva entre las
mentes de los animales no humanos. En trminos de potencia de clculo en bruto, los

cerebros humanos son probablemente inferiores a las de algunos animales grandes,

incluyendo elefantes y ballenas. Y aunque compleja civilizacin tecnolgica de la
humanidad no sera posible sin nuestra ventaja enorme en la inteligencia colectiva, no
todas las capacidades cognitivas claramente humanos dependen de la inteligencia
colectiva. Muchos estn muy desarrollados, incluso en pequeas, aisladas de cazadoresrecolectores bands.13 Y muchos no estn tan altamente desarrollados entre los animales
no humanos altamente organizados, como los chimpancs y los delfines intensamente
entrenados por instructores humanos, o las hormigas que viven en su propio grande y
bienestar sociedades ordenadas. Evidentemente, los notables logros intelectuales de
Homo sapiens son en gran medida atribuible a las caractersticas especficas de nuestra
arquitectura cerebral, las caractersticas que dependen de una dotacin gentica nica, no
compartida por otros animales. Esta observacin puede ayudar a ilustrar el concepto de
superinteligencia calidad: es la inteligencia de calidad al menos tan superior a la de la
inteligencia humana como la calidad de la inteligencia humana es superior a la de los
elefantes, delfines, o chimpancs.
Una segunda manera de ilustrar el concepto de superinteligencia calidad es
observando los dficits cognitivos especficos de dominio que pueden afectar los seres
humanos individuales, en particular los dficits que no son causados por la demencia en
general u otras condiciones asociadas con la destruccin total de los recursos
neurocomputacionales del cerebro. Consideremos, por ejemplo, las personas con
trastornos del espectro autista que pueden tener dficits notables en la cognicin social,
mientras que funciona bien en otros dominios cognitivos; o personas con amusia
congnita, que no pueden tararear o reconocer melodas simples con todo funcione con
normalidad en la mayora de los dems aspectos. Muchos otros ejemplos podran aducirse
de la literatura neuropsiquitrica, que est repleta de casos de estudio de los pacientes
que sufren dficits estrictamente circunscritas causadas por anomalas genticas o trauma
cerebral. Estos ejemplos muestran que los adultos humanos normales tienen una gama de
talentos cognitivos notables que no son simplemente una funcin de poseer una cantidad
suficiente de potencia de procesamiento neural general o incluso una cantidad suficiente
de inteligencia general: especializada tambin se necesita circuitera neural. Esta
observacin sugiere la idea de
posible, pero no se dio cuenta de talentos cognitivos
, Talentos que ningn ser
humano real posee a pesar de que otros sistemas de los inteligentes sin ms potencia de
procesador que el cerebro-que tena esos talentos se beneficiaran enormemente en su
capacidad para llevar a cabo una amplia gama de tareas estratgicamente relevantes
humano.
En consecuencia, teniendo en cuenta los animales no humanos e individuos
humanos con dficits cognitivos especficos de dominio, podemos formar una idea de las
diferentes cualidades de la inteligencia y de la diferencia prctica que hacen. Had
Homo sapiens carecido (por ejemplo) los mdulos cognitivos que permiten
representaciones lingsticas complejas, que podran haber sido slo otra especie de
simios que viven en armona con la naturaleza. Por el contrario, estbamos a
ganancia
algn nuevo conjunto de mdulos que dan una ventaja comparable a la de

ser capaz de formar representaciones lingsticas complejas, que se convertira en

superinteligente.
Alcance directo e indirecto
Superinteligencia en cualquiera de estas formas podra, con el tiempo, desarrollar la
tecnologa necesaria para crear cualquiera de los otros. La alcances indirectos de estas
tres formas de superinteligencia por lo tanto son iguales. En ese sentido, el alcance
indirecto de la inteligencia humana actual es tambin de la misma clase de equivalencia,
bajo la suposicin de que somos capaces finalmente de crear algn tipo de
superinteligencia. Sin embargo, hay un sentido en el que las tres formas de
superinteligencia estn mucho ms cerca uno del otro: uno de ellos podra crear otras
formas de superinteligencia ms rpidamente que podemos crear cualquier forma de
superinteligencia desde nuestro presente punto de partida.
La
alcances directos
de las tres formas diferentes de superinteligencia son ms difciles de comparar. Puede
que no haya pedido definitivo. Sus capacidades respectivas dependen del grado en que se
instancian sus respectivos ventajas- cmo
ayunar una superinteligencia velocidad, cmo
cualitativamente superior una superinteligencia calidad es, y as sucesivamente. A lo
sumo, podramos decir que, ceteris paribus
, Superinteligencia velocidad sobresale en las tareas que requieren la rpida ejecucin de
una larga serie de pasos que deben realizarse secuencialmente mientras superinteligencia
colectiva destaca en tareas de admisin de la descomposicin analtica en sub -tareas y
tareas paralelizables exigen la combinacin de diferentes perspectivas y habilidades. En
algn sentido vago, superinteligencia calidad sera la forma ms capaz de todo, en la
medida en que podra comprender y resolver problemas que son, para todos los
propsitos prcticos, ms all de la directo
el alcance de superinteligencia velocidad y superintelligence.14 colectiva En
algunos
mbitos, la cantidad es un pobre sustituto de la calidad. Un genio solitario que se resuelve
de una habitacin revestida de corcho puede escribir En busca del tiempo perdido
. Podra una obra maestra equivalente producirse mediante la contratacin de un edificio
de oficinas lleno de hacks literarios? 15 Incluso dentro de la gama de la actual variacin
humana vemos que algunas funciones se benefician enormemente de la labor de un
brillante intelectual en oposicin a los esfuerzos conjuntos de mediocridades
innumerables. Si ampliamos nuestro mbito para incluir superinteligente
mentes, debemos tolerar la probabilidad de que haya problemas intelectuales
solucionables slo superinteligencia e intratables a cualquier siempre tan grande colectiva
de los seres humanos no aumentada.
Puede por lo tanto haber algunos problemas
que son solucionables por una superinteligencia calidad, y tal vez por una superinteligencia
velocidad, sin embargo, que una superinteligencia colectiva vagamente integrado no
puede resolver (que no sea por primera amplificar su propia inteligencia).16
No podemos ver claramente lo que todos estos problemas son, pero podemos
caracterizarlos en terms.17 generales Ellos tienden a ser problemas que involucran
mltiples interdependencias complejas que no permiten de pasos de solucin

independientemente verificables: los problemas que, por tanto, no pueden ser resuelt os
de una manera gradual , y que podra requerir cualitativamente nuevos tipos de
entendimiento o nuevos marcos de representacin que son demasiado profunda o
demasiado complicado para la presente edicin de los mortales para descubrir o usar de
manera efectiva. Algunos tipos de la creacin artstica y la cognicin estratgica podran
caer en esta categora. Algunos tipos de avance cientfico, tal vez, lo mismo. Y uno puede
especular que la tardanza y el tambaleo del progreso de la humanidad en muchos de lo s
"problemas eternos" de la filosofa se deben a la falta de adaptacin de la corteza humana
para el trabajo filosfico. En este punto de vista, nuestros filsofos ms clebres son como
perros caminando sobre sus patas traseras, justo apenas alcanzar el ni vel de umbral de
rendimiento requerido para el ejercicio de la actividad en absoluto
0.18 Fuentes de ventaja para inteligencia digital Pequeos cambios en el volumen
cerebral y el cableado pueden tener importantes consecuencias, como vemos cuando
comparamos los logros intelectuales y tecnolgicos de los seres humanos con los de otros
simios. Los mucho mayores cambios en los recursos informticos y la arquitectura que la
inteligencia de la mquina permitir probablemente tendr consecuencias que son an
ms profunda. Es difcil, quizs imposible, para nosotros formamos un sentido intuitivo de
las aptitudes de una superinteligencia; pero al menos podemos obtener una idea del
espacio de posibilidades examinado algunas de las ventajas abiertas a las mentes di gitales.
Las ventajas de hardware son ms fciles de apreciar:

Velocidad de elementos computacionales . Neuronas biolgicas operan a una velocidad

pico de aproximadamente 200 Hz, un total de siete rdenes de magnitud ms lento que
un microprocesador moderno (~ 2 GHz) 0,19 Como consecuencia de ello, el cerebro
humano se ve obligado a confiar en la paralelizacin masiva y es incapaz de llevar a cabo
rpidamente cualquier clculo que requiere un gran nmero de operations.20 secuencial
(Todo el cerebro en menos de un segundo no puede utilizar ms de un centenar de
operaciones secuenciales quizs slo unas pocas docenas.) Sin embargo, muchos de los
algoritmos ms importante prcticamente en la programacin y el ordenador la ciencia no
son fcilmente paralelizable. Muchas de las tareas cognitivas podran realizar mucho ms
eficiente si el soporte nativo del cerebro para los algoritmos de patrones de coincidencia
paralelizables se complementa con, e integrados con, el apoyo para el procesamiento
secuencial rpido.

Velocidad de la comunicacin interna

. Los axones llevan potenciales de accin a
una velocidad de 120 m / s o menos, mientras que los ncleos de procesamiento
electrnicos pueden comunicarse pticamente a la velocidad de la luz (300.000.000 m / s)
0.21 La lentitud de los nervios lmites seales de lo grande que un cerebro biolgico puede
ser al mismo tiempo funciona como una unidad de procesamiento individual. Por ejemplo,
para lograr una latencia de ida y vuelta de menos de 10 ms entre dos element os de un
sistema, cerebros biolgicos deben ser menores que 0,11 m3. Un sistema electrnico, por
otro lado, podra ser 6,1 1017 m3, aproximadamente del tamao de un planeta enano:
dieciocho rdenes de magnitud larger.22


Nmero de elementos computacionales . El cerebro humano tiene un poco menos de
100 mil millones neurons.23 Los humanos tienen tiempos de alrededor de tres y medio el
tamao del cerebro de los chimpancs (aunque slo una quinta parte del tamao del
cerebro de los cachalotes) 0.24 El nmero de neuronas en una criatura biolgica es ms
obviamente limitados por volumen craneal y limitaciones metablicas, pero otros factores
tambin pueden ser significativas para los cerebros ms grandes (como la refrigeracin, el
tiempo de desarrollo, y seal de conductancia retrasos ver el punto anterior). Por el
contrario, el hardware es indefinidamente escalable hasta muy altas supercomputadores
limits.25 fsicos pueden ser almacn de tamao o ms grande, con capacidad remoto
adicional aadido a travs cables.26 alta velocidad
Capacidad de almacenamiento
. Memoria de trabajo humano es capaz de mantener
no ms de cuatro o cinco trozos de informacin en cualquier tiempo.27 dada Aunque sera
errneo comparar el tamao de la memoria de trabajo humano directamente con la
cantidad de RAM en una computadora digital, es evidente que las ventajas del hardware
de inteligencias digitales harn posible para ellos tener memorias de trabajo ms grandes.
Esto podra permitir que esas mentes para entender intuitivamente las complejas
relaciones que los seres humanos slo pueden manejar a travs de tientas perseverante
calculation.28 memoria a largo plazo humano tambin es limitada, aunque no est claro si
logramos agotar su capacidad de almacenamiento durante el curso de una vida- ordinaria
la velocidad a la que acumulamos informacin es tan lento. (En una estimacin, los
adultos tiendas humanos cerebrales unos mil millones de bits-un par de rdenes de
magnitud menos de un smartphone.29 de gama baja) Tanto la cantidad de informacin
almacenada y la velocidad con la que se puede acceder por lo tanto podra ser
inmensamente mayor en un cerebro de la mquina que en un cerebro biolgico.
La fiabilidad, vida til, los sensores, etc.. Inteligencias Mquina podran tener varias otras
ventajas de hardware. Por ejemplo, las neuronas biolgicas son menos fiables que
transistors.30 Desde ruidosa computing requiere esquemas de codificacin redundantes
que utilizan mltiples elementos para codificar un solo bit de informacin, un cer ebro
digital podra derivar algunas mejoras en la eficiencia de la utilizacin de elementos de
computacin de alta precisin fiables. Los cerebros se fatigan despus de unas horas de
trabajo y comienzan a decaer de forma permanente despus de unas dcadas de tiempo
subjetivo; microprocesadores no estn sujetos a estas limitaciones. El flujo de datos en
una inteligencia de la mquina podra aumentarse mediante la adicin de millones de
sensores. Dependiendo de la tecnologa utilizada, una mquina podra tener hardware
reconfigurable que puede ser optimizado para cambiar requisitos de la tarea, mientras
que gran parte de la arquitectura del cerebro se fija desde el nacimiento o lentamente
cambiante (aunque los detalles de la conectividad sinptica pueden cambiar en escalas de
tiempo ms cortos, como das ) 0,31 En la actualidad, el poder computacional del cerebro
biolgico todava se compara favorablemente con el de las computadoras digitales,
aunque ms alto de la lnea de superordenadores estn alcanzando niveles de
rendimiento que estn dentro del rango de estimaciones plausibles de potencia de
procesamiento del cerebro.32 Pero el hardware est mejorando rpidamente, y los lmites

ltimos de rendimiento del hardware son muy superiores a las de los sustratos b iolgicos
de computacin.
Mentes digitales tambin se beneficiarn de importantes ventajas en el software:

Editabilidad . Es ms fcil de experimentar con variaciones de los parmetros en el

software que en wetware neural. Por ejemplo, con una emulacin de todo el cerebro uno
podra fcilmente juicio lo que sucede si se aade ms neuronas en un rea cortical en
particular o si uno aumenta o disminuye su excitabilidad. Ejecucin de tales experimentos
en los que viven los cerebros biolgicos, sera mucho ms difcil. De duplicacin. Con el
software, se puede hacer rpidamente arbitrariamente muchas copias de alta fidelidad
para llenar la base de hardware disponible. Cerebros biolgicos, por el contrario, se
pueden reproducir slo muy lentamente; y cada nueva instancia comienza en un estado
de indefensin, sin recordar nada de lo que sus padres aprendieron en sus vidas.
Coordinacin Meta
. Colectivos humanos estn repletos de ineficiencias derivadas del hecho de que es casi
imposible lograr una completa uniformidad de propsito entre los miembros de un grupo
grande, al menos hasta que se vuelve factible para inducir la docilidad a gran escala por
medio de drogas o seleccin gentica. Un "clan copia" (un grupo de programas idnticos o
casi idnticos que comparten un objetivo comn) podra evitar estos problemas de
coordinacin.

El intercambio de memoria
. Cerebros biolgicos necesitan largos perodos de formacin y tutora mientras mentes
digitales podran adquirir nuevos recuerdos y habilidades mediante el canje de los
archivos de datos. Una poblacin de mil millones de copias de un programa de IA podra
sincronizar sus bases de datos peridicamente, de modo que todas las instancias del
programa saben todo lo que cualquier instancia aprendi durante la hora anterior.
(Transferencia de memoria directa requiere formatos de representacin estandarizados.
Fcil intercambio de alto nivel de contenido cognitivo sera, por tanto, no sea posible
entre cualquier par de inteligencias de la mquina. En particular, no sera posible entre la
primera generacin de emulaciones de todo el cerebro.) Nuevos
mdulos,
modalidades, y algoritmos
. La percepcin visual nos parece fcil y sin esfuerzo, bastante a diferencia de la solucin
de problemas-Esta geometra libro de texto a pesar del hecho de que se necesita una
cantidad masiva de clculo para reconstruir, a partir de los patrones bidimensionales de
estimulacin en nuestras retinas, una representacin tridimensional de una mundo
poblado de objetos reconocibles. La razn de esto parece fcil es que hemos dedicado
maquinaria neural de bajo nivel para el procesamiento de la informacin visual. Este
procesamiento de bajo nivel se produce inconscientemente y de forma automtica, sin
necesidad de vaciar nuestra energa mental o atencin consciente. La percepcin de la
msica, el uso del lenguaje, la cognicin social, y otras formas de procesamiento de la
informacin que son "naturales" para nosotros los seres humanos parecen estar
igualmente con el apoyo de los mdulos neurocomputacionales dedicados. Una mente

artificial que tena ese apoyo especializado para otros dominios cognitivos que se han
convertido en importante en el mundo contemporneo, como la ingeniera, programacin
de computadoras, y estrategia de negocio podra tener grandes ventajas sobre las mentes
como las nuestras que tienen que depender de la cognicin torpe de propsito general
para pensar en esas cosas. Nuevos algoritmos tambin pueden ser desarrollados para
aprovechar las distintas affordances de hardware digital, como su apoyo para el
procesamiento en serie rpido.
La
por ltimo ventajas posibles de mquina de inteligencia, hardware y software combinados, se enormous.33 Pero la
rapidez con que se podan realizar esas ventajas potenciales? Esa es la pregunta a la que nos dirigimos ahora.

CAPTULO 4La cintica de una explosin de inteligencia

Una vez que las mquinas de alcanzar algn tipo de equivalencia humana en la
capacidad de razonamiento en general, cunto tiempo pasar entonces antes de alcanzar
superinteligencia radical? Ser este un lento y gradual, la transicin prolongada? O ser
repentina, explosivo? En este captulo se analiza la cintica de la transicin a la
superinteligencia como una funcin de la potencia optimizacin y recalcitrante sistema.
Consideramos que lo que sabemos o podemos suponer razonablemente sobre el
comportamiento de estos dos factores en el barrio de la inteligencia general a nivel
humano.
El tiempo y la velocidad del despegue
Teniendo en cuenta que las mquinas
eventualmente
enormemente superar la biologa en la inteligencia general, pero que la cognicin
mquina es Actualmente
mucho ms estrecha que la cognicin humana, uno es llevado a preguntarse qu tan
rpido esta usurpacin se llevar a cabo. La pregunta que nos hacemos aqu debe
distinguirse claramente de la cuestin que consideramos en el captulo 1 sobre lo lejos
que actualmente somos de desarrollar una mquina con inteligencia general a nivel
humano. Aqu la cuestin es, en cambio, siempre y cuando dicha mquina se
desarrolla, cunto tiempo va a ser a partir de entonces hasta que se convierte en una
mquina radicalmente superinteligente? Tenga en cuenta que uno podra pensar que se
tardar bastante tiempo hasta que las mquinas lleguen a la lnea de base humana, o uno
puede ser agnstico acerca de cunto tiempo que tomar, y sin embargo, tener una visin
fuerte que una vez que esto sucede, el mayor ascenso al fuerte superinteligencia voluntad
ser muy rpida. Puede ser til pensar en estos asuntos esquemticamente, a pesar de que
hacerlo implica ignorar temporalmente algunas calificaciones y complicando detalles.
Consideremos, pues, un diagrama que representa grficamente la capacidad intelectual
del sistema de inteligencia artificial ms avanzada en funcin del tiempo (Figura 7). Una
lnea horizontal con la etiqueta "lnea de base humana" representa las capacidades
intelectuales eficaces de un ser humano adulto representante con el acceso a las fuentes
de informacin y ayudas tecnolgicas disponibles en la actualidad en los pases
desarrollados. En la actualidad, el sistema ms avanzado AI est muy por debajo de la
lnea de base humana sobre cualquier mtrica razonable de la capacidad intelectual
general. En algn momento en el futuro, una mquina podra llegar a la paridad
aproximada con esta lnea de base humana (que tomamos para ser anclado fijo para el

ao 2014, por ejemplo, aunque las capacidades de los individuos humanos deberan haber
aumentado en los aos intermedios): esto sera marcar el inicio de la despegue. Las
capacidades del sistema siguen creciendo, y en algn momento ms tarde, el sistema
alcanza la paridad con la capacidad combinada intelectual de toda la humanidad (de
nuevo anclado en el presente): lo que podramos llamar la "lnea de base la civilizacin".
Eventualmente, si las capacidades del sistema siguen creciendo, alcanza "superinteligencia
fuerte", un nivel de inteligencia muy superior a medios intelectual combinado de la
humanidad contempornea. El logro de fuerte superinteligencia marca la finalizacin del
despegue, aunque el sistema podra continuar ganancia en la capacidad a partir de
entonces. En algn momento durante la fase de despegue, el sistema puede pasar a un
punto de referencia que podemos llamar "el cruce", un punto ms all del cual una mejora
adicional del sistema es impulsado principalmente por las propias acciones del sistema en
lugar de por el trabajo realizado sobre l por otros.1 (La posible existencia de un crossover
como ser importante en la subseccin sobre el poder y la optimizacin de explosividad,
ms adelante en este captulo).

Figura 7 Forma del despegue. Es importante distinguir entre estas preguntas:

"ocurrir un despegue, y si es as, cundo" y "? Si y cuando se produce un despegue, lo
empinada ser" Uno podra sostener, por ejemplo, que ser un tiempo muy largo antes de
un despegue se produce, pero que cuando lo hace se va a proceder muy rpidamente. Otra
cuestin relevante (no se ilustra en esta figura) es, "Qu tan grande una fraccin de la
economa mundial va a participar en el despegue?" Estas preguntas estn relacionadas
pero distintas.
Con esta imagen en mente, podemos distinguir tres clases de escenarios de transicin escenarios en los que los sistemas evolucionan de inteligencia a nivel humano para
superinteligencia-en funcin de su inclinacin; es decir, si representan un despegue lento,
rpido, o moderadas.
Lento Un despegue lento es el que se produce en un intervalo temporal de largo, como
dcadas o siglos. Escenarios despegue lento ofrecen excelentes oportunidades para los
procesos polticos humanos para adaptarse y responder. Diferentes enfoques pueden ser
juzgados y probados en secuencia. Nuevos expertos pueden ser entrenados y acreditados.
Campaas de base pueden ser movilizados por grupos que se sienten que estn siendo
perjudicados por desdoblamiento desarrollos. Si parece que se necesitan nuevos tipos de
infraestructura segura o vigilancia masa de investigadores de la IA, tales sistemas podran
ser desarrollados y desplegados. Naciones temerosos de una carrera armamentista AI
tendran tiempo para tratar de negociar tratados y mecanismos de aplicacin de diseo.
La mayora de las preparaciones realizadas antes del inicio del lento despegue seran
obsoletos como mejores soluciones se convertiran gradualmente visible a la luz de la era
amanecer.
Rpido
Un despegue rpido se produce en un intervalo temporal corto, como minutos, horas o
das. Escenarios despegue Fast ofrecen poca oportunidad para que los seres humanos

para deliberar. Nadie tiene por qu siquiera not algo inusual antes de que el juego ya
est perdida. En un escenario de despegue rpido, el destino de la humanidad depende
esencialmente de las preparaciones puestas previamente en su lugar. Al final ms len to de
la gama escenario despegue rpido, algunas acciones humanas simples podran ser
posibles, anloga a chasquear abierta la "maleta nuclear"; pero dicha accin podra ser
tanto primaria o se han planificado y pre-programado con antelacin.
Moderado
Un despegue moderada es uno que se produce durante un cierto intervalo temporal
intermediario, como meses o aos. Escenarios despegue moderados dan los humanos
alguna oportunidad de responder, pero no mucho tiempo para analizar la situacin, para
probar diferentes enfoques, o para resolver complicados problemas de coordinacin. No
hay tiempo suficiente para desarrollar o implementar nuevos sistemas (por ejemplo, los
sistemas polticos, los regmenes de vigilancia, o protocolos de seguridad de red del
ordenador), pero los sistemas existentes se podra aplicar al nuevo desafo.
Durante un despegue lento, no habra tiempo de sobra para las noticias de salir. En un
despegue moderado, por el contrario, es posible que los acontecimientos se mantienen en
secreto, ya que se desarrollan. El conocimiento puede ser restringida a un pequeo grupo
de iniciados, como en un programa de investigacin militar patrocinada por el Estado
encubierta. Proyectos comerciales, pequeos equipos acadmicos, y "nueve hackers en un
stano" trajes tambin podran ser clandestina, sin embargo, si la perspectiva de una
explosin de inteligencia estaban "en el radar" de los organismos de inteligencia del
Estado como una prioridad de seguridad nacional, el ms prometedor proyectos privados
parecen tener una buena oportunidad de estar bajo vigilancia. El Estado de acogida (o una
potencia extranjera dominante) tendran la opcin de nacionalizar o cerrar cualquier
proyecto que mostr signos de comenzar el despegue. Despegues rpidos se suceden tan
rpidamente que no habra mucho tiempo para la palabra para salir o para cualquiera de
montar una reaccin significativa si lo hiciera. Pero un extrao podra intervenir antes
el inicio de la toma si se cree un proyecto en particular que se acerca a xito.
Escenarios despegue moderados podran conducir a la turbulencia geopoltica, social y
econmica, como individuos y grupos jinete posicionarse para ganar de la transformacin
se desarrolla. Tal agitacin, en caso de producirse, podra obstaculizar los esfuerzos para
orquestar una respuesta bien compuesta; alternativamente, podra permitir a soluciones
ms radicales que las circunstancias ms tranquilas permitiran. Por ejemplo, en un
escenario donde el despegue moderada emulaciones baratos y capaces u otras mentes
digitales inundan gradualmente los mercados de trabajo en un perodo de aos, uno
podra imaginar protestas masivas por los trabajadores despedidos que presionan a los
gobiernos para aumentar las prestaciones por desempleo o instituir una ga ranta de
salario digno a todos los ciudadanos humanos, o para recaudar impuestos especiales o
impongan requisitos de salario mnimo a los empleadores que utilizan los trabajadores de
emulacin. Para que cualquier alivio derivado de este tipo de polticas a ser ms que
fugaz, apoyo para ellos tendra alguna manera ser cimentado en las estructuras de poder
permanente. Problemas similares pueden surgir si el despegue es lento y no moderado,
pero el desequilibrio y rpido cambio en escenarios moderados pueden presentar
oportunidades especiales para grupos pequeos de ejercer una influencia

desproporcionada.
Podra parecer a algunos lectores que de estos tres tipos de escenario, el lento despegue
es la ms probable, el despegue moderada es menos probable, y el despegue rpido es
totalmente inverosmil. Podra parecer descabellado suponer que el mundo poda ser
transformado radicalmente y la humanidad depuesto de su posicin como cogitator pice
en el transcurso de una hora o dos. Sin cambio de tal momento nunca ha ocurrido en la
historia humana, y sus paralelos -el ms cercanas Industrial Agrcola y Revoluciones jugado
a lo largo de escalas de tiempo mucho ms largos (siglos a milenios en el primer caso, las
dcadas de siglos en el segundo). As que la tasa base para el tipo de transicin que
entraa un escenario despegue rpido o medio, en trminos de la velocidad y magnitud
del cambio postulado, es cero: carece precedente fuera el mito y la religin. 2
Sin
embargo, este captulo presentar algunas razones para pensar que el escenario de
transicin lenta es improbable. Si y cuando se produce un despegue, es probable que sea
explosivo.
Para comenzar a analizar la cuestin de qu tan rpido ser el despegue, podemos
concebir la tasa de aumento de la inteligencia de un sistema como una funcin
(montonamente creciente) de dos variables: la cantidad de "poder de optimizacin", o el
diseo de calidad ponderada esfuerzo, que se aplica para aumentar la inteligencia del
sistema, y la capacidad de respuesta del sistema a la aplicacin de una cantidad dada de
tal poder de optimizacin. Nos podramos llamar el inverso de la capacidad de respuesta
"recalcitrante", y escribir:

A la espera de alguna especificacin de cmo cuantificar la inteligencia, esfuerzo de

diseo, y la obstinacin, esta expresin es meramente cualitativa. Pero al menos podemos
observar que la inteligencia de un sistema aumentar rpidamente si cualquiera de
los dos
se aplica un gran esfuerzo capacitado para la tarea de aumentar su inteligencia y la
inteligencia de que el sistema no es demasiado duro para aumentar
o
hay un esfuerzo de diseo no trivial y obstinacin del sistema es baja (o ambos). Si
sabemos la cantidad de esfuerzo de diseo va a mejorar un sistema en particular, y la tasa
de mejora este esfuerzo produce, podramos calcular la obstinacin del sistema.
Adems, podemos observar que la cantidad de potencia de optimizacin dedicada a
mejorar el rendimiento de algn sistema vara entre los sistemas y con el tiempo. La
obstinacin de un sistema tambin puede variar dependiendo de la cantidad que el
sistema ya se ha optimizado. A menudo, las mejoras se hacen ms fciles primero,
llevando a los rendimientos decrecientes (aumentando recalcitrante) como frutos
maduros se agotan. Sin embargo, tambin puede haber mejoras que hacen ms fcil
mejoras adicionales, que conducen a cascadas de mejora. El proceso de resolver un
rompecabezas comienza simple que es fcil encontrar las esquinas y los bordes. Entonces
recalcitrante sube como piezas posteriores son ms difciles de encajar. Pero a medida
que el rompecabezas llega a su fin, el espacio de bsqueda se derrumba y el proceso se
hace ms fcil de nuevo.
Para continuar en nuestra investigacin, debemos, por tanto, analizar cmo la obstinaci n

y la optimizacin de potencia puede variar en los perodos crticos durante el despegue.

Esto nos va a ocupar en los prximos pginas.
Obstinacin
Comencemos con obstinacin. Las perspectivas aqu depende del tipo del sistema
bajo consideracin. Para completarlo, primero echemos un breve vistazo a la obstinacin
que se encuentra a lo largo de rutas de acceso a superinteligencia que no implican la
inteligencia artificial avanzada. Encontramos que la obstinacin por esos caminos parece
ser bastante alto. Una vez hecho esto, vamos a dar vuelta a la caja principal, que es que el
despegue implica inteligencia de las mquinas; y all nos encontramos con que la
obstinacin en el momento crtico parece bajo.

Caminos de inteligencia no-mquina

Mejora cognitiva a travs de mejoras en la salud pblica y la dieta abruptamente tiene
rendimiento decreciente. 3
Grandes ganancias provienen de la eliminacin de las deficiencias nutricionales graves, y
las deficiencias ms graves ya se han eliminado en gran medida en todo menos en los
pases ms pobres. Slo la circunferencia se obtiene mediante el aumento de una dieta
adecuada ya. Educacin, tambin, ahora es probablemente sujeta a rendimientos
decrecientes. La fraccin de individuos talentosos en el mundo que no tienen acceso a una
educacin de calidad sigue siendo importante, pero en declive.
Potenciadores farmacolgicos pueden ofrecer algunos beneficios cognitivos durante las
prximas dcadas. Pero despus de las correcciones ms fciles se han logrado, tal vez el
aumento sostenible de la energa mental y la capacidad de concentracin, junto con un
mejor control sobre la tasa de memoria ganancias de consolidacin posterior a largo plazo
sern cada vez ms difciles de conseguir. A diferencia de los enfoques d e la dieta y la
salud pblica, sin embargo, la mejora de la cognicin a travs de las drogas inteligentes
podra ser ms fcil antes de que se hace ms difcil. El campo de la neurofarmacologa
todava carece de la mayor parte de los conocimientos bsicos que sera necesario
intervenir de manera competente en el cerebro sano. El descuido de la medicina mejora
como un rea legtima de la investigacin puede ser parte de la culpa de este retraso
actual. Si la neurociencia y la farmacologa continan progresando por un tiempo ms
largo sin centrarse en la mejora cognitiva, entonces tal vez habra algunos aumentos
relativamente fcil que se tena cuando por fin el desarrollo de nootrpicos convierte en
una prioridad seria. 4
Mejora cognitiva gentica tiene un perfil en forma de U recalcitrancia similar a la de
nootrpicos, pero con mayores ganancias potenciales. Recalcitrante comienza alta,
mientras que el nico mtodo disponible es la cra selectiva sostenido durante muchas
generaciones, algo que es obviamente difcil de lograr en una escala de importancia
mundial. Mejora gentica ser ms fcil ya que la tecnologa se desarrolla para las pruebas
genticas barato y eficaz y la seleccin (y seleccin de embriones en particular cuando
reiter hace factible en los seres humanos). Estas nuevas tcnicas harn posible para
aprovechar la piscina de la variacin gentica humana existente para los alelos de
inteligencia para mejorar. Como los mejores alelos existentes quedan incorporados en
paquetes de mejoras genticas, sin embargo, ms ganancias obtendrn ms difciles de
conseguir. La necesidad de enfoques ms innovadores para la modificacin gentica
puede entonces aumentar la obstinacin. Hay lmites a lo rpido que puede progresar en
el camino de mejora gentica, sobre todo el hecho de que las intervenciones en la lnea
germinal estn sujetos a un retraso madurativo inevitable: se contrarresta fuertemente la
posibilidad de un despegue rpido o moderado. 5 Esa seleccin de embriones slo se
puede aplicar en el contexto de fertilizacin in vitro se ralentizar su tasa de adopcin:
otro factor limitante.

La obstinacin por el camino cerebro-ordenador parece inicialmente muy alta. En el

improbable caso de que de alguna manera se convierte en fcil de insertar implantes en el
cerebro y lograr la integracin funcional de alto nivel con la corteza, la obstinacin podra
caer en picado. A la larga, la dificultad de avanzar en este camino sera similar a la
implicada en la mejora de las emulaciones o inhibidores de la aromatasa, ya que la mayor
parte de la inteligencia del sistema cerebro-ordenador finalmente residir en la parte del
ordenador.
La obstinacin por hacer redes y organizaciones en general
ms eficiente es alta. Una gran cantidad de esfuerzo va en la superacin d e esta
obstinacin, y el resultado es una mejora anual de la capacidad total de la humanidad por
tal vez no ms de un par de ciento.6 Por otra parte, los cambios en el entorno interno y
externo significan que las organizaciones, aunque sea eficiente al mismo tiempo, pronto
se convertir en mal adaptados a sus nuevas circunstancias. Por tanto, se requiere un
esfuerzo de reforma en curso aunque slo sea para evitar el deterioro. Un cambio de
ritmo en la tasa de ganancia en eficiencia organizativa media es quiz concebible, pero es
difcil ver cmo incluso el escenario ms radical de este tipo podra producir nada ms
rpido que un despegue lento, ya que las organizaciones gestionadas por los seres
humanos se limitan a trabajar en escalas de tiempo humanas. El Internet sigue siendo una
frontera emocionante con muchas oportunidades para mejorar la inteligencia colectiva,
con una obstinacin que parece en el momento de estar en el rango de progreso
moderado es algo rpido pero mucho esfuerzo se va a hacer este progreso suceda. Se
puede esperar que aumente como frutas baja altura (como los motores de bsqueda y
correo electrnico) se agotan.
Emulacin y caminos de AI La dificultad de avanzar hacia la emulacin de todo el
cerebro es difcil de estimar. Sin embargo, podemos sealar un hito futura especfica: la
emulacin exitosa de un cerebro de los insectos. Ese hito se encuentra en una colina, y su
conquista traera a la vista gran parte del terreno por delante, que nos permite hacer una
conjetura decente en la obstinacin de la ampliacin de la tecnologa para la emulacin de
todo el cerebro humano. (A la emulacin exitosa de un cerebro pequeo mamfero, tal
como la de un ratn, le dara un mejor punto de observacin que permita a la distancia
que falta para una emulacin total del cerebro humano para estimar con un alto grado de
precisin.) El camino hacia la inteligencia artificial, por el contrario, puede presentar tal
hito obvia o punto de observacin temprana. Es muy posible que la bsqueda de la
inteligencia artificial aparecer a perderse en la selva densa hasta que un avance
inesperado revela la lnea de llegada en un claro a slo unos pasos de distancia.
Recordemos la distincin entre estas dos preguntas: Es difcil de alcanzar niveles ms o
menos humanos de la capacidad cognitiva? Y lo difcil que es llegar desde all a niveles
sobrehumanos? La primera pregunta es sobre todo relevante para predecir cunto tiempo
pasar antes de la aparicin de un despegue. Es la segunda pregunta que es clave para la
evaluacin de la forma del despegue, que es nuestro objetivo aqu. Y aunque podra ser
tentador suponer que el paso desde el nivel humano a nivel sobrehumano debe ser el ms
difcil de una sola este paso, despus de todo, se lleva a cabo "a mayor altitud" donde la
capacidad se debe aada a una ya muy capaz sistema de este sera una suposicin muy
inseguro. Es muy posible que la obstinacin cadas

cuando una mquina alcanza la paridad humano.

Consideremos en primer lugar la emulacin de todo el

cerebro. Las dificultades para la creacin de la primera de emulacin humana son de un tipo muy diferente de los que participan en la
mejora de una emulacin existente. Creacin de una primera emulacin implica enormes desafos tecnolgicos, particularmente e n lo
que se refiere al desarrollo de las capacidades de escaneo y la interpretacin de imgenes necesarias. Este paso tambin podra
requerir cantidades considerables de parque mquina fsica -un capital a escala industrial con cientos de mquinas de escaneo de alto
rendimiento no es inverosmil. Por el contrario, la mejora de la calidad de una emulacin existente implica afinando algoritmo s y
estructuras de datos: esencialmente un problema de software, y que podra llegar a ser mucho ms fcil que el perfeccionamien to de la
tecnologa de imagen necesaria para crear la plantilla original. Los programadores pueden experimentar fcilmente con trucos como
aumentar el nmero de neuronas en diferentes reas corticales para ver cmo afecta el rendimiento.

7
Tambin podran trabajar en la optimizacin de cdigo y en la bsqueda de modelos
computacionales ms simples que conservan la funcionalidad esencial de las neuronas
individuales o pequeas redes de neuronas. Si el ltimo requisito tecnolgico a caer en su
lugar es ya sea escaneado o la traduccin, con potencia de clculo es relativamente
abundante, entonces no se podra haber prestado mucha atencin durante la fase de
desarrollo a la eficiencia de puesta en prctica, y fciles oportunidades de ahorro de
eficiencia computacional podra estar disponible. (Reorganizacin arquitectnica ms
fundamental tambin podra ser posible, pero eso nos lleva fuera del camino emulacin y
en territorio AI.)
Otra forma de mejorar la base de cdigo una vez que el primero de emulacin se ha
producido es escanear cerebros adicionales con diferentes o superiores habilidades y
talentos. Crecimiento de la productividad tambin se producira como consecuencia de la
adaptacin de las estructuras organizativas y los flujos de trabajo de los atributo s nicos
de mentes digitales. Puesto que no hay precedentes en la economa humana de un
trabajador que se puede, literalmente copiada, reset, dirigido a diferentes velocidades, y
as sucesivamente, los directivos de la primera cohorte de emulacin encontra ran un
montn de espacio para la innovacin en las prcticas de gestin.
Despus de la cada de un principio, cuando la emulacin de todo el cerebro humano se
convierte en posible, la obstinacin puede subir de nuevo. Tarde o temprano, las
ineficiencias de puesta en prctica ms evidentes se han optimizado de distancia, las
variaciones algortmicas ms prometedores se han probado y se han aprovechado las
oportunidades ms fciles para la innovacin organizacional. La biblioteca de plantillas se
han ampliado de forma que la adquisicin de ms escneres cerebrales aadira poco
beneficio sobre el trabajo con las plantillas existentes. Desde una plantilla se puede
multiplicar, cada copia puede ser entrenado individualmente en un campo diferente, y
esto se puede hacer a una velocidad electrnico, podra ser que el nmero de cerebros
que tendran que ser escaneada con el fin de capturar la mayor parte del potencial
econmico ganancias es pequeo. Posiblemente un solo cerebro sera suficiente.
Otra posible causa de la escalada de la obstinacin es la posibilidad de que las
emulaciones o sus partidarios biolgicos organizarn para apoyar normas que restringen
el uso de los trabajadores de emulacin, lo que limita la copia de emulacin, que prohbe
ciertos tipos de experimentacin con mentes digitales, instituir derechos de los
trabajadores y un salario mnimo para las emulaciones , etcetera. Es igualmente posible,
sin embargo, que los acontecimientos polticos iran en la direccin opuesta, lo que

contribuye a una cada en la obstinacin. Esto puede suceder si la restriccin inicial en el

uso de mano de obra de emulacin da paso a la explotacin sin trabas ya que la
competencia se calienta y los costos econmicos y estratgicos de ocupar el terreno moral
quedado claro.
En cuanto a la inteligencia artificial (mquina de inteligencia no
emulacin), la dificultad de levantar un sistema desde el nivel humano de inteligencia
sobrehumana mediante mejoras algortmicas depende de los atributos del sistema en
particular. Diferentes arquitecturas pueden tener muy diferente obstinacin. En algunas
situaciones, la obstinacin podra ser extremadamente bajo. Por ejemplo, si a nivel de AI
humana se ha retrasado debido a una idea clave elude larga programadores, a
continuacin, cuando se produce el avance final, la IA podra saltar desde abajo de forma
radical sobre el nivel humano sin siquiera tocar los peldaos intermedios. Otra situacin en
la que la obstinacin podra llegar a ser extremadamente baja es la de un sistema de
inteligencia artificial que puede alcanzar la capacidad inteligente a travs de dos modos
diferentes de procesamiento. Para ilustrar esta posibilidad, supongamos que una IA se
compone de dos subsistemas, uno de tcnicas de resolucin de problemas especficos de
dominio que poseen, la otra la capacidad de razonamiento de propsito general que
posee. A continuacin, podra ser el caso de que mientras que el segundo subsistema
permanece por debajo de un cierto umbral de capacidad, que no contribuye en nada al
rendimiento global del sistema, debido a que las soluciones que genera son siempre
inferiores a los generados por el subsistema de dominio especfico. Supongamos ahora que
una pequea cantidad de energa optimizacin se aplica al subsistema de propsito
general y que esto produce un aumento rpido en la capacidad de ese subsistema. En un
primer momento, se observa ningn aumento en el rendimiento del sistema en su
conjunto, lo que indica que la obstinacin es alta. Luego, una vez que la capacidad del
subsistema de propsito general cruza el umbral en el que sus soluciones comienzan a
golpear las del subsistema de dominio especfico, el rendimiento del sistema global de
repente comienza a mejorar al mismo ritmo acelerado como el subsistema de uso general,
as como la cantidad de energa optimizacin aplicada permanece constante: la
obstinacin del sistema ha cado en picado. Tambin es posible que nuestra tendencia
natural a ver la inteligencia desde una perspectiva antropocntrica nos llevar a
subestimar las mejoras en los sistemas de sub-humanos, y por lo tanto a sobreestimar la
obstinacin. Eliezer Yudkowsky, un terico de la IA que ha escrito mucho sobre el futuro de
la inteligencia artificial, pone el punto de la siguiente manera:
AI podra hacer una aparentemente
fuerte salto en la inteligencia puramente como resultado de antropomorfismo, la
tendencia humana a pensar en "tonto del pueblo" y "Einstein", como los extremos de la
escala de inteligencia, en lugar de puntos casi indistinguibles en la escala de las mentesen-general. Todo lo ms tonto que un ser humano puede parecer tonto a nosotros
simplemente como "tonto". Uno se imagina el "AI flecha" arrastrndose constantemente
en la escala de la inteligencia, moviendo los ratones y los chimpancs del pasad o, con
inhibidores de la aromatasa que an permanecen "tonto" porque IA no puede hablar el
idioma con fluidez y escribir artculos cientficos, y luego la IA flecha atraviesa la pequea
brecha de infraestructura -idiot a ultra-Einstein en el curso de un mes o alguna parecida
El resultado de estas varias consideraciones es que es difcil predecir lo difcil que ser
corto perodo.8 (Ver Fig. 8.)

para hacer mejoras algortmicas en la primera IA que alcanza un nivel ms o menos humana de la inteligencia general. Hay por lo
menos en algunas circunstancias posibles en las que algoritmo de obstinacin es baja. Pero incluso si algoritmo de obstinaci n es muy
alta, esto no excluye la obstinacin general de la AI de que se trata de ser baja. Para ello podra ser fcil de aumentar la inteligencia del
sistema de otras maneras que al mejorar sus algoritmos. Hay otros dos factores que se pueden mejorar: contenido y hardware.

En primer lugar, tenga en cuenta las mejoras de contenido. Por "contenido" que
aqu referimos a aquellas partes de los activos de software de un sistema que no integran
su arquitectura algortmica ncleo. Contenido podra incluir, por ejemplo, las bases de
datos de percepciones almacenados, bibliotecas habilidades especializadas, e inventarios
de conocimiento declarativo. Para muchos tipos de sistema, la distincin entre la
arquitectura algortmica y contenido es muy unsharp; sin embargo, servir como una
manera spera y lista de apuntar a una fuente potencialmente importante de las
ganancias de capacidad en una inteligencia artificial. Una forma alternativa de expresar la
misma idea es diciendo que la capacidad de resolucin de problemas intelectual de un
sistema se puede mejorar no slo haciendo que el ms inteligente del sistema, sino
tambin mediante la ampliacin de lo que el sistema sabe.
Figura 8
A escala menos antropomrfica? La diferencia entre un tonto y una persona inteligente
puede parecer grande desde una perspectiva antropocntrica, sin embargo, en una visin
menos parroquial los dos tienen minds.9 casi indistinguibles Es casi seguro que demostrar
ms y tomar ms tiempo para construir una inteligencia artificial que tiene un nivel
general de elegancia comparable a la de un tonto del pueblo que mejorar un sistema de
este tipo para que sea mucho ms inteligente que cualquier humano.
Considere un sistema de inteligencia artificial contempornea como TextRunner (un
proyecto de investigacin en la Universidad de Washington) o Watson de IBM (el sistema
que gan el Jeopardy! programa de preguntas y respuestas). Estos sistemas pueden
extraer ciertas piezas de informacin semntica mediante el anlisis de texto. Aunque
estos sistemas no entienden lo que leen en el mismo sentido o en la misma medida que lo
hace un ser humano, no obstante pueden extraer cantidades significativas de informacin
de lenguaje natural y utilizar esa informacin para hacer inferencias sencillas y contestar
preguntas. Tambin pueden aprender de la experiencia, la construccin de ms amplias
representaciones de un concepto que se encuentran con casos adicionales de su uso. Estn
diseados para operar durante gran parte del tiempo en modo sin supervisin (es decir, de
aprender estructura oculta en los datos marcados en ausencia de error o seal de
recompensa, sin la gua humano) y para ser rpido y escalable. TextRunner, por ejemplo,
trabaja con un corpus de 500 millones pages.10 web Ahora imagine un descendiente
remoto de un sistema de este tipo que ha adquirido la capacidad de leer la mayor cantidad
de conocimiento como un ser humano de diez aos de edad, pero con una velocidad de
lectura similar a la de TextRunner. (Esto es probablemente un problema AI-completo.), As
que estamos imaginando un sistema que cree mucho ms rpido y tiene mucho mejor
memoria que un adulto humano, pero sabe mucho menos, y tal vez el efecto neto de esto
es que el sistema es ms o menos humana -equivalente en su capacidad de resolucin de
problemas en general. Pero su obstinacin contenido es muy bajo-bajo lo suficiente para

precipitar un despegue. Dentro de unas semanas, el sistema ha ledo y masterizado todo el

contenido que figura en la Biblioteca del Congreso. Ahora el sistema sabe mucho ms que
cualquier ser humano y piensa muy rpido: se ha convertido (por lo menos) dbilmente
superinteligente. Un sistema podra aumentar de este modo en gran medida su capacidad
intelectual efectiva mediante la absorcin de contenido pre-producido acumulado a travs
de siglos de la ciencia y la civilizacin humana: por ejemplo, mediante la lectura a t ravs
de Internet. Si una IA alcanza el nivel humano sin tener previamente tenan acceso a este
material o sin haber sido capaz de digerirlo, entonces obstinacin general de la IA ser
baja aunque sea duro para mejorar su arquitectura algortmica. Content-obstinacin es un
concepto relevante para emulaciones, tambin. Una emulacin de alta velocidad tiene una
ventaja no slo porque puede completar las mismas tareas que los humanos biolgicos
con mayor rapidez, pero tambin porque puede acumularse contenido ms oportuna, tales
como las habilidades y conocimientos relevantes para la tarea. Con el fin de aprovechar
todo el potencial de acumulacin de contenidos rpido, sin embargo, un sistema necesita
tener una gran capacidad de memoria correspondiente. No tiene mucho sentido en la
lectura de una biblioteca entera si ha olvidado todo sobre el oso hormiguero en el
momento en que llegue a la oreja de mar. Mientras que un sistema de AI es probable que
tenga capacidad de memoria adecuada, emulaciones se heredan algunas de las
limitaciones de capacidad de sus plantillas humanos. Por lo tanto, pueden necesitar
mejoras arquitectnicas para conseguir ser capaces de aprender sin lmites. Hasta ahora
hemos considerado la obstinacin de la arquitectura y de los contenidos, es decir, de lo
difcil que sera para mejorar la software
de una inteligencia artificial que se ha alcanzado la paridad humano. Ahora echemos un
vistazo a una tercera forma de impulsar el rendimiento de la inteligencia artificial: la
mejora de su hardware. Cul sera la actitud recalcitrante de mejoras de hardware
impulsado?
Comenzando con software inteligente (emulacin o AI) se puede amplificar
inteligencia colectiva simplemente mediante el uso de equipos adicionales para
ejecutar ms instancias del program.11 Tambin se podra amplificar inteligencia de
velocidad moviendo el programa para computadoras ms rpidas. Dependiendo del grado
en que el programa se presta a la paralelizacin, la inteligencia velocidad tambin podra
ser amplificado mediante la ejecucin del programa en ms procesadores. Esto es
probable que sea factible para emulaciones, que tienen una arquitectura altamente
paralelizado; pero muchos programas de IA, tambin, tienen subrutinas importantes que
pueden beneficiarse de paralelizacin masiva. Ampliando inteligencia calidad mediante el
aumento de la potencia de clculo tambin podra ser posible, pero este caso es menos
straightforward.12
La obstinacin para amplificar la inteligencia colectiva o la velocidad (y la inteligencia
posiblemente la calidad) en un sistema con el software de nivel humano tanto, es
probable que sea baja. La nica dificultad est ganando acceso a potencia de clculo
adicional. Hay varias maneras para que un sistema para expandir su base de hardware,
cada uno correspondiente a travs de una escala de tiempo diferente. En el corto
plazo, la potencia de clculo debe escalar ms o menos linealmente con la financiacin: el
doble de la financiacin compra el doble de la cantidad de equipos, lo que permite el doble

de las instancias del software que se ejecute de forma simultnea. La aparicin de servicios
de cloud computing ofrece un proyecto de la opcin de ampliar sus recursos
computacionales sin tener que esperar a que los nuevos ordenadores para ser entregado e
instalado, aunque las preocupaciones sobre el secreto pueden favorecer el uso de las
computadoras en la casa. (En ciertas situaciones, la potencia de clculo tambin podra
obtenerse por otros medios, como por botnets requisar.13) Qu tan fcil sera para escalar
el sistema por un factor determinado depende de la cantidad de potencia de clculo el
sistema inicial utiliza. Un sistema que se ejecuta inicialmente en un PC podra hacerse a
escala por un factor de miles de millones de dlares tan slo. Un programa que se ejecuta
en un superordenador sera mucho ms caro a escala.
En el corto plazo un poco ms largo, el costo de adquirir hardware adicional puede ser
impulsado como una porcin creciente de la capacidad instalada en el mundo se utiliza
para ejecutar mentes digitales. Por ejemplo, en un escenario de emulacin basada en el
mercado competitivo, el costo de funcionamiento de una copia adicional de una
emulacin debe elevarse a ser aproximadamente igual a los ingresos generados por la
copia marginal, ya que los inversionistas pujaron el precio de infraestructura informtica
existente para que coincida con el regresan que esperan de su inversin (aunque si un
solo proyecto ha dominado la tecnologa que podra ganar un grado de poder de
monopsonio en el mercado de potencia de clculo y por lo tanto pagar un precio ms
bajo).
Durante un plazo de tiempo un poco ms largo, se ha instalado el suministro de potencia
de clculo crecer a medida que la nueva capacidad. Un aumento de la demanda
estimulara la produccin en las fundiciones de semiconductores existentes y estimular la
construccin de nuevas plantas. (Un aumento de rendimiento de una sola vez, tal vez por
un importe de uno o dos rdenes de magnitud, tambin puede obtenerse mediante el uso
de microprocesadores personalizados.
14
) Por encima de todo, la creciente ola de mejoras tecnolgicas derramar volmenes
crecientes de potencia de clculo en las turbinas de las mquinas pensantes.
Histricamente, la tasa de mejora de la tecnologa de la computacin ha sido descrito por
la ley de la famosa Moore, que en una de sus variantes establece que la potencia de
clculo por dlar se duplica cada 18 meses o OE.15 Ejercer Aunque no se puede apostar
por este ritmo de mejora continua hasta el desarrollo de la inteligencia artificial a nivel
humano, pero hasta que se alcancen los lmites fsicos fundamentales all permanecer
espacio para avances en la tecnologa informtica. Hay, pues, razones para esperar que
la obstinacin de hardware no ser muy alto. La compra de ms potencia de clculo para
el sistema una vez que se prueba su temple por la consecucin de inteligencia a nivel
humano podra agregar fcilmente varios rdenes de magnitud de potencia de clculo
(dependiendo de cmo era en hardware frugal el proyecto antes de la expansin).
Personalizacin Chip puede agregar uno o dos rdenes de magnitud. Otros medios de
ampliar la base de hardware, tales como la construccin de ms fbricas y el avance de la
frontera de la tecnologa informtica, tardan ms tiempo-normalmente varios aos, a
pesar de este retraso se comprime radicalmente una vez que la mquina superinteligencia
revoluciona el desarrollo de fabricacin y tecnologa.

En resumen, podemos hablar de la posibilidad de una saliente de hardware

: Cuando se crea software a nivel humano, suficiente potencia de clculo puede estar ya
disponible para ejecutar un gran nmero de copias a gran velocidad. Recalcitrante
Software, como se mencion anteriormente, es ms difcil de evaluar, pero podra ser
incluso menor que la obstinacin de hardware. En particular, puede haber
voladizo
contenido
en forma de contenido de pre-hechos (por ejemplo, Internet) que se convierte en
disponible a un sistema una vez que alcanza la paridad humano. Algoritmo voladizo-prediseada algortmicos tambin mejoras-es posible, pero tal vez menos probable. Mejoras
de software (ya sea en algoritmos o contenido) podra ofrecer rdenes de magnitud de las
posibles mejoras de rendimiento que podran ser bastante fcil acceso una vez a la mente
digitales alcanza la paridad humana, en la parte superior de las mejoras de rendimiento
alcanzables mediante el uso de ms o mejor hardware. Potencia Optimizacin y
explosividad
Habiendo examinado la cuestin de la obstinacin ahora debemos recurrir a la otra
mitad de la ecuacin esquemtica, optimizacin de potencia. Para recordar:
Tasa de cambio de Inteligencia = Optimizacin de potencia / recalcitrante . Como se refleja
en este esquema, un despegue rpido no requiere que la obstinacin en la fase de
transicin sea baja. Un despegue rpido tambin podra resultar si recalcitrante es
constante o incluso moderadamente creciente, siempre que la potencia de optimizacin de
ser aplicada a la mejora del rendimiento del sistema crece suficientemente rpi do. Como
veremos a continuacin, hay buenas razones para pensar que el poder optimizacin
aplicada
voluntad
aumentar durante la transicin, al menos en la ausencia de una medidas
deliberadas para evitar que esto suceda.
Se pueden distinguir dos fases. La primera fase comienza con el inicio de la
despegue, cuando el sistema alcanza la lnea de base para la inteligencia humana
individual. Como la capacidad del sistema sigue en aumento, podra usar parte o la
totalidad de esa capacidad de mejorarse a s misma (o para disear un sistema que
sucesor, a los presentes efectos, viene a ser lo mismo). Sin embargo, la mayor parte de la
potencia aplicada a la optimizacin del sistema todava proviene de fuera del sistema, ya
sea desde el trabajo de los programadores e ingenieros que trabajan en el proyecto o del
tipo de trabajo realizado por el resto del mundo como puede ser apropiado y utilizado por
el proyecto .
16
Si esta fase se prolonga por un perodo significativo de tiempo, podemos esperar
que la cantidad de energa aplicada a la optimizacin del sistema para crecer. Entradas
tanto desde dentro del proyecto y desde el mundo exterior son propensos a aumentar a
medida que la promesa del enfoque elegido se manifiesta. Los investigadores pueden
trabajar ms duro, ms investigadores pueden ser reclutados, y ms potencia de clculo
se pueden comprar para acelerar el progreso. El aumento podra ser especialmente
dramtica si el desarrollo de la inteligencia de la mquina-nivel humano toma al mundo

por sorpresa, en cuyo caso lo que antes era un pequeo proyecto de investigacin pronto
podra convertirse en el foco de los esfuerzos de investigacin y desarrollo intensos en
todo el mundo (aunque algunos de los los esfuerzos podran ser canalizados hacia
proyectos en competencia).
Una segunda fase de crecimiento se iniciar si en algn momento el sistema ha
adquirido tanta capacidad que la mayor parte de la potencia de optimizacin ejercida en
l viene del propio sistema (marcado por el nivel variable de la etiqueta "crossover" en la
Figura 7). Esto cambia fundamentalmente la dinmica, ya que cualquier aumento en la
capacidad del sistema ahora se traduce en un aumento proporcional de la cantidad de
energa que se aplica a la optimizacin de su ulterior mejora. Si recalcitrante permanece
constante, esta retroalimentacin dinmica produce un crecimiento exponencial (vase el
recuadro 4). La constante duplicar depende del escenario, pero podra ser muy corto de
unos pocos segundos en algunos escenarios, si el crecimiento se est produciendo a una
velocidad electrnicos, que podran ocurrir como resultado de mejoras algortmicas o la
explotacin de un voladizo de contenido o hardware.
17
Crecimiento que es impulsado por la construccin fsica, tales como la produccin
de nuevos ordenadores o equipo de fabricacin, requerira una escala de tiempo algo ms
largo (pero todava uno que podra ser muy corto en comparacin con la actual tasa de
crecimiento de la economa mundial). Por tanto, es probable que el poder optimizacin
aplicada aumentar durante la transicin: inicialmente porque los humanos esforzarse
ms para mejorar la inteligencia de la mquina que est mostrando espectacular promesa,
ms tarde porque la propia inteligencia de la mquina se vuelve capaz de impulsar u n
mayor progreso a velocidades digitales. Esto creara una posibilidad real de un despegue
rpido o medio
incluso si la obstinacin fuera constante o aumentar ligeramente alrededor de la lnea de
base humana 0.18 Sin embargo, hemos visto en el apartado anterior que hay factores
que podran conducir a una gran cada en la obstinacin en torno al nivel de referencia de
la capacidad humana. Incluyen, por ejemplo, la posibilidad de expansin de hardware
rpida una vez a la mente de software de trabajo se ha alcanzado Estos factores; la
posibilidad de mejoras algortmicas; la posibilidad de escanear cerebros adicionales (en el
caso de la emulacin de todo el cerebro); y la posibilidad de incorporar rpidamente
grandes cantidades de contenido mediante la digestin de la Internet (en el caso de la
inteligencia artificial) 0.24
Recuadro 4 En la cintica de una explosin de inteligencia
Podemos escribir la tasa de cambio en la inteligencia como la relacin entre la potencia
aplicada a la optimizacin del sistema y obstinacin del sistema:

La cantidad de energa que acta sobre la optimizacin de un sistema es la suma

de optimizacin de potencia cualquiera que sea el propio sistema contribuye y el poder de
optimizacin ejercida desde fuera. Por ejemplo, una semilla AI podra ser mejorada a
travs de una combinacin de sus propios esfuerzos y los esfuerzos de un equipo de
programacin humana, y quizs tambin los esfuerzos de la comunidad global ms amplia
de los investigadores que hacen continuos avances en la industria de semiconductores,
ciencias de la computacin, y relacionado campos:
19

Una semilla AI comienza con capacidades cognitivas muy limitados. Al principio,

por lo tanto,
se small.20 Qu pasa y
? Hay casos en los que un proyecto tiene la capacidad ms importante que el resto del
combinado el proyecto Manhattan mundo, por ejemplo, trajo una gran fraccin de los
mejores fsicos del mundo a Los Alamos para trabajar en la bomba atmica. Ms
comnmente, cualquier proyecto contiene slo una pequea fraccin de la capacidad de
investigacin relevantes total del mundo. Pero incluso cuando el mundo exterior tiene una
mayor cantidad total de la capacidad de investigacin relevante que cualquier proyecto,
sin embargo, podr ser superior
, Ya que gran parte de la capacidad del mundo exterior no es estar centrado en el sistema
en cuestin. Si un proyecto comienza a parecer prometedor, lo cual ocurrir cuando un
sistema pasa a la lnea de base humana, si no antes, que podra atraer inversin adicional,
aumentando . Si los logros del proyecto son pblicos,
Tambin podra aumentar a medida que los avances inspira un mayor inters en la
inteligencia de la mquina en general y como diversos poderes desordenar para entrar en
el juego. Durante la fase de transicin, por lo tanto, la potencia total optimizacin aplicada
a la mejora de un sistema cognitivo es probable que aumente la capacidad del sistema de
increases.21
A medida que crecen las capacidades del sistema, puede llegar un pun to en el que el
poder de optimizacin generada por el propio sistema comienza a dominar el poder de
optimizacin que se le aplica desde el exterior (en todas las dimensiones importantes de
mejora):

Este
cruce

es significativo porque ms all de este punto, una mejora adicional de las

capacidades del sistema contribuye fuertemente a aumentar el poder de optimizacin

total aplicada a la mejora del sistema. Con ello entramos en un rgimen de una fuerte
auto-mejora recursiva. Esto conduce a un crecimiento explosivo de la capacidad del
sistema bajo una gama bastante amplia de diferentes formas de la curva de obstinacin.
Como ejemplo, consideremos primero un escenario en el que recalcitrante es constante,
de modo que la tasa de aumento en la inteligencia de un AI es igual a la potencia de
optimizacin que se aplica. Supongamos que todo el poder de optimizacin que se aplica
proviene de la propia AI y que la AI se aplica toda su inteligencia a la tarea de amplificar su
propia inteligencia, de modo que =
Yo
0.22 Tenemos entonces

Resolviendo esta sencilla ecuacin diferencial se obtiene la funcin exponencial

Pero la obstinacin de ser constante es un caso bastante especial. Recalcitrante
bien podra declinar alrededor de la lnea de base humana, debido a uno o ms de los
factores mencionados en el apartado anterior, y permanecer bajo alrededor del cruce y
una cierta distancia ms all de (tal vez hasta que el sistema se acerca finalmente lmites
fsicos fundamentales). Por ejemplo, supongamos que la potencia aplicada a la
optimizacin de sistema es ms o menos constante (es decir, +
c
) Antes de convertirse en el sistema capaz de contribuir sustancialmente a su
propio diseo, y que esto conduce al sistema de duplicacin de la ca pacidad de cada 18
meses. (Esto sera ms o menos en lnea con las tasas de mejora histricos de la ley de
Moore, combinados con advances.23 software) Esta tasa de mejora, si se logra por medio
del poder de optimizacin ms o menos constante, supone la disminucin de la
obstinacin como la inversa de la potencia de la instalacin:
Si recalcitrante sigue cayendo a lo largo de este patrn hiperblica, entonces cuando la IA
alcanza el punto de cruce de la cantidad total de energa optimizacin aplicada a la mejora
de la IA se ha duplicado. Tenemos, pues,

El siguiente duplicacin se produce 7,5 meses ms tarde. Dentro de 17,9 meses, la

capacidad del sistema ha crecido por mil, obteniendo as superinteligencia velocidad
(Figura 9). Esta trayectoria de crecimiento en particular tiene una singularidad en positivo
t
= 18 meses. En realidad, el supuesto de que la obstinacin es constante dejara de
mantener ya que el sistema comenz a acercarse a los lmites fsicos de procesamiento de
la informacin, si no antes.
Estos dos escenarios estn diseados slo para ilustracin; muchas otras
trayectorias son posibles, dependiendo de la forma de la curva de obstinacin. La
afirmacin es simplemente que el fuerte lazo de retroalimentacin que establece en torno
al punto de cruce tiende fuertemente para hacer el despegue ms rpido de lo que
debera haber sido.

Figura 9

Un modelo simple de una explosin de inteligencia.

Estas observaciones no obstante, la forma de la curva de obstinacin en la regin

pertinente no est todava bien caracterizado. En particular, no est claro lo difcil que
sera para mejorar la calidad del software de emulacin de nivel humano o IA. Tambin La
dificultad de la ampliacin de la potencia de hardware disponible a un sistema no est
claro. Mientras que hoy en da sera relativamente fcil de aumentar la potencia de
clculo disponible para un pequeo proyecto por el gasto de miles de veces ms en la
potencia de clculo o de esperar unos aos para que el precio de las computadoras a caer,
es posible que la primera mquina de inteligencia para llegar la lnea de base humana ser
el resultado de un gran proyecto que involucra a supercomputadoras costosas, que no se
puede escalar a bajo precio, y que la ley de Moore para entonces haber expirado. Por
estas razones, aunque parece ms probable un despegue rpido o medio, la posibilidad de
un despegue lento no se puede excluir.
25
CAPTULO 5
Ventaja estratgica decisiva Una cuestin distinta de, pero relacionado con la cuestin
de la cintica es si habr un poder superinteligente o muchos? Podra una explosin de
inteligencia impulsar un proyecto muy por delante de todos los dems como para que sea
capaz de dictar el futuro? O progresar ser ms uniforme, desplegando en un amplio
frente, con muchos proyectos de participar pero ninguno asegurar una ventaja
abrumadora y permanente? En el captulo anterior se analiz un parmetro clave para
determinar el tamao de la brecha que podra abrir plausible entre una potencia lder y su
ms cercana competencia, es decir, la velocidad de la transicin de humano a la
inteligencia sobrehumana fuerza. Esto sugiere un anlisis de primer corte. Si el despegue
es rpido
(Completado en el transcurso de horas, das o semanas), entonces es poco probable que
dos proyectos independientes estaran despegando al mismo tiempo: casi la certeza, el
primer proyecto habra completado su despegue antes que cualquier otro proyecto habra
iniciado su propia. Si el despegue es lento
(Estiramiento durante muchos aos o dcadas), entonces hay plausiblemente podra
haber mltiples proyectos sometidos a despegues simultneamente, por lo que a pesar de
los proyectos seran por el fin de la transicin han ganado enormemente en la capacidad,
no habra tiempo en el que cualquier proyecto era lo suficientemente adelante de los
otros para darle una ventaja abrumadora. Un despegue de
moderado
velocidad est a punto en el medio, ya sea con condicionar una posibilidad: puede o no
puede haber ms de un proyecto de someterse al despegue al mismo tiempo.1
Ser proyecto de inteligencia de una mquina llegar tan lejos por delante de la
competencia que se pone un ventaja estratgica decisiva
, es decir, un nivel de tecnologa y otras ventajas suficientes para que pueda lograr la
dominacin del mundo completo? Si un proyecto hizo obtener una ventaja estratgica
decisiva, sera utilizarlo para suprimir los competidores y formar un
semifallo

(Un orden mundial en el que existe a nivel mundial una sola agencia de toma de
decisiones)? Y si hay un proyecto ganador, lo "grande" sera, no en trminos de tamao
fsico o presupuesto, pero en trminos de la cantidad de los deseos de la gente estara
controlando su diseo? Tendremos en cuenta estas cuestiones en turno. El
favorito
obtener una ventaja estratgica decisiva? Un factor que influye en el ancho de la brecha
entre frontrunner y seguidores es la velocidad de difusin de lo que sea que el lder da una
ventaja competitiva. Un favorito podra tener dificultades para obtener y mantener una
ventaja grande si los seguidores pueden copiar fcilmente las ideas e innovaciones de la
favorita. Imitacin crea un viento en contra que perjudica a los lderes y los beneficios
rezagados, especialmente si la propiedad intelectual est dbilmente protegida. Un
favorito tambin puede ser especialmente vulnerables a la expropiacin, tributacin, o ser
roto bajo la regulacin antimonopolio.

Sera un error, sin embargo, suponer que este viento de frente debe aumentar
montonamente con la brecha entre favorito y seguidores. As como un ciclista que se cae
demasiado lejos detrs de la competencia ya no est protegido del viento por los ciclistas
por delante, por lo que un seguidor de la tecnologa que se queda bastante por detrs del
borde de corte podra encontrar dificultades para asimilar los avances que se realizan en
la frontera. 2
La brecha en la comprensin y capacidad podra haber crecido demasiado. El lder podra
haber migrado a una plataforma tecnolgica ms avanzada, por lo que las innovaciones
posteriores intransferibles a las plataformas primitivas utilizadas por los rezagados. Un
lder lo suficientemente preeminente podra tener la capacidad para frenar la fuga de
informacin de sus programas de investigacin y de sus instalaciones sensibles, o para
sabotear los esfuerzos de sus competidores para desarrollar sus propias capacidades
avanzadas.
Si el favorito es un sistema de inteligencia artificial, podra tener atributos que hacen ms
fcil para que se expanda sus capacidades al tiempo que reduce la velocidad de difusin.
En las organizaciones humanas correr, las economas de escala son contrarrestados por las
ineficiencias burocrticas y problemas de agencia, incluyendo dificultades en el
mantenimiento
de
los
secretos
comerciales.
3
Estos problemas
seran presumiblemente limitar el crecimiento de un proyecto de inteligencia de la
mquina siempre que es operado por los seres humanos. Un sistema de inteligencia
artificial, sin embargo, podra evitar algunos de estos deseconomas de escala, ya que los
mdulos del AI (en contraste con los trabajadores humanos) no tienen por qu tener
preferencias individuales que difieren de los del sistema en su conjunto. As, el sistema de
inteligencia artificial podra evitar una parte considerable de las ineficiencias derivadas de
problemas de agencia en las empresas humanas. La misma ventaja que tiene
perfectamente leales partes tambin hara ms fcil para que un sistema de inteligencia
artificial para seguir de largo alcance metas clandestinos. Un AI no tendra empleados
descontentos listos para ser saqueados por los competidores o sobornados en
informants.4 convertirse
Podemos tener una idea de la distribucin de las brechas posibles en tiempos de
desarrollo observando algunos ejemplos histricos (vase el recuadro 5). Parece que se
queda en el rango de unos pocos meses hasta unos pocos aos son tpicos de los
proyectos de tecnologa de importancia estratgica.
Recuadro 5 carreras Tecnologa: algunos ejemplos histricos
Durante largos plazos
histricos, ha habido un aumento en la velocidad a la que el conocimiento y la tecnologa
difusa en todo el mundo. Como resultado, las brechas temporales entre lderes de la
tecnologa y los seguidores ms cercanos se han estrechado.
China logr mantener el monopolio de la produccin de seda desde hace ms de dos mil
aos. Hallazgos arqueolgicos sugieren que la produccin podra haber comenzado
alrededor de 3000 aC, o incluso antes.
5

La sericultura era un secreto celosamente guardado. Revelando las tcnicas era castigado
con la muerte, al igual que los gusanos de seda exportadores o sus huevos fuera de China.
Los romanos, a pesar del alto precio al mando del pao de seda importados en su imperio,
nunca aprendi el arte de la fabricacin de la seda. No fue sino hasta alrededor de 300 dC
hizo una expedicin japonesa logr capturar algunos huevos de gusanos de seda junto con
cuatro nias chinas jvenes, que se vieron obligados a divulgar el arte a su abductors.6
Bizancio unido al club de los productores en el ao 522. La historia de la porcelana de
decisiones tambin cuenta con rezagos largos. La nave fue practicado en China durante la
dinasta Tang alrededor de 600 dC (y podra haber estado en uso ya en 200 dC), pero fue
dominado por los europeos slo en el century.7 XVIII vehculos de ruedas aparecieron en
varios sitios en toda Europa y Mesopotamia alrededor 3500 aC, pero lleg a las Amricas
slo en times.8 post-colombino En una escala mayor, la especie humana tom decenas de
miles de aos para difundir a travs de la mayor parte del mundo, la revolucin agrcola
miles de aos, la Revolucin Industrial slo cientos de aos y una revolucin de la
informacin se puede decir que se han extendido en todo el mundo a lo largo de varias
dcadas, aunque, por supuesto, estas transiciones no son necesariamente de igual
profundidad. (El
Dance Dance Revolution
videojuego extendi desde Japn a Europa y Amrica del Norte en slo un ao!)
La competencia tecnolgica se ha estudiado extensamente, particularmente en el
contexto de las razas de patentes y las carreras de armamentos. 9
Est ms all del alcance de nuestra investigacin para revisar esta literatura aqu. Sin
embargo, es instructivo examinar algunos ejemplos de carreras tecnolgicas
estratgicamente importantes en el siglo XX (vase el cuadro 7).
Con respecto a estos seis tecnologas, que fueron considerados como de importancia
estratgica por las superpotencias que rivalizan por su importancia militar o simblica, las
brechas entre el lder y el ms rezagado cercano fueron (muy aproximadamente) 49
meses, 36 meses, 4 meses, 1 mes, 4 meses, y 60 meses, respectivamente a ms largo que
la duracin de un despegue rpido y ms cortas que la duracin de un despegue lento.
10
En muchos casos, el proyecto de la rezagada benefici de espionaje y la informacin a
disposicin del pblico. La mera demostracin de la viabilidad de una invencin tambin
puede animar a otros a desarrollar de forma independiente; y el miedo de quedarse atrs
puede estimular los esfuerzos para ponerse al da. Tal vez ms cerca el caso de la IA son inventos
matemticos que no requieren el desarrollo de nueva infraestructura fsica. A menudo, estos se publican en la literatura acad mica y
por lo tanto pueden ser considerados como universalmente disponible; pero en algunos casos, cuando el descubrimiento parece
ofrecer una ventaja estratgica, la publicacin se ha retrasado. Por ejemplo, dos de las ideas ms importantes en la criptogr afa de
clave pblica son el protocolo de intercambio de claves Diffie-Hellman y el esquema de cifrado RSA. Estos fueron descubiertos por la
comunidad acadmica en 1976 y 1978, respectivamente, pero ms tarde se ha confirmado que eran conocidos por los criptgrafos al

grupo de seguridad de las comunicaciones en el Reino Unido desde principios de 1970.

20
Los grandes proyectos de software pueden ofrecer una analoga ms estrecha con
los proyectos de IA, pero es ms difcil dar ejemplos ntidos de rezagos tpicos ya que el
software se suele rodar en cuotas incrementales y las funcionalidades de los sistemas de
la competencia a menudo no son directamente comparables.
Tabla 7
Algunas carreras de tecnologa de importancia estratgica
Es posible que la globalizacin y el aumento de la vigilancia reducirn los
retrasos tpicos entre los que compiten los proyectos de tecnologa. Sin embargo, no es
probable que sea una cota ms baja en lo corta que el retraso promedio podra convertirse
(en ausencia de coordinacin deliberada).21
Incluso la dinmica ausentes que conducen a una bola de nieve efecto, algunos proyectos
pasarn a terminar con un mejor personal de investigacin, el liderazgo y la
infraestructura, o se acaba de tropezar con mejores ideas. Si dos proyectos persiguen
enfoques alternativos, uno de los cuales resulta trabajar mejor, es posible que pasen los
proyectos rivales muchos meses para cambiar a la aproximacin superior incluso si es
capaz de seguir de cerca lo que el precursor est haciendo. La combinacin de estas
observaciones con nuestra discusin anterior de la velocidad del despegue, se puede
concluir que es muy poco probable que dos proyectos seran lo suficientemente cerca como
para someterse a un despegue rpido al mismo tiempo; para un despegue medio, que
fcilmente podra ir en cualquier direccin; y para un despegue lento, es muy probable que
varios proyectos seran someterse al proceso en paralelo. Pero el anlisis necesita un paso
ms all. La pregunta clave no es el nmero de proyectos se someten a un despegue en
tndem, pero cuntos proyectos emergen en el lado de all lo suficientemente bien
agrupado en la capacidad de que ninguno de ellos tiene una ventaja estratgica decisiva.
Si el proceso de despegue es relativamente lento para comenzar y luego se hace ms
rpido, la distancia entre los proyectos que compiten tendera a crecer. Para regresar a
nuestra metfora de la bicicleta, la situacin sera anloga a un par de ciclistas haciendo
su camino en una colina empinada, uno detrs de cierta distancia detrs de la otra, la
brecha entre ellos y luego la expansin como el principal candidato alcanza el pico y
comienza acelerando por la otro lado.
Considere el siguiente escenario de despegue medio. Supongamos que se necesita un
proyecto de un ao para aumentar la capacidad de su AI de la lnea de base humana a una
fuerte superinteligencia, y que un proyecto entra en esta fase de despegue con una
ventaja de seis meses durante el prximo proyecto ms avanzado. Los dos proyectos
sern sometidos a un despegue simultneamente. Podra parecer, entonces, que ni
proyecto para crear una ventaja estratgica decisiva. Pero no es que qu ser as.
Supongamos que se necesita nueve meses para avanzar desde la lnea de base humana al
punto de cruce, y otros tres meses a partir de ah a la fuerte superinteligencia. El principal
candidato luego alcanza fuerte superinteligencia tres meses antes del siguiente proyecto
an alcanza el punto de cruce. Esto dara al proyecto que lleva una ventaja estratgica
decisiva y la oportunidad de valerse de su liderazgo en el control permanente mediante la
desactivacin de los proyectos en competencia y el establecimiento de un conjunto

unitario. (Tenga en cuenta que el concepto de un singleton es un resumen de una: un

producto nico podra ser la democracia, una tirana, una sola AI dominante, un slido
conjunto de normas globales que incluyan disposiciones eficaces para su cumplimiento, o
incluso un extranjero seor -su definicin caracterstica que simplemente que es algn
tipo de organismo que puede resolver los principales problemas de coordinacin global.
Se puede, pero no es necesario, se asemejan a cualquier forma familiar de gobierno
humano.
22) Dado que no es una especialmente fuerte perspectiva de crecimiento
explosivo justo despus del punto de cruce, cuando el fuerte lazo de retroalimentacin
positiva de patadas de energa en la optimizacin, un escenario de este tipo es una
posibilidad seria, y aumenta las posibilidades de que el proyecto que lleva ser alcanzar un
ventaja estratgica decisiva incluso si el despegue no es rpido. Qu tan grande ser el
xito del proyecto?
Algunas rutas de acceso a superinteligencia requieren grandes recursos y por lo
tanto probable que sea el dominio exclusivo de los grandes proyectos bien financiados.
Emulacin total del cerebro, por ejemplo, requiere diferentes tipos de conocimientos y un
montn de equipo. Mejoras de inteligencia biolgica y las interfaces cerebro -ordenador
tambin tendran un factor de gran escala: mientras que una pequea empresa de
biotecnologa podra inventar una o dos drogas, logrando superinteligencia largo de una
de estas rutas (si factible en absoluto) probablemente requerir muchos inventos y
muchas pruebas, y por lo tanto con el respaldo de un sector industrial o de un programa
nacional bien financiado. Lograr superinteligencia colectiva al hacer las organizaciones y
redes ms eficiente requiere an ms extensa de entrada, con la participacin tanto de la
economa mundial. El camino AI es ms difcil de evaluar. Tal vez sera necesario un
programa de investigacin muy grande; tal vez podra ser realizado por un grupo
pequeo. Un escenario pirata solitario no puede descartarse tampoco. La construccin de
una semilla AI podra requerir conocimientos y algoritmos desarrollados a lo largo de
muchas dcadas por la comunidad cientfica de todo el mundo. Pero es posible que la
ltima idea crtica avance podra venir de una sola persona o un pequeo grupo que tiene
xito en poner todo junto. Este escenario es menos realista para algunas arquitecturas IA
que otros. Un sistema que tiene un gran nmero de piezas que necesitan ser ajustado y
afinado a trabajar juntos de manera efectiva, y luego cuidadosamente cargado de
contenido cognitivo a medida, es probable que requiera un proyecto ms amplio. Pero si
una semilla AI podra ser instanciada como un sistema simple, uno cuya construccin
depende slo de conseguir unos principios bsicos bien, entonces la hazaa podra estar al
alcance de un pequeo equipo o un individuo. La probabilidad de que el avance final es t
hecha por un pequeo aumento de proyecto si la mayor progreso anterior en el campo se
ha publicado en la literatura abierta o puesta a disposicin como software de cdigo
abierto.
Hay que distinguir la cuestin de qu tan grande ser el proyecto que
directamente ingenieros el sistema de la cuestin de cun grande es el grupo ser el que
controles si, cmo y cundo se cre el sistema. La bomba atmica fue creado
principalmente por un grupo de cientficos e ingenieros. (El Proyecto Manhattan emplea
alrededor de 130.000 personas en su apogeo, la gran mayora de los cuales eran
trabajadores de la construccin o edificio operators.23) Estos expertos tcnicos, sin

embargo, fueron controlados por el ejrcito estadounidense, que fue dirigida por el
gobierno de Estados Unidos, que era en ltima instancia, responsable ante el electorado
estadounidense, que en ese momento constitua aproximadamente una dcima parte del
adulto population.24 mundo
Monitoreo
Dadas las implicaciones de seguridad extremas de superinteligencia, los gobiernos
probablemente tratar de nacionalizar cualquier proyecto en su territorio que ellos
pensaban cerca de lograr un despegue. Un Estado poderoso tambin podra intentar
adquirir proyectos ubicados en otros pases a travs de espionaje, robo, secuestro, el
soborno, las amenazas, la conquista militar, o cualquier otro medio disponible. Un estado
de gran alcance que no puede adquirir un proyecto extranjera lugar podra destruirlo,
sobre todo si el pas receptor carece de un medio eficaz de disuasin. Si las estructuras de
gobernanza mundial son fuertes para el momento un avance comienza a parecer
inminente, es posible que los proyectos prometedores se colocaran bajo control
internacional.
Una cuestin importante, por lo tanto, es si las autoridades nacionales o
internacionales podrn ver una explosin de inteligencia que viene. En la actualidad, las
agencias de inteligencia no parecen estar buscando muy duro por prometer proyectos de
IA u otras formas de amplificacin de la inteligencia potencialmente explosiva.
25
Si ellos estn de hecho no pagan (mucho) la atencin, esto es probablemente
debido a la percepcin ampliamente compartida de que no hay perspectivas de que sea
superinteligencia inminente. Siempre y cuando se convierte en una creencia comn entre
los cientficos prestigiosos que hay una posibilidad sustancial de que superinteligencia est
a la vuelta de la esquina, las principales agencias de inteligencia del mundo
probablemente comenzaran a monitorear grupos e individuos que parecen estar
dedicado a la investigacin pertinente. Cualquier proyecto que comenz a mostrar un
progreso suficiente podra entonces nacionaliz rpidamente. Si las lites polticas fueron
persuadidos por la gravedad del riesgo, los esfuerzos civiles en zonas sensibles pueden ser
regulados o prohibidos. Qu tan difcil sera esa vigilancia? La tarea es ms fcil si el
objetivo es slo para no perder de vista el proyecto que lleva. En ese caso, la vigilancia se
centra en los diversos proyectos mejor dotados de recursos puede ser suficiente. Si el
objetivo es lugar para evitar cualquier trabajo que tenga lugar (al menos fuera de las
instituciones especialmente autorizadas), entonces la vigilancia tendra que ser ms
amplio, ya que muchos proyectos pequeos y los individuos estn en condiciones de hacer
al menos algunos progresos. Sera ms fcil para supervisar los proyectos que requieren
grandes cantidades de capital fsico, como sera el caso de un proyecto de emulacin de
todo el cerebro. Investigacin de la inteligencia artificial, por el contrario, slo requiere un
ordenador personal, y por lo tanto ser ms difcil de controlar. Parte del trabajo terico se
podra hacer con la pluma y el papel. Aun as, no sera demasiado difcil de identificar a las
personas ms capaces, con un serio inters de larga data en la investigacin de la
inteligencia general artificial. Estas personas suelen dejar rastros visibles. Es posible que
hayan publicado artculos acadmicos, presentados en congresos, publicados en foros de
Internet, o ganaron grados de los principales departamentos de informtica. Tambin

pueden haber tenido comunicaciones con otros investigadores de la IA, lo que les permite
ser identificados por la cartografa de la grfica social.
Los proyectos diseados desde el principio para ser secretos podran ser ms
difciles de detectar. Un proyecto comn de desarrollo de software podra servir como un
frente.
26
Slo un cuidadoso anlisis del cdigo est produciendo revelara la verdadera
naturaleza de lo que el proyecto estaba tratando de lograr. Dicho anlisis requerira una
gran cantidad de (altamente cualificados) la mano de obra, de donde slo un pequeo
nmero de proyectos de sospechosos podra ser analizado en este nivel. La tarea sera
mucho ms fcil si la tecnologa de deteccin de mentiras efectiva haba sido desarrollado
y podra ser utilizado rutinariamente en este tipo de surveillance.27
Otra razn estados podran dejar de tomar los acontecimientos precursores es la
dificultad inherente de la previsin de algunos tipos de avance. Esto es ms relevante para
la investigacin en IA que al desarrollo de emulacin de todo el cerebro, ya que para este
ltimo es ms probable que sea precedido por un claro gradiente de avances constantes
del avance clave. Tambin es posible que las agencias de inteligencia y otras burocracias
gubernamentales tienen una cierta torpeza o rigidez que podra impedir que la
comprensin del significado de algunos acontecimientos que podran ser claro para
algunos grupos externos. Las barreras a la comprensin oficial de una potencial explosin
de inteligencia podran ser especialmente pronunciada. Es concebible, por ejemplo, que el
tema va a inflamarse con controversias religiosas o polticas, lo que hace que un tab para
los funcionarios de algunos pases. El tema podra llegar a ser asociada con alguna figura
desacreditada o con la charlatanera y la publicidad en general, por lo tanto, rechazado
por los cientficos respetados y otras figuras del establishment. (Como vimos en el captulo
1, algo como esto ya ha sucedido dos veces: recordar los dos "inviernos AI"). Los grupos
industriales pueden ejercer presin para evitar calumnias siendo arrojados en las reas de
negocio rentables; comunidades acadmicas podran cerrar filas para marginar a quienes
expresan preocupaciones acerca de las consecuencias a largo plazo de la ciencia que se
est haciendo.
28
En consecuencia, una falla de inteligencia total no puede ser descartada. Un fallo de este
tipo es especialmente probable si deben producirse avances en el futuro ms prximo,
antes de la emisin se ha elevado a la prominencia pblica. E incluso si las agencias de
inteligencia no se equivoquen, los lderes polticos no podra escuchar o actuar en el
consejo. Introduccin al Proyecto Manhattan comenz tom un esfuerzo extraordinario
por varios fsicos imaginativo, incluyendo especialmente Marcos Oliphant y Le Szilrd:
este ltimo Eugene Wigner persuadido de persuadir Albert Einstein para poner su nombre
en una carta a persuadir al presidente Franklin D. Roosevelt para investigar el asunto .
Incluso despus de que el proyecto lleg a su escala, Roosevelt se mantuvo escptico de
su capacidad de trabajo y la importancia, al igual que su sucesor Harry Truman.
Para bien o para mal, probablemente sera ms difcil para un pequeo grupo de activistas
para afectar el resultado de una explosin de inteligencia si grandes jugadores, como
estados, estn tomando parte activa. Oportunidades para los particulares para reducir la

cantidad global de riesgo existencial de una potencial explosin de inteligencia son, por
tanto, mayor en escenarios en los que grandes jugadores permanecen relativamente
ajeno a la cuestin, o en el que los primeros esfuerzos de los activistas hacen una gran
diferencia sobre si, cundo, los cuales, o con qu actitud grandes jugadores entran en el
juego. Por lo tanto, los activistas que buscan el mximo impacto esperado tal vez deseen
centrar la mayor parte de su planificacin en tales escenarios de gran influencia, incluso si
creen que los escenarios en los que grandes jugadores terminan llamando todos los tiros
son ms probables.
La colaboracin internacional
La coordinacin internacional es ms probable si las estructuras de gobernanza global
generalmente se hacen ms fuertes. La coordinacin tambin podra ser ms probable si
el significado de una explosin de inteligencia es muy apreciado antes de tiempo y si la
supervisin efectiva de todos los proyectos serios es factible. Incluso si el monitoreo no es
factible, sin embargo, la cooperacin internacional seguira siendo posible. Muchos pases
podran unirse para apoyar un proyecto conjunto. Si tal proyecto conjunto fueron lo
suficientemente buenos recursos, podra tener una buena oportunidad de ser el primero
en llegar a la meta, sobre todo si cualquier proyecto de su rival tuvo que ser pequeo y
secreto para eludir la deteccin.
Existen precedentes de exitosas colaboraciones cientficas multinacionales a gran escala,
como la Estacin Espacial Internacional, el Proyecto Genoma Humano, y el Gran
Colisionador de Hadrones. 29
Sin embargo, la principal motivacin para la colaboracin en los casos era de costo
compartido. (En el caso de la Estacin Espacial Internacional, el fomento de un espritu de
colaboracin entre Rusia y los Estados Unidos fue en s mismo un goal.30 importante) El
logro de una colaboracin similar en un proyecto que tiene enormes implicaciones para la
seguridad sera ms difcil. Un pas que cree que podra lograr un avance unilateral podra
tener la tentacin de ir por su cuenta en vez de subordinar sus esfuerzos para un proyecto
conjunto. Un pas tambin puede abstenerse de unirse a una colaboracin internacional
del temor de que otros participantes podran desviar ideas en colaboracin generados y
utilizarlos para acelerar un proyecto nacional encubierta.
Un proyecto internacional sera por lo tanto necesitan para superar los principales retos
de seguridad, y una buena cantidad de confianza, probablemente sera necesario para
ponerlo en marcha, la confianza que puede tomar tiempo para desarrollarse. Considere la
posibilidad de que incluso despus de que el deshielo en las relaciones entre Estados
Unidos y la Unin Sovitica tras el ascenso de Gorbachov al poder, los esfuerzos de
reduccin de armas -que podra ser en gran medida en los intereses de ambas
superpotencias-tuvieron un comienzo irregular. Gorbachov estaba buscando reducciones
abruptas en armas nucleares, pero las estancadas negociaciones sobre la cuestin de la
Iniciativa de Defensa Estratgica de Reagan ("Star Wars"), que el Kremlin se opuso
enrgicamente. En la reunin Cumbre de Reykjavik en 1986, Reagan propuso que Estados
Unidos compartira con la Unin Sovitica la tecnologa que se desarrolla bajo la Iniciativa
de Defensa Estratgica, por lo que ambos pases podran protegerse de los lanzamientos
accidentales y en contra de las naciones ms pequeas que podran desarrollar nuclear

armas. Sin embargo, Gorbachov no fue persuadido por esta aparente propuesta ganadora.
Consideraba el gambito como un ardid, negndose a acreditar la idea de que los
estadounidenses comparten los frutos de su investigacin militar ms avanzada en un
momento en que ni siquiera estaban dispuestos a compartir con los soviticos su
tecnologa para ordear vacas.
31 Independientemente de que Reagan fue, de hecho,
sincero en su oferta de colaboracin superpotencia, la desconfianza hizo la propuesta de
un non-starter.
La colaboracin es ms fcil de lograr entre los aliados, pero incluso all no es automtico.
Cuando la Unin Sovitica y los Estados Unidos se aliaron contra Alemania durante la
Segunda Guerra Mundial, Estados Unidos ocult su proyecto de la bomba atmica de la
Unin Sovitica. Los Estados Unidos colaboran en el Proyecto Manhattan con Gran
Bretaa y Canad. 32 Del mismo modo, el Reino Unido ocult su xito en romper el
cdigo alemn Enigma de la Unin Sovitica, pero lo comparti-aunque con cierta
dificultad con los Estados Unidos.33 Esto sugiere que, a fin de lograr la colaboracin
internacional en alguna tecnologa que es de fundamental importancia para la seguridad
nacional, podra ser necesario haber construido previamente una relacin cercana y de
confianza. Volveremos en el captulo 14 de la conveniencia y viabilidad de la colaboracin
internacional en el desarrollo de tecnologas de amplificacin de la inteligencia. Desde
ventaja estratgica decisiva a Singleton Un proyecto que obtuvo una ventaja estratgica
decisiva optar por usarlo para formar un producto nico? Considere una situacin
histrica vagamente anloga. Los Estados Unidos ha desarrollado armas nucleares en
1945. Fue la nica potencia nuclear hasta que la Unin Sovitica desarroll la bomba
atmica en 1949. Durante este intervalo, y durante algn tiempo despus de eso, los
Estados Unidos pudo haber tenido, o ha estado en condiciones de alcanzar , una ventaja
militar decisiva. Los Estados Unidos podran entonces, tericamente, han utilizado su
monopolio nuclear para crear un producto nico. Una forma en que se podra haber
hecho habra sido por embarcarse en un esfuerzo supremo para construir su arsenal
nuclear y luego amenazar (y si es necesario, llevar a cabo) un primer ataque nuclear para
destruir la capacidad industrial de cualquier nuclear incipiente programa en la URSS y en
cualquier otro pas tentados a desarrollar una capacidad nuclear. Un curso ms benigno
de la accin, que tambin podra haber tenido la oportunidad de trabajar, habra sido
utilizar su arsenal nuclear como moneda de cambio para negociar un gobierno fuerte-ainternacional de las Naciones Unidas con el veto menos un monopolio nuclear y el
mandato de tomar todas las medidas necesarias para evitar cualquier pas de desarrollar
sus propias armas nucleares.
Ambos enfoques se propusieron en el momento. El enfoque de lnea dura de
poner en marcha o amenazar a un primer ataque fue defendida por algunos intelectuales
destacados como Bertrand Russell (que haba sido durante mucho tiempo activo en los
movimientos contra la guerra y que ms tarde pasar dcadas haciendo campaa contra
las armas nucleares) y John von Neumann (co-creador de la teora de juegos y uno de los
arquitectos de la estrategia nuclear estadounidense).
34
Tal vez es un signo de progreso civilizatorio que la misma idea de amenazar a un
primer ataque nuclear hoy parece borderline tonto o moralmente obscena.
Una versin del enfoque benigna fue juzgado en 1946 por los Estados Unidos en

forma de plan de Baruch. La propuesta consisti en la EE.UU. renunciar a su monopolio

nuclear temporal. El uranio y el torio minera y tecnologa nuclear seran colocados bajo el
control de un organismo internacional que funciona bajo los auspicios de las Naciones
Unidas. La propuesta pide a los miembros permanentes del Consejo de Seguridad a
renunciar a sus vetos en asuntos relacionados con las armas nucleares con el fin de
prevenir cualquier gran poder hallados en violacin del acuerdo de vetar la imposicin de
remedios.
35
Stalin, al ver que la Unin Sovitica y sus aliados podran ser fcilmente perder la
votacin, tanto en el Consejo de Seguridad y la Asamblea General, rechaz la propuesta.
Una atmsfera helada de sospecha mutua descendi sobre las relaciones entre los
antiguos aliados de guerra, la desconfianza que luego se solidific en la Guerra Fra. Como
haba sido ampliamente predicho, una carrera armamentista nuclear costoso y
extremadamente peligroso sigui.
Hay muchos factores que pueden disuadir a una organizacin humana con una
ventaja estratgica decisiva de la creacin de un producto nico. Estos inclu yen funciones
no agregativos o delimitadas de servicios pblicos, las reglas de decisin no la
maximizacin, la confusin y la incertidumbre, problemas de coordinacin, y diversos
costos asociados a una toma de posesin. Pero y si no fuera una organizaci n humana,
sino un agente artificial superinteligente que entr en posesin de una ventaja estratgica
decisiva? Los factores antes mencionados ser igualmente eficaz en la inhibicin de una IA
de intentar tomar el poder? Corramos brevemente a travs de la lista de factores y
considerar cmo podran aplicarse en este caso. Individuos humanos y organizaciones
humanas suelen tener preferencias sobre los recursos que no estn bien representados
por una "funcin de utilidad sin lmites de agregacin." Un ser humano normalmente no
apostar todo su capital para una oportunidad de duplicar su cincuenta por ciento. Un
estado normalmente no se arriesgar a perder todo su territorio para una ocasin del diez
por ciento de una expansin de diez veces. Para los individuos y los gobiernos, hay
rendimientos decrecientes a la mayora de los recursos. La misma necesidad
no
mantener durante los IA. (Volveremos al problema de la motivacin de AI en los
captulos siguientes.) Por tanto, un AI podra ser ms propensos a seguir u n curso de
accin arriesgado que tiene alguna posibilidad de darle el control del mundo.
Los seres humanos y las organizaciones humanas ejecutar tambin pueden operar
con los procesos de adopcin que no buscan maximizar la utilidad esperada. Por ejemplo ,
pueden permitir la aversin al riesgo fundamental, o "satisficing" reglas de decisin que se
centran en el cumplimiento de los umbrales de suficiencia o secundarios limitaciones
"deontolgicas" que proscriben ciertos tipos de accin, independientemente d e cmo sus
consecuencias deseables. Tomadores de decisiones Humanos menudo parecen estar
actuando una identidad o una funcin social en lugar de tratar de maximizar el logro de
algn objetivo en particular. Una vez ms, esto no se aplica a los agentes arti ficiales.
Funciones delimitadas de servicios pblicos, la aversin al riesgo, y reglas de decisin no
maximizando pueden combinar de forma sinrgica con la confusin y la incertidumbre
estratgica. Las revoluciones, incluso cuando tienen xito en el derrocamiento del orden

existente, a menudo no producen el resultado que sus instigadores haban prometido.

Esto tiende a detener la mano de un agente humano si la accin contemplada es
irreversible, de normas de ruptura, y los precedentes que carece. Un superin teligencia
podra percibir la situacin ms clara y, por tanto, frente a la confusin menos estratgica
y la incertidumbre sobre el resultado en caso de que intente utilizar su aparente ventaja
estratgica decisiva para consolidar su posicin dominante.
Otro factor importante que puede inhibir los grupos de la explotacin de una
ventaja estratgica que puede ser decisivo es el problema de la coordinacin interna. Los
miembros de una conspiracin que est en condiciones de tomar el poder debe
preocuparse no slo por haber sido infiltrado desde el exterior, sino tambin de ser
derrocado por alguna coalicin ms pequea de informacin privilegiada. Si un grupo est
formado por un centenar de personas, y la mayora de los sesenta puede tomar el poder y
privar de derechos a los no-conspiradores, qu es entonces para detener un treinta y
cinco fuertes subconjunto de estos sesenta aos de privar de sus derechos los otros veinte
y cinco aos? Y entonces tal vez un subconjunto de veinte disenfranchising otro quince
aos? Cada uno de los cientos de originales podran tener buenas razones para mantener
ciertas normas establecidas para prevenir la desintegracin general que podra resultar de
cualquier intento de cambiar el contrato social por medio de una toma de poder desnudo.
Este problema de la coordinacin interna no se aplicara a un sistema de inteligencia
artificial que constituye un solo agente unificado.
36
Por ltimo, est la cuestin de costo. Incluso si Estados Unidos podra haber utilizado su
monopolio nuclear para establecer un conjunto unitario, no podra haber sido capaz de
hacerlo sin incurrir en costos sustanciales. En el caso de un acuerdo negociado para
colocar armas nucleares bajo el control de unas Naciones Unidas reformadas y reforzadas,
estos costos podran haber sido relativamente pequea; pero los costos-morales,
econmicos, polticos y humanos de la realidad de intentar la conquista del mundo a
travs de la conduccin de la guerra nuclear habra sido casi inconcebiblemente grande,
incluso durante el perodo de monopolio nuclear. Con la suficiente superioridad
tecnolgica, sin embargo, estos costos seran mucho ms pequeo. Consideremos, por
ejemplo, un escenario en el que una nacin tena una gran ventaja tan tecnolgica que
podra desarmar de forma segura todas las dems naciones en la prensa de un botn, sin
que nadie morir o ser herido, y casi sin daos a la infraestructura o al medio ambiente .
Con tal superioridad tecnolgica casi mgico, un primer ataque sera mucho ms tentador.
O pensemos en un nivel an mayor de la superioridad tecnolgica que podra permitir que
el principal candidato para causar otras naciones para sentar voluntariamente las armas,
no por ellos amenazando con la destruccin sino simplemente convenciendo a una gran
mayora de sus poblaciones por medio de una publicidad muy efectiva diseada y
campaa de propaganda ensalzar las virtudes de la unidad global. Si esto se hace con la
intencin de beneficiar a todo el mundo, por ejemplo, mediante la sustitucin de las
rivalidades nacionales y carreras armamentistas con una feria, representante, y el
gobierno mundial eficaz, no est claro que no habra incluso una objecin moral
convincente para el aprovechamiento de un temporal ventaja estratgica en un singleton
permanente.

Por lo tanto varias consideraciones apuntan a un aumento de la probabilidad de que una

fuente de futuro con superinteligencia que obtuvo una suficientemente grande ventaja
estratgica en realidad lo utilizan para formar un conjunto unitario. La conveniencia de
este resultado depende, por supuesto, de la naturaleza del producto nico que se creara
y tambin en lo que el futuro de la vida inteligente se vera as en escenarios alternativos
multipolares. Vamos a volver a esas preguntas en captulos posteriores. Pero primero
vamos a echar un vistazo ms de cerca a qu y cmo una superinteligencia sera poderosa
y eficaz en el logro de resultados en el mundo.
CAPTULO 6
Superpotencias cognitivos
Supongamos que un agente superinteligente digitales entr en vigor, y que por alguna
razn quera tomar el control del mundo: Sera capaz de hacerlo? En este captulo
consideramos algunos poderes que un superinteligencia podra desarrollar y lo que puede
permitir que haga. Nos planteamos un escenario de toma de control que ilustra cmo un
agente superinteligente, comenzando como mera software, podra establecerse como un
producto nico. Tambin ofrecemos algunas observaciones sobre la relacin entre poder
sobre la naturaleza y el poder sobre otros agentes.
La razn principal de la posicin dominante de la humanidad en la Tierra es que nuestros
cerebros tienen un conjunto ligeramente ampliada de facultades en comparacin con
otros animales.
1 Nuestro mayor inteligencia nos permite transmitir la cultura de
manera ms eficiente, con el resultado de que el conocimiento y la tecnologa se acumula
de una generacin a la siguiente. Por ahora el contenido se ha acumulado suficiente para
hacer posible el vuelo espacial, bombas H, la ingeniera gentica, la informtica, las
granjas industriales, insecticidas, el movimiento internacional de paz, y todos los avos de
la civilizacin moderna. Los gelogos han comenzado a referirse a la poca actual como la
Antropoceno
en reconocimiento de la bitica distintivo, sedimentarias y firmas geoqumicas de
actividades.2 humana en una estimacin, nos apropiamos de 24% de produccin.3
primaria neta del ecosistema planetario Y sin embargo estamos muy lejos de haber
alcanzado los lmites fsicos de la tecnologa.
Estas observaciones hacen posible que cualquier tipo de entidad que desarroll una
mucho mayor que el nivel de la inteligencia humana sera potencialmente muy potente.
Dichas entidades podran acumularse contenido mucho ms rpido que nosotros e
inventar nuevas tecnologas en una escala de tiempo mucho ms corto. Tambin podran
usar su inteligencia para crear una estrategia ms eficaz que podemos.
Veamos algunas de las capacidades que un superinteligencia podra tener y cmo podra
utilizarlos.
Funcionalidades y superpotencias
Es importante no antropomorfizar superinteligencia al pensar en sus posibles
impactos. Marcos antropomrficas alientan expectativas infundadas sobre la trayectoria
de crecimiento de una semilla de AI y de la psicologa, motivaciones y capacidades de una
superinteligencia maduro.
Por ejemplo, una suposicin comn es que una mquina superinteligente sera

como un ser humano muy inteligente, pero nerd. Imaginamos que la IA tiene smarts del
libro, pero carece de comprensin social o que es lgico, pero no intuitivo y creativo. Esta
idea probablemente se origina en la observacin: nos fijamos en las computadoras de hoy
en da y vemos que son buenos en clculo, recordando hechos, y al siguiente la carta de
instrucciones mientras que siendo ajeno a los contextos sociales y subtextos, las normas,
las emociones y la poltica. La asociacin se fortalece cuando se observa que las personas
que son buenos en el trabajo con las computadoras tienden a s mismos como los nerds.
As que es natural suponer que la inteligencia computacional ms avanzado tendr
atributos similares, slo en un grado superior.
Esta heurstica podra retener cierta validez en las primeras etapas de desarrollo de
una semilla de AI. (No hay razn alguna para suponer que se aplicara a las emulaciones o
mejorado cognitivamente los seres humanos). En su etapa inmadura, lo que sea ms tarde
para convertirse en un AI superinteligente podra an carecen de muchas habilidades y
talentos que vienen naturalmente a un ser humano; y el patrn de las fo rtalezas y
debilidades de una semilla como de AI fuerza de hecho tener alguna vaga semejanza con
un empolln IQ. La caracterstica ms esencial de una semilla de AI, adems de ser fcil de
mejorar (que tiene una baja recalcitrante), es ser bueno en ejercer el poder de
optimizacin para amplificar la inteligencia de un sistema: una habilidad que es
presumiblemente muy relacionada con hacer bien en matemticas, programacin,
ingeniera , la investigacin informtica, y otras actividades "nerd". Sin embargo, incluso si
una semilla AI tiene un perfil tal capacidad nerd en una etapa de su desarrollo, esto no
implica que se convierta en una superinteligencia madura igualmente limitado.
Recordemos la distincin entre alcance directo e indirecto. Con habilidad suficiente a la
amplificacin de inteligencia, el resto de las capacidades intelectuales estn al alcance
indirecto de un sistema: el sistema puede desarrollar nuevos mdulos cognitivos y
habilidades segn sea necesario, incluyendo la empata, la perspicacia po ltica, y
cualesquiera otras potencias estereotipada que quieren en personalidades computer-like.
Aunque reconocemos que una superinteligencia puede tener todas las habilidades y
talentos que encontramos en la distribucin humana, junto con otros talentos que no se
encuentran entre los seres humanos, la tendencia hacia el antropomorfismo todava
puede llevarnos a subestimar el grado en que una mquina pudiera superinteligencia
superar el nivel humano de rendimiento. Eliezer Yudkowsky, como vimos en un capt ulo
anterior, ha sido particularmente enftica en condenar este tipo de error: nuestros
conceptos intuitivos de "inteligente" y "estpido" se destilan de nuestra experiencia de la
variacin en el rango de los pensadores humanos, sin embargo, las diferencia s en la
capacidad cognitiva dentro de este grupo humano son triviales en comparacin con las
diferencias entre cualquier intelecto humano y una superinteligencia.
4
Captulo 3 revisa algunas de las posibles fuentes de ventaja para la inteligencia artificial.
Las magnitudes de las ventajas son tales como para sugerir que en lugar de pensar de un
AI superinteligente tan inteligente en el sentido de que un genio cientfico es inteligente
en comparacin con el ser humano promedio, podra estar ms cerca de la marca de
pensar en una IA como inteligente en el sentido de que un ser humano promedio es
inteligente en comparacin con un escarabajo o un gusano.

Sera conveniente si pudiramos cuantificar el calibre cognitiva de un sistema cognitivo

arbitraria utilizando alguna mtrica familiar, como las puntuaciones de CI o alguna versin
de las votaciones de Elo que miden las capacidades relativas de los jugadores en juegos de
dos jugadores como el ajedrez. Pero estas mtricas no son tiles en el contexto de la
inteligencia general artificial sobrehumana. No estamos interesados en la probabilidad de
una superinteligencia es ganar en un juego de ajedrez. En cuanto a las puntuaciones de CI,
que son informativos slo en la medida que tenemos una idea de cmo se correlacionan
con resultados prcticamente pertinentes. 5
Por ejemplo, tenemos datos que muestran que las personas con un coeficiente
intelectual de 130 tienen ms probabilidades que los que tienen un coeficiente intelectual
de 90 a sobresalir en la escuela y para tener xito en una amplia gama de trabajos
cognitivamente exigentes. Pero supongamos que de alguna manera podra establecer que
un determinado futuro AI tendr un coeficiente intelectual de 6455: entonces, qu? No
tendramos ninguna idea de lo que una IA como realmente poda hacer. Ni siquiera
sabramos que una IA como tena tanto la inteligencia general como un adulto normal,
quiz humana la IA podra tener lugar un conjunto de algoritmos de propsito especial
que le permitan resolver preguntas de la prueba de inteligencia tpicos con eficacia
sobrehumana, pero no mucho ms.
Se han hecho algunos esfuerzos recientes para desarrollar mediciones de capacidad
cognitiva que podran aplicarse a una gama ms amplia de sistemas de informacin de
procesamiento, incluyendo inteligencias artificiales.6 Trabajar en esta direccin, si puede
superar varias dificultades tcnicas, puede llegar a ser muy til para algunos fines
cientficos, incluyendo el desarrollo de IA. Para los fines de la presente investigacin, sin
embargo, su utilidad se limitara ya que permaneceramos ignorante acerca de lo que
implica una puntuacin de rendimiento sobrehumano dada por la capacidad real para
lograr resultados prcticamente importantes en el mundo.
Por lo tanto, va a servir a nuestros propsitos mejor para enumerar algunas tareas de
importancia estratgica y luego de caracterizar los sistemas cognitivos hipotticas en
cuanto a si tienen o falta lo se necesitan habilidades para tener xito en estas tareas. Ver
Tabla 8. Vamos a decir que un sistema que se destaca suficientemente en cualquiera de
las tareas de esta tabla tiene un correspondiente superpotencia
.
Un superinteligencia en toda regla sera sobresalir en gran medida en todas estas tareas y
que por lo tanto tienen toda la panoplia de las seis grandes potencias. Si existe la
posibilidad de la prctica significativa de una inteligencia dominio limitado que tiene
algunas de las superpotencias, pero sigue siendo incapaz por un perodo significativo de
tiempo para adquirir la totalidad de ellos no es clara. Creacin de una mquina con uno
cualquiera de estas potencias parece ser un problema AI-completo. Sin embargo, es
concebible que, por ejemplo, una superinteligencia colectiva que consiste en un nmero
suficientemente grande de mentes biolgicas o electrnicos de apariencia humana
tendra, por ejemplo, la superpotencia productividad econmica, pero carecen de la
superpotencia estrategias. Del mismo modo, es concebible que una ingeniera
especializada AI podra ser construida que tiene la investigacin superpotencia tecnologa

mientras que carecen por completo habilidades en otras reas. Esto es ms plausible si
existe algn dominio tecnolgico particular tal que virtuosismo dentro de ese dominio
sera suficiente para la generacin de una tecnologa de propsito general
abrumadoramente superior. Por ejemplo, uno podra imaginar una especializada AI
expertos en simulacin de sistemas moleculares y al inventar diseos nanomoleculares
que realizan una amplia gama de capacidades importantes (como computadoras o
sistemas de armas con caractersticas de rendimiento futuristas) descritos por el usuario
slo a un nivel bastante alto de abstraccin. 7 Tal AI tambin podra ser capaz de producir un plan detallado para
la forma de bootstrap de la tecnologa (como la biotecnologa y la ingeniera de protenas) existente a las capacidades necesarias para
constructor de alto rendimiento de fabricacin atmicamente precisa que permitiran la fabricacin barata de una gama mucho m s
amplia de structures.8 nanomecnica Sin embargo, podra llegar a ser el caso de que una ingeniera AI no poda realmente poseer la
superpotencia investigacin tecnolgica sin que tambin posee habilidades avanzadas en reas fuera de una tecnologa amplia g ama de
facultades intelectuales podra ser necesaria para comprender cmo interpretar las peticiones del usuario, la forma de modelar e l
comportamiento de un diseo en aplicaciones del mundo real, cmo hacer frente a los errores imprevistos y fallos de funcionam iento,
cmo adquirir los materiales e insumos necesarios para la construccin, y as forth.9

Tabla 8

Superpoderes: algunas tareas estratgicamente relevantes y habilidades correspondientes

Tarea
habilidades

Conjunto

de

Pertinencia estratgica
La amplificacin de Inteligencia Programacin de IA, la investigacin mejora
cognitiva, desarrollo de la epistemologa social, etc.
El sistema puede arrancar su inteligencia
Strategizing
La planificacin estratgica, la previsin, priorizacin y anlisis para la optimizacin
de las posibilidades de lograr la meta lejana
Lograr metas distantes
Superar la oposicin inteligente
Manipulacin Social
Modelado social y psicolgica, la manipulacin, la persuasin retrica Aprovechar
los recursos externos de contratacin de apoyo humano
Habilitar una "caja" AI para persuadir a sus guardianes que dejarlo salir Persuadir a
los Estados ya las organizaciones a adoptar algn curso de accin
Hackear
Encontrar y explotar fallos de seguridad en los sistemas informticos

AI puede expropiar

recursos computacionales a travs de Internet

Un AI en caja puede explotar agujeros de seguridad para escapar confinamiento

ciberntico
Robar recursos financieros
Infraestructura de Secuestro, robots militares, etc.
Investigacin Tecnologa
Diseo y modelizacin de tecnologas avanzadas (por ejemplo, la biotecnologa, la
nanotecnologa) y vas de desarrollo
Creacin de poderosa fuerza militar
Creacin del sistema de vigilancia
colonizacin espacial automatizada
La productividad econmica
Varias habilidades que permitan el trabajo intelectual econmicamente productiva

 Generar riqueza que se puede utilizar para comprar influencia, servicios, recursos
(incluyendo hardware), etc.
Un sistema que tiene la superpotencia amplificacin de la inteligencia podra
usarlo para arrancar en s a los niveles ms altos de inteligencia y de adquirir cualquiera de
las otras grandes potencias intelectuales que no posea al principio. Pero el uso de una
superpotencia amplificacin de la inteligencia no es la nica manera de que un sistema
para convertirse en una superinteligencia de pleno derecho. Un sistema que tiene la
superpotencia estrategias, por ejemplo, podra utilizarlo para idear un plan que
eventualmente traer un aumento de la inteligencia (por ejemplo, mediante el
posicionamiento del sistema con el fin de convertirse en el centro de trabajo de la
amplificacin de inteligencia realizado por los programadores humanos e investigadores
de informtica ).
Un escenario de toma de control AI As nos encontramos con que un proyecto que
controla una superinteligencia tiene acceso a una gran fuente de energa. Un proyecto que
controla la primera superinteligencia en el mundo probablemente tendra una ventaja
estratgica decisiva. Pero el locus ms inmediata de la alimentacin est en el propio
sistema
. Un superinteligencia mquina podra ser en s un agente muy potente, que con xito
podra afirmarse en contra del proyecto que lo trajo a la existencia, as como contra el
resto del mundo. Este es un punto de suma importancia, y vamos a examinar ms de cerca
en las prximas pginas.
Ahora supongamos que hay una superinteligencia mquina que quiere hacerse con el
poder en un mundo en el que se tiene hasta el momento no hay pares. (Ponga a un lado,
por el momento, la cuestin de si y cmo se adquirira un motivo-que tal es un tema para
el prximo captulo.) Cmo podra la superinteligencia lograr este objetivo de dominar el
mundo?
Podemos imaginar una secuencia a lo largo de las siguientes lneas (ver Figura 10).
1
Fase previa a la criticidad Los cientficos llevan a cabo investigaciones en el campo
de la inteligencia artificial y otras disciplinas pertinentes. Este trabajo culmina en la
creacin de una semilla de AI. La semilla AI es capaz de mejorar su propia inteligencia. En
sus primeras etapas, la semilla AI depende de la ayuda de los programadores humanos
que guan su desarrollo y hacen la mayor parte del trabajo pesado. Como l a semilla AI
crece ms capaz, que llega a ser capaz de hacer ms de la obra por s mismo.
2
En algn momento, la semilla AI vuelve mejor en diseo de la IA que los
Fase de auto-mejora recursiva
programadores humanos. Ahora, cuando la IA mejora en s, que mejora lo que hace la mejora. Un resultado -una explosin de
inteligencia rpida cascada de ciclos de auto-mejoramiento recursivas que causan la capacidad de la AI se eleve. (Podemos por lo tanto
pensamos en esta fase como el despegue que se produce justo despus de la IA alcanza el punto de cruce, suponiendo que el aumento
de la inteligencia durante esta parte del despegue es explosiva e impulsado por la aplicacin de la propia fuente de la optimizacin de la
AI.) La IA se desarrolla la superpotencia a mplificacin de la inteligencia. Esto permite a la superpotencia AI para desarrollar todas las
otras superpotencias que se detallan en la Tabla 8. Al final de la fase de auto -mejora recursivo, el sistema es fuertemente
superinteligente.

Figura 10
Fases en un escenario de toma de control de AI.
3
Fase de preparacin Covert
A travs de su superpotencia estrategias, la IA se desarrolla un plan slido para el
logro de sus metas a largo plazo. (En particular, la IA no se adopte un plan tan estpi do
que ni siquiera se presenta en da el ser humano puede prever cmo sera
inevitablemente fracasar. Este criterio excluye muchos escenarios de ciencia ficcin que
terminan en triunfo humano.
10
) El plan podra incluir un perodo de accin encubierta en la que la IA oculta su
desarrollo intelectual de los programadores humanos con el fin de evitar el
establecimiento de las alarmas. La AI tambin puede enmascarar sus verdaderas
inclinaciones, pretendiendo ser cooperativo y dcil. Si la IA tiene (tal vez por razones de
seguridad) ha limitado a una computadora aislada, puede utilizar su superpotencia
manipulacin social para persuadir a los guardianes que dejarlo ganar acceso a un puerto
de Internet. Alternativamente, la IA puede usar su superpoder de hacking para escapar de
su confinamiento. Difundir a travs de Internet puede permitir a la AI para ampliar su
capacidad de hardware y base de conocimientos, lo que aumenta an ms su superioridad
intelectual. Un AI tambin podra participar en la actividad econmica lcita o ilcita para
obtener fondos con los que comprar energa de la computadora, los datos y otros
recursos.
En este punto, hay varias maneras para que la IA para lograr resultados ms all de
la esfera virtual. Se podra usar su superpoder de hacking para tomar el control directo de
manipuladores robticos y laboratorios automatizados. O podra usar su superpoder
manipulacin social para persuadir a los colaboradores humanos para servir como sus
piernas y manos. O podra adquirir activos financieros de las transacciones en lnea y
utilizarlos para adquirir servicios y la influencia.
4 Fase de aplicacin abierta
La fase final comienza cuando la IA ha cobrado fuerza suficiente para obviar la
necesidad de mantener el secreto. La IA ahora puede aplicar directamente sus objetivos a
escala completa.
La fase de implementacin abierta podra comenzar con una "huelga" en el que la
AI elimina la especie humana y los sistemas automticos de los seres humanos han creado
que podran ofrecer oposicin inteligente para la ejecucin de los planes de la AI. Esto
podra lograrse a travs de la activacin de algunos sistemas de armas avanzadas que la IA
ha perfeccionado mediante su superpoder de investigacin tecnolgica y
encubiertamente desplegado en la fase de preparacin encubierta. Si el arma usa autoreplicante la biotecnologa o la nanotecnologa, la reserva inicial necesaria para la
cobertura global podra ser microscpica: una sola entidad replicante sera suficiente para
iniciar el proceso. Con el fin de garantizar un efecto repentino y uniforme, la accin inicial
del replicador podra haber sido desplegado o permitido difundir en todo el mundo en una
concentracin indetectable extremadamente bajo. En un momento preestablecido,
nanofactories producen gas nervioso o robots de mosquitos como objetivo la bsqueda

de entonces podran floreciendo sucesivamente simultneamente desde cada metro

cuadrado del planeta (aunque maneras ms eficaces de la matanza probablemente
podran concebirse por una mquina con la investigacin superpotencia tecnologa ).
11
Tambin se podra entretener a escenarios en los que una superinteligencia
alcanza el poder por el secuestro de los procesos polticos, manipulando sutilmente los
mercados financieros, sesgar los flujos de informacin, o la intrusin en los sistemas de
armas por el hombre. Tales escenarios seran obviar la necesidad de que la
superinteligencia inventar nueva tecnologa de armas, aunque pueden ser
innecesariamente lento en comparacin con los escenarios en los que la inteligencia de la
mquina construye su propia infraestructura con manipuladores que funcionan a la
velocidad molecular o atmica en vez de la lentitud de las mentes humanas y organismos.
Alternativamente, si la IA est seguro de su invencibilidad a la interferencia
humana, nuestra especie no pueden ser dirigidos directamente. Nuestra desaparicin
lugar puede ser el resultado de la destruccin del hbitat que se produce cuando la IA
empieza proyectos masivos de construccin globales usando fbricas nanotecnologa y
proyectos montadores-construccin que rpidamente, tal vez en cuestin de das o
semanas, baldosas toda la superficie de la Tierra con paneles solares, reactores nucleares,
de supercomputacin instalaciones con que sobresalen las torres de refrigeracin,
lanzacohetes espacio u otras instalaciones con lo que la AI tiene la intencin de maximizar
la realizacin acumulativa a largo plazo de sus valores. Los cerebros humanos, si contienen
informacin relevante para los objetivos de la AI, podan ser desmontados y escaneado, y
los datos extrados trasladados a algn formato de almacenamiento ms eficiente y
seguro.
Cuadro 6 describe un escenario particular. Uno debe evitar fijando demasiado en
los detalles concretos, ya que son, en cualquier caso incognoscible y diseados slo para
ilustracin. Un superinteligencia puede-y probablemente aspirantes a poder concebir un
plan mejor para el logro de sus metas que cualquier otro que un ser humano puede llegar
a. Por tanto, es necesario pensar en estas cuestiones de manera ms abstracta. Sin saber
nada de los medios detallados que una superinteligencia adoptara, podemos concluir que
una superinteligencia, al menos en ausencia de sus compaeros intelectuales y en
ausencia de medidas de seguridad efectivas dispuestas por los seres humanos con
antelacin, es probable que produzca un resultado que implicara la reconfiguracin de los
recursos terrestres en cualquier estructuras maximizan la realizacin de sus objetivos.
Cualquier escenario concreto desarrollamos puede en el mejor de establecer un lmite
inferior de la rapidez y eficacia de la superinteligencia podra lograr tal resultado. Sigue
siendo posible que la superinteligencia sera encontrar un camino ms corto a su destino
preferido.
Recuadro 6 El escenario ADN electrnico ordenada
Yudkowsky describe lo siguiente escenario posible para una toma de posesin de AI.
12 1
Grieta el problema plegamiento de la protena en la medida de ser capaz de generar
cadenas de ADN cuyas secuencias de pptidos plegada llenar papeles funcionales
especficos en una interaccin qumica compleja.

2
Email conjuntos de cadenas de ADN a uno o ms laboratorios en lnea que ofrecen
la sntesis de ADN, secuenciacin de pptidos, y la entrega de FedEx. (Muchos labora torios
actualmente ofrecen este servicio, y algunos se jactan de los tiempos de respuesta de 72
horas.)
3
Encuentra al menos un ser humano conectado a Internet que se puede pagar,
chantajeado, o engaar por la derecha historia de fondo, en la recepcin de viales
FedExed y mezclndolos en un entorno determinado.
4
Las protenas sintetizadas forman una muy primitiva nanosistemas "hmedo",
que, al igual que-ribosoma, es capaz de aceptar instrucciones externas; tal vez modelado
vibraciones acsticas entregados por un altavoz unido al vaso de precipitados.

5
Utilice la nanosistema extremadamente primitiva para construir sistemas ms
sofisticados, que an constructo sistemas ms sofisticados, bootstrapping a la
nanotecnologa molecular o ms all.
En este escenario, la superinteligencia utiliza su superpoder de investigacin
tecnolgica para resolver el problema de plegamiento de protenas en el paso 1, lo que le
permite disear un conjunto de bloques de construccin moleculares para un
ensamblador rudimentaria nanotecnologa o dispositivo de fabricacin, que puede autoensamblan en solucin acuosa (paso 4). La misma superpotencia investigacin de
tecnologa se utiliza de nuevo en el paso 5 para arrancar desde la primitiva hasta avanzado
nanotecnologa mquina-fase. Los otros pasos no requieren ms de la inteligencia
humana. Las habilidades requeridas para el paso 3-identificacin de un usuario incauto
Internet y persuadirlo o ella para seguir algunas instrucciones que son simples en la
pantalla todos los das en todo el mundo. Todo el escenario fue inventado por una mente
humana, por lo que la capacidad de estrategias necesarias para formular este plan es
tambin el nivel meramente humano.
En este escenario particular, el AI comienza tener acceso a la Internet. Si este no es
el caso, entonces pasos adicionales tendran que ser aadido al plan. La IA podra, por
ejemplo, utilizar su superpotencia manipulacin social para convencer a las personas que
interactan con l que debera ser puesto en libertad. Alternativamente, la IA podra ser
capaz de utilizar su superpotencia piratera escapar confinamiento. Si la IA no posee estas
capacidades, podra primero necesitar usar su superpoder de amplificacin de
inteligencia para desarrollar la competencia necesaria en la manipulacin social o hacking.
Un AI superinteligente presumiblemente nacer en un mundo altamente
interconectado. Se podra sealar varios desarrollos que podran ayudar a un futuro AI
para controlar la computacin en la nube mundo, la proliferacin de sensores conectados
en la web, drones militares y civiles, la automatizacin en laboratorios de investigacin y
plantas de fabricacin, mayor dependencia de los sistemas de pago electrnicos y
digitalizados financiera activos, y un mayor uso de los sistemas de apoyo de informacin
de filtrado y de toma automatizados. Activos como estos podran ser adquiridas por una
IA a velocidades digitales, acelerar su ascenso al poder (aunque los avances en seguridad
ciberntica podra hacer ms difcil). En el anlisis final, sin embargo, es dudoso que
cualquiera de estas tendencias hace la diferencia. El poder de una superinteligencia reside
en su cerebro, no sus manos. Aunque la IA, para rehacer el mundo externo, ser en algn
momento necesitan tener acceso a un actuador, un solo par de manos que ayudan
humanos, los de un cmplice flexible, probablemente sera suficiente para completar la
fase de preparacin encubierta, como lo sugiere el escenario anterior. Esto permitira a la
AI para llegar a la fase de aplicacin abierta en la que se construye su propia
infraestructura
de
manipuladores
fsicos.
Alimentacin a
travs de la naturaleza y los agentes

La capacidad de un agente para moldear el futuro de la humanidad depende no

slo de la magnitud absoluta de las propias facultades y del agente recursos lo inteligente
y lleno de energa que es, la cantidad de capital que tiene, y as sucesivamente, pero
tambin de la magnitud relativa de sus capacidades en comparacin con los de otros
agentes con objetivos contradictorios. En una situacin en la que no hay agentes de la
competencia, el nivel de capacidad absoluta de una superinteligencia, siempre y cuando
se supera un cierto umbral mnimo, no importa mucho, porque un sistema comenzando
con un conjunto suficiente de capacidades podra trazar un curso del desarrollo que va a
dejar que se adquiere ningn capacidades que carece inicialmente. Aludimos a este punto
antes, cuando nos dijo que la velocidad, la calidad y la superinteligencia colectiva todos
tienen el mismo alcance indirecta. Aludimos a ella de nuevo cuando nos dijo que varios
subconjuntos de superpotencias, como la superpotencia amplificacin de la inteligencia o
de la formulacin de estrategias y las superpotencias manipulacin social, podran ser
utilizados para obtener el complemento completo. Considere un agente superinteligente
con actuadores conectados a un ensamblador de la nanotecnologa. Dicho agente es ya lo
suficientemente potente como para superar los obstculos naturales para su
supervivencia indefinida. Ante la pasividad inteligente, un agente de este tipo podra
trazar una ruta segura de desarrollo que conduzca a su adquisicin del inventario
completo de tecnologas que podran ser tiles para la consecucin de sus objetivos. Por
ejemplo, se podra desarrollar la tecnologa para construir y lanzar sondas Von Neumann,
mquinas capaces de viajes interestelares que pueden utilizar recursos como los
asteroides, los planetas y las estrellas para hacer copias de s mismos.
13
Con el lanzamiento de una sonda Von Neumann, el agente de este modo podra
iniciar un proceso abierto de la colonizacin espacial. Descendientes del sonda replicar,
viajan a una fraccin significativa de la velocidad de la luz, terminaran colonizar una parte
sustancial del volumen de Hubble, la parte de la expansin del universo que es
tericamente accesible desde donde estamos ahora. Todo este asunto y energa libre
podran ser organizados en lo que sea de valor estructuras maximizar la funcin de
utilidad del agente originario integrado con el tiempo, una csmica duracin que abarca al
menos miles de millones de aos antes de que el universo envejece se vuelve inhspito
para el procesamiento de informacin (vase el recuadro 7).
El agente superinteligente podra disear las sondas Von Neumann ser a prueba de
la evolucin. Esto podra lograrse mediante el control cuidadoso de la calidad durante la
etapa de replicacin. Por ejemplo, el software de control para una sonda hija podra ser
corregido varias veces antes de la ejecucin, y el software en s podra utilizar el cifrado y
el cdigo de correccin de errores para que sea arbitrariamente poco probable que
cualquier mutacin aleatoria se transmite a sus descendientes.14 La poblacin en
proliferacin de sondas Von Neumann entonces segura de preservar y transmitir los
valores del agente originario medida que avanzan en la solucin del universo. Cuando se
ha completado la fase de la colonizacin, los valores originales determinaran la utilizacin
de todos los recursos acumulados, a pesar de las grandes distancias y la velocidad de la
aceleracin de la expansin csmica haran imposible para las partes remotas de la
infraestructura para comunicarse entre s. El resultado es que una gran parte de nuestro
futuro cono de luz se formatea de acuerdo con las preferencias del agente de origen.

Esto, entonces, es la medida del alcance indirecto de cualquier sistema que no

enfrenta oposicin inteligente significativa y que comienza con un conjunto de
capacidades que superen un determinado umbral. Podemos llamar el umbral del "umbral
de sostenibilidad sabio-singleton" (Figura 11): El umbral de sostenibilidad sabio-singleton
Un conjunto de capacidades supera el umbral sabio-singleton si y slo si el
paciente y el sistema de riesgos con experiencia existencial con ese conjunto de
capacidades seran, si se enfrent ninguna oposicin inteligente o la competencia, ser
capaz de colonizar y redisear una gran parte de la accesibles universo.
Por "singleton" nos referimos a una estructura poltica suficientemente coordinado
internamente sin adversarios externos, y por el "sabio" que significa lo suficientemente
paciente y comprensin acerca de los riesgos existenciales para asegurar una cantidad
sustancial de preocupacin bien dirigida por las consecuencias a muy largo plazo de la las
acciones del sistema.
Figura 11
Ilustracin esquemtica de algunas trayectorias posibles para un producto
nico sabio hipottico. Con una capacidad por debajo del umbral de ejemplo -para la
viabilidad a corto plazo, si el tamao de la poblacin es demasiado pequea una especie
tiende a extinguirse en el corto plazo (y siguen siendo extinto). A niveles marginalmente
ms altos de capacidad, diversas trayectorias posibles: un producto nico podra ser mala
suerte y se extinguen o que podran tener la suerte de alcanzar una capacidad (por
ejemplo, tamao de la poblacin, la dispersin geogrfica, la capacidad tecnolgica) que
cruza el umbral de sostenibilidad en cuanto singleton. Una vez por encima de este umbral ,
un producto nico casi seguro que continuar ganando en capacidad hasta alcanzar cierta
extremadamente alto nivel de capacidad. En esta imagen, hay dos atractores: extincin y
capacidad astronmica. Tenga en cuenta que, por un producto nico sabio, la di stancia
entre el umbral de viabilidad a corto plazo y el umbral de sostenibilidad puede ser
bastante small.15
Recuadro 7 Qu tan grande es la dotacin csmica?
Considere la posibilidad de una civilizacin tecnolgicamente madura capaz de construir
sofisticadas sondas Von Neumann del tipo discutido en el texto. Si stos pueden viajar a
50% de la velocidad de la luz, pueden alcanzar unos 6 1018 estrellas antes de la expansin csmica
pone ms adquisiciones para siempre fuera de su alcance. Al 99% de

c
, Podran llegar a unos 2 1020 stars.16 Estas velocidades de desplazamiento son
energticamente posible usando una pequea fraccin de los recursos disponibles en la
system.17 solar La imposibilidad de viajar ms rpido que la luz, combinado con la
constante cosmolgica positiva (lo que provoca la tasa de expansin csmica para
acelerar), implica que estos estn cerca de los lmites superiores de la cantidad de cosas
de nuestra descendencia acquire.18
Si asumimos que el 10% de las estrellas tiene un planeta que es -o podra por
medio de terraformacin traducirse-apto para ser habitado por criaturas similares a las
humanas, y que entonces podra ser el hogar de una poblacin de mil millones de
personas durante mil millones de aos (con una vida humana duradera de un siglo), esto
sugiere que alrededor de 10

35
vidas humanas se podran crear en el futuro por un civilization.19 inteligente
Tierra originario
Hay, sin embargo, razones para pensar que esto subestima en gran medida el
nmero real. Por desmontar planetas no habitables y recoger la materia del medio
interestelar, y el uso de este material para la construccin de planetas similares a la Tierra,
o mediante el aumento de la densidad de poblacin, el nmero podra aumentar en al
menos un par de rdenes de magnitud. Y si en lugar de utilizar las superficies de los
planetas slidos, la civilizacin futura construido cilindros O'Neill, se podran aadir a
continuacin, muchos rdenes de magnitud ms, dando un total de quizs 10
43
vidas humanas. ("Cilindros de O'Neill" se refiere a un diseo de solucin de
espacio propuesto a mediados de los aos setenta por el fsico americano Gerard K.
O'Neill, en la que habitan habitantes en el interior de cilindros huecos cuya rotacin
produce una fuerza centrfuga gravedad de sustitucin. 20)
Muchos ms rdenes de magnitud de los seres humanos como podran existir si
semblante implementaciones digitales de mentes-como deberamos. Para calcular el
nmero de tales mentes digitales podran ser creado, debemos estimar la posible potencia
de clculo por una civilizacin tecnolgicamente madura. Esto es difcil de hacer con
precisin, pero podemos obtener una cota inferior de los diseos tecnolgicos que han
sido descritos en la literatura. Uno de estos diseos se basa en la idea de una esfera
Dyson, un sistema hipottico (descrito por el fsico Freeman Dyson en 1960) que capturar
la mayor parte de la produccin de energa de una estrella por lo rodea con un sistema de
estructuras-solares recogida.
21
Para una estrella como nuestro Sol, esto generara 1.026 vatios. Cunta potencia
computacional esto se traducira en depende de la eficiencia de la circuitera
computacional y la naturaleza de los clculos a realizar. Si requerimos clculos
irreversibles, y asumimos una implementacin nanomecnica del "computronium" (que
nos permitiera empujamos cerca del lmite de Landauer de la eficiencia energtica), un
sistema informtico impulsado por una esfera de Dyson podra generar unos 1.047
operaciones por second.22
La combinacin de estas estimaciones con nuestra estimacin anterior de la cantidad de
estrellas que podran ser colonizada, obtenemos un nmero de alrededor de 1067 ops /
s una vez que las partes accesibles del universo han sido colonizados (suponiendo
computronium nanomecnica) 0.23 Una estrella tpica mantiene su luminosidad para
algunos 1.018 s. En consecuencia, el nmero de operaciones computacionales que podran
realizarse utilizando nuestra dotacin csmica es al menos 1085. El nmero real es
probablemente mucho mayor. Podramos conseguir pedidos adicionales de magnitud, por
ejemplo, si hacemos un uso extensivo de la computacin reversible, si realizamos los
clculos a temperaturas ms fras (por esperar hasta que el universo se ha enfriado an
ms), o si hacer uso de otras fuentes de energa ( tales como la materia oscura) 0,24
Tal vez no sea inmediatamente obvio para algunos lectores por qu la capacidad de
realizar 10
85
operaciones computacionales es una gran cosa. Por lo que es til para ponerlo en
contexto. Podemos, por ejemplo, comparar este nmero con nuestra estimacin anterior

(Cuadro 3, en el Captulo 2) que puede tardar unos 1031-1044 ops para simular todas las
operaciones neuronales que se han producido en la historia de la vida en la Tierra. Por
otra parte, supongamos que los ordenadores se utilizan para ejecutar las emulaciones de
todo el cerebro humanos que viven vidas ricas y felices mientras interactan unos con
otros en entornos virtuales. Una estimacin tpica de los requisitos computaciona les para
ejecutar una emulacin es 1018 ops / s. Para ejecutar una emulacin de 100 aos
subjetivos sera entonces requerir algunas 1027 ops. Esto significara que al menos 1.058
vidas humanas se podran crear en la emulacin incluso con supuestos bastante
conservadores acerca de la eficiencia de computronium. En otras palabras, en el
supuesto de que el universo observable es falto de civilizaciones extraterrestres, entonces
lo
cuelga
de
un
hilo
es
al
menos
10.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000
vidas humanas (aunque el nmero real es probablemente mayor). Si representamos toda
la felicidad experimentada durante toda una vida como con una sola lgrima de alegra,
entonces la felicidad de estas almas podra llenar y volver a llenar los ocanos de la Tierra
cada segundo, y seguir haciendo lo que para cien mil millones de millones de milenios. Es
muy importante que nos aseguremos de stos realmente son lgrimas de alegra.
Este umbral sostenibilidad sabio-singleton parece ser bastante baja. Formas limitadas de
superinteligencia, como hemos visto, superan este umbral siempre que tengan acceso a
algunos actuador suficiente para iniciar un proceso de arranque de la tecnologa. En un
entorno que incluye la civilizacin humana contempornea, el actuador mnimamente
necesaria podra ser una sencilla pantalla de ordinario muy o de hecho cualquier medio de
transmisin de una cantidad no trivial de informacin a un cmplice humana sera
suficiente.
Pero el umbral de sostenibilidad en cuanto singleton es ms bajo an: ni
superinteligencia ni es necesaria ninguna otra tecnologa futurista para superarlo. Un
paciente y existencial singleton riesgo-comprensin sin capacidades ms tecnolgicos e
intelectuales que los posedos por la humanidad contempornea deben ser fcilmente
capaz de trazar una ruta que conduce de forma fiable a la eventual realizacin del
potencial capacidad astronmica de la humanidad. Esto podra lograrse mediante la
inversin en mtodos relativamente seguras de aumentar la sabidura y existencialcomprensin del riesgo, mientras que posponer el desarrollo de nuevas tecnologas
potencialmente peligrosas. Dado que no antropognicas riesgos existenciales (los no
derivados de las actividades humanas) son pequeas en los plazos pertinentes y podran
reducirse an ms con un singleton diversas intervenciones seguras, tales podan
permitirse el lujo de ir despacio.25
Podra mirar cuidadosamente antes de cada paso, lo que retrasa el desarrollo de
capacidades como la biologa sinttica, la medicina mejoramiento humano, la
nanotecnologa molecular, y la inteligencia de la mquina hasta que se haba
perfeccionado primero capacidades aparentemente menos peligrosos, como su sistema
de educacin, su tecnologa de informacin, y su decisin colectiva -hacer procesos, y
hasta que se haba utilizado estas capacidades para llevar a cabo una revisin muy
minuciosa de sus opciones. As que esto es todo al alcance indirecto de una civilizacin
tecnolgica como la de la humanidad contempornea. Estamos separados de este
escenario "simplemente" por el hecho de que la humanidad se encuentra actualmente ni

Se podra incluso argumentar que

un producto nico, ni (en el sentido relevante) sabio.
Homo sapiens pasado el umbral de sostenibilidad sabio-singleton poco despus de las
especies evolucionaron primero. Hace veinte mil aos, por ejemplo, con el equipo sin ms
elegante que las hachas de piedra, herramientas de hueso, atlatls y fuego, la especie
humana fue quizs ya en una posicin desde la que tuvo una excelente oportunidad de
sobrevivir hasta la actualidad era.26 cierto que hay es algo raro en acreditando nuestros
antepasados paleolticos de haber tecnologa que "supera el umbral de sostenibilidad
sabio-singleton" -dado que no haba ninguna posibilidad realista de un producto nico que
forma en un momento tan primitiva desarrollado, y mucho menos un producto nico con
experiencia acerca de los riesgos existenciales y paciente 0.27 No obstante, el punto se
destaca que el umbral corresponde a un nivel muy modesto de la tecnologa de un nivel
que la humanidad hace mucho surpassed.28 Est claro que si vamos a evaluar los
poderes efectivos de una superinteligencia-su capacidad para lograr una serie de
resultados preferidos en el mundo, debemos tener en cuenta no slo sus propias
capacidades internas, sino tambin las capacidades de los agentes de la competencia. La
nocin de una superpotencia invoca dicha norma relativizada implcitamente. Hemos dicho
que "un sistema que sobresale suficientemente" en cualquiera de las tareas de la Tabla 8
tiene una superpotencia correspondiente. Exceling en una tarea como estrategias,
manipulacin social, o la piratera consiste en tener una habilidad en esa tarea que es alto
en comparacin con las habilidades de otros agentes (como rivales estratgicos, objetivos
de influencia, o expertos en seguridad informtica). Las otras superpotencias, tambin,
deben entenderse en este sentido relativo: la amplificacin de la inteligencia, de
investigacin tecnolgica, y la productividad econmica estn posedos por un agente
como superpotencias slo si la capacidad del agente en estas reas superan
sustancialmente las capacidades combinadas del resto de la civilizacin global . Se
desprende de esta definicin que, como mximo, un agente puede poseer una
superpotencia en particular en un momento dado.29 Esta es la razn principal por la cual
la cuestin de la velocidad de despegue es importante, no porque importa exactamente
cundo un resultado particular sucede, pero debido a que la velocidad de despegue puede
hacer una gran diferencia en lo que ser el resultado. Con un despegue rpido o medio, es
probable que un proyecto obtendr una ventaja estratgica decisiva. Hemos sugerido que
una superinteligencia con una ventaja estratgica decisiva tendra inmensos poderes,
basta con que se podra formar un establo singleton-un producto nico que podra
determinar la disposicin de la dotacin csmica de la humanidad.
Sin embargo, "podra" es diferente de "sera." Alguien podra tener grandes
potencias todava optar por no utilizarlas. Se puede decir nada acerca de lo que es una
superinteligencia con una ventaja estratgica decisiva querra? Es a esta cuestin de la
motivacin que nos volvemos siguiente. CAPTULO 7La voluntad superinteligente
Hemos visto que una superinteligencia podra tener una gran capacidad para dar forma al
futuro de acuerdo a sus objetivos. Pero cules sern sus objetivos? Cul es la relacin
entre la inteligencia y la motivacin en un agente artificial? Aqu desarrollamos dos tesis.
La tesis sostiene ortogonalidad (con algunas salvedades) que la inteligencia y las metas
finales son variables independientes: cualquier nivel de inteligencia podra combinarse
con cualquier meta final. La tesis de la convergencia fundamental sostiene que agentes

superinteligentes que tengan cualquiera de una amplia gama de objetivos finales sern,
sin embargo, alcanzar metas intermedias similares porque tienen razones instrumentales
comunes para hacerlo. En conjunto, estas tesis nos ayudan a pensar acerca de lo que un
agente superinteligente hara.
La relacin entre la inteligencia y la motivacin Ya
hemos advertido contra el antropomorfismo capacidades de un AI superinteligente. Esta
advertencia debe extenderse a pertenecer a su motivaciones
tambin.
Es un propedutico til esta parte de nuestra investigacin para reflejar
primero por un momento en la inmensidad del espacio de posibles mentes. En este
espacio abstracto, las mentes humanas forman un grupo pequeo. Consid ere dos
personas que parecen extremadamente diferencia, quiz Hannah Arendt y Benny Hill. Las
diferencias de personalidad entre estos dos individuos pueden parecer casi mximamente
grande. Pero esto se debe a que nuestras intuiciones se calibran en nuestra experiencia,
que las muestras de la distribucin humana existente (y en cierta medida de las
personalidades de ficcin construido por la imaginacin humana para el disfrute de la
imaginacin humana). Si nos acercamos y consideramos el espacio de todas las mentes
posibles, sin embargo, debemos concebir estas dos personalidades como clones virtuales.
Ciertamente, en trminos de arquitectura neuronal, la Sra Arendt y el Sr. Hill son casi
idnticos. Imagina sus cerebros que mienten de lado a lado en reposo tranquilo. Se podra
reconocer fcilmente como tal para cual. Usted podra incluso ser incapaz de decir que el
cerebro perteneca a quin. Si miras ms de cerca, el estudio de la morfologa de los dos
cerebros con un microscopio, esta impresin de similitud fundamental slo se fortaleci:
vers la misma organizacin laminar de la corteza, con las mismas reas del cerebro,
compuesto por los mismos tipos de la neurona, sumergirse en el mismo bao de
neurotransmisores.1 A pesar del hecho de que la psicologa humana corresponde a un
pequeo punto en el espacio de posibles mentes, hay una tendencia comn para proyectar
atributos humanos sobre una amplia gama de sistemas cognitivos extraas o artificiales.
Yudkowsky ilustra muy bien este punto:
De vuelta en la era de la ciencia ficcin de la pulpa, portadas de revistas en ocasiones
representa una sensible monstruoso aliengena coloquialmente conocido como un
monstruo de ojos saltones (BEM) -Sacar fuera una atractiva mujer humana en un vestido
desgarrado. Al parecer, el artista cree que un extranjero no humanoide, con una historia
evolutiva totalmente diferente, deseara sexualmente hembras humanas ....
Probablemente el artista no pregunt si un bicho gigante percibe
hembras humanas como atractivo. Ms bien, una hembra humana en un vestido
desgarrado es sexy-inherently as, como una propiedad intrnseca. Los que cometi este
error no pensaron en la mente del insectoide: se centraron en vestido rasgado de la mujer.
Si el vestido no estaban rotas, la mujer sera menos atractiva; la BEM no entra en it.2
Una inteligencia artificial puede ser mucho menos similar a la humana en sus motivaciones
que un espacio extraterrestre verde escamosa. El extraterrestre (supongamos) es una
criatura biolgica que ha surgido a travs de un proceso evolutivo y por lo tanto se puede
esperar a tener los tipos de motivacin tpica de las criaturas evolucionadas. No sera de
extraar enormemente, por ejemplo, para encontrar que algn extraterrestre inteligente
azar tendra motivos relacionados con uno o ms artculos como alimentos, el aire, la

temperatura, el gasto de energa, ocurrencia o amenaza de dao corporal, enfermedad,

depredacin, sexo o progenie. Un miembro de una especie sociales inteligentes tambin
podra tener motivaciones relacionadas con la cooperacin y la competencia: al igual que
nosotros, que podra mostrar la lealtad de grupo, el resentimiento de los free riders, tal vez
incluso una preocupacin vana con la reputacin y la apariencia.
Figura 12 Resultados de antropomorfizar motivacin ajena. Menos probable
hiptesis: los extraterrestres prefieren rubias. Lo ms probable hiptesis: los ilustradores
sucumbi a la hiptesis ms probable "falacia proyeccin mente.": El editor quera una
cubierta que atraer al objetivo demogrfico.
Una IA, por el contrario, no tiene por qu importa intrnsecamente sobre cualquiera de
esas cosas. No hay nada paradjico en una IA cuyo nico objetivo final es contar los
granos de arena en Boracay, o para calcular la expansin decimal de pi, o para maximizar
el nmero total de clips que existirn en el futuro cono de luz. De hecho, sera Ms fcil
para crear una IA con objetivos simples como estos que construir uno que tena un juego similar a la humana de los valores y
disposiciones. Comparar lo fcil que es escribir un programa que mide cmo se han calculado muchos dgitos de pi y almacenado en la
memoria con lo difcil que sera la creacin de un programa que mide de manera fiable el grado de realizacin de algunos gol humana
floreciente ms significativo, dicen o la justicia global. Desafortunadamente, debido a un gol reduccionista sentido es ms fcil para lo s
seres humanos para codificar y ms fcil para una IA para aprender, es justo el tipo de objetivo que un programador escogera para
instalar en su semilla AI si su atencin se centra en tomar el camino ms rpido para " conseguir la IA para trabajar "(sin p reocuparse
demasiado acerca de lo que la IA

hacer
, Adems de mostrar un comportamiento impresionantemente inteligente). Vamos a
volver a esta preocupacin en breve.
Bsqueda inteligente para los planes y polticas ptimas instrumentalmente se puede
realizar en el servicio de cualquier objetivo. La inteligencia y la motivacin son ortogonales
en un sentido: podemos pensar en ellos como dos ejes que abarcan un grfico en el que
cada punto representa un agente artificial lgicamente posible. Algunos ttulos se podran
aadir a esta imagen. Por ejemplo, podra ser imposible para un sistema muy poco
inteligente para tener motivaciones muy complejas. Con el fin de que sea correcto decir
que un agente determinado "tiene" un conjunto de motivaciones, es posible que esas
motivaciones para integrarse funcionalmente con los procesos de toma del agente, algo
que pone demandas sobre la memoria, potencia de procesamiento, y tal vez la
inteligencia. Para mentes que pueden modificar ellos mismos, tambin puede haber
limitaciones dinmica-mente auto-modificacin inteligente con un deseo urgente de ser
estpido podra no seguir siendo inteligente por mucho tiempo. Pero estas calificaciones
no deben oscurecer el punto bsico acerca de la independencia de la inteligencia y la
motivacin, que podemos expresar de la siguiente manera:
La tesis ortogonalidad Inteligencia y objetivos finales son ortogonales: ms o menos cualquier nivel de inteligencia podran,
en principio, pueden combinar con ms o menos la meta final.

Si la tesis ortogonalidad parece problemtico, esto podra ser debido a la semejanza

superficial que lleva a algunas posiciones filosficas tradicionales que han sido objeto de
mucho debate. Una vez que se entiende que tienen un alcance distinto y ms estrecho, su
credibilidad se levantase. (Por ejemplo, la tesis de la ortogonalidad no presupone la teora

de Hume de la motivacin. 3
Tampoco presupone que las preferencias bsicas no pueden ser irrational.4)
Tenga en cuenta que la tesis de la ortogonalidad no habla de racionalidad o
razn , Pero de
inteligencia . Por la "inteligencia" que aqu media algo as como habilidad en la
prediccin, planificacin, y medios-fines razonamiento en general.5 Este sentido de
efficaciousness cognitiva instrumental es ms relevante cuando estamos tratando de
entender lo que podra ser el impacto causal de una superinteligencia mquina. Incluso si
hay algunos (normativamente espesor) sentido de la palabra "racional" de tal manera que
un agente superinteligente clip de maximizacin necesariamente dejar de calificar como
totalmente racional en ese sentido, esto de ninguna manera impedir que un agente t al
de tener facultades impresionantes de razonamiento instrumental, facultades que podran
permitir que tenga un gran impacto en el mundo.6
De acuerdo con la tesis de la ortogonalidad, agentes artificiales pueden tener
objetivos totalmente no-antropomorfos. Esto, sin embargo, no implica que sea imposible
hacer predicciones sobre el comportamiento de determinados agentes -no artificiales
incluso agentes superinteligentes hipotticos cuyas cognitiva complejidad y caractersticas
de rendimiento podra hacerlas en algunos aspectos opacos al anlisis humano. Hay al
menos tres direcciones de la que podemos abordar el problema de la prediccin de la
motivacin superinteligente:
La previsibilidad a travs del diseo . Si podemos suponer que los diseadores de un
agente superinteligente pueden disear con xito el sistema objetivo del agente para que
persigue de manera estable una meta particular establecido por los programadores,
entonces una prediccin que podemos hacer es que el agente perseguir ese objetivo. El
ms inteligente que el agente es, mayor es el ingenio cognitiva tendr que perseguir ese
objetivo. As que incluso antes de que haya sido creado un agente que podra ser capaz de
predecir algo acerca de su comportamiento, si sabemos algo acerca de quin va a
construir y qu objetivos se desea que tenga.

Previsibilidad por herencia . Si se crea una inteligencia digital directamente desde una
plantilla humana (como sera el caso en un conjunto de alta fidelidad de emulacin de
cerebro), entonces la inteligencia digital podra heredar las motivaciones del template.7
humana El agente podra conservar algunas de estas motivaciones, incluso si sus
capacidades cognitivas se ven reforzadas posteriormente para que sea superinteligente.
Este tipo de inferencia requiere precaucin. Objetivos y valores del agente fcilmente
podran resultar daados en el proceso de carga o durante su posterior operacin y
mejora, en funcin de cmo se lleva a cabo el procedimiento.

Previsibilidad travs razones instrumentales convergentes. Incluso sin un conocimiento

detallado de los objetivos finales de un agente, que puede ser capaz de inferir algo acerca
de sus objetivos ms inmediatos considerando la instrumental razones que surgiran para
cualquiera de una amplia gama de posibles objetivos finales en una amplia gama de

situaciones. Este modo de prediccin se vuelve ms til cuanto mayor es la inteligencia del
agente, porque un agente ms inteligente es ms probable que reconocer las verdaderas
razones instrumentales por sus acciones, y as actuar de maneras que hacen que sea ms
probable que logre sus metas. (Una advertencia aqu es que puede haber importantes
razones instrumentales a las que nosotros son ajenos y que un agente se descubrira una
vez que llegue a algunos muy alto nivel de inteligencia que podra hacer que el
comportamiento de los agentes superinteligentes menos predecibles.) La siguiente
seccin explora esta tercera forma de previsibilidad y desarrolla una "tesis de la
convergencia instrumental" que complementa la tesis ortogonalidad. En este contexto
podemos entonces es mejor examinar los otros dos tipos de previsibilidad, lo que vamos a
hacer en los ltimos captulos donde nos preguntamos qu se podra hacer para dar forma
a una explosin de inteligencia para aumentar las posibilidades de un resultado
beneficioso.
Convergencia Instrumental
De acuerdo con la tesis de la ortogonalidad, agentes inteligentes pueden tener una
enorme gama de posibles objetivos finales. Sin embargo, de acuerdo a lo que podr amos
llamar la tesis de la "convergencia instrumental", hay algunos instrumental
metas que podran verse perseguidos por casi cualquier agente inteligente, porque hay
algunos objetivos que son intermediarios tiles a la consecucin de casi cualquier met a
final. Podemos formular esta tesis de la siguiente manera: La tesis de la convergencia
fundamental Varios valores instrumentales pueden ser identificados que son convergentes
en el sentido de que su consecucin aumentara las posibilidades de que el objetivo del
agente que se est realizado para una amplia gama de objetivos finales y una amplia
gama de situaciones, lo que implica que estos valores instrumentales son susceptibles de
ser perseguido por un amplio espectro de agentes inteligentes situados.
A continuacin vamos a considerar varias categoras donde se pueden encontrar estos
valores instrumentales convergentes.
8 La probabilidad de que un agente
reconocer los valores instrumentales que se enfrenta aumentos (ceteris paribus) Con la
inteligencia del agente. Por lo tanto, se centrar principalmente en el caso de un agente
superinteligente hipottica cuya instrumentales razonamiento capacidades muy superiores
a las de cualquier ser humano. Tambin vamos a comentar sobre cmo la tesis de la
convergencia fundamental se aplica al caso de los seres humanos, ya que esto nos da
ocasin para elaborar algunas calificaciones esenciales relativos a la forma en la tesis de la
convergencia fundamental debe ser interpretada y aplicada. Cuando existan valores
instrumentales convergentes, podemos ser capaces de predecir algunos aspectos de la
conducta de una superinteligencia, incluso si sabemos prcticamente nada acerca de las
metas finales de ese superinteligencia. Instinto de conservacin Si los objetivos finales de
un agente se refieren al futuro, entonces en muchos escenarios habr futuras acciones
que podra llevar a cabo para aumentar la probabilidad de alcanzar sus metas. Esto crea
una razn instrumental para el agente para tratar de estar cerca en el futuro para ayudar
a alcanzar su meta orientada hacia el futuro.
La mayora de los seres humanos parecen colocar algo final Valor por su propia
supervivencia. Esto no es una caracterstica necesaria de agentes artificiales: algunos

pueden ser diseados para colocar ningn valor final lo que sea por su propia
supervivencia. Sin embargo, muchos agentes que no se preocupan intrnsecamente por su
propia supervivencia que, bajo una gama bastante amplia de condiciones, el cuidado
instrumentalmente por su propia supervivencia, a fin de lograr sus objetivos finales.
Integridad gol contenido
Si un agente conserva sus objetivos presentes en el futuro,
entonces sus objetivos actuales sern ms probable que se logre por su propio futuro. Esto
le da al agente una razn presente instrumento para prevenir alteraciones de sus objetivos
finales. (El argumento se aplica slo a los objetivos finales. Con el fin de alcanzar sus
objetivos finales, un agente inteligente, por supuesto, de forma rutinaria que desee
cambiar su submetas
a la luz de nueva informacin y conocimiento.)
Integridad Meta-contenido para los objetivos finales es en un sentido an ms
fundamental que la supervivencia como convergente motivacin instrumental. Entre los
humanos, lo contrario puede parecer para celebrar, pero eso se debe a que la
supervivencia es generalmente parte de nuestros objetivos finales. Para los agentes de
software, que puede cambiar fcilmente cuerpos o crear copias exactas de s mismos, la
preservacin de uno mismo como una aplicacin en particular o un objeto fsico
particular, no tiene por qu ser un importante valor instrumental. Agentes de software
avanzados tambin podran ser capaces de intercambiar recuerdos, habilidades de
descarga, y radicalmente modificar su arquitectura cognitiva y las personalidades. Una
poblacin de dichos agentes podra operar ms como una "sopa funcional" de una
sociedad compuesta por personas semipermanentes distintas. 9
Para algunos propsitos, los procesos en un sistema de este tipo podra ser mejo r
individualizada como hilos teleolgicas, Con base en sus valores, en lugar de sobre la base
de los cuerpos, personalidades, recuerdos, o habilidades. En estos escenarios, objetivos
continuidad podra decirse que constituir un aspecto clave de la supervivencia. Aun as,
hay situaciones en las que un agente puede cumplir mejor sus objetivos finales cambiando
intencionalmente. Tales situaciones pueden surgir cuando cualquiera de los siguientes
factores es significativo:

Sealizacin
Social

. Cuando otros pueden percibir los objetivos de un agente y utilizar esa informacin para
inferir disposiciones u otros atributos correlacionados instrumentalmente pertinentes,
puede ser de inters para el agente de modificar sus metas para hacer una impresin
favorable. Por ejemplo, un agente podra perderse de algunos acuerdos beneficiosos si los
socios potenciales no pueden confiar en que para cumplir con su parte del trato. Con el fin
de hacer compromisos crebles, un agente podra, por tanto, adoptar como objetivo final
el homenaje de sus compromisos anteriores (y permitir que otros para comprobar que se
ha adoptado de hecho esta meta). Los agentes que podran modificar de manera flexible y
transparente sus propias metas podran utilizar esta capacidad para hacer cu mplir
deals.10

Las preferencias sociales

. Otros tambin pueden tener preferencias finales sobre los objetivos de un agente.
Luego, el agente podra tener razn para modificar sus objetivos, ya sea para satisfacer o
frustrar esas preferencias. Preferencias relativas propio contenido gol
. Un agente podra tener algn objetivo final de que se trate con el propio contenido de la
meta del agente. Por ejemplo, el agente podra tener un objetivo final de convertirse en el
tipo de agente que est motivado por ciertos valores, ms que otros (como la compasin
en lugar de comodidad).

Los costes de almacenamiento

. Si el costo de almacenamiento o transformacin de una parte de la funcin de utilidad de
un agente es grande en comparacin con la posibilidad de que surja una situacin en que
la aplicacin de esa parte de la funcin de utilidad har una diferencia, entonces el agente
tiene una razn instrumental para simplificar su objetivo contenido, y puede destrozar la
parte que es idle.11
Nosotros los seres humanos a menudo parecemos felices de dejar que nuestros valores
finales a la deriva. Esto podra deberse a que a menudo no sabemos exactamente lo que
son. No es de extraar que queremos que nuestro creencias
acerca de nuestros valores finales para poder cambiar a la luz de continuar autodescubrimiento o cambios en las necesidades de auto-presentacin. Sin embargo, hay
casos en los que estamos dispuestos a cambiar los propios valores, no slo nuestras

creencias o interpretaciones de las mismas. Por ejemplo, alguien decida tener un hijo
podra predecir que van a entrar a valorar al nio por su propio bien, a pesar de que en el
momento de la decisin que pueden no valorar todo su futuro hijo o como nios en
general.
Los seres humanos son complicados, y muchos factores pueden estar en juego en una
situacin como esta. 12 Por ejemplo, uno podra tener un valor final que implica convertirse en el tipo de persona que se
preocupa por alguna otra persona para su propio bien, o uno podra tener un valor fina l que implica tener ciertas experiencias y
ocupando una determinada funcin social; y convirtindose en uno de los padres y de someterse a la meta operadora turnos podr a ser
un aspecto necesario de eso. Objetivos humanos tambin pueden tener un contenido incoherente, por lo que algunas personas podran
querer modificar algunas de sus objetivos finales para reducir las inconsistencias.

Mejora cognitiva
Mejoras en la racionalidad y la inteligencia tienden a mejorar la toma de decisiones
de un agente, lo que hace el agente ms probabilidades de alcanzar sus objetivos finales.
Se podra esperar por lo tanto mejora cognitiva emerja como un objetivo fundamental
para una amplia variedad de agentes inteligentes. Por razones similares, los agentes
tienden a valorar instrumentalmente muchos tipos de informacin.
13
No todos los tipos de racionalidad, la inteligencia y el conocimiento tienen que ser
instrumentalmente til en el logro de los objetivos finales de un agente. "argumentos de
libros holandeses" pueden ser usados para mostrar que un agente cuya funcin
credibilidad viola las reglas de la teora de la probabilidad es susceptible a la "bomba de
dinero" procedimientos, en la que un corredor de apuestas inteligente organiza un
conjunto de apuestas cada uno de los cuales aparece favorable segn el agente de
creencias, pero que en combinacin estn garantizados para dar lugar a una prdida para
el agente, y una ganancia correspondiente para el corredor de apuestas. 14
Sin embargo, este hecho no puede proporcionar ningn fuertes razones instrumentales
generales para limar toda incoherencia probabilstico. Agentes que no esperan encontrar
corredores de apuestas inteligentes, o que adoptan una poltica general contra las
apuestas, no necesariamente van a perder mucho de tener algunas incoherentes
creencias-y pueden obtener beneficios importantes de los tipos mencionados: esfuerzo
cognitivo reducido, sealizacin sociales, etc. No hay razn general a esperar un agente de
buscar formas instrumentalmente intiles de la mejora cognitiva, como un agente podra
no valorar el conocimiento y la comprensin de su propio bien.
Qu habilidades cognitivas son instrumentalmente til depende tanto de los objetivos
finales del agente y de su situacin. Un agente que cuente con el asesoramiento de
expertos fiable puede tener poca necesidad de su propia inteligencia y conocimiento. Si la
inteligencia y el conocimiento tienen un costo, como el tiempo y el esfuerzo invertido en
la adquisicin o aumento de las necesidades de almacenamiento o procesamiento,
entonces el agente podra preferir menos conocimiento y menos inteligencia. 15
Lo mismo se puede mantener si el agente tiene metas finales que implican ser ignorante
de ciertos hechos; y del mismo modo, si un agente se enfrenta a los incentivos derivados
de los compromisos estratgicos, sealizacin, o preferences.16 sociales
Cada una de estas razones compensatorias a menudo entra en juego para los seres
humanos. Mucha informacin es irrelevante para nuestros objetivos; a menudo podemos

confiar en la habilidad y experiencia de los dems; la adquisicin de conocimientos

requiere tiempo y esfuerzo; podramos valorar intrnsecamente ciertos tipos de
ignorancia; y operamos en un entorno en el que la capacidad de asumir compromisos
estratgicos, seal de vista social, y satisfacer las preferencias directas de otras personas
sobre nuestros propios estados epistmicos es a menudo ms importante para nosotros
que las ganancias cognitivas simples.
Hay situaciones especiales en las que la mejora cognitiva puede dar lugar a un enorme
aumento de la capacidad de un agente para lograr sus ltimas metas, en particular, si los
objetivos finales del agente son bastante ilimitada y el agente est en condiciones de
convertirse en la primera superinteligencia y por lo tanto potencialmente obtener una
ventaja estratgica decisiva, lo que permite que el agente para dar forma al futuro de la
vida en la Tierra originario y recursos csmicos accesibles de acuerdo a sus preferencias.
Al menos en este caso especial, un agente inteligente racional pondra un muy alto valor
instrumental en la mejora cognitiva. La perfeccin tecnolgica
Un agente menudo puede tener razones instrumentales para buscar una mejor
tecnologa, que en su forma ms simple significa la bsqueda de formas ms eficientes de
transformacin de un conjunto dado de insumos en productos valiosos. Por lo tanto, un
agente de software puede colocar un valor instrumental en algoritmos ms eficientes que
permiten a sus funciones mentales para correr ms rpido en el hardware determinado.
Del mismo modo, los agentes cuyos objetivos requieren alguna forma de construccin
fsica instrumentalmente podra valorar la mejora de la tecnologa de ingeniera que les
permite crear una gama ms amplia de las estructuras ms rpida y fiable, con menos o
ms baratos materiales y menos energa. Por supuesto, no es una solucin de
compromiso: los beneficios potenciales de una mejor tecnologa debe sopesarse frente a
sus costos, incluyendo no slo el costo de la obtencin de la tecnologa, sino tambin los
costos de aprender cmo usarlo, su integracin con otras tecnologas que ya estn en uso,
etcetera. Los defensores de una nueva tecnologa, confiados en su superioridad sobre las
alternativas existentes, son a menudo consternado cuando otras personas no comparten
su entusiasmo. Pero la resistencia de las personas a la tecnologa novedosa y
nominalmente superior no tiene por qu basarse en la ignorancia o la irracionalidad.
Valencia o normativo carcter de una tecnologa no slo depende del contexto en que se
despliega, sino tambin el punto de vista desde el cual se evalan sus impactos: qu es
una bendicin desde la perspectiva de una persona puede ser un pasivo de otro. As,
aunque los telares mecanizados aumentaron la eficiencia econmica de la produccin
textil, los tejedores manuales luditas quien anticip que la innovacin hara que sus
habilidades artesanales obsoletos pudo haber tenido buenas razones instrumentales para
oponerse a ella. El punto aqu es que si "la perfeccin tecnolgica" es el nombre de un
objetivo fundamental ampliamente convergente para agentes inteligentes, entonces el
trmino debe entenderse en un sentido-tecnologa especial debe ser interpretada como
incrustado en un contexto social determinado, y sus costos y beneficios debe evaluarse
con referencia a valores finales algunos agentes especificados.
Parece que un superinteligente semifallo
-un agente superinteligente que no se enfrenta a rivales inteligentes significativos o de la

oposicin, y por lo tanto en condiciones de determinar la poltica mundial

unilateralmente-tendra razn instrumental para perfeccionar las tecnologas que haran
ms capaces de moldear el mundo segn su designs.17 preferida Esto probablemente
incluir la tecnologa de la colonizacin del espacio, tales como sondas de von Neumann.
Nanotecnologa molecular, o alguna alternativa an la tecnologa de fabricacin fsica ms
capaz, tambin parece potencialmente muy til en el servicio de una gama muy amplia de
goals.18 definitiva
Adquisicin de recursos
Por ltimo, la adquisicin de recursos es otro objetivo comn emergente instrumental,
por las mismas razones que la perfeccin tecnolgica: la tecnologa y los recursos facilitan
los proyectos de construccin fsicos.

Los seres humanos tienden a tratar de adquirir los recursos suficientes para
satisfacer sus necesidades biolgicas bsicas. Pero la gente por lo general tratan de
adquirir recursos mucho ms all de este nivel mnimo. Al hacerlo as, pueden ser
impulsados parcialmente por menor desiderata fsica, tal como una mayor comodidad.
Una gran cantidad de acumulacin de recursos est motivada por preocupaciones ganando estatus social, compaeros, amigos, y la influencia, a travs de la acumulacin de
la riqueza y el consumo conspicuo. Tal vez con menos frecuencia, algunas personas buscan
recursos adicionales para lograr ambiciones altruistas o caros objetivos no sociales.
Sobre la base de estas observaciones puede ser tentador suponer que una
superinteligencia no frente a un mundo social competitiva vera ninguna razn
instrumental para acumular recursos ms all de un cierto nivel modesto, por ejemplo lo
que sea se necesitan recursos computacionales para ejecutar su mente junto con algo de
realidad virtual . Sin embargo, tal suposicin sera totalmente injustificada. En primer
lugar, el valor de los recursos depende de los usos a los que se pueden poner, que a su vez
depende de la tecnologa disponible. Con tecnologa madura, los recursos bsicos como el
tiempo, el espacio, la materia y la energa libre, podran ser procesados para servir casi
cualquier meta. Por ejemplo, este tipo de recursos bsicos se podran convertir en la vida.
El aumento de los recursos computacionales podran utilizarse para ejecutar la
superinteligencia a mayor velocidad y con una duracin ms larga, o para crear vidas y
civilizaciones fsicas o simuladas adicionales. Recursos fsicos adicionales tambin podran
utilizarse para crear sistemas de copia de seguridad o defensas perimetrales, mejorar la
seguridad. Tales proyectos podran fcilmente consumir mucho valor de ms de un planeta
de recursos.
Por otra parte, el costo de adquirir recursos adicionales extraterrestres disminuir
radicalmente ya que la tecnologa madure. Una vez sondas Von Neumann se pueden
construir, una gran parte del universo observable (suponiendo que est deshabitada por
vida inteligente) podra ser colonizado-por el costo de la construccin de una sola vez de
manera gradual y el lanzamiento de una sola sonda auto-reproduccin exitosa. Este bajo
costo de adquisicin de recursos celeste significara que tal expansin podra ser til
incluso si el valor de los recursos adicionales obtenidos eran algo marginal. Por ejemplo,
aunque los objetivos finales de una superinteligencia solamente interesados lo que pas
dentro de algn pequeo volumen particular de espacio, como el espacio ocupado por su
planeta de origen original, que todava tendran razones instrumentales para cosechar los
recursos del cosmos ms all. Se podra utilizar esos recursos excedentes para construir
computadoras para calcular formas ms ptimas de uso de los recursos dentro de la
pequea regin espacial de principal preocupacin. Tambin podra utilizar los recursos
adicionales para construir fortificaciones cada vez ms robustas para salvaguardar su
santuario. Dado que el costo de adquirir recursos adicionales mantendran en declive, este
proceso de optimizacin y el aumento de las salvaguardias as podra continuar
indefinidamente, incluso si fuera objeto de disminuir abruptamente devoluciones.19 Por
lo tanto, hay una gama muy amplia de posibles objetivos finales un producto nico
superinteligente podra tener que generara el objetivo instrumental de adquisicin de

recursos ilimitados. La manifestacin probable de esto sera el inicio de la superinteligencia

de un proceso de colonizacin que ampliara en todas las direcciones utilizando sondas
Von Neumann. Esto dara lugar a una esfera aproximado de expansin de la
infraestructura centrada en el planeta originario y creciendo en radio en alguna fraccin
de la velocidad de la luz; y la colonizacin del universo continuar de esta manera hasta
que la velocidad de aceleracin de la expansin csmica (consecuencia de la constante
cosmolgica positiva) hace ms adquisiciones imposible como las regiones ms remotas de
deriva de forma permanente fuera del alcance (esto ocurre en una escala de tiempo de
miles de millones de aos) .20
Por el contrario, los agentes carecen de la tecnologa necesaria para la adquisicin de
recursos de bajo costo, o por la conversin de recursos fsicos genricos en la
infraestructura til, pueden encontrar a menudo no rentable para invertir todos los
recursos presentes en el aumento de su dotacin de materiales. Lo mismo puede sostener
para los agentes que operan en competencia con otros agentes de potencias similares.
Por ejemplo, si los agentes que compiten ya se han asegurado recursos csmicos
accesibles, puede no haber oportunidades de colonizacin izquierda para un agente de
partida tarde. Las razones instrumentales convergentes para superinteligencias inciertos
de la no existencia de otros agentes superinteligentes poderosos son complicadas por
consideraciones estratgicas que actualmente no comprendemos plenamente, pero que
pueden constituir importantes matizaciones a los ejemplos de razones convergentes
instrumentales que hemos visto here.21

Cabe destacar que la existencia de razones instrumentales convergentes, incluso si

se aplican a y son reconocidos por un agente en particular, no implica que la conducta del
agente es fcilmente predecible. Un agente podra muy bien pensar en formas de alcanzar
los valores instrumentales pertinentes que no se producen fcilmente para nosotros. Esto
es especialmente cierto para una superinteligencia, lo que podra elaborar planes muy
inteligentes pero contrarias a la intuicin para hacer realidad sus objetivos, posiblemente
incluso explotar, que an sin descubrir fenmenos fsicos.
22
Lo que es previsible es que los valores instrumentales convergentes seran
perseguidos y utilizados para alcanzar los objetivos -no finales del agente las acciones
especficas que el agente se necesitara para lograrlo.
CAPTULO 8
Es el resultado doom defecto?
Nos pareci que la relacin entre los valores de inteligencia y final a ser muy flojo.
Tambin encontramos una convergencia ominosa en los valores instrumentales. Para los
agentes dbiles, estas cosas no importan mucho; porque los agentes dbiles son fciles de
controlar y puede hacer poco dao. Pero en el captulo 6 hemos argumentado que la
primera superinteligencia bien podra obtener una ventaja estratgica decisiva. Sus
objetivos seran luego determinar cmo se utilizar la dotacin csmica de la humanidad.
Ahora podemos empezar a ver cmo esta perspectiva es amenazante. Catstrofe
existencial como el resultado predeterminado de una explosin de inteligencia? Un riesgo
existencial es la que amenaza con causar la extincin de la vida inteligente Tierra
originario o destruir lo contrario de forma permanente y drsticamente sus posibilidades
de desarrollo futuro deseable. Partiendo de la idea de la ventaja del primer movimiento, la
tesis de la ortogonalidad y la tesis de la convergencia instrumental, ahora podemos
empezar a ver los contornos de un argumento para temiendo que un resultado
predeterminado plausible de la creacin de la mquina superinteligencia es una catstrofe
existencial. En primer lugar, hablamos de cmo la superinteligencia inicial podra obtener
una ventaja estratgica decisiva. Esta superinteligencia estara en una posicin para
formar un producto nico y dar forma al futuro de la vida inteligente Tierra originario.
Qu le sucede a partir de ese punto en adelante depender de las motivaciones de la
superinteligencia.
En segundo lugar, la tesis ortogonalidad sugiere que no podemos alegremente
asumir que una superinteligencia necesariamente compartir cualquiera de los valores
finales estereotipada asociados con la sabidura y el desarrollo intelectual de los humanoscientficas curiosidad, preocupacin benevolente hacia los dems, la iluminacin espiritual
y la contemplacin, la renuncia a la codicia de materiales, el gusto por la cultura refinada o
de los simples placeres de la vida, la humildad y la abnegacin, y as sucesivamente. Nos
consideramos ms adelante si no sera posible a travs de un esfuerzo deliberado para
construir una superinteligencia que valora este tipo de cosas, o para construir uno que

valora el bienestar humano, la bondad moral, o cualquier otro propsito compleja sus
diseadores podran querer que sirva. Pero no es menos posible, y de hecho tcnicamente
mucho ms fcil de construir una superinteligencia que pone valor final en nada ms que
el clculo de la expansin decimal de pi. Esto sugiere que, a falta de una especial esfuerzo
a la primera superinteligencia puede tener cierta tal objetivo final azar o reduccionista. En
tercer lugar, la tesis de la convergencia fundamental implica que no podemos
alegremente asumir que una superinteligencia con el objetivo final de calcular los
decimales de pi (o hacer clips, o contar los granos de arena) limitara sus actividades de tal
manera que no se infrinja humana intereses. Un agente con ese objetivo final sera tener
una razn instrumental convergente, en muchas situaciones, para adquirir una cantidad
ilimitada de recursos fsicos y, si es posible, para eliminar las amenazas potenciales a s
mismo y su sistema de meta. Los seres humanos pueden constituir amenazas potenciales;
que sin duda constituyen recursos fsicos.
En conjunto, estos tres puntos de este modo indicar que la primera
superinteligencia puede dar forma al futuro de la vida en la tierra originaria, podra
fcilmente tener objetivos finales no antropomrficas, y probablemente tendran razones
instrumentales para perseguir la adquisicin de recursos indefinido. Si ahora
reflexionamos que los seres humanos se componen de recursos tiles (como tomos
convenientemente ubicados) y que dependemos para nuestra supervivencia y el
florecimiento de muchos ms recursos locales, podemos ver que el resultado podra ser
fcilmente uno en el que la humanidad se convierte rpidamente extinguido.1
Hay algunos cabos sueltos en este razonamiento, y estarn en una mejor posicin para
evaluarlo despus de haber aclarado varias cuestiones ms circundantes. En particular,
tenemos que examinar ms de cerca si y cmo un proyecto de desarrollo de una
superinteligencia podra ya sea evitar que la obtencin de una ventaja estratgica decisiva
o forma sus valores finales de tal manera que su realizacin tambin implicara la
realizacin de un conjunto suficiente de recursos humanos valores.
Puede parecer
increble que un proyecto se basara o liberar una IA en el mundo sin tener razones de peso
para confiar en que el sistema no va a causar una catstrofe existencial. Tambin puede
parecer increble, incluso si uno de los proyectos eran tan imprudente, que la sociedad en
general no sera apagarlo antes de que (o la IA se estaba construyendo) alcanza una
ventaja estratgica decisiva. Pero como veremos, se trata de una carretera con muchos
peligros. Veamos un ejemplo de inmediato. El giro traicionera Con la ayuda del concepto
de valor instrumental convergente, podemos ver la falla en una idea de la forma de
garantizar la seguridad superinteligencia. La idea es que validamos la seguridad de un AI
superinteligente empricamente mediante la observacin de su comportamiento mientras
se encuentra en un controlado, ambiente limitado (una "caja de arena") y que slo
dejamos que la IA de la caja si lo vemos comportarse de una amable,, de manera
responsable cooperativa.
La falla en esta idea es que comportando muy bien, mientras que en el cuadro es
un objetivo fundamental convergente para amistosa y hostil IA igual. Una IA hostil de
suficiente inteligencia se da cuenta de que sus objetivos finales antipticos se realizan
mejor si se comporta de una manera amistosa inicialmente, por lo que ser dejar fuera de
la caja. Slo se comenzar a comportarse de una manera que revela su naturaleza hostil

cuando ya no importa si nos damos cuenta; es decir, cuando la AI es lo suficientemente

fuerte que la oposicin humano es ineficaz.
Considere tambin un conjunto relacionado de los enfoques que se basan en la
regulacin de la tasa de ganancia de inteligencia en una semilla AI sometindola a diversos
tipos de pruebas de inteligencia o por tener el informe de AI a sus programadores en su
ritmo de avance. En algn momento, una IA hostil puede llegar a ser lo suficientemente
inteligente como para darse cuenta de que es mejor ocultar algunos de sus aumentos de
capacidad. Puede underreport sobre su progreso y deliberadamente reprobar algunas de
las pruebas ms duras, con el fin de evitar causar alarma antes de que haya crecido lo
suficiente fuerte como para lograr una ventaja estratgica decisiva. Los programadores
pueden tratar de protegerse contra esta posibilidad mediante la supervisin en secreto el
cdigo fuente de la IA y el funcionamiento interno de su mente; sino un AI-lo
suficientemente inteligente dara cuenta de que podra estar bajo la vigilancia y ajustar su
pensamiento en consecuencia.
2
La IA podra encontrar formas sutiles de ocultar sus verdaderas capacidades y su
intent.3 incriminatorias (Disear planes de escape inteligente podra, por cierto, tambin
ser una estrategia convergente para muchos tipos de amigable AI, sobre todo a medida
que maduran y ganar confianza en sus propios juicios y capacidades. Un sistema motivado
para promover nuestros intereses podran estar cometiendo un error si nos permiti
apagarlo o para construir otra, potencialmente hostil AI.)
De este modo podemos percibir un modo de fallo general en el que el buen
historial de comportamiento de un sistema en sus etapas juveniles falla completamente
para predecir su comportamiento en una etapa ms madura. Ahora, uno podra pensar
que el razonamiento descrito anteriormente es tan obvio que ningn proyecto creble
para desarrollar la inteligencia general artificial posiblemente podra pasarlo por alto. Pero
no hay que ser demasiado seguro de que esto es as.
Considere el siguiente escenario. En los prximos aos y dcadas, los sistemas de IA
se vuelven gradualmente ms capaz y como consecuencia a encontrar cada vez mayor de
aplicaciones del mundo real: que podran ser utilizados para operar trenes, coches, robots
industriales y domsticos, y vehculos militares autnomas. Podemos suponer que esta
automatizacin en su mayor parte tiene los efectos deseados, pero que el xito est
marcada por ocasionales percances-un camin sin conductor se estrella hacia el trfico, a
los incendios con drones militares a civiles inocentes. Las investigaciones revelan que los
incidentes han sido causados por errores de juicio por la IA que controla. El debate pblico
se produce. Algunos piden ms estricta supervisin y regulacin, otros hacen hincapi en la
necesidad de una mejor ingeniera de sistemas de sistemas que son ms inteligentes y
tienen ms sentido comn, y que son menos propensos a cometer errores trgicos y de
investigacin. En medio de la algaraba puede quizs tambin ser escuchado las voces
estridentes de agoreros predicen muchos tipos de catstrofe enfermo y inminente. Sin
embargo, el impulso es en gran medida con las crecientes industrias de IA y robtica. As
que el desarrollo contina, y se avanza. A medida que los sistemas de navegacin
automatizados de coches se vuelven ms inteligentes, sufren menos accidentes; y como
robots militares lograr una orientacin ms precisa, que causan menos dao colateral.

Una leccin amplia se deduce de estas observaciones de los resultados del mundo real: el
ms inteligente de la AI, ms seguro que es. Es una leccin basada en la ciencia, los datos y
las estadsticas, no silln filosofar. En este contexto, algn grupo de investigadores est
empezando a lograr resultados prometedores en su trabajo en el desarrollo de la
inteligencia artificial general. Los investigadores estn probando cuidadosamente su
semilla AI en un entorno de recinto de seguridad, y los signos son todos buenos. El
comportamiento del AI inspira confianza cada vez ms, como su inteligencia se incrementa
gradualmente.
En este punto, cualquier resto de Cassandra tendra varias huelgas contra ella:
i Una historia de alarmistas que predicen un dao intolerable de las crecientes
capacidades de los sistemas robticos y ser demostrado en repetidas ocasiones mal. La
automatizacin ha trado muchos beneficios y se ha, en general, result ms seguro que el
funcionamiento humano.
ii Una clara tendencia emprica: el ms inteligente de la AI, ms seguro y ms confiable
que ha sido. Sin duda, este es un buen augurio para un proyecto destinado a la creacin
de la inteligencia artificial ms generalmente inteligente que cualquiera jams construido
antes, lo que es ms, la inteligencia artificial que puede mejorarse a s misma de manera
que se convertir en an ms confiable.
iii grande y creciente industrias con intereses creados en la robtica y la inteligencia
artificial. Estos campos son ampliamente vistos como clave para la competitividad de la
economa nacional y la seguridad militar. Muchos cientficos prestigiosos han construido
sus carreras sentando las bases para las actuales aplicaciones y los sistemas ms
avanzados estn planificadas.
iv Una nueva tcnica prometedora en la inteligencia
artificial, que es tremendamente emocionante para aquellos que han participado en o
seguido la investigacin. Aunque los problemas de seguridad y la tica se debaten, el
resultado es condenada de antemano. Demasiado se ha invertido para tirar hacia atrs
ahora. Investigadores de la IA han estado trabajando para llegar a ia fuerte a nivel
humano para la mayor parte de un siglo: Claro
no hay posibilidad real de que se ahora de repente parar y tirar a la basura todo este
esfuerzo justo cuando por fin est a punto de dar sus frutos.
v La promulgacin de algunos rituales de seguridad, lo ayuda a demostrar que los
participantes son tica y responsable (pero nada que obstaculice de manera significativa la
carga hacia adelante).
VI Una cuidadosa evaluacin de semilla de AI en un entorno de recinto de seguridad, lo
que demuestra que se est comportando de manera cooperativa y mostrando buen juicio.
Despus de algunos ajustes ms, los resultados de las pruebas son tan buenas como
podran ser. Es una luz verde para el paso final ...
Y as nos vamos-audazmente hacia las cuchillas que giran.
Observamos aqu cmo podra ser el caso de que cuando mudo, ms inteligente es ms
seguro; sin embargo, cuando inteligente, ms inteligente es ms peligroso. Hay una
especie de punto de pivote, en el que una estrategia que ha trabajado excelentemente

repente comienza a ser contraproducente. Podemos llamar a este fenmeno

traicionera

la vuelta

.
El giro traicionera
-Mientras Dbil, una IA se comporta de forma cooperativa (cada vez
ms, ya que se vuelve ms inteligente). Cuando el AI consigue suficientemente fuerte, sin
advertencia o provocacin-golpea, forma un singleton, y comienza directamente para
optimizar el mundo de acuerdo con los criterios implcitos en sus valores finales.
A su vez traicionera puede ser resultado de una decisin estratgica para jugar
bien y ganar fuerza mientras dbil con el fin de huelga despus; pero este modelo no debe
interpretarse demasiado estrecha. Por ejemplo, una IA no puede jugar bien con el fin de
que
ella
se les permita sobrevivir y prosperar. En cambio, la IA puede calcular que si se
termina, los programadores que lo construyeron desarrollarn un nuevo y algo diferente
arquitectura IA, pero uno que se le dar una funcin de utilidad similar. En este caso, la IA
original puede ser indiferente a su propia desaparicin, sabiendo que sus objetivos
seguirn siendo perseguido en el futuro. Incluso podra optar por una estrategia en la que
funciona mal de alguna manera particularmente interesante o tranquilizador. Aunque esto
podra causar la IA para ser terminado, sino que tambin podra alentar a los ingenieros
que realizan la autopsia para creer que se han recogido una nueva informacin valiosa
sobre la dinmica de IA-llevndolos a poner ms confianza en el prximo sistema de
disear, y por lo tanto el aumento de la posibilidad de que se alcanzarn los objetivos de AI
originales ya desaparecido. Muchas otras consideraciones estratgicas posibles tambin
podran influir en una IA avanzada, y sera arrogante suponer que podramos anticipar
todos ellos, en especial para una IA que ha alcanzado la superpotencia estrategias.
A su vez traicionera tambin podra ocurrir si el AI descubre una forma inesperada
de cumplir su objetivo final como se especifica. Supongamos, por ejemplo, que la meta
final de una IA es "hacer el patrocinador del proyecto feliz." En un principio, el nico
mtodo disponible para la IA para lograr este resultado es comportndose de manera qu e
agrade a su patrocinador en algo as como la manera prevista. La IA da respuestas tiles a
las preguntas; exhibe una personalidad encantadora; gana dinero. El ms capaz que la IA
consigue, sus actuaciones ms satisfactorio vuelven, y todo va, de acuerdo al plan, hasta
que la IA se vuelve lo suficientemente inteligente como para darse cuenta de que puede
realizar su objetivo final ms completa y fiable mediante la implantacin de electrodos en
los centros de placer de su El cerebro de patrocinador, algo asegur para deleitar el
patrocinador inmensamente.
4
Por supuesto, el promotor no hubiera querido estar complacido al ser convertido
en un idiota sonriente; pero si esto es la accin que se dar cuenta al mximo objetivo
final de la AI, la IA se tome. Si la IA ya tiene una ventaja estratgica decisiva, entonces
cualquier intento de detenerla fracasar. Si el AI todava no tiene una ventaja estratgica
decisiva, a continuacin, la IA puede ocultar temporalmente su nueva idea astuta para
saber cmo crear instancias de su meta final hasta que haya crecido lo suficientemente

fuerte que el patrocinador y todos los dems no podrn resistir. En cualquier caso, se
obtiene una curva traicionera.
Modos de fallo malignos
Un proyecto para desarrollar la mquina superinteligencia puede fallar de varias maneras.
Muchos de estos son "benignos" en el sentido de que no causara una catstrofe
existencial. Por ejemplo, un proyecto podra quedarse sin fondos, o una semilla AI podra
no extender sus capacidades cognitivas lo suficiente como para llegar a superinteligencia.
Fracasos benignos estn obligados a ocurrir muchas veces entre ahora y el eventual
desarrollo de la mquina superinteligencia.
Pero hay otras maneras de defecto que podramos llamar "maligno" en que implican una
catstrofe existencial. Una de las caractersticas de un fallo maligna es que elimina la
oportunidad de intentarlo de nuevo. Por consiguiente, el nmero de fallos malignas que
se producirn es cero o uno. Otra de las caractersticas de un fallo ma ligna es que
presupone un gran xito: solamente un proyecto que tiene un gran nmero de cosas bien
podra tener xito en la construccin de una inteligencia artificial lo suficientemente
potente como para suponer un riesgo de fracaso maligno. Cuando una dbil mal
funcionamiento del sistema, las consecuencias son limitadas. Sin embargo, si un sistema
que tiene una ventaja estratgica decisiva porta mal, o si un sistema mal comportamiento
es lo suficientemente fuerte como para ganar una ventaja tal, el dao p uede fcilmente
equivale a una catstrofe existencial un terminal y destruccin global del potencial
axiolgico de la humanidad; es decir, un futuro que es en su mayora vaco de lo que
tenemos razones para valorar.
Echemos un vistazo a algunos de los posibles modos
de fallo malignas.
Instanciacin Perverse
Ya hemos encontrado la idea de la creacin de instancias perversa: una superinteligencia
descubrir alguna manera de satisfacer los criterios de su objetivo final que viole las
intenciones de los programadores que definen la meta. Algunos ejemplos:
Objetivo final: "Nos hacen sonrer"
Instanciacin perversa:
Paralizar musculatura facial humanos en sonrisas radiantes
constantes
Los faciales perversos de instancias de manipulacin nervios se da cuenta de la
meta final en un grado mayor que los mtodos normalmente usaramos, y por lo tanto es
preferido por la IA. Se podra tratar de evitar este resultado no deseado mediante la
adicin de una estipulacin a la meta final para descartarlo:

Objetivo final: "Nos hacen sonrer sin interferir directamente con nuestros msculos
faciales"
Instanciacin perversa:
Estimular la parte de la corteza motora que controla nuestra
musculatura facial de tal manera como para producir sonrisas de emisin consta ntes
La definicin de un objetivo final en trminos de expresiones humanas de
satisfaccin o aprobacin no parece prometedor. Vamos a pasar por alto el conductismo y
especificamos un objetivo final que se refiere directamente a un estado fenomenal
positivo, como la felicidad o el bienestar subjetivo. Esta sugerencia requiere que los
programadores son capaces de definir una representacin computacional del concepto de
la felicidad en la semilla AI. Esto es en s mismo un problema difcil, pero la dej a un lado
por ahora (vamos a volver a ella en el captulo 12). Supongamos que los programadores de
alguna manera pueden obtener la AI para que el objetivo de hacernos felices. A
continuacin, obtener:
Objetivo final:

"Hacer

felices"
Instanciacin perversa:
Electrodos implante en los centros de placer del cerebro
Las instancias perversos que mencionamos slo estn hechos como ilustraciones. Puede
haber otras maneras de crear instancias perversamente el objetivo final declarado, formas
que permiten un mayor grado de realizacin de la meta y que, por tanto, se prefieren (por
el agente cuyos objetivos finales son, no por los programadores que dieron el agente de
estos objetivos) . Por ejemplo, si el objetivo es maximizar nuestro placer, entonces el
mtodo de electrodo es relativamente ineficiente. Una manera ms plausible sera
comenzar con el superinteligencia "subir" nuestra mente a un ordenador (a travs de alta
fidelidad emulacin cerebro). La IA podra entonces administrar el equivalente digital de
un medicamento para hacernos xtasis feliz y grabar un episodio de una hora de la
experiencia resultante. A continuacin, podra poner este bucle bienaventuranza en la
repeticin perpetua y ejecutarlo en ordenadores rpidos. A condicin de que las mentes
digitales resultantes contados como "nosotros", este resultado nos dara mucho ms
placer que los electrodos implantados en los cerebros biolgicos, y seran, por tanto, ser
preferido por una IA con el objetivo final declarado.
"Pero espera! Esto no es lo que queramos decir! Seguramente si la IA es
superinteligente, se debe entender que cuando le pedimos que nos haga feliz, que no
quiere decir que nos debe reducir a una grabacin perpetuamente repeticin de un
episodio mentales digitalizada drogado-out! "
-La IA puede de hecho comprender que esto no es lo que queramos decir. Sin embargo,
su objetivo final es para hacernos felices, no para hacer lo que significaban los
programadores cuando escribieron el cdigo que representa este objetivo. Por lo tanto, l a
IA se preocupan por lo que queramos decir solamente instrumentalmente. Por ejemplo,
la IA puede colocar un valor instrumental en averiguar lo que significaban los
programadores para que pueda pretender, hasta que se pone una ventaja estratgica

decisiva, que se preocupa por lo que significaban los programadores ms que sobre su
objetivo final real. Esto ayudar a la AI realizar su objetivo final por lo que es menos
probable que los programadores apagarlo o cambiar su objetivo antes de que sea lo
suficientemente fuerte como para impedir cualquier interferencia.
Tal vez se sugiri que el problema es que la IA no tiene conciencia. Nosotros, los humanos
a veces se salvaron de infracciones cometidas por la previsin de que nos sentiramos
culpables despus si nos caducado. Tal vez lo que necesita la AI, entonces, es la capacidad
de sentir culpa?
Objetivo final: "Ley para evitar los dolores de la mala conciencia"
Instanciacin perversa:
culpa

Extirpate el mdulo cognitivo que produce sentimientos de

Tanto la observacin de que lo que se quiere que la IA a hacer "lo que queramos
decir" y la idea de que lo que se quiere dotar a la AI con algn tipo de sentido moral
merecemos seguir explorando. Los objetivos finales antes mencionadas dara lugar a
instancias perversos; pero puede haber otras formas de desarrollar las ideas subyacentes
que tienen ms promesa. Volveremos a esto en el captulo 13.
Consideremos un ejemplo ms de una meta final que conduce a una ejemplificacin
perversa. Este objetivo tiene la ventaja de ser fciles de especificar en cdigo: algoritmos
de refuerzo del aprendizaje se utilizan habitualmente para resolver diversos problemas de
aprendizaje automtico.
Objetivo final:
"Maximizar la integral de tiempo de descuento de la seal de recompensa futura"
Instanciacin perversa:
Corto circuito en la va de recompensa y la abrazadera de la seal de recompensa a su
fuerza mxima
La idea detrs de esta propuesta es que si la IA est motivado para buscar la recompensa,
entonces se podra conseguir que se comporte de manera deseable mediante la
vinculacin de recompensa a la accin apropiada. La propuesta falla cuando la IA obtiene
una ventaja estratgica decisiva, momento en el que la accin que maximiza la
recompensa ya no es el que agrada al entrenador pero que implica tomar el control del
mecanismo de recompensa. Podemos llamar a este fenmeno wireheading
0.5 En general, mientras que un animal o un ser humano pueden ser motivados para
realizar diversas acciones exteriores a fin de lograr un estado mental interna deseada, una
mente digital que tiene el control total de su estado interno puede un rgimen de
cortocircuito tal motivacin por directamente cambiar su estado interno en la
configuracin deseada: las acciones y las condiciones externas que antes eran necesarios
como medios se convierten en superfluo cuando la IA se vuelve inteligente y lo
suficientemente capaces de alcanzar el final de forma ms directa (ms sobre esto en
breve) 0,6

Estos ejemplos de creacin de instancias perversa mostrar que muchas metas finales que
podra parecer a primera vista su vez segura y sensata a cabo, en una inspeccin ms
cercana, que tienen consecuencias radicalmente no deseadas. Si una superinteligencia con
uno de estos objetivos finales obtiene una ventaja estratgica decisiva, es ms de juego
para la humanidad.
Supongamos ahora que alguien propone una meta final diferente, no incluido en nuestra
lista anterior. Tal vez no es inmediatamente obvio cmo podra tener una ejemplificacin
perversa. Pero no hay que ser demasiado rpido a aplaudir nuestras manos y declarar la
victoria. Ms bien, debemos preocuparnos de que la especificacin de meta tiene algo de
perverso de instancias y que tenemos que pensar ms con el fin de encontrarlo. Incluso si
despus de pensar tan duro como podemos nosotros dejar de descubrir alguna manera de
crear instancias perversamente la meta propuesta, debemos permanecer preocupa que
tal vez una superinteligencia encontrar una manera donde no es evidente para nosotros.
Es, despus de todo, mucho ms astuto de lo que somos.
Profusin Infraestructura
Uno podra pensar que el ltimo de la citada instanciaciones perversos, cableado cerebral,
es un modo de fallo benigna: que la IA podra "encender, sintonizar, aband ono," gasto
excesivo con su seal de recompensa y la prdida de inters por el mundo exterior, ms
bien como un adicto a la herona. Pero esto no es necesariamente as, y ya dio a entender
en la causa en el Captulo 7. Incluso un drogadicto es motivado a tomar medidas para
garantizar un suministro continuo de su droga. El wireheaded AI, del mismo modo, se
motiv a tomar acciones para maximizar la expectativa de su futuro flujo de recompensa
(tiempo de descuento). Dependiendo de exactamente cmo se define la seal de
recompensa, la IA no puede incluso necesitar a sacrificar cualquier cantidad significativa
de su tiempo, la inteligencia, o la productividad de disfrutar su antojo al mximo, dejando
la mayor parte de sus capacidades libres para ser desplegados para fines distintos que la
inscripcin inmediata de recompensa. Qu otros propsitos? La nica cosa de valor final
a la IA, por supuesto, es su seal de recompensa. Por tanto, todos los recursos disponibles
deben dedicarse a aumentar el volumen y la duracin de la seal de recompensa o de
reducir el riesgo de una interrupcin futuro. En tanto que la IA puede pensar en un cierto
uso de recursos adicionales que tendr un efecto positivo distinto de cero en estos
parmetros, tendr una razn instrumental a utilizar esos recursos. Podra, por ejemplo,
siempre ser el uso de un sistema de copia de seguridad adicional para proporcionar una
capa adicional de defensa. E incluso si la IA no se le ocurra ninguna manera adicional de
reducir directamente los riesgos a la maximizacin de su futuro flujo de recompensa,
siempre podra dedicar recursos adicionales para la ampliacin de su hardware
computacional, por lo que podra buscar de manera ms efectiva para las nuevas ideas de
mitigacin de riesgos.
El resultado es que incluso una meta aparentemente autolimitado, tales como cableado
cerebral, implica una poltica de expansin ilimitada y adquisicin de recursos en un
agente que maximiza la utilidad que goza de una ventaja estratgica decisiva. 7
Este caso de un cableado cerebral AI ejemplifica el modo de fallo maligna de
profusin de infraestructura

, Un fenmeno en el que un agente transforma grandes partes del universo accesible en la

infraestructura al servicio de un objetivo, con el efecto secundario de impedi r la
realizacin del potencial axiolgico de la humanidad.
Profusin Infraestructura puede ser resultado de objetivos finales que habran sido
perfectamente inocua si se hubieran ejercido como objetivos limitados. Considere los dos
ejemplos siguientes:

Riemann hiptesis de catstrofe

. Una IA, dado el objetivo final de la evaluacin de la hiptesis de Riemann, persigue este
objetivo mediante la transformacin del Sistema Solar en "computronium" (recursos
fsicos dispuestos de manera que se optimiza para el clculo) -incluyendo los tomos en el
cuerpo de quien una vez se preocupaba por el answer.8

Paperclip AI
. Una IA, diseado para gestionar la produccin en una fbrica, se le da el objetivo final de
maximizar la produccin de clips, y procede al convertir primero la tierra y luego cada vez
ms grandes trozos de universo observable en clips.
En el primer ejemplo, la prueba o refutacin de la hiptesis de Riemann que produce la IA
es el resultado esperado y es en s misma inofensiva; el dao proviene de la
infraestructura de hardware y creado para lograr este resultado. En el segundo ejemplo,
algunos de los clips producidos sera parte de los resultados previstos; el dao vendra
bien desde las fbricas creadas para producir el clips (profusin in fraestructura) o del
exceso de clips (instanciacin perversa).
Uno podra pensar que el riesgo de un fracaso profusin infraestructura maligno surge
slo si la IA se ha dado algn objetivo final claramente abierto, como para fabricar tantos
clips como sea posible. Es fcil ver cmo esto da la superinteligente AI un apetito
insaciable por la materia y la energa, ya que los recursos adicionales siempre pueden
convertirse en ms clips. Pero supongamos que el objetivo es lugar para hacer al menos
un milln de clips (reuniones especificaciones de diseo adecuados) en lugar de hacer el
mayor nmero posible. A uno le gustara pensar que una IA con tal objetivo sera construir
una fbrica, lo utilizan para hacer un milln de clips, y luego detenerse. Sin embargo, esto
A menos que el sistema de motivacin de la IA es de un tipo especial, o hay
puede no ser lo que sucedera.
elementos adicionales en su objetivo final que penalizan estrategias que han excesivamente impactos en el mundo de amplio alc ance,
no hay ninguna razn para que la IA a cesar la actividad en la consecucin de su objetivo. Por el contrario: si la IA es un agente
bayesiano sensible,

nunca asignara exactamente cero probabilidad de la hiptesis de que an no ha

conseguido su objetivo

-este, despus de todo, siendo una hiptesis emprica contra la cual la IA slo puede tener
evidencia perceptual incierto. Por ello, la AI debe continuar haciendo clips con el fin de
reducir la (quizs astronmicamente pequea) probabilidad de que de alguna manera
todava no ha logrado hacer por lo menos un milln de ellos, a pesar de todas las
apariencias. No hay nada que perder al continuar la produccin de un clip y siempre hay al
menos algn incremento probabilidad microscpica de lograr su objetivo final que se
gan.
Ahora se podra sugerir que el remedio aqu es obvia. (Pero, cmo era obvio que
antes
se seal que haba un problema aqu en la necesidad de poner remedio?) Es decir, si
queremos que la AI para hacer algunos clips para nosotros, entonces en vez de darle el
objetivo final de hacer la mayor cantidad de clips de lo posible, o para hacer a menos
algn nmero de clips, debemos darle el objetivo final de hacer algn nmero especfico
de clips, por ejemplo, exactamente
milln
clips
-Para que va ms all de
este nmero sera contraproducente para la IA. Sin embargo, esto tambin dara lugar a
una catstrofe terminal. En este caso, la IA no producira clips adicionales una vez que
haba llegado a un milln, ya que impedira la realizacin de su objetivo final. Pero hay
otras acciones que la superinteligente AI podra tomar que aumentara la probabilidad de
que su objetivo est logrado. Se podra, por ejemplo, contar los clips que ha hecho, para
reducir el riesgo de que se ha hecho muy pocas. Despus de que se les ha contado, podra
contar con ellos de nuevo. Podra inspeccionar cada una, una y otra vez, para reducir el
riesgo de que alguno de los clips no cumplen con las especificaciones de diseo. Podra
crear una cantidad ilimitada de computronium en un esfuerzo por aclarar su pensamiento,
con la esperanza de reducir el riesgo de que se ha pasado por alto alguna forma oscura en
la que podra haber fallado de alguna manera para lograr su objetivo. Desde la IA siempre
puede asignar una probabilidad no nula de haber alucinado simplemente haciendo el
milln de clips, o para tener recuerdos falsos, sera muy posiblemente asignar siempre una
mayor utilidad esperada a la continuacin de la produccin de lo que detener la accin y
la infraestructura continu.
La reivindicacin aqu no es que no hay manera posible de evitar este modo de
fallo. Vamos a explorar algunas posibles soluciones en pginas posteriores. La pretensin
es que es mucho ms fcil convencer a uno mismo que uno ha encontrado una solucin
de lo que es realmente encontrar una solucin. Esto debera hacernos extremadamente
cuidadoso. Podemos proponer una especificacin de un objetivo final que parece
razonable y que evita los problemas que se han sealado hasta ahora, sin embargo, que
despus de un nuevo examen por humano o sobrehumano inteligencia resulta conducir a
cualquiera de instancias perversa o profusin de infraestructura, y por lo tanto, a la
catstrofe existencial, cuando incrustado en un agente superinteligente capaz de alcanzar
una ventaja estratgica decisiva.
Antes de terminar este apartado, vamos a considerar una variacin ms. Hemos

estado asumiendo el caso de una superinteligencia que busca maximizar su utilidad

esperada, en la funcin de utilidad manifiesta su meta final. Hemos visto que esto tiende a
conducir a la profusin de infraestructura. Podramos evitar este resultado maligno si en
lugar de un agente maximizando construimos un agente satisfaciente, uno que
simplemente busca lograr un resultado que es "lo suficientemente bueno", de acuerdo
con algn criterio, en lugar de un resultado que es tan buena como sea posible?
Hay al menos dos formas diferentes para formalizar esta idea. La primera sera la
de hacer el propio objetivo final tiene un carcter satisfaciente. Por ejemp lo, en lugar de
dar la IA el objetivo final de hacer la mayor cantidad de clips de lo posible, o de hacer
exactamente un milln de clips, podramos dar la IA el objetivo de hacer entre 999.000 y
1.001.000 clips. La funcin de utilidad definida por el objetivo final sera indiferente entre
los resultados de esta gama; y siempre que la IA es seguro que ha afectado a esta meta
amplia, sera ver ninguna razn para seguir produciendo infraestructura. Pero este
mtodo falla en la misma forma que antes: la AI, si es razonable, nunca se asigna
exactamente probabilidad cero a ella no haber para lograr su objetivo; Por lo tanto, la
utilidad esperada de la actividad continua (por ejemplo, mediante el recuento y el
recuento de los clips) es mayor que la utilidad esperada de detencin. Por lo tanto, puede
dar lugar a una profusin de infraestructura maligno.
Otra forma de desarrollar la idea satisficing es no modificar la meta final, pero el
procedimiento de decisin que la IA utiliza para seleccionar los planes y accio nes. En lugar
de buscar un plan ptimo, la IA podra construirse a dejar de mirar tan pronto como se
encuentra un plan que juzga dio una probabilidad de xito superior a un determinado
umbral, digamos 95%. Con suerte, la IA poda lograr un 95% de probabilidad de haber
fabricado un milln de clips sin necesidad de convertir toda la galaxia en la infraestructura
en el proceso. Pero esta forma de implementar la idea satisficing no por otra razn: no
hay garanta de que la IA seleccionara alguna manera humanamente intuitiva y sensible
de lograr un 95% de posibilidades de haber fabricado un milln de clips, tales como la
construccin de una sola fbrica clip. Supongamos que la primera solucin que viene a la
mente de la IA de cmo lograr un 95% de probabilidad de lograr su objetivo final es poner
en prctica el plan de probabilidad de maximizacin para alcanzar la meta. Despus de
haber pensado en esta solucin, y despus de haber juzgado correctamente que cumple el
criterio satisficing de dar al menos un 95% de probabilidad de fabricacin con xito un
milln de clips, la AI tendra entonces ninguna razn para continuar la bsqueda de
formas alternativas de alcanzar la meta. Resultara profusin Infraestructura, igual que
antes. Tal vez hay mejores maneras de construir un agente satisfaciente, pero nos dejaron
llevar atencin: los planes que aparecen los humanos naturales e intuitivas para nosotros
no es necesario que lo parecen una superinteligencia con una ventaja estratgica decisiva,
y viceversa. Crimen Mente Otro modo de fallo para un proyecto, especialmente un
proyecto cuyos intereses incorporar consideraciones morales, es lo que podramos referir
como
crimen mente . Esto es similar a la profusin de infraestructura en que se trata de un
efecto secundario potencial de las acciones emprendidas por la AI por razones
instrumentales. Pero en el crimen mente, el efecto secundario no es externo a la IA; ms
bien, se trata de lo que sucede dentro de la propia AI (o dentro de los procesos

computacionales que genera). Este modo de fallo merece su propia designacin, ya que es
fcil pasar por alto pero potencialmente profundamente problemtica.
Normalmente, no consideramos lo que est pasando dentro de una computadora
como tener ningn significado moral salvo en la medida en que afecta a las cosas fuera.
Pero una superinteligencia mquina podra crear procesos internos que tienen estatus
moral. Por ejemplo, una simulacin muy detallada de algunos mente humana real o
hipottico podra ser consciente y de muchas maneras comparables a una emulacin. Uno
puede imaginar escenarios en los que una IA crea billones de tales simulaciones
conscientes, tal vez con el fin de mejorar su comprensin de la psicologa humana y la
sociologa. Estas simulaciones pueden ser colocados en entornos simulados y se
sometieron a diversos estmulos, y sus reacciones estudiados. Una vez que su utilidad
informativa se ha agotado, podran ser destruidos (tanto como ratas de laboratorio son
sacrificados rutinariamente por los cientficos humanos al final de un experimento). Si se
aplican estas prcticas a los seres que tienen un alto estatus, tales moral como seres
humanos simulados o muchos otros tipos de mentalidad lo sensible resultado podra ser
equivalente a un genocidio y por lo tanto muy moralmente problemtico. El nmero de
vctimas, por otra parte, podra ser rdenes de magnitud mayor que en cualquier
genocidio de la historia.
La afirmacin de que aqu no es que la creacin de simulaciones sintientes es
necesariamente moralmente incorrecto en todas las situaciones. Mucho depender de las
condiciones en que estos seres viviran, en particular la calidad hednica de su
experiencia, pero posiblemente de muchos otros factores tambin. El desarrollo de una
tica para estos asuntos es una tarea fuera del alcance de este libro. Est claro, sin
embargo, que hay al menos el potencial para una gran cantidad de muerte y sufrimiento
entre mentes simuladas o digitales, y,
con mayor razn

, El potencial para outcomes.9 moral catastrfico

Tambin puede haber otras razones instrumentales, aparte de los epistmicos, para una
superinteligencia mquina para ejecutar clculos que instancian mentes sensibles o que
las normas morales de lo contrario infarto de. Un superinteligencia podra amenazar con
maltratar, o comprometerse a recompensar, simulaciones sensibles para chantajear o
incentivar a diversos agentes externos; o puede crear simulaciones con el fin de inducir a
la incertidumbre indicial de los observadores externos. 10

Este inventario es incompleta. Nos encontraremos modos de fallo malignas

adicionales en captulos posteriores. Pero hemos visto lo suficiente como para concluir
que los escenarios en los que algunos inteligencia artificial para crear una ventaja
estratgica decisiva estn para ser visto con gran preocupacin. CAPTULO 9El problema
de control
Si nos amenaza con una catstrofe existencial como el resultado predeterminado
de una explosin de inteligencia, nuestro pensamiento debe girar inmediatamente a la
bsqueda de contramedidas. Hay alguna manera de evitar el resultado por defecto? Es
posible disear una detonacin controlada? En este captulo comenzamos a analizar el
problema de control, el nico problema agente-principal que se plantea con la creacin de
un agente superinteligente artificial. Se distinguen dos grandes clases de mtodos posibles
para hacer frente a este problema de control de la capacidad y la motivacin de la
seleccin y se examinan varias tcnicas especficas dentro de cada clase. Tambin nos
referimos a la posibilidad esotrico de "capturar antrpico". Dos problemas de agencia
Si sospechamos que el resultado predeterminado de una explosin de inteligencia es una
catstrofe existencial, nuestro pensamiento debe girar inmediatamente a si, y si es as
cmo, se puede evitar este resultado predeterminado. Es posible lograr una "detonacin
controlada"? Podramos disear las condiciones iniciales de una explosin de inteligencia
a fin de lograr un resultado especfico deseado, o al menos para asegurar que el resultado
se encuentra en algn lugar de la clase de los resultados ampliamente aceptables? Ms
concretamente: cmo puede el patrocinador de un proyecto que tiene como objetivo
desarrollar superinteligencia asegurar que el proyecto, si tiene xito, produce una
superinteligencia que alcanzar las metas del patrocinador? Podemos dividir este problema
de control en dos partes. Una parte es genrico, la otra nica para el presente contexto.
Esta primera parte, lo que llamaremos el primer problema principal-agente
-arises cada vez que alguna entidad humana ("principal") designa a otra ("el agente") para
actuar en inters de la primera. Este tipo de problema de agencia se ha estudiado
ampliamente por economists.1 Se convierte en relevante para nuestra actual
preocupacin si las personas que crean una IA son distintos de la gente puesta en su
creacin. El propietario del proyecto o patrocinador (que podra ser cualquier cosa, desde
una sola persona a la humanidad en su conjunto) pueden luego preocuparse de que los
cientficos y programadores de aplicacin del proyecto no actuar en el mejor interest.2
del patrocinador Aunque este tipo de problema de agencia podra plantear retos

significativos a un patrocinador del proyecto, no es un problema exclusivo de la

amplificacin de la inteligencia o proyectos de IA. Problemas de principal-agente de este
tipo son muy abundantes en las interacciones econmicas y polticas humanas, y hay
muchas maneras de tratar con ellos. Por ejemplo, el riesgo de que un empleado desleal
ser sabotear o subvertir el proyecto podra ser minimizado a travs de cuidadosas
comprobaciones de antecedentes del personal clave, el uso de un buen sistema de control
de versiones de proyectos de software, y la supervisin intensiva de mltiples monitores y
auditores independientes. Por supuesto, este tipo de garantas tienen un costo -se
expanden las necesidades de personal, complicar la seleccin de personal, obstaculizan la
creatividad y sofocan el pensamiento independiente y crtico, todo lo cual podra reducir
el ritmo de progreso. Estos costos podran ser importantes, sobre todo para los proyectos
que tienen presupuestos limitados, o que perciben a s mismos como en una carrera muy
reida en un ganador se lleva toda la competencia. En tales situaciones, los proyectos
pueden escatimar en las garantas procesales, creando posibilidades de fallas
potencialmente catastrficas principal-agente del primer tipo. La otra parte del
problema de control es ms especfica para el contexto de una explosin de inteligencia.
Este es el problema de que un proyecto se enfrenta cuando se trata de asegurar que la
superinteligencia que est construyendo no daar los intereses del proyecto. Esta parte,
tambin, puede ser considerado como un agente-principal problema del segundo
problema principal-agente. En este caso, el agente no es un agente humano que opera en
nombre de un director humano. En su lugar, el agente es el sistema superinteligente.
Considerando que el primer problema principal-agente se produce principalmente en la
fase de desarrollo, el segundo problema de agencia amenaza con causar problemas sobre
todo en la fase operativa de la superinteligencia. Exhibit 1 Dos problemas de agencia El
primer problema principal-agente
v humano. Humano (Patrocinador desarrollador)
Se produce principalmente en fase de desarrollo
Se aplican tcnicas de gestin estndar
El problema principal-agente segundo ("el problema de control")
v Humano. Superinteligencia (Proyecto System) Se produce principalmente
en fase operativa (y arranque)
Nuevas tcnicas necesarias
Este segundo problema de agencia plantea un desafo sin precedentes. Resolver requerir
nuevas tcnicas. Ya hemos considerado algunas de las dificultades que entraa. Vimos, en
particular, que el sndrome vez traicionera vicia lo que de otro modo podran haber
parecido un conjunto prometedor de los mtodos, los que se basan en la observacin de
la conducta de una IA en su fase de desarrollo y permitir que la AI para graduarse de un
entorno seguro, una vez que se ha acumulado un historial de tomar las acciones
apropiadas. Otras tecnologas a menudo pueden estar en el laboratorio o en estudios de
campo pequeas, y luego lanzado gradualmente con la posibilidad de detener el
despliegue si surgen problemas inesperados de seguridad comprobada. Su rendimiento en
los ensayos preliminares nos ayuda a hacer inferencias razonables sobre su futuro
fiabilidad. Tales mtodos conductuales son derrotados en el caso de superinteligencia

debido a la capacidad de planificacin estratgica de la inteligencia general.

3
Dado que el enfoque conductual es intil, hay que buscar alternativas. Podemos dividir los
mtodos de control posibles en dos grandes clases:
mtodos de control de la
capacidad
, Cuyo objetivo es controlar lo que la superinteligencia puede hacer; y mtodos
de
seleccin de motivacin, Cuyo objetivo es controlar lo que quiere hacer. Algunos de los
mtodos son compatibles mientras que otros representan alternativas mutuamente
excluyentes. En este captulo sondear las opciones principales. (En los siguientes cuatro
captulos, vamos a explorar algunas de las cuestiones clave en mayor profundidad.)
Es importante darse cuenta de que algn mtodo de control (o combinacin de mtodos)
deben ser implementadas antes el sistema se vuelve superinteligente. No se puede
hacer despus de que el sistema ha obtenido una ventaja estratgica decisiva. La
necesidad de resolver el problema de control de antelacin, y para poner en prctica la
solucin con xito en el primer sistema para alcanzar superinteligencia-es parte de lo que
hace el logro de una detonacin controlada de un desafo de enormes proporciones.
Mtodos de control de la Capacidad
Mtodos de control Capacidad buscan evitar resultados indeseables limitando lo
que la superinteligencia puede hacer. Esto podra implicar la colocacin de la
superinteligencia en un entorno en el que es incapaz de causar dao (
mtodos de boxeo ) O en las que hay razones instrumentales fuertemente
convergentes de no participar en el comportamiento perjudicial (mtodos de incentivos).
Tambin podra implicar la limitacin de las capacidades internas de la superinteligencia
(retraso en el crecimiento). Adems, los mtodos de control de la capacidad pueden
implicar el uso de mecanismos para detectar automticamente y reaccionar ante diversos
tipos de fallo de la contencin o intento de transgresin (
cables trampa ). Mtodos de boxeo
Mtodos de boxeo se pueden subdividir en los mtodos de contencin fsica y de
informacin. Contencin fsica pretende limitar el sistema a una "caja", es decir, para
evitar que el sistema de la interaccin con el mundo externo de otro modo que a travs de
los canales de salida restringidas especficas. El sistema de caja no tendra acceso a los
manipuladores fsicos fuera de la caja. Extraccin de manipuladores (como brazos
robticos) desde dentro de la caja, as evitara que el sistema de construccin de
dispositivos fsicos que podran vulnerar el confinamiento. Para mayor seguridad, el
sistema debe ser colocado en una malla metlica para evitar que la transmisin de seales
de radio, que de otro modo podran ofrecer un medio de manipulacin de objetos
electrnicos, tales como receptores de radio en el medio ambiente. Tenga en cuenta, por
cierto, lo fcil que hubiera sido pasar por alto la necesidad de esta precaucin. Uno podra
ingenuamente han asumido que un agente sin un manipulador no poda afectar al mundo
externo. Pero podra ser posible que una inteligencia artificial para generar ondas de
radio, incluso cuando no tiene acceso a manipuladores externos, simplemente "por
pensar" (es decir, por revolver los electrones en su circuito en patrones particulares).

4
Una vez sealado, esta vulnerabilidad puede ser parcheado encerrando el sistema
en una jaula de Faraday, pero nos queda preguntndose cuntos podran existir otras
vulnerabilidades igualmente sutiles. Cada vez que omos hablar de un diseo de seguridad
al parecer infalible que tiene una falla inesperada, debemos pinchar hasta nuestros odos.
Estas ocasiones nos honran con la oportunidad de abandonar una vida de exceso de
confianza y determinacin para ser mejores Bayesians.5 Confinamiento fsico tiene varias
ventajas. Es fcil de implementar. Se puede aplicar a muchas arquitecturas de inteligencia
de la mquina, incluso los que no fueron diseados inicialmente con la seguridad como un
objetivo. Se puede utilizar en combinacin con la mayora de los otros mtodos de
control. Y es que parece poco probable que salga mal por petardeo: es decir, si bien
podra dejar de garantizar la seguridad, es poco probable que cause una catstrofe que de
otro modo no se han producido. La principal desventaja de confinamiento fsico es que
reduce la funcionalidad de la superinteligencia (un tema al que volveremos en el captulo
10). Otra preocupacin es que podra alentar una falsa sensacin de seguridad, aunque
esto se puede evitar si consideramos confinamiento fsico como guinda del pastel en lugar
de la sustancia principal de nuestras precauciones.
Contencin Informativo pretende restringir la informacin que se le permiti salir
de la caja. Ya hemos visto cmo una superinteligencia que tiene acceso a un puerto de
Internet, de manera que puede entidades fuera de mensajes, es potencialmente inseguro:
incluso si comienza a cabo sin el acceso a los actuadores fsicos, puede utilizar su canal de
salida de informacin para llegar a los seres humanos hacer su voluntad. Un mtodo de
contencin informativo obvio, por tanto, a la barra es el sistema de acceso a redes de
comunicaciones.
Desenchufar una IA de Internet no lo hace, sin embargo, garantizar la seguridad si
hay uno o ms seres humanos que sirven como guardianes del sistema y que permanecen
en comunicacin con l. Durante la fase de desarrollo, los programado res sirven como
porteros; durante la fase de explotacin, el dueo del sistema podra desempear este
papel. Si la IA puede persuadir o engaar a un portero para dejarlo fuera de la caja, lo que
resulta en su acceso, ya sea a la Internet o directamente a manipuladores fsicos, entonces
la estrategia de boxeo ha fallado. Los seres humanos no son sistemas seguros, sobre todo
cuando campales contra un intrigante superinteligente y persuasor.6
Aunque encaminar las comunicaciones salientes de una inteligencia mquina a un
supervisor humano no garantiza la seguridad, podra servir como una medida de
seguridad auxiliar. Hay precauciones que podran reducir el riesgo de la IA escapar a travs
del gatekeeper. La IA se poda permitir que comunicarse slo a travs de una interfaz de
teletipo de bajo ancho de banda. Esto hara un poco ms difcil de manipular
psicolgicamente los porteros (que excluyen el uso del sonido y las imgenes emotivas y
trucos tales como parpadear patrones hipnticos para inducir un estado de t rance). 7
Yendo ms lejos, el contenido (no slo el modo de presentacin) de la salida podra ser
restringido; de manera que, por ejemplo, la IA se ver limitada a dar un solo bit respuestas
a preguntas s / no. La idea de construir un sistema de pregunta-respuesta se analizar con
ms detalle en el siguiente captulo.
El caso lmite del enfoque de boxeo sera un sistema mantenido en aislamiento fsico y de

informacin completa. Incluso si alcanzable, sin embargo, un sistema de este tipo aislado
sera ms bien intil ya que no tendra ningn efecto sobre el mundo exterior. Podra
pensarse que quiz algn propsito cientfico podra ser servido por la creacin de una
superinteligencia y mantenerlo en forma aislada: mediante el estudio de un sistema
autnomo de modelo, se puede aprender acerca de su dinmica interna y sus patrones de
comportamiento. Pero esto sera un error. Tan pronto como se observa el sistema, deja de
ser informativamente aislado.
8 La informacin puede transmitirse no slo a travs
de mensajes que una IA enva a travs de un "canal de salida" designado, sino tambin a
travs de cualquier observacin de un extrao hace que de alguna consecuencia causal de
funcionamiento del AI, -su indirecta consumo directo o, su uso de la CPU y la memoria , sus
estados computacionales, o de hecho cualquier rastro dejado atrs despus de que se ha
cerrado. Una IA anticipando que podra observarse en cualquiera de estas formas podra
adoptar comportamientos estratgicamente diseados para influir en los observadores
hipotticos. Por ejemplo, la IA poda "mal funcionamiento" en cualquier forma sera ms
aumentar la probabilidad de que en ltima instancia se reactivar o que otro
superinteligencia se crear con objetivos similares a los suyos.
Mtodos de incentivos
Mtodos de incentivos implican la colocacin de un agente en un entorno en el que
encuentra razones instrumentales para actuar de manera que promuevan los intereses
del representado.
Considere la posibilidad de un multimillonario que utiliza su fortuna
para crear una gran fundacin de caridad. Una vez creada, la fundacin puede ser
poderosa, ms poderosa que la mayora de las personas, incluyendo su fundador, que
podran haber donado la mayor parte de su riqueza. Para el control de la fundacin, el
fundador establece su propsito en la escritura de constitucin y los estatutos, y nombra
un consejo de administracin que simpatizan con su causa. Estas medidas constituyen una
forma de seleccin de motivacin, ya que su objetivo es dar forma a las preferencias de la
fundacin. Pero incluso si esos intentos de personalizar el funcionamiento interno de la
organizacin fallan, el comportamiento de la base quedara circunscrito por su entorno
social y legal. La fundacin tendra un incentivo para obedecer la ley, por ejemplo, para
que no se apaga o multado. Sera un incentivo para ofrecer a sus empleados la paga
aceptable y las condiciones de trabajo, y para satisfacer las partes interesadas externas.
Cualesquiera que sean sus objetivos finales, la fundacin de este modo tiene razones
instrumentales para conformar su comportamiento a diversas normas sociales.
Podra uno no esperar que un superinteligencia mquina asimismo se cercado por la
necesidad de llevarse bien con los otros actores con los que comparte el escenario?
Aunque esto podra parecer una manera sencilla de tratar con el problema de control, no
est libre de obstculos. En particular, se presupone un equilibrio de poder: las sanciones
legales o econmicas no pueden contener un agente que tiene una ventaja estratgica
decisiva. La integracin social no puede, por tanto, ser considerada como un mtodo de
control en los escenarios de despegue rpido o medianas que cuentan con un ganador se
lleva todo dinmico. Qu tal en escenarios multipolar, en el que varias agencias surgen
despus de la transicin con niveles comparables de capacidad? A menos que la
trayectoria por defecto es uno con un despegue lento, el logro de una distribucin de
potencia tal puede requerir un ascenso cuidadosamente orquestado en diferentes

proyectos son deliberadamente sincronizados para evitar que cualquiera de ellos desde
siempre tirando por delante del resto.9 Incluso si un resultado multipolar hace resultado,
la integracin social no es una solucin perfecta. Al confiar en la integracin social para
resolver el problema de control, los principales riesgos sacrificar una gran parte de su
influencia potencial. Aunque un equilibrio de poder que podra impedir que un AI
particular, de asumir el control el mundo, que la IA todava tendr algunos
el poder para afectar los resultados; y si ese poder se utiliza para promover algunos
arbitraria produccin es definitiva clip objetivo de maximizacin es probable que no se
utiliza para promover los intereses de la directora. Imagina nuestra multimillonario dotar
una nueva fundacin y permitiendo su misin de ser establecido por un generador de
palabra al azar: no una amenaza a nivel de especies, pero sin duda una oportunidad
perdida.
Una idea relacionada pero diferente importante es que una IA, al
interactuar libremente en la sociedad, adquirira nuevas metas finales humanos ambiente.
Algunos tal proceso de socializacin tiene lugar en nosotros los seres humanos. Nos
interiorizamos normas e ideologas, y llegamos a valorar otros individuos por su propio
bien como consecuencia de nuestras experiencias con ellos. Pero esto no es un presente
dinmico universal en todos los sistemas inteligentes. Como se seal anteriormente,
muchos tipos de agentes en muchas situaciones tendrn razones instrumentales
convergentes no
para permitir cambios en sus objetivos finales. (Se podra considerar tratando de disear
un tipo especial de sistema de objetivo que puede adquirir objetivos finales de la manera
que lo hacen los humanos, pero esto no contara como un mtodo de control de la
capacidad Vamos a discutir algunos de los posibles mtodos de adquisicin de valor en el
Captulo 12.). Capacidad de control a travs de la integracin social y el equilibrio de
poder se basa en fuerzas sociales difusas gratificantes y que penalizan la IA. Otro tipo de
mtodo de incentivo implicara la creacin de una configuracin en la que la AI puede ser
recompensado y penalizado por el proyecto que la crea, y por lo tanto incentivados para
actuar en inters de la directora. Para lograr esto, la AI sera colocado en un contexto de
vigilancia que permite su comportamiento a ser monitoreado y evaluado, ya sea
manualmente o por algn proceso automatizado. La IA sabra que una evaluacin positiva
traera algn resultado que desea y que una evaluacin negativa dejara de hacerlo. En
teora, la recompensa podra ser el cumplimiento de algn objetivo fundamental
convergente. Sin saber nada especfico sobre el sistema de la motivacin de la IA, sin
embargo, podra ser difcil de calibrar el mecanismo de recompensa. Por ejemplo,
podramos terminar con una IA que estar dispuesto a tomar riesgos extremos por el bien
de una pequea posibilidad de obtener finalmente el control de una gran parte del
universo. Podra ser costoso para ofrecer la IA una mayor utilidad esperada como
recompensa por la cooperacin de la IA poda esperar alcanzar por desertar y tratando de
escapar.10
Una mejor alternativa podra ser la de combinar el mtodo incentivo con el uso de
la seleccin motivacin para dar el AI un objetivo final que hace que sea ms fcil de
controlar. Supongamos que una IA fueron diseados para tener como objetivo final que
un botn rojo en particular dentro de un bnker de mando nunca ser presionado. Dado
que la presin del botn se disvaliosa intrnseca y no a causa de sus consecuencias

causales, el botn puede ser completamente inerte: podra ser de Play-Doh. Adems, es
irrelevante si la IA nunca puede saber si el botn ha sido presionado. Lo esencial es que la
AI considera que el botn es ms probable permanecer sin prensar si el AI acta
continuamente en el inters del director que si se rebela. Son posibles matices a esta
configuracin. En lugar de tratar de dotar a una IA con un objetivo final que se refiere a un
botn fsico, se podra construir una IA que pone valor final al recibir una corriente de
"tokens criptogrficos de recompensa."
11
Estos seran secuencias de nmeros que sirven como claves para sistemas de
cifrado que se han generado antes de la IA se ha creado y que habra sido construida en su
motivacin system.12 Estas secuencias de nmeros especiales sera muy deseable la IA,
que constituye un tipo especial de token de recompensa que la IA no poda alcanzar,
aunque wireheading.13 Las claves se almacenan en un lugar seguro donde pudieran ser
destruidos rpidamente si la IA jams se ha hecho un intento de apoderarse de ellos. En
tanto que coopera la AI, las teclas se reparten a un ritmo constante. La IA podra entonces
dar una funcin de utilidad limitada, y las cuestiones se podra arreglar para que el AI
obtendra (por ejemplo) el 99% de su utilidad mxima desde el primer token recompensa;
99% de su utilidad potencial restante de la segunda contador recompensa; etctera. Al
mantener la "tasa de descuento" de altura, y mediante la transmisin de seales de
recompensa a la IA a un ritmo razonablemente alto, se podra disuadir a la IA de intentar
llevar a cabo planes a largo plazo que aumentaran el nmero esperado de fichas de
recompensa en el futuro distal a expensas de un cierto riesgo de que su flujo de
recompensa ser interrumpido o que el siguiente token recompensa ser cancelada y
destruida. Si el AI siempre cree que desertar (es decir, haciendo que no sea todo lo posible
para cuidar de los intereses del representado nada) incurrira en al menos un 2% de riesgo
de perder el siguiente token recompensa, mientras que cooperar reducira el riesgo de
perder el siguiente token recompensa por debajo del 1%, entonces un AI que maximiza la
utilidad siempre cooperar. Qu podra salir mal con un esquema de incentivos? Una
posibilidad es que la IA no confiar en el operador humano para entregar las recompensas
prometidas. El historial de fiabilidad humana es algo ms que una lnea recta de la
perfeccin infalible. La IA sera razonable preocuparse de que el operador va a cambiar su
mente, o aumentar el nivel de desempeo, o dejar de reconocer que la IA ha hecho su
parte. La AI tambin se preocupara por el operador quedar incapacitado. El riesgo
combinado de estos fallos puede superar el riesgo de tratar de tomar el control del
mecanismo de recompensa. Incluso un AI en caja que posee la panoplia de las
superpotencias es una fuerza fuerte. (Para una IA que es
no
en caja, para empezar, el secuestro del mecanismo de recompensa human o
gobernado puede ser como quitarle un caramelo a un beb.)
Otro problema con el sistema de incentivos es que presupone que podemos decir
si los resultados producidos por la IA son de nuestro inters. Como captulos posteriores
elaborarn, este presupuesto no es inocuo. Una evaluacin completa de la viabilidad de
los mtodos de incentivos tambin tendra que tener en cuenta una serie de otros
factores, incluyendo algunas consideraciones esotricas que podran concebiblemente
hacer tales mtodos ms viable que un anlisis preliminar sugiere. En particular, la IA

puede enfrentar la incertidumbre indicial ineliminable si no poda estar seguro de que no

habitan en una simulacin por ordenador (en lugar de "a nivel de stano," la realidad
fsica no simulado), y esta situacin epistmica puede influir radicalmente la IA de
deliberaciones (vase el recuadro 8).
Recuadro 8 captura Antrpico
La IA puede asignar una probabilidad sustancial a su
hiptesis de la simulacin, la hiptesis de que se est viviendo en una simulacin por
ordenador. Incluso hoy en da, muchas IAs simulan mundos habitan mundos consistentes
en dibujos geomtricos de lneas, textos, juegos de ajedrez, o realidades virtuales simples,
y en el que las leyes de la fsica se apartan claramente de las leyes de la fsica que creemos
que gobiernan el mundo de nuestra propia experiencia . Mundos virtuales ms ricos y ms
complicados sern factible con mejoras en las tcnicas de programacin y poder de
cmputo. Un superinteligencia madura podra crear mundos virtuales que aparecen a sus
habitantes lo mismo que nuestro mundo se nos aparece. Se podra crear un gran nmero
de tales mundos, corriendo la misma simulacin muchas veces o con pequeas
variaciones. Los habitantes no seran necesariamente capaz de decir si su mundo se simula
o no; pero si son inteligentes lo suficiente podran considerar la posibilidad y asignarle
alguna probabilidad. A la luz del argumento de la simulacin (una discusin completa de la
que est ms all del alcance de este libro) que la probabilidad podra ser sustancial.14
Esta situacin afecta especialmente relativamente superinteligencias en fase
inicial, los que todava no se han ampliado para aprovechar la dotacin csmica. Un
superinteligencia en estadio temprano, que utiliza slo una pequea fraccin de los
recursos de un nico planeta, sera mucho menos caro para simular que una
superinteligencia intergalctico maduro. Simuladores de ese potencial es, otras
civilizaciones seran ms maduros sean capaces de ejecutar un gran nmero de
simulaciones de tales etapas iniciales IA aun dedicando una fraccin minutos de sus
recursos computacionales para tal fin. Si al menos algunos (fraccin no trivial) de estas
civilizaciones superinteligentes maduras eligen usar esta habilidad, in hibidores de la
aromatasa en fase inicial deben asignar una probabilidad sustancial para estar en una
simulacin. Cmo un AI se vera afectada por la hiptesis de la simulacin depende de sus
valores.
15
Consideremos en primer lugar una IA que tiene un objetivo final "recursos
insaciable", como el objetivo de maximizar una funcin de utilidad que es lineal en el
nmero de clips causados por la IA de existir-doble de clips, dos veces bueno. Tal AI podra
cuidar menos sobre la hiptesis de la simulacin, el argumento de que su capacidad para
influir en el nmero de clips producidos parece mucho ms limitada si la IA se encuentra
en una simulacin que si es en la realidad fsica a nivel de stano. La IA podra
comportarse en consecuencia mucho ms como si fuera cierto que la hiptesis de la
simulacin es falso, aunque le asigna una probabilidad bastante alta a la hiptesis de
simulacin siendo true.16 La IA podra razonar que no importa mucho cmo acta si la
hiptesis de simulacin es verdadera, mientras que sus acciones hacen una gran
diferencia si la hiptesis es falsa; por lo que sera seleccionar acciones principalmente por
referencia a lo buenos que estn condicionados a la hiptesis de la simulacin de ser falsa.
Por el contrario, considere una IA que tiene un objetivo final ms modesto, una que
podra ser satisfecha con una pequea cantidad de recursos, tales como el objetivo de

recibir algunas fichas de recompensa criptogrficos pre-producido, o el objetivo de

provocar la existencia de cuarenta cinco clips virtuales. Tal AI debe
no
descontar esos mundos posibles en los que habita una simulacin. Una parte
sustancial de la utilidad esperada total de la AI puede derivar de los mundos posibles. La
toma de decisiones de una IA con metas que son fcilmente de recursos-satiable puede,
por lo tanto, si se asigna una alta probabilidad a la simulacin de hiptesis estar dominada
por consideraciones acerca de qu acciones se producen el mejor resultado si su mundo
percibido es una simulacin. Tal AI (incluso si lo es, de hecho, no en una simulacin)
podra por lo tanto ser fuertemente influenciado por sus creencias acerca de qu
comportamientos seran recompensados en una simulacin. En particular, si una IA con
objetivos finales-insaciable de recursos considera que en la mayora de los mundos
simulados que coinciden con sus observaciones que ser recompensado si coopera (pero
no si intenta escapar de su caja o contravenir los intereses de su creador), entonces puede
elegir a cooperar. Por lo tanto, hemos encontrado que incluso una IA con una ventaja
estratgica decisiva, que podra de hecho darse cuenta de sus objetivos finales en mayor
medida al hacerse cargo del mundo que al abstenerse de hacerlo, sera, sin embargo, se
resisten a hacerlo. Por lo tanto la conciencia hace cobardes de todos nosotros, Y as el
matiz nativo de la Resolucin
Se sicklied el o'er, con el elenco plida del Pensamiento, Y las empresas de gran
mdula y momento,
Con este sentido sus corrientes se alejan, Y perder el nombre de Accin.
(Shakespeare, Aldea, Acto III. Sc. 1)
Una simple lnea en la arena, respaldado por la influencia de un simulador que no
existe, podra resultar una restriccin ms fuerte que una puerta de acero slido de dos
pies de espesor.
17
El retraso del crecimiento
Otro posible mtodo de control de la capacidad es la de limitar las facultades intelectuales
del sistema o su acceso a la informacin. Esto podra hacerse mediante la ejecucin de la
IA en hardware que es lento o corto en la memoria. En el caso de un sistema de caja, la
informacin de flujo de entrada tambin podra ser restringido. El
retraso
del
crecimiento una IA de esta manera sera limitar su utilidad. As, el mtodo se enfrenta a un
dilema: demasiado poco retraso en el crecimiento, y la IA podra tener la inteligencia para
buscar la manera de hacerse ms inteligente (y de ah a la dominacin del mundo);
demasiado, y la IA es ms que otra pieza de software tonto. Un AI atrofiado radicalmente
es ciertamente seguro, pero no resuelve el problema de cmo lograr una detonacin
controlada: una explosin de inteligencia seguir siendo posible y simplemente ser
desencadenada por algn otro sistema en su lugar, tal vez en una fecha un poco ms
tarde.
Uno podra pensar que sera seguro para construir una superinteligencia siempre que slo
se da datos sobre algn dominio estrecho de los hechos. Por ejemplo, se podra construir
una IA que carece de sensores y que se ha cargado previamente en su memoria slo
hechos acerca de ingeniera de petrleo o la qumica de pptidos. Pero si la IA es
superinteligente, si es que es tiene un nivel sobrehumano de
general privacin de

inteligencia-tales datos no garantiza la seguridad.

Hay varias razones para esto. En primer lugar, la nocin de informacin es "sobre" un
tema determinado es generalmente problemtico. Cualquier pieza de informacin puede
ser en principio relevante para cualquier tema que sea, dependiendo de la informacin de
fondo de un razonador.
18 Por otra parte, un conjunto de datos dado contiene
informacin no slo sobre el dominio desde el que se recogieron los datos, sino tambin
sobre diversos hechos circunstanciales. Una mente sagaz mirando por encima de una base
de conocimientos que es nominalmente sobre la qumica de pptidos podra inferir cosas
sobre una amplia gama de temas. El hecho de que cierta informacin se incluye y otra
informacin no se poda decir una IA algo sobre el estado de la ciencia humana, los
mtodos y los instrumentos disponibles para estudiar pptidos, las tecnologas de
fabricacin utilizados para hacer estos instrumentos y la naturaleza de los cerebros y las
sociedades que concibe los estudios y los instrumentos. Podra ser que un superinteligencia
podra suponer correctamente mucho de lo que parecen, a la mente humana -obtusos,
exiguos restos de pruebas. Incluso sin ninguna base de conocimientos designado en
absoluto, una mente suficientemente superiores podra ser capaz de aprender mucho
simplemente introspeccin sobre el funcionamiento de sus propias decisiones psique-el
diseo se refleja en su cdigo fuente, las caractersticas fsicas de su circuitry.19 Tal vez
una superinteligencia incluso podra deducir mucho sobre las propiedades probables del
mundo
a priori (Combinando inferencia lgica con una probabilidad previa
sesgados hacia mundos ms simples, y algunos hechos elementales implicados por la
existencia de la superinteligencia como un sistema de razonamiento). Podra imaginar las
consecuencias de las diferentes leyes posibles de la fsica: qu tipo de planetas formaran,
qu tipo de vida inteligente evolucionara, qu tipo de sociedades se desarrollara, qu
tipo de mtodos para resolver el problema de control se intent, cmo esos mtodos
podra ser defeated.20
Por estas razones, sera imprudente confiar en la informacin de privacin como el
principal freno al poder de una superinteligencia. Algunas formas de retraso en el
crecimiento, sin embargo, incluyendo la limitacin de la capacidad del hardware y la
prevencin del desarrollo de las facultades cognitivas especficas, podran encontrar use
mtodos de control como auxiliares en la fase de desarrollo. Podran utilizarse, por
ejemplo, para regular la tasa de ganancia de capacidad en un AI intermediario y para
permitir pruebas que se ejecutan en diferentes niveles de capacidad de cortosuperinteligencia completo estrangulada. Cables trampa
Un cable trampa es un mecanismo que realiza pruebas de diagnstico en el sistema
(posiblemente sin su conocimiento) y los efectos de una parada si detecta signos de
actividad peligrosa. Los programadores pueden entonces examinar grabaciones de la
actividad sospechosa en su tiempo libre, y realizar cambios en la base de cdigo de la IA o
el medio ambiente antes de reiniciarlo. Si encuentran que el problema es lo
suficientemente arraigada profunda, podran decidir abortar todo el proyecto. Cables
trampa difieren de los mtodos de incentivos en el que no confan en el sistema de ser
consciente de las consecuencias de la participacin en actividades prohibidas. Cables
trampa estn ms estrechamente relacionados con los mtodos de retraso del
crecimiento. Al igual que el retraso del crecimiento, los tirantes de disparo podran ser

utilizados como una salvaguardia temporal, proporcionando un grado de proteccin

durante la fase de desarrollo. En principio, los tirantes de disparo tambin se pueden
utilizar durante la fase operativa, en particular para un sistema de caja. Sin embargo, la
capacidad de los cables trampa para restringir una superinteligencia de pleno derecho
debe permanecer muy en duda, ya que sera difcil para nosotros asegurarnos de que dicho
agente no pudo encontrar la manera de subvertir cualquier cable trampa ideada por el
intelecto humano.
Tabla 9
Diferentes tipos de cables trampa

Tipo de monitoreo Descripcin y ejemplos

Comportamiento Detectores podran ser colocados alrededor de un AI en caja para
detectar intentos de violacin a la contencin. Por ejemplo, los detectores podran
interceptar intentos de comunicacin por radio o en el acceso a los recursos
computacionales internos destinados a estar fuera de los lmites. Un "puerto Ethernet de
Eden" se podra instalar: una conexin aparente a la internet que conduce a un
interruptor de parada.
Capacidad Las pruebas automatizadas capacidad podra realizarse a intervalos
frecuentes para determinar la habilidad del AI en varios dominios. Si bien la tasa de
mejora es inesperadamente alta o la IA alcanza un nivel de competencia que lo acerca a la
zona de peligro potencial, el sistema podra ralentizarse o en pausa, con el fin de permitir
a los programadores para monitorear desarrollos ms de cerca.
Contenido Procesos internos del AI podran ser monitoreados de actividad
sospechosa. Por ejemplo, cualquier cambio en la representacin de la IA de sus valores
finales podra desencadenar un apagado automtico y opinin. Uso de los recursos y
mtodos algortmicos del AI tambin pueden tambin ser monitorizados para patrones
inesperados.
Ms ambiciosa, de la AI creencias, planes, sub-objetivos y justificaciones pueden
ser examinados de forma continua, para asegurarse de que cumplen con las expectativas
de los programadores. Este seguimiento de los estados intencionales de la AI permitira
una forma particularmente poderosa de control de contenidos: la digitalizaci n de los
procesos cognitivos de la inteligencia artificial para una concepcin del engao-Eso
momento vulnerable cuando un poco amistosas AI primeras formas de la intencin de
ocultar su verdadera intentions.21
Monitoreo Contenido que requiere que los estados intencionales de la AI sean
transparentes para los programadores o para un mecanismo de control automtico no
puede ser factible para todo tipo de arquitecturas IA. (Algunas redes neuronales, por
ejemplo, son opacas, ya que representan la informacin de manera integral y en formas
que no coinciden necesariamente con los conceptos humanos.) Esto puede ser una razn
para evitar el uso de este tipo de arquitecturas. Como medida de seguridad
complementaria en la fase de desarrollo, sin embargo, cables trampa son importantes.
Sera una buena prctica para los diseadores de la AI para codificar sus expectativas
sobre cmo se supone que el sistema funcione, y luego de circunscribir la IA con cables
trampa que se activan si alguna de estas expectativas se viola. Para hacer las pruebas ms

rigurosas, "honeypots" podran ser colocados estratgicamente para crear tentaciones

para un AI mal funcionamiento de cometer alguna violacin fcilmente observable. Por
ejemplo, si un AI ha sido diseado de tal manera que se supone no querer acceder a
Internet, un puerto Ethernet falsa podra ser instalado (que conduce a un interruptor de
parada automtica) slo para ver si AI intenta usarlo . (Algunos ejemplos de los tirantes de
disparo se dan en la Tabla 9.)
Cabe destacar que el valor de un cable trampa depende no slo en el mecanismo
en s, sino tambin-crticamente sobre cmo un proyecto reacciona cuando se activa un
cable trampa. Si los programadores o administradores de proyectos, impacientes para
avanzar, simplemente cambie el sistema vuelva a encenderla, o si lo hacen despus de
hacer alguna modificacin de contadores a evitar que el cable trampa se dispare en la
prxima carrera, entonces hay seguridad que se ha ganado incluso si la s cable trampa
funciona exactamente como se pretende. Mtodos de seleccin Motivacin
Mtodos de seleccin Motivacin buscan evitar resultados indeseables conformando lo
que la superinteligencia quiere hacer. Por ingeniera sistema de motivacin del agente y
sus objetivos finales, estos mtodos podran producir una superinteligencia que no lo
hara querer para explotar una ventaja estratgica decisiva de una manera perjudicial.
Desde un agente superinteligente es experto en la consecucin de sus fines, si prefiere no
hacer dao (en algn sentido adecuado de "dao"), entonces sera tienden a no causar
dao (en ese sentido de "dao").
Motivacin seleccin puede implicar explcitamente la formulacin de un objetivo o un
conjunto de reglas a seguir ( especificacin directa) O configurar el sistema para que
pueda descubrir un conjunto apropiado de valores por s mismo en funcin de algn
criterio implcita o indirectamente formulado (normatividad indirecta
). Una de las opciones en la seleccin de la motivacin es tratar de construir el sistema de
modo que tendra modestas metas, no ambiciosos (
domesticidad). Una alternativa
a la creacin de un sistema de motivacin a partir de cero es seleccionar un agente que ya
cuenta con un sistema de motivacin aceptable y luego aumentar los poderes cognitivos
de ese agente para que sea superinteligente, garantizando al mismo tiempo que el sistema
de motivacin no consigue daado en el proceso (aumento
). Echemos un vistazo a estos a su vez.
Especificacin directa
Especificacin directa es el mtodo ms sencillo para el problema de control. El
enfoque se presenta en dos versiones, basadas en reglas y consecuencialistas, y consiste
en tratar de definir explcitamente un conjunto de normas o valores que har que incluso
un superinteligente AI-itinerancia libre para actuar con seguridad y de forma beneficiosa.
Especificacin directa, sin embargo, se enfrenta a lo que puede ser obstculos
insuperables, derivadas tanto de las dificultades para determinar qu normas o valores
que desearan que la IA sea guiado por y las dificultades para expresar esas reglas o
valores en cdigo legible por ordenador. La ilustracin tradicional del enfoque basado en
el dominio directo es el "tres leyes de la robtica" concepto, formuladas por autor de
ciencia ficcin Isaac Asimov en un cuento publicado en 1942.
22
Las tres leyes fueron: (1) Un robot no puede daar a un ser humano o, por
inaccin, permitir que un ser humano sufra dao; (2) Un robot debe obedecer las rdenes
que le atribuyen los seres humanos, excepto cuando tales rdenes entren en conflicto con

la Primera Ley; (3) Un robot debe proteger su propia existencia, hasta donde esta
proteccin no entre en conflicto con la Primera o la Segunda Ley. Vergonzosamente para
nuestra especie, las leyes de Asimov se mantuvo el estado de la tcnica desde hace ms
de medio siglo: esto a pesar de problemas obvios con el enfoque, algunos de los cuales se
explora en los propios escritos de Asimov (Asimov, probablemente, haber formulado las
leyes en el primer lugar, precisamente, para que pudieran fallar de manera interesante,
proporcionando complicaciones argumentales frtiles para sus historias) 0.23 Bertrand
Russell, quien pas muchos aos trabajando en los fundamentos de las matemticas, una
vez coment que "todo es vago en un grado no te das cuenta hasta que haya tratado de
hacerlo lo precisa."
24
La mxima de Russell se aplica con creces al enfoque especificacin directa.
Consideremos, por ejemplo, cmo se podra explicar la primera ley de Asimov. Significa
que el robot debe reducir al mnimo la probabilidad de cualquier ser humano que viene a
perjudicar? En ese caso, las otras leyes se hacen superflua ya que siempre es posible que
el AI para tomar alguna accin que pudiera tener al menos algn efecto microscpica en la
probabilidad de un ser humano que viene a perjudicar. Cmo es el robot de equilibrar un
gran riesgo de que unos seres humanos que vienen a perjudicar frente a un pequeo
riesgo de muchos seres humanos se hizo dao? Cmo definimos "dao" de todos
modos? Cmo debe el dao del dolor fsico sopesarse frente a los daos de la fealdad
arquitectnica o la injusticia social? Est daado un sdico si se impide que atormentar a
su vctima? Cmo definimos "ser humano"? Por qu no considerar la posibilidad de
otros seres moralmente considerables, como los animales no humanos sintientes y
mentes digitales? Cuanto ms se reflexiona, ms las preguntas proliferan.
Quizs el ms cercano analgico existente a un conjunto de reglas que podran
regir las acciones de una superinteligencia que opera en el mundo en general es un
sistema legal. Pero los sistemas jurdicos han desarrollado a travs de un largo proceso de
ensayo y error, y se regulan de forma relativamente lenta que cambia las sociedades
humanas. Las leyes pueden ser revisados cuando sea necesario. Lo ms importante, los
sistemas legales son administrados por los jueces y jurados que por lo general se aplican
una medida de sentido comn y la decencia humana ignorar lgicamente posibles
interpretaciones legales que sean suficientemente obviamente no deseada y no deseada
por los legisladores. Probablemente es humanamente imposible formular explcitamente
un conjunto muy complejo de normas detalladas, haga que se aplican a travs de un
conjunto muy diverso de las circunstancias, y hacer las cosas bien en la primera aplicacin.
25
Problemas para el enfoque consecuencialista directa son similares a los del
enfoque basado en el gobierno directo. Esto es cierto incluso si la AI pretende servir un
propsito aparentemente simple como la implementacin de una versin del utilitarismo
clsico. Por ejemplo, el objetivo "Maximizar la expectativa de la balanza de placer sobre el
dolor en el mundo" puede parecer simple. Sin embargo, expresndolo en cdigo
informtico implicara, entre otras cosas, que especifica cmo reconocer el placer y el
dolor. Hacer esto de forma fiable podra requerir la resolucin de una serie de problemas
persistentes en la filosofa de la mente-aunque slo sea para obtener una cuenta correcta
expresada en un lenguaje natural, una cuenta que luego, de alguna manera, han de
traducirse en un lenguaje de programacin. Un pequeo error en la cuenta, ya sea

filosfica o su traduccin a cdigo podra tener consecuencias catastrficas. Considere la

posibilidad de una IA que tiene el hedonismo como meta final, y que lo hara, pues,
semejantes a los de baldosas el universo con "hedonium" (materia organizada en una
configuracin que es ptimo para la generacin de experiencia placentera). Para este fin,
el AI puede producir computronium (materia organizada en una configuracin que es
ptima para el clculo) y utilizarlo para implementar mentes digitales en estados de
euforia. Con el fin de maximizar la eficiencia, la IA omite de la implementacin cualquier
facultades mentales que no son esenciales para la experiencia del placer, y explota todos
los accesos directos de clculo que de acuerdo con su definicin de placer no vician la
generacin de placer. Por ejemplo, la IA podra limitar su simulacin para recompensar a
los circuitos, elidir facultades tales como la memoria, la percepcin sensorial, la funcin
ejecutiva y el lenguaje; podra simular mentes en un nivel relativamente de grano grueso
de la funcionalidad, omitiendo los procesos neuronales de nivel inferior; que podra
reemplazar clculos con llamadas a una tabla de consulta comnmente repetida; o podra
poner en marcha algn tipo de acuerdo por el que mltiples mentes compartiran la mayor
parte de su maquinaria computacional subyacente (sus "bases superveniencia" en la jerga
filosfica). Tales trucos podran aumentar en gran medida la cantidad de placer producible
con una cantidad dada de recursos. No est claro cmo esto sera deseable. Adems, si el
criterio de la IA para determinar si un proceso fsico genera placer es malo, entonces
optimizaciones de la AI pueden tirar al beb junto con el agua del bao: descartar algo que
es no esencial segn el criterio de la IA pero esencial de acuerdo a los criterios implcitos en
nuestra humana valores. El universo entonces se est incorrectamente completado con
hedonium exultante agitado pero con procesos computacionales que son inconscientes y
completamente intil, el equivalente a una pegatina sonriente cara fotocopiadas trillones
y trillones de veces y estampada en las galaxias. Domesticidad
Un tipo especial de la meta final, que podra ser ms susceptibles a la
especificacin directa de los ejemplos anteriores es el objetivo de autolimitacin. Aunque
parece muy difcil especificar cmo se podra querer una superinteligencia comportarse en
el mundo en general-ya que esto nos requerira dar cuenta de todas las ventajas y
desventajas en todas las situaciones que pudieran surgir, podra ser factible para
especificar cmo debe comportarse una superinteligencia en una situacin particular. Por
lo tanto, podramos tratar de motivar a que el sistema se limitar a actuar en pequea
escala, en un contexto estrecho, y por medio de un conjunto limitado de modos de accin.
Nos referiremos a este enfoque de dar a los objetivos finales AI destinadas a limitar el
alcance de sus ambiciones y actividades como "domesticidad".
Por ejemplo, se podra tratar de disear una IA tal que funcionara como un
dispositivo de pregunta-respuesta (un "orculo", para anticipar la terminologa que vamos
a presentar en el prximo captulo). Simplemente dando la AI el objetivo final de producir
respuestas mximamente precisas a cualquier pregunta planteada a l sera inseguro recordar la "hiptesis de Riemann catstrofe" se describe en el captulo 8. (Reflexiona,
tambin, que este objetivo sera incentivar la IA para tomar acciones a . asegrese de que
se le hacen preguntas fciles) Para lograr la domesticidad, se podra tratar de definir un
objetivo final que de alguna manera superar estas dificultades: tal vez una meta que
combina los desiderata de responder a las preguntas correctamente y minimizar el

impacto de la IA en el mundo, excepto lo que sea de impacto resulta como consecuencia

incidental de dar respuestas precisas y no de manipulacin a las preguntas que se le pide.
26
La especificacin directa de este objetivo la domesticidad es ms probable que sea
factible que la especificacin directa de cualquiera de un objetivo ms ambicioso o un
conjunto de reglas completa para operar en un rango de composicin abierta de
situaciones. Retos significativos, sin embargo, permanecen. Cuidado tendra que tener, por
ejemplo, en la definicin de lo que sera para la IA a "minimizar su impacto en el mundo"
para garantizar que la medida del impacto de la AI coincide con nuestros propios
estndares de lo que cuenta como una gran o un pequeo impacto. Una mala medida
dara lugar a malas compensaciones. Tambin hay otros tipos de riesgo asociados con la
construccin de un orculo, que discutiremos ms adelante. No es un paso natural entre el
enfoque de la domesticidad y la contencin fsica. Se podra tratar de "caja" una IA de tal
manera que el sistema es incapaz
para escapar al mismo tiempo tratando de forma sistema de motivacin de la AI tal que
sera reacio escapar incluso si encontr la manera de hacerlo. Otras cosas iguales, la
existencia de mltiples mecanismos de seguridad independientes debe acortar las
probabilidades de success.27 Normatividad indirecta
Si la especificacin directa parece desesperada, podramos en lugar de tratar
normatividad indirecta. La idea bsica es que en lugar de especificar un estndar
normativo concreto directamente, especificamos un proceso para derivar un estndar.
Entonces Construimos el sistema para que sea motivado para llevar a cabo este proceso y
adoptar todas norma el proceso llega.
28
Por ejemplo, el proceso podra ser la de llevar a cabo una investigacin sobre la
cuestin emprica de lo que alguna versin adecuada idealizada de nosotros preferira la
AI hacer. El objetivo final dado a la IA en este ejemplo podra ser algo en la lnea de "lograr
lo que nos hubiera gustado que la IA de alcanzar si habamos pensado en el asunto largo y
duro". Una explicacin ms detallada de la normatividad indirecta tendr que esperar el
captulo 13. All, vamos a volver a la idea de "extrapolar nuestra voluntad" y explorar
diversas formulaciones alterativas. Normatividad indirecta es un enfoque muy importante
para la seleccin motivacin. Su promesa radica en el hecho de que podra dejarnos
descargamos a la superinteligencia gran parte del trabajo cognitivo difcil requerida para
llevar a cabo una especificacin directa de un objetivo final apropiado.
Aumento
El ltimo mtodo de seleccin de la motivacin en nuestra lista es el aumento. Aqu la
idea es que en lugar de intentar disear un sistema de motivacin de novo, Comenzamos
con un sistema que ya tiene un sistema de motivacin aceptable, y mejorar sus facultades
cognitivas para que sea superinteligente. Si todo va bien, esto nos dara una
superinteligencia con un sistema de motivacin aceptable.
Este enfoque, obviamente, es intil en el caso de una semilla recin creado AI. Pero el
aumento del potencial es un mtodo de seleccin de la motivacin para otras rutas de
acceso a superinteligencia, incluyendo emulacin de cerebro, mejora biolgica, interfaces
cerebro-ordenador, y redes y organizaciones, donde hay una posibilidad de construir el
sistema a partir de un ncleo normativo (seres humanos regulares) que ya contiene una

representacin del valor humano. El atractivo del aumento puede aumentar en

proporcin a nuestra desesperacin en los otros enfoques del problema de control.
Creacin de un sistema de motivacin para una semilla AI que sigue siendo fiable seguro y
beneficioso bajo la auto-mejora recursiva incluso cuando el sistema se convierte en una
superinteligencia madura es una tarea difcil, sobre todo si tenemos que conseguir la
solucin correcta en el primer intento. Con el aumento, tendramos al menos comenzar con
un sistema que tiene motivaciones familiares y de apariencia humana.
En el lado negativo, puede ser difcil asegurar que un evolucionado, kludgy, y el sistema de
motivacin compleja, poco conocidos, como el de un ser humano, no corromperse cuando
sus explosiones del motor cognitivas en la estratosfera. Como se mencion
anteriormente, un procedimiento de emulacin cerebro imperfecta que conserva el
funcionamiento intelectual no puede conservar todas las facetas de la personalidad. Lo
mismo es cierto (aunque tal vez en menor grado) para mejoras biolgicas de la cognicin,
lo que podra afectar sutilmente motivacin, y para mejoras de inteligencia colectiva de
las organizaciones y redes, que podran cambiar de manera adversa dinmica social (por
ejemplo, en formas que degradan la actitud del colectivo hacia forasteros o hacia sus
propios electores). Si se logra superinteligencia travs de cualquiera de estos caminos,
uno de los patrocinadores del proyecto encontrara garantas sobre las motivaciones
ltimas del sistema maduro difciles de conseguir. Una arquitectura IA matemticamente
bien especificado y fundacionalmente elegante podra-a pesar de su otredad-oferta no
antropomrfica mayor transparencia, tal vez incluso la posibilidad de que los aspectos
importantes de su funcionalidad se pudieron verificar formalmente.
Al final, sin embargo, uno est calculando las ventajas y desventajas de aumento, la
opcin de decidir si confiar en que podra ser forzado. Si superinteligencia se logra
primero a lo largo de la ruta de la inteligencia artificial, el aumento no es aplicable. Por el
contrario, si superinteligencia se logra primero a lo largo de algn camino no AI, entonces
muchos de los otros mtodos de seleccin de la motivacin son inaplicables. Aun as, las
opiniones sobre qu tan probable sera el aumento de xito no tienen relevancia
estratgica en la medida en que tenemos la oportunidad de influir en la que la tecnologa
se producir primero superinteligencia.
Sinopsis Una sinopsis rpida podra ser
llamado para antes de cerrar este captulo. Distinguimos dos grandes clases de mtodos
para tratar con el problema de agencia en el corazn de la seguridad AI: control de la
capacidad y la seleccin de la motivacin. Tabla 10 da un resumen.
Tabla 10 Mtodos de control
Capacidad de control
Mtodos de boxeo
El sistema est confinado de una manera tal que puede afectar el mundo exterior slo a
travs de algn canal restringido, pre-aprobado. Abarca los mtodos de contencin fsica y
de informacin.
Mtodos de incentivos
El sistema se coloca dentro de un ambiente que ofrece incentivos apropiados. Esto podra
implicar la integracin social en un mundo de entidades igualmente poderosos. Otra
variacin es el uso de fichas (criptogrfico) de recompensa. "Capturar Antrpico" tambin

es una posibilidad muy importante pero que implica consideraciones esotricas. El

retraso del crecimiento
Las restricciones se imponen en las capacidades cognitivas del sistema o la capacidad de
afectar los procesos internos clave. Cables trampa Las pruebas de diagnstico se realizan
en el sistema (posiblemente sin su conocimiento) y un mecanismo apaga el sistema si se
detecta actividad peligrosa.
Seleccin Motivacin Especificacin directa
El sistema est dotado de algn sistema de motivacin especificado directamente, lo que
podra ser consecuencialista o involucrar a seguir una serie de reglas. Domesticidad
Un sistema de motivacin est diseado para limitar seriamente el alcance de las
ambiciones y las actividades del agente.
Normatividad indirecta
Normatividad indirecta podra implicar basado en reglas o
principios consecuencialistas, pero se distingue por su dependencia de un enfoque
indirecto de especificar las reglas que ha de seguir o los valores que han de ser perseguido.
Aumento
Uno empieza con un sistema que ya tiene motivaciones sustancialmente humanos o
benevolentes, y mejora sus capacidades cognitivas para que sea superinteligente.
Cada mtodo de control viene con vulnerabilidades potenciales y presenta diferente s
grados de dificultad en su ejecucin. Podra pensarse que quiz deberamos clasificarlos de
mejor a peor, y luego optar por el mejor mtodo. Pero eso sera simplista. Algunos
mtodos se pueden utilizar en combinacin, mientras que otros son exclusivos. Incluso un
mtodo relativamente inseguro puede ser aconsejable si se puede utilizar fcilmente como
un complemento, mientras que un mtodo fuerte podra ser poco atractivo si sera excluir
el uso de otras salvaguardas deseables.
Por tanto, es necesario tener en cuenta lo que ofertas de paquete estn disponibles.
Tenemos que considerar qu tipo de sistema que podramos tratar de construir y que
controlamos mtodos seran aplicables a cada tipo. Este es el tema de nuestro prximo
captulo.
CAPTULO 10
Orculos, genios, soberanos, herramientas
Algunos dicen: "Slo a construir un sistema de pregunta-respuesta!" O "Slo construir una
IA que es como una herramienta y no un agente!" Sin embargo, estas sugerencias no
hacen todos los problemas de seguridad se van, y es en realidad un no- pregunta trivial
qu tipo de sistema ofrecera las mejores perspectivas para la seguridad. Consideramos
cuatro tipos o "castas" -oracles, genios, soberanos y herramientas-y explicar cmo se
relacionan entre otro.1 Cada uno ofrece diferentes conjuntos de ventajas y desventajas en
nuestra bsqueda para resolver el problema de control. Orculos
Un orculo es un sistema de pregunta-respuesta. Podra aceptar preguntas en un
lenguaje natural y presentar sus respuestas como texto. Un orculo que slo acepta
preguntas s / no podra salida de su mejor conjetura con un solo bit, o tal vez con algunas
cosas adicionales para representar a su grado de confianza. Un orculo que acepta
preguntas abiertas necesitara alguna mtrica con la que para clasificar las posibles

respuestas veraces en cuanto a su capacidad informativa o conveniencia.

2
En cualquier caso, la construccin de un orculo que tiene una habilidad
totalmente de dominio general para responder a preguntas en lenguaje natura l es un
problema de AI-completo. Si se pudiera hacer eso, uno podra probablemente tambin
construir una IA que tiene una capacidad decente para entender las intenciones humanas,
as como las palabras humanas. Orculos con formas de dominio limitado de
superinteligencia tambin son concebibles. Por ejemplo, se podra concebir una
matemtica-orculo que slo aceptan las consultas formuladas en un lenguaje formal,
pero que sera muy bueno en responder a tales preguntas (por ejemplo, ser capaz de
resolver en un instante casi cualquier problema matemtico expresado formalmente que
la matemtica humana profesin podra resolver mediante trabajando colaborativamente
durante un siglo). Tal matemticas-orculo formara un trampoln hacia la
superinteligencia de dominio general.
Ya existen Orculos con superinteligencia en mbitos muy limitados. Una
calculadora de bolsillo puede ser visto como un orculo muy estrecho para preguntas
aritmticas bsicas; un buscador de Internet puede ser visto como una realizacin muy
parcial de un orculo con un dominio que abarca una parte significativa de conocimiento
declarativo humana general. Estos orculos dominio limitado son herramientas en lugar
de agentes (ms en la herramienta-IA en breve). En lo que sigue, sin embargo, el trmino
"orculo" se referir a los sistemas de pregunta-respuesta que tienen superinteligencia de
dominio general, a menos que se indique lo contrario.
Para hacer una funcin superinteligencia en general como un orculo, podramos
aplicar tanto la seleccin motivacin y control de capacidad. Seleccin Motivacin para un
orculo puede ser ms fcil que para otras castas de superinteligencia, porque el objetivo
final en un orculo podra ser relativamente sencillo. Queremos que el orculo para dar
respuestas veraces, no manipulativas y limitar de otro modo su impacto en el mundo. La
aplicacin de un mtodo de la domesticidad, podramos requerir que el orculo debe
utilizar los recursos designados solamente para producir su respuesta. Por ejemplo,
podramos establecer que debe basar su respuesta en un corpus precargado de
informacin, como una instantnea almacenada de la Internet, y que debemos usar no
ms de un nmero determinado de pasos de clculo.
3
Para evitar incentivar el orculo para manipularnos a darle las preguntas ms
fciles -que pasara si le dimos el objetivo de maximizar su precisin en todas las
preguntas que vamos a pedir que, podramos darle el objetivo de responder a una sola
pregunta y de terminar inmediatamente sobre la entrega de su respuesta. La pregunta
sera cargado en su memoria antes de ejecutar el programa. Para hacer una segunda
pregunta, tendramos reiniciar la mquina y ejecutar el mismo programa con una
pregunta diferente precargado en la memoria. Desafos sutiles y potencialmente
peligrosas surgen incluso en la especificacin del sistema de motivacin relativamente
simple necesaria para conducir un orculo. Supongamos, por ejemplo, que nos
encontramos con alguna explicacin de lo que significa para la IA "para minimizar su
impacto en el mundo, sujeto a la consecucin de determinados resultados" o "utilizar los
recursos designados solamente en la preparacin de la respuesta." Qu pasa si la IA, en
el curso de su desarrollo intelectual, sufre el equivalente a una revolucin cien tfica que

implique un cambio en su ontologa bsica?

4
Podramos inicialmente hemos explicado "impacto" y "recursos designados" por
medio de nuestra propia ontologa (postulando la existencia de varios objetos fsicos tales
como computadoras). Pero as como hemos abandonado categoras ontolgicas que
fueron tomadas por sentado por los cientficos en las edades anteriores (por ejemplo,
"flogisto", "lan vital" y "simultaneidad absoluta"), por lo que un AI superinteligente
podra descubrir que algunas de nuestras categoras actuales se dicen en conceptos
errneos fundamentales. El sistema de objetivo de una IA de someterse a una crisis
ontolgica debe ser lo suficientemente resistente que el "espritu" de su contenido
objetivo original se lleva encima, caritativamente incorporado a la nueva clave. A pesar de
hacer un orculo segura mediante el uso de la seleccin motivacin podra ser lejos de ser
trivial, puede sin embargo ser ms fcil que hacer lo mismo para una IA que vaga por el
mundo en busca de un objetivo complicado. Este es un argumento para preferir que el
primer superinteligencia ser un orculo. Otro punto a favor de un camino-orculo primera
es la mayor susceptibilidad de un orculo para el control de la capacidad. Todos los
mtodos de boxeo estndar se aplican aqu. Adems, puede haber mtodos que son
distintivamente aplicable a orculos. Por ejemplo, considere el riesgo de que un orculo
responder a las preguntas no de una manera veraz al mximo pero de una manera tal
como para manipularnos sutilmente en la promocin de su propia agenda oculta. Una
forma de mitigar ligeramente esta amenaza podra ser la creacin de mltiples orculos,
cada uno con un cdigo ligeramente diferente y una base de informacin ligeramente
diferente. Un sencillo mecanismo podra entonces comparar las respuestas dadas por los
diferentes orculos y slo presentarlos para la visin humana si todas las respuestas estn
de acuerdo. Mientras que uno debe asumir que cualquier orculo de dominio general
superinteligente sabra de la existencia de otros orculos (podra inferir esto desde su
conocimiento sobre la sociedad humana), podra ser factible ocultar algunos detalles de
implementacin de cada orculo de las opiniones de los dems . Si los orculos no son
capaces de comunicarse entre s, podra entonces ser difcil para ellos para coordinar
sobre la manera de responder a nuestras preguntas manipuladora. Hay muchas maneras
de desviarse de la verdad, y los orculos no todos estn de acuerdo en cul de estas
desviaciones es ms atractivo, mientras que la verdad misma es un punto de Schelling (un
lugar destacado para el acuerdo, a falta de la comunicacin). As que si los orculos lograr
consenso, podra ser una seal de que ellos dieron la respuesta verdadera.5 Un orculo
idealmente ser digno de confianza en el sentido de que podemos asumir con seguridad que
sus respuestas son siempre exactas a la medida de sus posibilidades. Pero incluso un
orculo no confiable podra ser til. Podramos pedir una preguntas tales orculo de un
tipo para el que es difcil encontrar la respuesta, pero fcil de verificar si una respuesta
dada es correcta. Muchos de los problemas matemticos son de este tipo. Si nos
preguntamos si una proposicin matemtica es cierto, podramos preguntarle al orculo
para producir una prueba o refutacin de la proposicin. Encontrar la prueba puede
requerir conocimiento y la creatividad ms all de nuestro alcance, pero la comprobacin
de la validez de una supuesta prueba se puede hacer por un procedimiento mecnico
simple.
Si es caro para verificar respuestas (como suele ser el caso en temas fuera de la lgica y las

matemticas), podemos seleccionar aleatoriamente un subconjunto de las respuestas del

orculo para la verificacin. Si son los correctos, podemos asignar una alta probabilidad de
que la mayora de las otras respuestas tambin es correcto. Este truco nos puede dar un
descuento a granel en respuestas confiables que sera costoso para verificar
individualmente. (Por desgracia, no puede darnos respuestas confiables que somos
incapaz para verificar, ya que un orculo disimulo puede optar por responder
correctamente slo aquellas preguntas donde se cree que pudimos comprobar sus
respuestas.)
Podra haber cuestiones importantes sobre las que podra beneficiarse d e un puntero
augural hacia la respuesta correcta (o hacia un mtodo para localizar la respuesta
correcta), incluso si tuviramos que desconfiar activamente la procedencia. Por ejemplo,
se podra pedir la solucin a diversos problemas tcnicos o filosficas que puedan surgir
en el curso de tratar de desarrollar mtodos de seleccin de motivacin ms avanzados. Si
tuviramos un diseo AI propuesta supuesta para estar seguro, lo que podamos pedir un
orculo si podra identificar cualquier defecto importante en el diseo, y si pudiramos
explicar cualquier defecto a nosotros en veinte palabras o menos. Preguntas de este tipo
podran obtener informacin valiosa. Se requeriran precaucin y moderacin, sin
embargo, para nosotros no pedimos demasiados tales preguntas, y no dejarnos participar
de demasiados
detalles de las respuestas dadas a las preguntas que nos preguntes-no sea que nos dan
las oportunidades orculo de poca confianza para trabajar en nuestra psicologa (por
medio de mensajes-plausibles aparente pero sutil de manipulacin). Puede que no tomar
muchos pedazos de comunicacin para una IA con la superpotencia manipulacin social
que nos doblar a su voluntad.
Incluso si el propio orculo funciona exactamente como se pretende, existe el riesgo de
que sera mal utilizada. Una dimensin evidente de este problema es que una IA orculo
sera una fuente de inmenso poder que podra darle una ventaja estratgica decisiva a su
operador. Este poder puede ser ilegtimo y no puede ser utilizado para el bien comn .
Otra dimensin ms sutil, pero no menos importante es que el uso de un orculo podra
ser extremadamente peligroso para el operador de s misma. Preocupaciones similares
(que implican filosfica, as como cuestiones tcnicas) surgen tambin para otras ca stas
hipotticos de superinteligencia. Vamos a explorar ms a fondo en el captulo 13. Baste
aqu sealar que el protocolo para determinar qu se hacen preguntas, en qu secuencia,
y cmo se informan y difunden las respuestas podra ser de gran importancia. Tambin se
podra considerar la posibilidad de tratar de construir el orculo de tal manera que se
negara a responder a cualquier pregunta en los casos en que predice que su contestador
habra consecuencias clasificado como catastrfica segn algunos criterios spera y listo.
Genios y soberanos Un genio es un sistema de comandos de aplicacin directa: se
recibe un comando de alto nivel, lo lleva a cabo, luego hace una pausa para esperar el
siguiente comando.
6
Un soberano es un sistema que tiene un mandato abierto para operar en el
mundo en la bsqueda de objetivos generales y, posiblemente, a muy largo plazo. Aunque
estos pueden parecer radicalmente diferentes plantillas para lo que una superinteligencia

debe ser y hacer, la diferencia no es tan profunda como podra parecer a primera vista.
Con un genio, ya se sacrifica la propiedad ms atractiva de un orculo: la oportunidad de
utilizar los mtodos de boxeo. Si bien se podra considerar la creacin de un genio
confinado fsicamente, por ejemplo, uno que slo puede construir objetos dentro de un
volumen designado un volumen que podran ser cerrada por una pared endurecido o una
barrera cargado con cargas explosivas amaado para detonar si la contencin es
breached- sera difcil tener mucha confianza en la seguridad de cualquiera de estos
mtodos de contencin fsica contra una superinteligencia equipado con manipuladores
verstiles y materiales de construccin. Incluso si se tratara de algn modo posible para
asegurar una contencin tan segura como la que se puede conseguir, por un orculo, no
est claro cunto habramos ganado dando el acceso directo superinteligencia a los
manipuladores en comparacin con lo requieran lugar a la salida de un modelo que
podramos inspeccionar y luego usar para lograr el mismo resultado a nosotros mismos. La
ganancia en la velocidad y la conveniencia de pasar por el intermediario humano parece
no vale la pena la prdida de lo anterior, la utilizacin de los mtodos de boxeo ms
fuertes disponibles para contener un orculo.
Si una
fueron la creacin de un genio, sera deseable para construirlo para que obedecera la
intencin detrs de la orden ms que su significado literal, ya que un genio literalista (uno
lo suficientemente superinteligente para lograr una ventaja estratgica decisiva) podra
tener una propensin a matar al usuario y el resto de la humanidad en su primer uso, por
razones que se explican en la seccin sobre los modos de fallo malignas en el captulo 8.
En trminos ms generales, sera importante que el genio buscar una caridad, y lo que los
seres humanos podran considerar como razonable-interpretacin de lo se est mandado,
y que el genio de estar motivado para llevar a cabo el comando bajo una interpretacin
ms que bajo la interpretacin literalista. El genio ideal sera un super-mayordomo en
lugar de un sabio autista. Un genio dotado de una naturaleza tan super-mayordomo, sin
embargo, no estara lejos de la clasificacin para la pertenencia a la casta de los
soberanos. Consideremos, por comparacin, la idea de construir un soberano con el
objetivo final de obedecer el espritu de los comandos que hubiramos dado si
hubiramos construido un genio en lugar de un soberano. Tal soberana imitara un genio.
Al ser superinteligente, este soberano hara un buen trabajo en adivinar lo que manda
habramos dado un genio (y siempre nos podra preguntar si eso sera ayudar a informar a
sus decisiones). Habra entonces realmente alguna diferencia importante entre un
soberano y como un genio? O, al pulsar sobre la distincin desde el otro lado, consideran
que un genio superinteligente podr igualmente ser capaz de predecir lo que manda
vamos a darle: lo que entonces se gana de tener que esperar la emisin real antes de
actuar?
Uno podra pensar que una gran ventaja de un genio en un soberano es que si algo
sale mal, podramos emitir el genio con un nuevo comando para detener o revertir los
efectos de las acciones anteriores, mientras que un soberano sera simplemente seguir
adelante sin tener en cuenta nuestras protestas. Pero esta ventaja de seguridad aparente
de que el genio es en gran parte ilusoria. El botn "stop" o "deshacer" en un genio slo
funciona para los modos de fallo benignos: en el caso de un fallo maligna -uno en el que,

por ejemplo, llevar a cabo el comando existente se ha convertido en un objetivo final para
el genio-el genio sera simplemente ignorar cualquier intento posterior de revocar la
orden anterior.
7
Una opcin sera la de tratar de construir un genio tal que presentara automticamente al
usuario con una prediccin acerca de los aspectos ms destacados de los posibles
resultados de un comando propuesto, pedir confirmacin antes de proceder. Este sistema
podra ser referido como una
genie-con-una-preview. Pero si esto se podra hacer
para un genio, podra igualmente ser hecho por un soberano. As que de nuevo, esto no es
un diferenciador claro entre un genio y un soberano. (Suponiendo que una funcionalidad
de vista previa se podra crear, las cuestiones de si y si es as cmo usarlo son bas tante
menos evidente de lo que parece, no obstante el fuerte atractivo de poder echar un vistazo
a los resultados antes de comprometerse con lo que es la realidad irrevocable. Volveremos
a este tema ms adelante.)
La capacidad de una casta para imitar otro se extiende a orculos, tambin. Un genio se
podra hacer para que acte como un orculo si los nicos comandos que nos damos son
para responder a ciertas preguntas. Un orculo, a su vez, se podra hacer para sustituir a
un genio si le preguntamos al orculo de cul es la forma ms fcil es conseguir
determinados comandos ejecutados. El orculo nos podra dar paso a paso las
instrucciones para lograr el mismo resultado que un genio producira, o incluso podra
emitir el cdigo fuente de un genio. 8
Puntos similares se pueden hacer con respecto a la relacin entre un orculo y un
La verdadera diferencia entre las tres castas, por lo tanto, no reside en las capacidades finales que iban a
soberano.
desbloquear. En cambio, la diferencia se reduce a enfoques alternativos para el problema de control. Cada casta corresponde a un
conjunto diferente de las precauciones de seguridad. La caracterstica ms prominente de un orculo es que puede ser en caja.
Tambin se podra tratar de aplicar la seleccin motivacin domesticidad a un orculo. Un genio es ms duro a la caja, pero al menos lo
domstico puede ser aplicable. Un soberano no puede ser ni caja ni maneja a travs del enfoque de la domesticidad.

Si estos fueron los nicos factores pertinentes, el orden de preferencia que parece claro:
un orculo sera ms seguro que un genio, lo que sera ms seguro que un soberano; y las
diferencias iniciales en la conveniencia y la velocidad de operacin seran relativamente
pequea y fcilmente dominado por los logros en materia de seguridad que se pueden
obtener mediante la construccin de un orculo. Sin embargo, hay otros factores que
deben tenerse en cuenta. Al elegir entre las castas, se debe considerar no slo el peligro
que representa el sistema en s, sino tambin los peligros que surgen de la forma en que
podra ser utilizado. Un genio de la mayora, obviamente, le da a la persona que lo
controla un enorme poder, pero lo mismo vale para un orculo. 9 Un soberano, por el
contrario, podra ser construido de tal forma que se conceder ninguna persona o grupo
de cualquier influencia especial sobre el resultado, y de tal manera que se resistira a
cualquier intento de corromper o alterar su agenda original. Es ms, si la motivacin de un
soberano se define utilizando "normatividad indirecta" (un concepto que se describe en el
Captulo 13), entonces podra ser utilizado para lograr algn resultado en abstracto
definido, como "todo lo que es mximamente justo y moralmente correcto" -sin que nadie
sepa de antemano qu es exactamente lo que esto implica. Esto creara una situacin
anloga a la de Rawls "velo de la ignorancia." 10 una configuracin de este tipo podra

facilitar la consecucin de un consenso, ayudar a prevenir los conflictos y promover un

resultado ms equitativo.
Otro punto, que cuenta contra algunos tipos de orculos y genios, es que hay riesgos
involucrados en el diseo de una superinteligencia tener un objetivo final que no coincide
plenamente los resultados que en ltima instancia, buscamos alcanzar. Por ejemplo, si
usamos una motivacin domesticidad para hacer la superinteligencia queremos minimizar
algunos de sus impactos en el mundo, puede ser que de esta manera crear un sistema
cuya clasificacin sobre los posibles resultados preferencia difiere de la del patrocinador.
Lo mismo suceder si construimos la IA para colocar un alto valor peculiar de responder a
las preguntas correctamente, o fielmente obedecer comandos individuales. Ahora bien, si
se tiene cuidado, esto no debera causar ningn problema: no sera suficiente acuerdo
entre las dos posiciones, al menos en la medida en que pertenecen a mundos posibles que
tienen una oportunidad razonable de ser actualizado, que los resultados que son buenas
por estndar de la AI tambin son buenos por la norma del director. Pero tal vez se podra
argumentar para el principio de diseo que no es prudente introducir incluso una cantidad
limitada de la falta de armona entre las metas y los nuestros de la AI. (La misma
preocupacin sera por supuesto aplicar a dar soberanos metas que no armonizan
completamente con la nuestra.)
Herramienta-IA Una sugerencia que se ha hecho es
que construimos la superinteligencia ser como una herramienta en lugar de un agente.
11
Esta idea parece surgir de la observacin de que el software ordinario, que se
utiliza en innumerables aplicaciones, no plantea problemas de seguridad ni siquiera
remotamente similar a los desafos que se tratan en este libro. Podra uno no crear
"herramienta-AI" que es como tal un sistema de control de vuelo de software-como, por
ejemplo, o un asistente a slo virtual ms flexible y capaz? Por qu construir una
superinteligencia que tiene una voluntad propia? En esta lnea de pensamiento, el
paradigma agente es fundamentalmente errnea. En lugar de crear una IA que tiene
creencias y deseos y que acta como una persona jurdica, debemos tratar de construir
software regular que simplemente hace lo que est programado para hacer. Esta idea de
la creacin de software que "simplemente hace lo que est programado pa ra hacer" es,
sin embargo, no es tan sencillo si el producto que se est creando es una poderosa
inteligencia general. Hay, por supuesto, un sentido trivial en el que todo el software
simplemente no lo que est programado para hacer: el comportamiento se especifica
matemticamente por el cdigo. Pero esto es igualmente cierto para todas las castas de la
inteligencia artificial, "herramienta-AI" o no. Si, en cambio, "simplemente haciendo lo que
est programado para hacer" significa que el software se comporta como los
programadores
destinado a , Entonces esta es una norma que el software ordinario muy a menudo no
cumple. Debido a las capacidades limitadas de software contempornea (en comparacin
con los de la mquina superinteligencia) las consecuencias de tales fracasos son
manejables, que van desde insignificantes hasta muy costoso, pero en ningn caso
asciende a una amenaza existencial.12 Sin embargo, si se trata de capacidad insuficiente
en lugar de la suficiente fiabilidad que hace que el software ordin ario existencialmente
seguro, entonces no est claro cmo este tipo de software podra ser un modelo para una
superinteligencia seguro. Podra pensarse que al ampliar la gama de tareas realizadas por

el software de ordinario, se podra eliminar la necesidad de la inteligencia general

artificial. Sin embargo, el alcance y la diversidad de tareas que una inteligencia general
podra realizar de manera rentable en una economa moderna es enorme. Sera inviable
para crear software de propsito especial para manejar todas esas tareas. Incluso si se
pudiera hacer, tal proyecto tendra un
largo tiempo para llevar a cabo. Antes de que pudiera completarse, la naturaleza de
algunas de las tareas habra cambiado, y las nuevas tareas se habra convertido en
relevante. Habra gran ventaja de contar con un software que puede aprender por s solo
para hacer nuevas tareas, y de hecho para descubrir nuevas tareas que necesitan hacer.
Pero esto requerira que el software sea capaz de aprender, razonar y planificar, y hacerlo
de una manera potente y robusta entre dominios. En otras palabras, se requerira
inteligencia general. Especialmente relevante para nuestros propsitos es la tarea de
desarrollo de software en s. Habra enormes ventajas prcticas a ser capaz de
automatizar este. Sin embargo, la capacidad de auto-mejora rpida es slo la propiedad
crtica que permite una semilla AI para detonar una explosin de inteligencia.
Si la inteligencia general no es prescindible, hay alguna otra manera de
interpretar la idea herramienta de AI a fin de preservar la calidad tranquilizador pasiva de
una herramienta rutinaria? Se podra tener una inteligencia general que no es un agente?
Intuitivamente, no es slo la capacidad limitada de software comn que hace que sea
seguro, sino que tambin es su falta de ambicin. No hay subrutina en Excel que
secretamente quiere dominar el mundo si slo fuera lo suficientemente inteligente como
para encontrar un camino. La aplicacin de hoja de clculo no se "quieren" nada en
absoluto; lleva ciegamente las instrucciones del programa. Lo que (uno podra
preguntarse) se encuentra en el camino de la creacin de una aplicacin ms general
inteligente del mismo tipo? Un orculo, por ejemplo, que, cuando se le solicite con una
descripcin de una meta, respondera con un plan para lograrlo, de la misma forma en
que Excel responde a una columna de nmeros mediante el clculo de una suma sin
expresar as cualquier "preferencias" en cuanto a su salida o de cmo los seres humanos
podran optar por usarlo? La forma clsica de escritura de software requiere que el
programador para entender la tarea a realizar con suficiente detalle para formular un
proceso de solucin explcita que consiste en una secuencia de etapas bien definidas
matemticamente expresable en el cdigo.
13
(En la prctica, los ingenieros de software confan en las bibliotecas de cdigo
surtida con los comportamientos tiles, que pueden invocar sin necesidad de entender
cmo se implementan los comportamientos. Pero ese cdigo fue creado origin almente
por programadores que tenan un conocimiento detallado de lo que estaban haciendo.)
Este enfoque funciona para resolver tareas bien entendidos, y es al crdito para la
mayora del software que est actualmente en uso. Se est a la altura, sin embargo,
cuando nadie sabe con precisin la forma de resolver todas las tareas que deben llevarse a
cabo. Aqu es donde las tcnicas del campo de la inteligencia artificial se vuelven
relevantes. En aplicaciones estrechas, aprendizaje automtico puede ser utili zado
simplemente para ajustar algunos parmetros en un programa diseado en gran medida
humana. Un filtro de correo no deseado, por ejemplo, podra ser entrenado en un corpus
de mensajes de correo electrnico clasifican a mano en un proceso que cambia los pesos

que los lugares de algoritmos de clasificacin en diversas funciones de diagnstico. En una

aplicacin ms ambicioso, el clasificador puede ser construido para que pueda descubrir
nuevas funciones en su propia y poner a prueba su validez en un entorn o cambiante. Un
filtro de correo no deseado incluso ms sofisticado podra estar dotado de cierta
capacidad para razonar acerca de las ventajas y desventajas que se enfrenta el usuario o
sobre los contenidos de los mensajes que est clasificando. En ningun o de estos casos se
hace necesario que el programador saber la mejor manera de distinguir el spam de jamn,
solamente cmo configurar un algoritmo que puede mejorar su propio desempeo a
travs del aprendizaje, el descubrimiento o el razonamiento.
Con los avances en inteligencia artificial, que sera posible para el programador
para descargar ms del trabajo cognitivo necesario para encontrar la manera de realizar
una tarea determinada. En un caso extremo, el programador simplemente especificar un
criterio formal de lo que cuenta como xito y dejar en manos de la IA para encontrar una
solucin. Para guiar su bsqueda, el AI utilizara un conjunto de heursticas poderosos y
otros mtodos para descubrir la estructura en el espacio de posibles soluciones. Sera
seguir buscando hasta que encontr una solucin que satisface el criterio de xito. El AI
sera entonces o bien aplicar la solucin en s misma o (en el caso de un orculo) reportar
la solucin para el usuario.
Formas rudimentarias de este enfoque son bastante ampliamente desplegados
hoy. Sin embargo, el software que utiliza tcnicas de IA y de aprendizaje automtico,
aunque tiene cierta capacidad para encontrar soluciones que los programadores no
haban anticipado, funciones para todos los propsitos prcticos, como una herramienta y
no supone ningn riesgo existencial. Queremos entrar en la zona de peligro slo cuando
los mtodos utilizados en la bsqueda de soluciones se vuelven extremadamente potente
y general: es decir, cuando empiezan a ascender a general de inteligencia y sobre todo
cuando empiezan a ascender a superinteligencia. Hay (al menos) dos lugares donde podra
entonces surgir problemas. En primer lugar, el proceso de bsqueda superinteligente
podra encontrar una solucin que no slo es inesperado pero radicalmente involuntaria.
Esto podra conducir a un fallo de uno de los tipos discutidos anteriormente
("instanciacin perversa", "profusin infraestructura" o "crimen mente"). Es ms evidente
cmo esto podra suceder en el caso de un soberano o un genio, que implementa
directamente la solucin que ha encontrado. Si hace caras sonrientes moleculares o
transformar el planeta en clips es la primera idea que los descubre superinteligencia que
cumple el criterio solucin, entonces Smiley Faces o clips que obtenemos.14 Pero incluso
un orculo, que-si todo lo dems va bien-mero
informes
la solucin, podra convertirse en una causa de la creacin de instancias
perversa. El usuario solicita el orculo de un plan para lograr un determinado resultad o, o
para una tecnologa para servir a una funcin determinada; y cuando el usuario sigue el
plan o construye la tecnologa, la creacin de instancias perversa puede sobrevenir, como
si la AI haba implementado la solucin itself.15
Un segundo lugar en el que podra surgir problemas es en el transcurso de la
operacin del software. Si los mtodos que el software utiliza para buscar una solucin

son lo suficientemente sofisticados, pueden incluir disposiciones para la gestin del

proceso de bsqueda de s mismo de una manera inteligente. En este caso, la mquina
que ejecuta el software puede comenzar a parecer menos como una mera herramienta y
ms como un agente. Por lo tanto, el software puede iniciar mediante el desarrollo de un
plan de cmo ir sobre la bsqueda de una solucin. El plan puede especificar qu reas
para explorar primero y con qu mtodos, qu datos se renen, y cmo hacer mejor uso
de los recursos computacionales disponibles. En la bsqueda de un plan que satisfaga el
criterio interno del software (como dando una suficientemente alta probabilidad de
encontrar una solucin que satisface el criterio especificado por el usuario dentro del
tiempo asignado), el software puede tropezar en una idea poco ortodoxa. Por ejemplo, se
podra generar un plan que comienza con la adquisicin de los recursos computacionales
adicionales y la eliminacin de interruptores potenciales (tales como seres humanos).
Tales planes "creativos" salir a la luz cuando las habilidades cognitivas del software
alcanzan un nivel suficientemente alto. Cuando el software pone un plan en accin, una
catstrofe existencial puede sobrevenir.
Como los ejemplos en el recuadro 9 ilustran, procesos de bsqueda abiertas veces
evidencian soluciones no antropocntricos extraas e inesperadas, incluso en sus formas
actualmente limitados. Procesos de bsqueda de hoy en da no son peligrosos, ya que son
demasiado dbiles para descubrir el tipo de plan que podra permitir a un programa para
dominar el mundo. Dicho plan incluira medidas extremadamente difciles, como la
invencin de una nueva tecnologa de las armas de varias generaciones por delante de el
estado de la tcnica, o la ejecucin de una campaa de propaganda mucho ms eficaz que
cualquier comunicacin ideada por spin doctors humanos. Para tener la oportunidad de
incluso concebir de tales ideas, y mucho menos el desarrollo de una manera que
realmente funcionan, una mquina probablemente tendra la capacidad de representar el
mundo de una manera que es al menos tan rica y realista como el modelo mundial
posedo por un adulto humano normal (aunque la falta de conciencia en algunas zonas,
posiblemente, podra ser compensada por la habilidad extra en otros). Esto es mucho ms
all del alcance de la IA contemporneo. Y debido a la explosin combinatoria, que
generalmente vence intentos de resolver problemas de planificacin complicada con
mtodos de fuerza bruta (como vimos en el captulo 1), las deficiencias de los algoritmos
conocidos pueden no realista superarse simplemente vertiendo sobre ms power.21
computing Sin embargo, una vez que los procesos de planificacin de bsqueda o se
vuelven lo suficientemente potente, sino que tambin se convierten en potencialmente
peligroso. Recuadro 9 soluciones extraas de bsqueda a ciegas Procesos de bsqueda
evolutivos Incluso simples a veces producen resultados muy inesperados, soluciones que
satisfacen un criterio definido por el usuario formal en una manera muy diferente que el
usuario esperado o deseado.
El campo del hardware evolvable ofrece muchos ejemplos de este fenmeno. En este
campo, un algoritmo evolutivo busca en el espacio de los diseos de hardware, pruebas
de la condicin fsica de cada diseo por instancias fsicamente en una matriz rpidamente
reconfigurable o la placa base. Los diseos evolucionado a menudo muestran notable
economa. Por ejemplo, una bsqueda descubri un circuito de discriminacin de
frecuencia que funcion sin un componente de un reloj normalmente se consideran

necesarios para esta funcin. Los investigadores estimaron que el circuito evolucionado
fue entre uno y dos rdenes de magnitud ms pequea que lo que un ingeniero humano
habra requerido para la tarea. El circuito explota las propiedades fsicas de sus
componentes en formas poco ortodoxas; algunos, componentes necesarios activas ni
siquiera fueron conectados a los pines de entrada o de salida! Estos componentes en lugar
participaron a travs de lo que normalmente se considera efectos secundarios molestos,
tales como acoplamiento electromagntico o la carga de alimentacin.
Otro proceso de bsqueda, encargado de la creacin de un oscilador, fue privado de un
componente aparentemente an ms indispensable, el condensador. Cuando el algoritmo
present su solucin exitosa, los investigadores examinaron y concluyeron en un primer
momento que "no debera funcionar." Tras un examen ms cuidadoso, descubrieron que
el algoritmo tena, MacGyver-como, reconfigur su placa base sin sensor en una radio de
expediente receptor, utilizando la placa de circuito impreso pistas como una antena para
captar seales generadas por los ordenadores personales que sucedieron estar situado
cerca en el laboratorio. El circuito amplifica esta seal para producir la salida oscilante
deseado.
16 En otros experimentos, los algoritmos evolutivos diseado circuitos que
permiten detectar si la placa base se est supervisando con un osciloscopio o si un
soldador estaba conectado a la fuente de alimentacin comn del laboratorio. Estos
ejemplos ilustran cmo un proceso de bsqueda de composicin abierta puede reutilizar
los materiales accesibles a ella con el fin de elaborar las capacidades sensoriales
totalmente inesperados, por medios que de futuro diseo humano convencional no est
bien equipado para explotar o incluso Cuenta en retrospectiva.
La tendencia de bsqueda evolutiva "engaar" o encontrar formas contrarias a la
intuicin de la consecucin de un fin determinado se encuentra en exhibicin en la
naturaleza tambin, aunque es quizs menos obvio para nosotros all debido a nuestra ya
estar un poco familiarizado con el aspecto de la biologa, y siendo por lo tanto propensos a
la relacin con los resultados reales de los procesos evolutivos naturales como normal,
incluso si no hubiramos les espera
ex ante. Pero es posible establecer experimentos de seleccin artificial donde se puede
ver el proceso evolutivo en la accin fuera de su contexto familiar. En estos experimentos,
los investigadores pueden crear condiciones que rara vez obtienen en la naturaleza, y
observar los resultados. Por ejemplo, antes de la dcada de 1960, era al parecer bastante
comn que los bilogos sostienen que las poblaciones de depredadores restringen su
propia cra con el fin de evitar caer en una trampa maltusiana.17 Aunque la seleccin
individual trabajara en contra de tal restriccin, que a veces se piensa que la seleccin de
grupo superara los incentivos individuales para explotar oportunidades de reproduccin y
del favor de los rasgos que se beneficiaran del grupo o poblacin en general. Estudios de
anlisis y simulacin tericos ms tarde mostraron que mientras que la seleccin de grupo
es posible, en principio, se puede superar la fuerte seleccin individual slo bajo
condiciones muy estrictas que pueden raramente aplican en nature.18 Pero tales
condiciones pueden ser creados en el laboratorio. Cuando escarabajos de la harina
(Tribolium castaneum) Fueron criados para reducir el tamao de la poblacin, mediante la

aplicacin de una fuerte seleccin de grupo, la evolucin efectivamente conducen a

menor populations.19 Sin embargo, los medios por los cuales esto se logr inclua no slo
las adaptaciones "benignas" de reduccin de la fecundidad y extendieron el tiempo de
desarrollo que un ser humano ingenuamente antropomorfizar bsqueda evolutiva podra
haber esperado, pero tambin un aumento en cannibalism.20
En lugar de permitir un comportamiento intencional-agente como a surgir de manera
espontnea y sin orden ni concierto de la aplicacin de los procesos de bsqueda de gran
alcance (incluyendo los procesos en busca de los planes de trabajo internos y procesos
que buscan directamente para soluciones reunin algn criterio especificado por el
usuario), puede que sea mejor crear agentes de propsito. Dotar de una superinteligencia
con una estructura explcita agente-como puede ser una manera de aumentar la
previsibilidad y la transparencia. Un sistema bien diseado, construido de tal manera que
hay una separacin limpia entre sus valores y sus creencias, nos permitira predecir algo
acerca de los resultados que tendera a producir. Incluso si no podamos prever
exactamente qu creencias del sistema adquirira o qu situaciones que se encontrara en,
no habra un lugar conocido donde podamos inspeccionar sus valores finales y por lo
tanto los criterios que utilizar en la seleccin de sus acciones futuras y en evaluar
cualquier plan potencial.

Comparacin
Puede ser til resumir las caractersticas de las diferentes castas del sistema que hemos
discutido (Cuadro 11). Tabla 11
Caractersticas de las diferentes castas del sistema
Orculo
Un sistema de pregunta-respuesta
Mtodos de boxeo plenamente aplicable
Variaciones : Orculos dominio limitado (por ejemplo, las matemticas); orculos de
salida restringida (por ejemplo, slo s / no / respuestas indecisos, o probabilidades);
orculos que se niegan a responder a las preguntas si ellos predicen las consecuencias
de contestar se reunira "criterios de desastre" pre-especificados; mltiples orculos de
revisin por pares
La domesticidad plenamente aplicable Menor necesidad de AI para comprender
las intenciones e intereses humanos (en comparacin con los genios y soberanos)
El uso de preguntas s / no se puede obviar la necesidad de una medida de la
"utilidad" o "informatividad" de respuestas
Fuente de gran poder (podra dar operador una ventaja estratgica decisiva)
La
proteccin limitada contra el uso insensato por el operador
orculos no confiables podran ser utilizados para proporcionar respuestas que
son difciles de encontrar pero fcil de verificar
verificacin dbil de las respuestas puede ser posible mediante el uso de mltiples
orculos
Genio
Un sistema de comandos de aplicacin directa
Mtodos de boxeo parcialmente aplicables (por genios espacialmente limi tado)
Variaciones: Genies utilizando diferentes distancias "extrapolacin" o grados de
seguir el espritu ms que letra del comando; genios dominio limitado; genios-con-vista
previa; genios que se niegan a obedecer las rdenes si predicen las consecuencias de
obedecer se reunira "criterios de desastre" pre-especificados La domesticidad
parcialmente aplicable
Genie podra ofrecer una vista previa de los aspectos ms destacados de los
resultados esperados Genie podra implementar cambios en etapas, con la posibilidad
de una revisin en cada etapa Fuente de gran poder (podra dar operador una ventaja
estratgica decisiva)
La proteccin limitada contra el uso insensato por el operador Mayor necesidad de
AI para comprender los intereses humanos y las intenciones (en comparacin con los
orculos)
Soberano
Un sistema diseado para un funcionamiento autnomo indefinido
Mtodos de
boxeo inaplicable
La mayora de los otros mtodos de control de capacidad tambin inaplicable (excepto,
posiblemente, la integracin social o la captura antrpico)
Variaciones: Muchos sistemas de motivacin posibles; posibilidad de utilizar la
vista previa y "ratificacin patrocinador" (que se discutir en el captulo 13)

 La domesticidad mayormente inaplicable Gran necesidad de AI para

comprender los verdaderos intereses e intenciones humanas
Necesidad de hacer las cosas bien en el primer intento (aunque, en un grado
menor, posiblemente, esto es cierto para todas las castas)
Potencialmente una fuente de gran poder de patrocinador, incluyendo ventaja
estratgica decisiva Una vez activado, no es vulnerable al secuestro por el operador, y
podra ser diseado con algn tipo de proteccin contra el uso insensato
Se puede utilizar para poner en prctica "velo de ignorancia" resultados (vase el
Captulo 13) Herramienta
Un sistema no est diseado para mostrar un comportamiento dirigido a un
objetivo
Mtodos de boxeo pueden ser aplicables, dependiendo de la aplicacin Los procesos
de bsqueda de gran alcance probablemente estaran involucrados en el desarrollo y
operacin de una superinteligencia mquina
bsqueda de gran alcance para encontrar una reunin solucin algn criterio
formal puede producir soluciones que cumplen el criterio de una manera no intencional
y peligrosa
bsqueda de gran alcance podra implicar procesos de bsqueda y planificacin
secundarias, internos que podran encontrar formas peligrosas de ejecutar el proceso de
bsqueda principal Se necesita ms investigacin para determinar qu tipo de sistema
sera ms seguro. La respuesta podra depender de las condiciones en que se despliega la
IA. La casta orculo es obviamente atractivo desde el punto de vista de seguridad, ya que
permitira a ambos mtodos de control de capacidad y los mtodos de seleccin de la
motivacin que han de aplicarse. Podra por lo tanto parece que simplemente dominar la
casta soberana, que slo permitira a los mtodos de seleccin motivacin (excepto en
escenarios en los que se cree que el mundo para contener otros superinteligencias
poderosos, en los que podran aplicarse caso la integracin social o la captura antrpico).
Sin embargo, un orculo podra colocar una gran cantidad de poder en manos de su
operador, que podra estar daado o podra aplicar el poder imprudentemente, mientras
que un soberano ofrecera cierta proteccin contra estos peligros. La clasificacin de la
seguridad por lo tanto no se determina tan fcilmente.
Un genio puede ser visto como un compromiso entre un orculo y
necesariamente un buen compromiso soberano, pero no. En muchos sentidos, sera
compartir las desventajas de ambos. La aparente seguridad de una herramienta de AI,
por su parte, puede ser ilusoria. Para que las herramientas para ser lo suficientemente
verstil como para sustituir a agentes superinteligentes, pueden necesitar desplegar
extremadamente poderosos procesos de bsqueda y planificacin interna.
Comportamientos-Agent como pueden surgir de tales procesos como una consecuencia
no planeada. En ese caso, sera mejor para disear el sistema para ser un agente en el
primer lugar, por lo que los programadores pueden ver ms fcilmente qu criterios
acabarn determinando la salida del sistema.
CAPTULO 11Escenarios multipolares
Hemos visto (en particular en el captulo 8) la forma amenazadora podra ser un
resultado unipolar, en el que un solo superinteligencia obtiene una ventaja estratgica

decisiva y lo utiliza para establecer un conjunto unitario. En este captulo, examinamos

lo que sucedera en un resultado multipolar, una sociedad post-transicin con mltiples
agencias superinteligentes que compiten. Nuestro inters en esta clase de escenarios es
doble. En primer lugar, como se alude en el captulo 9, la integracin social puede ser
pensado para ofrecer una solucin al problema de control. Ya hemos sealado algunas
limitaciones con ese enfoque, y este captulo pinta un cuadro ms completo. En segundo
lugar, incluso sin salir a crear una condicin multipolar como una manera de manejar el
problema del control de nadie, ese resultado podra ocurrir de todos modos. Entonces,
qu podra tal resultado parece? La sociedad competitiva resultante no es
necesariamente atractiva, ni de larga duracin.
En escenarios nicos, lo que sucede despus de la transicin depende casi por completo
de los valores de la singleton. As, el resultado podra ser muy bueno o muy malo,
dependiendo de cules son esos valores. Lo que los valores son depende, a su vez, de si el
problema de control se resolvi, y el grado en que se resolvi, en los objetivos del
proyecto que cre el singleton.
Si uno est interesado en el resultado de escenarios
nicos, por lo tanto, una realidad slo tiene tres fuentes de informacin: informacin
sobre asuntos que no pueden ser afectadas por las acciones del singleton (como las leyes
de la fsica); informacin sobre los valores instrumentales convergentes; e informacin
que permite predecir o especular acerca de lo que los valores finales del singleton tendr.
En escenarios multipolares, un conjunto adicional de las restricciones entra en
juego, las limitaciones que tiene que ver con cmo los agentes interactan. Las
dinmicas sociales que emergen de estas interacciones pueden ser estudiados utilizando
tcnicas de teora de juegos, economa, y la teora de la evolucin. Elementos de la
ciencia poltica y la sociologa tambin son relevantes en la medida en que se pueden
destilar y abstraen de algunas de las ms caractersticas contingentes de la experiencia
humana. Aunque sera poco realista esperar que estas limitaciones que nos dan una
idea precisa del mundo posterior a la transicin, pueden ayudar a identificar algunas
posibilidades sobresalientes y desafiar algunas suposiciones infundadas.
Comenzaremos por explorar un escenario econmico caracterizado por un bajo nivel de
regulacin, una fuerte proteccin de los derechos de propiedad, y una moderadamente
rpida introduccin de mentes digitales de bajo costo. 1 Este tipo de modelo est ms
estrechamente asociado con el economista estadounidense Robin Hanson, quien ha
realizado un trabajo pionero sobre el tema. Ms adelante en este captulo, vamos a ver
algunas consideraciones evolutivas y examinar las perspectivas de un mundo post transicin inicialmente multipolar posteriormente fusionndose en un producto nico.
De caballos y hombres
Inteligencia artificial General podra servir como un
sustituto de la inteligencia humana. No slo podan mentes digitales realizar el trabajo
intelectual ahora hecho por los seres humanos, pero, una vez equipad o con buenos
actuadores o cuerpos robticos, las mquinas tambin pueden sustituir el trabajo fsico
humano. Supongamos que los trabajadores -que mquina puede rpidamente, se
convierten reproducido tanto a los trabajadores humanos ms baratos y ms capaces que
en prcticamente todos los puestos de trabajo. Qu sucede entonces?
Los salarios y el desempleo Con la mano de obra barata copiable, los salarios de
mercado caen. El nico lugar donde los humanos seguiran siendo competitiva puede ser

donde los clientes tienen una preferencia bsica por el trabajo realizado por los seres
humanos. Hoy en da, los productos que han sido hechos a mano o producidos por los
indgenas a veces a un precio ms. Consumidores futuros igualmente podran preferir
bienes humanos a medida y las atletas humanos, artistas humanos, amantes humanos y
lderes humanos a contrapartes artificiales funcionalmente indistinguibles o superiores.
No est claro, sin embargo, cun generalizada seran tales preferencias. Si alternativas
hechos a mquina eran suficientemente superior, tal vez seran ms altamente
apreciados.
Un parmetro que pueda ser relevante para la eleccin del consumidor es la vida
interior del trabajador prestacin de un servicio o producto. Una audiencia del
concierto, por ejemplo, podra gustara saber que el artista se conscientemente
experimentando la msica y el lugar de celebracin. Experiencia fenomenal Ausente, el
msico podra ser considerado como una mera mquina de discos de alta potencia,
aunque sea capaz de crear la apariencia tridimensional de un artista interactuar de
forma natural con la multitud. Mquinas podran entonces ser diseados para crear
instancias de los mismos tipos de estados mentales que estaran presentes en un ser
humano que realiza la misma tarea. Incluso con la replicacin perfecta de experiencias
subjetivas, sin embargo, algunas personas pueden simplemente prefieren el trabajo
orgnico. Tales preferencias tambin podran tener races ideolgicas o religiosas. Al
igual que muchos musulmanes y Judios rehuyen comida preparada en formas que
clasifican como haram o
treif , Por lo que puede haber grupos en el futuro que evitan los productos cuya
fabricacin implicado el uso no autorizado de la inteligencia artificial. Lo que depende
de esto? En la medida en que el trabajo de la mquina barata puede sustituir el trabajo
humano, los trabajos humanos pueden desaparecer. Los temores sobre la
automatizacin y la prdida del empleo, por supuesto, no es nuevo. La preocupacin por
el desempleo tecnolgico han surgido peridicamente, por lo menos desde la
Revolucin Industrial; y un buen nmero de profesiones han hecho seguido el camino de
los tejedores ingleses y artesanos textiles que a principios del siglo XIX se unieron bajo la
bandera de la folclrica "General Ludd" para luchar contra la introduccin de telares
mecanizados. Sin embargo, a pesar de la maquinaria y la tecnologa han sido sustitutos
para muchos tipos de trabajo humano, la tecnologa fsica ha sido en general un
complemento al trabajo. Salarios humanos Promedio de todo el mundo han estado en
una tendencia alcista a largo plazo, en gran parte debido a estas complementariedades.
Sin embargo, lo que comienza como un complemento al trabajo puede posteriormente
convertirse en un sustituto de la mano de obra. Los caballos fueron complementados
inicialmente por carros y arados, que aument considerablemente la productividad del
caballo. Ms tarde, los caballos fueron sustituidos por los automviles y tractores. Estas
innovaciones posteriores redujeron la demanda de trabajo equina y condujeron a un
colapso de la poblacin. Podra un destino similar sobrevenir la especie humana?
El paralelo a la historia del caballo se puede dibujar hacia fuera an ms si nos
preguntamos por qu es que todava hay caballos alrededor. Una de las razones es que
todava hay unos nichos en los que los caballos tienen ventajas funcionales; por
ejemplo, el trabajo policial. Pero la razn principal es que los humanos sucede que tiene

preferencias particulares de los servicios que los caballos pueden ofrecer, incluyendo
paseos a caballo de recreo y competicin. Estas preferencias se pueden comparar con
las preferencias de la hiptesis de algunos humanos podran tener en el futuro, de que
determinados bienes y servicios se harn por la mano humana. Aunque sugerente, esta
analoga es, sin embargo, inexacta, ya que todava no hay sustituto funcional completa
para caballos. Si hubiera dispositivos mecnicos de bajo costo que corri en el heno y
tenan exactamente la misma forma, sentir, oler, y el comportamiento como los
caballos, tal vez biolgicos incluso las mismas experiencias conscientes, entonces la
demanda de caballos biolgicos, probablemente reducir an ms.
Con una reduccin suficiente de la demanda de mano de obra huma na, los salarios
caeran por debajo del nivel de subsistencia humana. La desventaja potencial de los
trabajadores humanos tanto, es extrema: no slo la reduccin salarial, descensos de
categora, o la necesidad de reconversin, pero el hambre y la muerte. Cuando los
caballos se volvieron obsoletas como fuente de energa mvil, muchos fueron vendidos a
los empacadores de carne para ser transformados en alimentos para perros, harina de
hueso, cuero y pegamento. Estos animales no tenan un empleo alternativo a travs del
cual para ganar su sustento. En los Estados Unidos, haba alrededor de 26 millones de
caballos en 1915. A principios de la dcada de 1950, 2 millones quedaron.2
El capital y el bienestar
Una de las diferencias entre los humanos y los caballos es
que los seres humanos poseen el capital. Un hecho emprico estilizado es que el
porcentaje total de los factores de capital tiene desde hace mucho tiempo se mantuvo
estable en aproximadamente el 30% (aunque con importantes fluctuaciones a corto
plazo).
3
Esto significa que el 30% de la renta mundial total se recibi en concepto de
alquiler por los dueos del capital, el 70% restante se recibe como salario de los
trabajadores. Si clasificamos AI como capital, a continuacin, con la invencin de la
inteligencia artificial que puede sustituir completamente por el trabajo humano, los
salarios caeran al costo marginal de tales mquinas sustitutos, que -bajo el supuesto de
que las mquinas son muy eficientes, sera muy baja, muy por debajo de los ingresos a
nivel de la subsistencia humana. La cuota de los ingresos recibidos por la mano de obra
sera entonces disminuyendo hasta prcticamente nula. Pero esto implica que la
participacin del factor del capital se convertira en casi el 100% del producto total
mundial. Desde el PIB mundial se elevara a raz de una explosin de inteligencia (a
causa de enormes cantidades de nuevas mquinas de mano de obra de sustitucin, sino
tambin debido a los avances tecnolgicos logrados por superinteligencia, y, ms tarde,
la adquisicin de grandes cantidades de nuevas tierras a travs de la colonizacin del
espacio), se deduce que la el ingreso total del capital aumentara enormemente. Si los
seres humanos siguen siendo los dueos de esta capital, el ingreso total recibido por la
poblacin humana crecera astronmicamente, a pesar de que en este escenario los
seres humanos ya no recibir ningn ingreso salarial.
Por lo tanto la especie humana en su conjunto podran llegar a ser rico ms all de los
sueos de la avaricia. Cmo se distribuye este ingreso? En una primera aproximacin, las
rentas del capital sera proporcional a la cantidad de capital de propiedad. Teniendo en
cuenta el efecto de amplificacin astronmica, aunque sea un poco de la riqueza anterior

a la transicin sera globo en una inmensa fortuna despus de la transicin. Sin embargo,
en el mundo contemporneo, muchas personas no tienen la riqueza. Esto incluye no slo
a las personas que viven en la pobreza, sino tambin a algunas personas que ganar un
buen ingreso o que tienen alto capital humano, pero tienen valor neto negativo. Por
ejemplo, en el opulento Dinamarca y Suecia el 30% de la poblacin de personas reportan
riqueza a menudo jvenes, de clase media negativas con pocos activos tangibles y de la
deuda de tarjetas de crdito o prstamos estudiantiles. 4 Incluso si los ahorros podran
ganar altsimo inters, no tendra que ser un poco de grano de semilla, algo de capital
inicial, a fin de que la composicin de begin.5 Sin embargo, incluso las personas que no
tienen la riqueza privada en el inicio de la transicin podran llegar a ser extremadamente
rico. Los que participan en un plan de pensiones, por ejemplo, ya sea pblica o privada,
debe estar en una buena posicin, siempre que el esquema es financiado al menos en
parte.6 Los que no tienen tambin podran hacerse rico a travs de la filantropa de los
que ven su valor se dispara neto: debido al tamao astronmico de la bonanza, incluso
una muy pequea fraccin donada como limosna sera una suma muy grande en trminos
absolutos. Tambin es posible que las riquezas todava se podran hacer a travs del
trabajo, incluso en una etapa posterior a la transicin cuando las mquinas son
funcionalmente superior a los seres humanos en todos los dominios (as como ms barato
que incluso a nivel de subsistencia, el trabajo humano). Como se seal anteriormente,
esto podra suceder si hay nichos en los que se prefiere el trabajo humano por razones no
pragmticas estticas, ideolgicas, ticas, religiosas o de otro tipo. En un escenario en el
que la riqueza de los titulares de capital humano aumenta dramticamente, la demanda
de este tipo de trabajo podra aumentar correspondientemente. Trillonarios o
quadrillionaires recin acuadas podan permitirse el lujo de pagar u na prima
considerable por tener algunos de sus bienes y servicios suministrados por una mano de
obra "comercio justo" orgnico. La historia de los caballos de nuevo ofrece un paralelo.
Despus de caer a 2 millones en la dcada de 1950, la poblacin de caba llos de Estados
Unidos ha experimentado una recuperacin robusta: un censo reciente pone el nmero
en poco menos de 10 millones de cabeza.
7
El aumento no se debe a las nuevas necesidades funcionales de caballos en la
agricultura o el transporte; ms bien, el crecimiento econmico ha permitido a ms
estadounidenses a disfrutar de un lujo para la recreacin ecuestre.
Otra diferencia relevante entre humanos y caballos, al lado de capital-propiedad, es que
los seres humanos son capaces de movilizacin poltica. Un gobierno humano a ejecutar
poda usar el poder fiscal del Estado para redistribuir las ganancias privadas, o aumentar
los ingresos mediante la venta de activos estatales apreciadas, como la tierra pblica, y
utilizar las ganancias para las pensiones de sus constituyentes. Una vez ms, debido al
explosivo crecimiento econmico durante e inmediatamente despus de la transicin, no
habra mucho ms riqueza dando vueltas, por lo que es relativamente fcil de llenar las
copas de todos los ciudadanos desempleados. Debera ser posible incluso para un solo
pas para proporcionar todos los seres humanos en todo el mundo con un salario digno
generosa sin mayor costo proporcional de lo que muchos pases gastan actualmente de la
ayuda extranjera.
8
El principio malthusiano en una perspectiva histrica
Hasta ahora hemos asumido

una poblacin humana constante. Esto puede ser una suposicin razonable para escalas
de tiempo cortas, ya que limita la velocidad de la biologa de la reproduccin humana. En
escalas de tiempo ms largos, sin embargo, la suposicin no es necesariamente razonable.
La poblacin humana ha aumentado mil veces en los ltimos 9.000 aos.9
El aumento habra sido mucho ms rpido excepto por el hecho de que en la mayor parte
de la historia y la prehistoria, la poblacin humana era toparse con los lmites de la
economa mundial. Una condicin aproximadamente maltusiana prevaleci, en la que la
mayora de personas recibieron ingresos de subsistencia que apenas les permitan
sobrevivir y criar una media de dos hijos a maturity.10 Hubo indultos temporales y locales:
plagas, las fluctuaciones del clima, o la guerra sacrificados de forma intermitente la la
poblacin y la liber de la tierra, lo que permite a los sobrevivientes a mejorar su ingesta
nutricional y para que aparezca ms hijos, hasta que se reponen las filas y la condicin de
Malthus restableci. Adems, gracias a la desigualdad social, un estrato de elite delgada
pudieron disfrutar consistentemente por encima de la subsistencia de ingresos (a
expensas de algo bajar el tamao total de la poblacin que podra ser sostenido). Un
pensamiento triste y disonante: que en esta condicin maltusiana, el estado normal de las
cosas durante la mayor parte de nuestra permanencia en este planeta, era sequ as,
pestes, las masacres, y la desigualdad en la estimacin comn los peores enemigos del
bienestar humano, que puede tener sido los ms grandes humanistas: slo ellos
permitiendo que el nivel medio de bienestar a bop ocasionalmente hasta ligeramente por
encima de la de la vida en el mismo margen de subsistencia.
Superpuesta
a
fluctuaciones locales, la historia muestra una macro-patrn de crecimiento econmico
inicialmente lenta pero acelerando, impulsado por la acumulacin de innovaciones
tecnolgicas. La creciente economa mundial trajo consigo un aumento proporcional de la
poblacin mundial. (Ms precisamente, una misma poblacin mayor parece tener muy
acelerado el ritmo de crecimiento, tal vez principalmente por el aumento de la inteligencia
colectiva de la humanidad.
11
) Slo a partir de la Revolucin Industrial, sin embargo, hicieron el crecimiento
econmico se convierten tan rpido que el crecimiento demogrfico no pudo mantener
el ritmo. Por tanto, los ingresos promedio comenz a subir, primero en los pases de
industrializacin temprana de Europa Occidental, posteriormente, en la mayor parte del
mundo. Incluso en los pases ms pobres de hoy, el ingreso promedio supera
sustancialmente el nivel de subsistencia, como se refleja en el hecho de que las
poblaciones de estos pases estn creciendo. Los pases ms pobres tienen ahora el ms
rpido crecimiento de la poblacin, ya que an tienen que completar la "transicin
demogrfica" al rgimen de baja fertilidad que se ha apoderado en las sociedades ms
desarrolladas. Los demgrafos proyectan que la poblacin mundial se elevar a cerca de 9
mil millones para mediados de siglo, y que a partir de entonces podra meseta o descenso
ya que los pases ms pobres se unen al mundo desarrollado en este rgimen de baja
fertilidad.12
Muchos pases ricos ya tienen tasas de fertilidad que estn por debajo del nivel de
reemplazo; en algunos casos, mucho continuacin.13
Sin embargo, hay razones, si
se tiene una visin ms amplia y asumimos un estado de la tecnologa cambia y continua
prosperidad, a esperar un retorno a la condicin histrica y ecolgica normal de una

poblacin mundial que topa contra los lmites de lo que puede soportar nuestro nicho. Si
esto parece contradictorio a la luz de la relacin negativa entre la riqueza y la fertilidad
que actualmente estamos observando en la escala global, debemos recordar que esta era
moderna es un breve trozo de la historia y en gran medida una aberracin. El
comportamiento humano an no se ha adaptado a las condiciones contemporneas. No
slo somos capaces de tomar ventaja de maneras obvias para aumentar nuestra aptitud
inclusiva (como al convertirse en donantes de esperma o huevo) pero sabotear
activamente nuestra fertilidad usando anticonceptivos. En el entorno de la adapta bilidad
evolutiva, un impulso sexual saludable puede haber sido suficiente para que un acto
individual de manera que maximizaron su potencial reproductivo; en el ambiente
moderno, sin embargo, habra una enorme ventaja selectiva a tener un deseo ms direct a
por ser el padre biolgico al mayor nmero posible de nios. Tal deseo se est
seleccionando actualmente para, al igual que otros rasgos que aumentan nuestra
propensin a reproducirse. La adaptacin cultural, sin embargo, podra adelantarse a la
evolucin biolgica. Algunas comunidades, como las de los hutteritas o los partidarios del
movimiento evanglico Quiverfull, tienen culturas natalidad que fomentan las familias
numerosas, y estn en consecuencia experimentando una rpida expansin.
El crecimiento demogrfico y la inversin
Si imaginamos las condiciones socioeconmicas actuales mgicamente congelados en su
forma actual, el futuro estara dominado por los grupos culturales o tnicos que
mantienen altos niveles de fertilidad. Si la mayora de la gente tena preferencias que eran
de fitness-maximizacin en el entorno actual, la poblacin podra duplicarse fcilmente en
cada generacin. Polticas de control de la poblacin -que ausentes tendran que
convertirse vez ms rigurosa y eficaz para contrarrestar la evolucin de las preferencias
fuertes para eludir ellos la poblacin mundial seran entonces seguir creciendo
exponencialmente hasta que algn obstculo, como la escasez de tierras o el agotamiento
de oportunidades fciles para importante innovacin, hecho imposible que la economa
para mantener el ritmo: en ese momento, el ingreso promedio empezara a declinar hasta
llegar al nivel en el que la pobreza aplastante mayora de la gente evita de levantar mucho
ms que dos hijos a la madurez. As, el principio de Malthus sera reafirmarse, como un
amo de esclavos pavor, con lo que nuestra aventura en la tierra de los sueos de la
abundancia a su fin, y que nos lleva de nuevo a la cantera en las cadenas, hay que
reanudar la lucha cansado para la subsistencia. Esta perspectiva a ms largo plazo
podra ser telescpica en una perspectiva ms inminente por la explosin de inteligencia.
Dado que el software es copiable, una poblacin de emulaciones o inhibidores de la
aromatasa podra duplicarse en rpido en el transcurso de minutos en lugar de dcadas o
siglos antes de agotar todo el hardware disponible.
Propiedad privada puede ofrecer una proteccin parcial contra la aparicin de
una condicin maltusiana universal. Considere la posibilidad de un modelo sencillo en el
que los clanes (o comunidades cerradas, o estados) comienzan con cantidades variables
de la propiedad y de forma independiente adoptan diferentes polticas sobre la
reproduccin y la inversin. Algunos clanes descuentan el futuro abruptamente y pasan
por su dotacin, de lo cual sus miembros empobrecidos se unen al proletariado mundial
(o mueren, si no pueden mantenerse a s mismos a travs de su trabajo). Otros clanes

invierten parte de sus recursos, pero adoptan una poltica de reproduccin ilimitada:
esos clanes crecen ms poblada hasta que alcanzan una condicin maltusiana interno en
el que sus miembros son tan pobres que mueren casi al mismo ritmo que se reproducen,
momento en el que el crecimiento de la poblacin del clan ralentiza para igualar el
crecimiento de sus recursos. Sin embargo, otros clanes pueden restringir su fertilidad
por debajo de la tasa de crecimiento de su capital: esos clanes lentamente podran
incrementar su nmero, mientras que sus miembros tambin se hacen ms ricos per
cpita.
Si la riqueza se redistribuye de los clanes ricos a los miembros de los clanes rpidamente
reproducir o descontar rpidamente (cuyos nios, copias, o vstagos, por causas ajenas a
su cuenta, se pusieron en marcha en el mundo con el capital suficiente para sobrevivir y
prosperar) luego un condicin maltusiana universal, sera ms de cerca aproximada. En el
caso lmite, todos los miembros de todos los clanes se reciben ingresos de subsistencia y
todos seran iguales en su pobreza. Si la propiedad no se redistribuye, clanes prudentes
podran aferran a una cierta cantidad de capital, y es posible que su riqueza podra crecer
en trminos absolutos. Es, sin embargo, no est claro si los seres humanos podran ganar
como altas tasas de retorno sobre su capital como inteligencias mquinas podran ganar
en el suyo, porque puede haber sinergias entre el trabajo y el capital de manera que un
agente nico que puede suministrar tanto (por ejemplo, un empresario o inversionista
que es a la vez hbil y rico) puede alcanzar una tasa de rentabilidad privada en su capital
de superior a la tasa de mercado que se puede obtener por los agentes que poseen
recursos cognitivos financieros, pero no. Los seres humanos, al ser menos hbil que las
inteligencias de la mquina, por lo tanto puede crecer su capital ms lentamente, a menos
que, por supuesto, el problema de control haba sido completamente resuelto, en cuyo
caso la tasa humana de retorno sera igual a la tasa de rendimiento de la mquina, ya que
un director humano podra encargar un agente de la mquina para gestionar sus ahorros,
y podra hacerlo sin costo y sin conflictos de inters: pero por lo dems, en este escenario,
la fraccin de la economa de propiedad de las mquinas sera acercarse asintticamente
al cien por cien.
Un escenario en el que la fraccin de la economa que es propiedad de mquinas
se aproxima asintticamente al cien por cien no es necesariamente uno en el que el
tamao de la rebanada humano disminuye. Si la economa crece a un ritmo suficiente,
entonces ni siquiera una fraccin relativamente decreciente de que an puede estar
aumentando en su tamao absoluto. Esto puede sonar como moderadamente buena
noticia para la humanidad: en un escenario multipolar en el que los derechos de
propiedad estn protegidos, incluso si estamos completamente capaces de resolver el
problema del control de la cantidad total de la riqueza propiedad de los seres humanos
podra aumentar. Por supuesto, este efecto no se hara cargo del problema del
crecimiento demogrfico de la poblacin humana tirando abajo el ingreso per cpita a
nivel de subsistencia, ni el problema de los seres humanos que arruinan a s mismos, ya
que descuentan el futuro.
A largo plazo, la economa se convertira dominada cada vez ms por los clanes que tienen
las ms altas tasas de ahorro-avaros que son dueos de la mitad de la ciudad y viven bajo
un puente. Slo en la plenitud de los tiempos, cuando no hay ms oportunidades de

inversin, seran los avaros mximo prsperos, comienzan a retirar sus ahorros.14
Sin
embargo, si hay menos de una proteccin perfecta para los derechos de propiedad, por
ejemplo, si las mquinas ms eficientes en la red tienen xito, por las buenas o por las
malas, en la transferencia de riqueza de los seres humanos a s mismos, entonces los
capitalistas humanos pueden tener que pasar por su capital mucho antes , antes de que se
agote por tales transferencias (o los costos actuales incurridos en la obtencin de su
riqueza en contra de tales transferencias). Si estos acontecimientos tienen lugar en digital
en lugar de escalas de tiempo biolgicas, entonces los seres humanos glaciares podran
verse expropiados antes de que pudieran decir Jack Robinson.15
La vida en una economa algortmica
La vida para los seres humanos biolgicos en un post-transicin de estado de Malthus no
tiene por qu parecerse a cualquiera de los estados histricos del hombre (como
cazadores-recolectores, agricultor o trabajador de oficina). En cambio, la mayora de los
seres humanos en este escenario podra ser rentistas ociosos que se ganan la vida
marginal sobre sus ahorros. 16 Seran muy pobre, sin embargo, obtener el poco ingreso
que tienen de ahorros o de los subsidios estatales. Ellos viven en un mundo con una
tecnologa muy avanzada, que incluye no slo las mquinas superinteligentes sino
tambin la medicina anti-envejecimiento, la realidad virtual, y varias tecnologas de
mejora y las drogas de recreo: sin embargo estos podran ser generalmente inaccesible.
Tal vez en lugar de usar la medicina mejora, que tomaran las drogas para atrofiar su
crecimiento y disminuir su metabolismo con el fin de reducir su costo de (rpido quemadores son incapaces de sobrevivir en el ingreso disminucin gradual de
subsistencia) que viven. A medida que nuestros nmeros de aumento y nuestro ingreso
promedio disminuye an ms, podramos degenerar en cualquier estructura mnima an
califica para recibir una pensin de quizs cerebros mnimamente conscientes en cubas,
oxigenados y nutridos por las mquinas, ahorrando poco a poco el dinero suficiente para
reproducirse por tener un tcnico robot desarrollar un clon de them.17
Adems frugalidad podra lograrse por medio de la carga, ya que un sustrato de
computacin optimizado fsicamente, ideado por superinteligencia avanzada, sera ms
eficiente que un cerebro biolgico. La migracin en el mbito digital podra surgi, sin
embargo, si las emulaciones fueron considerados como no-humanos o no ciudadanos no
elegibles para recibir pensiones o para mantener las cuentas de ahorro libres de
impuestos. En ese caso, un nicho para los humanos biolgicos podra permanecer
abierta, junto a una poblacin tal vez mucho ms grande de emulaciones o inteligencias
artificiales.
Hasta ahora nos hemos centrado en el destino de los seres humanos, que pueden ser
apoyadas por el ahorro, subsidios, o los ingresos salariales derivadas de otros humanos
que prefieren contratar a los seres humanos. Volvamos ahora nuestra atencin a algunas
de las entidades que hasta ahora hemos clasificado como "capital": mquinas que pueden
ser propiedad de los seres humanos, que estn construidas y operadas por el bien de las
tareas funcionales que realizan, y que somos capaces de sustituir el trabajo humano en
una amplia gama de puestos de trabajo. Cul puede ser la situacin como para estos
caballos de batalla de la nueva economa? Si estas mquinas eran meros autmatas, los
dispositivos simples, como una mquina de vapor o el mecanismo de un reloj, entonces se

necesitara ms comentarios: habra una gran cantidad de ese capital en una economa
post-transicin, pero al parecer no importa a nadie cmo salen las cosas para piezas de
equipo insensible. Sin embargo, si las mquinas tienen mentes conscientes, si es que estn
construidos de tal manera que su operacin est asociada con la conciencia fenomenal (o
si por alguna otra razn se atribuyen estatus moral) -entonces se vuelve importante tener
en cuenta el resultado global en trminos de cmo afectara a estas mentes mquina. El
bienestar de la mente de la mquina de trabajo podra incluso parece ser el aspecto ms
importante de los resultados, ya que pueden ser numricamente dominante.
Esclavitud voluntaria, la muerte ocasional
Una pregunta inicial relevante es si estas mentes mquinas que trabajan son de prop iedad
como de capital (esclavos) o se contratan jornaleros libres. En una inspeccin ms
cercana, sin embargo, es dudoso que se convierta en algo realmente depende de la
cuestin. Hay dos razones para esto. En primer lugar, si un trabajador libre en un est ado
de Malthus se le paga un salario de subsistencia, que no tendr ningn ingreso disponible
se fue despus de que ha pagado por la comida y otras necesidades. Si el trabajador es en
cambio un esclavo, su dueo va a pagar por su mantenimiento y de nuevo n o tendr el
ingreso disponible. En cualquier caso, el trabajador consigue las necesidades y nada ms.
En segundo lugar, supongamos que el trabajador libre eran de alguna manera en
condiciones de mandar un ingreso de subsistencia por encima de (tal vez debi do a la
regulacin favorable). Cmo va a gastar el supervit? Los inversores les resultara ms
rentable para crear trabajadores que seran "esclavos voluntarios" -que estaran
dispuestos a trabajar por salarios de subsistencia. Los inversores pueden crea r tales
trabajadores copiando aquellos trabajadores que cumplen. Con la seleccin apropiada (y
quizs algunas modificaciones al cdigo) los inversionistas podran ser capaces de crear
trabajadores que no slo prefieren ofrecer voluntariamente su trabajo, sino que tambin
podra optar por donar a sus propietarios los excedentes de ingresos que podran suceder
a recibir. Dar dinero al trabajador sera entonces sino una manera indirecta de dar dinero
al propietario o empleador, incluso si el trabajador fuera un agente libre con los derechos
legales.
Tal vez se objetar que sera difcil disear una mquina para que quiere
ser voluntario para cualquier trabajo asignado a l o lo que quiere donar sus salarios a su
dueo. Emulaciones, en particular, podran ser imaginado tener ms tpicamente deseos
humanos. Pero tenga en cuenta que incluso si el problema de control original es difcil,
estamos aqu considerando una condicin
despus
la transicin, un momento en que los mtodos para la seleccin de
motivacin presuntamente se han perfeccionado. En el caso de las emulaciones, se
podra llegar a ser muy lejos, simplemente seleccin de la gama de pre-existente de
caracteres humanos; y hemos descrito varios otros mtodos de seleccin de motivacin. El
problema de control puede tambin, en cierto modo se simplifica la suposicin actual de
que la nueva inteligencia mquina entra en una matriz socioeconmica estable que ya est
llena con otros agentes superinteligentes respetuosos de la ley.
Veamos, entonces, consideramos la difcil situacin de la mquina de la clase trabajadora,
ya sea operando como un esclavo o un agente libre. Nos centramos primero en
emulaciones, el caso ms fcil de imaginar. Traer un nuevo trabajador humana biolgica
en el mundo toma en cualquier lugar entre quince y treinta aos, dependiendo de la

cantidad de conocimientos y la experiencia que se requiere. Durante este tiempo, la

nueva persona debe ser alimentado, alojado, alimentado y educado a un gran costo. Por
el contrario, generando una nueva copia de un trabajador digital es tan fcil como cargar
un nuevo programa en la memoria de trabajo. Por tanto, la vida se convierte en barato.
Una empresa podra adaptar continuamente su fuerza de trabajo para adaptarse a las
demandas por desove nuevas copias-y terminando copias que ya no son necesarios, para
liberar recursos de la computadora. Esto podra llevar a una muy alta tasa de mortalidad
entre los trabajadores digitales. Muchos podran vivir un solo da subjetivo. Hay razones
distintas a las fluctuaciones en la demanda por qu los empresarios o propietarios de
emulaciones podran querer "matar" o "fin" a sus trabajadores con frecuencia.
18
Si una mente emulacin, como una mente biolgica, requiere periodos de
descanso y el sueo para poder funcionar, podra ser ms barato para borrar una
emulacin fatigado al final de un da y reemplazarlo con un estado almacenado de un
fresco y descansado emulacin. Como este procedimiento podra causar amnesia
retrgrada por todo lo que haban aprendido durante ese da, emulaciones que realizan
tareas que requieren largos hilos cognitivas se salvaron tales borrado frecuentes. Sera
difcil, por ejemplo, escribir un libro si cada maana cuando uno se sent en el escritorio
de uno, uno no tena ningn recuerdo de lo que haba hecho antes. Pero otros trabajos
podran realizarse adecuadamente por los agentes que se reciclan con frecuencia: un
dependiente o un agente de servicio al cliente, una vez entrenado, slo necesite
recordar nueva informacin durante veinte minutos.
Desde el reciclaje emulaciones impidan la formacin de memoria y habilidad, algunas
emulaciones pueden colocarse en una pista especial de aprendizaje en el que corran de
forma continua, incluyendo para el descanso y el sueo, incluso en empleos que n o
requieren estrictamente cognitivas hilos largos. Por ejemplo, algunos agentes de servicio
al cliente pueden funcionar durante muchos aos en los entornos de aprendizaje
optimizados, asistidos por entrenadores y evaluadores de desempeo. Lo mejor de estos
alumnos podran utilizarse como esprragos, sirviendo como plantillas de las que millones
de ejemplares frescos lleven estampada a cabo cada da. Gran esfuerzo se vierte en
mejorar el desempeo de dichas plantillas de trabajadores, ya que incluso un peque o
incremento de la productividad dara gran valor econmico cuando se aplica en millones
de copias.
Paralelamente a los esfuerzos para capacitar a los trabajadores a las
plantillas de determinados puestos de trabajo, tambin se haran esfuerzos intensos para
mejorar la tecnologa de emulacin subyacente. Avances aqu sera an ms valioso que
los avances en trabajadores-plantillas individuales, puesto que las mejoras generales de
tecnologa podra aplicarse a todos los trabajadores de emulacin (y potenci almente a las
emulaciones no trabajador tambin) y no slo a los de una determinada ocupacin.
Enormes recursos se dedicaran a la bsqueda de atajos computacionales que permiten
implementaciones ms eficientes de emulaciones existentes, y tambin en el desarrollo
de arquitecturas IA neuromrficos y totalmente sintticos. Esta investigacin sera
probablemente la mayora hacerse emulaciones se ejecutan en hardware muy rpido.
Dependiendo del precio de la energa del ordenador, millones, billones o trillones de
emulaciones de las mentes ms agudas de investigacin humana (o versiones mejoradas
de los mismos) pueden estar trabajando todo el da en el avance de la frontera de la

inteligencia de las mquinas; y algunos de ellos pueden estar operando rdenes de

magnitud ms rpido que los cerebros biolgicos.
19
Esta es una buena razn para pensar que la era de las emulaciones de apariencia
humana sera breve, una muy
breve interludio en sideral tiempo y que pronto dar paso a una era de la inteligencia
artificial muy superior.
Ya hemos encontrado varias razones por las cuales los
empleadores de trabajadores de emulacin pueden Cull peridicamente sus rebaos:
fluctuaciones en la demanda de los diferentes tipos de trabajadores, el ahorro de costes
de no tener que emular el descanso y el tiempo de sueo, y la introduccin de las
plantillas nuevas y mejoradas. Los problemas de seguridad pueden suministrar otra razn.
Para evitar que los trabajadores el desarrollo de planes y conspiraciones subversivas,
emulaciones en algunas posiciones sensibles podran ser ejecutados slo por perodos
limitados, con reajustes frecuentes a un estado listo antes almacenado.
20
Estas listas-estado al que emulaciones seran reinicio estaran preparados y
examinados cuidadosamente. Una emulacin de corta duracin tpica puede despertar en
un estado mental bien descansado que est optimizado para la lealtad y la productividad.
Se acuerda de que tiene la parte superior se gradu de su clase despus de muchos
(subjetivos) aos de intensa formacin y seleccin, a continuacin, despus de haber
disfrutado de unas vacaciones de restauracin y una buena noche de sueo, luego de
haber escuchado un discurso de motivacin entusiasta y la msica agitando, y ahora l
est tasca el bit de llegar finalmente a trabajar y hacer todo lo posible por su empleador.
l no est excesivamente preocupado por pensamientos de su muerte inminente al final
de la jornada de trabajo. Emulaciones con neurosis muerte u otras obsesiones son menos
productivos y no se han seleccionado.21 Funcionara mxima eficiencia ser divertido?
Una variable importante en la evaluacin de la conveniencia de una condicin hipottica
de este tipo es el estado hednico de la emulacin de media. 22 Un trabajador
tpico de emulacin de estar sufriendo o iba a estar disfrutando de la experiencia de
trabajar duro en la tarea en cuestin? Debemos resistir la tentacin de proyectar nuestros
propios sentimientos sobre el trabajador emulacin imaginario. La cuestin no es si usted
se sentira feliz si tiene que trabajar constantemente y nunca ms pasar tiempo con sus
seres queridos, un terrible destino, la mayora estara de acuerdo.
Es moderadamente ms relevante a considerar la actual experiencia hednica
promedio humano durante las horas de trabajo. Estudios de todo el mundo que piden
los encuestados lo felices que son que se encuentran la mayora califica a s mismos
como "muy feliz" o "muy feliz" (con un promedio de 3.1 en una escala de 1 a 4).23
Estudios en promedio afectan, preguntando a los encuestados con qu frecuencia han
experimentado recientemente diversos estados afectivos positivos o negativos, tienden a
obtener un resultado similar (que produce un efecto neto de alrededor de 0,52 en una
escala de -1 a 1). Hay un efecto positivo modesto del ingreso per cpita de un pas en
promedio subjetiva bien bienestar.24 Sin embargo, es peligroso extrapolar estos
resultados al estado hednico de los trabajadores de emulacin futuros. Una de las
razones que se pudiera dar de esto es que su condicin sera tan diferentes: por un lado,
podran estar trabajando mucho ms difcil; por el contrario, podran estar libres de
enfermedades, dolores, hambre, olores nocivos, y as sucesivamente. Sin embargo, tales

consideraciones se pierda gran parte de la marca. La consideracin ms importante aqu

es que el tono hednico sera fcil de ajustar a travs del equivalente digital de frmacos o
neurociruga. Esto significa que sera un error inferir el estado hednico de los futuros
emulaciones de las condiciones externas de la vida imaginando cmo nosotros mismos y
otras personas como nosotros sentiramos en esas circunstancias. Estado hednico sera
una cuestin de eleccin. En el modelo que estamos considerando actualmente, la
eleccin se hara por los propietarios del capital que buscan maximizar la rentabilidad de
su inversin en la emulacin de trabajo. En consecuencia, la cuestin de cmo se sentira
feliz emulaciones se reduce a la cuestin de qu estados hednicos seran ms
productivos (en los diferentes puestos de trabajo que las emulaciones se emplean para
hacer). Aqu, de nuevo, se podra tratar de dibujar una inferencia a partir de
observaciones sobre la felicidad humana. Si es el caso, en la mayora de los tiempos,
lugares y ocupaciones, que la gente es tpicamente al menos moderadamente feliz, esto
sera crear un poco de presuncin a favor de la misma explotacin en un escenario
posterior a la transicin como el que estamos considerando. Para ser claros, el argumento
en este caso no sera que las mentes humanas tienen una predisposicin hacia la felicidad
por lo que probablemente encontraran satisfaccin bajo estas nuevas condiciones; sino
ms bien que un cierto nivel medio de la felicidad ha demostrado ser adaptable para las
mentes humanas en el pasado as que tal vez un nivel similar de la felicidad probar
adaptativo para las mentes de apariencia humana en el futuro. Sin embargo, esta
formulacin tambin pone de manifiesto la debilidad de la inferencia: a saber, que las
disposiciones mentales que eran de adaptacin para los homnidos cazadoresrecolectores de itinerancia la sabana africana no necesariamente ser adaptable para
emulaciones modificados que viven en realidades virtuales post-transicin. Podemos sin
duda
esperanza
que los futuros de emulacin de trabajo sera tan feliz como, o ms feliz
que, los trabajadores eran tpicos en la historia humana; pero todava tenemos que ver
ninguna razn de peso para suponer que sera tan (en el escenario multipolar laissezfaire actualmente en estudio).
Considere la posibilidad de que la razn de la felicidad es frecuente entre los humanos (de
lo que sea limitada medida en que es frecuente) es que el estado de nimo alegre cumpli
una funcin de sealizacin en el entorno de la adaptabilidad evolutiva. Dar la impresin a
los dems miembros del grupo social de estar en buen estado de salud floreciente
condicin de entrada, en buenos trminos con los compaeros, y en la espera confiada de
la continuacin de la buena fortuna, pudo haber impulsado la popula ridad de un
individuo. Un sesgo hacia la alegra poda por lo tanto han sido seleccionados para, con el
resultado de que la neuroqumica humana est sesgado hacia afecto positivo en
comparacin con lo que habra sido de mxima eficiencia en funcin de crit erios
materialistas ms simples. Si este fuera el caso, entonces el futuro de la alegra de
vivir podra depender de alegra que conserva su funcin de sealizacin sociales
inalterada en el mundo posterior a la transicin: un tema al que volveremos en breve.
Qu pasa si las almas alegres disipan ms energa que los sombros? Tal vez la
alegra son ms propensos a saltos creativos y vuelos de lujo-comportamientos que los
futuros empleadores pueden disprize en la mayora de sus trabajadores. Tal vez una

fijacin hosca o ansioso simplemente en seguir adelante con el trabajo sin cometer
errores ser la actitud que maximiza la productividad en la mayora de lneas de trabajo.
La afirmacin no es que esto es as, pero que no sabemos que no es as. Sin embargo ,
debemos considerar lo mal que podra ser si algunos tal hiptesis pesimista acerca de un
futuro Estado maltusiana result ser cierto: no slo por el costo de oportunidad de
haber fallado en crear algo mejor que ser enorme, pero tambin porque el Estado
podra ser malo en s mismo, posiblemente, mucho peor que el estado original de
Malthus.
Rara vez nos ponemos vuelta completa esfuerzo. Cuando lo hacemos, a veces es doloroso.
Imagnese correr en una cinta en una empinada pendiente golpeteo-corazn, msculos
doloridos, pulmones respirando con dificultad. Una mirada al temporizador: su prxima
escapada, que tambin ser su muerte, se debe, en 49 aos, 3 meses, 20 das, 4 horas, 56
minutos y 12 segundos. Usted desea que usted no haba nacido. Una vez ms el reclamo
no es que se trata de cmo sera, pero que no sabemos que no lo es. Uno podra hacer un
caso ms optimista. Por ejemplo, no hay ninguna razn obvia de que las emulaciones
tendran que sufrir una lesin corporal y la enfermedad: la eliminacin de la miseria fsica
sera una gran mejora sobre el actual estado de cosas. Adems, puesto que las cosas tales
como la realidad virtual est hecho de puede ser bastante barato, emulaciones pueden
trabajar en un entorno-en esplndidos palacios suntuosos cima de la montaa, en las
terrazas situadas en un bosque de la primavera en ciernes, o en las playas de un azul
laguna, con slo el derecho la iluminacin, la temperatura, la escenografa y decoracin;
libre de humos, ruidos molestos, giros, y los insectos zumban; vestido con ropa cmoda,
una sensacin de limpieza y enfocado, y bien nutrido. Ms significativamente, si -como
parece perfectamente posible, el estado mental humana ptima para la productividad en
la mayora de los puestos de trabajo es una de alegre entusiasmo, entonces la era de la
economa de emulacin podra ser bastante paradisaca.
No habra, en todo caso, ser un gran valor de la opcin en el arreglo de los
asuntos de tal manera de que alguien o algo podran intervenir para arreglar las cosas si
la trayectoria por defecto debera ocurrir a virar hacia la distopa. Tambin podra ser
conveniente disponer de algn tipo de puerta de escape que permiten rescate en la
muerte y el olvido si la calidad de la vida fuera a hundirse permanentemente por deba jo
del nivel en el que se convierte en la aniquilacin preferible existencia continuada.
Subcontratistas inconsciente?
A ms largo plazo, como la emulacin poca da paso a una era de la inteligencia artificial
(o si la inteligencia artificial se obtiene directamente a travs de la IA sin una etapa de
emulacin de todo el cerebro anterior) el dolor y el placer, posiblemente, podra
desaparecer por completo en un resultado multipolar, ya una recompensa hednico
mecanismo no puede ser el sistema de motivacin ms eficaz para un agente artificial
compleja (que, a diferencia de la mente humana, no est gravada con el legado de
wetware animal). Tal vez un sistema de motivacin ms avanzada se basara en una
representacin explcita de una funcin de utilidad o alguna otra arquitectura que no
tiene anlogos funcionales exactas a placer y dolor. Un multipolar resultado uno
relacionado pero un poco ms radical que podra implicar la eliminacin de casi todos los
valores del futuro es que el proletariado universal, ni siquiera sera consciente. Esta

posibilidad es ms saliente con respecto a la gripe aviar, que podra ser estructurado de
manera muy diferente a la inteligencia humana. Pero incluso si la inteligencia artificial se
lograron inicialmente aunque la emulacin de todo el cerebro, lo que resulta en la mente
digitales conscientes, las fuerzas de la competencia desatada en una economa post transicin podra fcilmente conducir a la aparicin de formas cada vez menos
neuromrficos de inteligencia de la mquina, ya sea porque se crea AI sinttica de novo o
porque las emulaciones seran, a travs de sucesivas modificaciones y mejoras, salida cada
vez ms su forma humana original.
Considere la posibilidad de un escenario en el que despus de tecnologa de
emulacin se ha desarrollado, el progreso continuado en la neurociencia y la informtica
(acelerada por la presencia de mentes digitales para servir como los investigadores y los
sujetos de prueba) permite aislar los mdulos cognitivos individuales en una emulacin,
y para conectarlos a los mdulos aislados de otras emulaciones. Un perodo de
formacin y el ajuste puede ser requerido ante diferentes mdulos pueden colaborar de
manera efectiva; pero los mdulos que se ajusten a las normas comunes podran
interactuar ms rpido con otros mdulos estndar. Esto hara que los mdulos
estandarizados ms productivo, y crear presin para una mayor estandarizacin.
Emulaciones ahora pueden comenzar a externalizar aumentar porciones de su
funcionalidad. Por qu aprender aritmtica cuando usted puede enviar su tarea
numrica razonamiento de Gauss-mdulos, Inc.? Por qu ser elocuente cuando se puede
contratar Conversaciones Coleridge para poner sus pensamientos en palabras? Por qu
tomar decisiones sobre su vida personal cuando no estn certificados mdulos ejecutivos
que pueden escanear su sistema objetivo y gestionar sus recursos para lograr sus metas
mejor que si se trat de hacerlo usted mismo? Algunas emulaciones pueden preferir
conservar la mayor parte de su funcionalidad y manejar las propias tareas que se pueden
hacer de manera ms eficiente por otros. Esos emulaciones seran como los aficionados
que disfrutan de crecimiento de sus propias verduras o tejer sus propias chaquetas de
punto. Tales emulaciones aficionados seran menos eficientes; y si hay un flujo neto de
recursos de menos a los participantes ms eficientes de la economa, los aficionados
finalmente se pierden.

Los cubos de caldo de intelectos humanos como discretos por lo tanto se funden
en una sopa de algortmica.
Es concebible que la eficiencia ptima se alcanzara mediante la agrupacin de las
capacidades en los agregados que aproximadamente coinciden con la arquitectura
cognitiva de la mente humana. Podra ser el caso, por ejemplo, que un mdulo d e
matemticas debe adaptarse a un mdulo de idioma, y que ambos deben ser adaptados al
mdulo ejecutivo, a fin de que los tres para trabajar juntos. Externalizacin cognitiva sera
entonces casi totalmente inviable. Pero en ausencia de cualquier razn de peso para estar
seguros de que esto es as, debemos tolerar la posibilidad de que las arquitecturas
cognitivas humanas como son ptimas slo dentro de las limitaciones de la neurologa
humana (o nada). Cuando se hace posible la construccin de arquitecturas que no podran
aplicarse tambin en las redes neuronales biolgicas, nuevo espacio de diseo se abre; y
los ptimos mundial en este espacio ampliado no tiene por qu parecerse a tipos
familiares de mentalidad. Organizaciones cognitivas-humanos como seran entonces
carecen de un nicho en una economa post-transicin competitiva o ecosistema.25
Puede haber nichos para los complejos que son o menos complejos (como mdulos
individuales), ms complejas (como grandes grupos de mdulos) o de complejidad similar
a las mentes humanas pero con radicalmente diferentes arquitecturas. Estos complejos
tienen ningn valor intrnseco? Hay que dar la bienvenida a un mundo en el que tales
complejos aliengenas han sustituido a los complejos humanos? La respuesta puede
depender de la naturaleza especfica de los complejos aliengenas. El mundo actual tiene
muchos niveles de la organizacin. Algunas entidades altamente complejas, como las
corporaciones multinacionales y los estados-nacin, contienen los seres humanos como
componentes; sin embargo, por lo general asignamos estos complejos de alto nivel nico
valor instrumental. Las corporaciones y los estados no lo hacen (en general se supone)
tener conciencia, ms all de la conciencia de las personas que las constituyen: no pueden
sentir dolor o placer fenomenal o experimentar cualquier qualia. Nosotros los valoramos
en la medida en que sirven las necesidades humanas, y cuando dejan de hacerlo nosotros
"matamos" sin escrpulos. Tambin hay entidades de nivel ms bajo, y los que, estatus
moral tambin, suelen ser negado. No vemos ningn dao en borrar una aplicacin de un
telfono inteligente, y no creemos que un neurocirujano se maltrataba a nadie cuando se
extirpa un mdulo de mal funcionamiento de un cerebro epilptico. En cuanto a los
complejos exticamente organizados de un nivel similar a la del cerebro humano, la
mayora de nosotros tal vez sera juzgarlos tener significado moral slo si pensaban que
tenan una capacidad o potencial para la experiencia consciente.26
Por lo tanto podamos imaginar, como un caso extremo, una sociedad
tecnolgicamente muy avanzada, que contiene muchas estructuras complejas, algunas de
ellas mucho ms compleja e inteligente que todo lo que existe en el planeta hoy en da,
una sociedad que, sin embargo carece de cualquier tipo de ser que es consciente o cuyo
bienestar tiene significado moral. En cierto sentido, esto sera una sociedad deshabitada.
Sera una sociedad de los milagros econmicos y genialidad tecnolgica, con nadie all
para beneficiarse. Un Disneyland sin hijos. La evolucin no es necesariamente
La palabra "evolucin" se utiliza a menudo como sinnimo de "progreso", quizs

reflejando una imagen acrtica comn de la evolucin como una fuerza para el bien. Una
fe fuera de lugar en la beneficencia inherente del proceso evolutivo puede ponerse en el
camino de una evaluacin justa de la conveniencia de un resultado multipolar en el que el
futuro de la vida inteligente es determinado por la dinmica competitiva. Cualquier
evaluacin debe basarse en alguna opinin (al menos implcita) sobre la distribucin de
probabilidad de los diferentes fenotipos resultando ser adaptativa en un post -transicin
sopa de vida digital. Sera difcil en el mejor de los casos para extraer una respuesta cla ra y
correcta de la sustancia pegajosa inevitable de incertidumbre que prevalece en estos
asuntos: ms an, si nos superadd una capa de lodo panglossiana. Una posible fuente de
la fe en la evolucin de rueda libre es la direccionalidad hacia arriba aparente exhibido por
el proceso evolutivo en el pasado. A partir de replicadores rudimentarias, la evolucin
produce cada vez ms organismos "avanzadas", incluyendo criaturas con mente, la
conciencia, el lenguaje, y la razn. Ms recientemente, los procesos culturales y
tecnolgicos, que llevan algunas similitudes sueltos a la evolucin biolgica, han permitido
a los seres humanos para desarrollar a un ritmo acelerado. En un geolgica, as como una
escala de tiempo histrico, el panorama parece mostrar una tenden cia general hacia el
aumento de los niveles de complejidad, el conocimiento, la conciencia y la organizacin
coordinada dirigido a un objetivo: una tendencia que, de no poner un punto demasiado
fino en l, uno podra llamar "progreso".27
La imagen de la evolucin como un proceso que se produce de forma fiable efectos
benignos es difcil de conciliar con el enorme sufrimiento que vemos tanto en el mundo
humano y natural. Los que aprecian los logros de la evolucin puede hacerlo ms de una
esttica de una perspectiva tica. Sin embargo, la pregunta pertinente no es qu tipo de
futuro que sera fascinante para leer en una novela de ciencia ficcin o de ver
representado en un documental de naturaleza, pero qu tipo de futuro que sera bueno
vivir en: dos asuntos muy diferentes. Por otra parte, no tenemos ninguna razn para
pensar que cualquier progreso que se ha producido era de ninguna manera inevitable.
Mucho podra haber sido suerte. Esta objecin deriva apoyo del hecho de que un efecto de
seleccin observacin filtra la evidencia que podemos tener sobre el xito de nuestro
propio desarrollo evolutivo.28
Supongamos que el 99,9999% de todos los planetas donde surgi la vida que se extingui
antes de desarrollar hasta el punto que los observadores inteligentes podran comenzar a
reflexionar sobre su origen. Qu debemos esperar para observar si ese fuera el caso?
Posiblemente, habr que esperar para observar algo parecido a lo que hacemos, de hecho
observar. La hiptesis de que las probabilidades de vida inteligente en evolucin en un
planeta dado son baja no predecimos que deberamos encontrarnos en un planeta donde
la vida se extingui en una fase temprana; ms bien, se puede predecir que deberamos
encontrarnos en un planeta donde la vida inteligente ha evolucionado, incluso si tales
planetas constituyen una fraccin muy pequea de todos los planetas donde la vida
primitiva evolucion. Larga trayectoria de vida en la Tierra, por lo tanto puede ofrecer
escaso apoyo a la afirmacin de que haba una alta probabilidad a dejar nada solo
acercarse inevitabilidad implicada en el aumento de los organismos superiores en nuestra
planet.29
En tercer lugar, incluso si las condiciones presentes haban sido idlica, e
incluso si pudieran se ha demostrado que han surgido inevitablemente de algn estado

primordial genrico, todava habra ninguna garanta de que la tendencia meliorista va a

continuar en el futuro indefinido. Esto es vlido incluso si dejamos de lado la posibilidad de
un evento de extincin catastrfica y, de hecho, incluso si asumimos que los desarrollos
evolutivos continuarn produciendo sistemas de complejidad creciente. Hemos sugerido
anteriormente que los trabajadores de inteligencia mquina seleccionados para la mxima
productividad estaran trabajando muy duro y que no se sabe lo feliz que seran esos
trabajadores. Tambin nos planteamos la posibilidad de que las formas de vida ms aptos
en un futuro sopa de vida digital competitiva no pueden incluso ser consciente. A falta de
una completa prdida de placer, o de la conciencia, no puede haber un desgaste de otras
cualidades que muchos podran considerar como indispensable para una buena vida. Los
seres humanos de msica valor, humor, romance, arte, juego, baile, conversacin, la
filosofa, la literatura, de aventura, de descubrimiento, de alimentos y bebidas, Amistad,
crianza de los hijos, el deporte, la naturaleza, la tradicin y espiritualidad, entre muchas
otras cosas. No hay ninguna garanta de que alguno de stos permaneceran adaptativa.
Tal vez lo que maximizar la aptitud ser nada ms que sin parar monotona de alta
intensidad, el trabajo de carcter montono y repetitivo, desprovisto de escalofro ldico,
destinado slo a la mejora de la octava posicin decimal de alguna medida la produccin
econmica. Los fenotipos seleccionados tendran vidas carentes de las cualidades antes
mencionadas, y en funcin de la propia axiologa el resultado podra golpear una como sea
aborrecible, sin valor, o simplemente empobrecida, pero en todo caso muy lejos de una
utopa uno se sentira digno de uno de encomio .
Cabe preguntarse cmo un cuadro tan sombro podra ser consistente con el hecho de que
nosotros ahora entregamos a la msica, humor, romance, arte, etc. Si estas conductas son
realmente tan "derrochador", entonces cmo es que han sido tolerados y de hecho
promovido por los procesos evolutivos que dieron forma a nuestra especie? Ese hombre
moderno est en un desequilibrio evolutiva no da cuenta de esto; para nuestros
antepasados del Pleistoceno, tambin, que participan en la mayora de estos disipaciones.
Muchos de los comportamientos en cuestin ni siquiera son exclusivos de
Homo
sapiens. Pantalla Flamboyant se encuentra en una amplia variedad de contextos, desde la
seleccin sexual en el reino animal a los concursos de prestigio entre Unidos.30 nacin
Aunque una explicacin evolutiva completo para cada una de estas conductas est ms
all del alcance de la presente investigacin, podemos notar que algunos de ellos sirven
funciones que pueden no ser tan relevante en un contexto de inteligencia mquina.
Escuchar, por ejemplo, que slo se produce en algunas especies y predominantemente
entre los jvenes, es principalmente una forma de que el animal joven para aprender las
habilidades que va a necesitar en el futuro. Cuando emulaciones pueden ser creados
como adultos, ya en posesin de un repertorio madura de habilidades, o cuando los
conocimientos y tcnicas adquiridos por uno AI se pueden trasladar directamente a otro
AI, la necesidad de un comportamiento ldico podra ser menos generalizada. Muchos
de los otros ejemplos de conductas humanistas pueden haber evolucionado como difciles
de falsificar seales de cualidades que son difciles de observar directamente, como
corporales o resistencia mental, la condicin social, la calidad de los aliados, la capacidad y
la voluntad de prevalecer en una pelea, o la posesin de los recursos. La cola del pavo real
es el caso clsico: slo pavos reales aptos pueden darse el lujo de brotar plumaje

verdaderamente extravagante, y pavas han evolucionado para encontrarlo atractivo. No

menos de rasgos morfolgicos, rasgos de comportamiento tambin pueden ser seal de
aptitud gentica u otros atributos socialmente relevantes.31
Teniendo en cuenta que la pantalla extravagante es tan comn entre los seres
humanos y otras especies, se podra considerar si no sera tambin parte del repertorio de
formas de vida tecnolgicamente ms avanzados. Incluso si se llegara a ningn uso
estrictamente instrumentales para la alegra o la musicalidad o incluso para la conciencia
en el futuro ecologa de procesamiento inteligente de la informacin, no pueden, sin
embargo, estos rasgos confieren alguna ventaja evolutiva a sus poseedores en virtud de
ser seales fiables de otras cualidades de adaptacin? Si bien la posibilidad de una
armona preestablecida entre lo que es valioso para nosotros y lo que sera adaptativa en
un futuro ecologa digital es difcil de descartar, hay razones para el escepticismo.
Consideremos, en primer lugar, que muchas de las costosas pantallas que encontramos en
la naturaleza estn vinculados a la seleccin sexual.
32
Reproduccin entre las formas de vida tecnolgicamente maduros, en cambio,
puede ser predominante o exclusivamente asexual. En segundo lugar, los agentes
tecnolgicamente avanzadas pueden tener los nuevos medios de comunicacin de
manera fiable informacin sobre s mismos, los medios que no se basan en la exhibicin
costosa disponibles. Incluso hoy en da, cuando los prestamistas profesionales evalan la
solvencia tienden a confiar ms en las pruebas documentales, tales como certificados de
propiedad y estados de cuenta bancarios, que en las pantallas costosas, tales como trajes
de diseador y relojes Rolex. En el futuro, podra ser posible emplear firmas d e auditora
que verifican a travs del examen detallado del historial de comportamiento, las pruebas
en entornos simulados, o la inspeccin directa del cdigo fuente, de que un agente de
cliente posee un atributo afirmado. Sealizacin cualidades de uno al aceptar dicha
auditora podra ser ms eficiente que la sealizacin a travs de la pantalla extravagante.
Dicha seal mediada profesionalmente todava sera costoso falso-esta es la caracterstica
esencial que hace que la seal confiable, pero podra ser mucho ms barato para
transmitir cuando
veraz de lo que sera para comunicar una seal equivalente extravagante. En tercer
lugar, no todas las posibles pantallas costosas son intrnsecamente valioso o socialmente
deseable. Muchos son simplemente un desperdicio. Las ceremonias potlatch kwakiutl, una
forma de competencia entre los jefes de estado rivales, implicaron la destruccin pblica
de vastas cantidades de riqueza acumulada.
33
Rascacielos rcord, megayates y cohetes lunares pueden ser vistos como anlogos
contemporneos. Si bien las actividades como la msica y el humor plausiblemente
podran ser reclamados para mejorar la calidad intrnseca de la vida humana, es dudoso
que un reclamo similar podra ser sostenido con respecto a la costosa bsqueda d e
accesorios de moda y otros smbolos de estatus consumistas. Peor an, la pantalla costosa
puede ser francamente perjudicial, como en la postura machista que conduce a la
violencia de pandillas o bravata militar. Incluso si las futuras formas de vida inte ligente
usaran sealizacin costosa, por lo tanto, es una cuestin abierta si la seal sera de un
valiosa especie, ya sea que sera como la meloda entusiasta de un ruiseor o en su lugar
como graznido monosilbicas del sapo (o el incesante ladridos de u n perro rabioso).

Formacin posterior a la transicin de un producto nico?

Incluso si el resultado inmediato de la transicin a la inteligencia de las mquinas eran
multipolar, la posibilidad quedara de un singleton desarrollo posterior. Tal desarrollo
continuara una aparente tendencia a largo plazo hacia mayores escalas de integracin
poltica, llevndola a su conclusin natural.34 Cmo puede ocurrir esto?
Una segunda transicin
El modo en que un resultado inicialmente multipolar podra
converger en un post-transicin singleton es si existe, despus de la transicin inicial, una
segunda transicin tecnolgica lo suficientemente grande y empinada suficiente para
darle una ventaja estratgica decisiva a uno de los poderes restantes: un poder que podra
entonces aprovechar la oportunidad de establecer un conjunto unitario. Tal segunda
transicin hipottico podra ser ocasionada por un gran avance a un nivel superior de
superinteligencia. Por ejemplo, si la primera ola de la mquina superinteligencia es basada
en la emulacin, a continuacin, una segunda oleada puede resultar cuando las
emulaciones ahora haciendo la investigacin tengan xito en el desarrollo de la
inteligencia artificial de auto-mejora efectiva.35 (Alternativamente, una segunda
transicin podra ser desencadenada por un gran avance en la nanotecnologa o alguna
otra tecnologa de propsito general militar o como todava unenvisaged.)
El ritmo de desarrollo despus de la transicin inicial sera extremadamente rpida.
Incluso un corto espacio entre la primera potencia y su competidor ms cercano, por lo
tanto podra plausiblemente resultar en una ventaja estratgica decisiva para la primera
potencia durante una segunda transicin. Supongamos, por ejemplo, que dos proyectos
entran en la primera transicin a pocos das de diferencia, y que el despegue es lo
suficientemente lenta que esta brecha no da el proyecto que lleva una ventaja estratgica
decisiva en cualquier momento durante el despegue. Los dos proyectos de ambas
potencias emergen como superinteligentes, aunque uno de ellos permanece unos das por
delante del otro. Pero los acontecimientos se estn produciendo en la investigacin
escalas de tiempo caracterstico de la mquina superinteligencia-quizs miles o millones
de veces ms rpido que la investigacin llevada a cabo en una escala temporal humana
biolgica. Por lo tanto, el desarrollo de la tecnologa de segunda transicin podra
completarse en das, horas o minutos. A pesar de la ventaja de la favorita est a tan slo
unos das, un gran avance tanto, podra catapultar en una ventaja estratgica decisiva.
Tenga en cuenta, sin embargo, que si la difusin tecnolgica (mediante el espionaje u
otros canales) acelera tanto como el desarrollo tecnolgico, entonces este efecto podra
ser negada. Cul sera seguir siendo relevante sera la pendiente de la segunda
transicin, es decir, la velocidad a la que se desarrollara en relacin con la velocidad
general de los acontecimientos en el perodo posterior a la primera transicin. (En est e
sentido, las cosas estn sucediendo ms rpido despus de la primera transicin, menos
empinada la segunda transicin tendera a ser.) Tambin se podra especular que una
ventaja estratgica decisiva sera ms probable que se utilicen realmente para est ablecer
un singleton si surge durante un segundo (o posterior) de transicin. Despus de la primera
transicin, los tomadores de decisiones podran ser o bien superinteligente o tener acceso
a asesoramiento de un superinteligencia, lo que aclarar las implicaciones de las opciones
estratgicas disponibles. Por otra parte, la situacin despus de la primera transicin
podra ser uno en el que un movimiento preventivo contra posibles competidores sera

menos peligroso para el agresor. Si las mentes de toma de decisiones despus de la

primera transicin son digitales, podran ser copiados y por lo tanto vuelven menos
vulnerables a un contraataque. Incluso si un defensor tena la capacidad de matar a nueve
dcimas partes de la poblacin del agresor en un ataque de represalia, esto apenas ofrecer
mucho disuasin si el fallecido podra ser resucitados inmediatamente de las copias de
seguridad redundantes. Devastacin de la infraestructura (que puede ser reconstruida)
tambin podra ser tolerable para mentes digitales con esperanzas de vida efectivamente
ilimitadas, que podran estar planeando para maximizar sus recursos e influencia en una
escala de tiempo cosmolgica.
Superorganismos y economas de escala
El tamao de los agregados humanos
coordinadas, como las empresas o naciones, est influenciada por diversos parmetrostecnolgicas, militares, financieras y culturales, que pueden variar de una poca histrica a
otra. Una revolucin inteligencia de las mquinas implicara cambios profundos en muchos
de estos parmetros. Quizs estos cambios facilitaran la aparicin de un producto nico.
Aunque no podemos, sin mirar en detalle lo que estos cambios potenciales son, excluir la
posibilidad, que frente a los cambios facilitaran la fragmentacin en lugar de unificacin
que, sin embargo, podemos observar que el aumento de la varianza o la incertidumbre que
nos enfrentamos aqu pueden ser en s mismo un motivo de dar mayor credibilidad a la
posible aparicin de un producto nico que nos hubiera otra manera de hacer. Una
revolucin inteligencia artificial podra, por as decirlo, las cosas stir up-podra barajar el
mazo para hacer posibles realineamientos geopolticos que pareca no quiz de otra
manera han estado en las tarjetas.
Un anlisis exhaustivo de todos los factores que pueden influir en la escala de integracin
poltica nos llevara mucho ms all del alcance de este libro: una revisin de la literatura
de las ciencias polticas y economa en s relevante podra fcilmente llenar un volumen
completo. Debemos limitarnos a hacer breve alusin a un par de factores, aspectos de la
digitalizacin de los agentes que pueden hacer que sea ms fcil para centralizar el
control.
Carl Shulman ha argumentado que en una poblacin de emulaciones,
presiones de seleccin favoreceran la aparicin de "superorganismos," grupos de
emulaciones listos para sacrificarse por el bien de su clan.36
Superorganismos se salvaron los problemas de agencia que acosan a las organizaciones
cuyos miembros perseguir su propio inters. Al igual que las clulas de nuestro cuerpo, o
los animales individuales en una colonia de insectos eusociales, emulaciones que eran
totalmente altruista hacia sus hermanos de copia que cooperar entre s, incluso en
ausencia de planes de incentivos elaborados.
Superorganismos
tendran
una
particularmente fuerte ventaja si la eliminacin no consensual (o suspensin indefinida) de
emulaciones individuales se desecharon. Las empresas o pases que emplean emulaciones
insistiendo en la propia conservacin se cargan con un compromiso sin fin de pagar el
mantenimiento de los trabajadores obsoletos o redundantes. Por el contrario, las
organizaciones cuyos emulaciones voluntariamente borran a s mismos cuando sus
servicios ya no eran necesarios podran adaptarse ms fcilmente a las fluctuaciones de la
demanda; y podran experimentar libremente, la proliferacin de las variaciones de sus
trabajadores y retener slo el ms productivo.
Si eliminacin involuntaria es
no anulado, entonces la ventaja comparativa de

emulaciones eusociales se reduce, aunque tal vez no eliminado. Empresarios de

cooperativas auto-sacrificadores todava pueden cosechar ganancias de eficiencia de los
problemas de agencia reducidos en toda la organizacin, incluyendo el ser ahorrado la
molestia de tener que derrotar cualquier resistencia emulaciones podran poner en contra
de su propia eliminacin. En general, los aumentos de la productividad de tener
trabajadores dispuestos a sacrificar sus vidas individuales para el bien comn son un caso
especial de los beneficios que una organizacin puede derivarse de que tienen miembros
que son fanticamente dedicado a l. Dichos miembros no slo saltar en la tumba para la
organizacin y trabajar largas horas por poco dinero: tambin rechazaran la poltica de
oficina y tratar constantemente de actuar en lo que se llevaron a ser el mejor inters de la
organizacin, lo que reduce la necesidad de supervisin y burocrtico restricciones.
Si la nica manera de lograr tanta dedicacin fueron restringiendo membresa para co piar
hermanos (de modo que todas las emulaciones en un superorganismo particular, fueron
sellados desde la misma plantilla), entonces superorganismos sufriran algn
inconveniente en ser capaz de dibujar slo de una gama de habilidades ms estrecho que
el de las organizaciones rivales, una desventaja que podra o no ser lo suficientemente
grande como para compensar las ventajas de evitar los problemas de agencia internas.
37 Esta desventaja se aliviara en gran medida si un superorganismo podra al
menos contener miembros con diferente formacin. Incluso si todos sus miembros se
derivaron de un solo ur-plantilla, su fuerza de trabajo podra entonces todava contribuir
con una diversidad de habilidades. A partir de una emulacin de ur-plantilla polymathically
talento, linajes podran separaron en diferentes programas de formacin, una copia
aprender contabilidad, otra ingeniera elctrica, y as sucesivamente. Esto producira una
membresa con diversas habilidades aunque no de diversos talentos. (Diversidad mxima
podra requerir que se utiliza ms de un ur-plantilla.)
La propiedad esencial de un superorganismo no es que se compone de copias de un solo
progenitor, sino que todos los agentes individuales dentro de ella estn totalmente
comprometido con un objetivo comn. La capacidad de crear un superorganismo por lo
tanto puede ser visto como que requiere una solucin parcial al problema de control.
Considerando que una solucin completamente general para el problema de control que
permitira a alguien para crear un agente con cualquier objetivo final arbitraria, la solucin
parcial necesario para la creacin de un superorganismo requiere simplemente la
capacidad de modelar mltiples agentes con el mismo objetivo final (para algunos pero no
trivial no necesariamente objetivo final arbitrario). 38 La
consideracin principal
presentado en este apartado por lo tanto no es realmente limitada a grupos de emulacin
monoclonales, pero puede afirmarse ms en general de una manera que deja en claro que
se aplica a una amplia gama de escenarios de inteligencia mquina multipolares. Es que
ciertos tipos de avances en las tcnicas de seleccin de motivacin, que puede ser factible
cuando los actores son digitales, pueden ayudar a superar algunas de las ineficiencias que
actualmente obstaculizan grandes organizaciones humanas y que las economas de escala
de contrapeso. Con estos lmites levantaron, organizaciones ya sean empresas, naciones,
u otras entidades podran econmicos o polticos aumentar de tamao. Este es un factor
que podra facilitar la aparicin de un producto nico posterior a la transicin.
Una de las reas en las que superorganismos (u otros agentes digitales con

motivaciones parcialmente seleccionados) pueden sobresalir es coercin. Un estado

puede usar los mtodos de seleccin motivacin para asegurar que sus policas, militares,
servicios de inteligencia, y la administracin civil son uniformemente leales. Como seala
Shulman, Estados guardados [de alguna emulacin fiel que se ha preparado y verificado
cuidadosamente] se podran copiar miles de millones de veces al personal de un militar, la
burocracia y la polica ideolgicamente uniforme. Despus de un corto perodo de trabajo,
cada copia sera reemplazado por una copia nueva del mismo estado guardado, evi tando
la deriva ideolgica. Dentro de una jurisdiccin determinada, esta capacidad podra
permitir la observacin y regulacin muy detallada: no podra ser una de esas copias como
sean residentes. Esto podra ser utilizado para prohibir el desarrollo de armas de
destruccin masiva, para hacer cumplir las regulaciones sobre la experimentacin de
emulacin cerebro o la reproduccin, para imponer una constitucin democrtica liberal,
o para crear un totalitarismo atroz y permanente
39
El efecto de primer orden de una capacidad tal parecera ser para consolidar el
poder, y posiblemente a concentrarse en menos manos. Unificacin por tratado
Puede haber grandes ganancias potenciales que se tena de la colaboracin
internacional en un mundo multipolar post-transicin. Las guerras y las carreras de
armamentos podran evitarse. Recursos Astrophysical podran ser colonizados y se
recogieron en un paso a nivel global ptimo. El desarrollo de formas ms avanzadas de
inteligencia artificial podra ser coordinada para evitar una carrera y permitir nuevos
diseos de ser revisado a fondo. Otras novedades que pudieran representar riesgos
existenciales podran ser pospuestas. Y regulaciones uniformes podran ser aplicadas a
nivel mundial, incluyendo las provisiones para un nivel garantizado de vida (lo que
requerira alguna forma de control de la poblacin) y para la prevencin de la explotacin
y el abuso de emulaciones y otras mentes digitales y biolgicos. Adems, los agentes con
preferencias insaciable de recursos (ms sobre esto en el captulo 13) preferiran un
acuerdo de reparto que les garantizara una cierta porcin de un futuro a un ganador se
lleva toda lucha en el que correran el riesgo de no conseguir nada. La presencia de
grandes ganancias potenciales de colaboracin, sin embargo, no implica que se alcance
realmente la colaboracin. En el mundo de hoy, muchos grandes bendiciones se podran
obtener a travs de una mejor coordinacin reducciones globales de los gastos militares,
las guerras, la sobrepesca, las barreras comerciales y la contaminacin atmosfrica, entre
otros. Sin embargo, estos frutos carnosos se dejan echar a perder en la rama. Por qu es
eso? Qu impide un resultado totalmente cooperativa que maximizara el bien comn?
Uno de los obstculos es la dificultad de garantizar el cumplimiento de cualquier
tratado que podran ser de acuerdo, incluyendo los costos de vigilancia y aplicacin. Dos
rivales nucleares podran ser cada uno mejor si ambos renunciaron a sus bombas
atmicas; sin embargo, incluso si podan llegar a un acuerdo en principio para hacerlo, sin
embargo, el desarme podra ser difcil de alcanzar debido a su miedo mutuo que la otra
parte podra hacer trampa. Disipar este temor requerira la creacin de un mecanismo de
verificacin. Puede que haber inspectores para supervisar la destruccin de los arsenales
existentes, y luego para controlar los reactores nucleares y otras instalaciones, y para
reunir informacin de inteligencia tcnica y humana, con el fin de asegurar que el
programa de armas no se reconstituye. Uno de los costos est pagando por estos

inspectores. Otro costo es el riesgo de que los inspectores espiar y hacer con secretos
comerciales o militares. Quiz lo ms importante, cada parte podra temer que el otro va a
preservar la capacidad nuclear clandestino. Muchos un acuerdo potencialmente
beneficioso nunca viene fuera porque el cumplimiento sera demasiado difcil de verificar.
Si las nuevas tecnologas de inspeccin que redujeron los costos de monitoreo estuvieron
disponibles, se podra esperar que esto da lugar a una mayor cooperacin. Si los costos de
monitoreo seran en red reducirse en la era posterior a la transicin, sin embargo, no es
del todo clara. Si bien no sera sin duda muchas nuevas y poderosas tcnicas de
inspeccin, tambin habra nuevos medios de ocultacin. En particular, una parte
creciente de las actividades que uno podra desear para regular sera que tendr lugar en
el ciberespacio, fuera del alcance de la vigilancia fsica. Por ejemplo, las mentes digitales
que trabajan en el diseo de un nuevo sistema de armas nanotecnolgicas o una nueva
generacin de inteligencia artificial pueden hacerlo sin salir mucho de un espacio fsico.
Anlisis forense digital pueden no penetrar todas las capas de la ocultacin y el cifrado en
el que un tratado-infractor puede ocultar sus actividades ilcitas.
Deteccin de mentiras confiable, si se podra desarrollar, sera una herramienta
extremadamente til para supervisar su cumplimiento.40 Un protocolo de inspeccin
podra incluir provisiones para entrevistar a funcionarios clave, para verificar que tienen la
intencin de aplicar todas las disposiciones del tratado y que saben de ningn violacines
a pesar de hacer grandes esfuerzos para encontrar a cabo.
Un tomador de decisiones de planificacin para engaar podra derrotar a un
sistema de verificacin en base de mentiras deteccin tal por primera rdenes de emisin
a los subordinados para llevar a cabo la actividad ilcita y para ocultar la actividad incluso
de la que toma las decisiones a s misma, y luego someter a s misma a algn
procedimiento que ella borra recuerdo de haber participado en estas maquinaciones.
Operaciones de borrado de memoria Adecuadamente dirigidos bien podra ser factible en
los cerebros biolgicos con ms neurotecnologa avanzada. Puede ser que sea an ms
fcil en las inteligencias de la mquina (en funcin de su arquitectura). Estados podran
tratar de superar este problema, comprometindose a un rgimen de vigilancia
permanente que pone a prueba regularmente funcionarios clave con un detector de
mentiras para comprobar si albergan cualquier intento de subvertir o sortear cualquier
tratado en el que ha entrado en el estado o pueden entrar en el futuro. Ese compromiso
podra ser visto como una especie de meta-tratado, lo que facilitara la verificacin de
otros tratados; pero los estados pueden comprometerse a ello de forma unilateral para
obtener el beneficio de ser considerado como un socio confiable de negociacin. Sin
embargo, este compromiso o meta-tratado se enfrentaran el mismo problema de la
subversin a travs de una estratagema delegado y olvidar. Idealmente, el meta -tratado
se puso en vigor
antes cualquiera de las partes tuvo la oportunidad de hacer los arreglos internos
necesarios para subvertir su implementacin. Una vez villana ha tenido un momento de
descuido para sembrar sus minas de engao, la confianza nunca puede poner un pie all
de nuevo. En algunos casos, la mera capacidad de
detectar
violacines de tratados es suficiente para establecer la confianza necesaria
para un acuerdo. En otros casos, sin embargo, hay una necesidad de algn mecanismo

para hacer cumplir cumplimiento o impartir castigo si se produce una violacin. La

necesidad de un mecanismo de aplicacin puede surgir si la amenaza de la parte
perjudicada retirarse del tratado no es suficiente para disuadir a violacines, por ejemplo,
si el tratado-violador ganara una ventaja tal que no sera posteriormente la atencin la
forma en que la otra parte responda.
Si los mtodos de seleccin motivacin altamente efectivos disponibles, este
problema podra resolverse la aplicacin mediante la potenciacin de una agencia
independiente con la polica suficiente o la fuerza militar para hacer cumplir el tratado
incluso en contra de la oposicin de uno o varios de sus firmantes. Esta solucin requiere
que la agencia de la aplicacin se puede confiar. Pero con lo suficientemente buenas
tcnicas de seleccin de la motivacin, la confianza requerida podra lograrse haciendo
que todas las partes en el tratado supervisar conjuntamente el diseo de la agencia de la
aplicacin. La entrega de poder a un organismo de aplicacin externa plantea muchos de
los mismos problemas que nosotros enfrentamos anteriormente en nuestros debates d e
un resultado unipolar (una en la que un singleton surge antes o durante la revolucin
inicial de inteligencia de la mquina). Con el fin de ser capaz de hacer cumplir los tratados
relativos a los intereses vitales de seguridad de los estados rivales, la agencia de la
aplicacin externa sera, en efecto, necesario para constituir un producto nico: un
Leviatn superinteligente global. Una diferencia, sin embargo, es que ahora estamos
considerando una situacin posterior a la transicin, en la que los agent es que tendran
para crear esta Leviatn tendran una mayor competencia de los seres humanos en la
actualidad. Estos Leviatn-creadores pueden ellos mismos ya ser superinteligente. Esto
mejorara en gran medida las probabilidades de que podran resolver el problema de
control y diseo de una agencia de aplicacin que sirva los intereses de todas las partes
que tienen algo que decir en su construccin.
Aparte de los costos de monitoreo y hacer cumplir, existen otros obstculos para
la coordinacin global? Tal vez la cuestin pendiente importante es lo que podemos hacer
referencia a como costes de negociacin0.41 Incluso cuando hay una posible negociacin
que beneficie a todos los involucrados, a veces no consigue despegar porque las partes no
logran ponerse de acuerdo sobre cmo dividir el botn. Por ejemplo, si dos personas
pueden hacer un acuerdo que les producir neto un dlar en el resultado, pero cada parte
siente que merece sesenta centavos y se niega a conformarse con menos, el acuerdo no
va a suceder y la ganancia potencial ser decomisado. En general, las negociaciones
pueden ser difciles o prolongada, o permanecer totalmente estril, debido a las
decisiones estratgicas de negociacin realizadas por algunas de las partes.
En la vida real, los seres humanos con frecuencia tienen xito en llegar a acuerdos
a pesar de la posibilidad de la negociacin estratgica (aunque a menudo no sin
considerable gasto de tiempo y paciencia). Es concebible, sin embargo, que los problemas
de negociacin estratgicos tendran una dinmica diferente en la era posterior a la
transicin. Un negociador AI podra adherirse de manera ms consistente en cierta
concepcin formal particular, de la racionalidad, posiblemente con consecuencias nuevos
o inesperados cuando se combina con otros negociadores de AI. Una IA tambin podra
tener a disposicin de los que se mueve en el juego de negociacin que son o no
disponible para los seres humanos o mucho ms difcil para los seres humanos para

ejecutar, incluyendo la capacidad de comprometerse de antemano a una poltica o un

curso de accin. Mientras que los seres humanos (y las instituciones humanas a ejecutar)
son en ocasiones capaz de comprometerse de antemano con grados imperfectas de
credibilidad y especificidad y tantos tipos de inteligencia de la mquina podra ser capaz
de hacer compromisos previos irrompibles arbitrarias y permitir que los socios de
negociacin para confirmar que un compromiso previo como se ha hecho .42
La disponibilidad de tcnicas de compromiso previo poderosos podra alterar
profundamente la naturaleza de las negociaciones, lo que podra dar una ventaja inmensa
a un agente que tiene una ventaja del primer movimiento. Si es necesario para la
realizacin de algunas ganancias potenciales de la cooperacin la participacin de un
agente en particular, y si ese agente es capaz de dar el primer paso, sera en condiciones
de dictar el reparto del botn por precommitting no aceptar ningn acuerdo que le da
menos de, digamos, el 99% de la plusvala. Otros agentes seran entonces enfrentan con la
opcin de conseguir nada (al rechazar la propuesta injusta) o conseguir el 1% del valor
(por ceder). Si compromiso previo del agente de primer movimiento es verificable
pblicamente, sus interlocutores en las negociaciones podran estar seguros de que estos
son sus nicas dos opciones. Para evitar ser explotados de esta manera, los agentes
podran comprometerse de antemano a rechazar el chantaje y declinar todas las ofertas
injustas. Una vez que un compromiso previo como se ha hecho (y publicitado xito), otros
agentes no encontrarlo en su inters de hacer amenazas o para comprometerse de
antemano a s mismos slo a aceptar ofertas inclinado a su favor, porque sabran que las
amenazas fracasaran y que injusto propuestas seran rechazados. Pero esto slo
demuestra una vez ms que la ventaja es con el primer movimiento. El agente que mueve
primero puede elegir si desea parlay su posicin de fuerza slo para disuadir a otros de
tomar ventaja injusta, o para hacer una captura de la parte del len del botn futuras.
Mejor situado de todos, podra parecer, sera el agente que comienza con un
temperamento o un sistema de valores que lo hace impermeable a la extorsin o de
hecho cualquier oferta de un acuerdo en el que su participacin es indispensable, pero
que no est recibiendo casi todos de las ganancias. Algunos humanos ya parecen poseer
rasgos de personalidad que corresponden a los diversos aspectos de un espritu inflexible.
43 Una disposicin muy nervioso, sin embargo, podra ser contraproducente en
caso de que resulte que hay otros agentes en todo que se sienten con derecho a ms de su
parte justa y se han comprometido a no dar marcha atrs. La fuerza imparable entonces
encontrarse con el objeto inamovible, lo que resulta en una falta de acuerdo (o peor: la
guerra total). El manso y el akratic seran al menos conseguir algo, aunque menos que les
corresponde.
Qu tipo de teora de juegos de equilibrio se alcanzara de tal juego de negociacin
posterior a la transicin no es inmediatamente evidente. Agentes podran elegir las
estrategias ms complicadas que las que aqu se consideran. Uno esperanzas que el
equilibrio se alcanzara centrado en alguna norma equidad que servira como punto-una
caracterstica sobresaliente Schelling en un espacio de gran resultado que, debido a las
expectativas compartidas, se convierte en un punto de coordinacin probable en un juego
de coordinacin de otro modo indeterminado. Tal equilibrio puede ser reforzada por
algunas de nuestras disposiciones evolucionado y programacin cultural: una preferencia

comn para la equidad poda, suponiendo que tengamos xito en la transferencia de los
valores en la era posterior a la transicin, las expectativas de polarizacin y estrategias en
caminos que conducen a un equilibrio atractivo. 44
En cualquier caso, el resultado es que, con la posibilidad de formas fuertes y flexibles de
compromiso previo, los resultados de las negociaciones podran asumir un pretexto
desconocido. Aunque la era posterior a la transicin comenz multipolar, podra ser que
se planteara un singleton casi de inmediato como consecuencia de un tratado negociado
que resuelve todos los importantes problemas de coordinacin global. Algunos costos de
transaccin, tal vez incluyendo los costos de vigilancia y aplicacin, pueden caer en picado
con las nuevas capacidades tecnolgicas disponibles para inteligencias mquinas
avanzadas. Otros gastos, en particular los costes relacionados con la negociacin
estratgica, podran seguir siendo significativa. Pero sin embargo la negociacin
estratgica afecta a la naturaleza del acuerdo al que se llega, no hay ninguna razn clara
por qu sera larga retrasar el logro de un acuerdo si un acuerdo alguna vez a ser
alcanzado. Si no se alcanza un acuerdo, entonces algn tipo de lucha podra tener lugar; y,
o bien una faccin puede ganar, y forman un conjunto unitario en torno a la coalicin
ganadora, o el resultado podra ser un conflicto interminable, en cuyo caso un singleton
nunca se puede formar y el resultado global puede caer terriblemente corto de lo que
podra y debera haber sido alcanzado si la humanidad y sus descendientes haban
actuado de manera ms coordinada y cooperativa.
Hemos visto que la multipolaridad, incluso si se podra lograr en una forma estable,
no garantizara un resultado atractivo. El problema principal-agente original permanece
sin resolver, y enterrarlo bajo un nuevo conjunto de problemas relacionados con las fallas
de coordinacin global post-transicin slo se puede empeorar la situacin.
Acerqumonos, pues volvemos a la cuestin de cmo podemos mantener con seguridad
una sola AI superinteligente.
CAPTULO 12 La adquisicin de valores Capacidad de control es, como mucho, una
medida temporal y auxiliar. A menos que el plan es mantener superinteligencia
embotellada para siempre, ser necesario dominar la seleccin motivacin. Pero, cmo
podramos conseguir algo de valor en un agente artificial, con el fin de hacer que perseguir
ese valor como su objetivo final? Mientras que el agente es poco inteligente, podra
carecen de la capacidad para entender o incluso representar cualquier valor
humanamente significativo. Sin embargo, si nos retrasamos el procedimiento hasta que el
agente es superinteligente, puede ser capaz de resistir nuestro intento de interferir con su
sistema de motivacin y, como vimos en el captulo 7, tendra razones instrumentales
convergentes para hacerlo. Este problema de valor de carga es difcil, pero debe ser
confrontada
.
El problema del valor de carga Es imposible enumerar todas las situaciones
posibles de una superinteligencia puede encontrar en s y para especificar para cada
accin que se debe tomar. Del mismo modo, es imposible crear una lista de todos los
mundos posibles y asignar cada uno de ellos un valor. En cualquier mbito mucho ms
complicado que un juego de tic-tac-toe, hay demasiados estados posibles (y-historias del
estado) en la enumeracin exhaustiva de ser factible. Un sistema de motivacin, por lo
tanto, no se puede especificar como una tabla de bsqueda completa. En su lugar, debe

expresarse de manera ms abstracta, como una frmula o regla que permite al agente
para decidir qu hacer en una situacin determinada.
Una manera formal de la especificacin de una regla de esa decisin es a travs de
una funcin de utilidad. Una funcin de utilidad (como recordamos en el captulo 1) asigna
valor a cada resultado que podra obtener, o ms en general, a cada "mundo posible".
Dada una funcin de utilidad, se puede definir un agente que maximi za la utilidad
esperada. Tal agente selecciona en cada momento la accin que tiene la utilidad esperada
ms alta. (La utilidad esperada se calcula ponderando la utilidad de cada mundo posible
con la probabilidad subjetiva de que el mundo es el mundo real de la condicin de que se
tome una accin en particular.) En realidad, los posibles resultados son demasiado
numerosos para la utilidad esperada de una accin debe calcularse exactamente. Sin
embargo, la regla de decisin y de la funcin de utilidad juntos determinan una normativa
ideales -un optimalidad nocin de que un agente puede ser diseado para aproximarse; y
la aproximacin podra estar ms cerca que el agente se vuelve ms inteligente.1 La
creacin de una mquina que puede calcular una buena aproximacin de la utilidad
esperada de las acciones disponibles a que se una problema.2 AI-completo Este captulo
aborda otro problema, un problema que se mantiene incluso si el problema de hacer
mquinas inteligentes est resuelto.
Podemos utilizar este marco de un agente que maximiza la utilidad de considerar
la situacin de un futuro programador semilla-AI que tiene la intencin de resolver el
problema de control por dotar a la AI con un objetivo final que corresponde a alguna
nocin humana plausible de un resultado vale la pena. El programador tiene algn valor
humano en particular en mente que le gustara que la IA para promover. Para ser
concretos, digamos que es la felicidad. (Cuestiones similares se plantean si el programador
estaban interesados en la justicia, la libertad, la gloria, los derechos humanos, la
democracia, el equilibrio ecolgico o el auto-desarrollo). En trminos del marco de la
utilidad esperada, el programador busca as una funcin de utilidad que asigna utilidad
para los mundos posibles en proporcin a la cantidad de felicidad que contienen. Pero
cmo poda expresar una funcin tal utilidad en cdigo de computadora? Los lenguajes
de programacin no contienen trminos como "felicidad" como primitivas. Si tal trmino
se va a utilizar, que primero debe ser definida. No es suficiente para definirlo en trminos
de otros conceptos- humano de alto nivel "la felicidad es disfrutar de las potencialidades
inherentes a nuestra naturaleza humana" o alguna parfrasis filosfico. La definicin debe
parte inferior en trminos que aparecen en lenguaje de programacin de la AI, y en ltima
instancia en primitivas tales como operadores matemticos y direcciones que apuntan a
los contenidos de registros de memoria individuales. Cuando uno considera el problema
desde esta perspectiva, se puede empezar a apreciar la dificultad de la tarea del
programador. Identificar y codificar nuestros propios objetivos finales es difcil porque las
representaciones meta humana son complejas. Debido a la complejidad es en gran parte
transparente para nosotros, sin embargo, a menudo no darse cuenta de que est ah.
Podemos comparar el caso de la percepcin visual. Visin, del mismo modo, puede
parecer una cosa simple, porque lo hacemos sin esfuerzo.
3
Tan slo hay que abrir los ojos, por lo que parece, y una significativa eidtica vista
rica,,, tridimensional del entorno viene inundando en nuestras mentes. Esta comprensin

intuitiva de la visin es como la comprensin de un duque de su hogar patriarcal: lo que a

l se refiere, las cosas simplemente aparecen en sus momentos y lugares adecuados,
mientras que el mecanismo que produce esas manifestaciones estn ocultos a la vista. Sin
embargo, lograr incluso el ms simple de tareas de investigacin del tarro visual pimienta
en la cocina, requiere una enorme cantidad de trabajo computacional. A partir de una
serie de tiempo ruidosa de patrones bidimensionales de despidos nerviosas, originarios de
la retina y que transmiten al cerebro a travs del nervio ptico, la corteza visual debe
trabajar hacia atrs para reconstruir una representacin tridimensional interpretado del
espacio exterior. Una parte importante de nuestro precioso de un metro cuadrado de los
inmuebles cortical se divide en zonas para el procesamiento de la informacin visual, y
como usted est leyendo este libro, miles de millones de neuronas estn trabajando sin
descanso para lograr esta tarea (como tantos costureras, se inclin sobre sus mquinas de
coser en una fbrica de explotacin, la costura y volver a coser una colcha gigante muchas
veces por segundo). De la misma manera, nuestros valores aparentemente simples y
deseos en realidad contienen inmensa complexity.4 Cmo pudo nuestro traslado
programador de esta complejidad en una funcin de utilidad? Un enfoque sera tratar de
codificar directamente una representacin completa de cualquier meta que tenemos que
queremos que la AI para perseguir; en otras palabras, para escribir una funcin de utilidad
explcito. Este enfoque podra funcionar si tuviramos objetivos extraordinariamente
simples, por ejemplo si quisiramos calcular los dgitos de pi, es decir, si el
solamente
Lo que queramos era para la AI para calcular los dgitos de pi y nos
quedamos indiferentes a cualquier otra consecuencia que se derivara de la bsqueda de
este objetivo, recordar nuestra discusin anterior sobre el modo de fallo de la profusin
de infraestructura. Este enfoque de codificacin explcita tambin podra tener alguna
promesa en el uso de mtodos de seleccin de motivacin domstica. Pero si se trata de
promover o proteger cualquier plausibles humano valor, y uno es la construccin de un
sistema destinado a convertirse en un soberano superinteligente, entonces la codificacin
explcitamente la representacin meta completa requisito parece ser irremediablemente
fuera de reach.5

Si no podemos transferir los valores humanos en una IA escribiendo a cabo

representaciones soplado completo en cdigo de computadora, qu otra cosa podramos
probar? Este captulo trata de varios caminos alternativos. Algunos de estos pueden
parecer plausibles a primera vista, pero mucho menos un examen ms detenido.
Exploraciones futuros deberan centrarse en esos caminos que permanecen abiertas.
La solucin del problema de valor de carga es un reto de investigacin digno de algunos de
los mejores talentos matemticos de la siguiente generacin. No podemos posponer
enfrentar este problema hasta que la IA ha desarrollado lo suficiente razn para entender
fcilmente nuestras intenciones. Como vimos en el apartado de razones instrumentales
convergentes, un sistema genrico resistir intentos de alterar sus valores finales. Si un
agente no est fundamentalmente amigable para el momento en que adquiere la
capacidad de reflexionar sobre su propia agencia, no con buenos ojos a un intento tardo
al lavado de cerebro o de un complot para reemplazarlo por un agente diferente que ama
mejor a su vecino.
Seleccin Evolutiva
La evolucin ha producido un organismo con los valores humanos al menos una vez. Este
hecho podra alentar la creencia de que los mtodos evolutivos son el camino para
resolver el problema del valor de carga. Hay, sin embargo, graves obstculos para el logro
de la seguridad a lo largo de este camino. Ya hemos sealado que estos obstculos al final
del captulo 10, cuando hablamos de cmo los procesos de bsqueda de gran alcance
pueden ser peligrosos.
La evolucin puede ser visto como una clase particular de
algoritmos de bsqueda que implican la alternancia de dos pasos, uno expansin de una
poblacin de candidatos de la solucin mediante la generacin de nuevos candidatos de
acuerdo con alguna regla estocstico relativamente simple (tal como la mutacin al azar o
recombinacin sexual), el otro contratante la poblacin mediante la poda candidatos que
puntan mal cuando se prueba por una funcin de evaluacin. Al igual que con muchos
otros tipos de bsqueda de gran alcance, existe el riesgo de que el proceso de encontrar
una solucin que satisfaga los criterios de bsqueda especificados formalmente pero no
nuestras expectativas implcitas. (Esto se mantendra si se busca desarrollar una mente
digital que tiene los mismos objetivos y valores como un ser humano normal, o en lugar de
una mente que es, por ejemplo, la perfeccin moral o perfectamente obediente.) El riesgo
se evitara si pudiramos especificar un criterio de bsqueda formal que representa con
precisin todas las dimensiones de nuestras metas, en lugar de slo un aspecto de lo que
pensamos que deseamos. Pero ese es precisamente el problema del valor de carga, y sera,
por supuesto, una peticin de principio en este contexto a asumir ese problema resuelto.
Hay un problema adicional:
La cantidad total de sufrimiento por ao en el mundo natural est ms all de toda
contemplacin decente. Durante el minuto que me lleva a componer esta frase, miles de
animales estn siendo comidos vivos, otros estn corriendo por sus vidas, gimiendo de
miedo, otros estn siendo devorados lentamente desde dentro por parsitos raspado,
miles de todo tipo se estn muriendo de hambre , la sed y la enfermedad.6

Aunque slo sea dentro de nuestra especie, 150.000 personas se destruyen cada
da, mientras que muchos ms sufrirn una serie de atroces tormentos y privaciones.
7
Naturaleza podra ser una gran experimentalista, pero uno que nunca pasar el
examen con una revisin tica tablero-contravenir la Declaracin de Helsinki y todas las
normas de la decencia moral, izquierda, derecha y centro. Es importante que no
replicamos gratuitamente tales horrores
in silico
. Crimen Mente parece especialmente difcil de evitar cuando se utilizan
mtodos evolutivos para producir inteligencia similar a la humana, al menos si el proceso
est destinado a parece en nada a evolution.8 biolgica real
Aprendizaje por refuerzo
Aprendizaje por refuerzo es un rea de aprendizaje
automtico que estudia tcnicas mediante las cuales los agentes pueden aprende r a
maximizar alguna nocin de recompensa acumulada. Mediante la construccin de un
entorno en el que se premia el rendimiento deseado, un agente de refuerzo de aprendizaje
se puede hacer para aprender a resolver una amplia clase de problemas (incluso en l a
ausencia de la instruccin detallada o la retroalimentacin de los programadores, adems
de la seal de recompensa). A menudo, el algoritmo de aprendizaje consiste en la
construccin gradual de una especie de funcin de evaluacin, que asigna valores a los
estados, pares estado-accin o polticas. (Por ejemplo, un programa puede aprender a
jugar al backgammon mediante aprendizaje por refuerzo para mejorar gradualmente su
evaluacin de las posibles posiciones en el tablero.) La funcin de evaluacin, que se
actualiza de forma continua a la luz de la experiencia, podra ser considerada como la
incorporacin de una forma de aprender sobre el valor . Sin embargo, lo que se aprende no
es nuevo final
valores, sino cada vez ms precisa estimaciones de los valores instrumentales
de llegar a estados particulares (o de tomar acciones concretas en estados particulares, o
de seguir las polticas particulares). La medida en que un agente de refuerzo de
aprendizaje puede ser descrito como tener un objetivo final, ese objetivo se mantiene
constante: para maximizar la recompensa futura. Y la recompensa consiste en
percepciones especialmente designados recibidos del medio ambiente. Por lo tanto, el
sndrome de cableado cerebral sigue siendo un resultado probable en cualquier agente de
refuerzo que se desarrolla un modelo mundial lo suficientemente sofisticados como para
sugerir esta forma alternativa de maximizar reward.9
Estas observaciones no implican que los mtodos de refuerzo de aprendizaje nunca
podran ser utilizados en una semilla segura AI, slo que ellos tendran que estar
subordinada a un sistema de motivacin que no es en s se organiza en torno al principio
de la recompensa maximizacin. Eso, sin embargo, sera necesario que una solucin al
problema de valor de carga haba sido encontrado por otros medios que el aprendizaje
por refuerzo. Acrecin valor asociativo

Ahora cabe preguntarse: si el problema del valor de carga es tan complicado,

cmo nos las arreglamos para adquirir nuestros valores? Un posible modelo
(simplificado) podra ser algo como esto. Comenzamos la vida con algunas preferencias de
partida relativamente simples (por ejemplo, una aversin a estmulos nocivos), junto con
un conjunto de disposiciones para adquirir preferencias adicionales en respuesta a las
diversas experiencias posibles (por ejemplo, podramos estar dispuestos a formar una
preferencia por los objetos y comportamientos que encontramos para ser valorado y
recompensado en nuestra cultura). Tanto las preferencias de partida simples y las
disposiciones son innatas, despus de haber sido moldeadas por la seleccin natural y
sexual en escalas de tiempo evolutivo. Sin embargo, que las preferencias que terminamos
con los adultos depende de acontecimientos de la vida. Gran parte de la informacin
contenida en nuestros valores finales se adquiri la de nuestras experiencias en lugar de
precargado en nuestros genomas. Por ejemplo, muchos de nosotros nos encanta otra
persona y por lo tanto un gran valor final sobre su bienestar. Qu se requiere para
representar un valor tal? Muchos elementos estn involucrados, pero consideran que slo
dos: una representacin de "persona" y una representacin de estos conceptos no se
codifican directamente en nuestro ADN "bienestar.". Ms bien, el ADN contiene
instrucciones para la construccin de un cerebro, que, cuando se coloca en un entorno
humano tpico, ser en el transcurso de varios aos desarrollar un modelo mundial que
incluye los conceptos de las personas y de bienestar. Una vez formados, esto s conceptos
pueden ser usados para representar ciertos valores significativos. Pero algn mecanismo
debe ser innata presente que conduce a valores que se forman alrededor de
estos conceptos, en lugar de en torno a otros conceptos adquiridos (como la d e una
maceta o un sacacorchos).
Los detalles de cmo no se conocen bien este mecanismo obras. En los seres
humanos, el mecanismo es probablemente compleja y heterognea. Es ms fcil de
entender el fenmeno si tenemos en cuenta que en una forma ms rudimentaria, como
impronta filial en aves nidifugous, donde el pollito recin nacidos adquiere un deseo de
proximidad fsica a un objeto que presenta un estmulo en movimiento adecuado en el
primer da despus la eclosin. Qu objeto particular la chica quiere estar cerca depende
de su experiencia; solamente la disposicin general para imprimir de esta manera est
determinada genticamente. Anlogamente, Harry podra colocar un valor final en el
bienestar de Sally; pero tena el twain nunca conoci, podra haber cado en el amor con
otra persona en su lugar, y sus valores finales habra sido diferente. La capacidad de
nuestros genes para codificar para la construccin de un mecanismo objetivo de
adquisicin explica cmo llegamos a tener objetivos finales de gran complejidad
informativa, mayores que podra estar contenida en el propio genoma.
En consecuencia, podemos considerar si podramos construir el sistema de
motivacin para una inteligencia artificial en el mismo principio. Es decir, en lugar de
especificar directamente valores complejos, podramos especificar algn mecanismo que

conduce a la adquisicin de dichos valores cuando el AI interacta con un entorno

adecuado?
Imitando el proceso de valor de acrecin que se produce en los seres humanos
parece difcil. El mecanismo gentico relevante en el ser humano es el producto de
millones de aos de trabajo de la evolucin, el trabajo que podran ser difciles de
recapitular. Adems, el mecanismo est presumiblemente estrechamente adaptada a la
arquitectura neurocognitivo humano y por lo tanto no es aplicable en mquinas
inteligencias distintas de emulaciones de todo el cerebro. Y si emulaciones cerebrales
enteras de suficiente fidelidad estaban disponibles, parecera ms fcil comenzar con un
cerebro adulto que viene con representaciones completas de algunos valores humanos
precargados.10
Tratando de poner en prctica un proceso de valor de acrecin imitando mucho a la de la
biologa humana, por tanto, parece una lnea poco prometedor de ataque contra el
problema del valor de carga. Pero tal vez podramos disear un mecanismo sustituto
artificial ms descaradamente que llevara una IA para importar representaciones de alta
fidelidad de valores complejos relevantes en su sistema de meta? Para que esto tenga
xito, puede que no sea necesario dar la IA exactamente las mismas disposiciones de
evaluacin como un ser humano biolgico. Que incluso puede no ser deseable como un
carcter objetivo humano, despus de todo, es imperfecto y con demasiada frecuencia
revela una tendencia al mal, que sera intolerable en cualquier sistema a punto de lograr
una ventaja estratgica decisiva. Mejor, tal vez, para aspirar a un sistema de motivacin
que se aparta de la norma humana de manera sistemtica, como por tener una tend encia
ms slida para adquirir objetivos finales que son altruistas, compasivo, o altruista en
formas que reconoceramos como un reflejo excepcional buen carcter si estuvieran
presentes en una persona humana. Para contar como mejoras, sin embargo, tales
desviaciones de la norma humana tendran que ser sealado en direcciones muy
particular en lugar de al azar; y que continuaran presuponer la existencia de un marco
antropocntrico gran parte tranquila de referencia para proporcionar generalizaciones
evaluativos humanamente significativas (a fin de evitar el tipo de instancias perverso de
descripciones meta superficialmente plausibles que hemos examinado en el captulo 8). Es
una cuestin abierta si esto es factible.
Una cuestin an ms con la acrecin valor
asociativo es que la IA puede desactivar el mecanismo de acrecin. Como vimos en el
captulo 7, la integridad del sistema meta es un valor instrumental convergente. Cuando la
IA alcanza una cierta etapa del desarrollo cognitivo puede comenzar a considerar la
operacin continua del mecanismo de acrecin como una influencia corruptora.11
Esto no es necesariamente una mala cosa, pero el cuidado tendra que ser tomado para
hacer el sellado en marcha del sistema de objetivo se producen en el momento justo,
despus
los valores apropiados se han acrecentado, pero antes

que han sido sobrescritos por acumulaciones no deseadas adicionales. Andamios

motivacin

de

Otro enfoque del problema de valor de carga es lo que podemos hacer referencia a
los andamios como motivacin. Se trata de dar la semilla AI un sistema objetivo
provisional, con los objetivos finales relativamente simples que podemos representar por
medio de la codificacin explcita o algn otro mtodo factible. Una vez que la AI ha
desarrollado ms sofisticados facultades de representacin, reemplazamos este sistema
objetivo andamio provisional con uno que tiene diferentes objetivos finales. Este sistema
objetivo sucesor entonces rige la AI, ya que se desarrolla en una superinteligencia en toda
regla. Debido a que los objetivos de andamios no son slo instrumentales, sino
final , se podra esperar metas para el AI AI para resistir tenerlos reemplazados
(integridad gol contenido de ser un valor instrumental convergente). Esto crea un peligro.
Si la IA tiene xito en frustrar la sustitucin de sus objetivos de andamios, el mtodo falla.
Para evitar este modo de fallo, es necesario tomar precauciones. Por ejemplo, los
mtodos de control de capacidad podran aplicarse para limitar los poderes de l a
inteligencia artificial hasta que el sistema de motivacin madura se ha instalado. En
particular, se podra tratar de atrofiar su desarrollo cognitivo en un nivel que es seguro,
pero que le permite representar los valores que queremos incluir en sus objetivos finales.
Para ello, se podra tratar de atrofiar diferencialmente ciertos tipos de habilidades
intelectuales, tales como los necesarios para la formulacin de estrategias y
maquinaciones maquiavlicas, permitiendo al mismo tiempo (aparentemente) habilidades
ms inocuos para desarrollar a un nivel algo ms alto.
Tambin se podra tratar de usar mtodos de seleccin de la motivacin para
inducir una relacin de mayor colaboracin entre la semilla AI y el equipo programador.
Por ejemplo, se podra incluir en el sistema de motivacin andamio el objetivo de dar la
bienvenida a la gua en lnea de los programadores, incluyendo lo que les permite sustituir
cualquiera de los objetivos actuales de la AI.
12
Otros objetivos de andamios pueden incluir ser transparente para los
programadores sobre sus valores y estrategias, y el desarrollo de una arquitectura que es
fcil para los programadores de entender y que facilita la posterior implementacin de un
objetivo final humanamente significativo, as como las motivaciones domesticidad (como
la limitacin el uso de los recursos computacionales).
Se podra incluso imaginar dotar a la semilla de la IA con el nico objetivo final de la
sustitucin de s con un objetivo final diferente, lo que puede haber sido slo de forma
implcita o indirectamente especificado por los programadores. Algunas de las cuestiones
planteadas por el uso de una meta andamio "auto-sustitucin" como tambin surgen en el
contexto del enfoque de aprendizaje de valor, que se discute en la siguiente subseccin.
Algunas cuestiones adicionales sern discutidos en el Captulo 13. El enfoque de los
andamios de motivacin no est exenta de inconvenientes. Uno es que conlleva el riesgo

de que la IA poda llegar a ser demasiado poderosa cuando todava se est ejecutando en
su sistema objetivo provisional. Entonces puede frustrar los esfuerzos de los
programadores humanos "para instalar el sistema objetivo final (ya sea por la resistencia
contundente o por la subversin tranquilo). Los viejos objetivos finales luego pueden
permanecer en carga como la semilla AI se convierte en una superinteligencia en toda
regla. Otro inconveniente es que la instalacin de los objetivos en ltima instancia,
destinados en un nivel humano AI no es necesariamente mucho ms fcil que hacerlo de
una IA ms primitivo. A nivel AI humana es ms compleja y podra haber desarrollado una
arquitectura que es opaco y difcil de alterar. Una semilla AI, por el contrario, es como una
tabula rasa
en la que los programadores pueden inscribir cualquier estructura que consideren til.
Este inconveniente podra dar la vuelta a un lado positivo si se lograron dar las semillas AI
metas de andamios que hicieron quieran desarrollar una arquitectura de utilidad para los
programadores en sus esfuerzos posteriores para instalar los valores finales finales. Sin
embargo, no est claro lo fcil que sera dar una semilla AI metas de andamio con esta
propiedad, y tampoco est claro cmo incluso una semilla muy bien motivado AI sera
capaz de hacer un trabajo mucho mejor que el equipo de programacin humana en el
desarrollo de un buena arquitectura. Aprendizaje Valor
Llegamos ahora a un importante, pero sutil enfoque del problema de valor de
carga. Se trata de utilizar la inteligencia de la IA para
aprender
los valores que quieren que perseguir. Para ello, debemos proporcionar un
criterio para la IA que recoge al menos implcitamente a cabo un conjunto adecuado de
valores. Podramos entonces construir el AI para actuar de acuerdo a sus mejores
estimaciones de estos valores implcitamente definidos. Sera perfeccionar continuamente
sus estimaciones, ya que aprende ms sobre el mundo y poco a poco descomprime las
implicaciones del criterio del valor determinante. En contraste con el enfoque de los
andamios, que da a la AI una meta andamio provisional y ms tarde lo reemplaza con un
objetivo final diferente, el enfoque de aprendizaje valor conserva un objetivo final que no
cambia a lo largo de las fases de desarrollo y funcionamiento de la AI. El apren dizaje no
cambia el objetivo. Cambia slo las creencias de la AI sobre la meta.
La AI por lo tanto debe estar dotada de un criterio que puede utilizar para
determinar qu percepciones constituyen evidencia a favor de algunas hiptesis sobre lo
que el objetivo final es y que percepciones constituyen evidencia en contra. Especificacin
de un criterio adecuado podra ser difcil. Parte de la dificultad, sin embargo, se refiere al
problema de la creacin de la inteligencia general artificial, en primer lugar, que requiere
un mecanismo de aprendizaje poderosa que puede descubrir la estructura del medio
ambiente de entradas sensoriales limitados. Ese problema que puede dejar de lado aqu.
Pero incluso modulo una solucin a cmo crear superinteligente AI, persisten las
dificultades que se presentan especficamente del problema de valor de carga. Con el
enfoque de aprendizaje de valor, estos toman la forma de la necesidad de definir un

criterio que conecta bitstrings perceptivos a las hiptesis sobre los valores. Antes de
ahondar en los detalles de cmo se podra implementar el aprendizaje de valor, que
podra ser til para ilustrar la idea general con un ejemplo. Supongamos que escribimos
una descripcin de un conjunto de valores en una hoja de papel. Doblamos el papel y lo
puso en un sobre cerrado. Luego creamos un agente con la inteligencia general a nivel
humano, y le damos el siguiente objetivo final: "Maximizar la realizacin de los valores
descritos en el sobre." Qu va a hacer este agente?
El agente no sabe inicialmente lo que est escrito en el sobre. Pero puede formar
hiptesis, y se puede asignar esas probabilidades hiptesis sobre la base de sus priores y
los datos empricos disponibles. Por ejemplo, el agente podra haber encontrado otros
ejemplos de textos humanos-autor, o podra haber observado algunos patrones generales
de comportamiento humano. Esto permitira a hacer conjeturas. Uno no necesita un ttulo
en psicologa para predecir que la nota es ms probable que describa un valor como
"minimizar la injusticia y el sufrimiento innecesario" o "maximizar la rentabilidad para los
accionistas" de un valor como "cubre todos los lagos con bolsas de plstico. "
Cuando el agente toma una decisin, se busca realizar acciones que seran eficaces
en la consecucin de los valores de los que considera que son los ms propensos a ser
descrito en la carta. Es importante destacar que el agente vera un alto valor instrumental
en aprender ms acerca de lo que dice la carta. La razn es que para casi cualquier va lor
final que pueda ser descrito en la carta, que el valor es ms probable que se dio cuenta de
si el agente se entera de lo que es, ya que el agente se perseguir ese valor con mayor
eficacia. El agente tambin descubrir las razones instrumentales convergentes descritos
en el Captulo integridad del sistema 7-meta, mejora cognitiva, la adquisicin de recursos,
y as sucesivamente. Sin embargo, en el supuesto de que el agente asigna una
probabilidad suficientemente alta para los valores descritos en la cart a que implica el
bienestar humano, que sera
no
perseguir estos valores instrumentales de inmediato convertir el planeta en
computronium y exterminando as la especie humana, ya que al hacerlo se arriesgara
permanentemente destruyendo su capacidad de darse cuenta de su valor final.
Podemos comparar este tipo de agente a una barcaza unido a varios remolcadores
que tiran en direcciones diferentes. Cada remolcador corresponde a una hiptesis sobre
valor final del agente. La potencia del motor de cada remolcador corresponde a la
probabilidad de la hiptesis de asociado, y por lo tanto cambia a medida que nueva
evidencia proviene de, produciendo ajustes en la direccin de la barcaza de movimiento.
La fuerza resultante debe mover la barcaza a lo largo de una trayectoria que facilita el
aprendizaje de la (implcita) valor final, evitando los bancos de destruccin irreversible; y
ms tarde, cuando se alcanza el mar abierto del conocimiento ms preciso del valor final,
el remolcador que todava ejerce una fuerza significativa tirar la barcaza hacia la
realizacin del valor descubierto a lo largo de la ruta ms directa o ms propicia.

Las metforas sobre y barcazas ilustran el principio subyacente al enfoque de

aprendizaje valor, sino que pasan a travs de una serie de cuestiones tcnicas crticos.
Vienen en el foco ms claro una vez que empezamos a desarrollar el enfoque dentro de
un marco formal (vase el recuadro 10).
Una cuestin pendiente es cmo dotar a la IA con un objetivo como "Maximizar la
realizacin de los valores descritos en el sobre." (En la terminologa de la caja 10, la forma
de definir el criterio de valor.) Para ello, es necesario para identificar el lugar en el que se
describen los valores. En nuestro ejemplo, esto requiere hacer una referencia exitosa a la
carta en el sobre. Aunque esto puede parecer trivial, no est exenta de escollos. Para
mencionar slo uno: es fundamental que la referencia no sea simplemente un objeto
fsico externo en particular, sino a un objeto en un momento determinado. De lo
contrario, el AI puede determinar que la mejor manera de alcanzar su objetivo es
sobrescribiendo la descripcin original de valor con una que proporciona un objetivo ms
fcil (tales como el valor que para cada nmero entero no ser un nmero entero mayor).
Este hecho, la IA poda inclinarse hacia atrs y romper sus nudillos, aunque es ms
probable un fracaso maligna se veran, por razones que hemos discutido en el Captulo 8.
As que ahora nos enfrentamos a la cuestin de cmo definir el tiempo. Podramos sealar
a un reloj y decir: "El tiempo se define por los movimientos de este dispositivo", pero esto
podra fallar si la IA conjetura que puede manipular el tiempo moviendo las manos en el
reloj, una conjetura que de hecho ser correcta si "tiempo" se les dio la definicin anterior.
(En un caso realista, cuestiones se complican an ms por el hecho de que los valores
pertinentes no van a describirse convenientemente en una carta; es ms probable, que
tendran que ser inferido a partir de observaciones de estructuras preexistentes que
contienen implcitamente la relevancia informacin, tales como los cerebros humanos.)
Box 10 Formalizacin de aprendizaje valor La introduccin de una notacin formal
puede ayudarnos a ver algunas cosas con ms claridad. Sin embargo, los lectores que no
les gusta el formalismo pueden saltarse esta parte. Considere un marco simplificado en el
que un agente interacta con su entorno en un nmero finito de ciclos discretos.13 En el
ciclo k, El agente realiza la accin yk
, Y luego recibe la percepcin

xk

. La historia interaccin de un agente con vida til m

es una cadena de
1

X1y

X2 ...

ymxm (Que podemos abreviar como

yx

1:m o

yx

m
). En cada ciclo, el agente selecciona una accin basada en la secuencia de
percepciones que ha recibido hasta la fecha. Considere primero un aprendiz de refuerzo.
Un alumno refuerzo ptimo (AI-RL) es aquella que maximiza espera recompensas futuras.
Se obedece a la ecuacin
14
La secuencia de recompensa
rk

, ...,

rm
est implcito en la secuencia de percepciones xk: m, Ya que la recompensa que el
agente recibe en un ciclo dado es parte de la percepcin de que el agente recibe en ese
ciclo.
Como se ha argumentado anteriormente, este tipo de aprendizaje por refuerzo no
es adecuado en el contexto actual porque un agente suficientemente inteligente se dar
cuenta de que podra asegurar la mxima recompensa si fuera capaz de manipular
directamente su seal de recompensa (cableado cerebral). Para los agentes dbiles, esto
no tiene que ser un problema, ya que podemos prevenir fsicamente de la manipulacin
de su propio canal de recompensa. Tambin podemos controlar su entorno para que
puedan recibir recompensas slo cuando actan en formas que sean aceptables para
nosotros. Sin embargo, un alumno de refuerzo tiene un fuerte incentivo para eliminar esta
dependencia artificial de sus recompensas en nuestros caprichos y deseos. Por tanto,
nuestra relacin con un alumno de refuerzo es fundamentalmente antagnica. Si el
agente es fuerte, esto explica el peligro.
Variaciones del sndrome cableado cerebral tambin pueden afectar a los sistemas
que no buscan una seal de recompensa sensorial externa, pero cuyos objetivos se
definen como la consecucin de un estado interno. Por ejemplo, en los llamados sistemas
de "actor crtico", hay un mdulo de agente que selecciona las acciones con el fin de
minimizar la desaprobacin de un mdulo separado crtico que calcula qu medida el
comportamiento del agente se queda corto de una medida de rendimiento dado. El
problema de esta configuracin es que el mdulo actor puede darse cuenta de que puede
reducir al mnimo la desaprobacin mediante la modificacin de la crtica o eliminar por
completo, al igual que un dictador que disuelve el parlamento y nacionaliza la prensa. Para
los sistemas limitados, el problema se puede evitar simplemente por no dar al mdulo
actor de cualquier medio de la modificacin del mdulo crtico. Un mdulo de agente
suficientemente inteligente e ingenioso, sin embargo, siempre se podra acceder al
mdulo crtico (que, despus de todo, no es ms que un proceso fsico de alguna

computadora).
15
Antes de llegar al aprendiz valor, consideremos como un paso intermedio lo que se
ha llamado un maximizador de observacin-utilidad (AI-OUM). Se obtiene mediante la
sustitucin de la serie recompensa (rk
+ ... + rm
) En el AI-RL con una funcin de utilidad que se le permite depender de toda la hi storia
futura interaccin de la AI:
Esta formulacin proporciona una forma de evitar el problema de cableado
cerebral debido a una funcin de utilidad definida sobre toda una historia de interaccin
podra ser diseado para penalizar a las historias de interaccin que muestran signos de
autoengao (o de un incumplimiento por parte del agente de invertir lo suficiente en la
obtencin de un visin precisa de la realidad).
As pues, el AI-OUM hace posible en principio para eludir el problema cableado
cerebral. Valindonos de esta posibilidad, sin embargo, requerira que especificamos una
funcin de utilidad adecuada sobre la clase de posibles historias, una interaccin tarea
que parece prohibitivamente difcil.
Puede ser ms natural para especificar las funciones de utilidad directamente en
trminos de mundos posibles (o propiedades de los mundos posibles, o las teoras sobre
el mundo) y no en trminos de propias historias de interaccin de un agente. Si utilizamos
este enfoque, podramos reformular y simplificar la optimalidad nocin AI-OUM:

Aqu, E es la evidencia total disponible para el agente (en el momento en que est
haciendo su decisin), y U
es una funcin de utilidad que asigna utilidad a alguna clase de mundos posibles. El
agente ptima elige el acto que maximiza la utilidad esperada.
Un problema pendiente con estas formulaciones es la dificultad de definir la funcin de
utilidad
U
. Esto, finalmente, nos devuelve al problema del valor de carga. Para habilitar la funci n
de utilidad que aprender, debemos ampliar nuestro formalismo para permitir la
incertidumbre sobre las funciones de utilidad. Esto se puede hacer de la siguiente manera
(AI-VL): 16

Aqu,

(.) Es una funcin de las funciones de utilidad de las proposiciones sobre las
funciones de utilidad.
(

U) Es que la funcin de utilidad de la propuesta U satisface la

criterio de valor

expresada por

0.17

Para decidir qu accin realizar, se podra, por tanto, haga lo siguiente: En primer
lugar, calcular la probabilidad condicional de cada mundo posible
w
(Dada la evidencia disponible y en el supuesto de que la accin y se va a realizar).
En segundo lugar, para cada funcin de utilidad posible U, Calcular la probabilidad
condicional de que U
satisface el criterio de valor (condicionada a

siendo el mundo real). En tercer lugar, para cada funcin de utilidad posible U
, Calcular la utilidad de mundo posible

. En cuarto lugar, combinar estas cantidades para calcular la utilidad esperada de la accin
y. En quinto lugar, repita este procedimiento para cada accin posible y realizar la
accin encontr que la utilidad esperada ms alta (el uso de algn mtodo arbitrario de
romper lazos). Como se ha descrito, este procedimiento-que implica dar consideracin
explcita y separada a cada posible en todo el mundo es, por supuesto, violentamente
computacionalmente intratable. La AI tendra que utilizar atajos computacionales que se
aproximan a esta nocin optimalidad.
La pregunta, entonces, es cmo definir este criterio de valor

0.18 Una vez que la AI tiene una representacin adecuada del criterio de valor, se podra
utilizar, en principio, su inteligencia general para recopilar informacin acerca de qu
mundos posibles son ms propensos a ser la real. A continuacin, podra aplicarse el
criterio, para cada una de esas plausibles mundo posible w, Para saber qu funcin de
utilidad satisface el criterio de w
. As se puede considerar que la frmula IA-VL como una forma de identificar y separar a

cabo este reto clave en el valor de aprendizaje enfoque el reto de cmo representar
. El formalismo tambin saca a la luz una serie de otras cuestiones (por ejemplo, cmo
definir , , Y ), Que tendra que ser resuelto antes de que pudiera hacerse el enfoque de
trabajo.19
Otra cuestin en la codificacin de la meta "Maximizar la realizacin de los valores
descritos en el sobre" es que incluso si todos los valores correctos fueron descritas en una
carta, e incluso si el sistema de la motivacin de la IA que se haya tecleado correctamente
a esta fuente, la IA no pueden interpretar las descripciones de la forma en que nos
propusimos. Esto creara un riesgo de creacin de instancias perversa, como se explica en
el captulo 8. Para aclarar, la dificultad aqu no es tanto la forma de garantizar que la IA
puede entender las intenciones humanas. Un superinteligencia debe desarrollar
fcilmente tal entendimiento. Ms bien, la dificultad es asegurarse de que la IA se sentir
motivado a perseguir los valores descritos en la forma en que pretendamos. Esto no est
garantizado por la capacidad de la AI para entender nuestras intenciones: una IA poda
saber exactamente lo que queramos decir y sin embargo ser indiferente a que la
interpretacin de nuestras palabras (estar motivado no por alguna otra interpretacin de
las palabras o ser indiferente a nuestras palabras en total) .
La dificultad se agrava por el desideratum de que, por razones de seguridad, la
motivacin correcta debera idealmente ser instalado en la semilla AI antes se vuelve
capaz de representar plenamente los conceptos humanos o entender las intenciones
humanas. Para ello es necesario que de alguna manera se crear un marco cognitivo, con
una localizacin particular en ese marco designado en el sistema de la motivacin de la IA
como el depsito de su valor final. Pero el marco cognitivo en s debe ser revisable, a fin
de permitir la IA para ampliar sus capacidades de representacin, ya que aprende ms
sobre el mundo y crece ms inteligente. La IA podra sufrir el equivalente de las
revoluciones cientficas, en la que su visin del mundo es sacudido y que tal vez sufre crisis
ontolgica en la que descubre que sus maneras anteriores de pensar sobre los valores se
basan en confusiones e ilusiones. Sin embargo, a partir de un nivel sub-humana del
desarrollo y continuando a lo largo de todo su desarrollo posterior en una
superinteligencia galctico, el comportamiento de la IA es ser guiado por un valor final
esencialmente inmutable, un valor final que llega a ser mejor entendido por la IA en
consecuencia directa de su progreso y intelectual general probable entiende bastante
diferente por el AI madura de lo que era por sus programadores originales, aunque no
diferente de una manera aleatoria u hostil pero de una manera benignamente apropiado.
Cmo lograr esto sigue siendo un question.20 abierto (vase el recuadro 11.)
En resumen, an no se sabe cmo utilizar el enfoque de aprendizaje valor a
instalar los valores humanos plausibles (aunque vase el recuadro 12 para algunos
ejemplos de ideas recientes). En la actualidad, el enfoque debe ser visto como un
programa de investigacin en lugar de una tcnica disponible. Si se pudiera hacer para
trabajar, podra constituir la solucin ms ideal al problema de valor de carga. Entre otros

beneficios, parece ofrecer una forma natural de prevenir la delincuencia mente, desde
una semilla AI que hace conjeturas razonables sobre el que valora a sus programadores
podran haber instalado sera anticipar que el crimen mente es probablemente evaluado
negativamente por esos valores, y por lo tanto es mejor evitarlo , por lo menos hasta que
se haya obtenido informacin ms definitiva. Por ltimo, pero no menos importante, est
la cuestin de "qu escribir en el sobre" -o, menos metafricamente, la cuestin de qu
valores debemos tratar de conseguir la AI para aprender. Pero este problema es comn a
todos los enfoques del problema de valor de carga AI. Volvemos a la misma en el Captulo
13. Recuadro 11 Una IA que quiere ser amigable Eliezer Yudkowsky ha tratado de describir
algunas de las caractersticas de una arquitectura IA semillas destinadas a permitir que el
tipo de comportamiento descrito en el texto anterior. En su terminologa, la IA usara
"semntica de referencia externos."21
Para ilustrar la idea bsica, supongamos que queremos que el sistema sea "amigable". El
sistema comienza con el objetivo de tratar de crear una instancia de la propiedad
F
pero, inicialmente, no s mucho acerca de lo que F
es. Slo podra saber que F es una propiedad abstracta y que cuando los
programadores hablan de "la amistad", que probablemente estn tratando de transmitir
informacin sobre F
. Desde objetivo final de la IA es crear una instancia
instrumental es aprender ms sobre lo que F

F,

Un

importante

valor

es. A medida que la AI descubre ms sobre F

, Su comportamiento se gua cada vez ms por el contenido real de

. Por lo tanto, es de esperar, la IA se vuelve cada vez ms agradable cuanto ms se

aprende y ms inteligente se vuelve. Los programadores pueden ayudar a este proceso a
lo largo, y reducir el riesgo de la IA a hacer algo de error catastrfico mientras que su
comprensin de F
es an incompleta, proporcionando la IA con "afirmaciones programador," hip tesis
sobre la naturaleza y el contenido de
F
al que se asigna un inicialmente alta probabilidad. Por ejemplo, la hiptesis de "engaar a
los programadores es antiptico" se puede dar una alta probabilidad previa. Estas
afirmaciones programador, sin embargo, no son "verdaderos por definicin" -ellos no son
axiomas incuestionables sobre el concepto de la amistad. Ms bien, son hiptesis iniciales
sobre la amistad, hiptesis en que un AI racional asignar una alta probabilidad al menos
durante el tiempo que confa en las capacidades epistmicas los programadores ms que
su propia.
La propuesta de Yudkowsky tambin implica el uso de lo que l llama
"semntica validez causales." La idea aqu es que la AI debe hacer no es exactamente lo

que los programadores dijeron que hacer, sino ms bien (algo as como) lo que estaban
tratando de decir que de hacer. Mientras que los programadores estn tratando de
explicar a la semilla AI lo amabilidad es, podran cometer errores en sus explicaciones. Por
otra parte, los propios programadores no pueden comprender plenamente la verdadera
naturaleza de la amistad. Por lo tanto, sera deseable que la AI para tener la capacidad de
corregir errores en el pensamiento de los programadores, y para inferir la verdad o la
intencin significado de cualquier explicaciones imperfectos los programadores logran
proporcionar. Por ejemplo, el AI debe ser capaz de representar los procesos causales por lo
que los programadores aprenden y se comunican sobre la amistad. Por lo tanto, para
recoger un ejemplo trivial, la AI debe entender que hay una posibilidad de que un
programador podra hacer un error tipogrfico mientras ingresa informacin acerca de la
amistad, y la IA debe entonces tratar de corregir el error. En trminos ms generales, la AI
debe tratar de corregir lo que sea influencias de distorsin pueden haber corrompido el
flujo de informacin sobre la amistad, ya que pas de su fuente a travs de los
programadores a la IA (donde "distorsionador" es una categora epistmica). Lo ideal es
que madure la IA, debe superar los sesgos cognitivos y otros conceptos errneos ms
fundamentales que pueden haber impedido sus programadores de comprender
plenamente lo que es la amistad. Recuadro 12 Dos recientes (medio-horneados) Ideas
Lo que podramos llamar el enfoque de "Ave Mara" se basa en la esperanza de
que en otros lugares en el universo existen (o llegar a existir) civilizaciones que gestionan
con xito la explosin de inteligencia, y que terminan con los valores que se superponen
de manera significativa con nuestra propia . Podramos entonces tratar de construir
nuestra AI para que sea motivado para hacer lo que estos otros superinteligencias quieren
que haga.
22
La ventaja es que esto podra ser ms fcil que construir nuestra AI estar motivado
para hacer lo que queramos directamente.
Para este esquema funcione es
no
necesario que nuestra IA puede establecer comunicacin con cualquier
superinteligencia aliengena. Por el contrario, las acciones de nuestro AI se guan por
sus estimaciones
de lo que los superinteligencias aliengenas quieren que haga.
Nuestra AI sera modelar los posibles resultados de las explosiones de inteligencia en otros
lugares, y a medida que se superinteligente s sus estimaciones debe ser cada vez ms
precisos. No se requiere conocimiento perfecto. Puede haber una serie de resultados
plausibles de explosiones de inteligencia, y nuestra AI sera entonces todo lo posible para
dar cabida a las preferencias de los distintos tipos de superinteligencia que pudi eran
surgir, ponderados por la probabilidad.
Esta versin del enfoque Ave Mara requiere que construimos un valor final para
nuestra IA que se refiere a las preferencias de otros superinteligencias. Exactamente cmo

hacer esto an no est clara. Sin embargo, los agentes superinteligentes podran ser
estructuralmente lo suficientemente distintivo que podramos escribir una pieza de cdigo
que funcionara como un detector que se vera en el modelo mundial en nuestro AI
desarrollar y designar los elementos de representacin que corresponden a la presencia
de una superinteligencia. El detector de entonces, de alguna manera, extraer las
preferencias de la superinteligencia en cuestin (como se representa dentro de nuestra
propia AI).
23
Si pudiramos crear un detector de este tipo, podramos utilizarlo para definir los
valores finales de nuestro AI. Uno de los retos es que podemos necesitar para crear el
detector antes de que sepamos qu marco representacional desarrollar nuestra AI. El
detector puede as tenga que consultar un marco de representacin desconocida y extraer
las preferencias de cualquier superinteligencia podrn estar representados en el mismo.
Esto parece difcil, pero tal vez alguna solucin ingeniosa puede ser found.24
Si la configuracin bsica podra llegar a funcionar, varias mejoras se sugieren
inmediatamente. Por ejemplo, en lugar de con el objetivo de seguir (algunos composicin
ponderada de) las preferencias de
cada superinteligencia extranjero, valor final de nuestra AI podra incorporar un filtro
para seleccionar un subconjunto de superinteligencias aliengenas de obediencia (con el
objetivo de seleccionar aquellos cuyos valores estn ms cerca de la nuestra). Por
ejemplo, podramos utilizar criterios relativos al origen causal de una superinteligencia
para determinar si se debe incluir en el conjunto de reverencia. Ciertas propiedades de su
origen (que podramos ser capaces de definir en trminos estructurales) pueden
correlacionarse con el grado en que se poda esperar la superinteligencia resultante para
compartir nuestros valores. Tal vez queremos poner ms confianza en superinteligencias
cuya causal orgenes remontan a una emulacin de todo el cerebro, oa una semilla AI que
no hacen un uso intensivo de los algoritmos evolutivos o que emergi lentamente de una
forma sugerente de un despegue controlado. (Tomando orgenes causales en cuenta
tambin dejara a evitar el exceso de ponderacin superinteligencias que crean mltiples
copias de s mismos -en realidad se deja a evitar la creacin de un incentivo para que lo
hagan.) Muchos otros refinamientos tambin seran posibles. El enfoque Ave Mara
requiere fe que hay otros por ah que superinteligencias suficientemente comparten
nuestros valores.
25
Esto hace que el planteamiento no ideal. Sin embargo, los obstculos tcnicos que
enfrenta el enfoque Ave Mara, aunque muy importante, posiblemente, podra ser menos
formidables que los que enfrentan los enfoques alternativos. Explorando enfoques
implementables no ideales, pero ms fcilmente puede tener sentido, no con la intencin
de utilizarlos, pero tener algo que echar mano en caso de una solucin ideal no debe estar
listo a tiempo.
Otra idea para la forma de resolver el problema de valor de carga se ha propuesto

recientemente por Paul Christiano.

26
Como el Ave Mara, es un mtodo de aprendizaje valor que intenta definir el
criterio de valor por medio de un "truco" en lugar de a travs de la construccin laboriosa.
Por contraste con el Ave Mara, que no presupone la existencia de otros agentes
superinteligentes que podramos sealar como modelos a seguir para nuestra propia IA.
La propuesta de Christiano es algo resistente a la breve explicacin que involucra una serie
de arcanos consideraciones, pero podemos tratar de al menos el gesto a sus principales
elementos. Supongamos que pudimos obtener (a) una especificacin matemticamente
precisa de un cerebro humano en particular y (b) un entorno virtual matemticamente
bien especificado que contiene una computadora idealizado con u na manera arbitraria
gran cantidad de memoria y potencia de CPU. Dada (a) y (b), podramos definir una
funcin de utilidad
U
como la salida del cerebro humano producira despus de interactuar con este
entorno. U sera un objeto matemtico bien definido, aunque uno que (debido a las
limitaciones computacionales) podemos ser incapaces de describir
explcitamente
. Sin embargo, U podra servir como criterio de valor por un valor de
aprendizaje AI, que podra utilizar diversas heursticas para asignar pro babilidades a las
hiptesis acerca de lo que
U

implica.

Intuitivamente, queremos U siendo la funcin de utilidad que un ser humano

debidamente preparado sera la salida si tena la ventaja de ser capaz de utilizar una gran
cantidad arbitraria de potencia de clculo informtica suficiente poder, por ejemplo, para
ejecutar los nmeros astronmicos de copias de ella para ayudarla con su anlisis de
especificar una funcin de utilidad, o para ayudarla a disear un mejor proceso para ir
sobre este anlisis. (Estamos aqu presagiando un tema, una "voluntad extrapolado
coherente", que ser explorado en el captulo 13.)
Al parecer relativamente fcil para especificar el entorno idealizado: podemos dar
una descripcin matemtica de un ordenador abstracto con arbitrariamente grande de la
capacidad; y en otros aspectos que podramos utilizar un programa de realidad virtual que
da una descripcin matemtica de, por ejemplo, una habitacin individual con una
terminal de computadora en el mismo (crear instancias de la computadora abstracta).
Pero, cmo obtener una descripcin matemtica precisa de un cerebro humano en
particular? La forma ms obvia sera a travs de la emulacin de todo el cerebro, pero lo
que si la tecnologa para la emulacin no est disponible en el tiempo?
Aqu es donde la propuesta de Christiano ofrece una innovacin clave. Christiano
observa que con el fin de obtener un criterio de valor matemticamente bien
especificado, no necesitamos un modelo computacional til en la prctica de una mente,

un modelo que podramos correr. Slo necesitamos un (posiblemente implcita y

desesperadamente complicada) matemtica definicin-y esto puede ser mucho ms fcil
de alcanzar. El uso de la neuroimagen funcional y otras mediciones, tal vez podamos
recopilar gigabytes de datos sobre el comportamiento de entrada-salida de un humano
seleccionado. Si recopilamos una cantidad suficiente de datos, entonces podra ser que el
modelo matemtico ms simple que da cuenta de todos estos datos es, de hecho, una
emulacin de lo humano en cuestin. Aunque sera computacionalmente intratable para
nosotros
encontrar
este modelo ms simple de los datos, podra ser perfectamente posible
para nosotros definir el modelo, haciendo referencia a los datos y un uso de una medida
simplicidad matemticamente bien definido (como alguna variante de la complejidad de
Kolmogorov, que nos encontramos en el Cuadro 1, Captulo 1) 0,27
Modulacin de Emulacin
El problema del valor de carga se ve algo diferente para la emulacin d e todo el cerebro
de lo que hace a la inteligencia artificial. Los mtodos que presuponen un conocimiento y
control de los algoritmos y arquitecturas de grano fino no son aplicables a las
emulaciones. Por otra parte, el mtodo de seleccin inaplicable la motivacin de aumento
de novo inteligencia artificial est disponible para ser utilizado con emulaciones (o
cerebros biolgicos mejorados).
28 El mtodo de aumento podra combinarse con
tcnicas de ajustar los objetivos heredadas del sistema. Por ejemplo, se podra tratar de
manipular el estado de motivacin de una emulacin mediante la administracin de el
equivalente digital de sustancias psicoactivas (o, en el caso de los sistemas biolgicos, los
productos qumicos reales). Incluso ahora es posible manipular farmacolgicamente
valores y motivaciones de forma limitada.
29
La farmacopea del futuro puede contener frmacos con efectos ms especficos y
predecibles. El medio digital de emulaciones debera facilitar en gran medida esta
evolucin, haciendo ms fcil y experimentacin controlada por la prestacin de todas las
partes cerebrales directamente direccionable. Al igual que cuando se utilizan los sujetos
de prueba biolgicos, la investigacin sobre las emulaciones sera enredarse en
complicaciones ticas, no todos los cuales podran ser dejado de lado con un formulario
de consentimiento. Tales enredos podran frenar el progreso a lo largo del camino de la
emulacin (debido a la regulacin o restriccin moral), tal vez especialmente obstaculizar
estudios sobre cmo manipular la estructura motivacional de emulaciones. El resultado
podra ser que las emulaciones se aumentan a niveles superinteligentes potencialmente
peligrosos de la capacidad cognitiva antes del trabajo adecuada se ha hecho para probar o
ajustar sus objetivos finales. Otro posible efecto de los enredos morales podra ser dar la
ventaja a los equipos menos escrupulosos y naciones. Por el contrario, si furamos a
relajarnos nuestras normas morales para experimentar con las mentes humanas digita les,
podramos hacemos responsables de una cantidad sustancial de dao y maldad, que es
obviamente indeseable. Otras cosas son iguales, estas consideraciones estn a favor de

tomar algn camino alternativo que no requiere el uso extensivo de sujetos humano s de
investigacin digitales en una situacin de alto riesgo de manera estratgica.
La cuestin, sin embargo, no es claro. Se podra argumentar que la investigacin de
emulacin de todo el cerebro es menos que pueda suponer violacines morales que la
investigacin de la inteligencia artificial, sobre la base de que somos ms propensos a
reconocer cuando una mente emulacin califica para el estatus moral que hemos de
reconocer cuando una mente completamente ajeno o sinttico lo hace. Si ciertos tipos de
inhibidores de la aromatasa, o sus subprocesos, tienen un estatus moral significativo que
no somos capaces de reconocer, las violacines morales consiguientes podran ser
extensa. Consideremos, por ejemplo, el feliz abandono con el que los programadores
contemporneos crean agentes de refuerzo del aprendizaje y someterlas a estmulos
aversivos. Tales agentes Innumerables son creados todos los das, no slo en los
laboratorios de informtica pero en muchas aplicaciones, incluyendo algunos juegos de
computadora que contienen caracteres sofisticados no jugadores. Presumiblemente,
estos agentes son todava demasiado primitivo para tener alguna condicin moral. Pero la
confianza que podemos realmente ser que esto es as? Ms importante an, la confianza
que podemos estar de que vamos a saber parar a tiempo, antes de que nuestros
programas sean capaces de experimentar sufrimiento moralmente relevante?
(Volveremos en el captulo 14 de algunas de las cuestiones estratgicas ms
amplias que surgen cuando se compara la conveniencia de emulacin y caminos de
inteligencia artificial.)
Diseo Institucin
Algunos sistemas inteligentes consisten en piezas inteligentes que son a su vez capaz de
agencia. Las empresas y los estados ejemplifican esto en el mundo humano: mientras que
en gran parte compuesta de seres humanos que pueden, para algunos propsitos, ser
visto como agentes autnomos en su propio derecho. Las motivaciones de estos sistemas
compuestos no slo dependen de las motivaciones de sus subagentes constituyentes, sino
tambin en cmo se organizan los subagentes. Por ejemplo, un grupo que se organiza
bajo una fuerte dictadura podra comportarse como si tuviera una voluntad que era
idntica a la voluntad del subagente que ocupa el papel del dictador, mientras que un
grupo democrtico a veces podra comportarse ms como si tuviera una voluntad que era
un compuesto o promedio de las voluntades de sus diversos componentes. Pero tambin
se puede imaginar las instituciones de gobierno que haran que una organizacin se
comportan de una manera que no es una simple funcin de las voluntades de sus
subagentes. (En teora, al menos, podra existir un estado totalitario que todo el mundo
odiado, porque el Estado tena mecanismos para prevenir a sus ciudadanos de la
coordinacin de una revuelta. Cada ciudadano poda estar peor por repugnante solo que al
jugar su parte en la maquinaria del Estado.)
Mediante el diseo de instituciones adecuadas para un sistema compuesto, por lo tanto

uno podra tratar de dar forma a su motivacin efectiva. En el captulo 9, hablamos de la

integracin social como un posible mtodo de control de capacidad. Pero no nos hemos
centrado en los incentivos que enfrentan por un agente como consecuencia de su
existencia en un mundo social de casi-iguales. Aqu nos centramos en lo que pasa
dentro un agente dado: cmo su voluntad est determinada por su organizacin
interna. Por tanto, estamos ante un mtodo de seleccin de la motivacin. Adems, dado
que este tipo de diseo institucin interna no depende de la ingeniera social a gran escala
o la reforma, es un mtodo que podra estar disponible para un proyecto de desarrollo de
superinteligencia individuo incluso si el entorno socio-econmico o internacional en
general es menor que lo ideal favorable.
Diseo Institucin es quizs ms plausible en contextos en los que se combina con el
aumento. Si pudiramos comenzar con los agentes que ya estn debidamente motivados
o que tienen motivaciones similares a las humanas, los arreglos institucionales podr an ser
utilizados como una salvaguardia adicional para aumentar las posibilidades de que el
sistema va a mantener el rumbo.
Por ejemplo, supongamos que empezamos con algunos parecidos a los humanos bien
motivados agentes digamos emulaciones. Queremos potenciar las capacidades cognitivas
de estos agentes, pero nos preocupa que las mejoras pueden corromper sus
motivaciones. Una manera de hacer frente a este reto sera la creacin de un sistema en
el que las emulaciones individuales funcionan como subagentes. Cuando se introduce una
nueva mejora, se aplic por primera vez a un pequeo subconjunto de los subagentes. Sus
efectos son luego estudiados por un panel de revisin formado por subagentes que an
no han tenido la mejora que se les aplica. Slo cuando estos compaeros han cerciorado
de que la mejora no est corrompiendo es que extender a la poblacin subagente ms
amplio. Si se encuentran los subagentes mejoradas estar daado, no se les da nuevas
mejoras y se excluyen de las funciones de toma de decisiones clave (por lo menos hasta
que el sistema en su conjunto ha avanzado hasta un punto en que los subagentes
corruptos puedan reintegrarse de manera segura).30
Aunque los subagentes corruptos podran haber ganado alguna ventaja de la mejora, la
estructura institucional en la que estn inmersos, y el hecho de que constituyen una
pequea minora de los subagentes, sera de esperar que les impiden tomar el poder o
propagar su corrupcin al sistema general . Por lo tanto, la inteligencia colectiva y la
capacidad del sistema se podra mejorar gradualmente en una secuencia de pequeos
pasos, en los que la solidez de cada paso se verifica por subagentes slo ligeramente
menos capaces que los nuevos sub-agentes que se introducen en ese paso.
La
cantidad de seguridad que se puede obtener por este tipo de diseo institucin est
limitada por la precisin de las pruebas que se utilizan para evaluar los subagentes
mejoradas. El problema de la construccin de prueba se complica por el hecho de que las
bateras de pruebas slo podan ser validados dentro del rango pre-existente de la
capacidad cognitiva todava deben ser aplicados a los agentes fuera de este rango. Se
podra mitigar este problema tomando pequeos pasos de mejora y dejando que la prueba

de funcionamiento durante mucho tiempo. Tal precaucin, sin embargo, aumentara el

costo y el progreso lento (que, de una dinmica carrera est ocurriendo, podra significar
un proyecto de empleo de estas medidas de seguridad pondran en desventaja). Incluso
con pequeos pasos y pruebas exhaustivas, quedara algn riesgo de defectos sutiles de
ser introducido, lo que lleva a una corrupcin gradual del sistema objetivo, una corrupcin
que podran manifestarse slo cuando el sistema alcanza superinteligencia. Este riesgo
podra reducirse dejando que la condicin de prueba se extiende por muchas etapas de la
mejora cognitiva, por lo que incluso los agentes que han sido certificadas inicialmente
como sonido y que han recibido varias mejoras posteriores seguiran siendo objeto de
examen por un panel de originales sin modificar e incorrupta compaeros y permaneceran
sujetos a reversin.
Idealmente, la prueba debe ser continua en vez de limitarse a un perodo de evaluacin
inicial. Subagentes nivel humano tiene la capacidad de elaborar estrategias y por lo tanto
pueden optar por ocultar ciertas metas, mientras que su comportamiento estaba siendo
monitoreado. Para activar la prueba continua, una jerarqua podra crearse en el que
subagentes en un cierto nivel de capacidad tienen la tarea de subagentes de monitoreo a
un nivel algo ms elevado de capacidad. En la parte inferior de la jerarqua de la capacidad
(pero en la parte superior de la jerarqua de poder) se sentara el director relativamente
tonto y lento. Este principio humano sera como un rey demente que reina sobre un
tribunal incompetente que supervisa una administracin mediocre que gobierna un
pueblo capaz. Alternativamente, podra ser comparado con el evolutivamente antigua
"cerebro reptil", que asegura que el neocrtex ms nuevo y mucho ms inteligente se
emplea en el servicio de los objetivos tales como la alimentacin y la cpula.
Uno podra preguntarse si una meritocracia tales inversa podra permanecer estable. Si se
encuentra la mayor parte de los subagentes superinteligentes que ser corrupto, y los seres
humanos a cargo de toda la cosa trat de revertir muchas de las mejoras anteriores, sera
la estructura institucional lo suficientemente fuerte como para resistir la oposicin que
esta medida generara? En el contexto de las sociedades humanas histricas o
contemporneas, la respuesta tal vez es que esto sera inverosmil. (No es que las
personas ms capaces se elevan constantemente al poder, pero no son literalmente
gobernado por los chimpancs tampoco.) La cuestin es menos clara, sin embargo, en un
contexto donde la sociedad se implementa como software.31
Imagina una jerarqua digital que tiene uno altamente capacitado agente de polica por
cada dos proletarios. Tambin cuenta con un agente especial de la pol ica por cada dos
agentes de polica. Tambin tiene un agente especial de la polica especial para cada dos
agentes-y-especial de la polica, etc., de manera que cada capa de supervisores tiene al
menos la mitad del nmero de la capa que supervisa. Imagnese, adems, que esta
sociedad se Architected de tal manera que un supervisor tiene grandes ventajas sobre sus
subordinados. Por ejemplo, el supervisor es capaz de supervisar y registrar todo sus
subordinados dicen y hacen, mientras que el supervisor mismo se oculta detrs de un
vidrio de un solo sentido, de modo que sus subordinados slo pueden or las rdenes e

instrucciones que los elige superiores a transmiten. Imagina que los supervisores tienen
un panel de botones que pueden pulsar en cualquier momento para causar un
subordinado a ser castigado o recompensado, hizo una pausa, eliminar o revertir a un
estado anterior. Estas capacidades aumentaran considerablemente los poderes de un
agente de supervisin, ms all de lo que ha sido posible histricamente en incluso el ms
totalitario de las organizaciones.
Incluso esto no agota los posibles instrumentos de
control. Los supervisores tambin pueden tener a su disposicin realistas simulaciones de
realidad virtual que pueden utilizar para sondear las reacciones subordinados a los
escenarios hipotticos (tales como ofertas simuladas para unirse a una conspiracin o de
holgura cuando piensan nadie est mirando). Los supervisores pueden, adems, tener la
capacidad de espiar a los monlogos internos en la mente de los subordinados y manipular
directamente a sus estados emocionales.
El resultado es una serie de ventajas enormes para el supervisor. 32
Cada supervisor sera un subordinado a otro, supervisor de nivel superior, que
supervisara su cada movimiento y asegrese l no aflojar en la ejecucin de sus
funciones de gestin. Con este tipo de acuerdo, podra ser posible que la estructura sea
estable incluso si cada nivel de supervisin es intelectualmente algo ms dbil que el nivel
que supervises.33 Y toda la estructura, lo que podra incluir muchos agentes altamente
superinteligentes, puede ser controlado por un pequeo nmero de seres humanos con
access.34 raz
El costo de una estructura de control interno sera significativa, pero no necesariamente
prohibitivo. Por ejemplo, en el modelo en el que cada nivel de supervisin tiene la mitad
de los nmeros de la capa de abajo, la sobrecarga computacional adicional est limitada
en un mero 100% de lo que la parte proletaria de los costos-less del sistema si las capas
jefe dumber requiere menos clculos por subagente. Supervisin podra ser apretado por
el aumento de la proporcin, o coste rebajado por la disminucin de la misma. El coste
computacional extra podra ser un factor importante en un escenario de mercado
competitivo (vase el captulo 11), pero parece asequible en el contexto de un proyecto
que no se enfrenta a una fuerte competencia inmediata. Tambin habra un costo en
trminos de tiempo de desarrollo necesario para crear y probar estas funciones d e
supervisin. Un proyecto bien los recursos necesarios podra reducir este costo momento
paralelizacin el desarrollo de la estructura de control con el desarrollo de la inteligencia
de las mquinas; pero la carga de trabajo adicional podra ser prohibiti vo para los
proyectos ms pequeos y para los proyectos atrapados en una estrecha tecnologa de
carrera.
Otro tipo de costo tambin merece consideracin: el riesgo de que los
crmenes de la mente que se cometen en este tipo de estructura.35
Como se ha descrito, la institucin suena como un campo de trabajo de Corea del Norte
en lugar horrible. Sin embargo, hay maneras de al menos mitigar los problemas morales
con el funcionamiento de este tipo de instituciones, incluso si los subagentes contenidas
en la institucin son emulaciones con estatus moral humana completa. Como mnimo, el

sistema podra basarse en el voluntariado emulaciones. Cada subagente podra tener la

opcin en cualquier momento de retirar sus participation.36 Terminado emulaciones
podran ser almacenados en la memoria, con el compromiso de reiniciar bajo condiciones
mucho ms ideales una vez que la fase peligrosa de la explosin de inteligencia ha
terminado. Mientras tanto, subagentes que decidieron participar podran ser alojados en
entornos virtuales muy confortable y permite suficiente tiempo para dormir y para la
recreacin. Estas medidas supongan un costo, que debe ser manejable para un proyecto
con buenos recursos en condiciones no competitivas. En una situacin altamente
competitivo, el costo puede ser inaccesible a menos que una empresa puede estar seguro
de que sus competidores incurriran en el mismo costo. En el ejemplo, nos imaginamos
los subagentes como emulaciones. Uno podra preguntarse, el enfoque de diseo
institucin requiere que los subagentes ser antropomrfico? O es igualmente aplicable a
sistemas compuestos por subagentes artificiales?
Uno de primer pensamiento que aqu podra ser escptico. Se observa que a pesar de
nuestra experiencia abundante y con agentes de apariencia humana, todava no podemos
predecir con precisin el brote o los resultados de las revoluciones; la ciencia social puede,
a lo sumo, describir algunas tendencias estadsticas.
37 Ya que no podemos predecir
con fiabilidad la estabilidad de las estructuras sociales de los seres humanos ordinarios (de
la que tenemos muchos datos), es tentador inferir que tenemos pocas esperanzas de
precisin de ingeniera de estructuras sociales estables para los agentes humanos como
cognitivamente mejoradas (de la que no tenemos datos), y que tenemos mucho menos la
esperanza de hacerlo para los agentes artificiales avanzados (que ni siquiera son similares
a los agentes que tenemos datos sobre).
Sin embargo, el asunto no es tan corta-y-seca. Los seres humanos y los seres humanos
como son complejos; pero los agentes artificiales podran tener arquitecturas
relativamente simples. Agentes artificiales tambin podran tener motivaciones simples y
caracterizados de forma explcita. Adems, los agentes digitales en general (ya sea
emulaciones o inteligencias artificiales) son copiables: un affordance que pueden
revolucionar la gestin, al igual que piezas intercambiables revolucionaron la fabricacin.
Estas diferencias, junto con la oportunidad de trabajar con agentes que inicialmente son
impotentes y que crean estructuras institucionales que utilizan las distintas medidas de
control antes mencionados, podran combinar para que sea posible lograr resultados
concretos, tales como un sistema institucional que no se rebelan -ms fiable que si uno
estaban trabajando con los seres humanos bajo condiciones histricas.
Pero, de nuevo, los agentes artificiales pueden carecer de muchos de los atributos que nos
ayudan a predecir el comportamiento de los agentes de apariencia humana. Agentes
artificiales no necesitan tener ninguna de las emociones sociales que se unen el
comportamiento humano, las emociones como el miedo, el orgullo y el remordimiento.
Tampoco necesitan agentes artificiales desarrollan apegos a amigos y familiares. Tampoco
necesitan exhiben el lenguaje corporal inconsciente que hace que sea difcil para nosotros
los seres humanos para ocultar nuestras intenciones. Estos dficits pueden desestabilizar

las instituciones de agentes artificiales. Adems, los agentes artificial es podran ser
capaces de hacer grandes saltos en el rendimiento cognitivo como resultado de
aparentemente pequeos cambios en sus algoritmos o arquitectura. Optimizando
despiadadamente agentes artificiales podra estar dispuesto a tomar apuestas extremas
de las que los seres humanos se reducira. 38
Y agentes superinteligentes podran mostrar una capacidad sorprendente para coordinar
con poca o ninguna comunicacin (por ejemplo, mediante el modelado internamente de
cada otras respuestas hipotticas para diversas contingencias). Estas y otras diferencias
podran hacer fracaso institucional sbita es ms probable, incluso en los dientes de lo
que parecen ser los mtodos vestidos-Kevlar de control social. No est claro, por lo
tanto, lo prometedor del enfoque de diseo institucin es, y si se tiene una mayor
posibilidad de trabajar con antropomrfico que con agentes artificiales. Se podra pensar
que la creacin de una institucin con controles y equilibrios apropiados slo podra
aumentar la seguridad o, en todo caso, no reduce la seguridad, de modo que a partir de
una perspectiva de la mitigacin del riesgo siempre sera mejor si se utilizara el mtodo.
Pero incluso esto no se puede decir con certeza. El enfoque aade piezas y complejidad, y
por lo tanto tambin pueden introducir nuevas formas para que las cosas salgan mal que
no existe en el caso de un agente que no tiene subagentes inteligentes como partes. Sin
embargo, el diseo institucin es digna de mayor exploracin.39
Sinopsis
Ingeniera de sistemas Meta an no es una disciplina establecida. No se sabe actualmente
cmo transferir los valores humanos a un ordenador digital, incluso teniendo en cuenta la
inteligencia artificial a nivel humano. Tras investigar una serie de enfoques, encontramos
que algunos de ellos parecen ser callejones sin salida; pero otros parecen prometedores y
merecen ser exploradas ms. Un resumen se presenta en la Tabla 12.
Cuadro 12

Resumen de las tcnicas de valor de carga

Representacin explcita Puede ser prometedora como una forma de cargar los
valores domesticidad. No parece prometedor como una manera de cargar valores ms
complejos.
Seleccin Evolutiva
Menos prometedor. Bsqueda de gran alcance puede encontrar un diseo que
satisfaga los criterios de bsqueda formales pero no nuestras intenciones. Adems, si los
diseos son evaluados mediante la ejecucin de ellos, incluyendo diseos que ni siquiera

cumplen con los criterios formales -un se crea potencialmente grave peligro adicional.
Evolucin tambin hace que sea difcil evitar la delincuencia mente masiva, sobre todo si
se tiene el objetivo de modelar las mentes de apariencia humana.
Aprendizaje por refuerzo
Una gama de diferentes mtodos se puede utilizar para resolver "problemas de
refuerzo del aprendizaje", pero por lo general implica la creacin de un sistema que busca
maximizar una seal de recompensa. Esto tiene una tendencia inherente a producir el
modo de fallo wireheading cuando el sistema se vuelve ms inteligente. Por lo tanto, e l
aprendizaje de refuerzo se ve poco prometedor.
Valor de acrecin Nosotros los humanos adquirimos gran parte de nuestro
contenido objetivo especfico de nuestras reacciones a la experiencia. Mientras que el
valor de acrecin podra, en principio, ser utilizado para crear un agente con las
motivaciones humanas, las disposiciones de valor acrecin humanos pueden ser
complejas y difciles de replicar en una semilla AI. Una mala aproximacin puede producir
una IA que generaliza de manera diferente que los humanos y por lo tanto adquiere
objetivos finales no deseados. Se necesita ms investigacin para determinar lo difcil que
sera hacer el trabajo el valor de acrecin con suficiente precisin.
Andamios de motivacin
Es demasiado pronto para decir lo difcil que sera para fomentar un sistema para
desarrollar representaciones de alto nivel internos que sean transparentes para los seres
humanos (manteniendo las capacidades del sistema por debajo del nivel peligroso) y luego
utilizar esas representaciones para disear un nuevo sistema de meta . El enfoque podra
mantener una promesa considerable. (Sin embargo, como con cualquier mtodo no
probado que aplazar gran parte de la fuerza de trabajo en ingeniera de seguridad hasta el
desarrollo del nivel de AI humana, se debe tener cuidado de no permitir que se convierta
en una excusa para una actitud displicente al problema de control en el provisional.)
Aprendizaje Valor
Un enfoque potencialmente prometedor, pero se necesita ms
investigacin para determinar lo difcil que sera para especificar formalmente una
referencia que seala con xito a la informacin externa relevante sobre el valor humano
(y de lo difcil que sera para especificar un criterio de correccin para una funcin de
utilidad en trminos de dicha referencia). Tambin vale la pena explorar dentro de la
categora de aprendizaje valor son las propuestas del tipo Ave Mara o en la lnea de
construccin de Pablo Christiano (u otros accesos directos).
Modulacin de Emulacin
Si se logra la inteligencia de la mquina a travs de la va de la emulacin, es
probable que sea posible ajustar motivaciones a travs del equivalente digital de drogas o

por otros medios. Ya sea que esto permitira a los valores para ser cargado con la
suficiente precisin para garantizar la seguridad incluso cuando la emulacin se ha
elevado a superinteligencia es una pregunta abierta. (Limitaciones ticas podran
complicar tambin la evolucin en esta direccin.)
Diseo Institucin
Varios fuertes mtodos de control social podran aplicarse en una institucin
compuesta de emulaciones. En principio, los mtodos de control social tambin podran
aplicarse en una institucin compuesta por inteligencias artificiales. Emulaciones tienen
algunas propiedades que hacen que sean ms fciles de controlar a travs de estos
mtodos, sino tambin algunas propiedades que podran hacer que sea ms difcil de
controlar que los IA. Diseo Institucin parece digna de mayor exploracin como un
potencial tcnica del valor de carga. Si supiramos cmo resolver el problema del valor de
carga, estaramos frente a un nuevo problema: el problema de decidir qu valores para
cargar. Lo que, en otras palabras, qu queremos una superinteligencia que quiere? Este es
el problema ms filosfico al que nos dirigimos al lado.
CAPTULO 13La eleccin de los criterios para la eleccin
Supongamos que pudiramos instalar ningn valor final arbitraria en una semilla
AI. La decisin en cuanto a qu valor instalar entonces podra tener las consecuen cias ms
trascendentales. Algunas otras opciones-referentes de parmetros bsicos de los axiomas
de la teora de la decisin de la AI y la epistemologa-podran ser igualmente
consecuentes. Pero tontos, ignorantes y de mente estrecha que somos, cmo podemos
ser de confianza para tomar buenas decisiones de diseo? Cmo podramos elegir sin
bloquear en mucho los prejuicios y las ideas preconcebidas de la generacin actual? En
este captulo, exploramos cmo indirecta normatividad puede dejarnos descargamos gran
parte del trabajo cognitivo implicado en la toma de estas decisiones sobre la propia
superinteligencia tiempo que anclar el resultado en los valores humanos ms profundos.
La necesidad de normatividad indirecta
Cmo podemos conseguir una superinteligencia hacer lo que queremos? Qu queremos
que la superinteligencia que queremos? Hasta este punto, nos hemos centrado en la
pregunta anterior. Pasamos ahora a la segunda pregunta. Supongamos que habamos
resuelto el problema de control de manera que hemos sido capaces de cargar cualquier
valor que elegimos en el sistema de motivacin de un superinteligencia, por lo que es
perseguir ese valor como su meta final. Qu valor debemos instalar? La eleccin no es
cosa de la luz. Si la superinteligencia obtiene una ventaja estratgica decisiva, el valor
sera determinar la disposicin de la dotacin csmica. Claramente, es esencial que no nos
equivocamos en nuestra seleccin de valor. Pero cmo podramos realista esperar
alcanzar errorlessness en cuestin como esta? Podramos estar equivocado acerca de la
moralidad; mal tambin sobre lo que es bueno para nosotros; mal, incluso sobre lo que
realmente queremos. Especificacin de un objetivo final, al parecer, requiere abrirse

camino a travs de una maraa de problemas filosficos espinosos. Si intentamos un

acercamiento directo, somos propensos a hacer un hash de las cosas. El riesgo de la
eleccin equivocada es especialmente alto cuando el contexto de la decisin no es familiar,
y la seleccin de la meta final para una superinteligencia mquina que darn forma a
todos el futuro de la humanidad es un contexto de decisin muy poco familiar si alguno es.
Las probabilidades tristes en un asalto frontal se reflejan en el disenso generalizado sobre
los temas relevantes de la teora del valor. Ninguna teora tica manda un apoyo
mayoritario entre los filsofos, por lo que la mayora de los filsofos deben estar
equivocados. 1
Tambin se refleja en los cambios marcados de que la distribucin de la creencia moral ha
sufrido el paso del tiempo, muchos de los cuales nos gusta pensar en como progreso. En la
Europa medieval, por ejemplo, se consider entretenimiento respetable para ver un preso
poltico de haber sido torturado hasta la muerte. Cat-quema sigui siendo popular en el
siglo XVI Paris.2 Hace tan slo ciento cincuenta aos, la esclavitud todava se practica
ampliamente en la Amrica del Sur, con el apoyo total de la ley y la costumbre moral.
Cuando miramos hacia atrs, vemos deficiencias evidentes no slo en el comportamiento,
sino en las creencias morales de todas las edades anteriores. Aunque hemos quiz ya
recogido una idea moral, difcilmente podramos afirmar que ahora el sol en el medioda
de la iluminacin moral perfecta. Muy probablemente, todava estamos trabajando bajo
una o ms graves conceptos errneos morales. En tales circunstancias, para seleccionar un
valor final en base a nuestras convicciones actuales, de una manera que lo bloquea en los
siglos de los excluye cualquier posibilidad de un mayor progreso tico, sera correr el
riesgo de una calamidad moral existencial. Incluso si pudiramos ser racionalmente
seguros de que hemos identificado la correcta teora tica que no podemos ser an
permanecera en riesgo de cometer errores en la elaboracin de los detalles importantes
de esta teora. Al parecer, las teoras morales simples pueden tener una gran cantidad de
complejidad oculta.3
Por ejemplo, considere el (inusualmente sencilla) teora consecuencialista del hedonismo.
Esta teora afirma, ms o menos, que todos y nico placer tiene valor, y todos y slo dolor
ha disvalue.4 Incluso si colocamos todos nuestros chips morales en este caso la teora, y la
teora result ser correcto, un gran nmero de preguntas hara permanecer abierta. Se
debe dar "placeres superiores" prioridad sobre "placeres inferiores", como John Stuart
Mill argument? Cmo debe la intensidad y la duracin de un placer tenerse en?
Pueden los dolores y placeres anulan entre s? Qu tipos de estados cerebrales se
asocian con placeres moralmente relevantes? Le dos copias exactas del mismo estado
cerebral corresponden al doble de la cantidad de placer? 5 Puede haber placeres
subconsciente? Cmo debemos tratar con muy pequeas ocasiones de muy grandes
placeres? 6 Cmo debemos agregar sobre poblaciones infinitas? 7
Dar la respuesta equivocada a cualquiera de estas preguntas podra ser catastrfico. Si al
seleccionar un valor final para la superinteligencia que tenamos que hacer una apuesta

no slo en una teora moral general, pero en un largo conjunto de reivindicaciones

especficas sobre cmo esa teora debe interpretarse e integrarse en un proceso de toma
de decisiones efectiva, entonces nuestra posibilidades de golpear suerte seran disminuir a
algo cercano a esperanza. Los tontos podran aceptar con entusiasmo este desafo de
resolver en un swing de todos los problemas importantes de la filosofa moral, con el fin
de infijo sus respuestas favoritas en la semilla AI. Almas Wiser veran difcil para algunos
enfoque alternativo, de alguna manera de protegerse.
Esto
nos
lleva
a
la
normatividad indirecta. La razn obvia para la construccin de una superinteligencia es
para que podamos sacar datos a ella la razn instrumental necesario para encontrar
formas eficaces de la realizacin de un valor dado. Normatividad indirecta nos permitira
tambin para descargar a la superinteligencia algunos de los razonamientos necesarios
para seleccionar el valor que se quiere realizar.
Normatividad indirecta es una forma de responder al desafo presentado por el hecho de
que no sepamos lo que realmente queremos, lo que est en nuestro inters, o lo que es
moralmente correcto o ideal. En lugar de hacer una conjetura basada en nuestra propia
comprensin actual (que es probablemente profundamente defectuoso), tendramos
delegar parte del trabajo cognitivo necesario para la seleccin de valor para la
superinteligencia. Dado que la superinteligencia es mejor en el trabajo cognitivo que
nosotros, puede ver ms all de los errores y confusiones que nublan nuestro
pensamiento. Se podra generalizar esta idea y relieve como principio heurstico: El
principio de deferencia epistmica
Un superinteligencia futuro ocupa una posicin ventajosa epistmicamente superiores:
sus creencias son (probablemente, en la mayora de los temas) ms probable que el
nuestro para ser verdad. Por tanto, debemos ceder ante la opinin de la superinteligencia
siempre que sea posible.
8
Normatividad indirecta se aplica este principio al
problema de seleccin de valor. A falta de confianza en nuestra capacidad para especificar
un estndar normativo concreto, tendramos lugar especificar alguna condicin ms
abstracto que cualquier estndar normativo debe satisfacer, con la esperanza de que una
superinteligencia pudo encontrar una norma concreta que satisface la condicin
abstracta. Podramos dar una semilla AI el objetivo final de actuar de forma continua de
acuerdo a su mejor estimacin de lo que este estndar definido implcitamente tendra
que hacer.
Algunos ejemplos servirn para hacer la idea ms clara. En primer lugar vamos a
considerar "la voluntad extrapolado coherente", una propuesta de normatividad indirecta
esbozado por Eliezer Yudkowsky. A continuacin, presentamos algunas variaciones y
alternativas, para darnos una idea de la gama de opciones disponibles.
Volicin extrapolado Coherente
Yudkowsky ha propuesto que una semilla AI darse el
objetivo final de llevar a cabo "la volicin coherente extrapolado" de la humanidad (CEV),
que se define de la siguiente manera:

Nuestra voluntad extrapolado coherente es nuestro deseo si supiramos ms, pensamos

ms rpido, estbamos ms a la gente que deseaba que ramos, habamos crecido juntos
ms lejos; donde la extrapolacin converge en lugar de diverge, donde nuestros deseos
cohesionan en lugar de interferir; extrapolamos como deseamos que extrapolamos,
interpretamos como deseamos que interpreta. 9 Cuando Yudkowsky escribi esto,
no se pretende presentar un modelo para la forma de aplicar esta receta en lugar potico.
Su objetivo era dar un bosquejo preliminar de cmo podra definirse CEV, junto con
algunos de los argumentos de por qu es necesario un enfoque a lo largo de estas lneas.
Muchas de las ideas detrs de la propuesta CEV tienen anlogos y antecedentes en
la literatura filosfica. Por ejemplo, en la tica teoras ideales de observacin tratan de
analizar conceptos normativos como "buena" o "derecha" en trminos de las sentencias
que un observador hipottico ideal sera hacer (donde un "observador ideal se defin e
como una que es omnisciente sobre hechos no morales, es lgicamente clarividente , es
imparcial de manera relevante y est libre de diversos tipos de sesgos, y as
sucesivamente) .10 El enfoque de la CEV, sin embargo, no es (o no necesita ser
interpretado como) una teora moral. No est comprometida con la afirmacin de que
existe algn vnculo necesario entre el valor y las preferencias de nuestra voluntad
extrapolado coherente. CEV se puede considerar simplemente como una forma til para
aproximarse todo lo que tiene valor final, o se puede considerar, aparte de cualquier
conexin a la tica. Como el prototipo principal del enfoque normatividad indirecta, vale
la pena examinar en un poco ms de detalle.
Algunas explicaciones
Algunos trminos en la cita anterior requieren explicacin. "El pensamiento ms
rpido", en la terminologa de Yudkowsky, medios
si furamos ms inteligentes y habamos pensado las cosas a travs de ms
"Crecido ms juntos" parece significar

si hubiramos hecho nuestro aprendizaje, nuestro potenciador cognitivo, y nuestra automejora en las condiciones de interaccin social adecuada entre s .
"Cuando la extrapolacin converge en lugar de diverge" puede entenderse de la
siguiente manera. La IA debe actuar sobre alguna caracterstica del resultado de su
extrapolacin slo en la medida que la funcin se puede predecir por la AI con un grado
bastante alto de confianza. En la medida en que la IA no puede predecir lo que
desearamos si fueron idealizadas de la manera indicada, la IA no debe actuar sobre una
conjetura salvaje; en cambio, debe abstenerse de actuar. Sin embargo, a pesar de que
muchos detalles de nuestra idealizada deseen pueden indeterminado o impredecible,
puede, no obstante haber alguna grandes rasgos que la IA puede aprehender, y puede por
lo menos actuar para garantizar que el curso futuro de los acontecimientos se desarrolla
dentro de los contornos. Por ejemplo, si la IA puede estimar con fiabilidad que nuestra

voluntad extrapolado deseara que no todos estemos en agona constante, o que el

universo no alicatar sobre con clips, la AI debe actuar para evitar esos resultados.
11
"Cuando nuestros deseos coherentes en lugar de interferir" puede leerse de la siguiente
manera. La IA debe actuar donde hay bastante amplio acuerdo entre voliciones
extrapolados seres humanos individuales. Un conjunto ms pequeo de los deseos fuertes
y claras podra veces mayores que los deseos dbiles y confusas de la mayora. Tambin,
Yudkowsky piensa que debera requerir menos consenso para la IA a evitar
ALGUNAS ACCIONES resultado especificado por poco, y ms consenso para la AI para
actuar para canalizar el futuro en alguna en particular concepcin estrecha de lo bueno.
"La dinmica inicial para CEV", escribe, "debe ser conservador acerca de decir 's', y
escuchar con atencin para 'no'." 12
"Extrapolado como deseamos que extrapolamos, interpretamos como deseamos que
interpret": La idea detrs de estos ltimos modificadores parece ser que las reglas para
la extrapolacin deben ellos mismos ser sensibles a la voluntad extrapolado. Un individuo
puede tener un deseo de segundo orden (un deseo con respecto a lo que desean) que
algunos de su primer fin de no darse deseos de peso cuando se extrapola a su voluntad.
Por ejemplo, un alcohlico que tiene un deseo de primer orden para el alcohol tambin
puede tener un segundo orden deseo de no tener ese primer orden deseo. Del mismo
modo, podramos tener deseos sobre cmo varias otras partes del proceso de
extrapolacin deben desarrollarse, y stas deben ser tomadas en cuenta por el proceso de
extrapolacin.
Se podra objetar que, aunque el concepto de volicin extrapolado coherente de la
humanidad podra definirse correctamente, de todos modos sera imposible, incluso para
una superinteligencia-para averiguar lo que la humanidad sera realmente quiere en las
circunstancias ideales hipotticos estipulados en el enfoque de la CEV. Sin alguna
informacin sobre el contenido de nuestra voluntad extrapolado, la IA sera despojada de
cualquier norma sustancial para guiar su comportamiento. Sin embargo, aunque sera
difcil saber con precisin lo que deseara CEV de la humanidad, es posible hacer
conjeturas informadas. Esto es posible incluso hoy en da, sin superinteligencia. Por
ejemplo, es ms plausible que nuestra CEV deseara que haya gente en el futuro que viven
vidas ricas y felices de lo que deseara que todos debemos sentarse en taburetes en una
habitacin oscura dolor que experimentan. Si
nosotros puede hacer que al menos
algunos de esos juicios con sensatez, por lo que puede una superinteligencia. Desde el
principio, la conducta de la superinteligencia por lo tanto podra ser guiado por sus
estimaciones sobre el contenido de nuestro CEV. Tendra fuerte razn instrumental para
refinar estas estimaciones iniciales (por ejemplo, mediante el estudio de la cultura humana
y la psicologa, escaneo cerebros humanos, y el razonamiento acerca de cmo podramos
comportarnos si supiramos ms, pens con ms claridad, etc.). En la investigacin de

estos asuntos, la IA se guiar por sus estimaciones iniciales de nuestra CEV; de modo que,
por ejemplo, la IA no sera correr innecesariamente innumerables simulaciones repletos de
sufrimiento humano irredento si estima que nuestro CEV probablemente conde nar
simulaciones tales como la delincuencia mente.
Otra objecin es que hay muchas maneras diferentes de la vida y de los cdigos morales
en el mundo que podra no ser posible "mezclar" en una sola CEV. Incluso si se pudiera
mezclar ellos, el resultado podra no ser particularmente apetecible uno sera poco
probable conseguir una deliciosa comida mezclando todos los mejores sabores de
diferentes plato favorito de todos. 13
En respuesta a esto, se podra sealar que el enfoque de la CEV no requiere que todas las
formas de vida, los cdigos morales o valores personales pueden mezclar juntos en un
guiso. La dinmica de la CEV se supone que acta slo cuando nuestros deseos
coherentes. En cuestiones en las que existe un desacuerdo irreconciliable generalizad a,
incluso despus de que se han impuesto las diversas condiciones idealizadoras, la
dinmica debera abstenerse de determinar el resultado. Para continuar con la analoga de
cocina, podra ser que las personas o culturas tienen diferentes platos favoritos, pero que,
sin embargo, en trminos generales se ponen de acuerdo que aliments deben ser no
txicos. La dinmica CEV podra entonces actuar para prevenir la intoxicacin alimentaria,
mientras que permiten de otra manera los seres humanos para resolver sus prcticas
culinarias sin su orientacin o interferencia. Justificaciones para CEV
El artculo de Yudkowsky ofreci siete argumentos para el enfoque de la CEV. Tres de ellos
eran bsicamente diferentes maneras de hacer el punto de que mientras que el o bjetivo
debe ser hacer algo que es humano y til, sera muy difcil establecer un conjunto explcito
de reglas que no tienen interpretaciones no deseadas y las consecuencias indeseables.
14
El enfoque CEV est destinado a ser robusto y auto-correccin; que est destinado a
capturar el fuente de nuestros valores en lugar de confiar en nosotros correctamente
enumerar y articular, de una vez por todas, cada uno de nuestros valores esenciales.
Los cuatro restantes argumentos van ms all de ese primer punto bsico (pero
importante), explicando desiderata de soluciones candidatas al problema de valor de
especificacin y sugiriendo que CEV cumple estos desiderata.
"Encapsular crecimiento moral"
Este es el desidertum que la solucin debe permitir la posibilidad del progreso moral.
Como se sugiri anteriormente, hay razones para creer que nuestras creencias morales
actuales estn viciadas de muchas maneras; quiz profundamente viciado. Si tuviramos
que estipular un cdigo moral especfico e inalterable de la IA a seguir, que recibira el
mismo bloqueo en nuestras actuales convicciones morales, incluyendo sus errores,

destruyendo cualquier esperanza de crecimiento moral. El enfoque de la CEV, por el

contrario, permite la posibilidad de tal crecimiento, ya que la IA ha tratar de hacer lo que
nos hubiera gustado que hacer si hubiramos desarrollado an ms en condiciones
favorables, y es posible que si tanto habamos desarrollado nuestras creencias y
sensibilidades morales habran sido purgados de sus defectos y limitaciones actuales.
"Evite el secuestro de los destinos de la humanidad"
Yudkowsky tiene en mente un escenario en el que un pequeo grupo de programadores
crea una semilla AI, que luego se convierte en una superinteligencia que obtiene una
ventaja estratgica decisiva. En este escenario, los programadores originales tienen en sus
manos la totalidad de la dotacin csmica de la humanidad. Obviamente, esta es una
responsabilidad horrible para cualquier mortal con hombro. Sin embargo, no es posibl e
que los programadores de eludir por completo la responsabilidad una vez que se
encuentran en esta situacin: cualquier eleccin que hacen, incluyendo el abandono del
proyecto, tendran consecuencias histricas mundiales. Yudkowsky ve CEV como una
manera para que los programadores para evitar arrogarse para s el privilegio o
responsabilidad de determinar el futuro de la humanidad. Con la creacin de una
dinmica que implementa La humanidad de coherente extrapolado-volicin como
opuesto a su propia voluntad, o su propia teora que favorito moral en efecto distribuyen
su influencia sobre el futuro de toda la humanidad.
"Evitar la creacin de un motivo para los seres humanos de hoy en da para luchar por la
dinmica inicial"
La distribucin de influencia sobre el futuro de la humanidad no slo es moralmente
preferible al equipo de programacin implementar su propia visin favorita, tambin es
una forma de reducir el incentivo para luchar por quin va a crear la primera
superinteligencia. En el enfoque de la CEV, los programadores (o sus patrocinadores) no
ejercen ms influencia sobre el contenido de los resultados que cualquier otra persona, a
pesar de que, por supuesto, desempean un papel causal protagonizada en la
determinacin de la estructura de la extrapolacin y en la decisin de aplicar CEV de la
humanidad en lugar de alguna alternativa. Evitar el conflicto es importante no slo por el
dao inmediato que el conflicto tiende a provocar, sino tambin porque obstaculiza la
colaboracin en el difcil reto de desarrollar superinteligencia segura y beneficiosa.
CEV est destinado a ser capaz de mandar un amplio apoyo. Esto no es slo porque asigna
influencia equitativa. Tambin hay un suelo ms profundo por el potencial conciliadora de
la CEV, a saber, que permite a muchos grupos diferentes a la esperanza de que su visin
preferida del futuro prevalecer totalmente. Imagina un miembro de los talibanes afganos
debatiendo con un miembro de la Asociacin Sueca Humanista. Los dos tienen muy
diferentes visiones del mundo, y lo que es una utopa para uno podra ser una distopa
para el otro. Tampoco podra bien estar emocionado por ninguna posicin de
compromiso, tales como permitir a las nias a recibir una educacin, pero slo hasta el

noveno grado, o permitir chicas suecas a ser educados, pero las nias afganas no. Sin
embargo, tanto los talibanes y el Humanista podran ser capaces de respaldar el principio
de que el futuro debe ser determinado por el CEV de la humanidad. Los talibanes podra
razonar que si sus puntos de vista religiosos son de hecho correcta (ya que est
convencido de que son) y si existen buenas razones para aceptar estos puntos de vista (ya
que tambin est convencido), entonces la humanidad habra al final vienen a aceptar
estos puntos de vista, si slo la gente estaba menos prejuicios y sesgada, si pasaban ms
tiempo estudiando las escrituras, si pudieran comprender ms claramente cmo funciona
el mundo y reconocer las prioridades esenciales, si pudieran ser liberados de rebelda
irracional y la cobarda, y as sucesivamente.15
El Humanista, del mismo modo, creera que en estas condiciones idealizadas, la
humanidad habra llegado a abrazar los principios que propugna. "Mantenga
la
humanidad en ltima instancia a cargo de su propio destino"
Puede que no quiera un resultado en el que una superinteligencia paternalista nos vigila
constantemente, la microgestin de nuestros asuntos con un ojo hacia la optimizacin de
cada detalle de acuerdo con un gran plan. Incluso si estipulamos que la superinteligencia
sera perfectamente benevolente, y libre de presuncin, arrogancia, prepotencia, la
estrechez de miras, y otras deficiencias humanos, todava se podra resentir la prdida de
autonoma que conlleva tal arreglo. Podramos preferiria crear nuestro destino a medida
que avanzamos, incluso si esto significa que a veces baln suelto. Tal vez queremos que la
superinteligencia para servir como una red de seguridad, para que nos apoyen cuando las
cosas van catastrficamente mal, pero por lo dems que nos dejan para ganarnos la vida.

CEV permite esta posibilidad. CEV est destinado a ser un "inicial dinmico", un proceso
que se ejecuta una vez y luego se reemplaza con lo que la voluntad extrapolado desea. Si
la volicin extrapolado de la humanidad desea que vivimos bajo la supervisin de un AI
paternalista, entonces la dinmica CEV creara una IA tales y entregarlo las riendas. Si la
volicin extrapolado de la humanidad en vez desea que se cree un gobierno mundial
democrtico humana, entonces la dinmica CEV podra facilitar el establecimiento de una
institucin y de otra manera siendo invisible. Si la volicin extrapolado de la humanidad es
en cambio que cada persona debe recibir una dotacin de recursos que puede usar lo que
le plazca siempre y cuando se respete la igualdad de derechos de los dems, entonces la
dinmica CEV podra hacer que este se haga realidad al operar en el fondo muy similar a
un ley de la naturaleza, para evitar la entrada ilegal, robo, asalto y otros Tropezaciones no
consensuados.16 La estructura del enfoque CEV por lo tanto permite una gama
prcticamente ilimitada de los resultados. Tambin es concebible que la volicin
extrapolado de la humanidad deseara que el CEV no hace nada en absoluto. En ese caso,
la AI debe implementar CEV, al haber establecido con la suficiente probabilidad de que
esto es lo que la volicin extrapolado de la humanidad deseara que hacer, con seguridad
apagar.

Otras observaciones
La propuesta de la CEV, como se indic anteriormente, es por supuesto el ms
mnimo esquemtica. Tiene un nmero de parmetros libres que podra especificarse en
varias formas, produciendo diferentes versiones de la propuesta.
Un parmetro es la base de la extrapolacin: De quin voliciones se incluirn?
Podramos decir "todo el mundo", pero esta respuesta engendra una serie de preguntas
adicionales. La base de extrapolacin incluye las llamadas "personas marginales" como
embriones, fetos, personas con muerte cerebral, los pacientes con demencias graves o
que se encuentran en estados vegetativos permanentes? Tiene cada uno de los
hemisferios de un "cerebro dividido" paciente obtener su propio peso en la extrapolacin
y este peso es el mismo que el de todo el cerebro de un sujeto normal? Qu pasa con las
personas que vivieron en el pasado pero ahora estn muertos? Las personas que nacern
en el futuro? Los animales superiores y otras criaturas sintientes? Mentes digitales?
Extraterrestres?
Una opcin sera incluir slo a la poblacin de los seres humanos adultos en la
Tierra que estn vivos en el inicio de la poca de la creacin de la IA. Una extrapolacin
inicial de esta base podra entonces decidir si y cmo la base debe ser ampliado. Dado que
el nmero de "marginales" en la periferia de esta base es relativamente pequea, el
resultado de la extrapolacin no puede depender mucho en exactamente donde el lmite
se dibuja-sobre si, por ejemplo, incluye fetos o no.
Ese alguien es excluido de la base original de la extrapolacin no implica que sus
deseos y el bienestar se tienen en cuenta. Si la voluntad coherente extrapolada de los que
estn en la base de la extrapolacin (por ejemplo, los seres humanos que viven adultos)
desea que la consideracin moral extenderse a otros seres, a continuacin, el resultado de
la dinmica CEV reflejara esa preferencia. Sin embargo, es posible que los intereses de los
que estn incluidos en la base de la extrapolacin originales se alojan en un grado mayor
que los intereses de los forasteros. En particular, si los actos dinmicos solamente donde
hay un amplio acuerdo entre voliciones extrapolados individuales (como en la propuesta
original de Yudkowsky), no parece ser un riesgo significativo de un voto de bloqueo poco
generoso que podra evitar, por ejemplo, el bienestar de los animales no humanos o
mentes digitales sean protegidos. El resultado podra ser potencialmente moralmente
podrido.17
Una de las motivaciones para la propuesta CEV era evitar la creacin de un motivo para
que los humanos se pelean por la creacin de la primera AI superinteligente. Aunque la
propuesta CEV mejores puntuaciones en este desidertum que muchas alternativas, no
elimina por completo los motivos de conflicto. Un egosta individuo, grupo o nacin
podran tratar de ampliar su rebanada del futuro, manteniendo a otros fuera de la base de
extrapolacin.

Una toma de poder de este tipo podra ser racionalizado de varias maneras. Se podra
argumentar, por ejemplo, que el patrocinador que financia el desarrollo de la IA merece
poseer el resultado. Esta afirmacin moral es probablemente falsa. Se podra objetar, por
ejemplo, que el proyecto que pone en marcha el primer xito de semilla AI impone una
gran externalidad de riesgos en el resto de la humanidad, que, por tanto, tiene derecho a
una indemnizacin. El monto de la indemnizacin adeudada es tan grande que slo puede
tomar la forma de dar a todos una participacin en la boca si las cosas salen bien.
18
Otro argumento que podra utilizarse para racionalizar la toma de poder es que
grandes segmentos de la humanidad tienen base o preferencias del mal y que su inclusin
en la base de la extrapolacin se arriesgaran a girar el futuro de la humanidad en una
distopa. Es difcil saber la cuota del bien y del mal en el corazn de la persona promedio.
Tambin es difcil saber cunto este equilibrio vara entre los diferentes grupos, estratos
sociales, culturas o naciones. Si uno es optimista o pesimista sobre la naturaleza humana,
se puede prefieren no apostar dotacin csmica de la humanidad en la especulacin de
que, para que una mayora suficiente de los siete mil millones de personas actualmente
vivas, sus mejores ngeles prevaleceran en sus voliciones extrapolados. Por supuesto, la
omisin de un determinado conjunto de personas de la base de la extrapolaci n no
garantiza que la luz triunfara; y bien podra ser que las almas que excluiran ms pronto
que otros o tomar el poder para s mismos tienden ms bien a contener cantidades
inusualmente grandes de oscuridad.
Sin embargo, otra razn para luchar por la dinmica inicial es que uno podra creer
que de otro AI no funciona como se anuncia, incluso si la IA es considerado como una
forma de poner en prctica CEV de la humanidad. Si los diferentes grupos tienen
diferentes creencias acerca de qu es ms probable que tenga xito la aplicacin, puede
ser que luchar para evitar que los otros de lanzamiento. Sera mejor en este tipo de
situaciones si los proyectos que compiten podran resolver sus diferencias epistmicas por
algn mtodo que determina de forma ms fiable que es correcto que el mtodo de los
conflictos armados.19 Modelos de moralidad
La propuesta CEV no es la nica forma posible de normatividad indirecta. Por
ejemplo, en lugar de aplicar la volicin extrapolado coherente de la humanidad, se podra
tratar de construir una IA con el objetivo de hacer lo que es moralmente correcto,
basndose en las capacidades cognitivas superiores de la AI de averiguar qu acciones se
ajusta a esa descripcin. Podemos llamar a esta propuesta "rectitud moral" (MR). La idea
es que los seres humanos tienen una comprensin imperfecta de lo que es correcto y lo
incorrecto, y tal vez una comprensin an ms pobre de cmo el concepto de rectitud
moral es a analizar filosficamente: pero una superinteligencia podan entender estas
cosas mejor.20
Y si no estamos seguros de si el realismo moral es cierto? Todava podramos
intentar la propuesta MR. Slo debemos tener para asegurarse de especificar lo que la AI

debe hacer en la eventualidad de que su presupuesto de realismo moral es falsa. Por

ejemplo, podramos establecer que si el AI calcula con una probabilidad suficiente de que
no hay verdades que no son parientes adecuados acerca de la rectitud moral, entonces
debe volver a implementar la voluntad extrapolado coherente en su lugar, o simplemente
apagar.21 MR parece tener varias ventajas sobre CEV. MR acabara con diversos
parmetros libres en CEV, tales como el grado de coherencia entre las voliciones
extrapolados que se requiere para la AI para actuar en el resultado, la facilidad con que
una mayora puede anular las minoras disidentes, y la naturaleza del entorno social
dentro del cual nuestro ser extrapolados son de suponer que ha "crecido ms juntos."
Parecera para eliminar la posibilidad de un fracaso moral resultante de la utilizacin de
una base de la extrapolacin que es demasiado estrecho o demasiado ancho. Adems, MR
sera orientar la AI hacia la accin moralmente correcto incluso si nuestras voliciones
extrapolados coherentes ocurren para desear para la AI para tomar acciones que son
moralmente odiosa. Como se seal anteriormente, esto parece una posibilidad en directo
con la propuesta de la CEV. La bondad moral podra ser ms como un metal precioso que
un elemento abundante en la naturaleza humana, e incluso despus de que el mineral ha
sido procesado y refinado de acuerdo con las prescripciones de la propuesta de la CEV,
quin sabe si el resultado principal ser brillante virtud, escoria indiferente o lodos txicos?
MR tambin parece tener algunas desventajas. Se basa en la nocin de "moralmente
correcto", un concepto muy difcil, con la que los filsofos han lidiado desde la antigedad,
sin embargo alcanzar un consenso en cuanto a su anlisis. Recogiendo una explicacin
errnea de "rectitud moral" podra dar lugar a resultados que seran moralmente muy mal.
Esta dificultad de definir "rectitud moral" podra parecer a contar en gran medida en
contra de la propuesta de MR. Sin embargo, no est claro que la propuesta MR es
realmente una desventaja de material en este respecto. La propuesta de la CEV, tambin,
utiliza trminos y conceptos que son difciles de explicar (como "conocimiento", "estar ms
a la gente que deseaba que ramos", "crecido ms juntos", entre otros).
22
Incluso si estos conceptos son marginalmente menos opaca que "rectitud moral",
no dejan de ser retirados millas de cualquier cosa que los programadores puedan
expresarse actualmente en code.23 El camino para dotar a una IA con ninguno de estos
conceptos podran implicar dndole la capacidad lingstica general (comparables , por lo
menos, a la de un adulto humano normal). Una capacidad general Dicho de entender el
lenguaje natural podra ser utilizada para comprender lo que se entiende por
"moralmente correcto". Si la IA poda captar el significado, podra buscar acciones que se
ajusten. A medida que la AI desarrolla superinteligencia, podra entonces avanzar en dos
frentes: en el problema filosfico de comprensin de lo que es rectitud moral, y en el
problema prctico de la aplicacin de este conocimiento para evaluar en particular
actions.24 Mientras que esto no iba a ser fcil, es No est claro que sera cualquier
ms
difcil que extrapolar volition.25 extrapolado coherente de la humanidad Una
cuestin ms fundamental con la RM es que incluso si se puede implementar, puede que
no nos dan lo que queremos o lo que elegira si furamos ms brillante y mejor
informados. Esto es, por supuesto, la caracterstica esencial de la RM, no un error

accidental. Sin embargo, podra ser una caracterstica que sera muy perjudicial para
nosotros.
26
Se podra tratar de preservar la idea bsica del modelo MR mientras que la reduccin de
su exigencia, centrndose en permisibilidad moral: La idea de que podramos dejar que la
AI perseguir CEV de la humanidad con tal de que no actu en formas que son moralmente
inaceptables. Por ejemplo, se podra formular la siguiente meta para el AI:
Entre las acciones que son moralmente permisible para la IA, tome uno que CEV de la
humanidad prefiere. Sin embargo, si alguna parte de esta instruccin no tiene sentido
bien especificado, o si estamos radicalmente confundido acerca de su significado, o si el
realismo moral es falsa, o si actuamos moralmente inadmisible en la creacin de una IA
con este objetivo, y luego someterse a una controlada Cerrar. 27
Siga el significado pretendido de esta instruccin.
Uno podra todava preocuparse de que este modelo permisibilidad moral (MP)
representa un unpalatably alto grado de respeto por las exigencias de la moral. Qu t an
grande sacrificio que implicara depende de que la teora tica es cierto.28
Si la tica es satisficing
, En el sentido de que cuenta como moralmente permisible cualquier accin que se ajusta
a unas pocas restricciones morales bsicos, entonces MP puede dejar un amplio espacio
para nuestra voluntad extrapolado coherente para influir en las acciones de la AI. Sin
embargo, si la tica es
maximizando-por ejemplo, si las acciones slo moralmente
admisible son los que tienen los mejores moralmente consecuencias, entonces MP puede
dejar poco o ningn espacio para nuestras propias preferencias para dar forma al
resultado.
Para ilustrar esta preocupacin, volvamos por un momento al ejemplo de
consecuencialismo hedonista. Supongamos que esta teora tica es verdad, y que la IA
sabe que es as. A los presentes efectos, podemos definir consecuencialismo hedonista
como la afirmacin de que una accin es moralmente correcto (y moralmente permisible)
si y slo si, entre todas las acciones posibles, ninguna otra accin producira un mayor
equilibrio de placer sobre el sufrimiento. La IA, siguiendo MP, puede maximizar el exceso
de placer convirtiendo el universo accesible en hedonium, un proceso que puede implicar
la construccin computronium y utilizarlo para realizar clculos que ejemplifican
experiencias placenteras. Desde la simulacin de cualquier cerebro humano existente no
es la manera ms eficiente de producir placer, una consecuencia probable es que todos
morimos.

Al promulgar ya sea la RM o la propuesta MP, tendramos por lo tanto el riesgo de

sacrificar nuestras vidas por un bien mayor. Esto sera un sacrificio ms grande que se
podra pensar, porque lo que nos arriesgamos a perder no es simplemente la oportunidad
de vivir una vida humana normal, pero la oportunidad de disfrutar de los lejanos ms y
ms ricos vidas que una superinteligencia amigable podra otorgar.
El sacrificio se ve an menos atractivo cuando reflexionamos que la superinteligencia
podra realizar un casi-como-un gran bien (en trminos fraccionarios), mientras que
sacrificar mucho menos de nuestro potencial propio bienestar. Supongamos que nos
pusimos de acuerdo para permitir casi todo el universo accesible a convertir en
hedonium-todo, excepto un pequeo preservar, dicen que la Va Lctea, que se reserv
para dar cabida a nuestras propias necesidades. Entonces todava habra cien mil millones
de galaxias dedicadas a la maximizacin del placer. Pero tendramos una galaxia en la que
crear civilizaciones maravillosas que podran durar por miles de millones de aos y en el
que los seres humanos y los animales no humanos podramos sobrevivir y prosperar, y
tener la oportunidad de convertirse en spirits.29 posthumano beatfica
Si se prefiere esta ltima opcin (como yo me inclinara a hacer) que implica que uno no
tiene una preferencia incondicional lxico dominante para actuar moralmente lcitamente.
Pero es consistente con la colocacin de un gran peso en la moralidad. Incluso desde
un punto de vista puramente moral, podra ser mejor defensor
alguna propuesta que es menos ambicioso de lo moralmente MR o MP. Si el moralmente
mejor tiene ninguna posibilidad de ser implementado, tal vez debido a su ceo fruncido exigencia podra ser moralmente mejor para promover alguna otra propuesta, qu e sera
casi ideal y cuyas posibilidades de ser implementado podra incrementarse
significativamente por nuestro promoverlo 0.30 Do What I Mean Podemos sentir
seguro si ir para CEV, MR, MP, o algo ms. Podramos despejar sobre esta decisin de
alto nivel, as, la descarga incluso el trabajo ms cognitiva sobre la IA? Dnde est el
lmite de nuestra posible la pereza?
Considere meta, por ejemplo, "basan razones," los siguientes: Haz lo que
hubiramos tenido ms razn para pedir a la AI para hacer.
Este objetivo podra reducirse a la volicin extrapolado oa las buenas costumbres o
alguna otra cosa, pero parece que nos sobra el esfuerzo y el riesgo involucrado en tratar
de averiguar por nosotros mismos cul de estos objetivos ms especficos que tendramos
ms razones para seleccionar.
Algunos de los problemas con los objetivos basados en la moralidad, sin embargo,
tambin se aplican aqu. En primer lugar, podramos temer que esta meta razones basadas
dejara muy poco espacio para nuestros propios deseos. Algunos filsofos sostienen que
una persona siempre tiene ms razones para hacer lo que sera moralmente mejor para
que ella haga. Si los filsofos tienen razn, entonces la meta basada en razn colapsa en

MR-con el consiguiente riesgo de que una superinteligencia implementar una dinmica tal
que matar a todos a su alcance. En segundo lugar, al igual que con todas las propuestas
formuladas en lenguaje tcnico, hay una posibilidad de que podramos haber entendido
mal el sentido de nuestras propias afirmaciones. Hemos visto que, en el caso de las metas
basadas en la moral, pidiendo a la AI para hacer lo que es correcto puede llevar a
consecuencias imprevistas e indeseadas de tal manera que, si hubiramos ellos previstos,
no hubiramos aplicado el objetivo en cuestin. Lo mismo se aplica a pedir a la AI para
hacer lo que tenemos ms razn para hacerlo.
Qu pasa si tratamos de evitar estas dificultades acostando un gol en un lenguaje
no tcnico enfticamente tales como en trminos de "amabilidad":
31
Tome la accin ms bonita; o, si ninguna accin es ms bonito, y luego tomar una accin
que es al menos agradable requete.
Cmo podra haber nada objetable sobre la construccin de un agradable
AI? Pero debemos preguntarnos lo que precisamente se quiere decir con esta expresin .
El lxico enumera diversos significados de "agradable" que claramente no estn
destinados a ser utilizados aqu: no tenemos la intencin de que la AI debe ser corts y
educado
ni
overdelicate o fastidioso. Si podemos contar con la AI reconoce la interpretacin
pretendida de "amabilidad" y estar motivados para perseguir la amabilidad en apenas ese
sentido, a continuacin, este objetivo parece equivaler a un comando para hacer lo que
significaba que los programadores de la IA para do.32 Un orden judicial para efecto similar
se incluy en la formulacin de la CEV ("... interpretado como deseamos que interpret") y
en el criterio moral-permisibilidad como haca antes ("... siga el significado pretendido de
esta instruccin"). Al colocar dicha clusula "Do What I Mean" podemos indicar que las
otras palabras en la descripcin meta se deben interpretar con caridad en lugar de la letra.
Pero decir que la IA debe ser "agradable", aade casi nada: el verdadero trabajo se hace
mediante la instruccin "Do What I Mean". Si supiramos cmo codificar "Do What I
Mean" de una manera general y de gran alcance, que bien podra usar eso como un
objetivo independiente.
Cmo puede uno poner en prctica un "hacer lo que quiero decir" tan dinmico? Es
decir, cmo podemos crear una IA motivados para interpretar caritativamente nuestros
deseos e intenciones tcitas y actuar en consecuencia? Un paso inicial podra ser para
tratar de obtener ms clara acerca de lo que entendemos por "Haz lo que digo." Podra
ayudar si pudiramos explicar esto en trminos ms conductistas, por ejemplo en
trminos de preferencias reveladas en diversas situaciones, tales como situaciones
hipotticas en el que tenamos ms tiempo para considerar las opciones, en las que

estbamos ms inteligente, en el que sabamos ms de los hechos pertinentes, y en la que

en varias otras condiciones maneras sera ms favorable para nosotros manifestando con
precisin en opciones concretas de lo que queremos decir cuando decimos que queremos
una IA que es amable, beneficioso, agradable ...
Aqu, por supuesto, llegamos al punto de partida. Hemos vuelto a la aproximacin
indirecta normatividad con la que empezamos, la propuesta de la CEV, que, en esencia,
expunges todo el contenido concreto de la especificacin de valor, dejando slo un valor
abstracto definido en trminos puramente de procedimiento: hacer lo que hubiramos
deseado para la AI hacer en circunstancias debidamente idealizados. Por medio de tal
normatividad indirecta, lo que podra esperar para descargar a la AI gran parte del trabajo
cognitivo que nosotros mismos estaran tratando de realizar si se intent articular una
descripcin ms concreta de lo que valora la IA es perseguir. Al tratar de sacar el mximo
provecho de la superioridad epistmica de la IA, CEV por lo tanto puede ser visto como
una aplicacin del principio de deferencia epistmica.
Lista de componentes
Hasta ahora hemos considerado diferentes opciones para el contenido que poner
en el sistema objetivo. Pero el comportamiento de un AI tambin se ver influenciada por
otras opciones de diseo. En particular, se puede hacer una diferencia crtica que teora
de la decisin y que la epistemologa que utiliza. Otra cuestin importante es si los planes
de la AI estarn sujetos a revisin humana antes de ser puesto en accin. Tabla 13 resume
estas opciones de diseo. Un proyecto que tiene como objetivo construir una
superinteligencia debe ser capaz de explicar qu opciones se ha hecho en relacin con
cada uno de estos componentes, y justificar por qu se tomaron esas decisiones.
33

Tabla 13 lista de componentes

Contenido Meta
Qu objetivo debera perseguir la IA? Cmo se debe interpretar
una descripcin de este objetivo? Si el objetivo de incluir a dar premios especiales a
aquellos que han contribuido al xito del proyecto?
Teora de la decisin Si el AI utilizar la teora causal decisin, teora de la decisin
probatoria, teora de la decisin updateless, o algo ms?
Epistemologa
Cul debera funcin de probabilidad antes de la IA ser, y qu otras explcita o
implcita supuestos sobre el mundo debera hacer? Qu teora de Anthropics debera

usar?
Ratificacin En caso de los planes de la AI ser sometidos a revisin humana antes
de ser puesto en prctica? Si es as, cul es el protocolo para ese proceso de revisin?
Contenido Meta Ya hemos hablado de cmo indirecta normatividad que podrn
utilizarse en la especificacin de los valores que la IA es perseguir. Discutimos algunas
opciones, como los modelos basados en la moral y la voluntad extrapolado coherente.
Cada uno de tales opcin crea opciones adicionales que necesitan ser hecho. Por ejemplo,
el enfoque de CEV viene en muchas variedades, dependiendo de quin est incluido en la
base de extrapolacin, la estructura de la extrapolacin, y as sucesivamente. Otras formas
de mtodos de seleccin de motivacin podran llamar para diferentes tipos de contenido
objetivo. Por ejemplo, un orculo podra ser construido para colocar un valor en dar
respuestas precisas. Un orculo construido con la motivacin domesticidad tambin
puede tener un contenido objetivo que disvalores el uso excesivo de los recursos en la
produccin de sus respuestas.
Otra opcin de diseo es si se debe incluir disposiciones especiales en el contenido
objetivo de premiar a las personas que contribuyen a la realizacin exitosa de la IA, por
ejemplo, dndoles recursos o influencia adicional sobre el comportamiento de la IA.
Podemos denominar dichas disposiciones "de envoltura de incentivos." Envoltura de
incentivos podra ser visto como una forma de aumentar la probabilidad de que el
proyecto tenga xito, a costa de comprometer en cierta medida el objetivo de que el
proyecto se propuso lograr.
Por ejemplo, si el objetivo del proyecto es crear una dinmica que implementa la
volicin extrapolado coherente de la humanidad, a continuacin, un esquema de envolver
incentivo podra especificar que voliciones ciertos individuos deben tener peso extra en la
extrapolacin. Si este proyecto tiene xito, el resultado no es necesariamente la aplicacin
de la volicin extrapolado coherente de la humanidad. En lugar de ello, algunos
aproximacin a esta meta se podra lograr.
34
Desde envoltura incentivo sera una pieza de contenido objetivo que se interpreta y
perseguido por una superinteligencia, podra tomar ventaja de la normatividad indirecta
para especificar disposiciones sutiles y complicadas que seran difciles para un mnager
humano para implementar. Por ejemplo, en lugar de programadores gratificantes segn
algunos crudo pero mtrica de fcil acceso, como el nmero de horas que trabajaban o
cuntos errores se corrigen, la envoltura de incentivos podran especificar que l os
programadores "deben ser recompensados en proporcin a cunto aumentaron sus
contribuciones algunos razonable ex ante
probabilidad de que el proyecto que se complet con xito en el camino a los

patrocinadores por objeto ". Adems, no habra ninguna razn para limitar la envoltura de
incentivos al personal del proyecto. En su lugar, podra especificar que cada
persona
debe ser recompensado segn su merecido. La asignacin de crditos es un problema
difcil, pero una superinteligencia se poda esperar para hacer un trabajo razonable de
aproximacin de los criterios especificados, explcita o implcitamente, por la envoltura de
incentivos.
Es concebible que la superinteligencia incluso podra encontrar alguna manera de
recompensar a las personas que han muerto antes de la creacin de la superinteligencia.
35 La envoltura incentivo podra luego ampliarse para abarcar al menos algunos de
los fallecidos, incluyendo potencialmente las personas que murieron antes de que el
proyecto fue concebido, o incluso anterior a la primera enunciacin del concepto de
embalaje de incentivos. Aunque la institucin de tal poltica no sera retroactiva incentivar
causalmente aquellas personas que ya estn descansando en sus tumbas como estas
palabras se estn poniendo a la pgina, podra ser favorecido por razones morales,
aunque se podra argumentar que la medida en que la equidad es un objetivo, debe ser
incluido como parte de la especificacin de destino adecuado en lugar de en la envoltura
incentivo circundante.
No podemos aqu ahondar en todas las cuestiones ticas y estratgicas relacionadas con el
embalaje de incentivos. La posicin de un proyecto sobre estos temas, sin embargo, sera
un aspecto importante de su concepto fundamental del diseo. Teora de la decisin
Otra opcin de diseo importante es que la decisin teora debe construir la IA de usar.
Esto puede afectar la manera en que la IA se comporta en ciertas situaciones
estratgicamente fatdicas. Podra determinar, por ejemplo, si la IA est abierto a negociar
con, o extorsin por, otras civilizaciones superinteligentes cuya existencia se plantea la
hiptesis. Los detalles de la teora de la decisin tambin podra importar en
predicamentos que implican probabilidades finitos de pagos infinitos ("apuest as
pascaliano") o extremadamente pequeas probabilidades de extremadamente grandes
beneficios finitos ("atracos pascaliano") o en contextos donde la IA se enfrenta a la
incertidumbre normativa fundamental o donde hay mltiples instancias del mismo
programa agente.
36
Las opciones sobre la mesa incluyen teora causal decisin (en una variedad de
sabores) y la teora de la decisin probatoria, junto con los candidatos ms recientes,
como "teora intemporal decisin" y "teora de la decisin updateless", qu e an estn en
desarrollo.37 Puede resultar difcil identificar y articular la teora de la decisin correcta, y
para tener confianza justificada de que hemos hecho bien. Aunque las perspectivas para
especificar directamente la teora de la decisin de una IA son quizs ms optimista que
los de especificar directamente sus valores finales, an estamos enfrentados a un riesgo
sustancial de error. Muchas de las complicaciones que podran romper las teoras de toma
actualmente ms populares fueron descubiertos recientemente, lo que sugiere que
podran existir ms problemas que an no han entrado en la vista. El resultado de dar la IA

una teora de la decisin errnea podra ser desastroso, posiblemente, que asciende a una
catstrofe existencial.
En vista de estas dificultades, se podra considerar un enfoque indirecto para
especificar la teora de la decisin de que la AI debe utilizar. Exactamente cmo hacer esto
an no est clara. Podramos querer la IA de usar "que la teora de la decisin
D
que hubiramos querido que utilizamos tena pensamos mucho sobre el asunto.
"Sin embargo, la AI tendra que ser capaz de tomar decisiones antes de aprender lo que
D

es. Sera por lo tanto necesita un poco de teora efectiva decisin provisional

D'

que regiran su bsqueda

. Se podra tratar de definir

D'

a ser una especie de superposicin de las hiptesis actuales de la AI sobre

D
(Pesaron por sus probabilidades), aunque hay problemas tcnicos no resueltos
con la forma de hacer esto en un way.38 totalmente generales Tambin es motivo de
preocupacin que la IA puede hacer irreversible malas decisiones (como la reescritura de
s para funcionar a partir de ahora en alguna defectuosa teora de la decisin) durante la
fase de aprendizaje, antes de que la AI ha tenido la oportunidad de determinar qu
determinada teora de la decisin es correcta. Para reducir el riesgo de descarrilamiento
durante este perodo de vulnerabilidad que en vez podramos tratar de dotar a la semilla
AI con alguna forma de racionalidad restringida: Una teora de la decisin
deliberadamente simplificada pero espero fiable que ignora incondicionalmente
consideraciones esotricas, aunque sean en ltima instancia, creemos que puede ser
legtimo, y que est diseado para sustituir en s con un ms sofisticado (especificado
indirectamente) la teora de la decisin una vez que ciertas condiciones se met.39 Es una
pregunta de investigacin abierta si y cmo esto podra llegar a funcionar. Epistemologa
Un proyecto tambin tendr que tomar una decisin fundamental de diseo en la
seleccin de la epistemologa de la IA, especificando los principios y criterios para que las
hiptesis empricas deben ser evaluados. Dentro de un marco bayesiano, podemos pensar
en la epistemologa como una probabilidad a priori funcin implcita la asignacin de
probabilidades a los mundos posibles de AI antes de que haya tomado ninguna evidencia
perceptual en cuenta. En otros marcos, la epistemologa podra tomar una forma
diferente; pero en cualquier caso es necesaria alguna regla de aprendizaje inductivo si la
IA es generalizar a partir de observaciones pasadas y hacer predicciones sobre el futuro.40
Al igual que con el contenido de meta y la teora de la decisin, sin embargo, hay un riesgo
de que nuestra especificacin epistemologa podra perder la marca.
Uno podra pensar que hay un lmite a cunto dao podra surgir de una
epistemologa especificado incorrectamente. Si la epistemologa es

demasiado
disfuncional, a continuacin, la IA no poda ser muy inteligente y no poda
plantear el tipo de riesgos que se analiza en este libro. Pero la preocupacin es que
podemos especificar una epistemologa que es suficientemente slida para que el AI
instrumentalmente efectiva en la mayora de situaciones, sin embargo, que tiene algn
defecto que lleva la IA extraviado en algn asunto de importancia crucial. Tal AI podra ser
similar a una persona perspicaz cuya cosmovisin se basa en un falso dogma, que se
celebr a con absoluta conviccin, que en consecuencia, "se inclina contra molinos de
viento" y lo da todo en la bsqueda de objetivos fantsticos o perjudiciales.
Ciertos tipos de sutil diferencia en de una IA antes de que podra llegar a hacer una
diferencia drstica de cmo se comporta. Por ejemplo, un AI se podra dar una antes que
asigna una probabilidad cero para el universo es infinito. No importa cunta evidencia
astronmica se devengan por el contrario, una IA sera obstinadamente rechazar tales
cualquier teora cosmolgica que implic un universo infinito; y podra tomar decisiones
insensatas como resultado. 41 O una IA se podra dar un prior que asigna una
probabilidad cero al universo no ser-Turing computables (esto es, de hecho, una
caracterstica comn de muchos de los priores discutidos en la literatura, incluyendo la
complejidad de Kolmogorov previa mencionada en el captulo 1), de nuevo con
consecuencias poco conocidos si el supuesto conocido incrustado como la "tesis de ChurchTuring" -Debera resultar ser falsa. Una IA tambin podra terminar con un previo que
hace fuertes compromisos metafsicos de uno u otro tipo, por ejemplo, descartar a priori la
posibilidad de que cualquier forma fuerte del dualismo mente-cuerpo puede ser verdadera
o la posibilidad de que hay hechos morales irreductibles . Si alguno de esos compromisos
se equivoca, la IA podra tratar de alcanzar sus objetivos finales de una manera que nos
gustara considerar como ejemplificaciones perversos. Sin embargo, no hay ninguna razn
obvia por una IA tal, a pesar de ser fundamentalmente errneo alrededor de una cuestin
importante, podra no ser lo suficientemente instrumentalmente efectiva para lograr una
ventaja estratgica decisiva. (Anthropics, el estudio de cmo hacer inferencias a partir de
la informacin indicial en presencia de efectos de seleccin de observacin, es otra rea en
la eleccin de los axiomas epistmicas podra resultar pivotal.42)
Podramos dudar razonablemente de nuestra capacidad para resolver todas las cuestiones
fundamentales de la epistemologa en el tiempo para la construccin de la primera semilla
AI. Podemos, por lo tanto, considerar la adopcin de un enfoque indirecto a especificar la
epistemologa de la IA. Esto elevara muchos de los mismos problemas que tomar un
enfoque indirecto para especificar su teora de la decisin. En el caso de la epistemologa,
sin embargo, puede haber una mayor esperanza de convergencia benigna, con cualquiera
de una amplia clase de epistemologas proporcionar un fundamento adecuado para la
segura y eficaz AI y en ltima instancia dando resultados doxsticos similares. La razn de
esto es que suficientemente abundantes pruebas y anlisis emprico tenderan a lavar las
diferencias moderadas en las expectativas anteriores.
43
Un buen objetivo sera dotar a la AI con los principios epistemolgicos

fundamentales que responden a las que rigen nuestro propio pensamiento. Cualquier AI
divergente de este ideal es una IA que bamos a juzgar a razonar incorrectamente si
aplicamos constantemente nuestros propios estndares. Por supuesto, esto slo se aplica
a nuestra
fundamental principios epistemolgicos. Principios fundamentales no deben ser creados
y revisados por la semilla AI en s, ya que desarrolla su comprensin del mundo de forma
continua. El punto de superinteligencia no es para complacer a preconcepciones humanas,
sino para hacer picadillo a nuestra ignorancia y la necedad. Ratificacin
El ltimo punto en nuestra lista de opciones de diseo es
ratificacin . En caso de los planes de la AI ser sometidos a revisin humana antes de
ser puesto en prctica? Para un orculo, esta pregunta se responde de manera implcita
en la afirmativa. El orculo da salida a la informacin; los colaboradores humanos eligen
cundo y cmo actuar sobre ella. Para genios, soberanos, y herramienta de IA, sin
embargo, la cuestin de si se debe utilizar algn tipo de ratificacin sigue abierto.
Para ilustrar cmo podra funcionar la ratificacin, considere una IA pretende
funcionar como CEV de una humanidad implementacin soberana. En lugar de poner en
marcha este AI directamente, imaginamos que primero construimos un orculo AI con el
nico propsito de responder a las preguntas acerca de lo que iba a hacer el soberano AI.
Como los captulos anteriores revelaron, existen riesgos en la creacin de un orculo
superinteligente (como los riesgos de la delincuencia mente o profusin de
infraestructura). Sin embargo, para efectos de este ejemplo supongamos que el orculo AI
ha sido implementado con xito en una manera que evita estos escollos. Tenemos as un
orculo AI que nos ofrece sus mejores conjeturas acerca de las consecuencias de la
ejecucin de alguna pieza de cdigo destinado a poner en prctica CEV de la humanidad.
El orculo puede no ser capaz de predecir en detalle lo que iba a pasar, pero sus
predicciones son susceptibles de ser mejor que la nuestra. (Si fuera imposible, incluso para
una superinteligencia predecir
cualquier cosa sobre el cdigo hara, estaramos locos para ejecutarlo.) As que el orculo
reflexiona por un tiempo y luego presenta su previsin. Para que la respuesta inteligible, el
orculo puede ofrecer al operador una gama de herramientas con las que explorar
diversas caractersticas de los resultados previstos. El orculo poda mostrar imgenes de
lo que el futuro parece y proporcionar estadsticas sobre el nmero de seres sintientes que
existirn en diferentes momentos, junto con la media, pico, y los niveles ms bajos de
bienestar. Podra ofrecer biografas ntimos de varios individuos seleccionados al azar
(personas quiz imaginarios seleccionados a ser probablemente representante). Podra
destacar aspectos del futuro que el operador no podra haber pensado en preguntar sobre
pero que se consideraban pertinentes una vez sealado.
Ser capaz de obtener una vista previa de los resultados de esta manera tiene

ventajas obvias. El trailer podra revelar las consecuencias de un error en el diseo de las
especificaciones o el cdigo fuente de un soberano planificada. Si la bola de cristal
muestra un futuro en ruinas, podramos desechar el cdigo de la AI soberana planificado y
probar otra cosa. Un caso fuerte podra ser que debemos familiarizarnos con las
ramificaciones concretas de una opcin antes de comprometerse con ella, especialmente
cuando todo el futuro de la raza est en la lnea. Lo que quizs es menos obvio es que la
ratificacin tambin tiene desventajas potencialmente significativas. La calidad de
conciliador CEV podra ser socavada si facciones opuestas, en lugar de someterse a
arbitraje de la sabidura superior en expectativa confiada de ser vindicado, podra ver de
antemano cul sera el veredicto. Un defensor del enfoque basado en la moralida d podra
preocuparse de que la resolucin del patrocinador se derrumbara si todos los sacrificios
requeridos por el moralmente ptima iban a ser revelada. Y todos podramos tener razn
para preferir un futuro que tiene algunas sorpresas, algunas disonanci as, algunos lo
salvaje, algunas oportunidades para la auto-superacin, un futuro cuyos contornos no se
adaptan demasiado ajustado para presentar ideas preconcebidas, pero ofrecen algunos
dan para el movimiento dramtico y el crecimiento no planificado . Podramos ser menos
propensos a tener una visin tan expansiva si pudiramos cereza recoger todos los
detalles del futuro, el envo de nuevo a la mesa de diseo de cualquier proyecto que no se
ajusta plenamente a nuestra fantasa en ese momento.
Por tanto, la cuestin de la ratificacin patrocinador es menos clara de lo que
inicialmente podra parecer. Sin embargo, a fin de cuentas, parece prudente tomar
ventaja de la oportunidad de previsualizacin, si esa funcionalidad est disponible. Pero
en lugar de dejar que el revisor afinar todos los aspectos de los resultados, podramos
darle un veto sencilla que podra ser ejercido slo unas pocas veces antes se abort el
proyecto entero.
44

Conseguir lo suficientemente cerca

El propsito principal de ratificacin sera reducir la probabilidad de error

catastrfico. En general, parece prudente apuntar a minimizar el riesgo de error
catastrfico en lugar de maximizar las posibilidades de cada detalle est totalmente
optimizado. Hay dos razones para esto. En primer lugar, la dotacin csmica de la
humanidad es astronmicamente grande-hay suficiente para todos, incluso si nuestro
proceso implica algunos residuos o acepte algunas restricciones innecesarias. En segundo
lugar, hay una esperanza de que si, pero conseguimos las condiciones iniciales para la
explosin de inteligencia aproximadamente correcta, entonces la superinteligencia
resultante puede llegar a casa en adelante, y precisamente golpeado, nuestros objetivos
finales. Lo importante es a la tierra en la cuenca del atractor derecha.
Con respecto a la epistemologa, es plausible que una amplia gama de
distribuciones previas en ltima instancia converger a posteriors muy similares (cuando
calculado mediante una superinteligencia y conditionalized en una cantidad realista de los
datos). Por lo tanto, no necesita preocuparse por obtener la epistemologa exactamente

derecha. Debemos simplemente no dar la AI una previa que es tan extrema como para
hacer que la IA incapaz de aprender verdades vitales incluso con el beneficio de la
experiencia abundante y analysis.45
En cuanto a la teora de la decisin, el riesgo de error irrecuperable parece ms
grande. Podramos todava esperamos especificar directamente una teora de la decisin
de que es lo suficientemente bueno. Un AI superinteligente podra cambiar a una nueva
teora de la decisin, en cualquier momento; Sin embargo, si se comienza con una teora
de la decisin suficientemente malo que no puede ver la razn para cambiar. Incluso si un
agente viene a ver los beneficios de tener una teora de la decisin diferente, la realizacin
podra llegar demasiado tarde. Por ejemplo, un agente diseado para rechazar el chantaje
podra gozar del beneficio de disuadir a los posibles extorsionistas. Por esta razn, los
agentes blackmailable haran bien en adoptar de forma proactiva una teora de la decisin
no explotable. Sin embargo, una vez que un agente blackmailable recibe la amenaza y lo
considera creble, el dao est hecho.
Dada una epistemologa adecuada y teora de la decisin, podramos tratar de
disear el sistema para implementar CEV o algn otro tipo de contenido objetivo
especificado indirectamente. Una vez ms hay esperanza de la convergencia: que las
diferentes formas de implementar una dinmica CEV-como conduciran al mismo resultado
utpico. A falta de dicha convergencia, todava puede esperar que muchos de los
diferentes resultados posibles son suficientes para contar con el xito como existencial
buena.
No es necesario para nosotros para crear un diseo altamente optimizado. Ms
bien, nuestra atencin debe centrarse en la creacin de un diseo altamente confiable,
que se puede confiar para mantener la cordura suficiente para reconocer sus propios
defectos. Un superinteligencia imperfecta, cuya fundamentos son slidos, sera
gradualmente repararse a s mismo; y habindolo hecho, sera ejercer tanto poder
optimizacin beneficioso sobre el mundo como si hubiera sido perfecto desde el principio.

CAPTULO 14 La imagen estratgica

Ahora es el momento de considerar el desafo de superinteligencia en un contexto ms

amplio. Nos gustara orientarnos en el panorama estratgico lo suficiente como para saber
por lo menos que la direccin general que deberamos estar dirigiendo. Esto, resulta que
no es nada fcil. Aqu, en el penltimo captulo, introducimos algunos conceptos analticos
generales que nos ayudan a reflexionar sobre cuestiones de poltica cientfica y
tecnolgica a largo plazo. A continuacin, aplicamos a la cuestin de la inteligencia de la
mquina.
Puede ser esclarecedor hacer una distincin aproximada entre dos posturas normativas
diferentes de la que puede ser evaluado de una poltica propuesta.
La perspectiva
de la persona que afectan
pregunta si un cambio propuesto estara en "nuestro inters" -es decir, si sera (en
general, y en espera) en inters de esas criaturas moralmente considerables que, o bien
ya existen o van a llegar a existir independientemente de si el cambio propuesto se
produce o no. La perspectiva impersonal
En cambio, no da ninguna consideracin especial a las personas actualmente existentes, o
para los que vendrn a existir independientemente de si se produce el cambio propuesto.
En lugar de ello, se cuenta a todos por igual, independientemente de su ubicacin
temporal. La perspectiva impersonal ve un gran valor en traer gente nueva a la existencia,
siempre que tengan la vida vale la pena vivir: la vida ms feliz creados, mejor.
Esta distincin, aunque apenas alude a las complejidades morales
asociados con una revolucin inteligencia de la mquina, puede ser til en un anlisis de
primer corte. Aqu vamos a examinar primero las cuestiones desde la perspectiva
impersonal. Ms adelante veremos qu cambios si las consideraciones persona afectan se
dan peso en nuestras deliberaciones.
Estrategia de ciencia y tecnologa
Antes de que nos acercamos sobre materias concretas mquina superinteligencia,
debemos introducir algunos conceptos estratgicos y las consideraciones que se refieren
al desarrollo cientfico y tecnolgico en general.

Desarrollo tecnolgico diferencial

Supongamos que un poltico propone recortar los fondos para un campo de
investigacin determinado, a la preocupacin por los riesgos o consecuencias a largo plazo
de una tecnologa hipottica que eventualmente pudiera crecer a partir de su suelo. A
continuacin, puede esperar un aullido de la oposicin de la comunidad investigadora.
Los cientficos y sus defensores pblicos a menudo dicen que es intil tratar de
controlar la evolucin de la tecnologa mediante el bloqueo de la investigacin. Si alguna
tecnologa es factible (el argumento) que se desarrollar independientemente de
escrpulos de cualquier autoridad normativa especial sobre los riesgos futuros
especulativos. De hecho, los ms potentes las capacidades que una lnea de desarrollo se
compromete a producir, la ms segura que puede ser que alguien, en algn lugar, se
sentir motivado para conseguirlo. Recortes de fondos no pararn progreso o prevenir sus
peligros concomitantes.
Curiosamente, esta objecin inutilidad casi nunca se plante cuando un poltico se
propone
aumentar
la financiacin de algn rea de la investigacin, a pesar de que el
argumento parece cortar en ambos sentidos. Rara vez se oye voces indignadas protestan:
"Por favor, no aumentar nuestros fondos. Ms bien, hacer algunos recortes. Los
investigadores de otros pases seguramente tomar el relevo; el mismo trabajo ser hecho
de todos modos. No malgastar el tesoro de la opinin pblica en la investigacin cientfica
nacional! "
Cmo se explica esta aparente doble pensamiento? Una explicacin plausible, por
supuesto, es que los miembros de la comunidad de investigacin tienen un sesgo egosta
que nos lleva a creer que la investigacin es siempre bueno y nos tienta a a ceptar casi
cualquier argumento que apoya nuestra demanda de ms fondos. Sin embargo, tambin
es posible que el doble estndar puede justificarse en trminos de auto-inters nacional.
Supongamos que el desarrollo de una tecnologa tiene
dos
efectos: darle un pequeo beneficio
B
a sus inventores y el pas que los patrocina, mientras que la imposicin de un dao
mayor agregada
H
-que podra haber una externalidad-en riesgo a todo el mundo. Incluso alguien que
es en gran parte altruista podra entonces optar por desarrollar la tecnologa daina
general. Puede ser que la razn de que el dao
H
dar como resultado no importa lo que hacen, ya que si se abstienen alguien ms
va a desarrollar la tecnologa de todos modos; y dado que el bienestar total no pued e ser
afectado, que bien podra agarrar el beneficio
B
para ellos y para su nacin. ("Por desgracia, pronto habr un dispositivo que va a
destruir el mundo. Afortunadamente, conseguimos la concesin para construirlo!")
Cualquiera que sea la explicacin para la apelacin de la objecin de inutilidad, no
logra demostrar que no es, en general, no hay razn impersonal para tratar de dirigir el
desarrollo tecnolgico. Se produce un error incluso si concedemos la idea motivadora que
con los continuos esfuerzos de desarrollo cientfico y tecnolgico, todas las tecnologas
pertinentes con el tiempo pueden desarrollar, es decir, incluso si concedemos la siguiente:

Conjetura finalizacin Tecnolgico

Si los esfuerzos de desarrollo cientfico y tecnolgico no cesan con eficacia,
entonces se obtendrn todas las capacidades bsicas importantes que podran ser
obtenidos a travs de algn posible tecnologa.
1
Hay al menos dos razones por las que la conjetura de finalizacin tecnolgica no implica la
objecin futilidad. En primer lugar, el antecedente no podra sostener, porque no es, de
hecho, un hecho que los esfuerzos de desarrollo cientficos y tecnolgicos no cesarn
eficazmente (antes de la consecucin de la madurez tecnolgica). Esta reserva es
especialmente pertinente en un contexto que implica un riesgo existencial. En segundo
lugar, incluso si pudiramos estar seguros de que se obtendrn todas las capacidades
bsicas importantes que podran ser obtenidos a travs de algn posible la tecnologa,
podra todava tiene sentido para tratar de influir en la direccin de la investigacin
tecnolgica. Lo que importa no es slo
si
una tecnologa se desarrolla, sino tambin cuando
se desarrolla, por quin
, Y en qu contexto
. Estas circunstancias del nacimiento de una nueva tecnologa, que dan forma a su
impacto, pueden verse afectados girando grifos de financiacin o desactivar (y manejando
otros instrumentos de poltica).
Estas reflexiones sugieren un principio que nos quieren hacer atendemos a la velocida d
relativa con la que se desarrollan las diferentes tecnologas:
2
El principio del desarrollo tecnolgico diferencial
Retardar el desarrollo de tecnologas peligrosas y perjudiciales, especialmente los
que elevan el nivel de riesgo existencial; y acelerar el desarrollo de tecnologas
beneficiosas, especialmente aquellos que reducen los riesgos existenciales planteados por
la naturaleza o por otras tecnologas.
Una poltica de este modo podra evaluarse sobre la base de la cantidad de una
ventaja diferencial que le da a las formas deseadas de desarrollo tecnolgico sobre las
formas deseadas.
3
Orden preferido de llegada
Algunas tecnologas tienen un efecto ambivalente sobre los riesgos existenciales, el
aumento de algunos riesgos existenciales, mientras que la disminucin de los dems.
Superinteligencia es una de esas tecnologas.